diff --git a/docs/code_form/phileas/access/01_request_access.md b/docs/code_form/phileas/access/01_request_access.md index 03d6007e5..e99793bf4 100644 --- a/docs/code_form/phileas/access/01_request_access.md +++ b/docs/code_form/phileas/access/01_request_access.md @@ -1,3 +1,5 @@ # Demande d'accès -Vous pouvez effectuer vos demandes d'accès à Phileas directement via le portail MesoNET : https://acces.mesonet.fr. \ No newline at end of file +1. Vous pouvez effectuer vos demandes d'accès à Phileas directement via le portail MesoNET : https://acces.mesonet.fr. +2. Une fois votre compte MesoNET validé, et votre accès au projet accordé, connectez vous à https://auth.phileas.ec-nantes.fr +3. __ Après vous être connecté la première fois, veuillez patienter au moins 15 minutes que les projets du portail MesoNET soient synchronisés sur votre utilisateur Phileas__ diff --git a/docs/code_form/phileas/access/02_get_ssh_certificates.md b/docs/code_form/phileas/access/02_get_ssh_certificates.md deleted file mode 100644 index 4fc6238e3..000000000 --- a/docs/code_form/phileas/access/02_get_ssh_certificates.md +++ /dev/null @@ -1,61 +0,0 @@ -# Obtenir vos certificats SSH -:::info - -Pour des raisons de sécurité, Phileas n'utilise **pas** vos clés SSH renseignées sur le portail MesoNET. - -::: - -Une fois que votre compte aura été activé sur Phileas, vous recevrez un email. Dans cet email, vous trouverez les instructions suivantes pour obtenir vos certificats SSH. - -Voyez les certificats SSH comme étant une clé SSH publique, mais avec une sécurité très largement augmentée, avec une durée de validité maximale, des adresses IP autorisées à l'utiliser, etc. Etant donné le caractère public de ce certificat, vous pouvez le transmettre sans risque aux équipes du support. **La clé privée en revanche doit être strictement personnelle**. - -## Renseigner la(les) adresse(s) IP de connexion pour vos certificats -Afin de garantir une sécurité maximale, nous forçons le renseignement d'une adresse IP de connexion pour SSH. - -Rendez vous sur https://auth.phileas.ec-nantes.fr et connectez vous avec **MesoNET**. - - -Une fois connecté, rendez-vous sur l'icône de paramètres en haut a droite : - -![img alt](/img/phileas/authentik_settings.png) - -Ici, vous trouverez une zone de texte ou vous pourrez rentrer les adresses IPs **publiques** que vous souhaitez utiliser pour vous connecter à Phileas. Afin de vous aider à déterminer laquelle utiliser, nous avons mis en évidence l'adresse IP depuis laquelle vous accédez actuellement à la page (dans la capture d'écran, 192.168.11.200). Notez qu'il est évidemment préférable de choisir une adresse IP fixe (évitez les adresses sur un partage de connexion 4G, sur la box internet d'un ami, etc.) - -![img alt](/img/phileas/authentik_ips.png) - - - - -Sauvegardez vos choix, et patientez quelques instants. Vous devriez reçevoir un mail avec votre certificat SSH prêt à l'emploi. - -:::warning - -Les certificats générés sont par défaut valides pendant 60 jours. Si votre certificat à expiré ou si vous souhaitez mettre à jour les adresses IPs d'accès, vous êtes autonomes sur l'adresse https://auth.phileas.ec-nantes.fr. Vous recevrez automatiquement un nouveau certificat lorsque vous cliquerez sur "Save". Cette manipulation est nécessaire pour garantir que vous vérifiez périodiquement vos adresses IPs autorisées, et que vous supprimiez celles dont vous n'avez plus besoin. Vous pouvez vérifier vous-même le contenu de votre certificat SSH (date d'expiration, adresses IP valides, etc.) avec la commande suivante : - -```bash -$ ssh-keygen -L -f ./phileas_key-cert.pub - -./phileas_key-cert.pub: - Type: ssh-ed25519-cert-v01@openssh.com user certificate - Public key: ED25519-CERT SHA256:UdLlHCFe008eXtSiSFKAt8DPR6uRDAZRhdwwN7Zvr8g - Signing CA: ED25519 SHA256:S9GJbecpkIwhdEDY1iLOIrZxPZGKqQOJ9eP+sWfqVec (using ssh-ed25519) - Key ID: "pbondial@ec-nantes.fr-external" - Serial: 2712428235499462096 - Valid: from 2024-11-13T15:48:33 to 2024-12-13T15:49:03 - Principals: - pbondial@ec-nantes.fr - Critical Options: - source-address 130.66.120.1/32,130.66.159.6/32 - Extensions: - permit-X11-forwarding - permit-agent-forwarding - permit-port-forwarding - permit-pty -``` -::: \ No newline at end of file diff --git a/docs/code_form/phileas/access/03_setup_ssh_configuration.md b/docs/code_form/phileas/access/03_setup_ssh_configuration.md deleted file mode 100644 index a71406932..000000000 --- a/docs/code_form/phileas/access/03_setup_ssh_configuration.md +++ /dev/null @@ -1,18 +0,0 @@ -# Mise en place de la configuration SSH - -Dans l'email que vous aurez reçu contenant vos certificats, vous trouverez toutes les informations nécessaires pour mettre en place votre configuration SSH. Suivez à la lettre l'email, en ne changeant pas les noms de fichiers si vous ne savez pas ce que vous faites. - -:::warning - -L'utilisation de certificats SSH augmente grandement la sécurité de tous les échanges. La mise en place de ceux-ci font que vous ne devriez **JAMAIS** avoir le message de SSH indiquant : - -``` -The authenticity of host 'XXXXX (XXXX)' can't be established. -ED25519 key fingerprint is SHA256:ghmAYFqYN+MWBnuxtcXXX.... -This key is not known by any other names. -Are you sure you want to continue connecting (yes/no/[fingerprint])? -``` - -Si vous obtenez ce message, il est impératif que vous suiviez bien la section du mail concernant le fichier ``known_hosts``. - -::: \ No newline at end of file diff --git a/docs/code_form/phileas/access/04_connect.md b/docs/code_form/phileas/access/04_connect.md deleted file mode 100644 index c15fb2381..000000000 --- a/docs/code_form/phileas/access/04_connect.md +++ /dev/null @@ -1,6 +0,0 @@ -# Connexion à Phileas -Une fois la configuration SSH effectuée, vous pourrez simplement vous connecter à Phileas avec : - -```bash -ssh Phileas -``` \ No newline at end of file diff --git a/docs/code_form/phileas/access/portal/01_initial_access.md b/docs/code_form/phileas/access/portal/01_initial_access.md new file mode 100644 index 000000000..65d756e2a --- /dev/null +++ b/docs/code_form/phileas/access/portal/01_initial_access.md @@ -0,0 +1,5 @@ +# Accès initial + +Le moyen d'accès privilégié de Phileas est via un portail Web. Ce portail est disponible ici : https://portal.phileas.ec-nantes.fr + +Vous serez redirigé automatiquement vers le portail une fois authentifié. diff --git a/docs/code_form/phileas/access/portal/02_welcome.md b/docs/code_form/phileas/access/portal/02_welcome.md new file mode 100644 index 000000000..e1f92878b --- /dev/null +++ b/docs/code_form/phileas/access/portal/02_welcome.md @@ -0,0 +1,4 @@ +# Page principale +La page principale du portail vous permettra de suivre des informations de Phileas que nous souhaitons transmettre, ainsi que l'accès à quelques applications épinglées. + +![Portal main page](/img/phileas/portal_main_page.png) diff --git a/docs/code_form/phileas/access/portal/03_files.md b/docs/code_form/phileas/access/portal/03_files.md new file mode 100644 index 000000000..798ee6e43 --- /dev/null +++ b/docs/code_form/phileas/access/portal/03_files.md @@ -0,0 +1,19 @@ +# Gestion des fichiers +Sur le portail, vous pourrez gérer vos fichiers directement depuis votre navigateur. + +:::info +Cet accès aux fichiers est un accès pratique, mais non prévu pour des transferts longs, ou de gros fichiers. Pour ces utilisations particulières, veuillez suivre [la documentation associée](../ssh_transfers/) + +::: + +![Menu de gestion des fichiers](/img/phileas/portal_filemenu.png) + +Ce menu vous permettra d'accéder à tous vos espaces de stockage disponibles sur Phileas. Vous pourrez également, si nous avons fait la manipulation, accéder à vos données de Nautilus si besoin. + +Vous pourrez ainsi télécharger, téléverser, et gérer vos fichiers instantanément. + +![Modifier les fichiers](/img/phileas/portal_filegestion.png) + +Si vous n'avez besoin de modifier qu'un seul petit fichier texte, un éditeur est directement proposé dans le menu _Edit_. + +![Modifier les fichiers](/img/phileas/portal_fileedit.png) diff --git a/docs/code_form/phileas/access/portal/04_jobs.md b/docs/code_form/phileas/access/portal/04_jobs.md new file mode 100644 index 000000000..17f7ee860 --- /dev/null +++ b/docs/code_form/phileas/access/portal/04_jobs.md @@ -0,0 +1,5 @@ +# Jobs en cours + +Vous avez accès à une liste des jobs actuellement en cours sur Phileas. + +![Modifier les fichiers](/img/phileas/portal_joblist.png) diff --git a/docs/code_form/phileas/access/portal/05_cluster.md b/docs/code_form/phileas/access/portal/05_cluster.md new file mode 100644 index 000000000..820a34d2a --- /dev/null +++ b/docs/code_form/phileas/access/portal/05_cluster.md @@ -0,0 +1,7 @@ +# Accès Shell et statut +Dans le menu _Cluster_ vous aurez accès à un menu de statut de Phileas, ainsi qu'à un accès Shell directement dans votre navigateur. + +![Modifier les fichiers](/img/phileas/portal_clustermenu.png) + + +![Modifier les fichiers](/img/phileas/portal_shell.png) diff --git a/docs/code_form/phileas/access/portal/06_visu.md b/docs/code_form/phileas/access/portal/06_visu.md new file mode 100644 index 000000000..8a01aae09 --- /dev/null +++ b/docs/code_form/phileas/access/portal/06_visu.md @@ -0,0 +1,47 @@ +# Applications graphiques +Vous pouvez accéder à plusieurs applications graphiques directement dans votre navigateur pour effectuer de la visualisation déportée directement sur le cluster. + +Pour cela, rendez-vous dans le menu "__My interactive sessions__" et sélectionnez le logiciel que vous souhaitez lancer. Vous aurez un formulaire à remplir pour choisir les différentes caractéristiques du job de visualisation. + +:::info +Souvenez-vous que l'account Slurm "_phileas-users_" ne permet __PAS__ de lancer des calculs, ni de jobs de visualisation. +::: + + +![Modifier les fichiers](/img/phileas/portal_graphicportal.png) + +## Accéder a l'application +Quand le job est en pending, vous verrez un contour bleu : + +![Modifier les fichiers](/img/phileas/portal_pending.png) + +:::info +En cas de besoin, cliquez sur le lien "_Problems with this session? Submit support ticket_" pour que nous ayons tous les détails possible pour aider à débuguer le job. +::: + +Une fois votre job lancé, vous verrez que la carte de job change de couleur et affiche désormais une information de connexion : + +![Modifier les fichiers](/img/phileas/portal_running.png) + +Vous pouvez cliquer sur le nom du noeud pour obtenir un shell dans votre navigateur, directement sur le noeud : + +![Modifier les fichiers](/img/phileas/portal_nodessh.png) + +Et si vous cliquez sur le bouton en bas a gauche pour lancer votre application, un nouvel onglet vous permettra d'avoir de la visualisation déportée : + +![Modifier les fichiers](/img/phileas/portal_paraview.png) + + +:::info +Vous pouvez également cliquer sur/copier le lien "_View Only (Share-able Link)_" pour obtenir un lien unique à partager sans donner les droits d'interagir avec votre application ! Cela peut être utile en formation, ou pour aider des personnes à distance. +::: + +Pour tuer le job, cliquez sur _Cancel_ ou _Delete_. + + +## Formations +Dans le cas des formations pré-établies, vous pouvez nous transmettre les caractéristiques de jobs de visualisation en adéquation avec votre formation (nombre de coeurs, account Slurm, walltime, GPUs, etc.) pour qu'un menu spécial apparaîsse dans le formulaire : + +![Modifier les fichiers](/img/phileas/portal_training.png) + +Ce menu permettra aux personnes suivant la formation de directement sélectionner un "Preset" pour que leur job se lance avec les caractéristiques choisies. diff --git a/docs/code_form/phileas/access/portal/_category_.json b/docs/code_form/phileas/access/portal/_category_.json new file mode 100644 index 000000000..fb1d3e6da --- /dev/null +++ b/docs/code_form/phileas/access/portal/_category_.json @@ -0,0 +1,4 @@ +{ + "label": "Utiliser le portail", + "position": 7 +} diff --git a/docs/code_form/phileas/access/ssh_transfers/index.md b/docs/code_form/phileas/access/ssh_transfers/index.md new file mode 100644 index 000000000..2b954208d --- /dev/null +++ b/docs/code_form/phileas/access/ssh_transfers/index.md @@ -0,0 +1,20 @@ +# Transferts de gros fichiers + +:::danger + +Cette page est réservée aux utilisations très précises de Phileas qui ne pourraient pas s'effectuer avec le portail. Un exemple +potentiel serait le transfert de données > 2Go vers ou depuis Phileas. Pour __toutes__ les autres utilisations, [nous vous demandons d'utiliser le portail Web](../portal/01_initial_access.md) + +::: + + +Pour transférer des fichiers volumineux, le portail web n'est pas adapté. Pour effectuer des transferts, il faut passer par SSH. Vous avez à votre disposition une page vous permettant de demander un accès SSH temporaire : https://auth.phileas.ec-nantes.fr/if/user/#/settings + +Sur cette page de paramètres, cliquez simplement sur _Save_ et vous reçevrez un email avec les informations de connexion que vous pourrez utiliser. Suivez les instructions décrites dans l'email pour continuer. + +Le token que vous reçevrez est __individuel__ et vous permettra de vous connecter en SSH pour faire quelques tests simples, et de transférer vos données. Vous pourrez également utiliser n'importe quel client de transfert de fichier SSH (FileZilla, WinSCP, etc.) pour envoyer/rapatrier vos fichiers. + + +:::info +Ne soyez pas étonnés, votre nom d'utilisateur ressemblera à `ticket-2bc56f594b7fc05c7f480d79acb1c025e8dc181f461c3603187dad3fb093eb65` , mais il correspond bien à votre utilisateur sur Phileas. +::: diff --git a/docs/code_form/phileas/index.md b/docs/code_form/phileas/index.md index 18ea61cd2..9da57b56b 100644 --- a/docs/code_form/phileas/index.md +++ b/docs/code_form/phileas/index.md @@ -1,9 +1,3 @@ # Phileas, la machine Code-Formation CPU Intel -La machine Phileas est hébergée au Mésocentre de l'École Centrale de Nantes. - -:::info - -This documentation is still a **beta** version. *Hic sunt dracones* - -::: \ No newline at end of file +La machine Phileas est hébergée au Mésocentre GLiCID (Groupement Ligérien pour le Calcul Intensif Distribué) : https://www.glicid.fr/ diff --git a/docs/code_form/phileas/use/02_jupyter.md b/docs/code_form/phileas/use/02_jupyter.md new file mode 100644 index 000000000..eb0c73938 --- /dev/null +++ b/docs/code_form/phileas/use/02_jupyter.md @@ -0,0 +1,106 @@ +# Jupyter +Il est possible d'avoir accès Jupyter via le portail d'accès Phileas. + +Demandez les ressources que vous souhaitez dans vos applications interactives, et sélectionnez l'environnement micromamba qui vous intéresse. + +Il y a 3 niveaux de détails dans les environnements : +1. Les environnements _GLOBAL_, disponibles pour tous les utilisateurs, par les administrateurs +2. Les environnements _TEAM_, disponibles uniquement pour les utilisateurs d'un même projet +3. Les environnements _USER_, disponibles uniquement pour vous + + + +Il est possible de créer des environnements avec micromamba, en fournissant un fichier YAML de définition d'environnement permettant de décrire les dépendances. + +Une fois ce fichier créé, vous pourrez créer votre environnement avec : + +Pour un environnement USER : +```bash +micromamba create --file="myenvironment.yml" --name="myenvironment" --root-prefix=/micromamba/$USER/ +``` + + +Pour un environnement TEAM (pour l'équipe xxx) : +```bash +micromamba create --file="myenvironment.yml" --name="myenvironment" --root-prefix=/micromamba/teams/xxx/ +``` + + +Des exemples de fichiers d'environnement sont décrits ci-dessous. + + +:::info +Pour que votre environnement soit visible dans Jupyter, il faut que les paquets suivants soient installés : +- jupyter +- jupyterlab +- ipykernel +- ipywidgets +::: + + +## Environnements globaux +### Data-science +```yml +name: data-science + +channels: + - conda-forge + +dependencies: + # Required dependencies + - python=3.13 + - jupyter + - jupyterlab + - ipykernel + - ipywidgets + # Additional libraries + - numpy + - scipy + - pandas + - scikit-learn + - scikit-image + - matplotlib + - seaborn + - plotly + - bokeh + - altair + - sympy + - numba + - cython + - dask + - pytables + - pillow + - openpyxl +``` + +### Pytorch +```yml +name: pytorch + +channels: + - conda-forge + +dependencies: + # Required dependencies + - python=3.13 + - jupyter + - jupyterlab + - ipykernel + - ipywidgets + # Additional libraries + - numpy + - scipy + - pandas + - scikit-learn + - scikit-image + - matplotlib + - seaborn + - plotly + - bokeh + - altair + - numba + - cython + - pip: + - torch + - torchvision +``` diff --git a/static/img/phileas/portal_clustermenu.png b/static/img/phileas/portal_clustermenu.png new file mode 100644 index 000000000..9169b6a22 Binary files /dev/null and b/static/img/phileas/portal_clustermenu.png differ diff --git a/static/img/phileas/portal_fileedit.png b/static/img/phileas/portal_fileedit.png new file mode 100644 index 000000000..16e3ed90e Binary files /dev/null and b/static/img/phileas/portal_fileedit.png differ diff --git a/static/img/phileas/portal_filegestion.png b/static/img/phileas/portal_filegestion.png new file mode 100644 index 000000000..3b16bd8ee Binary files /dev/null and b/static/img/phileas/portal_filegestion.png differ diff --git a/static/img/phileas/portal_filemenu.png b/static/img/phileas/portal_filemenu.png new file mode 100644 index 000000000..12fa10c24 Binary files /dev/null and b/static/img/phileas/portal_filemenu.png differ diff --git a/static/img/phileas/portal_graphicportal.png b/static/img/phileas/portal_graphicportal.png new file mode 100644 index 000000000..a1e84fe1d Binary files /dev/null and b/static/img/phileas/portal_graphicportal.png differ diff --git a/static/img/phileas/portal_joblist.png b/static/img/phileas/portal_joblist.png new file mode 100644 index 000000000..279442207 Binary files /dev/null and b/static/img/phileas/portal_joblist.png differ diff --git a/static/img/phileas/portal_main_page.png b/static/img/phileas/portal_main_page.png new file mode 100644 index 000000000..c775eece5 Binary files /dev/null and b/static/img/phileas/portal_main_page.png differ diff --git a/static/img/phileas/portal_nodessh.png b/static/img/phileas/portal_nodessh.png new file mode 100644 index 000000000..e3a2374f9 Binary files /dev/null and b/static/img/phileas/portal_nodessh.png differ diff --git a/static/img/phileas/portal_paraview.png b/static/img/phileas/portal_paraview.png new file mode 100644 index 000000000..721aa47e9 Binary files /dev/null and b/static/img/phileas/portal_paraview.png differ diff --git a/static/img/phileas/portal_pending.png b/static/img/phileas/portal_pending.png new file mode 100644 index 000000000..29caaba32 Binary files /dev/null and b/static/img/phileas/portal_pending.png differ diff --git a/static/img/phileas/portal_running.png b/static/img/phileas/portal_running.png new file mode 100644 index 000000000..42a190ac6 Binary files /dev/null and b/static/img/phileas/portal_running.png differ diff --git a/static/img/phileas/portal_shell.png b/static/img/phileas/portal_shell.png new file mode 100644 index 000000000..5024c2b73 Binary files /dev/null and b/static/img/phileas/portal_shell.png differ diff --git a/static/img/phileas/portal_training.png b/static/img/phileas/portal_training.png new file mode 100644 index 000000000..44bb2d1fb Binary files /dev/null and b/static/img/phileas/portal_training.png differ