- mon login : rote001
- mon mdp : lil-date
- projet Melody : 101030
- projet JMB et Stephanie : A0060101279
- me logguer from meom : ssh -CX [email protected]
- mes projets : idrproj
- egi :JMB et Stéphanie
- yrf : Melody
- ote : Drakkar ?
- eee : projet Julien ?
- cli : projet Thierry ?
- changer de projet par défaut : idrproj -d grp1
- changer de projet actif : eval $(idrenv -d grp1)
- idrquota -w -p egi : pour l'espace work dans le projet egi
- demander des ressources interactives dans la queue compil :
srun --pty --ntasks=8 --cpus-per-task=1 --hint=nomultithread --partition=compil --time=00:30:00 --account=cli@cpu bash - checker le temps d'éxecution d'un job :
sacct -j 736869 --format=jobid,elapsed,state,MaxRSS,MaxDiskRead,MaxDiskWrite
Update new jupyterhub server
- go on a machine recognized by jean-zay (or make a tunnel to cal1 :
ssh -ND 3128 [email protected]) - open https://jupyterhub.idris.fr/ in a browser (with proxy parameters set to SOCKS with port 3128)
Use idrjup
- [ssh to cal1, ssh meom] from lgge194 : ssh -CY [email protected]
module load python/3.7.3salloc --ntasks=1 --cpus-per-task=5 --account=egi@cpu --time=00:10:00 srun --pty bashousalloc --ntasks=1 --cpus-per-task=40 --partition=prepost --account=egi@cpu --time=03:10:00 srun --pty bash- idrlab or
idrjup --notebook-dir=$WORK - [on local machine, ssh -ND 3128 [email protected]
- in the firefox browser parameters/advanced/ set up a proxy : SOCKS, server name = localhost, port 3128]
- https://jean-zay-srv2.idris.fr/
- on choisit le type de noeud en lançant le premier job sur lequel on fait tourner le jupyterhub
- on peut soit piocher dans le noeud choisi (un seul noeud) ou soumettre un autre job avec dask-jobqueue (plusieurs noeuds possibles)
- syntaxe jobqueue : SLURMCluster(cores=1, memory='170GB',job_extra=['--account=yrf@cpu', '--ntasks=1','--cpus-per-task=1'], project='PerfTestPangeo', walltime='02:30:00') en rajoutant '--partition=prepost' dans job_extra
- si le premier job est sur un noeud normal, jobqueue sur noeuds normaux, idem prepost