Serveurs de login

Seules les connexions sécurisées sont autorisées sur les machines de login vous devez donc avoir un client ssh installé sur votre machine [1] Vous pouvez contacter votre service informatique si ce n’est pas le cas.

Connexion interne ( de l’OCA ou par VPN )

$ ssh licallo.oca.eu

2 machines de login sont disponibles, donc vous arriverez sur l’une ou l’autre.

La variable d’environnement HOSTNAME sera donc différente ; le prompt sera :

[user@gurney ]$         ou alors

[user@tagir ]$

Votre mot de passe est celui de votre compte OCA.

Si vous ne voulez plus taper votre mot de passe lors des connexions ssh, scp ... reportez vous à cette documentation.

Connexion de l’extérieur

Vous pouvez vous connecter de l’extérieur si vous y êtes autorisés ( se référer à la politique de connexion mise en place pour l’accès au mésocentre sur ce document )

Vous pouvez aussi utiliser notre passerelle de connexion ssh-n , se référer à cette documentation

 

 

Environnement par défaut

L’environnement par défaut est l’environnement Intel 15.0.0 ;

il est positionné dans les scripts /softs/env_default.sh pour le bash et /softs/env_default.csh pour le Cshell

Assurez vous que vous êtes bien dans l’environnement par défaut

Vous devez vérifier dans vos scripts de login que cet environnement est bien appelé. ( .bashrc ou .licallorc ou .cshrc ) Vous devez avoir

  • dans l’environnement bash, présence du fichier .licallorc
[willm@gurney ~]$ cat .licallorc
. /softs/env_default.sh
[willm@gurney ~]$

 et dans votre fichier de login .bashrc

# Source definitions specific to licallo 
if [ -f /.licallorc ] ; then  . /.licallorc fi

  • dans l’environnement csh

dans le fichier de login .cshrc :   

 source /softs/env_default.csh

 

[willm@gurney ~]$ cat /softs/env_default.sh
source /softs/intel/composer_xe_2015.0.090/bin/compilervars.sh intel64 
source /softs/intel/impi/5.0.1.035/bin64/mpivars.sh 
source /softs/intel/inspector_xe_2015/inspxe-vars.sh >/dev/null
source /softs/intel/itac/9.0.1.033/bin/itacvars.sh
source /softs/intel/vtune_amplifier_xe_2015.1.0.367959/amplxe-vars.sh 2>&1 > /dev/null

export CC=icc
export CXX=icpc
export FC=ifort
export F90=ifort

export I_MPI_CC=icc
export I_MPI_CXX=icpc
export I_MPI_FC=ifort
export I_MPI_F90=ifort
[willm@gurney ~]$

 

 

Nouveau compilateur

version 15.0.0 for Intel compiler
 library IMPI 5.0.1.035

Vous pouvez vous référer à la documentation Intel pour utilisation de la librairie mpi :

https://software.intel.com/sites/products/documentation/hpc/ics/impi/41/lin/Reference_Manual/

[1] Les outils ssh, scp et sftp sont par exemple compris dans la suite openssh.


 

Espace disque global

Le nouveau cluster Licallo donne accès à 275 TO utiles, monté par GPFS

Cet espace GPFS est accessible par les noeuds de type nXXX sur le réseau infiniband QDR 40 Gbit/s et par les noeuds de type pXXX sur le réseau Infiniband FDR 56 Gbit/s.

 

Vos répertoires

  • Vous avez un répertoire personnel dans /home, limité à 20 G par utilisateur ; Ces données sont sauvegardées par notre robot Tina ; cet espace vous permet de stocker, développer vos codes et non stocker vos données de calcul
  • Zone de données temporaires : /scratch

Dans cet espace , vous devez avoir un répertoire de travail

[ ~ ] 
[ ~ ] cd  /scratch/<username>
Cette zone de données temporaires n’est pas sauvegardée ;

Aucune limite à l’utilisation de ce /scratch ; par contre les utilisateurs trop gourmands seront avertis et nous ferons le ménage.

Attention: Suite à décision du comité des utilisateurs réuni en 2015, une procédure de purge automatique permet de mettre à la poubelle tous les fichiers vieux de plus de 8 mois. Cette poubelle est supprimée définitivement au bout de 2 mois.Cette procédure est exécutée dès que le taux d'occupation dépasse les 85%.

 


 

Gestionnaire de ressources OAR

  • Commandes utiles

Pour toute commande OAR, vous avez un man

oarsub permet de soumettre u job ; se référer à cet article spécifique

oarstat permet d’afficher l’état des jobs

Afficher tous les jobs

[willm@tagir ~]$ oarstat
Job id     Name           User           Submission Date     S Queue
---------- -------------- -------------- ------------------- - ----------
3779       vb2048         alainm         2011-10-24 14:43:39 R default   
3789       vbc_passif1024 alainm         2011-10-24 15:31:58 R default   
[willm@tagir ~]$

Afficher les propriétés du job 3779

[willm@tagir ~]$ oarstat -fj 3779

Afficher uniquement ses jobs

[willm@tagir ~]$ oarstat  -ju

oardel supprime un de vos jobs

[willm@tagir ~]$ oarstat  -ju

Seul l’administrateur peut tuer un job de n’importe quel utilisateur.

oarnodes affiche des informations sur les ressources du cluster ; elles ne sont pas faciles à consulter, aussi il est préférable d’utiliser l’outil graphique monika présenté ci-dessous

  • Les ressources OAR
  • Les variables d’environnement ( PATH et celles de OAR)
  • Les propriétés des ressources
  • Soumission et suivi d’un job

 

Outils de visualisation

ganglia

Cette page Web permet de visualiser l’activité des nœuds du cluster sous forme de graphiques.On peut voir , pour l’ensemble du cluster, ou pour chaque nœud :

  • charge cpu
  • utilisation mémoire
  • utilisation disque
  • utilisation réseau

monika

Page Web permettant de visualiser l’utilisation actuelle du cluster .

Pour chaque core de chaque nœud est indiqué son état : soit "Free", soit le n° du job qui s’exécute ; en cliquant sur cette ressource , sont affichées des informations plus précises sur le job en cours.

Suivent des informations détaillées sur tous les jobs en cours.( équivalent graphique de oarstat )

drawgantt

Cette page Web affiche le diagramme de Gantt permettant de visualiser dans le temps la répartition des jobs sur les noeuds tel que OAR les a lancé et tel qu’il prévoit de les lancer.Cette répartition évolue dans le temps , à chaque fois qu’un job se termine, ou quand un job est soumis.

Ce diagramme est très utile pour voir l’occupation du cluster dans le passé , le présent et dans le futur pour savoir quand OAR prévoit de lancer son job !

 

Mathematica

ne lancer mathematica que à partir d’un noeud

[willm@master2 ]$ oarsub -lnodes=1,walltime=8:00:00 -I

la première fois, pour activer mathematica :

* choisir ’Other ways to activate’

* puis ’Connect to a network license server’

* puis "server name master2"