MISE À JOUR DU SITE EN COURS SUITE AU RENOUVELLEMENT DU CLUSTER

 

Serveurs de login

Seules les connexions sécurisées sont autorisées sur les machines de login vous devez donc avoir un client ssh installé sur votre machine [1] Vous pouvez contacter votre service informatique si ce n’est pas le cas.

Connexion interne ( de l’OCA ou par VPN )

$ ssh licallo.oca.eu

2 machines de login sont disponibles, donc vous arriverez sur l’une ou l’autre.

La variable d’environnement HOSTNAME sera donc différente ; le prompt sera :

[user@gurney ]$         ou alors

[user@tagir ]$

Votre mot de passe est celui de votre compte OCA.

Si vous ne voulez plus taper votre mot de passe lors des connexions ssh, scp ... reportez vous à cette documentation.

Connexion de l’extérieur

Vous pouvez vous connecter de l’extérieur si vous y êtes autorisés ( se référer à la politique de connexion mise en place pour l’accès au mésocentre sur ce document )

Vous pouvez aussi utiliser notre passerelle de connexion ssh-n , se référer à cette documentation

 

 

Environnement par défaut

L’environnement par défaut est l’environnement Intel 15.0.0 ;

il est positionné dans les scripts /softs/env_default.sh pour le bash et /softs/env_default.csh pour le Cshell

Assurez vous que vous êtes bien dans l’environnement par défaut

Vous devez vérifier dans vos scripts de login que cet environnement est bien appelé. ( .bashrc ou .licallorc ou .cshrc ) Vous devez avoir

  • dans l’environnement bash, présence du fichier .licallorc
[willm@gurney ~]$ cat .licallorc
. /softs/env_default.sh
[willm@gurney ~]$

 et dans votre fichier de login .bashrc

# Source definitions specific to licallo 
if [ -f /.licallorc ] ; then  . /.licallorc fi

  • dans l’environnement csh

dans le fichier de login .cshrc :   

 source /softs/env_default.csh

 

[willm@gurney ~]$ cat /softs/env_default.sh
source /softs/intel/composer_xe_2015.0.090/bin/compilervars.sh intel64 
source /softs/intel/impi/5.0.1.035/bin64/mpivars.sh 
source /softs/intel/inspector_xe_2015/inspxe-vars.sh >/dev/null
source /softs/intel/itac/9.0.1.033/bin/itacvars.sh
source /softs/intel/vtune_amplifier_xe_2015.1.0.367959/amplxe-vars.sh 2>&1 > /dev/null

export CC=icc
export CXX=icpc
export FC=ifort
export F90=ifort

export I_MPI_CC=icc
export I_MPI_CXX=icpc
export I_MPI_FC=ifort
export I_MPI_F90=ifort
[willm@gurney ~]$

 

 

Nouveau compilateur

version 15.0.0 for Intel compiler
 library IMPI 5.0.1.035

Vous pouvez vous référer à la documentation Intel pour utilisation de la librairie mpi :

https://software.intel.com/sites/products/documentation/hpc/ics/impi/41/lin/Reference_Manual/

[1] Les outils ssh, scp et sftp sont par exemple compris dans la suite openssh.


 

Espace disque global

Le nouveau cluster Licallo donne accès à 275 TO utiles, monté par GPFS

Cet espace GPFS est accessible par les noeuds de type nXXX sur le réseau infiniband QDR 40 Gbit/s et par les noeuds de type pXXX sur le réseau Infiniband FDR 56 Gbit/s.

 

Vos répertoires

  • Vous avez un répertoire personnel dans /home, limité à 20 G par utilisateur ; Ces données sont sauvegardées par notre robot Tina ; cet espace vous permet de stocker, développer vos codes et non stocker vos données de calcul
  • Zone de données temporaires : /scratch

Dans cet espace , vous devez avoir un répertoire de travail

[ ~ ] 
[ ~ ] cd  /scratch/<username>
Cette zone de données temporaires n’est pas sauvegardée ;

Aucune limite à l’utilisation de ce /scratch ; par contre les utilisateurs trop gourmands seront avertis et nous ferons le ménage.

Attention: Suite à décision du comité des utilisateurs réuni en 2015, une procédure de purge automatique permet de mettre à la poubelle tous les fichiers vieux de plus de 8 mois. Cette poubelle est supprimée définitivement au bout de 2 mois.Cette procédure est exécutée dès que le taux d'occupation dépasse les 85%.

 


 

Gestionnaire de ressources OAR

  • Commandes utiles

Pour toute commande OAR, vous avez un man

oarsub permet de soumettre u job ; se référer à cet article spécifique

oarstat permet d’afficher l’état des jobs

Afficher tous les jobs

[willm@tagir ~]$ oarstat
Job id     Name           User           Submission Date     S Queue
---------- -------------- -------------- ------------------- - ----------
3779       vb2048         alainm         2011-10-24 14:43:39 R default   
3789       vbc_passif1024 alainm         2011-10-24 15:31:58 R default   
[willm@tagir ~]$

Afficher les propriétés du job 3779

[willm@tagir ~]$ oarstat -fj 3779

Afficher uniquement ses jobs

[willm@tagir ~]$ oarstat  -ju

oardel supprime un de vos jobs

[willm@tagir ~]$ oarstat  -ju

Seul l’administrateur peut tuer un job de n’importe quel utilisateur.

oarnodes affiche des informations sur les ressources du cluster ; elles ne sont pas faciles à consulter, aussi il est préférable d’utiliser l’outil graphique monika présenté ci-dessous

  • Les ressources OAR
  • Les variables d’environnement ( PATH et celles de OAR)
  • Les propriétés des ressources
  • Soumission et suivi d’un job

 

Outils de visualisation

ganglia

Cette page Web permet de visualiser l’activité des nœuds du cluster sous forme de graphiques.On peut voir , pour l’ensemble du cluster, ou pour chaque nœud :

  • charge cpu
  • utilisation mémoire
  • utilisation disque
  • utilisation réseau

monika

Page Web permettant de visualiser l’utilisation actuelle du cluster .

Pour chaque core de chaque nœud est indiqué son état : soit "Free", soit le n° du job qui s’exécute ; en cliquant sur cette ressource , sont affichées des informations plus précises sur le job en cours.

Suivent des informations détaillées sur tous les jobs en cours.( équivalent graphique de oarstat )

drawgantt

Cette page Web affiche le diagramme de Gantt permettant de visualiser dans le temps la répartition des jobs sur les noeuds tel que OAR les a lancé et tel qu’il prévoit de les lancer.Cette répartition évolue dans le temps , à chaque fois qu’un job se termine, ou quand un job est soumis.

Ce diagramme est très utile pour voir l’occupation du cluster dans le passé , le présent et dans le futur pour savoir quand OAR prévoit de lancer son job !

 

Mathematica

ne lancer mathematica que à partir d’un noeud

[willm@master2 ]$ oarsub -lnodes=1,walltime=8:00:00 -I

la première fois, pour activer mathematica :

* choisir ’Other ways to activate’

* puis ’Connect to a network license server’

* puis "server name master2"