Hardware :

Nous disposons à partir de maintenant de 3024 cores pour une puissance
crête totale d’environ 52 Tflops

La répartition est ainsi :

Génération LICALLO1 – 10,5 TFlops

nXXX :74 nœuds , bi cpus Intel Xeon X5660 à 2.80GHz, 48 Go de RAM, 2*6 cores
nXXX :8 nœuds , bi cpus Intel Xeon E5620 à 2.40GHz,, 24 Go RAM et 2 GPUs Tesla M2050, 2*4 cores

Interconnexion par réseau Infiniband QDR

 

Génération LICALLO2 – 41.4 TFlops

pXXX :102 nœuds , bi cpus Intel Xeon E5-2670 v2 à 2.50GHz, 64 Go RAM, 2*10 cores

r428 :1 nœud , quadri cpus Intel Xeon E5-4650L à 2.60GHz, 1 To RAM, 4*8 cores

Interconnexion par réseau Infiniband FDR

Software :

  •  Toutes les machines ont été updatés en CentOS 6.5.

  • Le compilateur Intel dernière version est disponible, intégrant la librairie MPI 

  • Environnement

Votre environnement est spécifié dans un fichier caché de votre répertoire.

/home/<user>/.licallorc

Ce fichier est sourcé au login de l’utilisateur

. /softs/env_default.sh 

Ces fichiers d’environnements env_default.[c]sh sont mis à jour régulièrement pour pointer sur le dernier environnement stable Intel

A partir de octobre 2014 , nous avons l’environnement :

- version 15.0.0 for Intel compiler 

- library IMPI 5.0.1.035 

  • La soumission OAR

 Vous pouvez toujours utiliser vos scripts de soumission actuels dans l’environnement par défaut. Il sera peut être utile de les modifier. Les indications développés ici peuvent vous y aider.

Oar lancera la soumission sur un même type de nœuds
( soit les anciens sans gpu , soit les nouveaux, … )

Les nouveaux nœuds ont 2 * 10 cores et 64 Go de mémoire.

Dans les cas de jobs parallèles il peut être intéressant d’adapter ses scripts oar.

  • Soumettre un job utlisant beaucoup de mémoire

Un noeud de 32 cores et 1 Téraoctets de mémoire est maintenant disponible

Pour soumettre un job sur ce noeud 

- en ligne de commande                oarsub -t bigsmp …

- dans un script OAR , vous rajoutez l’option #OAR -t bigsmp

  • Soumettre un job en spécifiant le type de noeuds.

Vous spécifiez la propriété ibpool 

Pour soumettre sur les noeuds pXXX utilisant le réseau FDR à 56 Gbits/s

- en ligne de commande                oarsub -p "ibpool=’FDR’" ...

- dans le script                       #OAR -p ibpool=’FDR’

Pour soumettre sur les noeuds nXXX utilisant le réseau QDR à 40 Gbits/s, ibpool=’QDR’

  • Soumettre un job mpi dans l’environnement par défaut Intel

Les dernières versions du compilateur intel intègrent la librairie mpi de intel.

Celle-çi est basée sur la librairie mpich.

Les lancements de code mpi s’effectuent avec mpiexec.hydra au lieu de mpirun ou mpiexec ;
Voici un script oar basique , à utiliser dans cet environnement, pour un job demandant 6 cores/cpu , 2 cpus/noeud sur 3noeuds

# !/bin/env bash

#OAR -n TEST

#OAR -l /nodes=3 /cpu=2/core=6,walltime=4:00:0

#OAR -p gpu=’NO’

source /softs/env-default.sh

HOSTS=$(sort -u $OAR_NODE_FILE | xargs echo | sed s/\ /,/g)

MPIRUN="mpiexec.hydra \

-machinefile $OAR_NODE_FILE \

-bootstrap ssh \

-bootstrap-exec /usr/bin/oarsh \

envall" >

$MPIRUN ./<your_job>

  • Règles de bonne conduite

ne pas demander plus de cores que nécessaire
ne pas demander plus de walltime que nécessaire

La plateforme de calcul LICALLO a été acquise en 2011 .

Une extension est ajoutée au cours de l’été 2014 et est maintenant en production.

Le serveur d’administration chusuk

Cette machine gère toutes les tâches d’administration du cluster.

Descriptif matériel :

  • processeurs : 2 x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz (4 coeurs, hyper threading activé)
  • mémoire : 24Go
  • disques : RAID1 de 2 disques de 500Go

2 serveurs de login : login01 et login02

Ils sont dédiés aux connexions ssh des utilisateurs ; ils sont identiques, à part leur n° IP

  • processeurs : 2 x Intel(R) Xeon(R) CPU X5650 @ 2.67GHz (6 coeurs,hyperthreading activé)
  • mémoire : 48Go
  • disques : RAID1 de 2 disques de 500Go

2 serveurs d’IO

Ils gèrent le système GPFS implanté pour le stockage sur la baie DDN

  • processeurs : 2 x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz (4 coeurs)
  • mémoire : 24Go
  • disques : RAID1 de 2 disques de 150Go

74 noeuds de calcul de type X5660

Ils sont au format ’lames’ de type B500, dans des chassis Inca( 18 par chassis )

  • processeurs : 2 x Intel(R) Xeon(R) CPU X5660 @ 2.80GHz (6 coeurs) : 12 cores
  • mémoire : 48Go
  • disques : 250Go

8 noeuds de type E5620

Chacun , au format lame de type B550 , occupe un double emplacement dans le chassis et posséde 2 GPU NVIDIA M2050

  • processeurs : 2 x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz (4 coeurs) ; 8 cores
  • mémoire : 24Go
  • disques : 250Go

102 noeuds de calcul de type E5-2670v2

Les noeuds sont groupés par 2 dans une lame occupant 2 emplacements dans des chassis B510

  • 2 Intel Xeon IvyBridge E5-2670v2 / 10 cœurs / 2,5GHz / 11 5W : 20 cores
  • 64GB
  • 2 DD x128GB

noeud de calcul à grande mémoire

Le bullx R4 428-E3 est un serveur de format 2U et quadri sockets, équipé de 4 proc dernière génération

  • processeurs : 4 * Intel E5-46 650L 8c (2.6GHz-8.0GT- -20MB-115W ) : 32 cores
  • mémoire : 32 * 32 = 1 Tera

Stockage

Une baie de disque DDN S6620 constitués de 2 tiroirs chacun ayant une capacité de 60 disques de 3 To

La baie a été complétée pour avoir 120 disques configurés en 10 raid6 et donnant un un espace utile de 275 TB.

Archivage

L’archivage est assuré par un serveur bullx R423-E3 connecté à une baie de disques NetApp E2600 par une double connexion SA 6Gbs.

  • 20 disques 4 TB , 7.2 t ; 80 TB brutes en 2 raid6