Le Mésocentre SIGAMM

Détails

Description matérielle

Historique

  • La plateforme initiale a été acquise en 2011
  • Une extension est ajoutée en 2014 ( noeuds + stockage )
  • Octobre 2017, sont renouvellés les 2 serveurs de login, la plateforme d'administration et la solution de stockage
  • Février 2019 : renouvellement de la 1 ere génération de noeuds
  • Novembre 2020 : nouveau châssis AMD 

Les noeuds de calcul

Nombre de cores pour le calcul:

(102 * 20) + 32 + (40 * 40) + (128 * 4) = 4184 cores (une puissance crête théorique d’environ 170,8 TFlops )

Génération LICALLO 2014 : 41.4 TFlops

Génération LICALLO 2019 : 120 TFlops

Génération LICALLO 2020 : 9.4 TFlops

Plus le noeud dédié à la visualisation

 

Génération #Noeuds Proc RAM GPUs Infiniband
Licallo 2011 74 bi cpus Intel Xeon X5660 à 2.8GHz ; 2 x 6 coeurs 48 Go QDR-40 Gb/s
Licallo 2011 8 bi cpus Intel Xeon E5620 à 2.40GHz ; 2 x 4 coeurs 24 Go  2 * NVIDIA Tesla M2050 QDR-40 Gb/s
Licallo 2014 102 bi cpus Intel Xeon IvyBridge E5-2670 v2 @ 2.50GHz ; 2 x 10 coeurs 64 Go    FDR-56Gb/s
Licallo 2014 1 quadri cpus Intel Xeon E5-4650L à 2.60GHz ; 4 x 8 coeurs 1 To    FDR-56 Gb/s
Licallo 2019 40 PowerEdge C6420 bi cpus Intel(R) Xeon(R) Gold 6148  @ 2.40GHz : 2 * 20 cores 192 Go    FDR-56 Gb/s
Licallo 2019 1 PowerEdge R740 bi cpus Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz, 2 * 20 cores 384 Go  2 * Quadro P4000 - 1792 Cuda Cores FDR-56 Gb/s
Licallo 2020 1 PowerEdge C6400-R bi cpus AMD Epyc 7702 @ 2GHz, 2 * 64 cores 1 To   FDR-56 Gb/s

 

  • Les noeuds de la génération 2014 sont groupés par 2 dans une lame occupant 2 emplacements dans des chassis B510

Le bullx R4 428-E3 est un serveur de format 2U

  • Les noeuds acquis en 2019 sont groupés par 4 dans des enclosures de type Dell PowerEdge C6400 
  • Le noeud acquis en 2020 est groupé par 4 dans une enclosure Dell PowerEdge C6400-R

 

Les 2 noeuds frontaux de type PowerEdge R630 (1U) : castor et pollux

 Ces noeuds sont dédiés aux connexions utilisateur par ssh.

  • 2 proc Intel E5-2640cv4 à 2.4 GHz; 10 coeurs
  • 64 Go RAM
  • 2 DD SAS de 600 Go en Raid 1 
  • carte IB Mellanox double port

Le noeud d'administration gemini de type PowerEdge R630

Ce noeud gère toutes les tâches administratives de la platefome

  • 2 proc Intel E5-2640cv4 à 2.4 GHz; 10 coeurs
  • 64 Go RAM
  • 2 DD SAS de 600 Go en Raid 1  pour l'OS
  • 3 DD SAS de 1.2 To en raid 5 pour les applicatifs
  • 2 ports réseau 1Gb-rj45  + 2 ports réseau 10 Gb- SFP
  • carte IB Mellanox double port

L'espace de stockage

L'architecture de la solution de stockage s'appuie sur la technologie BeegFS;  

2 serveurs Dell PowerEdge R730xd qui gèrent 2 baies de disques Dell PowerVault MD1400 ( 286 T brutes )

Maquette irods

Un serveur bullx R423-E3 connecté à une baie de disques NetApp E2600 par une double connexion SA 6Gbs.

20 disques 4 TB , 7.2 t ; 80 TB brutes en 2 raid6

 

Configuration logicielle

  • Toutes les machines ont été updatées en CentOS Linux release 7.4.1708 (Core)

  • Le compilateur Intel dernière version est disponible, intégrant la librairie MPI 

  • Environnement

Utilisation des modules

  • Les applications disponibles

Liste des softs ( mise à jour 2019)

 

  • La soumission

Utilisation du logiciel de soumission slurm 

  • Règles de bonne conduite

ne pas demander plus de cores que nécessaire
ne pas demander plus de temps que nécessaire