Das aktuelle Rechnersystem am NHR@ZIB ist das System Lise, benannt nach der Physikerin Lise Meitner, und besteht aus CPU- und GPU-Partitionen, hat mehr als 120.000 CPU-Rechenkernen und mehr als 50 GPU-Knoten mit je vier GPUs und verfügt damit über eine Spitzenleistung von knapp 9 Pflop/s. Das System Lise besteht aus den folgenden Partitionen mit Rechenknoten.

• CPU-Partitionen
  • Intel CLX
  • AMD Genoa
• GPU-Partitionen
  • Nvidia
  • Intel PVC

Alle Rechenknoten sind an die globalen Dateisysteme angebunden.

• Home-Dateisystem
• Work-Dateisystem
• Archivsystem

CPU-Partition Intel CLX

Mit der vollständigen Lieferung Ende 2019 durch die Firma Atos/Bull verfügte das NHR@ZIB über ein CPU-System mit 1270 Rechenknoten. Im Jahr 2024 wurde gleichzeitig mit der Installation der AMD Genoa-Partition die Intel CLX-Partition auf 982 Rechenknoten reduziert.

• 982 Rechenknoten
  • 948 Knoten mit 384 GB Hauptspeicher (standard node)
  • 32 Knoten mit 768 GB Hauptspeicher (large node)
  • 2 Knoten mit 1,5 TB Hauptspeicher (huge node)
  • je Knoten 2 CPUs und 1 Intel Omni-Path host fabric Adapter
  • je CPU 1 Intel Cascade Lake Platinum 9242 (CLX-AP), 48 Kerne
• Omni-Path Netzwerkkonfiguration
  • 2 x 1162 port OPA100 director Switche
  • 56 x 48 port edge Switche
  • Fat Tree Topologie
  • 14 TB/s Bisectionsbandbreite
  • 1,65 μs maximale Latenz
• 8 Loginknoten
  • je Knoten 2 CPU mit 384 GB Hauptspeicher
  • je CPU 1 Intel Cascade Lake Silver 4210 (CLX), 20 Kerne

CPU-Partition AMD Genoa

• 168 Rechenknoten
  • je Knoten 2 CPUs und 1,5 TB Hauptspeicher
  • je Knoten 3,5 TB NVMe lokaler SSD-Speicher
  • je Knoten 400 Gbit/s Infiniband NDR interconnect
  • je CPU 1 AMD EPYC 9654, 96 Kerne

GPU-Partition Nvidia

• 42 Rechenknoten
  • je Knoten zwei Intel CPUs, 1 TB Hauptspeicher und 4 Nvidia GPUs mit NVLink 3.0
  • CPU: Intel Xeon 8360Y, 2,4 GHz 36 Kerne
  • GPU: Nvidia A100/80GB HBM

GPU-Partition Intel PVC

• 8 Rechenknoten
  • je Knoten zwei Intel CPUs und 4 Intel Xe GPUs
  • CPU: Intel Xeon
  • GPU: Intel Xe Ponte Vecchio HPC, 128 GB HBM

 

Datenhaltung

Zur Datenspeicherung bietet das System Lise drei Dateisysteme.

Home- und Work-Dateisystem

Das Home-Dateisystem wird kontinuierlich gesichert mit täglichen Snapshots für Nutzerdateien.

Das Work-Dateisystem ist ein schneller Speicherbereich für große Datenmengen mit temporärem Arbeitscharakter. Da die Nutzerdateien nicht gesichert werden, liegt die Datensicherung in der Verantwortung der Projekte.

• 20 PB Speicherkapazität
• 1 PB SSD-Cache
• 185 GB/s aggregierte Schreib- und Leseleistung

Die beiden Dateisysteme Home und Work befinden sich aus technischer Sicht auf dem gleichen Speichersystem, das auf einem IBM Storage Scale System basiert. Das Speichersystem verfügt über drehende Festplatten und besitzt zur Beschleunigung einen automatischen SSD-Cache. Die Dateisysteme verfügen über Volumen- und Inode-Quotas für groups und users. Die Quotas mit Soft- und Hard-Limits sowie grace periods können für Verzeichnisse konfiguriert werden.

Perm-Archivsystem

Für die mittel- und langfristige Datenhaltung wird ein Archivsystem mit Magnetbandspeicher-Medien betrieben. Das Archivsystem besteht aus einem Hierarchical-Storage-Management-System (HSM) mit Sun StorEdge SAM-FS als Steuersoftware.