Das aktuelle Rechnersystem am NHR@ZIB ist das System Lise, benannt nach der Physikerin Lise Meitner, und besteht aus CPU- und GPU-Partitionen, hat mehr als 120.000 CPU-Rechenkernen und mehr als 50 GPU-Knoten mit je vier GPUs und verfügt damit über eine Spitzenleistung von knapp 9 Pflop/s. Das System Lise besteht aus den folgenden Partitionen mit Rechenknoten.

• Intel-CPU-Partition
• Nvidia-GPU-Partition
• Intel-GPU-Partition

Alle Rechenknoten sind an die globalen Dateisysteme angebunden.

• WORK-Dateisystem
• HOME-Dateisystem
• Archivsystem

Intel-CPU-Partition

Mit der vollständigen Lieferung Ende 2019 durch die Firma Atos/Bull verfügt das NHR@ZIB über ein CPU-System mit 1270 Rechenknoten und insgesamt 121.920 Rechenkernen.

• 1270 Rechenknoten
  • 1236 Knoten mit 384 GB Hauptspeicher (standard node)
  • 32 Knoten mit 768 GB Hauptspeicher (large node)
  • 2 Knoten mit 1,5 TB Hauptspeicher (huge node)
  • je Knoten 2 CPUs und 1 Intel Omni-Path host fabric Adapter
  • je CPU 1 Intel Cascade Lake Platinum 9242 (CLX-AP), 48 Kerne
• Omni-Path Netzwerkkonfiguration
  • 2 x 1162 port OPA100 director Switche
  • 56 x 48 port edge Switche
  • Fat Tree Topologie
  • 14 TB/s Bisectionsbandbreite
  • 1,65 μs maximale Latenz
• 8 Loginknoten
  • je Knoten 2 CPU mit 384 GB Hauptspeicher
  • je CPU 1 Intel Cascade Lake Silver 4210 (CLX), 20 Kerne

Nvidia-GPU-Partition

• 42 Rechenknoten
  • je Knoten zwei Intel CPUs, 1 TB Hauptspeicher und 4 Nvidia GPUs mit NVLink 3.0
  • CPU: Intel Xeon 8360Y, 2,4 GHz 36 Kerne
  • GPU: Nvidia A100/80GB HBM

Intel-GPU-Partition

• 8 Rechenknoten
  • je Knoten zwei Intel CPUs und 4 Intel Xe GPUs
  • CPU: Intel Xeon
  • GPU: Intel Xe Ponte Vecchio HPC, 128 GB HBM

Datenhaltung

System Lise umfasst drei Dateisysteme:

Work-Dateisystem

Für große Datenmengen steht ein WORK-Dateisystem zur Verfügung.

• 10 PB netto Speicherkapazität
• 80 GB/s aggregierte Schreib- und Leseleistung

Das WORK-Dateisystem basiert auf einem DDN EXAScaler mit dem parallelen Dateisystem DDN-Lustre. Es sind 2 x DDN ES18K Embedded-Storage Systeme mit integrierten OSS und einer skalierbaren MDS-Einheit installiert. Vier der 32 Object Storage Targets (OST) sind komplett mit NVMe SSDs ausgestattet und ermöglichen damit FastIO für hohe IO-Anforderungen mit zufälligen Zugriffsmustern. Diese Scratch-Daten werden nicht in das automatische Backup übernommen.

HOME-Dateisystem

Das Heimat-Dateiverzeichnis hat die folgenden Leistungsdaten.

• 2 x 340 TB netto Speicherkapazität
  • 2 x 280 TB für Nutzerdaten
  • 2 x 60 TB für Snapshots und Systeminstallationen

Das HOME-Dateisystem basiert auf DDN GRIDScaler (Spectrum Scale) mit DDN SFA7700X Block-Storage. Das Dateisystem bietet Disk-Quotas und Inode-Quotas für Gruppen und Nutzer, die auf allen Knoten bei Dateizugriffen verarbeitet werden können. Es werden hard-/soft-limits, grace periods usw. unterstützt. Disk-/Inode-Quotas mit Soft/Hard-Limits sowie „grace periods“ können für Nutzer, Gruppen und per Fileset konfiguriert werden. Das Dateisystem wird an die Login und Compute Knoten mittels NFS exportiert. Das HOME-Dateisystem wird kontinuierlich gesichert und es werden tägliche Snapshots des Systems gemacht.

Archivsystem

Für die mittel- und langfristige Datenhaltung wird ein Archivsystem mit Magnetbandspeicher-Medien betrieben. Das Archivsystem besteht aus einem Hierarchical-Storage-Management-System (HSM) mit Sun StorEdge SAM-FS als Steuersoftware.