Beschaffung von GPU- und CPU-Rechenleistung zum Training eines LLM

Im Rahmen eines öffentlich geförderten europäischen Projekts zu offenen großen Sprachmodellen veröffentlicht die Gottfried Wilhelm Leibniz Universität Hannover (LUH) diese europaweite Ausschreibung für GPU- und CPU-Rechenkapazitäten für das Pretraining und Post-Training großer Sprachmodelle (LLMs). Die Beschaffung ist in zwei Lose unterteilt, die zwei technisch unterschiedlichen Systemklassen entsprechen: Los 1 betrifft GPU-Knoten gemäß der NVIDIA-DGX/HGX-B200- oder B300-Referenzarchitektur (8 GPU-Module pro Knoten) oder neuer. Gegenstand sind die Fertigstellung und das Post-Training von Mixture-of-Experts-(MoE-)Modellen mit mehr als 100 Milliarden Parametern, die Evaluierung, die Generierung synthetischer Daten mit Generatormodellen von etwa 400 Milliarden Parametern sowie die Destillation kleinerer Modellvarianten. -Referenz-GPU NVIDIA B200 in Knoten der DGX/HGX-B200-Referenzarchitektur (2,25 × 10¹⁵ FLOPs/s BF16 Dense je GPU); DGX/HGX B300 oder neuere NVIDIA-Referenzarchitekturen derselben Klasse (z. B. DGX Rubin NVL8) sind zulässig. -Verbindliche Mindestrechenleistung 1,5 × 10²⁵ FLOPs ≈ 1,85 Millionen B200-GPU-Stunden - Referenzkonfiguration 1.024 GPUs (128 Knoten) während der ersten 65 Tage, anschließend 128 GPUs (16 Knoten) bis zum Ende der Laufzeit (155 Tage) = 1.873.920 GPU-Stunden = 1,52 × 10²⁵ FLOPs - Mindestanzahl gleichzeitig verfügbarer GPUs ≥ 1.024 (128 Knoten) während der ersten 65 Tage; anschließend ≥ 128 (16 Knoten) - Beginn / Ende des Leistungszeitraums Vom Bieter angebotener Beginn, nicht vor dem 1. Dezember 2026 und nicht nach dem 15. Januar 2027; Laufzeit 155 Tage (Referenz: 1. Dezember 2026 bis 4. Mai 2027), mit vorausgehender zweiwöchiger Testphase - Option Bis zu drei Monate nach der Grundlaufzeit, 128 GPUs - Preisobergrenze 16.400.000 EUR (einschließlich 19 % Umsatzsteuer) - CPU ≥ 15 Millionen Core-Stunden; Partition mit ≥ 4.096 physischen Kernen - Speicher ≥ 1 PB paralleles Dateisystem zuzüglich ≥ 1 PB S3-kompatibler Objektspeicher - Standort EU/EWR oder ein Land mit einem Angemessenheitsbeschluss der EU Nähere Informationen entnehmen Sie bitte der Leistungsbeschreibung.

Im Rahmen eines öffentlich geförderten europäischen Projekts zu offenen großen Sprachmodellen veröffentlicht die Gottfried Wilhelm Leibniz Universität Hannover (LUH) diese europaweite Ausschreibung für GPU- und CPU-Rechenkapazitäten für das Pretraining und Post-Training großer Sprachmodelle (LLMs). Die Beschaffung ist in zwei Lose unterteilt, die zwei technisch unterschiedlichen Systemklassen entsprechen: Los 2 betrifft Rack-Scale-Systeme gemäß der NVIDIA-GB200- oder GB300-NVL72-Referenzarchitektur oder neuer. Gegenstand sind das Pre-Training und Post-Training eines MoE-Modells mit mehr als 350 Milliarden Parametern, beispielsweise durch Reinforcement Learning mit verifizierbaren Belohnungen. Die NVLink-Domäne mit 72 GPUs ist für diese Modellgröße technisch erforderlich (Anhang A.4). - Referenz-GPU NVIDIA GB200 NVL72 (2,5 × 10¹⁵ FLOPs/s BF16 Dense je GPU); GB300 NVL72 oder neuere NVIDIA-Rack-Scale-Referenzarchitekturen (z. B. Vera Rubin NVL144) sind zulässig. - Verbindliche Mindestrechenleistung 2,4 × 10²⁵ FLOPs ≈ 2,67 Millionen GB200-GPU-Stunden (≈ 2.048 GPUs für mindestens 54 Tage) - Referenzkonfiguration 2.048 GPUs (29 NVL72-Racks, Reservekapazitäten gemäß A5) für 56 Tage ab dem Beginn der Leistungserbringung (Referenz: 15. Januar bis 11. März 2027) = 2.752.512 GPU-Stunden = 2,48 × 10²⁵ FLOPs - Mindestzahl gleichzeitig verfügbarer GPUs (F) 2.048 (29 NVL72-Racks), bis die garantierten FLOPs bereitgestellt sind - Beginn / Ende des Leistungszeitraums Vom Bieter angebotener Beginn, nicht vor dem 15. Januar 2027 und nicht nach dem 1. April 2027; Laufzeit bis zur Bereitstellung der garantierten FLOPs (Referenz: 56 Tage, 15. Januar bis 11. März 2027), mit vorausgehender zweiwöchiger Testphase - Option Bis zu drei Monate nach der Grundlaufzeit, 2.048 GPUs - Preisobergrenze 26.100.000 EUR (einschließlich Umsatzsteuer) - CPU Partition mit ≥ 8.192 physischen Kernen (RL-Sandboxes) - Speicher ≥ 1 PB paralleles Dateisystem zuzüglich ≥ 1 PB Objektspeicher (Checkpoints mit jeweils bis zu etwa 8 TB) - Standort EU/EWR oder ein Land mit einem Angemessenheitsbeschluss der EU Nähere Informationen entnehmen Sie bitte der Leistungsbeschreibung.