MARUM DFG Exzellenzcluster Projekt

Gegenstand der Vergabe ist die Beschaffung von IT-Hardware mit einer Dienstleistungskomponente. Lieferung von Hardware zum Aufbau eines HPC-Clusters, Ceph Storage Cluster und GPU Nodes für KI/ML Anwendungen.

Das Konzept einer einrichtungsübergreifenden Plattform zur Verarbeitung großer Datenmengen erlaubt es erstmals, die Erfassung, Verarbeitung und Speicherung der Daten in einer Systemumgebung durchzuführen.

Dadurch wird die Möglichkeit geschaffen, große Datenmengen in einer hochperformanten Rechnerumgebung mittels klassischer oder KI-gestützter Algorithmen von der Datenerfassung bis zur Archivierung einheitlich zu verarbeiten.

Die moderne Forschung ist zunehmend von der Generierung und Analyse großer Datenmengen geprägt. Die Universität Oldenburg (UOL), die Universität Bremen (UHB) und das Alfred-Wegener-Institut (AWI) in Bremerhaven verfügen über eine starke Expertise in datenintensiven Forschungsbereichen, insbesondere in der Meeresforschung (UHB & UOL) und den Geowissenschaften (ABC). Derzeit limitiert die fragmentierte Infrastruktur und die dezentrale Datenverarbeitung die Effizienz und den Umfang dieser Forschung. Wissenschaftler sind gezwungen, Daten lokal oder in verteilten Computingzentren zu verarbeiten, was zu Redundanz, Inkompatibilitäten und eingeschränkter Kollaboration führt. Die vorhandene Rechenleistung ist oft unzureichend für komplexe Analysen und KI-Anwendungen. Die Menge der verarbeiteten Daten geht schnell in den Bereich hunderter von Tera- oder sogar Petabyte. Die Bearbeitung solcher Daten erfolgt häufig in einem mehrstufigen Verfahren: • Herunterladen von gesammelten Forschungsdaten auf eine lokale Bearbeitungseinheit oder Übertragung an eine entsprechend ausgestattete Computingeinheit. • Verarbeitung der Daten • Austausch der Daten mit anderen Forscher:innen für gemeinsame Arbeiten • Weiterleitung an ein Publikationssystem • Archivierung der Daten Es gibt demnach mehrere Stellen, zwischen denen die Daten verschoben werden müssen. Eine Kollaboration in dem Sinne, dass Wissenschaftler:innen die Daten gemeinsam auf einer Plattform be- und verarbeiten können ist so nur schwer möglich. Das vorliegende Konzept stellt eine Lösung für eine durchgängige, kollaborative Plattform für die Verarbeitung großer Datenmengen vor, die interdisziplinär und einrichtungsübergreifend genutzt werden kann.