image: Illustration of the main topics in the ADMIRE project view more
Credit: ill./©: ADMIRE project
Vierzehn Einrichtungen aus sechs europäischen Ländern setzen im Rahmen des ADMIRE-Projekts ein neuartiges adaptives Speichersystem für Hochleistungsrechner um. Mit dessen Hilfe soll die Laufzeit von Anwendungen aus den Bereichen Wettervorhersage, Molekulardynamik, Turbulenzsimulation, Kartografie, Gehirnforschung und Softwarekatalogisierung deutlich gesteigert werden. Unter der Koordination der Madrider Universität Carlos III (UC3M) fördern das European High-Performance Computing Joint Undertaking (EuroHPC JU) und die teilnehmenden Staaten das Projekt.
Die Verarbeitung sehr großer Datenmengen, wie sie beispielsweise für die künstliche Intelligenz benötigt werden, ist eine der Triebfedern beim Entwurf von Hochleistungsrechnern - ein Trend, der das klassische, auf das reine Rechnen fokussierte Design solcher Rechner infrage stellt. Deren flache Speicherhierarchien mit einem zentralen Dateisystem erweisen sich zunehmend als nicht ausreichend. Neue Technologien in Richtung schneller, nichtflüchtiger und gleichzeitig energieeffizienter Massenspeicher eröffnen Chancen, den Bedürfnissen datenintensiver Anwendungen gerecht zu werden. Bisher fehlen jedoch adäquate Steuerungsmechanismen und angepasste Dateisysteme, um dieses Potenzial auszuschöpfen. Diese zu schaffen ist das Ziel des europäischen Projekts ADMIRE.
Der ADMIRE-Softwarestack mit Anwendungen
Vier deutsche Einrichtungen sind maßgeblich an dem Projekt beteiligt und werden in den kommenden drei Jahren an verschiedenen Komponenten des ADMIRE-Gesamtsystems arbeiten:
* Johannes Gutenberg-Universität Mainz (JGU):
Die JGU fokussiert sich auf die sogenannten Ad-hoc-Dateisysteme, die bei Bedarf vom ADMIRE-Gesamtsystem für Applikationen gesteuert werden. Mithilfe der Ad-hoc-Dateisysteme werden zentrale Dateisysteme entlastet. Diese können so den I/O-Anforderungen unterschiedlichster Applikationen nachkommen. Dafür setzt die JGU auf das GekkoFS-Dateisystem, das bereits in früheren Projekten entwickelt wurde. Im Rahmen von ADMIRE wird GekkoFS an die Anforderungen von modernen Applikationen in Hochleistungsrechnern angepasst, sodass das Dateisystem die höchstmögliche I/O-Leistung zur Verfügung stellen und dynamisch auf Entscheidungen des ADMIRE-Gesamtsystems reagieren kann.
* Technische Universität Darmstadt:
Die TU Darmstadt entwickelt Algorithmen und Werkzeuge, um die von einem Programm genutzten Ressourcen zur Laufzeit so zu justieren, dass sowohl die Auslastung des Gesamtsystems als auch die Laufzeit individueller Programme optimiert werden. Dabei kommt ein von der TU Darmstadt in früheren Projekten geschaffenes Leistungsmodellierungswerkzeug mit dem Namen Extra-P zum Einsatz, das in ADMIRE um eine Funktionalität zur Modellierung von I/O erweitert wird.
* Forschungszentrum Jülich:
Das Jülich Supercomputing Centre (JSC) am Forschungszentrum Jülich entwickelt skalierbare und effiziente Verarbeitungsworkflows für Earth Observation (EO) Anwendungen, die auf Methoden des maschinellen Lernens und des Deep Learnings basieren. In ADMIRE wird das JSC die I/O-Leistung vollständiger Verarbeitungspipelines optimieren, die bestehende Landbedeckungskarten durch die Klassifizierung aktueller Zeitreihen von multispektralen Satellitenbildern automatisch aktualisieren können. Der neue ADMIRE-Software-Stack wird den Zugriff auf und die Analyse der Daten in den Verarbeitungsschritten von der Dateningestion bis zu den Endprodukten beschleunigen. Das JSC wird effiziente EO-Verarbeitungs-Workflows veröffentlichen, die in der Lage sind, riesige Mengen an Fernerkundungsdaten aus mehreren Quellen in operativen Szenarien zu verarbeiten, um Entscheidungsträger mit klaren, zeitnahen und nützlichen Informationen zu versorgen.
* Max Planck Computing and Data Facility (MPCDF):
Die MPCDF entwickelt in-situ Methoden, bei denen Daten noch während der laufenden Simulation prozessiert, zum Beispiel komprimiert, und analysiert werden können. Dadurch können viele Aufgaben, die normalerweise erst nach Beendigung der Simulation und Speicherung der Daten im Filesystem durchgeführt werden, bereits auf aktiven Daten, die sich noch im Hauptspeicher befinden, angewandt werden und dadurch die schlussendlich zu speichernde Datenmenge deutlich reduziert werden. In-situ-Methoden wurden ursprünglich zur Visualisierung entwickelt und werden im Zuge des ADMIRE-Projekts verallgemeinert, um insbesondere Methoden der Künstlichen Intelligenz und andere Datenanalysemethoden durchführen zu können.
###
Über ADMIRE
ADMIRE ist ein von der EU gefördertes Projekt. Es startete am 1. April 2021 und wird über drei Jahre mit einem Budget von 7,9 Millionen Euro gefördert. Unter der Koordination der Universität Carlos III (Spanien) arbeitet ein multidisziplinäres, wissenschaftliches Team zusammen: Barcelona Supercomputing Center (Spanien), Johannes Gutenberg-Universität Mainz (Deutschland), Technische Universität Darmstadt (Deutschland), Max-Planck-Gesellschaft (Deutschland), Forschungszentrum Jülich GmbH (Deutschland), DataDirect Networks (Frankreich), Paratools (Frankreich), Institut national de recherche en sciences et technologies du numérique (Frankreich), Consorzio Interuniversitario Nazionale per l'Informatica (Italien), CINECA Consorzio Interuniversitario (Italien), E4 Computer Engineering SpA (Italien), Instytut Chemii Bioorganicznej Polskiej Akademii Nauk (Polen) und Kungliga Tekniska högskolan (Schweden).
Förderung erhält ADMIRE vom European High-Performance Computing Joint Undertaking (JU) unter der Fördervereinbarung Nr. 956748. Das JU erhält Unterstützung durch das Forschungs- und Innovationsprogramm Horizon 2020 der Europäischen Union sowie durch die Länder Spanien, Deutschland, Frankreich, Italien, Polen und Schweden.
Weiterführender Link: https://www.admire-eurohpc.eu - EU-Projekt "Adaptive multi-tier intelligent data manager for exascale" (ADMIRE)