image: Server room with modern high-performance computing cluster at ISTA. The Institute of Science and Technology Austria (ISTA) expands its computing infrastructure for machine learning in academic research.
Credit: © ISTA
Das Institute of Science and Technology Austria (ISTA) investiert in einen hochmodernen Rechencluster von mehr als 100 NVIDIA H100 Tensor Core Grafikprozessoren (GPUs), um seine Recheninfrastruktur für Machine Learning in der akademischen Forschung zu erweitern. Der neue GPU-Cluster ist auf das Training von Deep-Learning-Algorithmen für Generative AI spezialisiert. Die millionenschwere Investition des Instituts trägt dazu bei, die akademische KI-Forschung in großem Umfang zu beschleunigen und das ISTA weiter als europäischen Rechen-Hotspot zu etablieren. Das gab das Institut in Klosterneuburg heute bekannt.
Im Zeitalter der künstlichen Intelligenz (KI) und Generative AI machen KI-Forschung und Machine Learning riesige Sprünge, die vor allem vom Privatsektor vorangetrieben werden. Mit einer Investition von 3,6 Millionen Euro in NVIDIA H100 Tensor Core Grafikprozessoren (GPUs) steigert das Institute of Science and Technology Austria (ISTA) seine Rechenkapazitäten für das Training von Deep-Learning-Algorithmen: So genannte ‚Large Language Models‘ (LLMs) werden für Generative AI und Machine Learning in der akademischen Forschung eingesetzt.
„Mit dieser umfassenden Modernisierung erweitert ISTA seine Rechenkapazitäten, und kann sich dadurch mit großen internationalen Forschungseinrichtungen an der Spitze der akademischen KI-Forschung messen“, sagt ISTA-Präsident Martin Hetzer.
„Die Installation des neuen NVIDIA-GPU-Clusters am ISTA bietet leistungsstarke Rechenkapazitäten, um LLMs zu trainieren und Spitzenforschung voranzutreiben“, sagte John Josephakis, Global Vice President of Business Development für High-Performance Computing (HPC) und Supercomputing bei NVIDIA. „Der Cluster wird dazu beitragen, Durchbrüche zum Beispiel in den Biowissenschaften, einschließlich der Strukturbiologie und der Neurowissenschaften, voranzutreiben, um wissenschaftliche Erkenntnisse und Bildung zu fördern.“
Das ISTA wird weiterhin in den Cluster investieren, um ihn auf einem hohen internationalen Standard zu halten.
Modernisierter Hochleistungs-Rechencluster mit spezialisierten Grafikprozessoren und verbesserten CPU-Prozessoren
Die NVIDIA H100 Grafikprozessoren-(GPU)-Knoten sind Teil einer größeren Modernisierung des ISTA High-Performance Computing (HPC) Clusters. Die aufgerüstete Infrastruktur besteht aus zwei neuen NVIDIA-GPU-Knotentypen mit sich ergänzenden Funktionen zusätzlich zur Modernisierung bestehender CPUs. Der erste neue GPU-Knotentyp besteht aus 13 Knoten, die jeweils acht NVIDIA HGX H100 Systeme enthalten. Zusammen erreichen die H100-Knoten eine Spitzenrechenleistung von 416 petaFLOPS. Mit über 100 starken GPUs ist dieser Teil des Clusters darauf ausgelegt, komplexe KI-Aufgaben zu bewältigen: Das sind zum Beispiel das Training von LLMs ähnlich wie ChatGPT oder von Anwendungen wie dem KI-Programm AlphaFold zur Vorhersage von Proteinstrukturen.
Der zweite neue GPU-Knotentyp besteht aus 12 Knoten, die jeweils vier L40S GPUs von NVIDIA enthalten, und ist auf grafische Anwendungen, die das Training kleinerer Modelle erfordern, spezialisiert. Solche Anwendungen sind zum Beispiel strukturbiologische Berechnungen und Bildanalyse, etwa in der Kryo-Elektronenmikroskopie. Teil dieser zweiten Erweiterung ist der Austausch älterer Grafikprozessorsysteme, in dem mehr als 150 NVIDIA-Grafikprozessoren der vorherigen Generation weiter in Betrieb sein werden.
Zusätzlich zu den beiden neuen GPU-Knotentypen werden die modernisierten CPUs 147 Millionen Kernstunden pro Jahr liefern (eine Stunde CPU-Betrieb entspricht einer Kernstunde). Die 147 Millionen Kernstunden pro Jahr wurden aus den Nutzungsdaten der letzten Jahre, dem zusätzlichen Bedarf der bestehenden Forschungsgruppen und dem erwarteten Bedarf neuer Professor:innen in den kommenden Jahren abgeleitet. Das ISTA hat derzeit über 80 aktive Forschungsgruppen und soll bis 2036 auf 150 Gruppen anwachsen.
KI-Forschung voranbringen mit Zusammenarbeit zwischen akademischer Forschung und Privatsektor
Die jüngsten Entwicklungen in den Generative-AI- und Machine-Learning-Bereichen haben gezeigt, dass der Umfang eine entscheidende Rolle spielt. „Derzeit ist das Training großer KI-Modelle in erster Linie die Domäne riesiger Technologieunternehmen. Durch diesen Hochleistungs-Rechencluster ermöglicht das ISTA seinen Forscher:innen, mit modernster KI-Technologie zu experimentieren und sie in neue mögliche und unerwartete Richtungen zu entwickeln. So trägt diese Initiative dazu bei, KI-Forschung und Machine Learning besser in der öffentlich finanzierten Forschung zu verankern, und die offene, neugiergetriebene Wissenschaft zu fördern, was eine der Hauptstärken des ISTA ist“, sagt ISTA-Professor Dan Alistarh, ein Spezialist für KI und Machine Learning, der auch die Notwendigkeit einer ‚Demokratisierung‘ der KI hervorhebt. Alistarhs Gruppe erforscht Möglichkeiten, leistungsfähiger, aber kleiner Versionen großer KI-Modelle zu erstellen, die Menschen auf alltäglicher Hardware, wie etwa einem Telefon oder einem PC, nutzen können. Hetzer fügt hinzu: „Indem das ISTA seine Recheninfrastruktur modernisiert und sie gezielt auf KI-Forschung und Machine Learning ausrichtet, unterstreicht das Institut seine Zusammenarbeit mit dem Privatsektor. Dies ist ein wichtiges Unterfangen, um sicherzustellen, dass die akademische Forschung die Zukunft der KI mitgestaltet.“
Dieser Cluster, ein von ISTA-Professor:innen initiiertes und stark von Alistarh geprägtes Projekt, bringt dem Institut und seinen unterschiedlichen Forschungsbereichen weitreichende Fortschritte. Neben der Möglichkeit verschiedene leistungsstarke LLMs zu trainieren, wird der Cluster auch in der Forschung in den Biowissenschaften Anwendung finden, also zum Beispiel in der Strukturbiologie und den Neurowissenschaften. Derzeit soll die neue Recheninfrastruktur ausschließlich von ISTA-Wissenschafter:innen und -Mitarbeiter:innen genutzt werden; es besteht jedoch die Möglichkeit, die Leistung in Zukunft auf externe Nutzer:innen auszuweiten.
Die vom Institut finanzierte groß angelegte Modernisierung ist ein laufender Prozess, um auf hohem internationalem Niveau zu bleiben. So schafft und erhält das ISTA wettbewerbsfähige Recheninfrastruktur für die nächste Generation von Forscher:innen.
Minister begrüßt ISTA-Initiative
Der österreichische Bundesminister für Bildung, Wissenschaft und Forschung, Martin Polaschek, würdigt die Initiative des Instituts: „Ich begrüße die Entscheidung des ISTA, weiter in die Zukunft der KI zu investieren. Das ISTA ist bereits Teil des kürzlich vom FWF vorgestellten Forschungs-Exzellenzclusters ‚Bilaterale KI‘. Die besten Köpfe zusammen zu bringen und die Ausstattung mit der entsprechenden hochmodernen Forschungsinfrastruktur wird dazu beitragen, die KI-Forschung in Österreich auf die nächste Stufe zu heben. Ich wünsche dem ISTA und seinen KI-Forscher:innen sowie ihren Kooperationspartner:innen viel Erfolg bei ihren innovativen Vorhaben.“