Energy-Efficient Large-Scale Artificial Intelligence for Sustainable Data Centers

PROJEKT ESCADE

Der Stromverbrauch von Rechenzentren hat sich in den letzten zehn Jahren verdoppelt und wird bis 2030 13 % des weltweiten Energieverbrauchs ausmachen. KI ist dabei einer der größten Treiber des Stromverbrauchs von Rechenzentren: Das Training eines Modells zur Verarbeitung natürlicher Sprache wie z.B. das GPT-3-Modell verbraucht 936.000 kWh und erzeugt ca. 284 t CO₂. ChatGPT verbrauchte allein für seinen Betrieb im Januar 2023 geschätzte 1.200.000 kWh (Äquivalent zum Stromerzeugnis von 3 Windkraftanlagen pro Monat). Ziel von ESCADE ist es, den Energiebedarf von Rechenzentren durch den Einsatz weltweit führender Hardware- und Softwaretechnologien erheblich zu reduzieren, um den ökologischen Fußabdruck von KI-Anwendungen zu verbessern. Der Einsatz neuromorpher Chiptechnologien wird dabei im Mittelpunkt stehen, da diese Effizienzsteigerungen von bis zu 50% beim Training und bis zu 80% bei der Inferenz von KI-Modellen versprechen. Durch Konzepte zur Integration von NPUs in klassische GPU-basierte RZ sowie KI-basierte Energiemanagement-Services wird die Planung neuer KI-Rechenzentren nachhaltiger gestaltet, während bestehenden Rechenzentren der Weg zu einem hybriden Betrieb geebnet wird.

Die nachhaltige, ressourceneffiziente Gestaltung von Rechenzentren und KI-Systemen trägt direkt zur Erfüllung der UN-Nachhaltigkeitsziele 9, 12 und 13 bei. Das Vorreiter-Konzept für nachhaltige Rechenzentren wird in ein Ökosystem für KI-Anwendungsfälle mit betriebswirtschaftlich nachgewiesener Nachhaltigkeit eingebettet. Hierzu entwickelt das Projektteam ein Rahmenmodell zur Messung der Nachhaltigkeit von KI-Systemen. Die Konzepte werden anschließend in den Anwendungsfällen „Nachhaltige Stahlindustrie durch ressourceneffiziente KI“ sowie „Große, ressourceneffiziente NLP-Modelle“ erprobt und evaluiert.

NEWS

Bericht zu ESCADE in 3sat

Über das Projekt ESCADE und energie-effizientes Visual Computing im Kontext der Sortierung von Stahlschrott wurde im Rahmen der Sendung „NANO“ am 23.04.2024 im 3sat berichtet (ab Minute 9:06 im Beitrag).

Panel bei der Hannover Messe 2024

Prof. Dr.-Ing. Wolfgang Maaß nahm am 24.04.2024 am Panel „KI um jeden Preis? Wie Nachhaltigkeit von uns mit KI gelingen kann“ teil. Das Panel fand auf der Tech Transfer Conference Stage statt und gab tiefe Einblicke in die nachhaltige Nutzung und Anwendung von KI.Weitere Informationen finden sich hier.

ESCADE-Stand @Hannover Messe 2024

Das Projekt ESCADE ist 2024 erstmalig auf der Hannover Messe vertreten. Erste Einblicke zum Projekt und zum Anwendungsfall für nachhaltiges Visual Computing on Edge in der Stahlindustrie erhalten Sie vom 22. – 26. April 2024 in Halle 2, Stand B10. Weitere Details finden Sie hier.

Videointerview zu ESCADE

Auf den Seiten des Bundesministeriums für Wirtschaft und Klimaschutz zu den Förderprogrammen aus dem Bereich „Digitale Technologien“ wurde ein Videointerview zum Projekt ESCADE veröffentlicht. Es gibt Einblicke, welche Probleme mit ESCADE gelöst werden sollen, welche Herausforderungen diesbezüglich bestehen, und wie das Projekt potenziell die Welt verändern wird. Zum kompletten Text und zum Interview Video geht es hier.

ESCADE Projekt-Kickoff

Am 19.06.2023 begrüßte das Forschungsprojekt ESCADE seine Partner und Fördergeber zum offiziellen Projekt-Kickoff im Dompalais Erfurt. Das Kickoff-Event wurde durch den Partner NT Neue Technologie AG ausgerichtet. Es nahmen Projektvertreter mit Kompetenzen aus den Bereichen Neuromorpher Chip-Technologien (SpiNNcloud Systems, TUD) Künstlicher Intelligenz (DFKI, RUB), Rechenzentren (NT.AG), sowie Software- und Hardware-Entwicklung (SEITEC) teil. Weitere beteiligte Partner stammen aus den Bereichen Nachhaltigkeit (eco2050) und Stahlindustrie (SHS). Zusätzlich durfte das Konsortium den österreichischen Partner (Salzburg Research) begrüßen.

Detailliertere Informationen zu den Partnern finden Sie hier.

PUBLIKATIONEN

Prof. Dr.-Ing Wolfgang Maaß. Eine Frage der Energie. In: TECHNIK+EINKAUF Ausgabe 06/2024 November 2024, Seite 20-21. https://emagazin.technik-einkauf.de/de/profiles/b4c6871a2c76/editions/3436d151fa37726698dc

Schoene, M., Sushma, N.M., Zhuge, J., Mayr, C., Kappel, D. (2024). Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models. In: International Conference on Neuromorphic Systems (ICONS), Arlington, Virginia, USA. https://doi.org/10.48550/arXiv.2404.18508

Mukherji, R., Schoene, M., Nazeer, K. K., Mayr, C., Kappel, D., Subramoney, A. (2024). Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models. In: International Conference on Neuromorphic Systems (ICONS), Arlington, Virginia, USA. https://doi.org/10.48550/arXiv.2405.00433

Vogginger, B., Rostami, A., Jain, V., Arfa, S., Hantsch, A., Kappel, D., Schäfer, M., Faltings, U., Gonzalez, H. A., Liu, C., Mayr, C. & Maass, W. (2024). Neuromorphic hardware for sustainable AI data centers. In: arxiv:2404.02521. https://doi.org/10.48550/arXiv.2402.02521

Vogginger, B., Rostami, A., Jain, V., Arfa, S., Hantsch, A., Kappel, D., Schäfer, M., Faltings, U., Gonzalez, H. A., Liu, C. & Mayr, C. (2024). Neuromorphic hardware for sustainable AI data centers. In: Neuro Inspired Computational Elements Conference (NICE), La Jolla, California, United States of America. https://doi.org/10.5281/zenodo.11401962

Vogginger, B., Kappel, D., Faltings, U., Schäfer, M., Hantsch, A., Gawron, S., & Dokic, D. (2024). ESCADE – Energy-Efficient Large-Scale Artificial Intelligence for Sustainable Data Centers. In: ISC High Performance 2024 (ISC), Hamburg, Germany. https://doi.org/10.5281/zenodo.11473415

Dokic, D., Groen in’t Woud, F., Maass, W. (2024). Towards Sustainability of AI: A Systematic Review of Exisiting Life Cycle Assessment Approaches and Key Environmental Impact Parameters of Artificial Intelligence. In: HICSS 57/24. Hawaii International Conference on System Sciences (HICSS-2024), January 3-6, Honolulu, Hawaii, USA, HICSS, 2024

Gonzalez, H.A., Huang, J., Kelber, F., Nazeer, K.K., Langer, T., Liu, C., Lohrmann, M., Rostami, A.H., Schöne, M., Vogginger, B., Wunderlich, T.C., Yan, Y., Akl, M., & Mayr, C. (2024). SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning. In: Workshop on Machine Learning with New Compute Paradigms at NeurIPS 2023 (MLNPCP 2023), https://doi.org/10.48550/arXiv.2401.04491

Dokic, D., Stein, H.; Janzen, S.; Maass, W. (2023). Towards Energy-Efficient Large-Scale Artificial Intelligence for Sustainable Data Centers. In: INFORMATIK 2023. Gesellschaft für Informatik, Bonn. Umweltinformatik zwischen Nachhaltigkeit und Wandel (UINW). Berlin. 26.-30. September 2023

Pedersen, J.E., Abreu, S., Jobst, M., Lenz, G., Fra, V., Bauer, F., Muir, D.R., Zhou, P., Vogginger, B., Heckel, K., Urgese, G., Shankar, S., Stewart, T.C., Eshraghian, J.K., & Sheik, S. (2023). Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing. arXiv preprint arXiv:2311.14641. https://doi.org/10.48550/arXiv.2311.14641

ZIELE UND UMSETZUNG

Ziel von ESCADE ist es, die Energiebilanz von Rechenzentren durch weltweit führende Hardware (HW)- und Software (SW)-Technologien wesentlich zu reduzieren, um die Nachhaltigkeitsbilanz von KI-Anwendungen erheblich zu verbessern und messbar zu machen. Dazu soll über ESCADE ein Rahmenmodell für die Nachhaltigkeit von KI-Systemen („AI Sustainability Framework – AI-SF“) entwickelt werden. Somit soll durch ESCADE ein Ökosystem für KI-Anwendungsfälle mit betriebswirtschaftlich nachgewiesener Nachhaltigkeit entwickelt werden (“Sustainable AI Use Cases – SAI-UC”), die durch innovative KI-Services in nachhaltigkeitsoptimierten RZ betrieben werden (v.a. durch Einsatz neuromorpher Chip-Technologien als Ergänzung und Ersatz für klassische CPU/GPU-Hardware). Damit entwickelt ESCADE durchgängige Lösungen (“End-to-End Sustainable AI and Execution – SAI-Ex“), die komplett auf nationalen Komponenten und Kompetenzen aufsetzen, sodass eine nachhaltige Verwertung und die Entwicklung eines Ökosystems (“Sustainability Innovation Ecosystem”) ermöglicht wird. Durch Anwendung in der Hochenergiewirtschaft Stahlindustrie und der energieintensiven SW-Industrie zur Sprachverarbeitung sollen in ESCADE erhebliche Energieeinsparpotentiale nachgewiesen werden, um zugleich Arbeitsplätze in der Stahlindustrie zu erhalten und in der SW-Industrie zu entwickeln. Damit wird ein konkreter Beitrag dazu geleistet, Wirtschaftswachstum und Wohlstand vom Ressourcenverbrauch zu entkoppeln.

Ziel von ESCADE (Energy-Efficient Large-Scale Artificial Intelligence for Sustainable Data Centers) ist die Entwicklung nachhaltiger Lösungen (“End-to-End Sustainable AI and Execution – SAI-Ex“), die durch Konzeption von Anwendungsfällen (Sustainable AI Use Cases) und Entwicklung von KI-Anwendungen auf Basis kognitiver KI-Technologien den Betrieb in energieeffizienten RZ mit innovativen Chip-Technologien sicherstellen. Durch eine Plattform zur operativen Umsetzung des AI-SF sollen Messmodule für die Nachhaltigkeit technischer Architekturen Open Source zur Verfügung gestellt werden. Dies schafft den Nukleus für ein Ökosystem wirtschaftlich nachhaltiger und voll-integrierter KI-Lösungen, die durchgängig auf nationalen Komponenten und Kompetenzen basieren, um Arbeitsplätze zu schaffen und die deutsche Wirtschaft zu stärken.

Förderung

Bundesministerium für Wirtschaft und Klimaschutz (BMWK)

Förderkennzeichen: 01MN23004A

Projektträger

Deutsches Zentrum für Luft und Raumfahrt (DLR)

Volumen

Ca. 5 Mio. €

Laufzeit

01.05.2023 – 30.04.2026

KONSORTIUM

ESCADE ist ein Forschungsprojekt, das in enger Zusammenarbeit mit verschiedenen angesehenen Partnern umgesetzt wird. Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) übernimmt dabei die Koordination. Weitere Projektpartner sind die Technische Universität Dresden, die Ruhr-Universität Bochum (RUB), SHS – Stahl-Holding-Saar GmbH & Co. KGaA, die Neue Technologie AG (NT.AG) und die SEITEC GmbH. Weitere Unterstützung erhält das Projekt von assoziierten Partnern wie Aleph Alpha und SpiNNcloud.

Das Deutsche Forschungszentrum für Künstliche Intelligenz ist auf dem Gebiet innovativer Softwaretechnologien auf der Basis von Methoden der Künstlichen Intelligenz die führende wirtschaftsnahe Forschungseinrichtung Deutschlands. Die DFKI-Forschungsgruppe Smart Service Engineering (SSE) entwickelt unter der Leitung von Prof. Dr-Ing. Wolfgang Maaß Lösungen zur systematischen Konzeption und Entwicklung von Smart Service Systemen an der Schnittstelle zwischen technischen und betriebswirtschaftlichen Fragestellungen. Hierzu werden KI-basierte Methoden, Technologien und Plattformen für die Erfassung, Speicherung und Analyse sensorbasierter und unstrukturierter Datenmengen zur Ableitung Smarter Services entwickelt und angewandt. In dieses Projekt gehen insbesondere Vorarbeiten aus den Bereichen Knowledge Representations (Semantics), Distributed AI, Machine Learning und AI Engineering ein.

Die Technische Universität Dresden (TUD) ist eine der größten Technischen Universitäten in Deutschland und eine der führenden und dynamischsten Hochschulen in Deutschland. Mit 17 Fakultäten in fünf Bereichen offeriert sie ein weitgefächertes Angebot aus 124 Studiengängen und deckt ein breites Forschungs-Spektrum ab. Ihre Schwerpunkte Biomedizin und Bioengineering, Materialwissenschaften, Informationstechnik und Mikroelektronik, Energie und Umwelt sowie Kultur und gesellschaftlicher Wandel sind bundes- und europaweit gut positioniert. Seit 2012 gehört die TUD zu den deutschen Exzellenz-Universitäten. Die Forschungsschwerpunkte der Professur für hochparallele VLSI-Systeme und Neuromikroelektronik mit ca. 35 Forschenden liegen im Design von Systems-on-chip in Deep-submicron, Sensor/Aktor-Schnittstellen, Multi-Prozessor-Chips im industriellen Kontext sowie für KI/DNN-Beschleuniger und Neuroimplantate. Die Professur hat aktuell drei Spinoffs mit 140 Beschäftigten (Racyics, Siliconally, SpiNNcloud Systems). Professor Christian Mayr ist PI im 5G Lab Germany, in den Exzellenzclustern Ceti und cfaed, und im fast2020 Cluster. Im EU-Flagship Human Brain Project ist die Professur Hauptentwerfer des SpiNNaker2 Supercomputers mit 5 Mio Prozessoren. Dieser ermöglicht die weltweit erste Simulation des gesamten menschlichen Gehirns in Echtzeit und stellt außerdem die weltweit größte und effizienteste Plattform für Echtzeit-KI dar.

Die Ruhr-Universität Bochum (RUB) ist eine renommierte deutsche Universität, die im Herzen des Ruhrgebiets liegt. Sie wurde 1962 gegründet und hat sich seitdem zu einer bedeutenden Bildungseinrichtung entwickelt. Die RUB zeichnet sich durch ihre Vielfalt, Innovation und Exzellenz in Forschung und Lehre aus. Die RUB ist stolz auf ihre herausragenden Forschungsleistungen. Als eine der führenden deutschen Forschungsuniversitäten trägt sie zur Lösung aktueller gesellschaftlicher Herausforderungen bei. Die Forschungsschwerpunkte der Universität umfassen unter anderem Materialwissenschaften, Energie, Medizin, Digitalisierung und Governance. Durch ihre Kooperationen mit nationalen und internationalen Partnern ist die RUB in globale Forschungsnetzwerke eingebunden und fördert den Austausch von Wissen und Ideen.

Die SHS Stahl-Holding-Saar GmbH & CO. KG ist eine operative Management-Holding, die aktiv Aufgaben für die beiden saarländischen Stahlunternehmen Dillinger und Saarstahl wahrnimmt. Dillinger produziert Stahlgrobbleche für Branchen wie Stahlbau, Offshore und Leitungsrohre. Saarstahl ist Hersteller von hochwertigem Walzdraht und Stabstahl für die Automobilindustrie und den allgemeinen Maschinenbau. Die Unternehmen sind bereit, die grüne Transformation zu gestalten. Der Produktionsstart von grünem Stahl ist im Saarland für 2027 geplant. Die neue Produktionsroute umfasst neben der etablierten Hochofenroute einen Elektrolichtbogenofen (EAF) im Werk Völklingen sowie einen EAF- und eine Direct Reduced Iron (DRI)-Anlage zur Herstellung von Eisenschwamm im Werk von Dillinger.

Als Cloud-Dienstleister beschäftigt sich die NT.AG seit 25 Jahren täglich mit den aktuellen technologischen Anforderungen und den Herausforderungen von Hochleistungs-Cloud-Systemen. Die NT.AG verfügt dabei über bestätigte und anerkannte Expertise mit hohem Anspruch. In dem Technologiefeld „cloud computing“ hat die NT.AG erfolgreich Systeme entwickelt, aufgebaut und betrieben, welche insbesondere für den Finanzmarkt und Banken durch höchste Ansprüche an Ausfallsicherheit. Leistungsfähigkeit und Datensicherheit sowie strengen normativen und rechtlichen Rahmenbedingungen geprägt sind. Eine Abgrenzung zu anderen Systemhäusern ist die Verfügbarkeit eines eigenen, nachhaltigen Rechenzentrums in sehr hoher, zertifizierter Qualität. Der gesamte Stromverbrauch der Unternehmens-gruppe wird seit 2015 durch eigene Photovoltaikanlagen überkompensiert. Eine hohe Qualität für anspruchsvolle und sensitive Lösungen wird durch entsprechende Zertifizierungen und Auditierungen erreicht (Hochverfügbarkeit nach EN50600, Tier/ TüV Level 3+); Sicherheit, Organisation und Prozesse (ISO 27001 nach BSI Grundschutz).

SEITEC GmbH ist ein mittelständisches Industrieautomations- und Software-Unternehmen und langjähriger Partner für den Maschinen- und Anlagenbau. Mt einem interdisziplinärer Kompetenz-Team aus 30 Mitarbeitern an drei deutschen Standorten ist SEITEC innovativer Leistungs- und Technologieführer für ganzheitliche Automatisierungslösungen und die digitale Transformation der Fertigungs- und Prozessindustrie.

Salzburg Research Forschungssgesellschaft m.b.H. ist die außeruniversitäre non-profit Forschungsgesellschaft des Landes Salzburg. Sie betreibt angewandte Forschung und Entwicklung im Bereich der Informations- und Kommunikationstechnologien (IKT). Das Forschungs- und Technologiezentrum mit Sitz in Salzburg, Österreich wurde im Jahre 2000 gegründet und hat seitdem eine bedeutende Rolle bei der Förderung von Innovationen und der Entwicklung neuer Technologien in verschiedenen Bereichen gespielt. Das Hauptziel von Salzburg Research besteht darin, die Zusammenarbeit zwischen Wirtschaft, Wissenschaft und öffentlicher Verwaltung zu fördern, um innovative Lösungen für gesellschaftliche und wirtschaftliche Herausforderungen zu entwickeln. Das Zentrum arbeitet eng mit Unternehmen, Hochschulen und anderen Forschungseinrichtungen zusammen, um Forschungsprojekte durchzuführen und neue Technologien zu erforschen.

Unterauftragnehmer

Die eco2050 Institut für Nachhaltigkeit GmbH in Nürnberg ist im Jahr 2012 als Ausgründung des Lehrstuhls für Wirtschaftsinformatik (Friedrich-Alexander-Universität Erlangen-Nürnberg) entstanden. Unter der Leitung von Frau Dr. Dina Barbian liegen die Kernkompetenzen bei Sustainable Artificial Intelligence (Sustainable Al), Dekarbonisierungstechnologien, im Energiemanagement, in der zirkulären Wertschöpfung und bei CO2-Fußabdruck-Berechnungen. Das Institut bietet innovative und anwendbare Lösungen für eine nachhaltige Produktion und für nachhaltige Stoffströme an.

Die Firma SpiNNcloud Systems GmbH ist eine Ausgründung der TU Dresden und ein international tätiges Technologie-Unternehmen, welches innovative, für KI-Anwendungen optimierte Hardware entwickelt und produziert. Ihr Kernprodukt ist ein Edge-Cloud Serversystem, welches auf ihrem eigenen mehrfach patentiertem Microchip SpiNNaker2, ein sog. ASIC (Application Specific Integrated Circuit), basiert. SpiNNaker2 stellt ein weltweit führendes System im Bereich Echtzeit-KI dar.

Die Mission der elevait GmbH & Co. KG ist die Bereitstellung nachhaltiger KI-Softwareprodukte für Unternehmen jeglicher Größe. Die elevait ist ein im Jahr 2021 gegründetes, 80 Mitarbeiter starkes, deutsches KI-Softwareunternehmen mit Standorten in Triberg im Schwarzwald und Dresden. Als führender KI-Softwareanbieter im Enterprise-Umfeld kombiniert elevait modulare, wiederverwendbare Softwarekomponenten, generische Machine-Learning-Modelle mit der Möglichkeit unternehmensspezifisches, formalisiertes Wissen einzusetzen. Durch eine produktive und einfache Nutzung von Künstlicher Intelligenz bietet elevait seinen Kunden einen unmittelbaren, einzigartigen Wettbewerbsvorteil.

Die Aleph Alpha GmbH ist das einzige europäische Unternehmen, das eine neue KI-Basistechnologie für den öffentlichen und privaten Sektor erforscht, entwickelt und in Betrieb bringt. Nach den Grundsätzen von Souveränität, Exzellenz und Fairness betreibt die Aleph Alpha GmbH KI-Spitzenforschung, führt robuste und skalierbare Entwicklungsarbeiten durch und ermöglichen es Partnern, Ihre Technologie in einer Vielzahl von kreativen Anwendungsfällen zu nutzen. Durch Aleph Alpha’s eigenentwickelte KI-Basistechnologie auf Basis großer sog. GPT (generative pre-trained-transformer) -Modelle, werden große Mengen an kontextuellen Informationen in Bildern und Texten unter Nutzung des antrainierten Weltverständnisses verständlich gemacht. So wird die Analyse von Bildern, das Verfassen von Texten, die Beantwortung von Fragen und eine Reihe weitere Funktionalitäten ermöglicht. Durch die Erfahrungen aus der Erforschung, Entwicklung und dem Training der Modelle ist Aleph Alpha sehr gut aufgestellt, um am Projekt mitzuwirken und einen Beitrag leisten zu können.