In unserem letzten Blog Werden KI-Workloads die gesamte weltweite Energie verbrauchen? haben wir uns mit dem Zusammenhang zwischen steigender Rechenleistung und zunehmendem Energiebedarf und der Bedeutung für künstliche Intelligenz (KI) unter Umweltgesichtspunkten befasst. In diesem neuesten Blog möchten wir diese Diskussion anhand einer Fallstudie über das weltweit größte LLM (Large Language Model, großes Sprachmodell) BLOOM weiter beleuchten.

Fallstudie über Umweltauswirkungen: BLOOM

Eine genaue Schätzung der Umweltauswirkungen des Betriebs eines LLM ist alles andere als eine einfache Aufgabe. Zunächst muss man verstehen, dass es einen allgemeinen „Modell-Lebenszyklus“ gibt. Im Großen und Ganzen kann man sich den Modell-Lebenszyklus in drei Phasen vorstellen¹:

Inferenz: Dies ist die Phase, in der ein Modell als „betriebsbereit“ bezeichnet wird. Wenn man zum Beispiel an das maschinelle Übersetzungssystem von Google denkt, findet die Inferenz statt, wenn das System Übersetzungen für Nutzer bereitstellt. Der Energieverbrauch für eine einzelne Anfrage ist gering, aber wenn das Gesamtsystem 100 Milliarden Wörter pro Tag verarbeitet, kann der Gesamtenergieverbrauch immer noch recht hoch sein.

Training: Dies ist die Phase, in der die Parameter eines Modells festgelegt sind und das System mit Daten in Berührung kommt, aus denen es lernen kann, sodass die Ergebnisse in der Inferenzphase als „korrekt“ beurteilt werden. In einigen Fällen sind die Treibhausgasemissionen für das Training großer, hochmoderner Modelle mit den Lebenszeitemissionen eines Autos vergleichbar.

Modellentwicklung: Dies ist die Phase, in der Entwickler und Wissenschaftler versuchen, das Modell zu erstellen, und dabei mit allen möglichen Optionen experimentieren. Es ist einfacher, die Auswirkungen des Trainings eines fertigen Modells, das herausgegeben wird, zu messen, als die

Auswirkungen des Forschungs- und Entwicklungsprozesses, der viele verschiedene Wege beinhaltet, bevor das fertige Modell der Öffentlichkeit präsentiert wird.

Daher konzentriert sich die BLOOM-Fallstudie auf die Auswirkungen des Trainings des Modells.

• BLOOM wird auf 1,6 Terabyte Daten in 46 natürlichen Sprachen und 13 Programmiersprachen trainiert.
• Es ist anzumerken, dass Nvidia zum Zeitpunkt der Studie die CO2-Intensität dieses speziellen Chips nicht bekannt gegeben hat, sodass die Wissenschaftler die Daten eines annähernd gleichwertigen Systems zusammenstellen mussten. Dieses Detail ist insofern wichtig und sollte im Auge behalten werden, als für eine genaue Darstellung der Auswirkungen des Trainings eines einzelnen Modells auf den CO2-Ausstoß viele Informationen erforderlich sind. Wenn bestimmte Daten auf diesem Weg nicht offengelegt werden, müssen immer mehr Schätzungen und Annäherungen vorgenommen werden (was sich auf die endgültigen Daten auswirkt).

Abbildung 1: Zusammenfassende Statistiken zum Training des BLOOM-Modells

Quelle: Luccioni et al. „Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model.“ ARXIV.org. Eingereicht am 3. November 2022.

Wenn KI-Workloads immer mehr zunehmen, bedeutet das, dass auch die CO2-Emissionen ständig in die Höhe klettern²?

Unter Berücksichtigung aller Rechenzentren, Datenübertragungsnetze und angeschlossenen Geräte wurden im Jahr 2020 schätzungsweise 700 Millionen Tonnen CO2-Äquivalent freigesetzt, was etwa 1,4 Prozent der weltweiten Emissionen entspricht. Etwa zwei Drittel der Emissionen stammen aus dem Energieverbrauch im Betrieb. Auch wenn 1,4 Prozent im Verhältnis zum weltweiten Gesamtwert noch nicht signifikant sind, kann dieser Bereich rasch wachsen.

Derzeit ist es nicht möglich, genau zu wissen, welcher Anteil von diesen insgesamt 700 Millionen Tonnen direkt auf KI und maschinelles Lernen zurückzuführen ist. Eine mögliche Annahme, um zu einer Zahl zu gelangen, ist, dass KI- und Machine-Learning-Workloads fast ausschließlich in Hyperscale-Rechenzentren stattfanden. Diese speziellen Rechenzentren trugen etwa 0,1 Prozent bis 0,2 Prozent zu den Treibhausgasemissionen bei.

Einige der größten Unternehmen der Welt legen bestimmte Statistiken direkt offen, um ihr Umweltbewusstsein unter Beweis zu stellen. Meta Platforms ist ein gutes Beispiel dafür. Betrachten wir seine spezifischen Aktivitäten:

• Der Gesamtenergieverbrauch von Rechenzentren ist seit 2016 um 40 Prozent pro Jahr gestiegen.
• Die Trainingsaktivitäten im Bereich des maschinellen Lernens wuchsen insgesamt um etwa 150 Prozent pro Jahr.
• Alles in allem erhöhte sich die Inferenzaktivität um 105 Prozent pro Jahr.
• Allerdings sank der gesamte Treibhausgasausstoß von Meta Platforms im Vergleich zu 2016 um 90 Prozent, da das Unternehmen erneuerbare Energien einkauft.

Fazit: Wenn Unternehmen ihre Rechennutzung zum Entwickeln, Trainieren und Ausführen von Modellen ständig erhöhen würden, wäre die Vermutung naheliegend, dass ihre Treibhausgasemissionen immer weiter ansteigen. Die größten Unternehmen der Welt wollen jedoch als „umweltbewusst“ angesehen werden und kaufen häufig erneuerbare Energien und sogar Emissionszertifikate. Dadurch wird das Gesamtbild weniger klar: KI ist zwar weiter verbreitet und in gewisser Hinsicht möglicherweise energieintensiver, aber wenn ein immer größerer Teil der Energie aus erneuerbaren Quellen stammt, nehmen die Umweltauswirkungen unter Umständen nicht annähernd im gleichen Maße zu.

Schlussfolgerung: Ein ergiebiger Bereich für weitere Analysen

Ein interessanter Bereich für künftige Analysen wird sein, die Auswirkungen der Internetsuche mit generativer KI im Vergleich zum derzeitigen, eher standardmäßigen Suchprozess zu messen. Einigen Schätzungen zufolge könnte der CO2-Fußabdruck der generativen KI-Suche vier- oder fünfmal so hoch sein, aber die Betrachtung nur dieses einen Datenpunktes könnte irreführend sein. Wenn zum Beispiel die generative KI-Suche tatsächlich Zeit spart oder die Gesamtzahl der Suchvorgänge verringert, könnte eine effizientere generative KI-Suche langfristig mehr nutzen als schaden³.

Genauso wie wir derzeit lernen, wie und wo generative KI Unternehmen helfen kann, erfahren wir immer mehr über die Auswirkungen auf die Umwelt.

¹ Quelle: Kaack et al. „Aligning artificial intelligence with climate change mitigation.“ Nature Climate Change. Band 12, Juni 2022.

² Quelle: Kaack et al., Juni 2022.

³ Quelle: Saenko, Kate. „Is generative AI bad for the environment? A computer scientist explains the carbon footprint of ChatGPT and its cousins.“ The Conversation. 23. Mai 2023.

Zudem könnte Sie folgende Lektüre interessieren...

+ Vier Erkenntnisse nach der EmTech Digital KI-Konferenz

+ Das Ende des SaaSacre und der Aufstieg generativer KI

+ Mit WisdomTree an der KI-Revolution partizipieren