TPUv8 von Google: zwei Chips für KI-Training und Inferenz

Google spaltet TPUv8 in zwei spezialisierte Chips für Training und Inferenz

Google hat die strategische Aufspaltung der nächsten Generation von Tensor Processing Units TPUv8 in zwei unabhängige Linien angekündigt: TPUv8t für das Modelltraining und TPUv8i für die Inferenz. Dieser Ansatz spiegelt einen Wandel in der KI-Branche wider – weg von universellen Beschleunigern hin zu spezialisierten Lösungen, die für bestimmte Arten von Rechenlasten optimiert sind. Die Entwicklung läuft in Zusammenarbeit mit Broadcom (für Training) und MediaTek (für Inferenz), und die neuen Chips werden eng mit Axion-Prozessoren auf Basis der Arm-Architektur integriert.

Spezialisierung als Reaktion auf die wachsende Komplexität von KI-Workloads

Bisher dienten TPUs als vielseitige Beschleuniger, die sowohl für Training als auch Inferenz geeignet waren. Doch mit zunehmend größeren Modellen und strengeren Latenzanforderungen bei der Verarbeitung von Nutzeranfragen wird dieses Einheitsmodell ineffizient. Wie Jeff Dean, Googles Chef-Wissenschaftler, betonte: „Es ergibt Sinn, Chips zu spezialisieren, die entweder für Training oder für Inferenz konzipiert sind.“

TPUv8t (Codename Sunfish) ist auf hochperformantes Training großer Sprachmodelle ausgelegt. Es ist optimiert für große Datenbatches, hohe Speicherbandbreite und effiziente Gradientenverteilung in Clustern. TPUv8i (Zebrafish) hingegen zielt auf die Minimierung der Inferenzlatenz ab, insbesondere bei dynamischen Anfragen von KI-Agenten und Chatbots.

Diese Trennung ermöglicht:

• Geringeren Stromverbrauch durch Weglassen redundanter Funktionen;
• Höhere Chipdichte in Rechenzentrumsracks;
• Vereinfachtes Kühlsystem- und Stromversorgungsdesign;
• Bessere Kompatibilität mit aufgabenbezogenen Software-Stacks.

Integration in das Arm-Ökosystem und Drittanbieter-Software

Die neuen TPUs arbeiten Hand in Hand mit Axion-Prozessoren – Googles Eigenentwicklung auf Basis der Arm-Architektur. Das signalisiert einen weiteren Schritt weg von x86 in Infrastrukturkomponenten. Integration auf System-on-Chip (SoC)-Ebene und über Interconnects sorgt für minimale Latenz zwischen CPU und Beschleuniger.

Darüber hinaus testet Google den Einsatz von TPUs in Kundendatenzentren, nicht nur in der eigenen Cloud-Infrastruktur. Das öffnet die Tür für Drittanbieter-Frameworks wie PyTorch und Orchestrierungstools jenseits interner Google-Lösungen. Laut Amin Vahdat, Technischer Direktor für Infrastruktur, ist dieser Schritt essenziell, um Unternehmenskunden anzuziehen, die nicht an ein Ökosystem eines Anbieters gebunden sein wollen.

Skalierungs- und Zuverlässigkeitsherausforderungen

Beim Betrieb Hunderttausender Beschleuniger können selbst winzige Fertigungsfehler katastrophale Folgen haben. Wie Paul Barham, einer der Leiter des Gemini-Teams, berichtete, führte bei Google einmal ein Hardwarefehler zur „vollständigen Selbstzerstörung“ eines Modells – die Trainingsergebnisse wurden ungültig, ohne offensichtliche Fehlersignale. Die Diagnose und Behebung dauerte Wochen.

Das Unternehmen führt nun automatisierte Testsysteme ein, die Hunderttausende Chips in 10 Sekunden prüfen können. Diese Systeme simulieren typische KI-Workloads und erkennen Abweichungen in der RechenGenauigkeit, selbst wenn sie innerhalb der Herstellerspezifikationen liegen.

Wichtige Herausforderungen beim Skalieren:

• Chip-Entwicklungszyklus – etwa drei Jahre, während KI-Architekturen alle 6–12 Monate evolieren.
• Software-Hardware-Feedback-Schleife – enge Integration kann Innovationen behindern und Entwickler zwingt, „innerhalb der Box“ der aktuellen Plattform zu denken.
• Kapazitätsengpässe – begrenzte Produktionsmengen schaffen Engpässe, besonders bei Milliarden-Deals von Anthropic und Meta.

Marktkontext und Wettbewerb

Nvidia bleibt die dominierende Kraft beim Training, doch der Inferenzmarkt fragmentiert rasch. Spezialisierte Lösungen kommen von Groq, Cerebras, SambaNova und nun Google. Das Interesse von Meta an TPUv8i unterstreicht, wie Großkonzerne nach Alternativen suchen, um Latenz und Betriebskosten für KI-Dienste zu senken.

Anthropic hat bereits Zugang zu einer Million TPUs gesichert und plant deren Einsatz für fortschrittliche Agentensysteme. G42 aus Abu Dhabi und Citadel Securities testen die Plattform ebenfalls aktiv. Dennoch frustrieren Chipknappheit kleinere Kunden durch Zugriffsbeschränkungen.

Wichtig:

• Google spaltet TPUv8 in zwei Chips: TPUv8t (Training) und TPUv8i (Inferenz).
• Entwicklung mit Broadcom und MediaTek, integriert mit Arm-basierten Axion-Prozessoren.
• Neue Chips optimiert für spezifische Workloads, steigern Rechenzentrumeffizienz.
• Google testet TPU-Einsatz außerhalb eigener Clouds für PyTorch- und andere Framework-Kompatibilität.
• Wichtige Risiken: Entwicklungszyklen, Kapazitätsengpässe und Software-Hardware-Abhängigkeiten.

— Editorial Team