Google divise le TPUv8 en deux puces spécialisées pour l'entraînement et l'inférence
Google a annoncé une division stratégique des prochaines unités de traitement tensoriel TPUv8 en deux lignes indépendantes : TPUv8t pour l'entraînement des modèles et TPUv8i pour l'inférence. Cette approche reflète un virage dans l'industrie de l'IA — des accélérateurs polyvalents vers des solutions spécialisées optimisées pour des types spécifiques de charges de travail computationnelles. Le développement est en cours en collaboration avec Broadcom (pour l'entraînement) et MediaTek (pour l'inférence), et les nouvelles puces seront étroitement intégrées aux processeurs Axion basés sur l'architecture Arm.
La spécialisation face à la complexité croissante des charges de travail en IA
Auparavant, les TPU servaient d'accélérateurs polyvalents adaptés à l'entraînement comme à l'inférence. Cependant, à mesure que les modèles s'agrandissent et que les exigences de latence se resserrent pour le traitement des requêtes utilisateur, ce modèle passe-partout devient inefficace. Comme l'a noté Jeff Dean, scientifique en chef de Google, « il est logique de se spécialiser dans des puces conçues soit pour l'entraînement, soit pour l'inférence ».
TPUv8t (nom de code Sunfish) est orienté vers l'entraînement haute performance de grands modèles de langage. Il est optimisé pour de grands lots de données, une large bande passante mémoire et une distribution efficace des gradients à travers les clusters. Pendant ce temps, TPUv8i (Zebrafish) se concentre sur la minimisation de la latence d'inférence, particulièrement dans les scénarios avec des requêtes dynamiques d'agents IA et de chatbots.
Cette divergence permet :
- Une consommation d'énergie réduite en supprimant les fonctionnalités redondantes ;
- Une densité de puces plus élevée dans les racks de centres de données ;
- Une conception simplifiée des systèmes de refroidissement et d'alimentation ;
- Une meilleure compatibilité avec les piles logicielles spécifiques aux tâches.
Intégration à l'écosystème Arm et aux logiciels tiers
Les nouvelles TPU fonctionneront en tandem avec les processeurs Axion — développement interne de Google basé sur l'architecture Arm. Cela signale un éloignement supplémentaire des composants d'infrastructure x86. L'intégration au niveau system-on-chip (SoC) et via les interconnexions assure une latence minimale entre le CPU et l'accélérateur.
De plus, Google teste le déploiement de TPU dans les centres de données clients, pas seulement dans son infrastructure cloud propre. Cela ouvre la porte aux frameworks tiers comme PyTorch et aux outils d'orchestration au-delà des solutions internes de Google. Selon Amin Vahdat, directeur technique de l'infrastructure, cette démarche est essentielle pour attirer les clients entreprise qui ne veulent pas être enfermés dans l'écosystème d'un seul fournisseur.
Défis d'évolutivité et de fiabilité
Lorsque l'on exploite des centaines de milliers d'accélérateurs, même de minuscules défauts de fabrication peuvent mener à des conséquences désastreuses. Comme l'a raconté Paul Barham, l'un des responsables de l'équipe Gemini, Google a autrefois été confronté à un bogue matériel qui a provoqué l'« autodestruction complète » d'un modèle — les résultats d'entraînement sont devenus invalides sans signes évidents de panne. Le diagnostic et la correction ont pris des semaines.
Désormais, l'entreprise déploie des systèmes de test automatisés capables de vérifier des centaines de milliers de puces en 10 secondes. Ces systèmes simulent des charges de travail IA typiques et détectent les écarts de précision des calculs, même s'ils respectent les spécifications du fabricant.
Défis clés pour l'évolutivité :
- Cycle de développement des puces — environ trois ans, tandis que les architectures IA évoluent tous les 6–12 mois.
- Boucle de rétroaction logiciel-matériel — une intégration étroite peut freiner l'innovation, forçant les développeurs à « penser dans le cadre » de la plateforme actuelle.
- Pénuries de capacité — des volumes de production limités créent des goulets d'étranglement, surtout avec des contrats de plusieurs milliards de dollars d'Anthropic et Meta.
Contexte du marché et concurrence
Nvidia reste la force dominante en entraînement, mais le marché de l'inférence se fragmente rapidement. Des solutions spécialisées émergent de Groq, Cerebras, SambaNova, et maintenant Google. L'intérêt de Meta pour TPUv8i souligne comment les grandes entreprises traquent des alternatives pour réduire la latence et les coûts d'exploitation des services IA.
Anthropic a déjà sécurisé l'accès à un million de TPU et prévoit de les utiliser pour des systèmes d'agents avancés. G42 d'Abou Dabi et Citadel Securities testent également activement la plateforme. Néanmoins, les pénuries de puces frustrent les plus petits clients confrontés à des limites d'accès.
Points importants :
- Google divise TPUv8 en deux puces : TPUv8t (entraînement) et TPUv8i (inférence).
- Développement avec Broadcom et MediaTek, intégré aux processeurs Axion basés sur Arm.
- Nouvelles puces optimisées pour des charges de travail spécifiques, boostant l'efficacité des centres de données.
- Google teste le déploiement TPU en dehors de ses clouds pour la compatibilité avec PyTorch et d'autres frameworks.
- Risques clés : cycles de développement, pénuries de capacité, et interdépendances logiciel-matériel.
— Editorial Team
Aucun commentaire pour le moment.