# Google rozděluje TPUv8 na dva specializované čipy pro trénování a inferenci
Google oznámila strategické rozdělení příští generace tensorových procesorů TPUv8 na dvě nezávislé řady: TPUv8t pro trénování modelů a TPUv8i pro inferenci. Tento přístup odráží posun v průmyslu AI – od univerzálních akcelerátorů k specializovaným řešením optimalizovaným pro konkrétní typy výpočetních zátěží. Vývoj probíhá ve spolupráci s Broadcom (pro trénování) a MediaTek (pro inferenci), přičemž nové čipy budou úzce integrovány s procesory Axion na architektuře Arm.
Specializace jako reakce na rostoucí složitost AI zátěží
Dříve se TPU používaly jako univerzální akcelerátory vhodné jak pro trénování, tak pro inferenci. S rostoucími rozměry modelů a požadavky na latenci při zpracování uživatelských požadavků se však tento model stává neefektivním. Jak poznamenal Jeff Dean, hlavní vědecký pracovník Google, „je vhodné specializovat se na čipy určené buď pro trénování, nebo pro inferenci“.
TPUv8t (kódové jméno Sunfish) je zaměřen na vysoce výkonné trénování velkých jazykových modelů. Je optimalizován pro práci s velkými dávkami dat, vysokou propustností paměti a efektivní distribucí gradientů v clusterech. Naopak TPUv8i (Zebrafish) se soustředí na minimalizaci latence při inferenci, zejména ve scénářích s dynamickými požadavky od AI agentů a chatových botů.
Tato diverzifikace umožňuje:
- Snížit spotřebu energie díky opuštění zbytečných funkcí;
- Zvýšit hustotu umístění čipů v rackech datových center;
- Zjednodušit návrh systémů chlazení a napájení;
- Zlepšit kompatibilitu s softwarovými stacky zaměřenými na konkrétní úlohu.
Integrace s ekosystémem Arm a třetí stranami
Nové TPU budou fungovat v tandemu s procesory Axion – vlastní vývojem Google na bázi architektury Arm. To znamená další odklon společnosti od x86 v infrastrukturních komponentách. Integrace na úrovni systému na čipu (SoC) a propojení zajišťuje minimální latenci mezi CPU a akcelerátorem.
Kromě toho Google testuje možnost nasazení TPU v datových centrech zákazníků, nejen ve vlastní cloudové infrastruktuře. To otevírá přístup k frameworkům třetích stran, jako je PyTorch, a nástrojům pro orchestraci odlišným od interních řešení Google. Podle Amina Vahdata, technického ředitele pro infrastrukturu, je tento krok nezbytný pro přilákání enterprise klientů, kteří nechtějí být vázáni na ekosystém jednoho dodavatele.
Problémy škálování a spolehlivosti
Při práci se stovkami tisíc akcelerátorů může i mikroskopická výrobní vada vést k katastrofickým důsledkům. Jak popsal Paul Barham, jeden z vedoucích týmů Gemini, v Google dříve došlo k situaci, kdy hardwarová chyba způsobila „úplné zničení“ modelu – výsledky trénování byly nesprávné bez zjevných známek selhání. Na diagnostiku a opravu to trvalo týdny.
Nyní společnost zavádí automatizované testovací systémy schopné zkontrolovat stovky tisíc čipů za 10 sekund. Tyto systémy simulují typické AI zátěže a sledují odchylky v přesnosti výpočtů, i když jsou v mezích specifikací výrobce.
Hlavní výzvy při škálování:
- Cyklus vývoje čipů – asi tři roky, zatímco architektury AI se mění každých 6–12 měsíců.
- Zpětná vazba mezi softwarem a hardwarem – těsné propojení může brzdit inovace a nutit vývojáře „myslet uvnitř krabice“ současné platformy.
- Nedostatek kapacit – omezené výrobní objemy vytvářejí úzké hrdlo, zvláště na pozadí miliardových kontraktů s Anthropic a Meta.
Tržní kontext a konkurence
Nvidia zůstává dominantním hráčem v segmentu trénování, ale trh s inferencí se rychle fragmentuje. Objevují se specializovaná řešení od Groq, Cerebras, SambaNova a nyní od Google. Zájem Meta o TPUv8i potvrzuje, že velké firmy hledají alternativy pro snížení latence a nákladů na provoz AI služeb.
Anthropic již získal přístup k milionu TPU a plánuje je použít pro spuštění složitých agentních systémů. G42 z Abu Dhabi a Citadel Securities také aktivně testují platformu. Nedostatek čipů však vyvolává napětí mezi menšími klienty, kteří čelí omezením přístupu.
Co je důležité:
- Google rozděluje TPUv8 na dva čipy: TPUv8t (trénování) a TPUv8i (inferenci).
- Vývoj probíhá s Broadcom a MediaTek, integrace s procesory Axion na Arm.
- Nové čipy jsou optimalizovány pro specifické zátěže, což zvyšuje efektivitu datových center.
- Google testuje nasazení TPU mimo své cloudy pro kompatibilitu s PyTorch a dalšími frameworky.
- Klíčové rizika – cyklus vývoje, nedostatek kapacit a závislost na zpětné vazbě mezi softwarem a hardwarem.
— Editorial Team
Zatím žádné komentáře.