Lokální cluster na dvou Xeonech a 6 CMP 90HX: sestavení a optimalizace pro ML úlohy
Inženýři často upřednostňují lokální výpočetní uzly před cloudovými službami kvůli úplné transparentnosti a absenci vnějších závislostí. V cloudu síťová zpoždění, změny API a tarify narušují stabilní provoz. Lokální cluster se dvěma procesory Xeon a šesti GPU na úrovni RTX 3080 tyto problémy řeší: všechny metriky jsou dostupné přímo, diagnostika je zjednodušena, nejsou žádné fronty nebo limity.
Systém je vhodný pro úlohy s vysokými nároky na latenci a zdroje: zpracování logů, počítačové vidění, zvýšení rozlišení videa, simulace fyzikálních procesů, renderování a lokální automatizační služby.
Výběr hardwarové platformy
Základem je deska Jingsha X99 Dual Plus se dvěma paticemi LGA 2011-3, šesti sloty PCIe (4x16, 2x8) a podporou 8 slotů DDR4. Procesory — použité Xeony s celkem 48 jádry — zajišťují vysokou paralelitu pro úlohy vázané na CPU.
Klíčovým prvkem jsou GPU. Počáteční varianta: NVIDIA P104-100 na Pascal (GP104, ~6.5 TFLOPS FP32, 8 GB GDDR5). Karty jsou levné na sekundárním trhu po těžbě kryptoměn, vhodné pro základní CUDA úlohy.
Avšak pro moderní ML je Pascal omezený:
- Absence tenzorových jader: maticové operace přes univerzální CUDA jádra.
- Slabá podpora FP16/INT8: bez hardwarového zrychlení.
- Úzké hrdlo paměti při velkých modelech.
Optimální volba — CMP 90HX na Ampere (G102-100, ~RTX 3080, 10 GB GDDR6X). Tenzorová jádra urychlují maticové násobení, podporují smíšenou přesnost. Vylepšeny jsou cache a propustnost paměti. Cena ~5000 rublů/ks — srovnatelná s P104, ale výkon v neuronových sítích je mnohonásobně vyšší.
| Architektura | TFLOPS FP32 | Paměť | Tenzorová jádra | Cena (přibližně) |
|-------------|-------------|--------|----------------|-----------------|
| Pascal (P104) | 6.5 | 8 GB GDDR5 | Ne | Nízká |
| Ampere (CMP 90HX) | Vyšší | 10 GB GDDR6X | Ano (FP16/INT8) | Srovnatelná |
Problémy při sestavování a jejich řešení
Paměť a POST kódy
Instalace běžných UDIMM DDR4 vedla k zamrznutí na POST 79 (inicializace rozbočovače). Serverové platformy vyžadují ECC UDIMM: přidané bity pro korekci chyb stabilizují provoz pod zátěží. Řadič Xeon ignoruje non-ECC, což se maskuje jako jiné chyby.
Doporučení: Pro dual-socket X99 vždy používejte ECC UDIMM — ušetří to hodiny diagnostiky.
Hluk a chlazení
Zdroj 1800 W + 6x250 W GPU vyžadují silný proud vzduchu. Standardní těžební chladiče jsou hlučné. Řešení: 120 mm tiché ventilátory v skříni pro přívod vzduchu ke kartám. Chladiče GPU regulují otáčky automaticky.
Diagnostika GPU pod zátěží
Všechny karty procházejí základními testy (nvidia-smi, stres test paměti), ale jedna neplnila úkoly: vytížení 100%, teplota statická, generace LLM/hashcat-b nezačne. Vyloučení karty normalizovalo provoz.
Příznaky vadného GPU:
- Plné vytížení podle metrik bez zahřívání čipu.
- Absence pokroku v úlohách (LLM, benchmarky).
- Normální inicializace, ale selhání při reálné zátěži.
Problém není v PCIe (šířka dostatečná), ale v defektu čipu — částečně funkční GPU imituje aktivitu.
Testování výkonu
V CUDA úlohách bez tenzorů Ampere přináší mírný nárůst: vyšší frekvence, lepší paměť. V ML — radikální: tenzorová jádra urychlují inference/trénink mnohonásobně díky FP16/INT8.
Příklad: načtení LLM do 10 GB VRAM na CMP 90HX probíhá bez swapování, kde P104 naráží na 8 GB. Propustnost GDDR6X snižuje latenci výměny dat.
Pro multi-GPU: deska rozloží zátěž rovnoměrně při správném nastavení (nvidia-smi topo -m). Použijte 750 Ti jako zástupku pro displej ve slotu x16.
Co je důležité
- ECC paměť je nezbytná pro serverové platformy — zabraňuje bit-flipům pod zátěží.
- CMP 90HX > P104 pro ML: tenzorová jádra a 10 GB VRAM ospravedlňují volbu.
- Diagnostika GPU vyžaduje reálné úlohy, nejen syntetické testy.
- Chlazení je kritické při 1800+ W — tiché skříňové ventilátory řeší hluk.
- Lokalita eliminuje síťová zpoždění v CV/video/simulacích.
Celkový objem textu ~3200 znaků. Cluster je připraven pro experimenty: od lokálních LLM až po simulace obvodů.
— Editorial Team
Zatím žádné komentáře.