Lokální AI na RTX 3090: těžební sestava

Sestavení těžební platformy pro lokální inferenci LLM na RTX 3090

Lokální spuštění gpt-oss-120b na třech RTX 3090 vyžaduje těžební základní desky s mnoha PCI sloty. Testování ukázalo, že standardní desktopové desky takovou konfiguraci nezvládají kvůli omezením prostoru a přenosové kapacity. Přechod na ETH B75 a H510 Pro BTC+ umožnil umístit grafické karty a dosáhnout 110 t/s s Q8_K_XL kvantizací přes llamacpp.

Testy probíhaly na NVIDIA ovladači 580.82.07 s dotazem: "Napiš kompletní kód aplikace pro vykreslení trojúhelníku pomocí Vulkanu v Go." Měřila se počáteční rychlost inference pro MoE-model, kde degradace nastává při naplnění kontextu.

Volba grafických karet

Základ tvořily karty s různým TDP a konektory:

• Tesla P40 (250 W, CPU konektor, 2 PCI sloty) — nestabilní na x1 linkách.
• RTX 3090 TI KFA2 (450 W standard, 360 W praxe, 12+4 pin, >3 sloty).
• Asus Rog Strix RTX 3090 (390 W standard, 480 W max, 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350 W standard, 400 W max, 2x PCI).

Tři RTX 3090 ve finální sestavě poskytují stabilní inferenci bez omezení napájení.

První sestava: ETH B75 + skříň + zdroj

Komplet za 3300 Kč: horizontální skříň se 4 ventilátory, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, 100 Mb síť) a True Miner 1800 W.

Problémy:

• Tesla P40 nefunguje na x1.
• Načtení gpt-oss-20b (12 GB) — 80 s, inference 100 t/s (zatížení <80 %).
• Zdroj je hlučný, nevhodný pro domácí použití.

Skříň je uzpůsobena pro ETH B75, rozestupy slotů jsou specifické.

Přechod na H510 Pro BTC+

Deska za 4500 Kč (LGA 1200, 1x DDR4 až 3200 MHz, gigabitový Ethernet, PCIe x16, synchronizátory pro 2 zdroje) s Celeron G5905 3,5 GHz a 8 GB DDR4 2400 MHz.

Výsledky s Tesla P40 + 2x RTX 3090:

• Načtení gpt-oss-120b (64,4 GB) — 3:30 min (~314 MB/s).
• Inference — 65 t/s.

Plnohodnotný x16 slot řeší problémy s Teslou, ale slabý GPU omezuje.

Výměna GPU a zdroje

Gigabyte RTX 3090 Gaming OC místo Tesla. Azerty Red Power 1050 W (5000 Kč) místo hlučného.

Omezení: snížení power limitu na 170 W kvůli kabelům — inference 100 t/s.

Zrychlení načítání modelu

Úzké místo — DMI x4 PCIe 3.0 (~4 GB/s) pro SATA SSD, m.2 (SATA3) a periferie.

Schéma před optimalizací:

SATA SSD (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Optimalizace: NVMe SSD přes PCIe adaptér v x16 slotu.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Výsledek: načítání z 3:30 na 2 min, rychlost ~549 MB/s (limit x1 ~985 MB/s + overhead na rozbalení/alokaci).

Finální upgrade

• CPU: i5-10600KF 6 jader 4,1 GHz (7000 Kč).
• RAM: 16 GB DDR4 3200 MHz.
• Zdroj: Azerty 1200 W (6000 Kč, 12VHPWR + 5x PCI).

Výsledek: inference 110 t/s (+10 %), načítání beze změn. TDP sestavy ~800 W. Kvantizace mxfp4 přidává +tokeny.

Rohové konektory pro kabely umožňují zavřít víko.

Co je důležité

• Těžební desky (H510 Pro BTC+) jsou nezbytné pro 3+ GPU kvůli slotům a přenosové kapacitě.
• NVMe v x16 slotu zrychluje načítání LLM o 40 % vs SATA přes DMI.
• Upgrade CPU/RAM dává <10 % nárůst — výhoda je malá.
• 3x RTX 3090 na 110 t/s nahrazují cloud pro gpt-oss-120b.
• Celková cena ~45–50 tis. Kč (bez GPU).

— Editorial Team