Lokalny AI na RTX 3090: miningowy zestaw

Zestaw platformy górniczej do lokalnego inferencji LLM na RTX 3090

Lokalne uruchomienie gpt-oss-120b na trzech RTX 3090 wymaga płyt głównych górniczych z wieloma slotami PCI. Testy wykazały, że standardowe płyty desktopowe nie radzą sobie z taką konfiguracją z powodu ograniczeń przestrzennych i przepustowości. Przejście na ETH B75 i H510 Pro BTC+ pozwoliło umieścić karty i osiągnąć 110 t/s na kwantyzacji Q8_K_XL poprzez llamacpp.

Testy przeprowadzono na sterowniku NVIDIA 580.82.07 z zapytaniem: "Napisz pełny kod aplikacji renderującej trójkąt przy użyciu Vulkan na Go." Mierzono początkową prędkość inferencji dla modelu MoE, gdzie degradacja występuje przy wypełnieniu kontekstu.

Wybór kart graficznych

Bazę stanowiły karty o różnym TDP i złączach:

• Tesla P40 (250 W, złącze CPU, 2 sloty PCI) — niestabilna na liniach x1.
• RTX 3090 TI KFA2 (450 W stock, 360 W praktyka, 12+4 pin, >3 sloty).
• Asus Rog Strix RTX 3090 (390 W stock, 480 W max, 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350 W stock, 400 W max, 2x PCI).

Trzy RTX 3090 w finalnej konfiguracji zapewniają stabilny inferencja bez ograniczeń zasilania.

Pierwsza konfiguracja: ETH B75 + obudowa + zasilacz

Zestaw za 3300 rubli: obudowa pozioma z 4 wentylatorami, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, sieć 100 Mbit) i True Miner 1800 W.

Problemy:

• Tesla P40 nie działa na x1.
• Ładowanie gpt-oss-20b (12 GB) — 80 s, inferencja 100 t/s (obciążenie <80%).
• Zasilacz hałaśliwy, nie nadaje się do domu.

Obudowa jest dostosowana do ETH B75, odległość slotów jest specyficzna.

Przejście na H510 Pro BTC+

Płyta za 4500 rubli (LGA 1200, 1x DDR4 do 3200 MHz, gigabit Ethernet, PCIe x16, synchronizatory dla 2 zasilaczy) z Celeron G5905 3.5 GHz i 8 GB DDR4 2400 MHz.

Wyniki z Tesla P40 + 2x RTX 3090:

• Ładowanie gpt-oss-120b (64.4 GB) — 3:30 min (~314 MB/s).
• Inferencja — 65 t/s.

Pełny slot x16 rozwiązuje problemy z Tesla, ale słaby GPU ogranicza.

Zamiana GPU i zasilacza

Gigabyte RTX 3090 Gaming OC zamiast Tesla. Azerty Red Power 1050 W (5000 rubli) zamiast hałaśliwego.

Ograniczenie: zmniejszenie power limit do 170 W z powodu kabli — inferencja 100 t/s.

Przyspieszenie ładowania modelu

Wąskie gardło — DMI x4 PCIe 3.0 (~4 GB/s) dla SATA SSD, m.2 (SATA3) i peryferiów.

Schemat przed optymalizacją:

SATA SSD (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Optymalizacja: NVMe SSD przez adapter PCIe w slot x16.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Rezultat: ładowanie z 3:30 do 2 min, prędkość ~549 MB/s (limit x1 ~985 MB/s + overhead na rozpakowanie/alokację).

Finalny upgrade

• CPU: i5-10600KF 6 rdzeni 4.1 GHz (7000 rubli).
• RAM: 16 GB DDR4 3200 MHz.
• Zasilacz: Azerty 1200 W (6000 rubli, 12VHPWR + 5x PCI).

Wynik: inferencja 110 t/s (+10%), ładowanie bez zmian. TDP konfiguracji ~800 W. Kwantyzacja mxfp4 daje +tokeny.

Kątowe złącza dla kabli pozwalają zamknąć pokrywę.

Co jest ważne

• Płyty górnicze (H510 Pro BTC+) są obowiązkowe dla 3+ GPU ze względu na sloty i przepustowość.
• NVMe w slocie x16 przyspiesza ładowanie LLM o 40% vs SATA przez DMI.
• Upgrade CPU/RAM daje <10% wzrostu — zysk mały.
• 3x RTX 3090 na 110 t/s zastępuje chmurę dla gpt-oss-120b.
• Całkowity koszt ~45–50 tys. rubli (bez GPU).

— Editorial Team