Lokale KI auf RTX 3090: Mining-Build

Mining-Rig für lokale LLM-Inferenz auf RTX 3090 bauen

Lokales Ausführen von gpt-oss-120b auf drei RTX-3090-GPUs erfordert Mining-Mainboards mit vielen PCI-Steckplätzen. Tests zeigten, dass Standard-Desktop-Boards aufgrund von Platz- und Bandbreitenlimits scheitern. Der Wechsel zu ETH B75 und H510 Pro BTC+ ermöglichte es, die Karten unterzubringen und 110 T/s bei Q8_K_XL-Quantisierung über llamacpp zu erreichen.

Die Tests nutzten den NVIDIA-Treiber 580.82.07 mit dem Prompt: „Schreibe eine vollständige Vulkan-Triangle-Renderer-App in Go.“ Wir maßen die anfängliche Inferenzgeschwindigkeit für das MoE-Modell, bei dem die Leistung mit wachsendem Kontext abnimmt.

GPU-Auswahl

Die Basis bildeten Karten mit unterschiedlichen TDP- und Stromanschlüssen:

• Tesla P40 (250 W, CPU-Anschluss, 2 PCI-Steckplätze) — instabil auf x1-Lanes.
• RTX 3090 TI KFA2 (450 W Nennwert, 360 W Praxis, 12+4-Pin, >3 Steckplätze).
• Asus Rog Strix RTX 3090 (390 W Nennwert, 480 W max., 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350 W Nennwert, 400 W max., 2x PCI).

Drei RTX 3090 in der finalen Konfiguration liefern stabile Inferenz ohne Stromengpässe.

Erster Build: ETH B75 + Gehäuse + Netzteil

Kit für 35 $: horizontales Gehäuse mit 4 Turbinenlüftern, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, 100 Mbps Ethernet) und True Miner 1800W-Netzteil.

Probleme:

• Tesla P40 scheitert auf x1.
• Laden von gpt-oss-20b (12 GB) — 80 s, Inferenz 100 T/s (Auslastung <80 %).
• Netzteil zu laut für den Heimgebrauch.

Gehäuse speziell für ETH B75 mit definierten Steckplatzabständen.

Wechsel zu H510 Pro BTC+

Board für 48 $ (LGA 1200, 1x DDR4 bis 3200 MHz, Gigabit-Ethernet, PCIe x16, Sync für 2 Netzteile) mit Celeron G5905 3,5 GHz und 8 GB DDR4 2400 MHz.

Ergebnisse mit Tesla P40 + 2x RTX 3090:

• Laden von gpt-oss-120b (64,4 GB) — 3:30 Min. (~314 MB/s).
• Inferenz — 65 T/s.

Vollständiger x16-Steckplatz behebt Tesla-Probleme, aber schwache CPU bremst aus.

GPU- und Netzteil-Wechsel

Gigabyte RTX 3090 Gaming OC ersetzt Tesla. Azerty Red Power 1050W (53 $) löst das laute Netzteil ab.

Limit: Strombegrenzung auf 170 W durch Kabel — Inferenz 100 T/s.

Beschleunigung des Modell-Ladens

Engpass: DMI x4 PCIe 3.0 (~4 GB/s) für SATA-SSD, M.2 (SATA3) und Peripherie.

Vor-Optimierung:

SATA SSD (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Optimierung: NVMe-SSD via PCIe-Adapter im x16-Steckplatz.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Ergebnis: Ladezeit sinkt von 3:30 auf 2 Min., Geschwindigkeit ~549 MB/s (x1-Limit ~985 MB/s + Entpacken/Allokation Overhead).

Finale Aufrüstung

• CPU: i5-10600KF 6-Kern 4,1 GHz (74 $).
• RAM: 16 GB DDR4 3200 MHz.
• Netzteil: Azerty 1200W (64 $, 12VHPWR + 5x PCI).

Ergebnis: Inferenz 110 T/s (+10 %), Ladezeit unverändert. Gesamt-TDP ~800 W. mxfp4-Quantisierung steigert Tokens weiter.

Winkelförmige Kabelanschlüsse ermöglichen Gehäusedeckel-Schluss.

Wichtige Erkenntnisse

• Mining-Boards (H510 Pro BTC+) essenziell für 3+ GPUs dank Steckplätzen und Bandbreite.
• NVMe im x16-Steckplatz beschleunigt LLM-Laden um 40 % vs. SATA über DMI.
• CPU/RAM-Upgrades bringen <10 % Gewinn — geringer ROI.
• 3x RTX 3090 mit 110 T/s ersetzen Cloud für gpt-oss-120b.
• Gesamtkosten ~480–530 $ (GPUs ausgenommen).

— Editorial Team