IA locale sur RTX 3090 : assemblage pour minage

Assemblage d'un Rig de Minage pour Inférence Locale de LLM sur RTX 3090

Faire tourner gpt-oss-120b localement sur trois GPU RTX 3090 nécessite des cartes mères de minage bourrées d'emplacements PCI. Les tests ont prouvé que les cartes mères de bureau classiques ne supportent pas cette configuration à cause des limites d'espace et de bande passante. Passer aux cartes ETH B75 et H510 Pro BTC+ nous a permis d'installer les cartes et d'atteindre 110 t/s en quantification Q8_K_XL via llamacpp.

Les tests ont utilisé le pilote NVIDIA 580.82.07 avec le prompt : « Écrivez une application complète de rendu de triangle Vulkan en Go. » Nous avons mesuré la vitesse d'inférence initiale pour le modèle MoE, où les performances chutent à mesure que le contexte se remplit.

Sélection des GPU

Les cartes de base utilisaient des TDP et connecteurs d'alimentation variés :

• Tesla P40 (250W, connecteur CPU, 2 slots PCI) — instable sur lanes x1.
• RTX 3090 TI KFA2 (450W d'origine, 360W en réel, 12+4 pin, >3 slots).
• Asus Rog Strix RTX 3090 (390W d'origine, 480W max, 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350W d'origine, 400W max, 2x PCI).

Trois RTX 3090 dans la configuration finale assurent une inférence stable sans contraintes d'alimentation.

Premier Assemblage : ETH B75 + Boîtier + Alim

Kit à 35 $ : boîtier horizontal avec 4 ventilateurs turbines, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, Ethernet 100 Mbps) et alim True Miner 1800W.

Problèmes :

• Tesla P40 échoue sur x1.
• Chargement gpt-oss-20b (12GB) — 80s, inférence 100 t/s (charge <80%).
• Alim trop bruyante pour un usage domestique.

Boîtier adapté à l'ETH B75 avec espacement d'emplacements spécifique.

Passage à la H510 Pro BTC+

Carte à 48 $ (LGA 1200, 1x DDR4 jusqu'à 3200 MHz, Ethernet Gigabit, PCIe x16, synchro pour 2 alims) associée à un Celeron G5905 3,5 GHz et 8GB DDR4 2400 MHz.

Résultats avec Tesla P40 + 2x RTX 3090 :

• Chargement gpt-oss-120b (64,4GB) — 3:30 min (~314 MB/s).
• Inférence — 65 t/s.

L'emplacement x16 complet résout les problèmes de la Tesla, mais le CPU faible bride les performances.

Changement de GPU et d'Alim

Gigabyte RTX 3090 Gaming OC remplace la Tesla. Azerty Red Power 1050W (53 $) remplace l'unité bruyante.

Limite : plafonnement puissance à 170W à cause des câbles — inférence 100 t/s.

Accélération du Chargement du Modèle

Goulot d'étranglement : DMI x4 PCIe 3.0 (~4 GB/s) pour SSD SATA, M.2 (SATA3) et périphériques.

Flux pré-optimisation :

SSD SATA (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Optimisation : SSD NVMe via adaptateur PCIe dans slot x16.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Résultat : chargement passe de 3:30 à 2 min, vitesse ~549 MB/s (limite x1 ~985 MB/s + surcharge décompression/allocation).

Amélioration Finale

• CPU : i5-10600KF 6 cœurs 4,1 GHz (74 $).
• RAM : 16GB DDR4 3200 MHz.
• Alim : Azerty 1200W (64 $, 12VHPWR + 5x PCI).

Résultat : inférence 110 t/s (+10%), chargement inchangé. TDP total ~800W. Quantification mxfp4 booste encore les tokens.

Connecteurs de câbles à angle droit permettent de fermer le capot du boîtier.

Leçons Clés

• Cartes mères de minage (H510 Pro BTC+) indispensables pour 3+ GPU grâce aux slots et bande passante.
• NVMe dans slot x16 accélère le chargement LLM de 40 % vs SATA via DMI.
• Améliorations CPU/RAM apportent <10 % de gains — ROI minimal.
• 3x RTX 3090 à 110 t/s remplace le cloud pour gpt-oss-120b.
• Coût total ~480–530 $ (GPU exclus).

— Editorial Team