IA local en RTX 3090: configuración de minería

Montando un Rig de Minería para Inferencia Local de LLM en RTX 3090

Ejecutar gpt-oss-120b de forma local en tres GPU RTX 3090 requiere placas base de minería repletas de ranuras PCI. Las pruebas demostraron que las placas de escritorio estándar no aguantan esta configuración por limitaciones de espacio y ancho de banda. Al cambiar a placas ETH B75 y H510 Pro BTC+, pudimos instalar las tarjetas y alcanzar 110 t/s con cuantización Q8_K_XL mediante llamacpp.

Las pruebas usaron el driver NVIDIA 580.82.07 con el prompt: "Escribe una aplicación completa de renderizado de triángulo Vulkan en Go." Medimos la velocidad inicial de inferencia para el modelo MoE, donde el rendimiento cae a medida que se llena el contexto.

Selección de GPU

La base usó tarjetas con distintos TDP y conectores de alimentación:

• Tesla P40 (250W, conector CPU, 2 ranuras PCI) — inestable en carriles x1.
• RTX 3090 TI KFA2 (450W de fábrica, 360W reales, 12+4 pin, >3 ranuras).
• Asus Rog Strix RTX 3090 (390W de fábrica, 480W máx., 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350W de fábrica, 400W máx., 2x PCI).

Tres RTX 3090 en la configuración final ofrecen inferencia estable sin restricciones de potencia.

Primera Construcción: ETH B75 + Caja + Fuente

Kit por $35: caja horizontal con 4 ventiladores tipo turbina, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, Ethernet 100 Mbps) y fuente True Miner 1800W.

Problemas:

• Tesla P40 falla en x1.
• Carga de gpt-oss-20b (12GB) — 80s, inferencia 100 t/s (carga <80%).
• Fuente demasiado ruidosa para uso doméstico.

Caja adaptada específicamente a ETH B75 con espaciado de ranuras preciso.

Cambio a H510 Pro BTC+

Placa por $48 (LGA 1200, 1x DDR4 hasta 3200 MHz, Ethernet Gigabit, PCIe x16, sincronización para 2 fuentes) combinada con Celeron G5905 3.5 GHz y 8GB DDR4 2400 MHz.

Resultados con Tesla P40 + 2x RTX 3090:

• Carga de gpt-oss-120b (64.4GB) — 3:30 min (~314 MB/s).
• Inferencia — 65 t/s.

Ranura x16 completa soluciona problemas de Tesla, pero el CPU débil la frena.

Cambio de GPU y Fuente

Gigabyte RTX 3090 Gaming OC reemplaza a Tesla. Azerty Red Power 1050W ($53) sustituye la unidad ruidosa.

Límite: tope de potencia en 170W por cables — inferencia 100 t/s.

Acelerando la Carga del Modelo

Cuello de botella: DMI x4 PCIe 3.0 (~4 GB/s) para SSD SATA, M.2 (SATA3) y periféricos.

Flujo pre-optimización:

SSD SATA (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Optimización: SSD NVMe vía adaptador PCIe en ranura x16.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

Resultado: carga baja de 3:30 a 2 min, velocidad ~549 MB/s (límite x1 ~985 MB/s + sobrecarga de descompresión/asignación).

Mejora Final

• CPU: i5-10600KF 6 núcleos 4.1 GHz ($74).
• RAM: 16GB DDR4 3200 MHz.
• Fuente: Azerty 1200W ($64, 12VHPWR + 5x PCI).

Resultado: inferencia 110 t/s (+10%), carga sin cambios. TDP total ~800W. Cuantización mxfp4 impulsa más los tokens.

Conectores de cables en ángulo recto permiten cerrar la tapa de la caja.

Lecciones Clave

• Placas de minería (H510 Pro BTC+) esenciales para 3+ GPU por ranuras y ancho de banda.
• NVMe en ranura x16 acelera carga de LLM un 40% vs SATA sobre DMI.
• Mejoras de CPU/RAM dan <10% de ganancia — ROI mínimo.
• 3x RTX 3090 a 110 t/s reemplazan la nube para gpt-oss-120b.
• Costo total ~$480–530 (GPU excluidas).

— Editorial Team