RTX 3090에서 로컬 AI: 마이닝 빌드

RTX 3090으로 로컬 LLM 추론 마이닝 리그 구축하기

세 대의 RTX 3090 GPU에서 gpt-oss-120b를 로컬로 실행하려면 PCI 슬롯이 빽빽한 마이닝 메인보드가 필요합니다. 테스트 결과 표준 데스크톱 보드는 공간과 대역폭 제한으로 이 구성을 감당하지 못했습니다. ETH B75와 H510 Pro BTC+ 보드로 전환하니 카드를 모두 장착하고 llamacpp의 Q8_K_XL 양자화에서 110 t/s를 달성했습니다.

테스트는 NVIDIA 드라이버 580.82.07을 사용했으며 프롬프트는 "Go 언어로 완전한 Vulkan 삼각형 렌더러 앱을 작성해."였습니다. MoE 모델의 초기 추론 속도를 측정했는데, 컨텍스트가 채워질수록 성능이 떨어집니다.

GPU 선택

기본 카드는 TDP와 전원 커넥터가 다양한 모델을 사용했습니다:

• Tesla P40 (250W, CPU 커넥터, 2 PCI 슬롯) — x1 레인에서 불안정.
• RTX 3090 TI KFA2 (450W 스톡, 실제 360W, 12+4 핀, 3슬롯 이상).
• Asus Rog Strix RTX 3090 (390W 스톡, 최대 480W, 3x PCI).
• Gigabyte RTX 3090 Gaming OC (350W 스톡, 최대 400W, 2x PCI).

최종 빌드의 세 RTX 3090은 전원 제약 없이 안정적인 추론을 제공합니다.

첫 번째 빌드: ETH B75 + 케이스 + PSU

35달러 키트: 4개의 터빈 팬이 달린 수평 케이스, ETH B75 (LGA 1155, 8x PCI x1, 1x DDR3 SO-DIMM, 100 Mbps 이더넷)와 True Miner 1800W PSU.

문제점:

• Tesla P40이 x1에서 실패.
• gpt-oss-20b (12GB) 로딩 — 80초, 추론 100 t/s (로드 <80%).
• PSU가 집에서 쓰기 너무 시끄러움.

케이스는 ETH B75에 맞춘 슬롯 간격으로 특화되어 있습니다.

H510 Pro BTC+로 전환

48달러 보드 (LGA 1200, 1x DDR4 최대 3200 MHz, 기가비트 이더넷, PCIe x16, 2 PSU 동기화)와 Celeron G5905 3.5 GHz, 8GB DDR4 2400 MHz를 조합.

Tesla P40 + 2x RTX 3090 결과:

• gpt-oss-120b (64.4GB) 로딩 — 3분 30초 (~314 MB/s).
• 추론 — 65 t/s.

전체 x16 슬롯으로 Tesla 문제를 해결했지만, 약한 CPU가 발목을 잡았습니다.

GPU와 PSU 교체

Gigabyte RTX 3090 Gaming OC으로 Tesla 교체. Azerty Red Power 1050W (53달러)로 시끄러운 유닛 교체.

제한: 케이블로 인해 전원 캡 170W — 추론 100 t/s.

모델 로딩 속도 향상

병목: DMI x4 PCIe 3.0 (~4 GB/s)으로 SATA SSD, M.2 (SATA3), 주변기기.

사전 최적화 흐름:

SATA SSD (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

최적화: x16 슬롯의 PCIe 어댑터로 NVMe SSD.

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

결과: 로딩 시간이 3분 30초에서 2분으로 줄고, 속도 ~549 MB/s (x1 제한 ~985 MB/s + 압축 해제/할당 오버헤드).

최종 업그레이드

• CPU: i5-10600KF 6코어 4.1 GHz (74달러).
• RAM: 16GB DDR4 3200 MHz.
• PSU: Azerty 1200W (64달러, 12VHPWR + 5x PCI).

결과: 추론 110 t/s (+10%), 로딩 시간 동일. 총 TDP ~800W. mxfp4 양자화로 토큰 더 향상.

직각 케이블 커넥터로 케이스 뚜껑 닫힘.

주요 교훈

• 마이닝 보드 (H510 Pro BTC+)는 3대 이상 GPU에 슬롯과 대역폭으로 필수.
• x16 슬롯 NVMe가 DMI 상 SATA 대비 LLM 로딩 40% 빨라짐.
• CPU/RAM 업그레이드는 <10% 이득 — ROI 미미.
• 3x RTX 3090으로 110 t/s, gpt-oss-120b 클라우드 대체.
• 총 비용 ~480–530달러 (GPU 제외).

— Editorial Team