RTX 3090 上的本地 AI：挖矿构建

RTX 3090 本地部署大型语言模型的矿卡组装指南

在三张 RTX 3090 GPU 上本地运行 gpt-oss-120b 模型，需要使用插满 PCI 插槽的矿卡主板。测试证明，普通桌面主板因空间和带宽限制无法胜任。切换到 ETH B75 和 H510 Pro BTC+ 主板后，我们成功安装显卡，并在 Q8_K_XL 量化下通过 llamacpp 实现 110 t/s 的速度。

测试使用 NVIDIA 驱动 580.82.07，提示词为：“用 Go 语言编写一个完整的 Vulkan 三角形渲染器应用。”我们测量了 MoE 模型的初始推理速度，随着上下文填充，性能会逐渐下降。

GPU 选择

基础测试使用了不同 TDP 和电源接口的显卡：

• Tesla P40（250W，CPU 供电接口，占 2 个 PCI 插槽）——在 x1 通道上不稳定。
• RTX 3090 TI KFA2（标称 450W，实际 360W，12+4 针，占 3 个以上插槽）。
• Asus Rog Strix RTX 3090（标称 390W，峰值 480W，3 个 PCI 插槽）。
• Gigabyte RTX 3090 Gaming OC（标称 350W，峰值 400W，2 个 PCI 插槽）。

最终组装的三张 RTX 3090 实现了稳定的推理，无电源瓶颈。

首次组装：ETH B75 + 机箱 + 电源

35 美元套件：水平机箱配 4 个涡轮风扇，ETH B75 主板（LGA 1155，8 个 PCI x1 插槽，1 个 DDR3 SO-DIMM，100 Mbps 以太网）和 True Miner 1800W 电源。

问题：

• Tesla P40 在 x1 通道上失败。
• 加载 gpt-oss-20b（12GB）耗时 80 秒，推理速度 100 t/s（负载 <80%）。
• 电源噪音太大，不适合家用。

机箱专为 ETH B75 设计，插槽间距精确匹配。

切换到 H510 Pro BTC+

48 美元主板（LGA 1200，1 个 DDR4 支持至 3200 MHz，千兆以太网，PCIe x16 插槽，支持双电源同步），搭配 Celeron G5905 3.5 GHz CPU 和 8GB DDR4 2400 MHz 内存。

Tesla P40 + 2 张 RTX 3090 测试结果：

• 加载 gpt-oss-120b（64.4GB）耗时 3 分 30 秒（~314 MB/s）。
• 推理速度 65 t/s。

完整 x16 插槽解决了 Tesla 问题，但 CPU 性能拖后腿。

GPU 和电源更换

用 Gigabyte RTX 3090 Gaming OC 替换 Tesla。Azerty Red Power 1050W（53 美元）替换噪音大的电源。

限制：由于线缆原因功率上限 170W，推理速度 100 t/s。

加速模型加载

瓶颈：DMI x4 PCIe 3.0（~4 GB/s）连接 SATA SSD、M.2（SATA3）和外设。

优化前流程：

SATA SSD (~550 MB/s)
 → DMI (~4 GB/s)
  → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

优化后：x16 插槽用 PCIe 转接卡接入 NVMe SSD。

NVMe (~3 GB/s)
 → PCIe x4 (~4 GB/s)
 → CPU
 → DMI (~4 GB/s)
 → PCIe x1 (~1 GB/s)
 → GPU

结果：加载时间从 3 分 30 秒降至 2 分钟，速度 ~549 MB/s（x1 限制 ~985 MB/s + 解压/分配开销）。

最终升级

• CPU：i5-10600KF 6 核 4.1 GHz（74 美元）。
• 内存：16GB DDR4 3200 MHz。
• 电源：Azerty 1200W（64 美元，12VHPWR + 5 个 PCI 接口）。

结果：推理速度 110 t/s（+10%），加载时间不变。总 TDP ~800W。mxfp4 量化进一步提升 token 速率。

直角线缆接口让机箱盖子能正常关闭。

关键经验

• 矿卡主板（如 H510 Pro BTC+）对 3 张以上 GPU 至关重要，提供充足插槽和带宽。
• x16 插槽 NVMe 比通过 DMI 的 SATA 加速 LLM 加载 40%。
• CPU/内存升级收益 <10%，性价比低。
• 3 张 RTX 3090 达 110 t/s，可取代云端运行 gpt-oss-120b。
• 总成本 ~480–530 美元（不含 GPU）。

— Editorial Team