无 GPU 运行 LLM：开发者指南 | 2024

## 无需显卡运行本地 AI 模型：客户端-服务器架构一步步设置指南

在本地运行大型语言模型（LLM）而无需显卡，对于注重隐私和数据控制的开发者来说是一项切实可行的任务。本文将指导你构建一个客户端-服务器系统，其中计算任务在第二台 Linux 电脑上运行，而界面则可从你的主 Windows 机器访问。我们强调安全性、最小化资源占用，并充分利用现有硬件。

准备“计算节点”：操作系统选择和磁盘配置

关键步骤是为无显卡的专用电脑进行设置。Linux Mint（基于 Debian）是理想选择，因为它具有：

• 简约的 Xfce 界面，类似于 Windows
• 低资源需求
• 支持现代 AI 工具

重要的安装说明：

• 使用 Ventoy 创建可引导 USB 驱动器（格式化为两个分区）
• 在磁盘分区过程中：

* 使用 /sda、/sdb 方案识别磁盘

* 避免 Windows 分区（100 MB 引导 + 500 MB 恢复）

* 选择 ext4 文件系统

• 为双系统引导配置引导加载程序：在 BIOS 中添加 5-10 秒延迟

安装完成后，确保：

• 设置键盘布局切换（在 Xfce 中按左 Shift + CapsLock）
• 在面板中添加布局指示器
• 通过终端更新系统：sudo apt update && sudo apt upgrade -y

部署 LMStudio：处理 GGUF 模型

要无显卡运行 LLM，LMStudio（AppImage 版本）是最灵活的选择：

• 从官方网站下载 AppImage 文件
• 使其可执行：chmod +x LMStudio-*.AppImage
• 通过终端启动：./LMStudio-*.AppImage

关键模型设置：

• 设置 GPU-layers = 0
• 禁用 GPU 缓存
• 根据你的 RAM 选择模型（推荐 7B 参数版本）

在 Developer 标签中验证其运行：

• 监控提示处理状态
• 使用内置聊天进行测试
• 启用“Serve on Local Network”选项启动本地服务器

设置客户端-服务器交互

要从主 Windows 电脑访问模型，你需要：

服务器端（Linux）

• 在 LMStudio 中激活端口 1234（默认）的 API 服务器
• 配置防火墙：sudo ufw allow 1234/tcp
• 获取本地 IP：hostname -I

客户端（Windows）

• 通过 Docker 安装 Open WebUI：

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 在 Open WebUI 界面中指定：

- Base URL: http://[Linux_machine_IP]:1234/v1

- API Key: 留空

关键要点：核心部署原则

• 数据隔离：模型在封闭网络中运行，无法访问你的主数据
• 资源优化：将负载转移到第二台电脑，减轻工作站压力
• 配置灵活性：通过 LMStudio 轻松切换模型
• 连接安全性：所有请求保持在本地网络内；如需可添加 TLS 加密

优化 CPU 性能

要加速无显卡的 LLM 推理：

• llama.cpp 配置：

n_ctx = 4096
n_threads = [number_of_CPU_cores]
n_batch = 512

• 优化模型：
• Mistral-7B-Instruct-v0.2-GGUF (Q4_K_M)
• Phi-3-mini-4k-instruct-GGUF (Q5_K_S)
• Gemma-2B-it-GGUF (Q4_0)

• 负载监控：
• 使用 htop 跟踪 CPU 使用率
• 使用 free -h 检查内存使用

解决常见问题

问题：响应生成缓慢

解决方案：

• 在配置中减少 n_ctx
• 选择 Q4 量化模型而非 Q5
• 将 n_batch 增加到 1024

问题：客户端无法连接服务器

检查：

• Linux 机器上的防火墙状态
• Open WebUI 设置中的 IP 地址准确性
• 通过 curl 检查服务器响应：curl http://localhost:1234/v1/models

问题：键盘布局切换无效

修复：

• 打开“System Settings” → “Keyboard”
• 在“Layouts”标签中设置 Shift+CapsLock 组合
• 右键点击面板，将指示器添加到任务栏

结论：解决方案的实际价值

此设置可实现：

• 处理文本任务（翻译、摘要）而无需云端数据传输
• 有效复用旧硬件
• 为测试各种模型提供灵活环境

关键启示：通过注重正确环境设置和优化模型，你可以在无显卡的情况下构建功能完备的 LLM 基础设施。该系统易于扩展——添加显卡时只需调整 GPU-layers，无需大改架构。

— Editorial Team