Spouštění LLM bez GPU: průvodce pro vývojáře | 2024

Spuštění lokálních AI modelů bez GPU: podrobné nastavení klient-serverové architektury

Lokální nasazení jazykových modelů (LLM) bez grafické karty je reálná úloha pro vývojáře, kteří si cení soukromí a kontroly nad daty. V tomto článku rozebereme vytvoření klient-serverové systému, kde výpočty probíhají na druhém počítači s Linuxem a rozhraní je dostupné z hlavního Windows terminálu. Důraz je položen na bezpečnost, minimalizaci spotřeby zdrojů a využití stávajícího vybavení.

Příprava „výpočetního uzlu“: výběr OS a konfigurace disku

Klíčový krok je nastavení odděleného počítače bez GPU. Pro tento účel je vhodný Linux Mint (založený na Debianu) díky:

• Minimalistickému rozhraní Xfce, podobnému Windows
• Nízkým nárokům na zdroje
• Podpoře moderních nástrojů pro práci s AI

Důležité nuance instalace:

• Použijte Ventoy k vytvoření bootovatelné USB (formátování do dvou oddílů)
• Při rozdělování disků:

* Identifikujte disky podle schématu /sda, /sdb

* Vyhněte se Windows oddílům (100 MB bootovací + 500 MB obnovy)

* Vyberte souborový systém ext4

• Nastavte bootloader pro dual-boot: v BIOS přidejte zpoždění 5–10 sekund

Po instalaci nezapomeňte:

• Nastavit přepínání rozložení (levý Shift + CapsLock v Xfce)
• Přidat indikátor rozložení na panel
• Aktualizovat systém v terminálu: sudo apt update && sudo apt upgrade -y

Nasazení LMStudio: práce s GGUF modely

Pro spuštění LLM bez GPU byl vybrán LMStudio (verze AppImage) jako nejuniverzálnější řešení:

• Stáhněte AppImage soubor z oficiální stránky
• Udělte práva k spuštění: chmod +x LMStudio-*.AppImage
• Spusťte v terminálu: ./LMStudio-*.AppImage

Kritická nastavení modelu:

• Nastavte GPU-layers = 0
• Vypněte cachování v GPU
• Vyberte model s ohledem na objem RAM (doporučeny verze s 7B parametry)

Zkontrolujte funkčnost v záložce Developer:

• Sledujte stav zpracování promptu
• Použijte vestavěný chat k testování
• Nastavte lokální server s volbou „Serve on Local Network“

Nastavení klient-serverové interakce

Pro přístup k modelu z hlavního Windows počítače budete potřebovat:

Serverová část (Linux)

• Aktivujte API server v LMStudio na portu 1234 (výchozí)
• Nastavte firewall: sudo ufw allow 1234/tcp
• Získejte lokální IP: hostname -I

Klientová část (Windows)

• Nainstalujte Open WebUI přes Docker:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• V rozhraní Open WebUI nastavte:

- Base URL: http://[IP_linux_stroje]:1234/v1

- API Key: nechat prázdné

Co je důležité: klíčové principy nasazení

• Izolace dat: Model běží v uzavřené síti bez přístupu k hlavním datům
• Optimalizace zdrojů: Použití druhého počítače snižuje zátěž pracovní stanice
• Flexibilita konfigurace: Možnost rychlého přepínání modelů v LMStudio
• Bezpečnost spojení: Všechny požadavky zůstávají v lokální síti, šifrování TLS při potřebě

Optimalizace výkonu na CPU

Pro zrychlení práce LLM bez GPU:

• Konfigurace llama.cpp:

n_ctx = 4096
n_threads = [počet_jader_CPU]
n_batch = 512

• Výběr optimalizovaných modelů:
• Mistral-7B-Instruct-v0.2-GGUF (Q4_K_M)
• Phi-3-mini-4k-instruct-GGUF (Q5_K_S)
• Gemma-2B-it-GGUF (Q4_0)

• Monitorování zátěže:
• Používejte htop ke sledování zatížení CPU
• Kontrolujte využití paměti přes free -h

Řešení běžných problémů

Problém: Pomalá generace odpovědí

Řešení:

• Snižte n_ctx v konfiguraci
• Vyberte model s kvantizací Q4 místo Q5
• Zvyšte n_batch na 1024

Problém: Chyba připojení klienta k serveru

Zkontrolujte:

• Stav firewallu na Linux stroji
• Správnost IP adresy v nastavení Open WebUI
• Funkčnost serveru přes curl: curl http://localhost:1234/v1/models

Problém: Přepínání rozložení nefunguje

Oprava:

• Otevřete „Nastavení systému“ → „Klávesnice"
• V záložce „Rozložení“ nastavte kombinaci Shift+CapsLock
• Přidejte indikátor na panel pravým klikem na panel

Závěr: praktická hodnota řešení

Popisaná konfigurace umožňuje:

• Zpracovávat textové úkoly (překlad, shrnutí) bez odesílání dat do cloudu
• Využít starší hardware efektivně
• Podporovat flexibilní prostředí pro experimenty s různými modely

Hlavní závěr: I bez GPU lze vytvořit funkční LLM infrastrukturu, pokud věnujete pozornost správnému nastavení prostředí a výběru optimalizovaných modelů. Systém je snadno škálovatelný – při přidání grafické karty stačí změnit parametry GPU-layers, aniž byste museli přestavovat architekturu.

— Editorial Team