LLM ohne GPU ausführen: Anleitung für Entwickler | 2024

# Lokale KI-Modelle ohne GPU ausführen: Schritt-für-Schritt-Setup einer Client-Server-Architektur

Das lokale Ausführen großer Sprachmodelle (LLM) ohne Grafikkarte ist für Entwickler, die Datenschutz und Datenkontrolle priorisieren, eine machbare Aufgabe. In diesem Artikel zeigen wir Ihnen, wie Sie ein Client-Server-System aufbauen, bei dem die Berechnungen auf einem zweiten Linux-Rechner laufen und die Benutzeroberfläche von Ihrem Haupt-Windows-Rechner aus erreichbar ist. Der Fokus liegt auf Sicherheit, geringem Ressourcenverbrauch und optimaler Nutzung vorhandener Hardware.

Vorbereitung des „Rechenknotens“: Auswahl des Betriebssystems und Festplattenkonfiguration

Der entscheidende Schritt ist die Einrichtung eines dedizierten Rechners ohne GPU. Linux Mint (Debian-basiert) eignet sich hierfür hervorragend, dank:

• Seiner minimalistischen Xfce-Oberfläche, die an Windows erinnert
• Geringem Ressourcenbedarf
• Unterstützung moderner KI-Tools

Wichtige Installationshinweise:

• Verwenden Sie Ventoy, um einen bootfähigen USB-Stick zu erstellen (in zwei Partitionen formatieren)
• Bei der Festplattenpartitionierung:

* Festplatten anhand des /sda-, /sdb-Schemas identifizieren

* Windows-Partitionen vermeiden (100 MB Boot + 500 MB Recovery)

* ext4-Dateisystem wählen

• Bootloader für Dual-Boot konfigurieren: 5–10 Sekunden Verzögerung im BIOS einstellen

Nach der Installation unbedingt:

• Tastaturbelegung umschalten einrichten (Linke Shift + CapsLock in Xfce)
• Belegungsanzeige zum Panel hinzufügen
• System über Terminal aktualisieren: sudo apt update && sudo apt upgrade -y

LMStudio bereitstellen: Arbeiten mit GGUF-Modellen

Um LLM ohne GPU auszuführen, ist LMStudio (AppImage-Version) die flexibelste Wahl:

• AppImage-Datei von der offiziellen Website herunterladen
• Ausführbar machen: chmod +x LMStudio-*.AppImage
• Über Terminal starten: ./LMStudio-*.AppImage

Kritische Modell-Einstellungen:

• GPU-layers = 0 einstellen
• GPU-Caching deaktivieren
• Modell passend zum RAM wählen (7B-Parameter-Versionen empfohlen)

Funktion im Developer-Tab prüfen:

• Prompt-Verarbeitungsstatus überwachen
• Integrierten Chat für Tests nutzen
• Lokalen Server mit der Option „Serve on Local Network“ aktivieren

Client-Server-Interaktion einrichten

Um das Modell vom Haupt-Windows-Rechner aus zu erreichen, benötigen Sie:

Server-Seite (Linux)

• API-Server in LMStudio auf Port 1234 aktivieren (Standard)
• Firewall konfigurieren: sudo ufw allow 1234/tcp
• Lokale IP-Adresse ermitteln: hostname -I

Client-Seite (Windows)

• Open WebUI über Docker installieren:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• In der Open WebUI-Oberfläche angeben:

- Base URL: http://[Linux_Rechner_IP]:1234/v1

- API Key: leer lassen

Wichtige Punkte: Grundprinzipien der Bereitstellung

• Datentrennung: Das Modell läuft in einem abgeschlossenen Netzwerk ohne Zugriff auf Ihre Hauptdaten
• Ressourcenoptimierung: Auslagerung auf zweiten Rechner entlastet Ihre Workstation
• Konfigurationsflexibilität: Modelle einfach über LMStudio wechseln
• Verbindungssicherheit: Alle Anfragen bleiben im lokalen Netzwerk; bei Bedarf TLS-Verschlüsselung hinzufügen

CPU-Leistung optimieren

Um LLM-Inferenz ohne GPU zu beschleunigen:

• llama.cpp-Konfiguration:

n_ctx = 4096
n_threads = [Anzahl_CPU_Kerne]
n_batch = 512

• Optimierte Modelle:
• Mistral-7B-Instruct-v0.2-GGUF (Q4_K_M)
• Phi-3-mini-4k-instruct-GGUF (Q5_K_S)
• Gemma-2B-it-GGUF (Q4_0)

• Lastüberwachung:
• htop für CPU-Auslastung nutzen
• Speichernutzung mit free -h prüfen

Häufige Probleme lösen

Problem: Langsame Antwortgenerierung

Lösung:

• n_ctx in der Konfig reduzieren
• Q4-quantisiertes Modell statt Q5 wählen
• n_batch auf 1024 erhöhen

Problem: Client kann Server nicht erreichen

Prüfen:

• Firewall-Status auf dem Linux-Rechner
• Korrektheit der IP-Adresse in Open WebUI-Einstellungen
• Server-Reaktionsfähigkeit via curl: curl http://localhost:1234/v1/models

Problem: Tastaturbelegungsumschaltung funktioniert nicht

Behebung:

• „Systemeinstellungen“ → „Tastatur“ öffnen
• Im Reiter „Belegungen“ Shift+CapsLock-Kombination setzen
• Anzeige durch Rechtsklick auf das Panel zur Taskleiste hinzufügen

Fazit: Praktischer Nutzen der Lösung

Diese Einrichtung ermöglicht:

• Textaufgaben (Übersetzung, Zusammenfassung) ohne Cloud-Übertragung
• Effektive Wiederverwendung alter Hardware
• Flexibles Testumfeld für verschiedene Modelle

Hauptnachricht: Sie können eine funktionale LLM-Infrastruktur ohne GPU aufbauen, indem Sie sich auf korrekte Umgebungseinrichtung und optimierte Modelle konzentrieren. Das System lässt sich mühelos skalieren – einfach GPU-layers anpassen, wenn eine Grafikkarte hinzukommt, ohne Architekturumstellung.

— Editorial Team