Exécuter un LLM sans GPU : guide pour les développeurs | 2024

Exécuter des Modèles d'IA Locaux Sans GPU : Configuration Étape par Étape d'une Architecture Client-Serveur

Lancer des grands modèles de langage (LLM) en local sans carte graphique est une tâche tout à fait réaliste pour les développeurs qui privilégient la confidentialité et le contrôle des données. Dans cet article, nous allons vous guider pas à pas dans la création d'un système client-serveur où les calculs s'exécutent sur un second ordinateur Linux, tandis que l'interface est accessible depuis votre machine Windows principale. L'accent est mis sur la sécurité, la réduction de la consommation de ressources et l'exploitation du matériel existant.

Préparation du « Nœud de Calcul » : Sélection de l'OS et Configuration du Disque

L'étape clé consiste à configurer un ordinateur dédié sans GPU. Linux Mint (basé sur Debian) est idéal pour cela grâce à :

• Son interface Xfce minimaliste, proche de Windows
• Ses faibles besoins en ressources
• Son support des outils d'IA modernes

Notes importantes pour l'installation :

• Utilisez Ventoy pour créer une clé USB bootable (formatez en deux partitions)
• Lors du partitionnement du disque :

* Identifiez les disques via le schéma /sda, /sdb

* Évitez les partitions Windows (100 Mo boot + 500 Mo recovery)

* Sélectionnez le système de fichiers ext4

• Configurez le chargeur de démarrage pour le dual-boot : ajoutez un délai de 5-10 secondes dans le BIOS

Après l'installation, assurez-vous de :

• Configurer le changement de disposition clavier (Maj gauche + Verr Maj dans Xfce)
• Ajouter un indicateur de disposition dans le panneau
• Mettre à jour le système via le terminal : sudo apt update && sudo apt upgrade -y

Déploiement de LMStudio : Travail avec les Modèles GGUF

Pour exécuter des LLM sans GPU, LMStudio (version AppImage) est le choix le plus flexible :

• Téléchargez le fichier AppImage depuis le site officiel
• Rendez-le exécutable : chmod +x LMStudio-*.AppImage
• Lancez-le via le terminal : ./LMStudio-*.AppImage

Paramètres critiques du modèle :

• Définissez GPU-layers = 0
• Désactivez le cache GPU
• Choisissez un modèle en fonction de votre RAM (versions 7B paramètres recommandées)

Vérifiez son fonctionnement dans l'onglet Developer :

• Surveillez l'état du traitement des prompts
• Utilisez le chat intégré pour les tests
• Activez le serveur local avec l'option « Serve on Local Network »

Mise en Place de l'Interaction Client-Serveur

Pour accéder au modèle depuis votre ordinateur Windows principal, vous aurez besoin de :

Côté Serveur (Linux)

• Activez le serveur API dans LMStudio sur le port 1234 (par défaut)
• Configurez le pare-feu : sudo ufw allow 1234/tcp
• Obtenez votre IP locale : hostname -I

Côté Client (Windows)

• Installez Open WebUI via Docker :

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• Dans l'interface Open WebUI, indiquez :

- Base URL : http://[IP_de_la_machine_Linux]:1234/v1

- API Key : laissez vide

Points Clés : Principes Essentiels du Déploiement

• Isolation des Données : Le modèle s'exécute dans un réseau fermé sans accès à vos données principales
• Optimisation des Ressources : Le transfert sur un second ordinateur allège votre station de travail
• Flexibilité de Configuration : Changez facilement de modèle via LMStudio
• Sécurité de Connexion : Toutes les requêtes restent dans le réseau local ; ajoutez un chiffrement TLS si nécessaire

Optimisation des Performances CPU

Pour accélérer l'inférence LLM sans GPU :

• Configuration de llama.cpp :

n_ctx = 4096
n_threads = [nombre_de_cœurs_CPU]
n_batch = 512

• Modèles Optimisés :
• Mistral-7B-Instruct-v0.2-GGUF (Q4_K_M)
• Phi-3-mini-4k-instruct-GGUF (Q5_K_S)
• Gemma-2B-it-GGUF (Q4_0)

• Surveillance de la Charge :
• Utilisez htop pour suivre l'utilisation CPU
• Vérifiez l'usage mémoire avec free -h

Résolution des Problèmes Courants

Problème : Génération de réponses lente

Solution :

• Réduisez n_ctx dans la config
• Privilégiez un modèle quantisé Q4 plutôt que Q5
• Augmentez n_batch à 1024

Problème : Le client ne se connecte pas au serveur

Vérifications :

• État du pare-feu sur la machine Linux
• Précision de l'adresse IP dans les paramètres Open WebUI
• Réactivité du serveur via curl : curl http://localhost:1234/v1/models

Problème : Changement de disposition clavier défaillant

Correction :

• Ouvrez « Paramètres Système » → « Clavier »
• Dans l'onglet « Dispositions », définissez la combinaison Maj+Verr Maj
• Ajoutez l'indicateur à la barre des tâches en cliquant droit sur le panneau

Conclusion : Valeur Pratique de la Solution

Cette configuration permet :

• De gérer des tâches textuelles (traduction, résumé) sans transfert de données vers le cloud
• De réutiliser efficacement du matériel ancien
• Un environnement flexible pour tester divers modèles

Leçon principale : Vous pouvez bâtir une infrastructure LLM fonctionnelle sans GPU en vous concentrant sur une configuration d'environnement appropriée et des modèles optimisés. Le système est facilement scalable — il suffit d'ajuster GPU-layers lors de l'ajout d'une carte graphique, sans refonte architecturale.

— Editorial Team