# Ejecutar Modelos de IA Locales sin GPU: Configuración Paso a Paso de Arquitectura Cliente-Servidor
Ejecutar modelos de lenguaje grandes (LLM) de forma local sin una tarjeta gráfica es una tarea realista para desarrolladores que priorizan la privacidad y el control de datos. En este artículo, te guiaremos paso a paso para crear un sistema cliente-servidor donde los cálculos se ejecuten en un segundo ordenador Linux, y la interfaz sea accesible desde tu máquina principal Windows. El énfasis está en la seguridad, minimizar el uso de recursos y aprovechar el hardware existente.
Preparación del «Nodo de Cómputo»: Selección de SO y Configuración de Disco
La etapa clave es configurar un ordenador dedicado sin GPU. Linux Mint (basado en Debian) es ideal para esto gracias a:
- Su interfaz Xfce minimalista, similar a Windows
- Bajos requisitos de recursos
- Soporte para herramientas modernas de IA
Notas importantes de instalación:
- Usa Ventoy para crear un USB de arranque (formatea en dos particiones)
- Durante el particionado del disco:
* Identifica los discos con el esquema /sda, /sdb
* Evita las particiones de Windows (100 MB de arranque + 500 MB de recuperación)
* Selecciona el sistema de archivos ext4
- Configura el cargador de arranque para arranque dual: añade un retraso de 5-10 segundos en la BIOS
Tras la instalación, asegúrate de:
- Configurar el cambio de distribución del teclado (Shift izquierdo + CapsLock en Xfce)
- Añadir un indicador de distribución al panel
- Actualizar el sistema vía terminal:
sudo apt update && sudo apt upgrade -y
Despliegue de LMStudio: Trabajo con Modelos GGUF
Para ejecutar LLM sin GPU, LMStudio (versión AppImage) es la opción más flexible:
- Descarga el archivo AppImage desde el sitio web oficial
- Hazlo ejecutable:
chmod +x LMStudio-*.AppImage - Lánzalo vía terminal:
./LMStudio-*.AppImage
Configuraciones críticas del modelo:
- Establece GPU-layers = 0
- Desactiva el caché de GPU
- Elige un modelo según tu RAM (versiones de 7B parámetros recomendadas)
Verifica que funcione en la pestaña Developer:
- Monitorea el estado de procesamiento de prompts
- Usa el chat integrado para pruebas
- Activa el servidor local con la opción «Serve on Local Network»
Configuración de la Interacción Cliente-Servidor
Para acceder al modelo desde tu ordenador principal Windows, necesitarás:
Lado Servidor (Linux)
- Activa el servidor API en LMStudio en el puerto 1234 (predeterminado)
- Configura el firewall:
sudo ufw allow 1234/tcp - Obtén tu IP local:
hostname -I
Lado Cliente (Windows)
- Instala Open WebUI vía Docker:
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main- En la interfaz de Open WebUI, especifica:
- Base URL: http://[Linux_machine_IP]:1234/v1
- API Key: déjalo vacío
Puntos Clave: Principios Básicos de Despliegue
- Aislamiento de Datos: El modelo se ejecuta en una red cerrada sin acceso a tus datos principales
- Optimización de Recursos: Descargar a un segundo ordenador reduce la carga en tu estación de trabajo
- Flexibilidad de Configuración: Cambia fácilmente de modelos vía LMStudio
- Seguridad de Conexión: Todas las solicitudes permanecen en la red local; añade cifrado TLS si es necesario
Optimización del Rendimiento de CPU
Para acelerar la inferencia de LLM sin GPU:
- Configuración de llama.cpp:
n_ctx = 4096
n_threads = [number_of_CPU_cores]
n_batch = 512- Modelos Optimizados:
- Mistral-7B-Instruct-v0.2-GGUF (Q4_K_M)
- Phi-3-mini-4k-instruct-GGUF (Q5_K_S)
- Gemma-2B-it-GGUF (Q4_0)
- Monitoreo de Carga:
- Usa htop para rastrear el uso de CPU
- Verifica el uso de memoria con
free -h
Solución de Problemas Comunes
Problema: Generación de respuestas lenta
Solución:
- Reduce n_ctx en la configuración
- Elige un modelo cuantizado Q4 en lugar de Q5
- Aumenta n_batch a 1024
Problema: El cliente no se conecta al servidor
Verifica:
- Estado del firewall en la máquina Linux
- Precisión de la dirección IP en la configuración de Open WebUI
- Respuesta del servidor vía curl:
curl http://localhost:1234/v1/models
Problema: El cambio de distribución de teclado no funciona
Solución:
- Abre «System Settings» → «Keyboard»
- En la pestaña «Layouts», establece la combinación Shift+CapsLock
- Añade el indicador a la barra de tareas haciendo clic derecho en el panel
Conclusión: Valor Práctico de la Solución
Esta configuración permite:
- Manejar tareas de texto (traducción, resumen) sin transferencias de datos a la nube
- Reutilizar hardware antiguo de forma efectiva
- Un entorno flexible para probar varios modelos
Lección clave: Puedes construir una infraestructura funcional de LLM sin GPU enfocándote en una configuración adecuada del entorno y modelos optimizados. El sistema escala sin esfuerzo: solo ajusta GPU-layers al añadir una tarjeta gráfica, sin necesidad de rehacer la arquitectura.
— Editorial Team
Aún no hay comentarios.