Qwen 3.6 vs Gemma 4: pruebas en una máquina local

Comparando Qwen 3.6 y Gemma 4: Pruebas prácticas en una máquina local

Los nuevos modelos locales Qwen 3.6 de Alibaba y Gemma 4 ofrecen un rendimiento impresionante incluso en un portátil promedio. Los probamos en condiciones reales de desarrollo, configurando un entorno para trabajar con herramientas y código. Los resultados confirman: ambos modelos se integran de manera efectiva en el flujo de trabajo con una configuración adecuada, pero requieren ajustes para recursos limitados.

Configuración de hardware y selección de herramientas

Las pruebas se realizaron en un portátil Asus Tuf Gaming con una tarjeta gráfica discreta NVIDIA RTX 4070 (8 GB de VRAM). Restricciones clave: memoria de vídeo limitada y la necesidad de equilibrar la aceleración GPU con los recursos del sistema. Se seleccionaron las siguientes herramientas para ejecutar los modelos:

• LM Studio — para cargar y gestionar modelos locales
• Zed IDE — como entorno principal de desarrollo con un agente de IA integrado

Requisito clave: soporte para herramientas que trabajen con el sistema de archivos y la terminal. Se descartaron clientes CLI alternativos (OpenCode, Claude CLI, pi.dev) debido a:

• Fallos al iniciar prompts del sistema
• Detección incorrecta del shell (Bash/PowerShell)
• Problemas con la edición de archivos en tiempo real

Zed IDE mostró un rendimiento estable tras activar el agente mediante el icono de "estrella" en la esquina inferior derecha (configuración en la sección de IA).

Configurando LM Studio para Qwen 3.6

Para que Qwen 3.6 funcione correctamente en LM Studio, fue necesario modificar la plantilla Jinja. Pasos:

• En la sección MyModels, selecciona el modelo Qwen 3.6
• Abre la configuración (icono de engranaje)
• En la pestaña Inference, reemplaza la plantilla con una optimizada

Cambios críticos:

• Agregar {%- set enable_thinking = false %} al principio de la plantilla para acelerar las respuestas
• Limitar la descarga a GPU al 80-90% del VRAM total
• Establecer longitud de contexto ≤60K considerando la RAM disponible

Plantilla original (abreviada como ejemplo):

{%- set enable_thinking = false %}
{%- set image_count = namespace(value=0) %}
{%- macro render_content(content, do_vision_count, is_system_content=false) %}
    {%- if content is string %}
        {{- content }}
    {%- elif content is iterable and content is not mapping %}
        {%- for item in content %}
            {%- if 'image' in item or 'image_url' in item or item.type == 'image' %}
                {%- if do_vision_count %}
                    {%- set image_count.value = image_count.value + 1 %}
                {%- endif %}
                {{- '<tool_call><tool_call><tool_call>' }}
            {%- elif 'text' in item %}
                {{- item.text }}
            {%- endif %}
        {%- endfor %}
    {%- endif %}
{%- endmacro %}

Superar el 90% de VRAM provocaba alucinaciones y cambios a chino/español. La advertencia roja en la interfaz de LM Studio indica un error crítico de configuración.

Prompt del sistema y optimización de velocidad

Para acortar la longitud de las respuestas y ahorrar tokens, se utilizó un prompt del sistema especializado:

You are a professional React/NextJS developer. Respond briefly, without explanations. Use only necessary tokens. When working with files: first check the project structure, then make changes. Avoid generating code outside the current directory.

Efectos de la optimización:

• Longitud media de respuesta reducida en un 30%
• Velocidad de generación aumentada en un 15-20% al desactivar el modo thinking
• Menos errores al trabajar con herramientas

Importante: desactivar thinking (enable_thinking = false) es crítico para tareas que no requieren razonamiento en múltiples pasos. Para algoritmos complejos, se recomienda mantener el modo activado.

Comparación de rendimiento

Las pruebas se realizaron en tareas:

• Generación de componentes React
• Depuración de TypeScript
• Automatización de comandos de terminal

Qwen 3.6 (35B, Q4_K_M):

• Fortaleza: precisión al trabajar con herramientas
• Debilidad: alto uso de VRAM con contexto >48K
• Velocidad: 12-15 tokens/seg con 85% de descarga a GPU

Gemma 4:

• Fortaleza: estabilidad con bajo VRAM
• Debilidad: errores en llamadas a herramientas en múltiples pasos
• Velocidad: 18-22 tokens/seg con la misma configuración

Ambos modelos manejaron correctamente prompts como este:

Hi. You are a professional React/NextJS developer. In the current directory...

pero Qwen 3.6 mostró un 25% menos errores al trabajar con el sistema de archivos. Gemma 4 generaba código más rápido, pero requería correcciones manuales para las llamadas a herramientas.

Lecciones clave

• Equilibrio de VRAM: Nunca descargues más del 90% de la memoria de vídeo a la GPU. Para RTX 4070 (8 GB), 7 GB es óptimo.
• Límite de contexto: 60K de longitud de contexto requiere al menos 16 GB de RAM. En sistemas de 32 GB, deja 4-5 GB para el SO.
• Herramientas: Qwen 3.6 es más estable con herramientas, pero Gemma 4 es más rápida en generación de código.
• Prompts: Desactivar thinking acelera las respuestas, pero reduce la calidad en tareas complejas.
• Entorno: Zed IDE es preferible a los clientes CLI para la integración con herramientas de desarrollo.

— Editorial Team