Qwen 3.6 vs Gemma 4: Testen auf einem lokalen Rechner

# Vergleich von Qwen 3.6 und Gemma 4: Praktische Tests auf einem lokalen Rechner

Die neuen lokalen Modelle Qwen 3.6 von Alibaba und Gemma 4 liefern beeindruckende Leistung sogar auf einem durchschnittlichen Laptop. Wir haben sie unter realen Entwicklungsbedingungen getestet, indem wir eine Umgebung für die Arbeit mit Tools und Code eingerichtet haben. Die Ergebnisse bestätigen: Beide Modelle integrieren sich bei richtiger Konfiguration effektiv in den Workflow, erfordern aber Feinabstimmung für begrenzte Ressourcen.

Hardware-Setup und Tool-Auswahl

Die Tests wurden auf einem Asus Tuf Gaming Laptop mit einer dedizierten NVIDIA RTX 4070 Grafikkarte (8 GB VRAM) durchgeführt. Wichtige Einschränkungen: begrenzter Videospeicher und die Notwendigkeit, GPU-Beschleunigung mit Systemressourcen auszugleichen. Für den Betrieb der Modelle wurden folgende Tools ausgewählt:

• LM Studio — zum Laden und Verwalten lokaler Modelle
• Zed IDE — als primäre Entwicklungsumgebung mit integriertem AI-Agenten

Wichtige Anforderung: Unterstützung für Tools zur Arbeit mit Dateisystem und Terminal. Alternative CLI-Clients (OpenCode, Claude CLI, pi.dev) wurden ausgeschlossen aufgrund von:

• Fehlern beim Starten von Systemprompts
• Falscher Shell-Erkennung (Bash/PowerShell)
• Problemen bei der Echtzeit-Dateibearbeitung

Zed IDE zeigte stabile Leistung nach Aktivierung des Agents über das „Stern“-Symbol in der unteren rechten Ecke (Einstellungen im AI-Bereich).

Konfiguration von LM Studio für Qwen 3.6

Damit Qwen 3.6 in LM Studio korrekt funktioniert, musste die Jinja-Vorlage angepasst werden. Schritte:

• Im MyModels-Bereich das Qwen 3.6-Modell auswählen
• Einstellungen öffnen (Zahnrad-Symbol)
• Im Inference-Tab die Vorlage durch eine optimierte ersetzen

Wichtige Änderungen:

• Hinzufügen von {%- set enable_thinking = false %} am Anfang der Vorlage, um Antworten zu beschleunigen
• Begrenzung des GPU-Offloads auf 80-90 % des gesamten VRAM
• Kontextlänge ≤60K unter Berücksichtigung des verfügbaren RAM

Originalvorlage (gekürzt als Beispiel):

{%- set enable_thinking = false %}
{%- set image_count = namespace(value=0) %}
{%- macro render_content(content, do_vision_count, is_system_content=false) %}
    {%- if content is string %}
        {{- content }}
    {%- elif content is iterable and content is not mapping %}
        {%- for item in content %}
            {%- if 'image' in item or 'image_url' in item or item.type == 'image' %}
                {%- if do_vision_count %}
                    {%- set image_count.value = image_count.value + 1 %}
                {%- endif %}
                {{- '<tool_call><tool_call><tool_call>' }}
            {%- elif 'text' in item %}
                {{- item.text }}
            {%- endif %}
        {%- endfor %}
    {%- endif %}
{%- endmacro %}

Überschreitung von 90 % VRAM führte zu Halluzinationen und Wechsel zu Chinesisch/Spanisch. Die rote Warnung in der LM Studio-Oberfläche signalisiert einen kritischen Konfigurationsfehler.

Systemprompt und Geschwindigkeitsoptimierung

Um Antwortlängen zu kürzen und Token zu sparen, wurde ein spezieller Systemprompt verwendet:

You are a professional React/NextJS developer. Respond briefly, without explanations. Use only necessary tokens. When working with files: first check the project structure, then make changes. Avoid generating code outside the current directory.

Optimierungseffekte:

• Durchschnittliche Antwortlänge um 30 % reduziert
• Generierungsgeschwindigkeit um 15-20 % gesteigert durch Deaktivierung des thinking-Modus
• Weniger Fehler bei der Arbeit mit Tools

Wichtig: Die Deaktivierung von thinking (enable_thinking = false) ist entscheidend für Aufgaben, die kein mehrstufiges Reasoning erfordern. Für komplexe Algorithmen wird empfohlen, den Modus aktiviert zu lassen.

Leistungsvergleich

Tests wurden mit Aufgaben durchgeführt:

• Generieren von React-Komponenten
• Debuggen von TypeScript
• Automatisieren von Terminal-Befehlen

Qwen 3.6 (35B, Q4_K_M):

• Stärke: Genauigkeit bei der Arbeit mit Tools
• Schwäche: Hoher VRAM-Verbrauch bei Kontext >48K
• Geschwindigkeit: 12-15 tokens/sec bei 85 % GPU-Offload

Gemma 4:

• Stärke: Stabilität bei niedrigem VRAM
• Schwäche: Fehler bei mehrstufigen Tool-Aufrufen
• Geschwindigkeit: 18-22 tokens/sec bei gleichen Einstellungen

Beide Modelle bearbeiteten Prompts wie diesen korrekt:

Hi. You are a professional React/NextJS developer. In the current directory...

Qwen 3.6 wies jedoch 25 % weniger Fehler bei der Arbeit mit dem Dateisystem auf. Gemma 4 generierte Code schneller, erfordert aber manuelle Korrekturen bei Tool-Aufrufen.

Wichtige Erkenntnisse

• VRAM-Balance: Niemals mehr als 90 % des Videospeichers auf die GPU offloaden. Für RTX 4070 (8 GB) sind 7 GB optimal.
• Kontextbegrenzung: 60K Kontextlänge erfordert mindestens 16 GB RAM. Auf 32-GB-Systemen 4-5 GB für das OS freilassen.
• Tools: Qwen 3.6 ist stabiler mit Tools, Gemma 4 schneller bei Code-Generierung.
• Prompts: Deaktivierung von thinking beschleunigt Antworten, reduziert aber die Qualität bei komplexen Aufgaben.
• Umgebung: Zed IDE ist CLI-Clients für die Integration mit Entwicklungstools vorzuziehen.

— Editorial Team