Qwen 3.6 vs Gemma 4: testowanie na lokalnej maszynie

Porównanie Qwen 3.6 i Gemma 4: praktyczne testowanie na lokalnym komputerze

Nowe lokalne modele Qwen 3.6 od Alibaba i Gemma 4 wykazują wysoką wydajność nawet na przeciętnym laptopie. Przetestowaliśmy je w rzeczywistych warunkach developerskich, konfigurując środowisko do pracy z narzędziami i kodem. Wyniki potwierdzają: obie modele efektywnie integrują się z procesem pracy przy właściwej konfiguracji, ale wymagają precyzyjnego dostrojenia pod ograniczone zasoby.

Sprzęt i wybór narzędzi

Testy przeprowadzono na laptopie Asus Tuf Gaming z dedykowaną kartą graficzną NVIDIA RTX 4070 (8 GB VRAM). Główne ograniczenia: ograniczona pamięć wideo i potrzeba równowagi między przyspieszeniem GPU a zasobami systemowymi. Do uruchamiania modeli wybrano:

• LM Studio — do ładowania i zarządzania lokalnymi modelami
• Zed IDE — jako główne środowisko developerskie z zintegrowanym agentem AI

Kluczowe wymaganie: obsługa narzędzi (tools) do pracy z systemem plików i terminalem. Alternatywne klienty CLI (OpenCode, Claude CLI, pi.dev) odrzucono z powodu:

• Awarii przy uruchamianiu systemowych promptów
• Nieprawidłowego wykrywania powłoki (Bash/PowerShell)
• Problemów z edycją plików w czasie rzeczywistym

Zed IDE wykazało stabilną pracę po aktywacji agenta za pomocą ikony „gwiazdki” w prawym dolnym rogu (ustawienia w sekcji AI).

Konfiguracja LM Studio dla Qwen 3.6

Do poprawnego działania Qwen 3.6 w LM Studio wymagana była modyfikacja szablonu Jinja. Kroki:

• W sekcji MyModels wybrać model Qwen 3.6
• Otworzyć ustawienia (ikona koła zębatego)
• Na zakładce Inference zastąpić szablon zoptymalizowanym

Kluczowe zmiany:

• Dodanie {%- set enable_thinking = false %} na początek szablonu w celu przyspieszenia odpowiedzi
• Ograniczenie offloadu GPU do 80-90% całkowitej VRAM
• Ustawienie długości kontekstu ≤60K z uwzględnieniem wolnej RAM

Oryginalny szablon (skrócony dla przykładu):

{%- set enable_thinking = false %}
{%- set image_count = namespace(value=0) %}
{%- macro render_content(content, do_vision_count, is_system_content=false) %}
    {%- if content is string %}
        {{- content }}
    {%- elif content is iterable and content is not mapping %}
        {%- for item in content %}
            {%- if 'image' in item or 'image_url' in item or item.type == 'image' %}
                {%- if do_vision_count %}
                    {%- set image_count.value = image_count.value + 1 %}
                {%- endif %}
                {{- '<tool_call><tool_call><tool_call>' }}
            {%- elif 'text' in item %}
                {{- item.text }}
            {%- endif %}
        {%- endfor %}
    {%- endif %}
{%- endmacro %}

Przy przekroczeniu 90% VRAM występowały halucynacje i przełączanie na chiński/hiszpański. Czerwone ostrzeżenie w interfejsie LM Studio wskazuje na krytyczny błąd konfiguracji.

Systemowy prompt i optymalizacja prędkości

Aby skrócić długość odpowiedzi i oszczędzać tokeny, zastosowano specjalistyczny systemowy prompt:

Vy — professionalnyy developmentchik React/NextJS. Replyte kratko, bez poyasneniy. Ispolzuyte tolko neobkhodimye tokeny. When rabote with faylami: snachala proveryayte structure project, zatem vnosite changes. Izbegayte generation koda vne tekuschey direktorii.

Efekty optymalizacji:

• Średnia długość odpowiedzi zmniejszyła się o 30%
• Przyspieszenie generacji o 15-20% dzięki wyłączeniu trybu thinking
• Zmniejszenie błędów przy pracy z narzędziami (tools)

Ważne: wyłączenie thinking (enable_thinking = false) jest kluczowe dla zadań nie wymagających wieloetapowego rozumowania. Dla złożonych algorytmów zaleca się pozostawienie trybu włączonego.

Porównanie wydajności

Testy przeprowadzono na zadaniach:

• Generowanie komponentów React
• Debugowanie TypeScript
• Automatyzacja poleceń terminala

Qwen 3.6 (35B, Q4_K_M):

• Zaleta: precyzja w pracy z narzędziami
• Wada: wysokie zużycie VRAM przy kontekście >48K
• Prędkość: 12-15 tokenów/s przy GPU-offload 85%

Gemma 4:

• Zaleta: stabilność przy niskiej VRAM
• Wada: błędy w wieloetapowych wywołaniach narzędziowych
• Prędkość: 18-22 tokeny/s przy tych samych ustawieniach

Obie modele poprawnie obsługiwały prompt w rodzaju:

Hello. You professionalnyy developmentchik React/NextJS. In tekuschey direktorii...

ale Qwen 3.6 wykazała o 25% mniej błędów przy pracy z systemem plików. Gemma 4 generowała kod szybciej, ale wymagała ręcznej korekty wywołań narzędziowych.

Co ważne

• Balans VRAM: nigdy nie offloaduj więcej niż 90% pamięci wideo na GPU. Dla RTX 4070 (8 GB) optymalnie 7 GB.
• Limit kontekstu: długość kontekstu 60K wymaga minimum 16 GB RAM. Na systemach z 32 GB zostaw 4-5 GB dla systemu operacyjnego.
• Narzędzia: Qwen 3.6 stabilniej działa z tools, ale Gemma 4 jest szybsza w generowaniu kodu.
• Prompty: wyłączenie thinking przyspiesza odpowiedzi, ale obniża jakość dla złożonych zadań.
• Środowisko: Zed IDE jest preferowane przed klientami CLI do integracji z narzędziami developerskimi.

— Editorial Team