# Personalizacja modelu AI do pisania technicznego: lekcje po nieudanej publikacji artykułu
Po nieudanej publikacji artykułu, stworzonego z nadmierną zależnością od AI bez ostatecznej korekty, przeanalizowałem podejście do automatyzacji treści technicznych. Zamiast szukać magicznego przycisku, wdrożyłem proces dofine-tuning'u modelu językowego na własnych materiałach. Rezultat: zmniejszenie schematyczności tekstów o 30-40% i wzrost jakości na nowych tematach o 20-30% przy zachowaniu stylu autorskiego.
Dlaczego generowanie przez AI bez kontroli prowadzi do porażek
Artykuł techniczny, opublikowany na Habr z minimalnym udziałem autora, spotkał się z uzasadnioną krytyką. Główne zarzuty: nieaktualne dane, naruszenie struktury, utrata technicznej głębi. Kluczowy wniosek: problem nie tkwi w użyciu AI, lecz w braku ludzkiej kontroli na kluczowych etapach. Automatyzacja jest odpowiednia do szkiców, gramatyki i wariantywności, ale odpowiedzialność za sens, fakty i ostateczną weryfikację musi pozostać po stronie człowieka. Ignorowanie tej zasady zmienia autora w „naciskacza przycisku", co nieuchronnie obniża jakość treści.
Optymalny model to symbioza: AI zajmuje się rutynowymi zadaniami (sprawdzanie interpunkcji, generowanie szkiców), człowiek skupia się na inżynieryjnej rzetelności i przekazywaniu wiedzy eksperckiej. Szczególnie istotne dla autorów technicznych o dużym obciążeniu — CTO, architektów, liderów zespołów, którzy muszą dzielić się doświadczeniem bez utraty jakości.
Przygotowanie zbioru danych do spersonalizowanego dofine-tuning'u
Standardowe metody (prompty, few-shot przykłady) dawały uśredniony rezultat, nieoddający stylu autorskiego. Aby to rozwiązać, zebrałem zbiór danych z 15 par „surowy szkic — zredagowany tekst". Każda para zawierała:
- Zadanie techniczne z kluczowymi tezami
- Szkic wygenerowany przez AI
- Ostateczną wersję po ręcznej edycji
Dane zostały przekształcone do formatu zgodnego z API fine-tuning. Do zarządzania parametrami stworzyłem skrypt w Pythonie, automatyzujący:
- Podział próbki na uczenie/walidację
- Normalizację sekwencji tekstowych
- Monitorowanie metryk w czasie rzeczywistym
Krytyczny błąd na tym etapie — niewystarczająca ilość danych. Przy 15 przykładach model nie mógł wychwycić wszystkich niuansów stylu, co później ujawniło się w ograniczonym wzroście jakości. Zalecam minimum 50 par dla średnich zadań, ale nawet mały zbiór daje zauważalny efekt przy właściwej konfiguracji.
Dostrajanie hiperparametrów: walka z przeuczeniem
Pierwsza iteracja z 8 epokami i mnożnikiem szybkości uczenia 2.0 doprowadziła do wyraźnego przeuczenia:
- Błąd na zbiorze uczącym: 0.136
- Błąd na zbiorze walidacyjnym: 0.2–1.8
- Dokładność wahała się w zakresie 0.65–0.82
Model zapamiętywał przykłady, ale nie uogólniał wzorców. Aby to naprawić:
- Skróciłem epoki do 3
- Zmniejszyłem mnożnik szybkości uczenia do 0.5
- Dodałem wczesne zatrzymanie przy wzroście błędu walidacyjnego
Wyniki drugiej iteracji:
- Błąd walidacyjny ustabilizował się na poziomie 0.697
- Całkowity błąd walidacji poprawił się z 1.694 do 0.697
- Dokładność wyrównała się na 0.78 bez gwałtownych skoków
Te zmiany pozwoliły modelowi wychwycić autorskie wzorce, zamiast tylko zapamiętać przykłady. Kluczowy wniosek: przy małym zbiorze danych kluczowe jest obniżanie złożoności uczenia, by uniknąć przeuczenia.
Wyniki: poprawy ilościowe i jakościowe
Po optymalizacji metryk dostrojony model wykazał:
- Zmniejszenie schematyczności o 30–40% wg subiektywnej oceny
- Wzrost spójności strukturalnej: teksty odpowiadały zadaniu technicznemu w 85% przypadków wobec 60%
- Poprawę jakości na nowych tematach o 20–30% (ocena wg kryteriów: dokładność terminów, logiczna spójność, głębia omówienia)
Jednak sufit możliwości wyznaczał rozmiar zbioru danych. Nawet po optymalizacji osiągnięto 60–70% docelowej jakości. Aby pokonać tę barierę, potrzebne są:
- Zwiększenie zbioru do 50+ przykładów
- Włączenie skomplikowanych przypadków (np. artykuły z formułami matematycznymi)
- Okresowa redostrajanie na nowych materiałach
Ważne: dofine-tuning nie zastępuje autora. Moja rola teraz to przygotowanie fabuły technicznej, weryfikacja faktów i ostateczna edycja. To skraca czas pisania artykułu o 40%, zachowując odpowiedzialność za treść.
Co jest najważniejsze
- AI to narzędzie, nie zamiennik ekspertyzy: Automatyzacja nadaje się do rutyny, ale człowiek musi kontrolować sens i fakty.
- Zbiór danych decyduje: Nawet idealne hiperparametry nie zrekompensują małej ilości danych. Minimum 50 przykładów dla stabilnego rezultatu.
- Równowaga hiperparametrów jest kluczowa: Przy małym zbiorze zmniejszaj epoki i szybkość uczenia, by uniknąć przeuczenia.
- Ocena jakości jest wielowymiarowa: Bierz pod uwagę nie tylko metryki jak loss, ale też spójność strukturalną i dokładność terminologiczną.
- Proces wymaga iteracji: Jednorazowy dofine-tuning to za mało — potrzebna jest regularna redostrajanie na nowych materiałach.
AI nie psuje tekstów — psuje je ludzka niefrasobliwość. Odmawiać automatyzacji lub ślepo jej ufać to skrajności prowadzące do porażek. Skuteczna droga to zbudowanie procesu, w którym AI wzmacnia, a nie zastępuje profesjonalną ekspertyzę.
— Editorial Team
Brak komentarzy.