Fine-Tuning von AI für technisches Schreiben: Lektionen nach dem Scheitern | IT Practice

## Personalisierung eines AI-Modells für technisches Schreiben: Lektionen aus einem gescheiterten Artikel

Nach dem Scheitern bei der Veröffentlichung eines Artikels, der zu stark auf AI angelehnt war, ohne abschließende Korrektur, habe ich meinen Ansatz zur Automatisierung technischer Inhalte überdacht. Statt nach einem Wunderknopf zu suchen, habe ich einen Fine-Tuning-Prozess für ein Sprachmodell mit meinen eigenen Materialien umgesetzt. Ergebnis: 30–40 % Reduktion der Text-Vorlagigkeit und 20–30 % Qualitätssteigerung bei neuen Themen bei Erhalt des Autorstils.

Warum AI-Generierung ohne Kontrolle zum Scheitern verurteilt ist

Ein auf Habr veröffentlichter technischer Artikel mit minimaler Autoreneinbindung zog berechtigte Kritik auf sich. Hauptvorwürfe: veraltete Daten, strukturelle Probleme und Verlust an technischer Tiefe. Kernbotschaft: Das Problem liegt nicht in der AI-Nutzung, sondern am Fehlen menschlicher Überwachung an kritischen Stellen. Automatisierung eignet sich für Entwürfe, Grammatik und Variationen, doch die Verantwortung für Sinn, Fakten und abschließende Prüfungen bleibt beim Menschen. Wer das ignoriert, wird zum reinen „Knopfdrücker“ und mindert zwangsläufig die Inhaltsqualität.

Das optimale Modell ist die Symbiose: AI übernimmt Routineaufgaben (Satzzeichenprüfung, EntwurfsGenerierung), während Menschen sich auf technische Stringenz und Wissenstransfer konzentrieren. Das ist besonders relevant für vielbeschäftigte technische Autoren – CTOs, Architekten, Teamleiter –, die Erfahrungen teilen müssen, ohne Qualität einzubüßen.

Vorbereitung eines Datensatzes für personalisiertes Fine-Tuning

Standardmethoden (Prompts, Few-Shot-Beispiele) lieferten gemittelte Ergebnisse, die meinen Stil nicht widerspiegelten. Um das zu beheben, habe ich einen Datensatz mit 15 Paaren zusammengestellt: „roher Entwurf – bearbeiteter Text“. Jedes Paar umfasste:

• Technische Aufgabe mit Schlüsseltesen
• AI-generierter Entwurf
• Endversion nach manueller Bearbeitung

Die Daten wurden in ein Format für die Fine-Tuning-API konvertiert. Zur Parametergestaltung habe ich ein Python-Skript erstellt, das automatisiert:

• Aufteilung des Samples in Training/Validation
• Normalisierung von Textsequenzen
• Überwachung von Metriken in Echtzeit

Ein kritischer Fehler war das zu geringe Datenvolumen. Mit nur 15 Beispielen konnte das Modell nicht alle Stilnuancen erfassen, was zu begrenzten Qualitätsgewinnen führte. Ich empfehle mindestens 50 Paare für mittelgroße Aufgaben, wobei selbst ein kleiner Datensatz mit richtiger Einrichtung spürbare Ergebnisse liefert.

Hyperparameter-Tuning: Kampf gegen Overfitting

Die erste Iteration mit 8 Epochen und einem Learning-Rate-Multiplikator von 2.0 führte zu deutlichem Overfitting:

• Training-Fehler: 0.136
• Validation-Fehler: 0.2–1.8
• Accuracy schwankte zwischen 0.65–0.82

Das Modell memorierte Beispiele, generalisierte aber Muster nicht. Lösungen:

• Epochen auf 3 reduziert
• Learning-Rate-Multiplikator auf 0.5 gesenkt
• Early Stopping hinzugefügt, falls Validation-Fehler anstieg

Ergebnisse der zweiten Iteration:

• Validation-Fehler stabilisierte sich bei 0.697
• Gesamt-Validation-Fehler verbessert von 1.694 auf 0.697
• Accuracy stabil bei 0.78 ohne starke Schwankungen

Diese Anpassungen ermöglichten es dem Modell, Autor-Muster zu erfassen, statt nur auswendig zu lernen. Schlüsselerkenntnis: Bei kleinen Datensätzen das Training stark vereinfachen, um Overfitting zu vermeiden.

Ergebnisse: Quantitative und qualitative Verbesserungen

Nach der Optimierung lieferte das fine-getunte Modell:

• 30–40 % Reduktion der Vorlagigkeit (subjektive Einschätzung)
• Verbesserte strukturelle Integrität: Texte passten in 85 % der Fälle zur technischen Aufgabe (vs. 60 %)
• 20–30 % Qualitätssteigerung bei neuen Themen (bewertet nach Begriffsgenauigkeit, logischer Kohärenz, Abdeckungstiefe)

Allerdings setzte die Datensatzgröße die Obergrenze – selbst optimiert erreichte es nur 60–70 % der Zielqualität. Um durchzubrechen:

• Datensatz auf 50+ Beispiele skalieren
• Komplexe Fälle einbeziehen (z. B. Artikel mit mathematischen Formeln)
• Periodisches Retraining mit frischen Materialien

Wichtig: Fine-Tuning ersetzt den Autor nicht. Meine Rolle umfasst nun die Gestaltung der technischen Erzählung, Faktenprüfung und abschließende Bearbeitungen. Das verkürzt die Artikel-Erstellungszeit um 40 %, während ich für den Inhalt verantwortlich bleibe.

Wichtige Erkenntnisse

• AI ist ein Werkzeug, kein Ersatz für Expertise: Routineaufgaben automatisieren, aber Menschen müssen Sinn und Fakten überwachen.
• Datensatz ist entscheidend: Selbst perfekte Hyperparameter überwinden kein winziges Datenvolumen. Mindestens 50 Beispiele für zuverlässige Ergebnisse anpeilen.
• Hyperparameter-Gleichgewicht ist entscheidend: Bei kleinen Datensätzen Epochen und Learning Rate kürzen, um Overfitting zu vermeiden.
• Qualitätsbewertung ist multidimensional: Über Metriken wie Loss hinaus auf strukturelle Integrität und Begriffspräzision achten.
• Der Prozess erfordert Iterationen: Einmaliges Fine-Tuning reicht nicht – regelmäßige Updates mit neuen Materialien sind essenziell.

AI ruiniert Texte nicht – menschliche Fahrlässigkeit tut es. Automatisierung ablehnen oder blind vertrauen sind Extreme, die zum Scheitern führen. Der effektive Weg: Einen Workflow gestalten, in dem AI Fachkompetenz verstärkt, statt sie zu ersetzen.

— Editorial Team