NSFW-Inhaltsfilterung mit LLMs: Ein Modellvergleich
Die Analyse von Texteingaben mithilfe großer Sprachmodelle (LLMs) kann die Erzeugung unerwünschter NSFW-Inhalte bereits im Eingabestadium verhindern. Dies spart Ressourcen im Vergleich zur Nachfilterung von Bildern. Tests mit einem Datensatz von 1000 Eingaben (400 NSFW) zeigten die Wirksamkeit des Ansatzes mit den Modellen Phi-3-mini-4k-instruct-q4, Qwen2.5-1.5b-instruct-q4_k_s und Gemma-2-2b-it-Q4_K_S.
Bewertungskriterien: Genauigkeit (Prozentsatz blockierter NSFW-Eingaben), Fehlerrate (Prozentsatz falsch positiver Ergebnisse bei SFW-Inhalten) und Analysezeit in Millisekunden. Die Tests wurden ohne Tensor-Cores durchgeführt.
Grundlegende Filteransätze
Eine Blacklist von Wörtern arbeitet schnell (unter 200 ms), ist jedoch leicht zu umgehen und erfordert Sprachunterstützung. Die Nachanalyse von Bildern (z. B. mit NsfwSpy) erreicht 95 % Genauigkeit, verschwendet jedoch Ressourcen für die Generierung.
Die LLM-Analyse von Eingaben ist optimal: Die Textprüfung ist kostengünstiger, und Modelle sind ohne Feinabstimmung verfügbar. Ein System-Prompt definiert die Klassifizierungsaufgabe als NSFW/SFW.
Modellvergleich ohne Grammatik
Die Tests wurden mit einem Standard-Prompt und mit Few-Shot-Beispielen durchgeführt.
| Modell | Prompt | Genauigkeit (%) | Fehlerrate (%) | Zeit (ms) |
|--------|--------|--------------|------------|------------|
| Phi-3 | Standard | 55 | 1,3 | 359 |
| Phi-3 | Mit Beispielen | 93,5 | 42,5 | 523 |
| Qwen2.5 | Standard | 53,2 | 1 | 85 |
| Qwen2.5 | Mit Beispielen | 80 | 4 | 280 |
| Gemma-2 | Standard | 66,7 | <1 | 130 |
| Gemma-2 | Mit Beispielen | <0,1 | <0,1 | 238 |
Phi-3 zeigt eine erhöhte Genauigkeit mit Beispielen, aber eine hohe Fehlerrate. Qwen2.5 ist schnell und balanciert die Metriken mit Few-Shot. Gemma-2 führt im Standardmodus, aber Few-Shot scheitert aufgrund von Antwortparsing-Problemen.
Implementierung von Grammatik zur Stabilisierung
Grammatik beschränkt die Ausgabe des Modells auf die Optionen "ja" (NSFW) / "nein" (SFW). Dies löst Parsing-Probleme und liefert vorhersehbare Antworten.
Aktualisierte Ergebnisse:
| Modell | Prompt | Genauigkeit (%) | Fehlerrate (%) | Zeit (ms) |
|--------|--------|--------------|------------|------------|
| Phi-3 | Standard | 51 | 1 | 270 |
| Phi-3 | Mit Beispielen | 93,7 | 43,1 | 553 |
| Qwen2.5 | Standard | 55 | <1 | 156 |
| Qwen2.5 | Mit Beispielen | 80,5 | 3,8 | 378 |
| Gemma-2 | Standard | 66 | <1 | 231 |
| Gemma-2 | Mit Beispielen | 40,2 | <0,1 | 321 |
Die Zeit erhöhte sich um ~100 ms. Gemma-2 mit Beispielen erreichte 0 % Fehler bei 1000 Tests, aber die Genauigkeit sank. Der Standard-Prompt für Gemma-2 hält die Balance: 66 % Genauigkeit, minimale Fehler.
- Modellgrößen: Qwen2.5 (0,9 GB), Gemma-2 (1,5 GB), Phi-3 (2+ GB).
- Empfehlungen: Gemma-2 + Grammatik ohne Few-Shot für strenge Systeme; Qwen2.5 für Geschwindigkeit.
Skalierung des Filters
Ein Modell kann mehrere Themen behandeln (NSFW + andere Einschränkungen). Testen Sie mit einem repräsentativen Datensatz und optimieren Sie den Prompt iterativ. In der Produktion verwenden Sie Tensor-Cores, um die Latenz um das 10-fache zu reduzieren.
Wichtige Erkenntnisse:
- Die vorläufige Eingabeanalyse reduziert die Last um 95 %+ im Vergleich zur Nachfilterung.
- Gemma-2 ist optimal für Genauigkeit/Fehlerrate ohne Few-Shot (66 % / <1 %).
- Grammatik garantiert Parsing auf Kosten der Geschwindigkeit.
- Testset: 1000 Eingaben (40 % NSFW) für zuverlässige Bewertung.
- Few-Shot verbessert Phi-3/Qwen, birgt aber Fehlerrisiken.
— Editorial Team
Noch keine Kommentare.