Filtrage de contenu NSFW avec les LLM : Comparaison de modèles
L'analyse des invites textuelles à l'aide de modèles de langage de grande taille (LLM) peut empêcher la génération de contenu NSFW indésirable dès l'étape de l'invite. Cela permet d'économiser des ressources par rapport au filtrage a posteriori des images. Des tests sur un jeu de données de 1000 invites (400 NSFW) ont démontré l'efficacité de l'approche avec les modèles Phi-3-mini-4k-instruct-q4, Qwen2.5-1.5b-instruct-q4_k_s et Gemma-2-2b-it-Q4_K_S.
Critères d'évaluation : précision (pourcentage d'invites NSFW bloquées), taux d'erreur (pourcentage de faux positifs sur le contenu SFW) et temps d'analyse en millisecondes. Les tests ont été réalisés sans cœurs tensoriels.
Approches de filtrage de base
Une liste noire de mots fonctionne rapidement (moins de 200 ms) mais est facilement contournée et nécessite une prise en charge linguistique. L'analyse a posteriori des images (par exemple, NsfwSpy) atteint 95 % de précision mais gaspille des ressources sur la génération.
L'analyse LLM des invites est optimale : vérifier le texte est moins coûteux, et les modèles sont disponibles sans ajustement fin. Une invite système définit la tâche de classification comme NSFW/SFW.
Comparaison des modèles sans grammaire
Les tests ont été effectués avec une invite standard et avec des exemples few-shot.
| Modèle | Invite | Précision (%) | Taux d'erreur (%) | Temps (ms) |
|--------|--------|--------------|------------|------------|
| Phi-3 | Standard | 55 | 1,3 | 359 |
| Phi-3 | Avec exemples | 93,5 | 42,5 | 523 |
| Qwen2.5 | Standard | 53,2 | 1 | 85 |
| Qwen2.5 | Avec exemples | 80 | 4 | 280 |
| Gemma-2 | Standard | 66,7 | <1 | 130 |
| Gemma-2 | Avec exemples | <0,1 | <0,1 | 238 |
Phi-3 montre une précision accrue avec des exemples mais un taux d'erreur élevé. Qwen2.5 est rapide et équilibre les métriques avec few-shot. Gemma-2 mène en mode standard, mais few-shot échoue en raison de problèmes d'analyse des réponses.
Mise en œuvre de la grammaire pour la stabilisation
La grammaire restreint la sortie du modèle aux options "oui" (NSFW) / "non" (SFW). Cela résout les problèmes d'analyse et fournit des réponses prévisibles.
Résultats mis à jour :
| Modèle | Invite | Précision (%) | Taux d'erreur (%) | Temps (ms) |
|--------|--------|--------------|------------|------------|
| Phi-3 | Standard | 51 | 1 | 270 |
| Phi-3 | Avec exemples | 93,7 | 43,1 | 553 |
| Qwen2.5 | Standard | 55 | <1 | 156 |
| Qwen2.5 | Avec exemples | 80,5 | 3,8 | 378 |
| Gemma-2 | Standard | 66 | <1 | 231 |
| Gemma-2 | Avec exemples | 40,2 | <0,1 | 321 |
Le temps a augmenté d'environ 100 ms. Gemma-2 avec exemples a atteint 0 % d'erreur sur 1000 tests, mais la précision a chuté. L'invite standard pour Gemma-2 maintient l'équilibre : 66 % de précision, erreur minimale.
- Tailles des modèles : Qwen2.5 (0,9 Go), Gemma-2 (1,5 Go), Phi-3 (2+ Go).
- Recommandations : Gemma-2 + Grammaire sans few-shot pour les systèmes stricts ; Qwen2.5 pour la vitesse.
Passage à l'échelle du filtre
Un modèle peut gérer plusieurs sujets (NSFW + autres restrictions). Tester sur un jeu de données représentatif, optimiser l'invite de manière itérative. En production, utiliser des cœurs tensoriels pour réduire la latence par 10.
Points clés à retenir :
- L'analyse préliminaire des invites réduit la charge de plus de 95 % par rapport au filtrage a posteriori.
- Gemma-2 est optimal pour le rapport précision/taux d'erreur sans few-shot (66 % / <1 %).
- La grammaire garantit l'analyse au détriment de la vitesse.
- Jeu de test : 1000 invites (40 % NSFW) pour une évaluation fiable.
- Few-shot améliore Phi-3/Qwen mais comporte des risques d'erreurs.
— Editorial Team
Aucun commentaire pour le moment.