LLM의 NSFW 필터: Phi-3, Qwen, Gemma 테스트

LLM을 활용한 NSFW 콘텐츠 필터링: 모델 비교 분석

대규모 언어 모델(LLM)을 사용하여 텍스트 프롬프트를 분석하면, 프롬프트 단계에서 원치 않는 NSFW 콘텐츠 생성을 사전에 차단할 수 있습니다. 이는 이미지 생성 후 필터링하는 방식에 비해 리소스를 절약합니다. 1000개의 프롬프트(NSFW 400개 포함) 데이터셋을 대상으로 Phi-3-mini-4k-instruct-q4, Qwen2.5-1.5b-instruct-q4_k_s, Gemma-2-2b-it-Q4_K_S 모델을 사용한 테스트에서 이 접근법의 효과가 입증되었습니다.

평가 기준: 정확도(차단된 NSFW 프롬프트 비율), 오류율(SFW 콘텐츠에서의 오탐 비율), 밀리초 단위 분석 시간. 테스트는 텐서 코어 없이 진행되었습니다.

기본 필터링 접근법

단어 블랙리스트는 빠르게 작동하지만(200ms 미만) 우회가 쉽고 언어 지원이 필요합니다. 이미지 사후 분석(예: NsfwSpy)은 95% 정확도를 달성하지만 생성에 리소스를 낭비합니다.

프롬프트에 대한 LLM 분석이 최적입니다: 텍스트 확인이 더 저렴하고, 미세 조정 없이도 모델을 사용할 수 있습니다. 시스템 프롬프트가 NSFW/SFW 분류 작업을 정의합니다.

문법 없이 모델 비교

표준 프롬프트와 몇 가지 예시를 포함한 프롬프트로 테스트를 수행했습니다.

| 모델 | 프롬프트 | 정확도 (%) | 오류율 (%) | 시간 (ms) |

|--------|--------|--------------|------------|------------|

| Phi-3 | 표준 | 55 | 1.3 | 359 |

| Phi-3 | 예시 포함 | 93.5 | 42.5 | 523 |

| Qwen2.5 | 표준 | 53.2 | 1 | 85 |

| Qwen2.5 | 예시 포함 | 80 | 4 | 280 |

| Gemma-2 | 표준 | 66.7 | <1 | 130 |

| Gemma-2 | 예시 포함 | <0.1 | <0.1 | 238 |

Phi-3는 예시를 포함하면 정확도가 증가하지만 오류율이 높습니다. Qwen2.5는 빠르고 몇 가지 예시로 지표를 균형 있게 유지합니다. Gemma-2는 표준 모드에서 선두를 달리지만, 몇 가지 예시는 답변 파싱 문제로 실패합니다.

안정화를 위한 문법 구현

문법은 모델의 출력을 "예"(NSFW) / "아니오"(SFW) 옵션으로 제한합니다. 이는 파싱 문제를 해결하고 예측 가능한 답변을 제공합니다.

업데이트된 결과:

| 모델 | 프롬프트 | 정확도 (%) | 오류율 (%) | 시간 (ms) |

|--------|--------|--------------|------------|------------|

| Phi-3 | 표준 | 51 | 1 | 270 |

| Phi-3 | 예시 포함 | 93.7 | 43.1 | 553 |

| Qwen2.5 | 표준 | 55 | <1 | 156 |

| Qwen2.5 | 예시 포함 | 80.5 | 3.8 | 378 |

| Gemma-2 | 표준 | 66 | <1 | 231 |

| Gemma-2 | 예시 포함 | 40.2 | <0.1 | 321 |

시간이 약 100ms 증가했습니다. 예시를 포함한 Gemma-2는 1000회 테스트에서 0% 오류율을 달성했지만 정확도는 하락했습니다. Gemma-2의 표준 프롬프트는 균형을 유지합니다: 66% 정확도, 최소 오류.

• 모델 크기: Qwen2.5 (0.9 GB), Gemma-2 (1.5 GB), Phi-3 (2+ GB).
• 권장사항: 엄격한 시스템에는 몇 가지 예시 없이 문법과 함께 Gemma-2; 속도에는 Qwen2.5.

필터 확장

하나의 모델이 여러 주제(NSFW + 기타 제한사항)를 처리할 수 있습니다. 대표 데이터셋으로 테스트하고, 프롬프트를 반복적으로 최적화하세요. 실제 운영에서는 텐서 코어를 사용하여 지연 시간을 10배 줄일 수 있습니다.

핵심 요약:

• 사전 프롬프트 분석은 사후 필터링에 비해 부하를 95% 이상 감소시킵니다.
• Gemma-2는 몇 가지 예시 없이 정확도/오류율 측면에서 최적입니다(66% / <1%).
• 문법은 속도 대가로 파싱을 보장합니다.
• 신뢰할 수 있는 평가를 위해 테스트 세트: 1000개 프롬프트(NSFW 40%).
• 몇 가지 예시는 Phi-3/Qwen을 개선하지만 오류 위험이 있습니다.

— Editorial Team