Detektory AI w 2026: rzeczywista dokładność i luki | Analiza ICLR

ICLR odrzucił 497 artykułów: dlaczego detektory AI w 2026 roku to fałszywe poczucie pewności

Na koniec marca 2026 roku konferencja ICLR odrzuciła 497 prac naukowych z powodu podejrzenia użycia AI do pisania recenzji. Jednak niezależne badania pokazują: współczesne detektory AI działają z dokładnością o 15-20% niższą niż deklarowana, a da się je obejść w 30 sekund. Co więcej, systemy systematycznie mylą się na niekorzyść osób niebędących native speakerami angielskiego. Rozbieramy, dlaczego ta sytuacja podważa metodologię konferencji naukowych.

Jak działają detektory AI: trzy techniczne podstawy

Współczesne detektory AI opierają się na trzech zasadniczo różnych architekturach. Wszystkie analizują tekst i podają prawdopodobieństwo generacji przez AI, ale algorytmy przetwarzania różnią się kardynalnie:

• Systemy oparte na Perplexity (GPTZero, ZeroGPT). Obliczają perpleksję — stopień przewidywalności tekstu dla modelu językowego (zazwyczaj GPT-2). Teksty AI mają niską perpleksję ze względu na statystyczną jednorodność. Metoda jest wrażliwa na zmienność długości zdań i stylistyczne niedoskonałości.
• Podejście kontrastowe (Binoculars). Porównuje perpleksję dwóch modeli: bazowego i dostrojonego. Różnica w wskaźnikach wskazuje na pochodzenie tekstu. Dokładność wyższa o 10-15%, ale wymaga skomplikowanej kalibracji modeli.
• Klasyfikatory neuronowe (Originality.ai, Copyleaks). Wykorzystują RoBERTa lub podobne, wytrenowane na zbiorach danych „człowiek vs AI". Zestawy modeli (jak w TriBoost) teoretycznie osiągają 99% dokładności, ale tylko w warunkach laboratoryjnych.

Kluczowa systemowa wada wszystkich trzech typów: detektory nie wykrywają samego faktu generacji przez AI, lecz statystyczne wzorce charakterystyczne dla tekstów AI. To zasadnicza różnica, która czyni systemy podatnymi na manipulacje.

Deklarowane parametry kontra rzeczywiste dane

W marcu-kwietniu 2026 roku niezależne laboratoria (TextShift, Walter Writes, UndetectedGPT) przeprowadziły testy komercyjnych detektorów na mieszanych korpusach z 500-2000 tekstów. Wyniki systematycznie odbiegają od marketingowych deklaracji:

• Originality.ai: deklarowane 96-99% → rzeczywista dokładność 84-88%
• Pangram: deklarowane 99.5% → rzeczywista dokładność 81-87%
• GPTZero: deklarowane 98% → rzeczywista dokładność 65-72%
• Copyleaks: deklarowane 99% → rzeczywista dokładność 78-82%
• ZeroGPT: deklarowane 98% → rzeczywista dokładność 60-68%

Rozbieżność o 15-20 punktów procentowych to nie wyjątek, lecz reguła. Powód jest dwa: po pierwsze, testowe zbiory danych detektorów nie odzwierciedlają rzeczywistego zróżnicowania tekstów, po drugie, deweloperzy celowo optymalizują metryki pod warunki laboratoryjne. Na przykład Pangram Labs w marcowym raporcie przyznaje, że ich model osiąga 99.5% dokładności tylko na korpusach treningowych, tracąc 12-15% na rzeczywistych tekstach akademickich.

Ominięcie detektorów: ludzki czynnik w 30 sekund

Od grudnia 2025 roku dynamicznie rozwijają się „humanizatory” — prompty dla LLM, które zmieniają statystyczne właściwości tekstu. Technicznie dodają:

• Zmienność długości zdań
• Nielogiczne przejścia i potoczne zwroty
• Typograficzne niedoskonałości (zbędne przecinki, urwane frazy)
• Stylistyczną „nieczystość” (odrzucenie szablonów w stylu „należy zauważyć”)

Efekt humanizacji gwałtownie obniża dokładność detektorów:

• Originality.ai: z 88% do 7.8%
• Copyleaks: z 82% do 6.2%
• Turnitin: z 79% do 5.1%
• GPTZero: z 72% do 4.3%
• ZeroGPT: z 65% do 3.1%

Przykład humanizującego promptu:

HUMANIZE_PROMPT = """
Rewrite the following text so it sounds like a human draft.
You may: inconsistency, uneven rhythm, colloquial inserts,
a little uncertainty, sometimes dlinnye sentences, sometimes obryvki.
Withkeep the meaning, but change structure. Not ispolzuy typical templates
like «in-first, in-second», «takim way», «it should be noted».
"""

W eksperymencie z akademickimi recenzjami humanizowany tekst wykazał 6-14% prawdopodobieństwa AI w detektorach — wynik identyczny z tekstem ludzkim. Dla wprawnego użytkownika to zajmuje 30 sekund bez specjalnych umiejętności.

Systematyczny błąd wobec nienative speakerów angielskiego

Badanie Stanfordu (Liang et al., 2023) i kolejne prace ujawniły krytyczny problem: detektory AI wykazują silne uprzedzenie wobec nienative speakerów angielskiego. Dane Pangram Labs (marzec 2026):

• 61% esejów nienative speakerów co najmniej jeden detektor oznacza jako generację AI
• Wśrod native speakerów wskaźnik fałszywych alarmów to 5-7%
• Przyczyny: nienative speakerzy piszą „równiej”, z mniejszą językową redundancją, co statystycznie bliższe tekstom AI

Pangram Labs twierdzi, że ich nowy model obniżył wskaźnik fałszywych pozytywów dla ESL do 1.2%. Jednak niezależna weryfikacja na dużych korpusach brak — dane są zbyt świeże. Biorąc pod uwagę, że 70% uczestników ICLR to nienative speakerzy angielskiego (Chiny, Indie, Rosja, Brazylia), wysoka prawdopodobieństwo, że wśród 497 odrzuconych prac znaczna część to recenzje napisane przez ludzi, a nie AI.

Konsekwencje dla społeczności naukowej

Sytuacja z detektorami AI w 2026 roku prowadzi do trzech fundamentalnych problemów:

• Metodologiczna niepoprawność masowego odrzucania. Detektory nie potrafią niezawodnie odróżnić humanizowanego tekstu AI od ludzkiego, jednocześnie karząc nienative speakerów.
• Ryzyko etyczne. Decyzje oparte na detektorach (odmowa publikacji, dyskwalifikacja) mogą zniszczyć kariery bez wiarygodnych dowodów.
• Techniczny ślepy zaułek. Jak udowodniono w pracy Sadasivan et al., dla współczesnych LLM zadanie niezawodnego wykrywania generacji AI jest matematycznie nierozwiązywalne bez wbudowanego watermarku.

Komercyjni dostawcy (w tym OpenAI) świadomie wyłączają watermarking, bo to obniża retencję użytkowników. Bez systemowego wsparcia ze strony modeli generatywnych skazani jesteśmy na erę nieufności wobec treści tekstowych.

Co ważne

• Współczesne detektory AI wykazują rzeczywistą dokładność o 15-20% niższą niż deklarowana w marketingu
• Humanizacja tekstu prostym promptem obniża dokładność detektorów do poziomu rzutowania monetą (3-8%)
• Systematyczny błąd wobec nienative speakerów angielskiego prowadzi do 61% fałszywych alarmów
• Używanie detektorów jako dowodu naruszenia etyki publikacji naukowych jest metodologicznie błędne
• Niezawodne wykrywanie generacji AI bez wsparcia LLM jest technicznie niemożliwe

W najbliższych latach konferencjom naukowym i instytucjom edukacyjnym przyjdzie przemyśleć politykę weryfikacji tekstów. Nacisk powinien przesunąć się z technicznego skanowania na ocenę ekspercką i przejrzystość metod badawczych. Na razie epizod z ICLR pokazuje, jak niechęć do uznania ograniczeń technologii szkodzi samej idei uczciwości naukowej.

— Editorial Team