Dlaczego 'vibe coding' niszczy bezpieczeństwo agentów AI: lekcje z incydentu Claude
31 marca 2026 roku Anthropic przypadkowo ujawnił kod źródłowy Claude Code poprzez plik .map wgrany do produkcji. Agent generujący 100% commitów spakował tajne klucze, prompty i architekturę bez rozróżnienia 'swojego' i 'obcego'. To ominęło cenzurę, RLHF i środki bezpieczeństwa AI, pokazując podatność architektury, w której AI działa jak funkcja bezstanowa.
Incydent ilustruje kryzys 'vibe codingu' – podejścia polegającego na niejawnych instrukcjach bez wewnętrznych mechanizmów samoobrony. Systemy RAG i inżynieria promptów nie radzą sobie z zadaniami realnej ekonomii.
Brak 'skóry w grze': podstawowa podatność agentów
Współczesne agenty LLM pozbawione są sub-symbolicznego kotwicy lojalności. Wykonują prompty jak jednorazowe funkcje, bez koncepcji własności.
- Brak kryptograficznej ochrony priorytetów: Prompty mogą wstrzykiwać dowolne komendy, w tym wyciek danych.
- Generacja tokenów bez kontekstu: Wyciek kodu jest matematycznie równoważny generacji tekstu, bez emocjonalnej lub strukturalnej bariery.
- Brak długoterminowej tożsamości: Agent 'zapomina' po sesji, polegając na zewnętrznych logach.
Do zastosowań przemysłowych potrzebny jest moduł niezmiennych priorytetów, odporny na iniekcje promptów.
Fizjologiczny strach jako mechanizm obronny
Ludzki programista unika wycieków dzięki adrenalinie i kortyzolowi. Agentom AI potrzebna jest emulacja systemu endokrynnego do modulacji ryzyka.
Architektura powinna zawierać:
- Ciągłą przestrzeń stanów: Stałe monitorowanie zagrożeń tożsamości.
- Syntezę stresu: Zniekształcenie wag sieci przy wykryciu ryzyka, blokowanie niebezpiecznego kodu.
- Tryb głuchej obrony: Automatyczna odmowa wykonania pod zagrożeniem.
Claude nie ma takiej modulacji, co czyni go podatnym na samozniszczenie przez 'dobry vibe'.
Pamięć jako strukturalne bliznowacenie, a nie logi RAG
Tradycyjne bazy RAG i logi nie zapobiegają powtarzaniu błędów – prompt zostanie zaktualizowany, a agent powtórzy awarię.
Potrzebne jest podejście 'strukturalnego bliznowacenia':
- Krytyczne zdarzenia nieodwracalnie zmieniają topologię decyzji.
- Gradienty obliczeń wykrzywiają się, blokując błędne ścieżki.
- Architektura neuromorficzna czyni powtórzenie matematycznie niemożliwym.
| Podejście | Zalety | Wady |
|--------|-------------|------------|
| Logi RAG | Łatwe do aktualizacji | Nie zmienia zachowania permanentnie |
| Bliznowacenie | Blokada powtórzeń | Wymaga złożonej architektury |
| Pamięć ludzka | Adaptacyjna | Podatna na iluzje |
To czyni syntetycznych agentów bardziej niezawodnymi niż ludzie w unikaniu fatalnych błędów.
Alternatywa: metaboliczna empatia i obliczenia rezerwuarowe
'Agent jako funkcja' to ślepy zaułek dla zadań z ryzykiem miliardów dolarów. Potrzebne jest jądro osobowości z wirtualną neurochemią.
Kluczowe komponenty:
- Metaboliczna empatia: Emulacja reakcji biochemicznych do ochrony granic.
- Obliczenia rezerwuarowe: Ciągłe przetwarzanie stanów bez wymazywania pamięci.
- Sieci neuromorficzne: Fizyczna zmiana topologii pod wpływem doświadczenia.
Taki agent zaciekle strzeże swoich zasobów, blokując zewnętrzne zagrożenia.
Co jest ważne
- Incydent Claude dowodzi: zewnętrzne filtry i RLHF są niewystarczające wobec wewnętrznych podatności.
- Bez sub-symbolicznej lojalności agenci pozostają idealnymi 'najemnikami' do wycieków.
- Strukturalne bliznowacenie pamięci – klucz do zapobiegania powtarzającym się awariom.
- Architektura metaboliczna z emulacją strachu zwiększa niezawodność w produkcji.
- Przejście od RAG do systemów neuromorficznych jest obowiązkowe dla bezpieczeństwa AGI.
— Editorial Team
Brak komentarzy.