Bezpečnost agentních aplikací: OWASP Top 10 a model Lethal Trifecta
Trifecta je kontrolní seznam pro identifikaci rizik: přítomnost soukromých dat (databáze, tajné klíče), zpracování nedůvěryhodného obsahu (weby, e-maily) a externích komunikačních kanálů (HTTP, e-maily). Pokud jsou všechny tři prvky přítomny, může nepřímý prompt injection vést ke ztrátě dat. Strategie: narušte alespoň jednu vazbu nebo zaved’te přísné kontroly.
- Soukromá data: JIT přístup, krátkodobé tokeny, minimalizace dat.
- Externí komunikace: povolené domény (allowlist), DLP, lidská kontrola (HITL) při publikování.
- Nedůvěryhodný obsah: označení zdrojů, oddělení dat a řízení, politický brány.
- Trvalá paměť: TTL, hodnocení důvěryhodnosti, prostor pro každého klienta.
Zkontrolujte Trifectu během revize: pokud jsou přístupy neomezené, změňte architekturu.
OWASP Agentic Top 10: rizika a protipříslušné opatření
ASI01 Zachycení cíle agenta. Útok: nepřímá injekce prostřednictvím výstupu nástroje. Ochrana: politická brána, schválení pro vysoký dopad, logy odchylky cílů, označení zdrojů.
ASI02 Špatné použití nástrojů. Útok: škodlivé parametry v řetězcích. Ochrana: seznam povolených nástrojů, omezení rozsahu účinku, korelace řetězců.
ASI03 Zneužití identity. Útok: opakované používání tokenů, přenos práv. Ochrana: JIT tokeny, oprávnění podle úkolu, znovu ověření.
ASI04 Dodávka. Útok: poškození popisu. Ochrana: pevné verze, podepisování artefaktů, seznam povolených zdrojů.
ASI05 Neočekávané RCE. Útok: injekce eval. Ochrana: izolace provádění, výchozí bez sítě, oddělení generování a provádění.
Hlubší analýza hrozeb paměti a komunikace
ASI06 Zamoření paměti. Útok: zamoření RAG pro dlouhodobý vliv. Ochrana: segmentace klientů, TTL, izolace a vrácení zpět.
ASI07 Meziagenty. Útok: falešná identita, opakování. Ochrana: mTLS, podepisování zpráv, nonce nebo časové razítko.
ASI08 Kaskádové selhání. Útok: šíření chyb. Ochrana: oddělení plánovače a prováděče, obvodové přerušovače, trasování původu.
ASI09 Důvěra člověka. Útok: podvodné schválení. Ochrana: rozdílná schválení, vícekrokové potvrzení.
ASI10 Zlodějské agenty. Útok: odchylka cílů. Ochrana: vypínač, základní chování, pravidelné revize.
Vstupní body: uživatelský vstup, RAG, nástroje. Plánování určuje cíle, paměť definuje důvěru, meziantová komunikace stanoví protokoly.
Typické scénáře v produkci
Firemní agent pro e-maily a dokumenty (ASI01–03,09).
Rizika: e-mail jako instrukce, dědičnost práv, zkreslení operátora.
Opatření:
- Oddělte čtení a akci.
- Explicitní schválení pro odchozí zprávy.
- Sledování historie provedených akcí.
RAG-agent s databází znalostí (ASI06,08).
Rizika: nedůvěryhodné načítání, postupné zamoření.
Opatření:
- Hodnocení důvěryhodnosti podle zdroje.
- TTL a možnost vrácení zpět.
- Izolace klientů.
Orchestrátor nástrojů (ASI02,04,05,07,10).
Rizika: škodlivé volání nástrojů, dodávka, kaskády.
Opatření:
- Seznam povolených operací pro každý nástroj.
- Kontrola původu.
- Limitace a politické brány.
Cesta k implementaci
Krok 1: Inventarizace (Trifecta), uzavření odchodu, zapnutí auditu.
Krok 2: Politická brána, JIT tokeny, schválení pro vysoký dopad.
Krok 3: Segmentace paměti, sledování historie, reakce na incidenty (vypínač).
Postup snižuje rizika postupně bez nutnosti kompletní přestavby.
Co je důležité
- Trifecta narušuje kritické řetězce: minimalizujte alespoň jeden faktor.
- OWASP Top 10 se zaměřuje na přechody data → instrukce → akce.
- Detektory injekce jsou doplněk, nikoli základ; priorita je architektura.
- Monitorování historie a anomálií je nezbytné pro kaskádová rizika.
- Základní chování a vypínač jsou klíčové pro zlodějské scénáře.
— Editorial Team
Zatím žádné komentáře.