ASAMM: rámec bezpečnosti AI-agentů

ASAMM: Nový rámec pro hodnocení rizik v systémech s autonomními AI agenty

Systémy založené na autonomních AI agentech vyžadují speciální přístupy k zajištění bezpečnosti, protože tradiční metody nezohledňují jejich jedinečné vlastnosti. Rámec Agentic SAMM (ASAMM) nabízí strukturovaný nástroj pro analýzu rizik spojených s kontextem, voláním nástrojů a obdobími nezávislé práce agentů. Toto rozšíření modelu OWASP SAMM je přizpůsobeno moderním agentním architekturám, kde AI samostatně interaguje s externími zdroji.

Vývoj ASAMM je podmíněn zrychleným zaváděním takových systémů do DevOps procesů a obchodních operací. Firmy se často potýkají s mezerami v kontrole, když agenti zpracovávají data bez lidského dohledu, což zvyšuje zranitelnost vůči manipulacím prostřednictvím kontextu nebo nástrojů.

Klíčové koncepty rámce

ASAMM zavádí pojmy zaměřené na specifika agentních systémů:

• Kontext jako útočná plocha: Dokumenty, logy CI/CD, tikety nebo webové zdroje dostupné agentovi mohou sloužit jako zdroj škodlivých instrukcí.
• Volání nástrojů: Autorizovaný přístup negarantuje relevanci akcí agenta k úkolu, což vytváří rizika neoprávněných operací.
• Okno autonomie: Období bez kontrolních bodů, měřené časem a objemem povolených akcí, určuje úroveň rizika.

Tyto prvky doplňují standardní postupy, jako je modelování hrozeb nebo skenování DAST, které často přehlížejí zranitelnosti v registrech nástrojů a MCP serverech.

Rámec je strukturován kolem taxonomie hrozeb podle vstupních bodů, modelu důvěry se dvěma osami a 19 kontrol podle pěti funkcí OWASP SAMM: řízení, návrh, implementace, ověření a provoz. Každá kontrola má úrovně vyspělosti od L1 do L3.

Struktura kontrol a integrace se standardy

Kontroly jsou rozděleny do skupin pro komplexní pokrytí životního cyklu systému:

• Řízení (Governance): Definice politik autonomie a omezení.
• Návrh (Design): Modelování rizik kontextu a nástrojů.
• Implementace (Implementation): Zavedení ochranných mechanismů volání.
• Ověření (Verification): Audit oken autonomie a důkazů.
• Provoz (Operations): Monitorování a reakce na anomálie.

ASAMM se integruje s NIST AI RMF, doporučeními NCSC a českými normami pro kybernetickou bezpečnost. Ve druhé verzi byly přidány taxonomie důkazů se šesti úrovněmi, kontrola samomodifikace agenta a dokumentace hodnotových omezení. Navržena je metodologie auditu se stopami: sebeaudit, externí kontrola a audit jiným agentem.

Cesty zavádění a praktické důsledky

Pro organizace s existujícími bezpečnostními programy se doporučuje migrace, která integruje ASAMM do stávajících procesů. Alternativou je spuštění od nuly pro nové projekty. Česká verze zahrnuje podrobné srovnání s místními normami.

Zavedení rámce ovlivňuje průmysl, stimuluje standardizaci postupů pro AI agenty. To snižuje rizika incidentů spojených s autonomními akcemi a zvyšuje důvěru v technologie v podnikových prostředích. Důsledky zahrnují potřebu přeškolení týmů a investice do ověřovacích nástrojů, ale vyplácí se díky minimalizaci zranitelností.

Obecný kontext: trh s AI agenty roste o 40 % ročně, s důrazem na automatizaci DevOps. Bez přizpůsobených rámců, jako je ASAMM, firmy riskují úniky dat a neoprávněné operace.

Co je důležité

• ASAMM rozšiřuje OWASP SAMM pro agentní systémy, zaměřuje se na okno autonomie a volání nástrojů.
• 19 kontrol podle pěti funkcí s úrovněmi vyspělosti L1-L3 zajišťuje postupné zlepšování.
• Integrace s NIST, NCSC a místními normami zjednodušuje soulad s předpisy.
• Metodologie auditu zahrnuje tři stopy pro flexibilitu.
• Licence Creative Commons umožňuje volné použití a úpravy.

— Editorial Team