Agentic SAMM pro bezpečné agenty

Agentic SAMM: Framework pro bezpečný vývoj agentních systémů

Agentic SAMM (ASAMM) rozšiřuje OWASP SAMM pro agentní systémy, kde SDLC se vyvíjí z cyklu na spirálu. Každý závit spirály se vrací k fázím návrhu, implementace a ověření, ale s aktualizovaným modelem hrozeb, který zohledňuje změny v nástrojích a prostředí. Framework řeší taxonomii hrozeb: kontext jako rovina řízení (jakýkoli obsah čitelný agentem se může stát příkazem), volání nástroje jako hranice bezpečnosti, autonomní okno jako časový rádius potenciální škody.

Dvouosý model důvěry, inspirovaný NATO STANAG, se aplikuje na agenty, nástroje, MCP-servery a zdroje kontextu. Úrovně od A1 (úplné povolení) do F6 (pouze izolované provedení) definují přísná pravidla interakce.

Principy návrhu a 17 kontrol

Návrh následuje principy Auftragstaktik: systémový prompt stanovuje záměr (Auftrag), nikoli rigidní algoritmus. To umožňuje agentovi adaptovat se, jak poznamenal Moltke: plán nevydrží první kontakt s realitou.

ASAMM nabízí 17 kontrol, rozložených přes 5 funkcí SAMM, s mapováním na NIST AI RMF a NCSC. K dispozici jsou dvě cesty implementace:

• Migrace z existujícího programu bezpečnosti.
• Nasazení od nuly pro nové projekty.

Framework je otevřený pro příspěvky: lidé používají GitHub Issues a PR, agenti vytvářejí tikety při zjištění mezer.

Klíčové myšlenky pro středně pokročilé/senior vývojáře

ASAMM zdůrazňuje posun paradigmatu v bezpečnosti:

• Hranice bezpečnosti se posunula: klasický SDLC chrání kód a artefakty, ale ignoruje kontextové toky, volání nástrojů, delegované pravomoci a runtime-chování.
• Kontext se rovná instrukci: dokumenty, úkoly v trackerech, CI-log nebo popisy nástrojů se mohou stát příkazy. Je potřeba kontrola provenience kontextu nad rámec validace vstupních dat.
• Autorizace ≠ soulad s úkolem: agent s plnými právy se může odchýlit od cíle, obcházejíc tradiční kontroly.
• Čas jako rizikový faktor: autonomní okno se násobí rádiusem nástrojů, určujíc potenciální škodu.
• Vývojové prostředí je povrch útoku: IDE-pluginy, MCP-servery, pre-commit háky a CI-agenti vyžadují modelování hrozeb.

Běžné chyby v praktikách

Vývojáři často přehlížejí specifika agentních systémů. Zde jsou typické přešlápnutí:

• Model hrozeb je úplný, ale bez zdrojů kontextu a cest volání nástrojů.
• Code review pokrývá 100 % PR, ignorujíc prompty, schémata nástrojů a konfigurace agentů.
• DAST je čistý, ale neověřuje chování při adversariálním kontextu.
• Least privilege na servisních účtech, bez granularity na volání nástrojů.
• SCA projde, ale přehlíží závislosti frameworků, MCP-servery a poskytovatele modelů.

Co je důležité

• Spirálový SDLC: přizpůsobuje model hrozeb vývoji systému a nástrojů.
• Taxonomie hrozeb: zaměření na kontext, nástroje a autonomní okno.
• 17 kontrol: mapování na NIST AI RMF/NCSC pro integraci.
• Otevřenost: příspěvky přes GitHub pro lidi i agenty.
• GOST R 56939-2024: ruská adaptace s mapováním je k dispozici.

ASAMM řeší mezery v existujících frameworkech, zajišťujíc pokrytí pro agentní povrchy útoku. Implementace minimalizuje rizika v produkčních prostředích s autonomními agenty.

— Editorial Team