ASAMM: framework bezpieczeństwa agentów AI

ASAMM: nowe ramy oceny ryzyka w systemach z autonomicznymi agentami AI

Systemy oparte na autonomicznych agentach AI wymagają specjalnych podejść do zapewnienia bezpieczeństwa, ponieważ tradycyjne metody nie uwzględniają ich unikalnych cech. Framework Agentic SAMM (ASAMM) oferuje ustrukturyzowane narzędzie do analizy ryzyka związanego z kontekstem, wywołaniami narzędzi i okresami niezależnej pracy agentów. To rozszerzenie modelu OWASP SAMM jest dostosowane do współczesnych architektur agentowych, gdzie AI samodzielnie wchodzi w interakcje z zasobami zewnętrznymi.

Rozwój ASAMM wynika z przyspieszonego wdrażania takich systemów w procesy DevOps i operacje biznesowe. Firmy często napotykają luki w kontroli, gdy agenci przetwarzają dane bez nadzoru człowieka, co zwiększa podatność na manipulacje poprzez kontekst lub narzędzia.

Kluczowe koncepcje frameworka

ASAMM wprowadza pojęcia skupiające się na specyfice systemów agentowych:

• Kontekst jako powierzchnia ataku: Dokumenty, logi CI/CD, zgłoszenia lub zasoby internetowe dostępne dla agenta mogą służyć jako źródło złośliwych instrukcji.
• Wywołanie narzędzi: Autoryzowany dostęp nie gwarantuje trafności działań agenta do zadania, tworząc ryzyko nieautoryzowanych operacji.
• Okno autonomii: Okres bez punktów kontrolnych, mierzony czasem i zakresem dozwolonych działań, określa poziom ryzyka.

Te elementy uzupełniają standardowe praktyki, takie jak modelowanie zagrożeń czy skanowanie DAST, które często pomijają podatności w rejestrach narzędzi i serwerach MCP.

Framework jest ustrukturyzowany wokół taksonomii zagrożeń według punktów wejścia, modelu zaufania z dwiema osiami i 19 kontroli w pięciu funkcjach OWASP SAMM: zarządzanie, projektowanie, implementacja, weryfikacja i eksploatacja. Każda kontrola ma poziomy dojrzałości od L1 do L3.

Struktura kontroli i integracja ze standardami

Kontroli są rozdzielone na rodziny dla kompleksowego pokrycia cyklu życia systemu:

• Zarządzanie (Governance): Definiowanie polityk autonomii i ograniczeń.
• Projektowanie (Design): Modelowanie ryzyka kontekstu i narzędzi.
• Implementacja (Implementation): Wdrażanie mechanizmów ochronnych wywołań.
• Weryfikacja (Verification): Audyt okien autonomii i dowodów.
• Eksploatacja (Operations): Monitorowanie i reagowanie na anomalie.

ASAMM integruje się z NIST AI RMF, zaleceniami NCSC i polskimi standardami bezpieczeństwa. W drugiej wersji dodano taksonomię dowodów z sześcioma poziomami, kontrolę samomodyfikacji agenta i dokumentowanie ograniczeń wartościowych. Zaproponowano metodologię audytu ze ścieżkami: samoaudyt, weryfikacja zewnętrzna i audyt przez innego agenta.

Ścieżki wdrożenia i praktyczne konsekwencje

Dla organizacji z istniejącymi programami bezpieczeństwa zaleca się migrację, integrującą ASAMM z bieżącymi procesami. Alternatywą jest rozpoczęcie od zera dla nowych projektów. Wersja polskojęzyczna obejmuje szczegółowe zestawienie z lokalnymi standardami.

Wdrożenie frameworka wpływa na branżę, stymulując standaryzację praktyk dla agentów AI. Zmniejsza to ryzyko incydentów związanych z autonomicznymi działaniami i zwiększa zaufanie do technologii w środowiskach enterprise. Konsekwencje obejmują potrzebę przekwalifikowania zespołów i inwestycje w narzędzia weryfikacyjne, ale zwracają się dzięki minimalizacji podatności.

Ogólny kontekst: rynek agentów AI rośnie o 40% rocznie, z naciskiem na automatyzację DevOps. Bez dostosowanych frameworków, takich jak ASAMM, firmy ryzykują wyciekami danych i nieautoryzowanymi operacjami.

Co jest ważne

• ASAMM rozszerza OWASP SAMM dla systemów agentowych, skupiając się na oknie autonomii i wywołaniach narzędzi.
• 19 kontroli w pięciu funkcjach z poziomami dojrzałości L1-L3 zapewnia stopniową poprawę.
• Integracja z NIST, NCSC i lokalnymi standardami upraszcza compliance.
• Metodologia audytu obejmuje trzy ścieżki dla elastyczności.
• Licencja Creative Commons pozwala na swobodne użytkowanie i modyfikacje.

— Editorial Team