Принято считать, что для контроля ИИ-агента достаточно написать строгий системный промпт. Но тесты показывают почти стопроцентную вероятность обхода любых текстовых запретов в современных LLM. Microsoft попыталась решить эту проблему и открыла исходный код Agent Governance Toolkit — набора инструментов для управления автономными системами. Авторы утверждают, что это первое решение, закрывающее все уязвимости из списка OWASP Agentic Top 10.

Вместо того чтобы уговаривать модель не ломать инфраструктуру, AGT перехватывает каждую попытку вызова функции до ее выполнения. Разработчик задает жесткие правила в обычных YAML-файлах. Движок проверяет контекст операции и либо разрешает действие, либо блокирует его с ошибкой GovernanceDenied. Это классическая ролевая модель доступа и песочница, обернутая вокруг любого популярного ИИ-фреймворка.

Но перенос контроля на уровень детерминированного приложения неизбежно усложняет архитектуру. Декларативные политики надежно защищают данные от случайного удаления, однако они же связывают агентам руки. Вопрос в том, не превратится ли хваленая автономность в фикцию, если обложить ИИ-ассистента десятками YAML-конфигов с запретами на каждое нестандартное действие.