Платформа Gemini для корпоративных агентов получила защитный аудит под названием Agent Anomaly Detection. Модуль находит скрытые сбои в поведении ассистентов прямо во время работы. Вместо простого чтения исходников система изучает реальные следы выполнения, цепочки рассуждений и вызовы инструментов. Проверка идет асинхронно после отправки ответа, поэтому пользователи не ждут.
Когда вы подключаете языковую модель к базам данных, обычный мониторинг часто слеп. Запрос завершился успешно, сервер вернул статус двести, в журналах чисто. При этом ассистент мог зациклиться или начать выкачивать закрытую базу. Внешне все выглядит штатно, а система уже под угрозой.
Инструмент может отработать без ошибок в коде, но сама логика цепочки окажется разрушительной для системы.
Почему обычные метрики пропускают сбои
Классический мониторинг настроен на технические аварии: падение сервера, нехватку памяти или тайм-аут сети. Но цифровой помощник ломается иначе. Он не падает с ошибкой. Модель честно выполняет команды, но логика ее шагов уходит в опасную сторону.
Сообщество по безопасности зафиксировало такие риски в стандарте OWASP Top 10 for Agentic Applications 2026. Инструмент Google закрывает главные угрозы из списка: нецелевые вызовы, превышение прав, каскадные сбои и перерасход ресурсов. Подробности описаны в официальном обзоре Gemini Enterprise Agent Platform.
Как устроен трехслойный аудит
Проверять каждый шаг тяжелой нейросетью слишком дорого. Google разделила аудит на три уровня:
- Статистический фильтр. Легкие алгоритмы постоянно смотрят поток сессий. Они оценивают частоту запросов, объем данных и шаблоны вызовов, отсеивая норму.
- Разбор логики через модель. Подозрительные сессии уходят к языковой модели. Она оценивает ход мыслей агента: зачем вызвана функция и нет ли потери контекста.
- Разбор параметров. При подтверждении угрозы система восстанавливает параметры запросов и выставляет уровень риска от низкого до критического.
Асинхронный аудит не тормозит диалог с пользователем, но требует отдельного контура для мгновенной реакции на угрозы.
Пример со складским ботом и выгрузкой базы
В блоге разработчиков описан случай с помощником по учету склада. Пользователь просит показать остатки товаров, а бот обращается к функции каталога. Формально все чисто: функция доступна, права есть. Но бот начинает запрашивать данные пачками по сто штук со скачками смещения. Для человека это обычный просмотр, а для детектора — попытка выгрузки базы или атака на отказ. Система ставит критический уровень с вероятностью девяносто пять процентов и советует ограничить частоту вызовов.
Если вы проектируете сложные сценарии для бизнеса и хотите избежать скрытых уязвимостей, заглядывайте в наш Telegram-канал Ковчег, следите за обновлениями в MAX или приходите на практическое обучение по Make и автоматизациям, где мы на реальных примерах выстраиваем надежные связки без дыр в безопасности.
Почему детектор не остановит агента сам
Главная ошибка — думать, что облачный сервис автоматически заблокирует атаку. В реальности детектор работает как аналитик, а не как постовой на входе. Разбор идет асинхронно, поэтому вердикт появляется уже после отправки ответа клиенту. Сам сервис ничего не перекрывает.
Чтобы прервать следующий шаг, вам нужен собственный обработчик в коде плагина. Он запрашивает статус проверки через интерфейс сессии и сверяет его с вашим порогом строгости. Все инциденты также уходят в единую панель Security Command Center, если подключен подходящий тариф.
Пока вы сами не установите порог реагирования в коде плагина, система ограничится лишь записью предупреждения в журнале.
Что нужно для подключения превью
Инструмент доступен в закрытом тестировании по заявке. Проект должен отвечать нескольким требованиям:
- Пакет разработки. Нужны агенты на библиотеке для Python от версии 1.2, а для фиксации пользователей рекомендована версия от 2.1.
- Телеметрия OpenTelemetry. В коде должна быть включена запись трасс и сообщений, иначе система не увидит агента.
- Регион. Хранилища журналов и аналитики должны находиться в мультирегионе США.
- Ручной запуск. Агент появится в списке, но анализ начнется только после явного включения в панели.
Настройка правил на обычном языке появится позже. Сейчас сервис использует встроенные базовые детекторы платформы.
Частые вопросы
Можно ли включить этот детектор в бесплатной версии Gemini?
Нет, этот инструмент работает только на платформе Gemini Enterprise Agent Platform. В обычном интерфейсе его нет.
Влияет ли проверка на скорость ответа ассистента?
Не влияет, так как разбор идет асинхронно по уже записанным следам сессии.
Блокирует ли инструмент опасные действия сам?
Автоматической блокировки нет. Сервис фиксирует инцидент, а решение об остановке принимает ваш код через проверку порога.
