«Лаборатория Касперского» выпустила руководство по безопасности ИИ-агентов

«Лаборатория Касперского» представила руководство «Безопасность ИИ-агентов через призму кибериммунитета» на сессии «ИИ-агенты под контролем: как управлять рисками и строить доверенную инфраструктуру» в рамках форума «Цифровые решения». Документ показывает, с какими рисками сопряжено использование ИИ-агентов и как их снизить с помощью принципов кибериммунитета. Руководство адресовано директорам по информационной безопасности и ИТ, ИТ-руководителям, архитекторам и разработчикам.

ИИ-агенты — системы на базе больших языковых моделей (LLM), которые могут самостоятельно взаимодействовать с файлами, базами данных, почтой и другими системами. Они всё чаще применяются в корпоративных процессах: разработке ПО, поддержке клиентов, работе с базами знаний, аналитике, ИТ/ИБ и бизнес-процессах. Однако внедрение часто идёт «снизу вверх», в обход руководителей, порождая теневой ИИ — неподконтрольную инфраструктуру с неизвестным уровнем безопасности.

Четыре основных риска

В руководстве выделены четыре ключевых риска. Первый связан с недоверенным когнитивным ядром: LLM, лежащие в основе агентов, вероятностны и могут ошибаться. Второй — «фатальная триада»: сочетание доступа к конфиденциальным данным, обработки недоверенного ввода и возможности взаимодействовать с внешними системами. Третий — избыточные полномочия, когда агент получает больше прав, чем нужно. Четвёртый — непрозрачность действий: человеку сложно понять, почему система приняла то или иное решение, и вовремя заметить ошибку.

Эти риски подтверждаются реальными инцидентами, проанализированными в документе, в том числе случаями, когда ИИ-агенты случайно удаляли данные или совершали другие нежелательные действия. Поэтому их важно учитывать ещё на этапе разработки и внедрения таких систем.

Кибериммунитет как основа

Для моделирования защиты ИИ-агентов в документе предлагается кибериммунный подход — концепция «Лаборатории Касперского» по построению безопасных по умолчанию систем. В её основе лежит постановка во главу угла не конкретных мер, а целей и допущений безопасности, которые фиксируются на этапе проектирования системы и определяют её архитектуру.

В руководстве содержатся рекомендации по построению безопасных агентных архитектур для руководителей, отвечающих за ИТ и ИБ. Отдельно о практике безопасного внедрения ИИ-агентов можно прочитать в статье «Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт Лаборатории Касперского».

«ИИ-агенты представляют собой привлекательную цель для злоумышленников: они, как правило, исполняются с теми же правами, что и другое ПО на устройстве разработчика, а значит, получают те же доступы к ценным активам. Риски растут с каждой ступенью агентности — от LLM без инструментов до автономных и мультиагентных систем, а реальные инциденты и случаи ненамеренного удаления данных агентами подтверждают практическую значимость этих рисков, — сказал Антон Иванов, технический директор „Лаборатории Касперского“. — Безопасность агента определяется на этапе проектирования, и основная задача здесь — поиск баланса между защитой и эффективностью. Любой агент должен работать в режиме наименьших привилегий, а все критические операции — проходить через человеческое подтверждение и проверку контекста. Чем сложнее задачи, которые делегируются ИИ, тем строже должны быть контроль, изоляция и аудит».