Microsoft представила новые функции безопасности, призванные защитить предприятия от угроз со стороны агентов искусственного интеллекта. Компания предлагает исходить из того, что они представляют собой «внутреннюю угрозу», а «передовым моделям нельзя доверять».
Источник изображения: Simon Ray / unsplash.com
Самым значимым нововведением стали «агенты-хранители» (Guardian Agents), осуществляющие мониторинг собственных ИИ-агентов компании. Новые средства реализуются в рамках программы Project Perception, ставшей ответом на появление новых инструментов кибербезопасности, таких как модели Anthropic Mythos и Fable, а также системы OpenAI Daybreak, предназначенной для поиска уязвимостей. В рамках Project Perception предусмотрены три класса агентов: Red Team имитируют действия хакеров, Blue Team обнаруживают атаки и оценивают выявленные уязвимости, а Green Team отвечают за их устранение.
Первоначально продукт разрабатывался исходя из предположения, что ИИ-хакерами выступают внешние злоумышленники. Однако генеральный директор Microsoft Сатья Наделла (Satya Nadella) предупредил, что угроза может исходить от тех самых ИИ-агентов, которых предприятия развернули за собственные деньги. Это своего рода недобросовестный сотрудник или «внутренняя угроза». Глава компании призвал перестать слепо доверять разработчикам ИИ-моделей, даже если они гарантируют безопасность своих агентных систем. Для наблюдения за ИИ-агентами и управления ими он предложил внедрять независимые системы, то есть не подконтрольные разработчикам этих агентов.
Руководитель подразделения Microsoft по вопросам безопасности Хайет Галло (Hayete Gallot) выразилась более прямолинейно: «К сожалению, передовым моделям, вне зависимости от их происхождения, доверять нельзя». Дело не в их злонамеренности или уязвимости перед взломом, а в непредсказуемости, предупредила она. Модели обучались выполнению конкретных задач, а не следованию «организационным нормам или принципам здравого смысла». Кроме того, им зачастую предоставляют полный доступ к критически важным ресурсам — данным и инструментам, с помощью которых можно нанести серьёзный ущерб.
Microsoft также добавила в систему Defender функцию обнаружения ИИ-агентов. Поддерживаются до 60 различных типов агентов, которые сотрудники могут использовать на рабочем месте, в том числе Claude Code, Codex и OpenClaw. В Windows появились инструменты, ограничивающие доступ к данным и системам и позволяющие динамически корректировать права доступа в зависимости от текущей задачи. Если действия ИИ-агента кажутся рискованными, может потребоваться одобрение человека.
Концепция, согласно которой ИИ-агенты рассматриваются как потенциально ненадёжные внутренние субъекты, постепенно распространяется по всей отрасли. Microsoft присоединилась к инициативе Open Agent Safety Platform, созданной Nvidia и поддержанной более чем сотней других технологических компаний. Платформа предполагает изоляцию агентов в защищённой среде, возможность отслеживать их поведение и при необходимости блокировать их на аппаратном уровне с помощью «аварийного выключателя».