MWC 2018
2018
Computex
IFA 2018
В репозитории комплекта для разработки Google на Python исследователь компании Pillar Security Дэн Лисичкин (Dan Lisichkin) обнаружил уязвимость, которая позволяет гипотетическому злоумышленнику компрометировать ПО на уровне цепочки поставок, манипулируя обладающим высокими привилегиями агентом искусственного интеллекта через вредоносные запросы для менее привилегированного публичного ИИ-агента.
Источник изображения: Kevin Horvat / unsplash.com
Схема атаки предполагает злоупотребление механизмами взаимодействия ИИ-агентов. В репозитории Google их действуют две единицы: первый, публичный, анализирует обращения пользователей и новые запросы на слияние кода; второй, доступный только сопровождающим проекта, обладает более широкими полномочиями. При этом первый может передавать задачи второму, и эта передача считается доверенной.
Для осуществления атаки злоумышленник сначала отправляет добросовестный фрагмент кода, чтобы заслужить доверие и получить возможность запускать определённые процессы на уровне ИИ-агентов. На втором этапе он снова отправляет запрос на слияние, в описание к которому внедряет вредоносные инструкции для публичного агента. Он воспринимает их как часть своей задачи и вызывает привилегированного ИИ-агента, передавая ему доверенное сообщение. Второй в результате получает возможность выполнять действия, которые обычный пользователь никогда не смог бы запустить напрямую. То есть менее привилегированный ИИ-агент выступает посредником, заставляющим более привилегированного действовать в интересах хакера.
Это не программная уязвимость в традиционном понимании, а проблема доверительной цепочки между агентами: механизмы GitHub Actions общедоступны, и любой желающий может проанализировать, как именно они взаимодействуют. В Google, однако, отказались выплатить исследователю вознаграждение за выявление данной уязвимости, потому что даже при наличии токена с полномочиями «pull-requests: write» код в проект включается не автоматическими средствами, а по воле сопровождающего проект человека. Компания, однако, усилила защиту рабочих процессов и указала эксперта в числе авторов исправления.
Исследователь же настаивает, что Google закрыла лишь одну из реализаций уязвимости, но не проблему, из-за которой она возникла. Ужесточать рабочие процессы или изолировать ИИ-агентов друг от друга недостаточно: агенты должны идентифицироваться и обладать фиксированными наборами полномочий, как это реализуется в разграничении прав доступа для людей. Поэтому он призывает включать ИИ-агентов в модели угроз, поскольку они выступают потенциальными злоумышленниками в рабочих процессах.
Источник:
