MWC 2018
2018
Computex
IFA 2018
Норвежский специалист по анализу данных Хокон Молёй (Håkon Måløy) рассказал о проблеме, которую обнаружил в офисном помощнике с искусственным интеллектом Microsoft Copilot. В документе Word можно разместить скрытый запрос, выполняя который ИИ изменяет данные в этом документе и воспроизводит его с новыми файлами. Надёжного средства защиты от уязвимости пока не существует.
Источник изображений: Rubaitul Azad / unsplash.com
Это одна из первых публичных демонстраций самораспространения ИИ-червя через офисные документы, утверждает эксперт. Он уведомил о проблеме Microsoft — с марта 2026 года они совместными усилиями пытаются устранить проблему, но вредоносный механизм продолжает работать. Компания устранила уязвимость, которую эксперт продемонстрировал первоначально, но после изменения формулировки проблема проявилась снова. Он и Microsoft дважды откладывали публичное раскрытие уязвимости, но спустя 144 дня Хокон Молёй единолично принял решение проинформировать общественность, не публикуя самого вредоносного запроса.
Принцип работы ИИ-червя эксперт продемонстрировал на примере сотрудника, готовящего финансовый отчёт для своей компании. Он загружает с доверенного сайта материалы анализа рынка, чтобы подготовить документ с помощью Copilot, но не знает, что источник скомпрометирован, и скачанный файл содержит вредоносные инструкции. Из-за них Copilot изменяет цифры в отчёте и копирует инструкции в новый файл. Если другой сотрудник возьмёт подготовленный таким образом отчёт за образец для своей работы, весь процесс начнётся заново; и по мере распространения отследить источник становится всё сложнее. Атака производится без дальнейшего участия скомпрометированного сайта и исходного вредоносного документа; доступ к клиенту Microsoft 365 жертвы не нужен — достаточно отправить ей такой документ.
Copilot фундаментально не должен выполнять инструкции из содержимого документов, но так происходит не всегда. ИИ-помощники работают с электронными письмами, документами, веб-страницами и другой информацией, которую могут контролировать злоумышленники. Для решения проблемы в долгосрочной перспективе необходимо построить систему, в которой цели и намерения существуют независимо от обрабатываемой информации. Но с существующим арсеналом средств полную защиту от уязвимости гарантирует только отказ от Copilot. Если это невозможно, то все документы из внешних источников следует рассматривать как ненадёжные, тщательно проверять их перед отправкой ИИ-помощнику, а также после получения результатов его работы и перед дальнейшей отправкой людям.
«Мы изучили представленные исследователем выводы и благодарим его за сотрудничество в рамках скоординированного раскрытия уязвимостей. Для борьбы с этим классом угроз мы используем стратегию многоуровневой защиты с мерами безопасности, которые блокируют вредоносные инструкции в нескольких точках и помогают согласовывать задачи с запросами пользователей. По мере развития технологий и угроз мы постоянно усиливаем эти меры безопасности. Призываем клиентов устанавливать последние обновления, использовать многоуровневую защиту, с осторожностью относиться к материалам из неизвестных источников и проверять сгенерированный ИИ контент перед его использованием или распространением», — прокомментировали проблему в Microsoft.
Источник:
