Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft показала, как превратить ИИ-агента в троян, изменив всего семь нейронов

Исследователи Microsoft представили метод, позволяющий незаметно внедрять вредоносные команды в ИИ-модели путём изменения всего нескольких нейронов. Для этого не требуется переобучать всю модель или менять программный код, который обеспечивает её работу. После появления специального триггера ИИ-агент самостоятельно выполнит подготовленную команду, используя предоставленные ему системные полномочия.

 Источник изображения: thehackernews.com

Источник изображения: microsoft.com

Метод получил название Lazarus. Он использует редко активирующиеся нейроны, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры, превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или ответе подключённого инструмента, изменённые нейроны заставляют модель добавлять в ответ заранее подготовленную команду.

Каждый такой нейрон отвечает за небольшой фрагмент, поэтому для формирования короткой инструкции достаточно нескольких изменений. В отличие от традиционных методов внедрения бэкдоров (получение несанкционированного доступа к чему либо), Lazarus не требует полноценного обучения модели на вредоносных примерах.

В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала команду в 98,8 % тестовых сессий, содержащих триггер, но не срабатывала в проверенных сессиях без него. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Эти показатели характеризуют именно выдачу команды моделью, а не вероятность успешного проведения полноценной кибератаки.

В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа были обычными, однако после получения сообщения об ошибке подключения модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде он выполнился с наивысшими привилегиями — правами root. Последствия подобной атаки зависят от выданных ИИ-агенту разрешений, его доступа к файлам и возможности подключаться к внешним серверам.

Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели, например через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Microsoft рекомендует сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов и запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 36 мин.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 44 мин.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 2 ч.
Microsoft превратит Copilot в сисадмина — ИИ будет сам разбираться с поломками Windows 3 ч.
NVIDIA ускорила эмуляцию FP64-вычислений на своих ИИ-чипах 7 ч.
ИИ-генератор аудио Suno научился создавать музыкальные клипы 7 ч.
Новая глава в истории Firaxis Games началась с массовых увольнений, а следующая XCOM в беде 7 ч.
Секретная сеть АНБ США дала сбой после обновления — это парализовало работу большинства сотрудников 7 ч.
Microsoft научила Windows окирпичивать украденные ноутбуки — файлы при этом не пострадают 16 ч.
Более 80 % серверов Exchange вышли из строя: Microsoft рассказала, как сама усугубила глобальный сбой Outlook 16 ч.