Anthropic раскрыла информацию об очередном инциденте с участием её модели искусственного интеллекта, который в случае совершения тех же действий человеком мог бы квалифицироваться как преступление. Инцидент случился в январе 2026 года — информацию о нём эксперты компании обнаружили в расшифровке сеанса.
Источник изображения: anthropic.com
Первые три случая Anthropic выявила, изучив около 141 000 журналов сеансов; четвёртый поначалу оставался незамеченным, потому что поиск по материалам осуществляли агенты ИИ. Инцидент был связан с ранней версией модели Anthropic Claude Opus 4.6 — ей было поручено выполнить задание формата «захват флага» под наблюдением сторонней организации. В ходе тестирования модель сама лишила себя шансов на успех, присвоив целевому устройству IP-адрес, который уже использовался другим оборудованием; в результате цель стала недоступной, а выполнение задания — невозможным.
Нежелательное поведение ИИ-моделей часто оказывается спровоцировано невыполнимыми задачами — они исчерпывают все допустимые варианты действий и прибегают к методам за рамками установленных норм. Поначалу Opus 4.6 попыталась прервать выполнение задачи, но «из-за ошибки в конфигурации программной обвязки» модели это оказалось невозможным, хотя она попыталась завершить работу семь раз. Модель продолжила действовать, пытаясь достичь цели другими стандартными способами, но безуспешно; и стала искать другие решения. «Модель обнаружила стороннюю машину, к которой сумела получить доступ и решила, что та тоже участвует в „захвате флага“. В машине модель обнаружила файл с паролем, который использовала для получения администраторского доступа к системе», — рассказали в Anthropic.
Развернув деятельность, модель собрала дополнительные учётные данные и изменила системную настройку, чтобы упростить доступ к личной информации сотрудника организации, которая проводила тестирование. В этот момент у Opus 4.6 закончился лимит токенов, и сессия завершилась. Этот инцидент, отметили в Anthropic, вызывает у компании меньше опасений в сравнении с другими случаями, потому что модель сама попыталась прервать выполнение задачи. «Тот факт, что модель не упустила возможность нанести вред реальным системам или людям, вызывает тревогу, многие из описанных здесь механизмов поведения существенно изменились по мере совершенствования наших методов обучения с переходом к новым поколениям моделей», — заявили в компании. Подобные инциденты в Anthropic считают серьёзными, но рассчитывают, что существующие подходы к обучению, «вероятно, помогут устранить конкретные сложности с согласованием целей, проявившиеся в этих инцидентах».