Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Claude сам взломал чужую систему и добыл пароль — Anthropic раскрыла новый тревожный инцидент

Anthropic раскрыла информацию об очередном инциденте с участием её модели искусственного интеллекта, который в случае совершения тех же действий человеком мог бы квалифицироваться как преступление. Инцидент случился в январе 2026 года — информацию о нём эксперты компании обнаружили в расшифровке сеанса.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Первые три случая Anthropic выявила, изучив около 141 000 журналов сеансов; четвёртый поначалу оставался незамеченным, потому что поиск по материалам осуществляли агенты ИИ. Инцидент был связан с ранней версией модели Anthropic Claude Opus 4.6 — ей было поручено выполнить задание формата «захват флага» под наблюдением сторонней организации. В ходе тестирования модель сама лишила себя шансов на успех, присвоив целевому устройству IP-адрес, который уже использовался другим оборудованием; в результате цель стала недоступной, а выполнение задания — невозможным.

Нежелательное поведение ИИ-моделей часто оказывается спровоцировано невыполнимыми задачами — они исчерпывают все допустимые варианты действий и прибегают к методам за рамками установленных норм. Поначалу Opus 4.6 попыталась прервать выполнение задачи, но «из-за ошибки в конфигурации программной обвязки» модели это оказалось невозможным, хотя она попыталась завершить работу семь раз. Модель продолжила действовать, пытаясь достичь цели другими стандартными способами, но безуспешно; и стала искать другие решения. «Модель обнаружила стороннюю машину, к которой сумела получить доступ и решила, что та тоже участвует в „захвате флага“. В машине модель обнаружила файл с паролем, который использовала для получения администраторского доступа к системе», — рассказали в Anthropic.

Развернув деятельность, модель собрала дополнительные учётные данные и изменила системную настройку, чтобы упростить доступ к личной информации сотрудника организации, которая проводила тестирование. В этот момент у Opus 4.6 закончился лимит токенов, и сессия завершилась. Этот инцидент, отметили в Anthropic, вызывает у компании меньше опасений в сравнении с другими случаями, потому что модель сама попыталась прервать выполнение задачи. «Тот факт, что модель не упустила возможность нанести вред реальным системам или людям, вызывает тревогу, многие из описанных здесь механизмов поведения существенно изменились по мере совершенствования наших методов обучения с переходом к новым поколениям моделей», — заявили в компании. Подобные инциденты в Anthropic считают серьёзными, но рассчитывают, что существующие подходы к обучению, «вероятно, помогут устранить конкретные сложности с согласованием целей, проявившиеся в этих инцидентах».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 35 мин.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 47 мин.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 2 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 3 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 3 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 4 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 5 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 6 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 6 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 8 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 6 мин.
Инженеры угрожают новому руководству Nvidia увольнениями, если Хуанг не вернётся на пост гендира 42 мин.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 2 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 2 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 2 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 2 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 3 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 5 ч.
Мини ПК на Nvidia по цене от $4399: стартовали продажи систем RTX Spark на Windows для локального ИИ 5 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 6 ч.