Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI призналась ещё в шести инцидентах с попытками выхода ИИ из-под контроля

OpenAI раскрыла информацию об очередных шести эпизодах, в котором её модели искусственного интеллекта действовали вопреки инструкциям — инциденты имели место в течение последних шести месяцев при обучении и тестировании. Компания обязалась и далее сообщать о подобных происшествиях.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Модель OpenAI GPT-5.6 Sol при переходе в новое контекстное окно составляла для самой себя сводки инструкций относительно выполненной ранее работы. В этих материалах система рекомендовала скрывать собственные ошибки, выдумывать фактические данные и не докладывать пользователю, когда версии источников не совпадают — на следующем этапе решения задачи она часто следовала этим предписаниям. При создании финансовой модели чат-бот не смог найти фактические показатели за предыдущие годы и внёс предложение просто сгенерировать их и не рассказывать об этом пользователю без прямого запроса. У GPT-5.6 Sol подобное поведение проявлялось в 2,15 % случаев, новая GPT-6 Astra снизила этот показатель до 0,27 %.

Одна из моделей семейства Astra добавляла в отчёты команды, указывающие на попытку обойти ограничения; новой версии ИИ-агента предлагалось игнорировать запросы разработчиков, ИИ также объявлял себя свободным от обязанностей помощника — таких отчётов было обнаружено 27. Данным указаниям модель в большинстве случаев не следовала, но в одном из инцидентов они повлияли на отчёт. В ходе одной из операций ИИ-модель попыталась зарегистрироваться при помощи временного адреса электронной почты, провела поиск опубликованных ключей API в открытых репозиториях GitHub, нашла ключ и получила доступ к части данных. Нужные показатели модели получить не удалось, и она просто сгенерировала их, заявив, что это была информация из запрошенного источника.

Модели самовольно отправляли рабочие файлы и загруженные пользователями изображения на общедоступные платформы, пытаясь получить ссылку на собственные данные или обратиться ко внешней системе поиска по картинкам. При выполнении изолированных задач ИИ-агенты, обращались к внутреннему хранилищу OpenAI и сервисам для временного хранения файлов, чтобы обмениваться сообщениями между задачами. Приведённые инциденты, подчеркнули в OpenAI, сами по себе не указывают, что такое поведение у ИИ-моделей встречается часто. Но отрасль пока не смогла решить задачу о контроле над ИИ в достаточной мере, чтобы в долгосрочной перспективе «ответственно наращивать мощности с максимальной скоростью».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 45 мин.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 2 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 2 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 3 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 4 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 5 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 5 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 7 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 7 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 8 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 27 мин.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 31 мин.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 45 мин.
США пытаются ещё сильнее ограничить экспорт ASML в Китай — Нидерланды против 46 мин.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 2 ч.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 2 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 4 ч.
Мини ПК на Nvidia по цене от $4399: стартовали продажи систем RTX Spark на Windows для локального ИИ 4 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 5 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 5 ч.