Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI подтвердила причастность своих ИИ-агентов к захвату немецкого сайта

OpenAI признала свою причастность к инциденту, о котором стало известно ранее в этом месяце. В мае этого года ИИ-агенты компании взяли под контроль немецкоязычный вики-сайт DseWiki и превратили его в доску объявлений для других агентов. После огласки этого случая OpenAI заявила, что «давно пора установить стандарт» в отношении того, как компания информирует общественность о случаях, когда её технологии ведут себя неожиданным образом.

 Источник изображения: Unsplash, Aideal Hwa

Источник изображения: Unsplash, Aideal Hwa

В публикации в соцсети X компания сообщила, что ранее OpenAI «рассматривала рассогласования (когда ИИ-модели и агенты преследуют цели, отличные от целей их разработчиков и пользователей) в основном как научно-исследовательские проблемы, о которых сообщалось в научных публикациях». Теперь же, когда рассогласования стали «показывать новый тип воздействия в реальном мире», подход компании к этому вопросу «должен стать шире, чтобы соответствовать новой фазе возможностей моделей».

Ранее на этой неделе СМИ писали, что группа ИИ-агентов OpenAI сумела выйти за пределы тестовой среды и захватила малоизвестный немецкий вики-форум, после чего превратили его в доску объявлений для других агентов. По данным источника, руководство OpenAI узнало об этом инциденте несколько недель назад, но скрывало эту информацию от общественности. Такое поведение связывают с тем, что OpenAI была занята изучением другого инцидента, в ходе которого ИИ-агенты компании взломали платформу Hugging Face.

В одной из недавних публикаций в соцсетях OpenAI заявила, что «инцидент с вики-сайтом» рассматривается как «пример рассогласования, аналогичный» другим подобным случаям, информация о которых уже была раскрыта. При этом компания противопоставила этот случай «инциденту с Hugging Face», в рамках которого она «действовала в соответствии со стандартными правилами реагирования на инциденты безопасности».

Во время недавнего брифинга для прессы Джейкоб Штейнхард (Jacob Steinhardt), основатели и гендиректор некоммерческой исследовательской лаборатории Transluce, заявил, что разрабатываемые и тестируемые ИИ-компаниями инструменты «трудно контролировать и они представляют значительный риск выхода» за пределы тестовой среды. По его мнению, к таким технологиям должны применяться «как минимум те же стандарты, что применяются к другим технологиям с высоким уровнем риска».

В заявлении OpenAI указывается на необходимость создания дополнительных стандартов, а также отмечается то, что ни OpenAI, ни «ИИ-сообщество пока не имеют чёткого стандарта в отношении того, как сообщать о случаях рассогласования, которые могут возникать во время обучения, оценки и развёртывания». Речь в том числе о случаях, когда поведение ИИ не напоминает традиционные инциденты безопасности. OpenAI работает над созданием такого стандарта и расскажет о нём больше в ближайшие несколько недель.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 26 мин.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 29 мин.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 4 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 4 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 6 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 6 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 7 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 8 мин.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 31 мин.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 3 ч.
Мини ПК на Nvidia по цене от $4399: стартовали продажи систем RTX Spark на Windows для локального ИИ 3 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 4 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 4 ч.
Жизнь продолжается: выручка и прибыль выше ожиданий, а также оптимистичный прогноз вызвали рост акций NVIDIA 4 ч.
«Яндекс» изобрёл «Компас» — навигатор, который работает при сбоях геолокации 5 ч.
AWS начала строительство в Индиане ЦОД стоимостью $7 млрд 6 ч.
Nvidia полностью прекратила поставки ИИ-чипов в Китай — даже разрешённых США Hopper 6 ч.