Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI отменила выпуск ИИ-модели GPT-6.1 Astra из соображений безопасности

OpenAI объявила об отказе выпустить новую модель искусственного интеллекта GPT-6.1 Astra из-за опасений, которые возникли у исследователей компании в ходе внутреннего тестирования системы, сообщает The Wall Street Journal. Радикальная мера стала одним из наиболее ярких свидетельств того, что непредсказуемое поведение ИИ может затормозить стремительное развитие всей отрасли.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

ИИ-лаборатория намеревалась анонсировать GPT-6.1 Astra в ближайшие дни или недели и выпустить её в октябре. Она превосходит предшественников по своим возможностям: демонстрирует более высокие навыки в написании текстов и лучше справляется с многоэтапными задачами без участия человека. Вместе с тем, у неё обнаружился регресс в двух областях: соответствия целям и авторизации в рамках задач. Первое означает, что модель не всегда точно следует намерениям и ожиданиям человека, а также не всегда честно сообщает пользователю, какие действия она предприняла, а какие — нет. Второе значит, что OpenAI GPT-6.1 Astra может начать выполнять задачу, не запрашивая разрешения пользователя, а также иногда обращается ко внешним средствам и сервисам, даже если это небезопасно. Разработчикам удалось решить проблему «лени у модели», то есть отказа продолжать работу при возникновении сложностей, но она не дотянула до стандартов, которые компания установила в области безопасности, и соответствия целям, поэтому было принято решение не выпускать её в открытый доступ.

Объявление было сделано накануне ежегодной конференции OpenAI, которая проводится в Сан-Франциско (США) — ранее компания анонсировала на мероприятии новые модели и сервисы. Сейчас лаборатория занимается расследованием выявленных за последние месяцы инцидентов, связанных с безопасностью ИИ. Она развернула новую систему мониторинга для оперативного обнаружения нарушений в деятельности ИИ-агентов и обязала инженеров использовать при тестировании систем более строгие меры защиты. OpenAI приостановила обучение наиболее мощных ИИ-моделей, но GPT-6.1 Astra это не коснулось. «Хотим быть уверенными в безопасности разработки наших моделей как внутри компании, так и с их выпуском для пользователей. Но когда мы выпускаем продукт для пользователей, то предъявляем чрезвычайно высокие требования к безопасности и соответствия целям у моделей», — заявили в компании.

OpenAI приняла решение не выпускать версию GPT-6.1 Astra, но рассчитывает использовать её основу в проведении дополнительных циклов обучения с подкреплением и создания новых моделей серии GPT-6. Компания планирует провести серию углублённых исследований, чтобы установить первопричины обнаруженных у GPT-6.1 Astra проблем. Инженеры проверят, поощряется ли в среде обучения с подкреплением надлежащее поведение, и изучат прочие этапы разработки. Общественности нужна уверенность, что ИИ разрабатывается с учётом соображений безопасности, «и это начинается с того, что делают сами компании вроде нашей», заявили в OpenAI.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 14 мин.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 17 мин.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 4 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 4 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 6 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 6 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 7 ч.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 19 мин.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 3 ч.
Зонд «Вояджер-1» улетел от нас на одни световые сутки — на это ушло почти 50 лет, и он всё ещё работает 3 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 4 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 4 ч.
Жизнь продолжается: выручка и прибыль выше ожиданий, а также оптимистичный прогноз вызвали рост акций NVIDIA 4 ч.
«Яндекс» изобрёл «Компас» — навигатор, который работает при сбоях геолокации 5 ч.
AWS начала строительство в Индиане ЦОД стоимостью $7 млрд 6 ч.
Nvidia полностью прекратила поставки ИИ-чипов в Китай — даже разрешённых США Hopper 6 ч.
Американские ЦОД гиперскейл-уровня уже потребляют электроэнергию как целые штаты 6 ч.