Сегодня 01 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → гоблин

OpenAI объяснила борьбу с гремлинами в ответах ИИ — и позволила снять ограничения

OpenAI рассказала широкой аудитории о своей проблеме с гоблинами — к этому компанию подвиг материал на сайте Wired. Как выяснилось, разработчик систем искусственного интеллекта вынужден дополнительно инструктировать свои модели «никогда не говорить о гоблинах, гремлинах, енотах, троллях, ограх, голубях или других животных и существах», потому что эти модели в процессе обучения выработали такую «странную привычку».

 Источник изображения: Vikram Singh / unsplash.com

Источник изображения: Vikram Singh / unsplash.com

Компания обратила внимание на то, что ИИ стал подозрительно часто прибегать к метафорам с гоблинами и другими вымышленными существами с выходом модели GPT-5.1, особенно при подключении персонажа «Ботаник» (Nerdy). С каждым последующим выпуском модели проблема только усугублялась, пока не обнаружилось, что в процессе обучения с подкреплением эти причудливые метафоры сопровождались вознаграждением.

Вознаграждение производилось только при включении личности «Ботаника», но процесс обучения с подкреплением не гарантирует, что усвоенные механизмы поведения так и останутся привязанным к породившим их условиям. На последующих этапах этот стиль поведения может вознаграждаться и усиливаться и в других местах, особенно если эти результаты повторно используются в контролируемой тонкой настройке или в данных о предпочтениях, пояснил разработчик.

Упоминания гоблинов и гремлинов преимущественно исчезли марте, когда OpenAI отказалась от «Ботаника», но всплыли в сервисе программирования Codex с моделью GPT-5.5 — её обучение началось ещё до того, как компания обнаружила первопричину. Поэтому ей пришлось давать Codex дополнительные инструкции не упоминать мифологических существ. Впрочем, для тех, кому эта манера поведения нравится, OpenAI предложила код отмены этих инструкций.


window-new
Soft
Hard
Тренды 🔥
Google начала навязывать ИИ-режим в поиске — некоторые развёрнутые ответы от ИИ теперь показываются автоматически 2 ч.
Календарь релизов — 31 августа – 6 сентября: The Blood of Dawnwalker, Onimusha и Serious Sam 3 ч.
Балканизация виртуализации: VMware теряет клиентов из-за стратегии Broadcom, но та не собирается ничего менять 3 ч.
Недавнее обновление для Windows 11 сломало курсор и обои рабочего стола 3 ч.
DLSS 5 заработала на видеокартах GeForce RTX 2000 и RTX 3000, но очень медленно 8 ч.
Take-Two отчиталась о «бурном развитии» расследования по поиску виновника утечек GTA VI 8 ч.
ИИ-направление принесло Cloud.ru более половины выручки в I полугодии 2026 года 9 ч.
Instagram объявила войну ИИ-аккаунтам, выдающим себя за реальных людей 9 ч.
Sony подтвердила сентябрьскую презентацию State of Play — покажут Final Fantasy VII Revelation и игры от PlayStation Studios 9 ч.
Windows 11 начала обманывать, что антивирус Defender отключён — на самом деле он работает 10 ч.
Новая статья: 10 флагманских процессоров Intel за 10 лет 2 ч.
AOC выпустила 27-дюймовый игровой монитор Agon AGP277KXM с подсветкой Mini-LED и двумя режимами: 5K@180 Гц и 1440p@360 Гц 2 ч.
Apple потеряла ключевого руководителя накануне смены гендира: Фил Шиллер оставил пост главы App Store 3 ч.
Тим Кук эмоционально обратился к сотрудникам Apple в свой последний день на посту генерального директора 6 ч.
Meta внедряет роботов в ЦОД для замены людей, но пока процесс идёт очень медленно 7 ч.
CXMT запустила пробное производство памяти HBM3E 7 ч.
В недрах Марса обнаружилась массивная «тепловая аномалия» — возможно, это результат древнего космического ДТП 8 ч.
Никому ни слова: операторы ЦОД в США всё чаще заключают тайные соглашения в властями, прикрываясь NDA 9 ч.
Российским операторам разрешили строить 5G на частотах LTE — сети скоро появятся в городах-миллионниках 10 ч.
TSMC намерена в 50 раз повысить производительность ИИ-систем — помогут 3D-чипы и кремниевая фотоника 10 ч.