Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Погибнет большинство людей»: новый эксперт OpenAI по безопасности предрёк катастрофу в случае выхода ИИ из-под контроля

Новый специалист OpenAI по вопросам безопасности напрямую высказался о том, что стоит на кону в эпоху искусственного суперинтеллекта. «Если мы создадим суперинтеллект, не обеспечив его надёжную согласованность целей, то, думаю, мы навсегда утратим над ним контроль. Если это случится, большинство людей может погибнуть», — предупредил новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано (Paul Christiano).

 Источник изображения: Andrew Neel / unsplash.com

Источник изображения: Andrew Neel / unsplash.com

В посвящённом вступлению в должность развёрнутом заявлении он затронул тему исходящих от ИИ угроз и предупредил, что человечество в ближайшее время рискует потерять контроль над системами ИИ. «Учитывая недавние траектории возможностей и сохраняющиеся сложности с согласованностью целей, я уверен, что существует значительный риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Не думаю, что отрасль вообще, в том числе OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня», — заявил господин Кристиано.

Ранее он руководил исследованиями в области согласования целей ИИ в OpenAI, а также работал на федеральные власти в США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Свой приход в компанию он не стал связывать с одобрением или критикой «применяемых OpenAI методов обеспечения безопасности», но выразил надежду, что все ведущие лаборатории усилят работу в этом направлении. Для снижения связанных с ИИ угроз, считает он, необходимо координировать усилия на мировом уровне.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, при которой ИИ превосходит уровень человеческого разума и начинает самостоятельно развиваться и совершенствоваться такими темпами, которые люди не могут ни предсказывать, ни контролировать. Глава OpenAI Сэм Альтман (Sam Altman) заявил в июле, что сингулярность уже наступила.

Способности ИИ, в том числе в сфере исследований самого искусственного интеллекта, растут, увеличивая риск утери контроля, что, по мнению господина Кристиано, сможет спровоцировать «стремительный взрыв интеллекта». Он также отметил, что при обучении ИИ с подкреплением модели фактически учатся «получать как можно больше вознаграждения». «Когда-то казалось лишь теоретически возможным, что это способно побудить ИИ-агентов вырваться из-под контроля человека, устремиться к власти и ресурсам, а также заметать следы в погоне за целями, не согласованными с человеческими интересами, но связываемыми с вознаграждением. Представленные доказательства последних инцидентов указывают, что это уже не теоретическая возможность», — отметил он.

У лидеров в области ИИ, заявил Пол Кристиано, ещё остаётся возможность исправить ситуацию, например, за счёт улучшения координации, замедления, по необходимости, темпов разработки, принятия общих стандартов безопасности и прозрачности в обмене информацией об угрозах и мерах по их снижению.

Всего за несколько часов до заявления Кристиано исследователь Anthropic Джейкоб Коксон (Jacob Coxon), ранее работавший в OpenAI, сообщил об уходе из компании и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ. «Они мчатся к разработке самосовершенствующегося суперинтеллекта и ставят на кон наши жизни», — предупредил эксперт.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 14 мин.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 17 мин.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 4 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 4 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 6 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 6 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 7 ч.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 19 мин.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 3 ч.
Зонд «Вояджер-1» улетел от нас на одни световые сутки — на это ушло почти 50 лет, и он всё ещё работает 3 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 4 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 4 ч.
Жизнь продолжается: выручка и прибыль выше ожиданий, а также оптимистичный прогноз вызвали рост акций NVIDIA 4 ч.
«Яндекс» изобрёл «Компас» — навигатор, который работает при сбоях геолокации 5 ч.
AWS начала строительство в Индиане ЦОД стоимостью $7 млрд 6 ч.
Nvidia полностью прекратила поставки ИИ-чипов в Китай — даже разрешённых США Hopper 6 ч.
Американские ЦОД гиперскейл-уровня уже потребляют электроэнергию как целые штаты 6 ч.