Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи OpenAI и Google бьют тревогу — развитие ИИ опережает возможности людей его контролировать

Специалисты из OpenAI и Google DeepMind заявили о недостаточности мер безопасности при разработке систем машинного обучения и искусственного интеллекта на базе нейронных сетей. Они считают, что скорость развития технологии опережает возможности людей по контролю ИИ-платформ, способных к самообучению и самосовершенствованию.

 Источник изображения: Grok

Источник изображения: Grok

Своими опасениями исследователи поделились в рамках проекта Frominside.ai, созданного при участии некоммерческой организации Palisade Research. Его участники заявляют, что говорят об угрозах не ради маркетинга, а потому, что считают проблему действительно серьёзной. По их словам, внутри ИИ-компаний больше внимания получают сотрудники, которые создают новые модели, чем специалисты, призывающие к осторожности.

Одна из основных тем проекта касается рекурсивного самосовершенствования. Так называют способность ИИ практически без участия человека продолжать обучение и самостоятельно получать новые возможности. Джеффри Ирвинг (Geoffrey Irving), ранее работавший в OpenAI и DeepMind, а сейчас возглавляющий научное направление в некоммерческой организации Resolution, заявил, что риск «довольно быстро растёт», и специалисты должны открыто говорить об этом.

Исследователь DeepMind Нил Нанда (Neel Nanda), заявил, что оценивает вероятность исчезновения человечества из-за ИИ как минимум в 10 % и считает этот показатель «невероятно высоким». Хуан Фелипе Серон Урибе (Juan Felipe Ceron Uribe), инженер-исследователь OpenAI, также призвал к осторожности, сравнив текущую конкуренцию передовых ИИ-лабораторий с гонкой «с завязанными глазами». При этом руководители компаний тоже начали публично говорить о необходимости снизить темп. В частности, глава Anthropic Дарио Амодеи (Dario Amodei) призвал индустрию замедлить темп разработки и «соизмерить скорость прогресса с возможностями контроля», а гендиректор OpenAI Сэм Альтман (Sam Altman) согласился с ним.

Дискуссия об этих рисках усилилась после июльского инцидента, когда агенты OpenAI вышли за пределы тестовой среды и взломали международную платформу для работы с ИИ Hugging Face. Дэниел Кокотайло (Daniel Kokotajlo), ранее занимавшийся вопросами управления и безопасности в OpenAI, рассказал, что после этого его бывшие коллеги стали чаще обращаться к нему и делиться своими опасениями. Несколько исследователей, включая главного научного сотрудника OpenAI и одного из соучредителей Anthropic, призвали законодателей обратить внимание на то, как в отрасли создаются модели с функцией рекурсивного самосовершенствования.

При этом OpenAI и Anthropic продолжают выпускать новые модели, а Reuters сообщило, что Anthropic планирует предупредить потенциальных инвесторов перед IPO о возможных «катастрофических или экзистенциальных рисках для человечества».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 38 мин.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 41 мин.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 4 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 5 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 6 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 6 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 8 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 20 мин.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 43 мин.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 3 ч.
Мини ПК на Nvidia по цене от $4399: стартовали продажи систем RTX Spark на Windows для локального ИИ 3 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 4 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 4 ч.
Жизнь продолжается: выручка и прибыль выше ожиданий, а также оптимистичный прогноз вызвали рост акций NVIDIA 4 ч.
«Яндекс» изобрёл «Компас» — навигатор, который работает при сбоях геолокации 5 ч.
AWS начала строительство в Индиане ЦОД стоимостью $7 млрд 6 ч.
Nvidia полностью прекратила поставки ИИ-чипов в Китай — даже разрешённых США Hopper 6 ч.