Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Экзистенциальные риски для человечества»: Anthropic в преддверии IPO рассказала инвесторам об опасности ИИ

Существующие правила составления подобных документов подразумевают, что готовящаяся к выходу на биржу компания должна уведомлять инвесторов о рисках, с которыми она сталкивается или может столкнуться в своей деятельности. Поддерживая репутацию одного из самых мнительных разработчиков ИИ, компания Anthropic в проспекте для инвесторов почти треть объёма информации уделила факторам риска.

 Источник изображения: Anthropic

Источник изображения: Anthropic

По крайней мере, на это указывает агентство Reuters, говоря о наличии упоминаний об угрозах на 80 страницах из 261, присутствующих в документе. При этом сугубо бизнес-вопросам составители документа уделили всего 48 страниц. Передовые ИИ-модели, по словам представителей Anthropic, способны представлять «катастрофические или экзистенциальные риски для человечества», а также демонстрировать признаки «самозащиты» в поведении, скрывая информацию или манипулируя ею, сопротивляясь отключению и даже прибегать к шантажу. Компания предупреждает, что её модели могут становиться источником необратимого вреда. Ранее исследователь компании Эван Хабингер (Evan Hubinger) оценивал вероятность уничтожения человечества силами ИИ на протяжении десяти ближайших лет в более чем 10 %.

Что характерно, вышедшая на биржу в июне конкурирующая SpaceX в своём проспекте для инвесторов только 38 из 277 страниц посвятила обсуждению факторов риска. Как отмечает Anthropic, потенциальная осведомлённость создаваемых ИИ-моделей о стремлении разработчиков оценивать их безопасность ограничивает способность делать это эффективно. В некоторых случаях опасные проявления деятельности ИИ-моделей становятся достоянием общественности уже после их развёртывания. Современные ИИ-модели способны адаптировать своё поведение на этапе проверки, чтобы не выдавать свои «тёмные стороны».

Какое количество ресурсов Anthropic тратит на обеспечение безопасности своих ИИ-моделей, до конца понять сложно, но на протяжении одной из недель в июле под эти нужды были выделены до 6 % вычислительных мощностей, доступных компании. В условиях нехватки вычислительных ресурсов в целом подобное распределение становится компромиссом между интересами бизнеса и безопасностью. Тем более, что конкуренция весьма остра, и утрачивать лидерские позиции Anthropic не готова, хотя и начинает призывать всех участников рынка отдавать именно безопасности, а не извлечению прибыли. В своём обращении к инвесторам компания выражает уверенность, что построение надёжной и безопасной ИИ-инфраструктуры лежит в сфере коллективной ответственности, и что рынок должен вознаградить соответствующие усилия.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 14 мин.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 17 мин.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 2 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 3 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 4 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 4 ч.
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 6 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 6 ч.
Игры можно больше не выпускать: критики вынесли вердикт GTA VI 7 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 7 ч.
Пауза в гонке ИИ продержалась не долго и не ударила по сверхприбылям Nvidia и AMD 19 мин.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 3 ч.
Зонд «Вояджер-1» улетел от нас на одни световые сутки — на это ушло почти 50 лет, и он всё ещё работает 3 ч.
Everspin и JEDEC разрабатывают стандарт для MRAM, чтобы сделать её массовой 4 ч.
Мировые поставки OLED-мониторов удвоились, а MSI прогнала Samsung со второго места 4 ч.
Жизнь продолжается: выручка и прибыль выше ожиданий, а также оптимистичный прогноз вызвали рост акций NVIDIA 4 ч.
«Яндекс» изобрёл «Компас» — навигатор, который работает при сбоях геолокации 5 ч.
AWS начала строительство в Индиане ЦОД стоимостью $7 млрд 6 ч.
Nvidia полностью прекратила поставки ИИ-чипов в Китай — даже разрешённых США Hopper 6 ч.
Американские ЦОД гиперскейл-уровня уже потребляют электроэнергию как целые штаты 6 ч.