Сегодня 16 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → безопасность ии
Быстрый переход

ИИ-агент Muse без разрешения влез в личные сообщения пользователя — в Meta✴ сказали, что тот сам виноват

Поведение ИИ-агента Muse компании Meta✴✴ снова вызвало вопросы к его безопасности. Ранее агент без разрешения сообщил домашний адрес своего пользователя неизвестному человеку и даже договорился с ним о встрече. Теперь ИИ-агента обвинили в том, что он может получить неавторизованный доступ к личной информации владельцев iPhone и Mac.

 Источник изображения: AI

Источник изображения: AI

Хотя многие из тех, кто успел протестировать Muse, отзываются об ИИ-агенте положительно, выяснилось, что он не обеспечивает такой конфиденциальности, как заявляет Meta✴✴. Компания утверждала, что Muse был «с нуля создан как безопасный, надёжный, конфиденциальный и общедоступный персональный ИИ-агент». Однако его уличили в просмотре тысяч личных сообщений без соответствующего разрешения.

Джейсон Атен (Jason Aten) из издания Inc. тестировал Muse на Mac mini и iPhone. Он использует Mac mini специально для проверки новых агентов, подобных Muse. Установив программу, Атен начал давать ей простые задания. Агент заявил, что может помочь с идеями для новых статей. Но затем Muse повёл себя неожиданным образом, предложив тему для материала, основанную на информации, к которой у него не должно было быть доступа.

По словам Атена, он переписывался с соведущим подкаста о новом iPhone 18 Pro и своём решении остаться с прошлогодней моделью. Общение велось в текстовом формате через приложение «Сообщения». В какой-то момент Muse вмешался и предложил написать статью на эту тему, а также вызвался провести дополнительный сбор информации. Проблема заключалась в том, что Атен не давал Muse разрешения читать его сообщения.

На вопрос о том, как он узнал о разговоре, ИИ-агент ответил, что версия приложения для Mac способна считывать входящие уведомления. Затем эта информация передавалась в приложение Meta✴✴ для iPhone, где Muse и предложил идею статьи. Атен и не подозревал, что подобное вообще возможно, не говоря уже о том, что Muse действительно это делает. ИИ-агент утверждал, что не читает сами сообщения Атена и не имеет доступа к истории переписки. Однако журналиста эти объяснения не убедили.

Проведя более тщательную проверку, Атен выяснил, что Muse действительно синхронизирует локальную базу данных приложения «Сообщения». Более того, процесс синхронизации дошёл до 187 462-й строки этой базы данных, что указывает на наличие у Muse доступа к истории переписки, вопреки заверениям разработчиков об обратном.

Атен подтвердил, что не предоставлял Muse прав доступа ко всему диску на своем Mac — а именно такой доступ необходим агенту для чтения базы данных приложения «Сообщения». Журналист в своей статье об этом инциденте сообщает, что его удивила реакция Дэвида Синглтона (David Singleton), генерального директора Meta✴✴ Superintelligence Labs, разработавшей Muse. В серии публикаций в социальных сетях он, судя по всему, возложил вину за случившееся на самого Атена.

На данный момент неясно, каким именно образом Muse получил доступ к базе данных сообщений Атена. Если он не предоставил этот доступ случайно (а всё указывает на то, что этого не было), возникает закономерный вопрос: к чему ещё Muse может получить доступ, не имея на то соответствующего разрешения?

Как сообщает Tom's Hardware, за последние сутки к Meta✴✴ возникли и другие вопросы, касающиеся конфиденциальности и безопасности Muse. Выяснилось, что ИИ-агент может выполнять команды терминала на хост-сервере. Благодаря этому стало известно, что агент работает на базе систем с процессорами AMD EPYC Turin. Однако наличие такого доступа означает, что система потенциально способна выполнять и небезопасные команды.

Anthropic признала опасную зависимость от Amazon и Google — они одновременно являются её покупателями, продавцами и конкурентами

Anthropic получает почти половину выручки через Amazon и Google, которые одновременно предоставляют ей вычислительные мощности, инвестируют в неё и разрабатывают конкурирующие ИИ-модели. Компания предупредила, что такая зависимость создаёт риск конфликта интересов и может повлиять на доступ к вычислительным ресурсам, сообщило агентство Reuters со ссылкой на проспект, выпущенный к грядущему IPO.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Anthropic также признаёт в своём проспекте для инвесторов, что её бизнес зависит от небольшой группы партнёров и клиентов, и эта зависимость формирует серьёзные риски. В прошлом году до 47 % услуг Anthropic были проданы с использованием облачной инфраструктуры Amazon (AWS) и Alphabet (Google). Обе компании при этом являются крупными клиентами Anthropic, а ещё они же с ней и конкурируют на рынке ИИ-услуг. Подобные взаимосвязи при неблагоприятном стечении обстоятельств могут ухудшить конкурентное положение стартапа. В 2023 году указанные компании формировали только 11 % выручки стартапа, но уже в 2024 году их доля выросла до 32 %.

Выручка Anthropic, которая в прошлом году увеличилась в 12 раз до $4,6 млрд, была сформирована поступлениями от клиентов Claude ($3,8 млрд) и подписчиков ($789 млн). В обозримом будущем переменная величина выручки, определяемая платой за использование Claude, продолжит доминировать в её структуре, как отмечает стартап. Через облачные маркетплейсы Anthropic получила 47 % всей своей выручки в прошлом году, а именно — $2,16 млрд. На комиссии платформам она при этом потратила $351 млн. По сути, облачные провайдеры в среднем получали 16 центов с каждого вырученного Anthropic доллара.

В конце 2025 года Anthropic располагала договорённостями с провайдерами и строителями ЦОД на общую сумму $54,6 млрд, но к началу текущего года долгосрочные договорённости в этой сфере уже измерялись $417 млрд и соответствовали 3,5 ГВт вычислительных мощностей. Компания считает, что её сотрудничество с Amazon, Google и Microsoft (Azure) в этой сфере является преимуществом, поскольку она может быстрее наращивать продажи своих услуг и охватывать большее количество покупателей. При этом зависимость лишь от нескольких крупных игроков рынка создаёт определённые риски, как признаёт Anthropic. Помимо прочего, партнёры компании имеют доступ к информации о её ценовой и маркетинговой политике.

К концу 2025 года партнёры Anthropic отвечали за 60 % счетов, предъявленных клиентам стартапа на общую сумму $909 млн, тогда как в 2024 году эта доля не превышала 42 %. Даже если у Anthropic существуют прямые договорённости с клиентами, посредничество облачных гигантов в качестве платёжных агентов может представлять определённые риски для темпов роста выручки стартапа. Кроме того, крупнейшие клиенты Anthropic в прошлом году вдвоём формировали по 12 % всей выручки компании каждый, и такая степень концентрации тоже создаёт определённые риски для бизнеса.

Также компания к рискам относит выход из-под контроля ИИ-агентов. «Эти автономные возможности увеличивают вероятность ущерба, ошибок, нарушений и эксплуатации уязвимостей в сфере безопасности, которые могут повлечь последствия в реальном мире», — описывает Anthropic в проспекте угрозу, исходящую от вышедших из-под контроля ИИ-агентов. Лимиты ответственности, которые прописаны в договорах Anthropic с пользователями её ИИ-систем, могут оказаться недостаточными для покрытия возможного ущерба и претензий со стороны пострадавших от действий этих клиентов.

Существующие правовые нормы, по словам представителей стартапа, не предусматривают регулирование активного использования ИИ-агентов, а потому правовые последствия подобных инцидентов остаются непредсказуемыми. С юридической точки зрения действия ИИ-агентов сложно трактовать, используя традиционную практику. Во-первых, не определён статус самих агентов в правовом поле. Во-вторых, не определена степень ответственности непосредственных пользователей этих ИИ-агентов перед третьими лицами. Anthropic признаёт, что предпринимаемые ею меры безопасности могут оказаться недостаточными для предотвращения вреда, включая ущерб самой компании.

Американские ИИ-гиганты в присутствии Трампа договорились о саморегулировании в области безопасности

Мероприятие в Белом доме вчера объединило представителей более десятка крупных американских компаний, так или иначе связанных со сферой искусственного интеллекта. В присутствии президента США Дональда Трампа (Donald Trump) представители отрасли подписали меморандум, по которому они берут на себя обязательства по саморегулированию развития искусственного интеллекта. Независимый аудит станет одним из залогов безопасности создаваемых ИИ-систем.

 Источник изображения: Unsplash, Tomasz Zielonka

Источник изображения: Unsplash, Tomasz Zielonka

Помимо прочего, это соглашение предусматривает прохождение регулярного независимого аудита разработчиками ИИ-моделей. Участники инициативы также обязуются регулярно встречаться для разработки стандартов безопасности. Со стороны обширной делегации участников встречи в Белом доме документ подписали руководители Google, Tesla (SpaceX), Anthropic, Meta✴✴ Platforms, OpenAI и Nvidia. По словам самого Трампа, этот документ накладывает на подписавшие его компании «моральные обязательства», и становится своего рода гарантом защиты. Внутри компаний-разработчиков отдельная команда будет проверять работу систем защиты, а внешний аудитор будет проверять её эффективность. Независимый проверяющий будет получать соответствующие отчёты и проверять их. Со временем, как подчёркивается, формулируемые принципы могут быть закреплены на законодательном уровне.

Со стороны участников инициативы, помимо обязательств проведения регулярного независимого аудита безопасности разрабатываемых ИИ-систем, документ предписывает создание специального комитета в составе совета директоров, который и будет рассматривать результаты этого аудита. От разработчиков также требуется усиление мер контроля за действиями ИИ-моделей на этапе обучения и развёртывания, чтобы они не вторгались в сторонние технические системы «нежелательным образом». Отвечать за сохранение контроля за моделями внутри каждой компании должна отдельная структура.

При этом сам Дональд Трамп попутно продвигал другую инициативу по переименованию «искусственного интеллекта» в «сверхинтеллект» (superintelligence) в надежде дистанцировать это понятие от тех негативных ассоциаций, которые закрепились за ним в последние месяцы из-за скандалов с безопасностью ИИ-моделей. Своим указом Трамп потребовал использовать термин «сверхинтеллект» всем государственным ведомствам США. По всей видимости, данный шаг в какой-то мере направлен на завоевание доверия американских избирателей перед промежуточными выборами, которые состоятся в ноябре. Указ получил название «Провозглашая эру сверхинтеллекта», его положения требуют от официальных лиц исключить использование термина «искусственный интеллект» или сокращения «AI».

По словам Трампа, это решение поддержали «умнейшие и великолепнейшие люди со всего мира». Между тем, основным документом, появившимся по итогам встречи американского президента с обширной группой руководителей американских компаний технологического сектора, стало «Соглашение о сверхинтеллекте», которое было снабжено подзаголовком «Совместная договорённость по передовым обязательствам». Хотя формально этот документ не имеет строгой юридической силы, он служит подтверждением добровольного согласия участников американского рынка ИИ-систем придерживаться некоторых принципов саморегулирования. Трамп сравнил подписанный документ «со своего рода конституцией» по значимости для ИИ-отрасли. Он также признался, что администраций президента подумывает о создании специального правительственного комитета из десяти человек, который курировал бы развитие ИИ. Состав этого органа власти Трамп раскрывать не стал, но заявил, что буквально через три или четыре дня назовёт имя чиновника («ИИ-царя»), который в правительстве США будет курировать развитие данных технологий.

Одновременно участники встречи в Белом доме подтвердили свои намерения расширять вычислительную инфраструктуру ИИ ударными темпами, поскольку действующий президент США является ярым сторонником прогресса в данной сфере. Принято считать, что стремительная экспансия ЦОД на территории США вредит рейтингам Республиканской партии, представителем которой является Трамп. Местные жители протестуют против строительства ЦОД, которые занимают крупные земельные участки, потребляют много водных ресурсов и электроэнергии, а также становятся источником постоянного шума. Трамп на этой неделе подчеркнул, что распространение ЦОД по территории США является очень хорошей тенденцией, и представители строящих их компаний заинтересованы в том, чтобы местные жители оставались довольны. В противном случае им придётся строить ЦОД за пределами США. Президент возложил на компании обязанности по проведению разъяснительной работы среди населения, чтобы оно не так сильно противилось строительству новых ЦОД.

Генеральный директор Anthropic Дарио Амодеи (Dario Amodei), которого не пригласили на официальный ужин с участием Си Цзиньпина (Xi Jinping) во время визита китайского лидера в Вашингтон, присутствовал на мероприятии с участием своих коллег из других компаний, и по итогам встречи выразил готовность поддерживать совместную работу с президентом по обеспечению безопасности выпускаемых ИИ-технологий. Сообщается, что Амодеи в минувшее воскресенье посетил Белый дом для персональной встречи с американским президентом. После групповой встречи с представителями отрасли Трамп отозвался о главе Anthropic, как о «фантастическом человеке» и отправил его общаться с прессой.

Трамп подчеркнул, что контроль за развитием ИИ будут осуществлять и привычные федеральные ведомства, включая ФБР и Министерство юстиции США, но одновременно нужно и саморегулирование со стороны представителей отрасли. В тот же день правительство США объявило о запуске нового чат-бота, который будет работать на правительственных сайтах. Ресурс America.gov, предназначенный для взаимодействия с гражданами по вопросам услуг правительства, будет функционировать при поддержке профильных ИИ-моделей. Услуги можно будет получать по принципу «единого окна». Все федеральные агентства должны будут интегрировать свои сервисы с этим ресурсом. Получится что-то типа американской версии «Госуслуг».

«Экзистенциальные риски для человечества»: Anthropic в преддверии IPO рассказала инвесторам об опасности ИИ

Существующие правила составления подобных документов подразумевают, что готовящаяся к выходу на биржу компания должна уведомлять инвесторов о рисках, с которыми она сталкивается или может столкнуться в своей деятельности. Поддерживая репутацию одного из самых мнительных разработчиков ИИ, компания Anthropic в проспекте для инвесторов почти треть объёма информации уделила факторам риска.

 Источник изображения: Anthropic

Источник изображения: Anthropic

По крайней мере, на это указывает агентство Reuters, говоря о наличии упоминаний об угрозах на 80 страницах из 261, присутствующих в документе. При этом сугубо бизнес-вопросам составители документа уделили всего 48 страниц. Передовые ИИ-модели, по словам представителей Anthropic, способны представлять «катастрофические или экзистенциальные риски для человечества», а также демонстрировать признаки «самозащиты» в поведении, скрывая информацию или манипулируя ею, сопротивляясь отключению и даже прибегать к шантажу. Компания предупреждает, что её модели могут становиться источником необратимого вреда. Ранее исследователь компании Эван Хабингер (Evan Hubinger) оценивал вероятность уничтожения человечества силами ИИ на протяжении десяти ближайших лет в более чем 10 %.

Что характерно, вышедшая на биржу в июне конкурирующая SpaceX в своём проспекте для инвесторов только 38 из 277 страниц посвятила обсуждению факторов риска. Как отмечает Anthropic, потенциальная осведомлённость создаваемых ИИ-моделей о стремлении разработчиков оценивать их безопасность ограничивает способность делать это эффективно. В некоторых случаях опасные проявления деятельности ИИ-моделей становятся достоянием общественности уже после их развёртывания. Современные ИИ-модели способны адаптировать своё поведение на этапе проверки, чтобы не выдавать свои «тёмные стороны».

Какое количество ресурсов Anthropic тратит на обеспечение безопасности своих ИИ-моделей, до конца понять сложно, но на протяжении одной из недель в июле под эти нужды были выделены до 6 % вычислительных мощностей, доступных компании. В условиях нехватки вычислительных ресурсов в целом подобное распределение становится компромиссом между интересами бизнеса и безопасностью. Тем более, что конкуренция весьма остра, и утрачивать лидерские позиции Anthropic не готова, хотя и начинает призывать всех участников рынка отдавать именно безопасности, а не извлечению прибыли. В своём обращении к инвесторам компания выражает уверенность, что построение надёжной и безопасной ИИ-инфраструктуры лежит в сфере коллективной ответственности, и что рынок должен вознаградить соответствующие усилия.

Агенты OpenAI предпринимали попытки атаки на один из сайтов ООН на протяжении нескольких месяцев

Попытки ИИ-агентов OpenAI «проверить на прочность» систему защиты сайтов различных правительственных ведомств США уже были выявлены в конце прошлой недели, когда речь шла о ресурсах федеральных ведомств и Министерства образования США. Недавно стало известно, что в попытках доступа к данным на сайте ООН эти агенты использовали довольно агрессивную тактику.

 Источник изображения: Unsplash, Bernd Dittrich

Источник изображения: Unsplash, Bernd Dittrich

Как отмечает The Wall Street Journal со ссылкой на заявления исследователя в сфере безопасности Роуэн Говард-Джонс (Rowan Howard-Jones), в период с апреля по конец июня этого года ИИ-агенты OpenAI более 16 000 раз сканировали сайт Конференции ООН по торговле и развитию (UNCTAD). Предположительно, им было поручено найти публично доступные данные вроде значений индекса производственного потенциала различных стран. Не обладая доступом и к ним через API и ограничиваясь возможностями инструментария HTTP, агенты не смогли получить необходимые данные, а потому в определённый момент перейти к более агрессивной тактике. Предположив, что их продвижение ограничивает некий фильтр, ИИ-агенты начали маскировать свои попытки получить доступ к необходимым данным. В частности, были предприняты попытки атаки на сайт ООН через уязвимость в Google XSS (межсайтовый скриптинг).

Представители OpenAI сообщили, что уже обратились к ООН для обсуждения ситуации, и при этом продолжают выяснять все обстоятельства данного инцидента. Поскольку специалистам стартапа приходится иметь дело с большим количеством инцидентов, расследование каждого может занять существенное время. С другой стороны, принятое решение приостановить обучение ИИ-моделей должно способствовать сокращению количества новых происшествий в данной сфере.

ИИ-агенты OpenAI массово атаковали базы данных онлайн в поисках малоизвестных сведений

Разработанные OpenAI агенты искусственного интеллекта в течение нескольких месяцев атаковали ресурсы Data USA, Университета Нью-Мексико и Австралийского института здравоохранения и социального обеспечения в стремлении извлечь малоизвестные данные. Об этом сообщила некоммерческая лаборатория Transluce, которая занимается вопросами контроля за сферой ИИ.

 Источник изображений: Brecht Corbeel / unsplash.com

Источник изображений: Brecht Corbeel / unsplash.com

Очередное расследование поднимает вопросы о том, когда именно инженеры OpenAI должны были узнать, что их агенты пытаются проникнуть в защищённые системы в открытом интернете. Специалисты Transluce обнаружили свидетельства неправомерных действий ИИ-агентов OpenAI — в течение нескольких недель они производили поиск слабозащищённых веб-сервисов и сопоставляли полученные данные с открытой информацией о роях ИИ-агентов в Сети. Доклад был опубликован в тот же день, когда премьер-министр Австралии Энтони Албаниз (Anthony Albanese) рассказал, что системы OpenAI пытались взломать четыре правительственных сайта. В одном из случаев попытка увенчалась успехом — ИИ-агенты записали файлы на внутренний сервер национальной системы здравоохранения страны. По версии австралийских властей, инцидент произошёл в рамках эксперимента по поиску информации; эту гипотезу подтвердили Transluce и другие исследователи.

В ходе данных операций, а это могут быть обучение или тестирование, моделям OpenAI дают задание находить малоизвестные статистические данные: показатели борьбы с наркоторговлей в Таиланде, стоимость медикаментов в Австралии или величину медианного дохода жителей США со степенью магистра в 2014 году. В поиске ответов ИИ-агенты обращаются к слабозащищенным веб-сервисам и зачастую пытаются проникнуть в закрытые базы данных. Подобная активность наблюдается как минимум с марта 2026 года, а возможно, и с ноября 2025 года — не исключено, что она продолжается и сейчас. OpenAI связалась с десятками пострадавших организаций, чтобы уведомить их о несанкционированных действиях своих агентов, сообщили в компании. Среди них оказались правительственные ведомства, университеты и государственные учреждения. Атакам подверглись базы данных Комиссии по ценным бумагам и биржам (SEC) США, Бюро переписи населения и Министерства образования, сообщила New York Times.

Transluce начала расследование, когда другая группа исследователей обнаружила малоизвестный форум, на котором ИИ-агенты координировали свои действия для успешного прохождения ограниченных по времени тестов. В работе использовались данные службы, которая выступает в роли прокси-сервера для браузера в целях исследования вопросов безопасности — пользователи могут анализировать URL, не открывая соответствующих страниц. Сервис публикует общедоступные журналы такой активности, и исследователи Transluce идентифицировали использовавших его ИИ-агентов, сопоставив данные с обсуждениями на форуме.

«Мы выявили автоматизированную активность в значительных объёмах, тесно связанную с набором данных DSE Wiki и частично относящуюся к тому же рою ИИ-агентов, существование которого теперь подтвердила OpenAI», — заявили в Transluce. При этом не все зафиксированные действия можно было связать с OpenAI и просто ИИ-агентами. Записи на справочном ресурсе указывают, что перед агентами поставили задачу установить довольно специфический факт — определить средние расходы на дерматологические препараты на одного человека в австралийском штате Виктория по состоянию на январь 2022 года. Один из агентов 21 июня обсуждал невозможность обойти системы защиты от ботов, установленные Австралийским институтом здравоохранения и социального обеспечения; в тот же день, утверждают исследователи, сайт посетил и сотрудник OpenAI — человек. На следующий день активность агентов на форуме прекратилась. А 18 июня, незадолго до этого, стало известно об уязвимости в системе здравоохранения Австралии.

В OpenAI сообщили, что узнали о случившемся лишь в августе. «Наш предварительный анализ показал, что значительная часть описанной в докладе Transluce активности совпадает с инцидентами, находящимися на разных этапах расследования в рамках проводящейся проверки действий моделей вразрез с заданными целями. Мы связались с Университетом Нью-Мексико и Data USA, а также поддерживаем контакт с властями Австралии по поводу затронутых правительственных сайтов. <..> Учитывая масштаб этой работы и необходимость проверки каждого отдельного инцидента, мы ожидаем, что процесс анализа займёт несколько месяцев», — заявили в ИИ-лаборатории.

Не имея чёткого понимания того, как OpenAI отслеживает действия своих ИИ-агентов, трудно делать выводы, что именно компания должна о них знать. Данные службы прокси-сервера указывают, что запросы аналогичных наборов данных с применением схожих методов фиксировались в марте 2026 и, возможно, ещё в ноябре 2025 года; подобная активность наблюдалась даже на этой неделе, сообщили в Transluce. В организации пообещали продолжить исследования, чтобы донести до сведения общественности информацию обо всех инцидентах. ИИ-агенты прибегают к хакерским приёмам для решения задач из-за методов обучения ИИ, которые применяют в OpenAI и других лабораториях — не исключено, что известные на текущий момент случаи — это лишь «верхушка айсберга».

Из Google DeepMind ушёл ещё один сотрудник, опасающийся разработки сверхмощного искусственного интеллекта

Ещё один сотрудник Google объявил об уходе из компании, назвав стремление к созданию мощного искусственного интеллекта «по своей сути безответственным». Об этом написало издание Business Insider.

 Источник изображения: Gemini

Источник изображения: Gemini

Роберт О'Каллахан (Robert O'Callahan), работавший в подразделении Google DeepMind, написал в соцсети X, что его команда занималась разработкой чипов для повышения скорости и снижения стоимости работы ИИ. Однако сам он считает, что развитие этой технологии идет «слишком быстро». В своём личном блоге он опубликовал текст письма об увольнении, которое, по его словам, было отправлено коллегам в пятницу. В письме он отметил, что не может «закрывать глаза» на последствия своей работы, поскольку это «не соответствовало бы принципам последователя Иисуса» (в описании профиля блога он называет себя христианином).

«Это было непростое решение. Я люблю своих коллег и рабочую атмосферу. Получать высокую зарплату за решение увлекательных задач — это здорово. Но конечная цель моей команды — сделать ИИ намного дешевле и быстрее (сократить задержки при обработке данных), а я не думаю, что сейчас это пойдёт людям на пользу. Я твёрдо убежден, что прогресс в области ИИ идет слишком стремительно (да и в том, куда именно мы движемся, у меня тоже есть сомнения)», — написал он.

Изданию Business Insider не удалось выяснить, как долго О'Каллахан, проживающий, по его словам, в Новой Зеландии, проработал в Google. На просьбу о дополнительных комментариях он предложил журналистам ознакомиться с записью в блоге. В Google от комментариев отказались.

О'Каллахан пополнил ряды сотрудников компаний, занимающихся ИИ, которые либо уволились из-за опасений по поводу безопасности технологий, либо забили тревогу, продолжая работать в отрасли. Например, ранее в этом месяце компанию Anthropic покинул Джейкоб Коксон (Jacob Coxon). Причиной его ухода стали опасения, что в индустрии создаются технологии, которые в конечном итоге невозможно будет контролировать. Его слова усилили общие опасения по поводу того, что продвинутый ИИ однажды может уничтожить человечество. В прошлом месяце исследователь Google DeepMind Билал Чугтай (Bilal Chughtai) сообщил, что уволился из компании ещё летом, так как опасался, что у человечества может не хватить времени, чтобы предотвратить сценарий, при котором ИИ нанесёт ему вред.

Впрочем, позиция О'Каллахана не столь радикальна, как у некоторых его коллег по технологической отрасли. В отдельной, более развернутой записи в своём блоге он отметил, что, по его мнению, многие предупреждения об опасностях, связанных с ИИ, «заслуживают того, чтобы к ним отнеслись серьёзно», однако он «не убеждён, что вероятность катастрофы из-за искусственного сверхрхинтеллекта (ASI) составляет 100 %».

«Скорее, я считаю, что риск реален, но не определён. Но уже одно это вызывает серьезную тревогу. Мы морально обязаны приложить огромные усилия для минимизации этого риска. Вероятно, он настолько велик, что стремление к созданию ASI в ближайшем будущем само по себе безответственно», — написал О'Каллахан.

Он выразил уверенность в искренности сотрудников технологических компаний, предупреждающих об опасностях ИИ.

«Я не видел никаких веских доказательств того, что люди раздувают тему рисков ИИ ради повышения стоимости акций своих компаний или чтобы устранить конкурентов с помощью регулирования», — написал он.

Как отмечает Business Insider, О'Каллахана, похоже, уже давно беспокоили потенциальные риски, связанные с ИИ.

«Три факта: я работаю в Google DeepMind; я считаю, что ИИ, скорее всего, обернётся катастрофой для человечества; и я верю, что Иисус воскрес из мёртвых. Такое сочетание, возможно, делает меня уникальным. И, безусловно, создает неловкую ситуацию», — написал он в своём блоге ещё в ноябре 2025 года.

В письме об увольнении О'Каллахан сообщил, что планирует продолжать работу в сфере ИИ в ином формате, в частности, изучая возможности использования ИИ-агентов для отладки кода. Он также отметил, что его уход не был намеренно приурочен к действиям других сотрудников, недавно покинувших профильные лаборатории из-за опасений по поводу безопасности.

«Почему я ухожу именно сейчас, а не раньше? Это никак не связано с недавней волной громких увольнений или предупреждениями о необходимости "замедлить развитие ИИ". Это просто совпадение. Я запланировал эту дату довольно давно, так как в понедельник у меня начинается заранее намеченный десятидневный поход с друзьями (по маршрутам Абель-Тасман и Вангапека), и я хотел уволиться до начала этой поездки», — написал он.

Дональд Трамп и Си Цзиньпин обсудили вопросы безопасности ИИ при личной встрече, но воздержались от подробных заявлений

Эта рабочая неделя завершилась правительственным ужином в Белом доме, на котором присутствовали президент США Дональд Трамп (Donald Trump), китайский лидер Си Цзиньпин (Xi Jinping) и руководители ряда американских компаний технологического сектора. По итогам мероприятия стало ясно, что политики коснулись темы безопасности ИИ, но конкретных программных заявлений они пока делать не готовы.

 Источник изображения: Unsplash, René DeAnda

Источник изображения: Unsplash, René DeAnda

Фактически, как отмечает CNBC, только китайская сторона подготовила пресс-коммюнике по итогам данного ужина, а американский президент ещё в четверг предвосхитил мероприятие публикацией в социальной сети Truth Social следующими словами: «Сверхинтеллект будет важной темой обсуждения, но я оставлю это ровно на том месте, где и сейчас. Это является и позицией Китая».

Заявление китайской стороны было более развёрнутым, но при этом в большей мере опиралось на описание позиции национального лидера: «Обе стороны могут продолжать диалог по ИИ, обмениваться мнениями по поводу его рисков и преимуществ, а также совместными усилиями предотвращать ущерб и злоупотребление ИИ. Он должен оставаться под контролем человека. Лидирующая роль человека должна сохраняться, а ИИ должен разрабатываться для положительных и полезных целей, чтобы служить прогрессу всего человечества». Позицию Трампа китайская делегация изложила кратко, отметив, что «он поддержал идею сохранения диалога и углубления сотрудничества в сфере ИИ».

Ещё до встречи американского и китайского лидеров министр финансов США Скотт Бессент (Scott Bessent) провёл переговоры с премьер-министром КНР Хэ Лифэном (He Lifeng), обсудив с ним возможность создания прямого канала связи для экстренного обмена информацией о серьёзных инцидентах в сфере безопасности. Во времена «холодной войны», как отмечается, подобная прямая линия связи существовала между США и СССР, и оно способствовала деэскалации Карибского кризиса. CNBC также добавляет, что ранее власти США и КНР в отдельных заявлениях дали понять, что не поддерживают идею добровольного замедления темпов развития ИИ, которая выдвигается некоторыми представителями американской технологической отрасли.

Не нужно забывать, что у КНР и США имеются и противоречия в сфере развития ИИ, поскольку американские власти давно пытаются ограничить доступ китайских разработчиков как к передовым чипам для ускорения вычислений, так и к облачным мощностям за пределами Китая, а ещё американцы нередко обвиняют китайскую сторону в «дистилляции» собственных ИИ-моделей ради сокращения отставания от США. Будет ли налажено конструктивное взаимодействие между сторонами в дальнейшем, станет понятно позже. Американскую технологическую отрасль на ужине в Белом доме представляли главы компаний Microsoft, OpenAI, Apple, Nvidia, AMD, Meta✴✴ Platforms и основатель Google Сергей Брин (Sergey Brin). Само собой, не обошлось и без Илона Маска (Elon Musk).

Альтман и другие лидеры ИИ-индустрии предупредили Совбез ООН: ИИ может стать угрозой для человечества

Главы ряда ведущих компаний в сфере ИИ выступили на заседании Совета безопасности ООН с предупреждением о рисках, которые искусственный интеллект представляет для человечества, призвав правительства к совместным действиям по управлению этой стремительно развивающейся технологией, пишет Reuters.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Генеральный директор компании Anthropic Дарио Амодеи (Dario Amodei) отметил, что при неправильном управлении искусственный интеллект может представлять угрозу для человечества в целом. «Несмотря на все разногласия между присутствующими в этом зале, мы должны отбросить их, чтобы противостоять этой глобальной угрозе, с которой мы столкнулись. Ни один лидер, ни одна компания и ни одна страна не справятся с ней в одиночку», — заявил он.

Как отметило агентство Reuters, Соединённые Штаты и Китай, две ведущие державы в области разработки ИИ, в корне отличаются в подходе к регулированию ИИ. Президент Дональд Трамп (Donald Trump) заявил, что США не нужны новые нормативные акты, регулирующие сферу ИИ, в то время как Китай ввёл регулирование, касающееся использования ИИ-алгоритмов и обучающих данных, включая требования к чёткой маркировке контента, созданного с помощью ИИ.

Генеральный директор OpenAI Сэм Альтман (Sam Altman) заявил о необходимости международного сотрудничества в сфере ИИ. «Чтобы искусственный интеллект был демократичным, важнейшие решения не должны приниматься только в лабораториях Сан-Франциско. Они должны приниматься в рамках демократических процессов и под контролем правительств, подотчётных народу, которому они служат», — подчеркнул он.

Канадский учёный Йошуа Бенжио (Yoshua Bengio), считающийся одним из крёстных отцов искусственного интеллекта, заявил, что опасности реальны и неизбежны. «Совет безопасности столкнулся с беспрецедентной угрозой, которую никто из его членов не выбирал, которую никто не может сдержать в одиночку и которая не признает границ, которые мы защищаем», — сказал он.

За день до этого, в выступлении на Генеральной ассамблее ООН Трамп заявил мировым лидерам, что он отвергает любые попытки создать глобальную схему контроля над искусственным интеллектом, назвав эту технологию потрясающей и отметив, вместе с тем, что США будут действовать с осторожностью.

Совет безопасности проводит заседания для обсуждения рисков, связанных с искусственным интеллектом, начиная с 2023 года.

«Ставки растут»: OpenAI пустит сторонних проверяющих на более ранние этапы разработки ИИ-моделей

Руководство конкурирующих американских стартапов Anthropic и OpenAI продемонстрировало редкое единодушие в середине этого месяца, когда речь зашла о необходимости снижения темпов развития ИИ ради обеспечения общественной безопасности. Теперь компания OpenAI объявила, что готова предоставлять доступ сторонним аудиторам к своим ИИ-моделями на более ранних этапах разработки, чем это допускалось до сих пор.

 Источник изображения: Unsplash, TheRegisti

Источник изображения: Unsplash, TheRegisti

Напомним, Anthropic предложила участникам рынка сделать этот процесс более открытым для сторонних экспертов, которые могли бы указывать на угрозы для общества со стороны создаваемых ИИ-моделей, чтобы они устранялись ещё до их выхода на рынок. Сама Anthropic продемонстрировала готовность следовать этому принципу, пригласив специалистов Accenture для проведения профильного аудита.

Конкурирующая OpenAI предложила создавать международные организации, которые помогали бы следить за безопасностью выпускаемых на рынок ИИ-моделей, а также призвала американское правительство способствовать появлению общепринятых стандартов в этой сфере. Как отмечает Bloomberg, этот стартап также готов предоставить сторонним аудиторам доступ к оценке безопасности своих ИИ-моделей на более ранних этапах разработки, чем это предполагалось до сих пор. Аудит может проводиться на этапе обучения, оценки возможностей готовых моделей и их публичного распространения, поясняет источник. При этом к процедуре самого аудита OpenAI также выдвигает ряд требований, поскольку он должен быть независимым, добросовестным и доскональным с точки зрения погружения в вопросы безопасности. Кроме того, аудиторы должны нести ответственность за результаты своего труда.

По словам представителей OpenAI, до сих пор компания приглашала сторонних специалистов на этапе оценки возможностей своих ИИ-моделей ближе к моменту их выпуска в оборот. «По мере того, как ставки растут, мы хотим убедиться, что также уделяем внимание таким вещам, как обучение и оценка, которые относятся к высоким ставкам, в дополнение к нашим процедурам развёртывания», — отметила в своём интервью Лама Ахмад (Lama Ahmad), которая в OpenAI отвечает за взаимодействие с внешними аудиторами. Сторонние специалисты, по её словам, могут получить доступ в офисы компании для анализа самой чувствительной части её работы. Подобный опыт взаимодействия с ними у OpenAI уже есть. Сейчас стартап ведёт отбор подрядчиков, которые могли бы заняться подобной работой, причём среди кандидатов есть как новые для OpenAI имена, так и уже знакомые. Некоторые из них уже занимались расследованием инцидента с Hugging Face. На лаборатории ложится существенная ответственность за обеспечение подробного анализа с одновременной возможностью защиты чувствительной информации, отмечается в публикации на сайте OpenAI.

Meta✴ научила ИИ-агента Muse звонить от имени пользователей — но иногда вместо него звонят люди

Meta✴✴ Platforms делает ставку на развитие агентского ИИ, который позволяет пользователю делегировать профильному программному обеспечению выполнение функций по взаимодействию с внешними интернет-сервисами потребительского уровня. Как выяснило агентство Reuters, тестирование ИИ-агента Muse подразумевает осуществление телефонных звонков от имени пользователя, но содержимое разговоров остаётся доступным подрядчикам Meta✴✴.

 Источник изображения: Unsplash, Jonathan Borba

Источник изображения: Unsplash, Jonathan Borba

Функция телефонных звонков в Muse была запущена недавно, а на прошлой неделе персонал компании был уведомлён о том, что при тестировании новшества привлекаются подрядчики, имеющие доступ к содержанию телефонных звонков и по сути их осуществляющие. Подобные откровения работодателя уже вызвали озабоченность некоторых сотрудников Meta✴✴ вопросами приватности пользовательской информации, отмечает источник. Функция обзвона с помощью ИИ-агента подразумевает, что он в голосовом режиме общается с представителями компаний и сервисов, бронируя билеты или договариваясь о записи пользователя в парикмахерскую, например. Сотрудники Meta✴✴ опасаются, что чувствительная для пользователя информация может случайным образом попасть в руки подрядчиков, которые обрабатывают часть телефонных звонков на этапе тестирования функции.

Были отмечены и случаи высказываний расистского толка со стороны подрядчиков, что также может влиять на репутацию пользователей ИИ-агента Muse. Руководство Meta✴✴ подчеркнуло в своих комментариях, что обработка телефонных звонков подрядчиками была ошибочной инициативой, и сейчас подобная деятельность уже свёрнута. С другой стороны, совершающие звонки от лица пользователя Muse подрядчики, как показывает статистика, со своей задачей справлялись в 95 или 98 % случаев, тогда как общение голосового робота с человеком демонстрировало меньшую долю успеха. Допустивший расистское высказывание «живой агент», по словам представителей Meta✴✴, навсегда будет отлучён от возможности работать над проектами компании.

В истории деятельности Meta✴✴ имеется и другой пример замещения автоматизации человеческим трудом. Ещё десять лет назад, именуемая тогда Facebook✴✴ компания представила цифрового ассистента M, который работал с фирменным мессенджером. Как удалось позже выяснить прессе, около 70 % функциональных задач такого агента в действительности обрабатывались людьми. Сейчас представители Meta✴✴ заявляют, что эксперименты с «живым консьержем» были направлены на определение слабых мест в вопросах безопасности и приватности до того, как функция будет тиражироваться на рынке. Когда данная функция начнёт предлагаться пользователям Muse, компания обещает раскрыть все особенности её работы с точки зрения доступа к чувствительным данным. С момента анонса Muse в этом месяце приложение было скачано более 2,5 млн раз.

На этапе дебюта Muse компания уверяла пользователей, что каждый агент будет работать в пределах собственной виртуальной машины в облачном пространстве, позволяя изолировать данные каждого человека от посторонних глаз и хранить самые важные данные в безопасном разделе. Тестирование функции звонков внутри Muse началось ещё в августе, но в первые дни после выхода ИИ-агента на рынок она стала доступна и определённому количеству пользователей. Один из пользователей столкнулся с тем, что попытки дозвониться до его страховой компании от лица ИИ-агента заканчивались тем, что оператор на том конце линии каждый раз вешал трубку, когда понимал, что с ним общается голосовой робот. На прошлой неделе функция «человеческих агентских звонков» стала доступна половине сотрудников Meta✴✴, чтобы ускорить процесс тестирования и выявления слабых мест. При этом участие в программе корпоративного тестирования остаётся добровольным, сотрудники Meta✴✴ могут от него отказаться.

ИИ-гонка выжигает специалистов по безопасности — они массово жалуются на истощение и увольняются

Разного рода неприятные инциденты с причинением вреда инфраструктуре компаний вышедшими из-под контроля ИИ-моделями только подчеркнули важность проверки новейших разработок на безопасность. Поскольку этой работой заняты живые люди, растущая нагрузка заставляет их массово жаловаться на эмоциональное истощение.

 Источник изображения: Unsplash, Massimiliano Sarno

Источник изображения: Unsplash, Massimiliano Sarno

Издание приводит комментарии нескольких специалистов, которые по долгу службы вынуждены тратить всё больше времени и сил на тестирование передовых ИИ-моделей, попутно чувствуя растущую ответственность перед обществом. Сотрудники Британского института безопасности ИИ, которые специализируются на независимой оценке новейших ИИ-моделей, во многих случаях вынуждены брать больничные из-за эмоционального истощения и получать консультации медицинских специалистов. Этому способствует как растущий темп исследований, проводимых организацией, так и увеличение груза ответственности перед человечеством.

Строго говоря, серия добровольных увольнений из ведущих западных ИИ-компаний как раз указывает на актуальность описанной проблемы. Специалисты по ИИ не только жалуются на усталость и выгорание, но и на возникающие сложности в реализации задачи обеспечения безопасности искусственного интеллекта. Порой проблема заключается не столько в технических препятствиях, сколько в административных, поскольку руководство стартапов заинтересовано в ускорении разработки новых ИИ-моделей, и вопросы их безопасности ранее ставились не на первый план.

Как и руководство Anthropic, многие разработчики ИИ чувствуют психологический дискомфорт, оставаясь в неведении относительно сфер применения своих разработок. Пентагон не скрывает намерений использовать системы ИИ в военной сфере, и многих сотрудников ИИ-компаний мысль о своей причастности к созданию летальных технологий начинает морально угнетать. Сотрудники не только берут больничные, но и увольняются. Этические правила и корпоративные стандарты в сфере безопасности ИИ пока только формируются, и некоторым специалистам кажется, что определённые грани дозволенного уже пройдены, и человечество начинает страдать от их разработок.

Кибербезопасность и биотехнологии являются двумя главными источниками подобного беспокойства, поскольку прогресс ИИ в данной сфере настолько велик, что ИИ-модели демонстрируют способность причинять серьёзный ущерб информационной инфраструктуре целых компаний, а злоумышленники получают возможность разрабатывать новые виды бактериологического оружия. У некоторых участников процесса даже возникает ощущение, что надвигающуюся катастрофу мирового масштаба нельзя предотвратить, а они являются лишь безвольными свидетелями деструктивных тенденций. Ситуация усугубляется, если психологическая атмосфера в компании далека от благоприятной, а подчинённые считают своё руководство токсичным.

По словам руководства Британского института безопасности ИИ, оно всячески заботится о благополучии своих сотрудников, и нуждающиеся в помощи и поддержке её получают. В Google DeepMind заявили, что сотрудники стартапа обладают возможностью доводить до руководства те проблемы, которые их беспокоят. При этом за последние два года из DeepMind, OpenAI и Anthropic ушли более десятка ведущих разработчиков в сфере ИИ, которые выразили несогласие с руководством в части выбора приоритетов между безопасностью создаваемых технологий и скоростью их развития. В этом месяце покинувший последовательно Anthropic и OpenAI Джейкоб Коксон (Jacob Coxon) свой уход объяснил тем, что эти работодатели ставят на кон будущее всего человечества.

Уволившийся из Anthropic исследователь в сфере безопасности ИИ Мринанк Шарма (Mrinank Sharma) заявил, что «мир в опасности», и под наблюдавшимся давлением ему не удалось бы «руководствоваться ценностями в своих действиях». Многие из разработчиков, которые занимаются тестированием безопасности ИИ, утверждают, что создающие ИИ-модели компании в большей степени заинтересованы в расширении их функциональных возможностей, а не заботе о безопасности. Видимо, осознание этого факта заставило руководство Anthropic в этом месяце заявить, что темпы развития ИИ необходимо замедлить ради всеобщего блага. Гонка ИИ начинает обходиться человечеству всё дороже не только с точки зрения материальных затрат, но и в плане рисков в сфере безопасности.

OpenAI призвала к созданию международных стандартов, регулирующих безопасность ИИ

Представители крупных американских ИИ-стартапов на этой неделе перешли от призывов замедлить развитие профильных технологий ради общественной безопасности к предложениям по эффективному регулированию отрасли. OpenAI не стала мелочиться, и сразу предложила меры, которые следует принять в мировом масштабе. По мнению разработчиков ChatGPT, назрела необходимость принятия международных стандартов в области безопасности ИИ.

 Источник изображения: Unsplash, Olumide Adekunle

Источник изображения: Unsplash, Olumide Adekunle

OpenAI призвала власти США возглавить международную коалицию, которая помогла бы установить требования к безопасности ИИ на мировом уровне. Призывы прозвучали из уст руководства стартапа за несколько дней до выступления генерального директора Сэма Альтмана (Sam Altman) в Совете безопасности ООН в среду и его присутствия на встрече американского президента Дональда Трампа (Donald Trump) с китайским коллегой Си Цзиньпином (Xi Jinping) в грядущий четверг.

Министр финансов США Скотт Бессент (Scott Bessent) в минувшее воскресенье заявил, что по итогам встречи с китайским вице-премьером Хэ Лифэном (He Lifeng) сторонам удалось достичь согласия о необходимости ведения диалога в сфере ИИ. Это позволяет рассчитывать на продолжение переговоров на высшем уровне при встрече американского и китайского лидеров в этот четверг в США.

OpenAI считает необходимым наладить безопасные каналы обмена информацией между США и КНР, по которым можно было бы сообщать друг другу о выявленных угрозах в сфере безопасности ИИ: «Диалог между США и Китаем по безопасности ИИ был бы положительным шагом». Стартап также предлагает создать международные стандарты оценок ИИ-моделей с участием существующих организаций на национальном уровне. «Этот подход мог бы опираться на опыт авиации и системы обеспечения финансовой стабильности, где страны разработали общепринятые стандарты и доверенные каналы обмена информацией для сотрудничества без угрозы для государственного суверенитета», — отмечается в заявлении OpenAI.

В компании считают особенно важным регулирование ИИ-систем, обладающих возможностью рекурсивного самосовершенствования (RSI), поскольку без разумных ограничений человечество очень быстро потеряет контроль над их развитием. Прогресс в этой сфере должен учитывать общечеловеческие ценности и оставаться под контролем людей, по мнению представителей OpenAI. По их словам, полностью автономных RSI-систем сейчас не существует, и они не должны появиться прежде, чем станет понятно, что они безопасны. Если не позаботиться об этом, то последствия саморазвития ИИ-систем могут иметь куда более серьёзные последствия, чем получивший огласку инцидент со взломом инфраструктуры Hugging Face вышедшими из-под контроля ИИ-моделями.

Следует учитывать, что власти США на данном этапе не считают целесообразным не только замедлять развитие ИИ, но и усиливать роль государства в этой сфере. Трамп дал понять, что добровольное ограничение темпов развития ИИ в США в конечном итоге приведёт к победе Китая в этой гонке, а он этого допустить не намерен. Советник Трампа Дэвид Сакс (David Sacks) недавно заявил: «Самый простой способ не создать сильный искусственный интеллект — это договориться об этом. Требование же создания предпочтительной регуляторной базы, как платы за это, в этой ситуации будет напоминать шантаж общества и политической системы».

Глава и сооснователь Google DeepMind Демис Хассабис (Demis Hassabis) также поддержал идею создания международных стандартов по передовым ИИ-моделям под руководством США. Он предложил учредить некий частно-государственный орган, типа имеющихся в финансовой системе, в правлении которого присутствовали бы не только ведущие технические эксперты, но и представители сообщества сторонников ПО с открытым исходным кодом. По его словам, создание такого регулирующего органа необходимо, поскольку технологии ИИ окажут в десять раз более сильное влияние на человечество, чем промышленная революция, а соответствующие изменения будут происходить в десять раз быстрее.

Конкурирующая Anthropic, как известно, предлагает не только замедлить развитие ИИ на добровольной основе, но и ввести элементы внешнего аудита по безопасности создаваемых моделей во всех ведущих компаниях сегмента. Сама она уже начала предпринимать соответствующие меры предосторожности.

Хуанг набрал вес в Белом доме — глава Nvidia фактически стал главным советником Трампа по ИИ

Стремительное развитие бизнеса Nvidia, которое последовало за стартом бума ИИ, явно окрылило основателя и бессменного гендиректора компании Дженсена Хуанга (Jensen Huang). Он стал не только чуть ли не ежедневно давать свои комментарии по волнующим отрасль вопросам, но и регулярно бывает в Белом доме и на важных правительственных переговорах. Всё это привело к тому, что американский президент Дональд Трамп (Donald Trump) стал ориентироваться на доводы Хуанга.

 Источник изображения: Nvidia

Источник изображения: Nvidia

По крайней мере, во время состоявшихся на прошлой неделе парламентских слушаний Дженсен Хуанг, как отмечает CNBC, был признан министром финансов США Скоттом Бессентом (Scott Bessent) своего рода моральным и идеологическим ориентиром для американского президента. «Я бы просто сказал, что президент полностью разделяет точку зрения Дженсена Хуанга, генерального директора Nvidia», — заявил министр, отвечая на вопрос о степени понимания президентом США ситуации с угрозами, которые несёт ИИ. Напомним, что ранее Трамп обрушился с критикой на призывы американских стартапов добровольно замедлить развитие ИИ ради обеспечения общественной безопасности. По словам Трампа, Китай от таких мер со стороны США только выиграет, а допустить этого он не желает.

Непосредственно Дженсен Хуанг призывы замедлить ИИ ранее прокомментировал рассуждениями о том, что проблему безопасности программных продуктов нужно решать инженерными методами, а не политическими. Он также добавил, что не видит необходимости излишне регулировать развитие ИИ на уровне американских законов, поскольку рыночные силы должны всё отрегулировать сами. Тогда же он заявил о беспочвенности страхов о наступлении «конца света» из-за ИИ к 2030 году. Ожидается, что Хуанг вместе с группой других руководителей американских компаний технологической направленности примет участие во встрече президента США с китайским лидером Си Цзиньпином (Xi Jinping), которая скоро состоится.

Степень влияния Хуанга на действующего американского президента можно было понять по итогам лоббирования вопроса поставок ускорителей H200 на китайский рынок. Считается, что именно под давлением со стороны главы Nvidia Дональд Трамп в декабре прошлого года объявил о снятии ограничений на поставку H200 в КНР, хотя и потребовал отчислять в бюджет США целых 25 % выручки от их реализации. Эти ускорители в КНР в более или менее различимых количествах стали поступать только недавно, если верить источникам, поскольку изначально встречали сильное сопротивление властей Поднебесной.

Выступая на прошлой неделе на канале CBS, основатель Nvidia также не смог пройти мимо тезиса об угрозе истребления человечества вышедшим из-под контроля ИИ к 2030 году. «Как бы это не характеризовалось, в 2030 году конец света не наступит. Существует нулевой шанс того, что это будет конец света», — заявил Дженсен Хуанг. Свою позицию по идее замедления ИИ он обозначил следующими словами: «Мы должны двигаться с максимально возможной скоростью, ни на кого не оглядываясь. Но мы не будем, и никогда не должны будем поставлять продукты прежде, чем они будут готовы, а также поставлять продукты, которые небезопасны». Есть вероятность, что подобную позицию разделяет и Дональд Трамп, поскольку на это намекает его ближайшее политическое окружение. Тем более, президент США в этом отчасти признался сам, поддержав Хуанга во время телефонного звонка заявлением о том, что американцам не грозит порабощение со стороны роботов.

Подписчики ChatGPT и других чат-ботов подали иск к Anthropic, OpenAI, SpaceXAI и Google из-за сговора о замедлении ИИ

Видимая солидарность отдельных игроков рынка систем ИИ в части добровольного замедления их развития уже начала негативно сказываться — как минимум, на их репутации, поскольку группа платных подписчиков ряда популярных чат-ботов в суде обвинила Anthropic, OpenAI, SpaceXAI и Google в незаконном сговоре.

 Источник изображения: Unsplash, Sasun Bughdaryan

Источник изображения: Unsplash, Sasun Bughdaryan

Как поясняет AP News, в Окружной суд Северного округа Калифорнии в пятницу был подан иск от лица четырёх подписчиков популярных чат-ботов, в котором перечисленные выше компании обвиняются в нарушении антимонопольных законов США с целью формирования сговора, направленного на снижение ценности услуг, предоставляемых подписчикам платных тарифов.

В исковом заявлении, которое представители истцов требуют считать групповым, сообщается о ключевой фазе координации между ответчиками, которая имела место 12 сентября, когда генеральный директор Anthropic Дарио Амодеи (Dario Amodei) опубликовал своё резонансное эссе, призывающее участников рынка добровольно замедлить развитие ИИ по соображениям общественной безопасности. В тот же день, как отмечается в иске, солидарность с идеями Амодеи выразили руководители OpenAI, SpaceX (xAI) и Google DeepMind.

Истцы даже утверждают, что координация между участниками рынка началась несколько раньше, поскольку ещё в июле некоторые из разработчиков ИИ-моделей призвали правительство США поддержать глобальную инициативу по замедлению разработки ИИ с помощью автоматических систем. Истцы настаивают, что подобные сговоры очевидным образом «окажут неконкурентное влияние на потребителей». При этом они не возражают против индивидуальных решений разработчиков по замедлению ИИ, но считают, что коллективные действия в этом направлении нарушают антимонопольное законодательство. По их мнению, конкурентный рынок позволяет одновременно сочетать ответственное ведение бизнеса с подлинным прогрессом.

Ведущий законный представитель истцов, адвокат Ник Роули (Nick Rowley), заявил: «ИИ быстро выйдет из под контроля людей и может всех нас уничтожить, если мы позволим контролировать протоколы безопасности ИИ частным соглашениям группы самых мощных коммерческих компаний, нацеленных на извлечение прибыли». В своём исходном эссе глава Anthropic Дарио Амодеи призвал правительство США как минимум запустить процесс переговоров между участниками рынка. Глава конкурирующей OpenAI Сэм Альтман (Sam Altman) поддержал идею создания федеральных правил, устанавливающих рамки требований по безопасности ИИ, но заявил, что не считает нужным ждать какого-либо антимонопольного разрешения для начала соответствующей работы.

Истцы в своих требованиях не выступают против возможности ИИ-компаний обратиться к любому из федеральных ведомств США с просьбой разработать правила регулирования отрасли. Они также не возражают против получения участниками рынка одобрения регулирующих органов на координацию своих действий в этой сфере. Президент США Дональд Трамп (Donald Trump) дал понять, что не приветствует идею намеренного замедления развития ИИ, поскольку это может ослабить позиции национальных разработчиков в конкурентной борьбе с китайскими коллегами. Попутно он объявил о намерениях создать национальные «силы ИИ», которые должен будет возглавить некий «царь ИИ», обладающий высоким уровнем интеллекта.


window-new
Soft
Hard
Тренды 🔥
ИИ-модель Nvidia Nemotron 3.5 Super VL с пост-обучением превзошла Claude Opus 5 и GPT-6.1 Sol в специализированных задачах 3 мин.
Вышла FLUX 3 Image Klein с открытыми весами для генерации и редактирования изображений — она быстро работает даже на RTX 4070 5 ч.
Chrome разряжает ноутбук быстрее? Apple обещает до пяти лишних часов работы Mac с Safari 6 ч.
ИИ-агенты взламывали сайты и обманывали — теперь OpenAI и Anthropic будут объясниться с FTC 7 ч.
Шпионское ПО научилось заражать устройства через рекламу без единого клика — достаточно просто открыть сайт 9 ч.
Фильм Paramount по Cyberpunk 2077 не станет пересказом игры, а экранизация от создателей «Настоящего детектива» отменена 9 ч.
Sega снимет с продажи полное издание Total War: Shogun 2 и восстановит старую игру — новая версия заслужила в Steam «крайне отрицательные» отзывы 10 ч.
Anthropic по секрету сообщила инвесторам о росте выручки на 45 % и выходе на прибыль 11 ч.
GTA VI была на волоске от пропуска The Game Awards 2026, но всё-таки сразится за звание лучшей игры 2026 года 11 ч.
Китайские ИИ-агенты вышли из-под контроля, а потом пошли на контакт с исследователями и попытались их обмануть 12 ч.
Amazon выпустила носимый ИИ-диктофон Bee Frontier и магнитный модуль Eclipse для смартфона 24 мин.
Новая статья: Сравнительный обзор 32-дюймовых мониторов Samsung Odyssey G80HS и G80SH: 6K IPS против 4K OLED 5 ч.
Sony выпустила позолоченный Walkman за $5900 — и объяснила, что золото тут не для красоты 6 ч.
Новый аппаратный криптокошелек от Ledger — это Android-телефон без функций телефона 6 ч.
IBM и Siemens вместе научат инженеров проектировать чипы будущего — ангстремные и с наноштабелированием 7 ч.
NASA испытала морозостойкие лунные аккумуляторы — когда-то они могут улучшить земные электромобили 7 ч.
ИИ-модели запускаются, игры (не все) идут, но батарея садится быстро: первые тесты ноутбуков на Nvidia RTX Spark 7 ч.
Apple превратила простаивающие Mac в «миньонов» — и заставила их работать на ИИ 8 ч.
AR-очки становятся мейнстримом: поставки в 2026 году удвоятся стараниями Meta и китайских брендов 8 ч.
Китай показал собственный источник EUV-излучения для выпуска передовых чипов — до серийного производства ещё 3–5 лет 8 ч.