Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Честный знак» от Anthropic: компания придумала, как выявлять поддельные нейросети

Компания Anthropic ведёт разработку открытой системы для верификации того, какая именно модель искусственного интеллекта создала тот или иной результат. Проект под названием FlashProve призван обеспечить так называемый «доказуемый вывод» (provable inference). Речь идёт о криптографическом доказательстве и математической гарантии подлинности источника данных, которые позволят пользователям подтвердить, что они используют именно заявленную модель.

 Источник изображения: Anthropic

Источник изображения: Anthropic

По аналогии с криптографическими подписями электронных писем, FlashProve обеспечит защиту от попыток выдать одну модель за другую. Защита сохраняет эффективность даже в тех случаях, когда подмену пытается скрыть сама лаборатория, разработавшая и запустившая ИИ. В частности, исследователи отмечают, что технологию можно применять для предотвращения ситуаций, когда ИИ-компания тайно внедряет более дешёвую модель ради снижения издержек или более дорогую — для искусственного завышения результатов тестов производительности.

FlashProve также может применяться для верификации заявлений третьих лиц о том, что конкретная задача была решена с помощью передовых нейросетей. «Разработчик может утверждать, что его библиотека программного обеспечения была проверена на наличие уязвимостей передовой моделью кибербезопасности, или компания может заявить, что её бизнес-план был одобрен соответствующей моделью. [Но] как пользователь может проверить эти утверждения?», — пишут исследователи.

Для работы верификации ИИ-лаборатории должны публиковать «цифровой отпечаток» каждой выпускаемой модели, который впоследствии криптографически сопоставляется с конкретными ответами. Эти отпечатки не раскрывают веса моделей — внутренние числовые параметры, определяющие поведение ИИ, которые разработчики закрытых коммерческих систем, такие как Anthropic и OpenAI, держат в секрете. Соответственно, лаборатории смогут публиковать отпечатки без риска для интеллектуальной собственности. Система спроектирована как легковесная, что позволяет проводить проверку непосредственно на локальном устройстве пользователя.

На данный момент проект находится на стадии исследования, планов по немедленному внедрению технологии в Anthropic или других лабораториях нет. Подробная спецификация и рабочий код элементов системы опубликованы под открытой лицензией на GitHub.

«Эта исследовательская публикация предназначена для того, чтобы поделиться промежуточным прогрессом, а не завершённой программой исследований. Мы делимся этим явно с той целью, чтобы другие изучили то, что мы сделали, взяли это за основу и улучшили», — пояснили авторы проекта.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В «Яндекс 360» для бизнеса появилась поддержка плагинов — они позволяют расширить возможности виртуального офиса 2 ч.
Интернет начал ломаться весь и сразу, но до киберапокалипсиса ещё далеко — и вот почему 2 ч.
Миллионы ИТ-систем по всему миру под угрозой: GPT-6 Cyber нашла критическую дыру в Java 3 ч.
Microsoft превратит Copilot в сисадмина — ИИ будет сам разбираться с поломками Windows 4 ч.
NVIDIA ускорила эмуляцию FP64-вычислений на своих ИИ-чипах 8 ч.
ИИ-генератор аудио Suno научился создавать музыкальные клипы 8 ч.
Новая глава в истории Firaxis Games началась с массовых увольнений, а следующая XCOM в беде 8 ч.
Секретная сеть АНБ США дала сбой после обновления — это парализовало работу большинства сотрудников 8 ч.
Microsoft научила Windows окирпичивать украденные ноутбуки — файлы при этом не пострадают 17 ч.
Более 80 % серверов Exchange вышли из строя: Microsoft рассказала, как сама усугубила глобальный сбой Outlook 17 ч.