MWC 2018
2018
Computex
IFA 2018
Компания Anthropic ведёт разработку открытой системы для верификации того, какая именно модель искусственного интеллекта создала тот или иной результат. Проект под названием FlashProve призван обеспечить так называемый «доказуемый вывод» (provable inference). Речь идёт о криптографическом доказательстве и математической гарантии подлинности источника данных, которые позволят пользователям подтвердить, что они используют именно заявленную модель.
Источник изображения: Anthropic
По аналогии с криптографическими подписями электронных писем, FlashProve обеспечит защиту от попыток выдать одну модель за другую. Защита сохраняет эффективность даже в тех случаях, когда подмену пытается скрыть сама лаборатория, разработавшая и запустившая ИИ. В частности, исследователи отмечают, что технологию можно применять для предотвращения ситуаций, когда ИИ-компания тайно внедряет более дешёвую модель ради снижения издержек или более дорогую — для искусственного завышения результатов тестов производительности.
FlashProve также может применяться для верификации заявлений третьих лиц о том, что конкретная задача была решена с помощью передовых нейросетей. «Разработчик может утверждать, что его библиотека программного обеспечения была проверена на наличие уязвимостей передовой моделью кибербезопасности, или компания может заявить, что её бизнес-план был одобрен соответствующей моделью. [Но] как пользователь может проверить эти утверждения?», — пишут исследователи.
Для работы верификации ИИ-лаборатории должны публиковать «цифровой отпечаток» каждой выпускаемой модели, который впоследствии криптографически сопоставляется с конкретными ответами. Эти отпечатки не раскрывают веса моделей — внутренние числовые параметры, определяющие поведение ИИ, которые разработчики закрытых коммерческих систем, такие как Anthropic и OpenAI, держат в секрете. Соответственно, лаборатории смогут публиковать отпечатки без риска для интеллектуальной собственности. Система спроектирована как легковесная, что позволяет проводить проверку непосредственно на локальном устройстве пользователя.
На данный момент проект находится на стадии исследования, планов по немедленному внедрению технологии в Anthropic или других лабораториях нет. Подробная спецификация и рабочий код элементов системы опубликованы под открытой лицензией на GitHub.
«Эта исследовательская публикация предназначена для того, чтобы поделиться промежуточным прогрессом, а не завершённой программой исследований. Мы делимся этим явно с той целью, чтобы другие изучили то, что мы сделали, взяли это за основу и улучшили», — пояснили авторы проекта.
Источник:
