MWC 2018
2018
Computex
IFA 2018
Компания OpenAI начала тестировать новый механизм безопасности для клиентов, имеющих доступ к её флагманским ИИ-моделям по платной подписке. По сообщению Bloomberg, меры призваны усилить защиту в условиях, когда клиенты всё чаще доверяют ИИ выполнение сложных задач и работу с конфиденциальной информацией.
Источник изображения: OpenAI (дополнено)
На текущий момент OpenAI гарантирует некоторым клиентам, использующим интерфейс API, политику «нулевого хранения данных», при которой не сохраняются запросы и ответы после завершения работы с ИИ. Теперь же, тестируя механизм, который получил название Private Safety Processing («Конфиденциальная обработка в целях безопасности»), OpenAI намерена научить систему выявлять совокупность закономерностей, а не отдельных запросов и ответов. Это поможет предотвращать попытки взлома как со стороны злоумышленников, так и со стороны ИИ-агентов, чьё поведение отклоняется от заданных норм безопасности.
Необходимость такого изменения в компании объяснили тем, что современные ИИ-модели всё чаще используются для выполнения сложных многоэтапных задач, а вместе с этим растёт и роль инструментов, способных действовать без подробных инструкций пользователя. Руководитель продуктовой политики OpenAI Алеа Хоуз (Aleah Houze) рассказала, что потенциальный риск не всегда можно обнаружить, рассматривая только отдельную пару запроса и ответа, поскольку подозрительная последовательность может складываться лишь при анализе нескольких взаимодействий, происходящих с течением времени. По её словам, отдельные обращения к ИИ могут выглядеть как вполне легитимное исследование в области кибербезопасности, тогда как их совокупность способна указывать на подготовку атаки.
В качестве примера Хоуз привела ситуацию, при которой пользователь в одном разговоре выясняет сведения об уязвимости какого-либо программного обеспечения, а позднее интересуется возможностями удалённого доступа и средствами обнаружения подобных угроз. Каждый из таких запросов сам по себе может не вызывать подозрений, однако их связь между собой способна доказать злонамеренное поведение.
OpenAI рассчитывает, что Private Safety Processing позволит учитывать подобный контекст и тем самым эффективнее противостоять как злоумышленникам, так и потенциально опасным ИИ-агентам, при этом сохраняя содержимое клиентских запросов недоступным для самой OpenAI. Тестирование проводится совместно с такими клиентами, как Microsoft и Databricks. Запуск системы, а также публикация отчёта с описанием технологии, запланированы на сентябрь.
Источник:
