Использование «водяных знаков», то есть маркировки генерируемого контента, может оказать влияние на поведение больших языковых моделей искусственного интеллекта. К такому выводу пришли эксперты компании Lasso, проведя анализ технологии SynthID-Text лаборатории Google DeepMind.
Источник изображения: lasso.security
Маркировка SynthID-Text влияет на такие аспекты работы модели как её готовность отклонять вредоносные запросы, уязвимость к атакам типа «инъекция запроса», выбор инструментов ИИ-агентами и многое другое. Технология SynthID-Text и аналогичные ей методы маркировки предназначаются для внедрения машиночитаемого индикатора, позволяющего определить, был ли текст сгенерирован ИИ или написан человеком; в действительности же процедура внедрения маркировки может оказать влияние на то, что отвечает ИИ-модель, и на то, что делает ИИ-агент.
Даже без целенаправленной атаки маркировка может менять решение модели об отказе в ответе. В некоторых протестированных моделях это выражалось в большей готовности выполнять потенциально вредоносные запросы, причём при использовании prompt injection различия между маркированной и немаркированной генерацией становились заметнее. При этом эффект зависел от конкретной модели и ключа водяного знака
Ранее в ЕС вступили в силу требования об обязательной маркировке генерируемого ИИ контента, а Anthropic изъявила намерение ввести её для всех типов материалов, включая текстовые. То есть можно ожидать, что практика маркировки ИИ-контента станет массовой среди прочих разработчиков, и это указывает на потенциальный новый источник изменений поведения ИИ-систем, который разработчикам агентов следует учитывать при оценке безопасности
Эксперты Lasso призывают разработчиков не просто развёртывать средства маркировки генерируемых ИИ материалов, но и проводить повторный бенчмаркинг моделей, проверку их безопасности и другие тесты для выявления непредвиденных последствий. Исследование, однако, не следует воспринимать как довод против использования маркировки контента ИИ, оговорились в компании.