Механизм использования в текстах невидимых человеческому глазу символов раньше использовался для передачи системам искусственного интеллекта скрытых вредоносных запросов. Теперь, обращает внимание Microsoft, его приспособили для рассылки спама, с которым непросто бороться современным сервисам ИИ.
Источник изображения: microsoft.com
Набор из 128 символов Unicode в особом блоке остаётся невидимым для человека, но считывается компьютером. Ранее эти символы могли внедряться в электронные письма: человек видел в них безобидный текст, а анализирующая эти письма модель получала вредоносные инструкции. Теперь этот механизм направили в обратную сторону — невидимые человеку символы помогают обманывать спам-фильтры, рассказали в Microsoft. В какой-то момент в начале февраля служба Microsoft Defender for Office заметила, что объёмы писем со скрытыми символами подскочили с 21 тыс. до 1,3 млн в день. В течение четырёх дней этот показатель увеличился до 2,5 млн — поток продолжался несколько месяцев, а в конце мая столь же резко сократился.
Спам-фильтры часто производят в текстах писем поиск по ключевым словам: «кредит», «срок» или указание конкретной денежной суммы — всё это нередко встречается в массовых рассылках. Чтобы обмануть их, спамеры стали вставлять в середины слов невидимые для человека символы. В результате для человека текст письма остаётся прежним, а компьютеры ключевых слов уже не видят, даже если эти слова фактически употребляются в текстах писем. Не реагируют на них и подключённые к спам-фильтрам модели искусственного интеллекта, основанные на механизмах машинного обучения и обработки естественного языка. Единственный очевидный способ бороться с напастью — средства оптического распознавания символов, которые открывают текст таким, каким его увидит человек.
В Microsoft предупредили, что традиционные спам-фильтры могут быть бессильны против таких механизмов воздействия, и предложили рекомендации для более эффективного обнаружения ASCII-подмены символов в спаме.