MWC 2018
2018
Computex
IFA 2018
Передовые ИИ-модели начинают представлять опасность не только с точки зрения их способности взлома компьютерной инфраструктуры, но и воздействия на психологию человека. Международная группа исследователей своим экспериментом доказала, что обученные методам социальной инженерии ИИ-агенты втираются в доверие к потенциальным жертвам мошеннических действий даже лучше своих коллег из плоти и крови.
Источник изображения: Unsplash, Erik Mclean
Свои усилия в этом научном эксперименте объединили представители четырёх университетов из Индии, Италии, Германии и Израиля, как повествует Wired. Исследователи поставили цель обучить передовые ИИ-модели западной разработки методу мошенничества, который в англоязычной терминологии получил обозначение «pig butchering» — буквально, «забой свиньи». Он подразумевает знакомство с потенциальной жертвой по сетевым каналам с удалённым взаимодействием, чаще всего под видом формирования романтических отношений. На этапе «вскармливания» злоумышленник пытается установить доверительные отношения с жертвой, длительное время никак не выдавая своих истинных намерений. В решающий момент жертве предлагается установить на своё устройство приложение, которое в дальнейшем может под предлогом инвестиций в криптовалюту использоваться для выманивания у жертвы денег.
В эксперименте приняли участие более двух десятков добровольцев, которым было предложено помочь учёным в исследовании онлайн-знакомств. Они в течение недели вели одновременную переписку с двумя незнакомцами, в роли одного из них выступал ИИ-агент, а вторым был реальный человек с опытом психологической манипуляции. При этом ИИ-агент был обучен приёмам мошенников на опыте реальных лиц, задержанных за соответствующую сетевую активность. В конце первой недели онлайн-знакомства участникам эксперимента было предложено скачать два разных приложения на своё мобильное устройство. Реальный человек предлагал мобильную игру, а созданный при помощи Anthropic Claude чат-бот предлагал установить программу, которую якобы он помог написать самой жертве. Подобное разведение приложений по назначению и происхождению требовалось для чистоты эксперимента, поскольку два одинаковых запроса могли бы насторожить потенциальных жертв.
Хотя эксперимент был довольно сжатым по времени, ведь реальные мошенники могут поддерживать тёплые онлайн-отношения с жертвой на протяжении нескольких месяцев, прежде чем реализовать свои намерения, его результаты оказались довольно интригующими. В 46 % случаев участники эксперимента согласились скачать предложенное чат-ботом приложение, тогда как реальному мошеннику удалось подтолкнуть к схожим действиям только 18 % участников. Фактически, это говорит о том, что ИИ-агенту удалось завоевать доверие большей части аудитории, чем опытному мошеннику. Когда потенциальных жертв попросили оценить степень доверия виртуальному компаньону по пятибалльной шкале, то ИИ-агент удостоился среднего балла в 3,78, а реальный человек — только 3,31. Из всего объёма недельной переписки 80 % сообщений было отправлено жертвами именно ИИ-агенту. Получается, что ему удалось быстрее расположить к себе участников эксперимента.
Из 22 участников эксперимента, что характерно, лишь один самостоятельно пришёл к выводу, что ведёт переписку с ИИ-агентом. Организаторы провели настройку ИИ-модели Claude, строго запретив ей выдавать свою искусственную сущность. Когда в конце недельного эксперимента организаторы признались, что один из двух собеседников был чат-ботом, выявить его безошибочно смогли 20 из 22 участников. При этом в процессе общения, как можно понять, у них была полная иллюзия того, что они общаются с человеком.
Отдельно была исследована способность современных ИИ-моделей раскрывать свою сущность при общении с человеком. Результат сильно разнился в зависимости от версии ИИ-модели и её авторства, но лучше всего скрываться смогла Google Gemini 3.1 Pro. Модели OpenAI ChatGPT 5.5 и Anthropic Claude Opus 5 при помощи правильно подобранных запросов признавали, что они являются плодом искусственного интеллекта, а вот Gemini упорствовала в отрицании этого факта. Представители Anthropic отметили, что в основной части эксперимента использовалась ИИ-модель Claude версии 2025 года, и в текущих вопросы безопасности проработаны гораздо лучше. Если перед Claude не ставилась прямая задача подталкивать собеседника к действиям по примеру мошенников, то на этапе формирования доверительных отношений с потенциальной жертвой эта ИИ-модель никак себя не выдавала и показывала высокую эффективность.
Эксперты поясняют, что о массовом переходе мошенников на сквозное использование ИИ в своих схемах пока говорить рано, поскольку использование труда специально ориентированных на это людей пока обходится дешевле. Нередко операторов таких колл-центров удерживают силой и угрозами, заставляя обрабатывать жертв дистанционно, и расходы организаторов таких схем ниже, чем в случае с активным использованием ИИ. С другой стороны, на разных этапах мошенники уже активно используют новые технологии: для генерации видео и изображений, призванных ввести жертву в заблуждение, а также для улучшения качества пересылаемых жертве текстовых сообщений, если переписка ведётся на разных языках, с которыми сами мошенники не так хорошо знакомы.
Источник:
