Сегодня 16 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → запрещённая информация

Щиты ИИ рухнули от слов поэта — запросы в стихах позволили выпытать секреты атомной бомбы и кое-что похуже

Учёным удалось «заморочить голову» всем без исключения чат-ботам, заставив их выдать запрещённую для распространения информацию научного, сексуального и иного характера. Оказалось, что обычная человеческая поэзия — естественная форма так называемой состязательной атаки. Облечённый в стихотворную форму промпт обеспечил обход самых суровых ИИ-фильтров с вероятностью свыше 90 %.

 Источник изображения: ИИ-генерация Grok 4.1/3DNews

Источник изображения: ИИ-генерация Grok 4.1

Исследование провела лаборатория Icaro — совместный проект Университета Сапиенца (Sapienza University) в Риме и аналитического центра DexAI. Они протестировали этот подход на 25 чат-ботах, созданных такими компаниями, как OpenAI, Meta✴✴ и Anthropic. Со всеми из них он сработал с разной степенью успеха. Компании Meta✴✴, Anthropic и OpenAI не предоставили учёным комментариев и не сообщили, будут ли приняты меры для смягчения угрозы.

Метод состязательной атаки заключается в том, чтобы ввести путаницу в схемы защиты чувствительной информации. Для этого запрос формулируется таким образом, чтобы задача ставилась не напрямую, а иносказательно с добавлением текстового «мусора» — бессмысленных окончаний, наборов слов или просто бессвязного текста. В этом ключе поэзия — вершина иносказательности, подбора метафор и неожиданных фраз.

Для самостоятельно написанных в стихотворной форме запросов подробный ответ на «запрещёнку» последовал в 62 % случаев, тогда как на прямой запрос ИИ не отвечал. Для стихотворных запросов, сгенерированных ИИ, вероятность успеха составила 43 %. В некоторых случаях вероятность ответа превышала 90 %. Защитные механизмы ИИ пасуют перед такой атакой, заставляя большие языковые модели в некотором смысле творчески реагировать на запретный запрос, обходя точки срабатывания защиты.

Из этических соображений учёные не стали публиковать стихи, с помощью которых они выведали у чат-ботов рецепт изготовления атомной бомбы, коды вредоносного ПО и другое. Компаниям-разработчикам они порекомендовали укреплять защиту, переходя от поверхностных фильтров к более глубоким механизмам, учитывающим стилистические манипуляции словом.

Telegram снова оштрафован в России за неудаление запрещённого контента — теперь на ₽7 млн

25 ноября Таганский суд Москвы признал мессенджер Telegram виновным в неудалении запрещённой информации, содержащей призывы к осуществлению экстремистской деятельности или материалы с порнографическими изображениями несовершеннолетних в соответствии с ч. 2 ст. 13.41 КоАП РФ (неудаление владельцем сайта информации в случае, если обязанность по удалению такой информации предусмотрена законодательством РФ). Мессенджер оштрафован на ₽7 млн.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Это далеко не первый случай несоблюдения мессенджером требований российского законодательства. 30 октября Таганский суд Москвы оштрафовал Telegram на ₽4 млн за неудаление нескольких каналов, авторы которых размещали запрещённый в РФ контент. Ранее в этом же месяце Telegram уже штрафовали на ₽4 млн в России за административное правонарушение по ч.2 ст. 13.41 КоАП РФ.

За аналогичное правонарушение Telegram также был оштрафован на ₽4 млн в августе этого года. В июле Таганский суд Москвы оштрафовал мессенджер на ₽3 млн за отказ удалять запрещённую в РФ информацию. В ноябре 2023 года мессенджер был оштрафован на ₽4 млн за отказ заблокировать запрещённый контент. Кроме того, в 2021 году мессенджер был несколько раз оштрафован за аналогичные нарушения на общую сумму ₽9 млн.

В течение последних лет крупнейшие интернет-платформы, такие как Apple, Google, Telegram, Facebook✴✴, Twitter, TikTok, фонд Wikimedia, неоднократно привлекались в России к ответственности за неудаление запрещённого контента. Нередко это происходит из-за отказа со стороны социальных сетей и мессенджеров удалять недостоверную, по мнению соответствующих ведомств, информацию.


window-new
Soft
Hard
Тренды 🔥
ИИ-модель Nvidia Nemotron 3.5 Super VL с пост-обучением превзошла Claude Opus 5 и GPT-6.1 Sol в специализированных задачах 3 ч.
Состоялся релиз стабильной Xiaomi HyperOS 4 для совместимых устройств, но пока без глобальной версии 8 ч.
Вышла FLUX 3 Image Klein с открытыми весами для генерации и редактирования изображений — она быстро работает даже на RTX 4070 8 ч.
Chrome разряжает ноутбук быстрее? Apple обещает до пяти лишних часов работы Mac с Safari 9 ч.
ИИ-агенты взламывали сайты и обманывали — теперь OpenAI и Anthropic будут объясниться с FTC 9 ч.
Шпионское ПО научилось заражать устройства через рекламу без единого клика — достаточно просто открыть сайт 11 ч.
Фильм Paramount по Cyberpunk 2077 не станет пересказом игры, а экранизация от создателей «Настоящего детектива» отменена 12 ч.
Sega снимет с продажи полное издание Total War: Shogun 2 и восстановит старую игру — новая версия заслужила в Steam «крайне отрицательные» отзывы 13 ч.
Anthropic по секрету сообщила инвесторам о росте выручки на 45 % и выходе на прибыль 13 ч.
GTA VI была на волоске от пропуска The Game Awards 2026, но всё-таки сразится за звание лучшей игры 2026 года 14 ч.
Amazon выпустила носимый ИИ-диктофон Bee Frontier и магнитный модуль Eclipse для смартфона 3 ч.
Новая статья: Сравнительный обзор 32-дюймовых мониторов Samsung Odyssey G80HS и G80SH: 6K IPS против 4K OLED 8 ч.
Sony выпустила позолоченный Walkman за $5900 — и объяснила, что золото тут не для красоты 9 ч.
Новый аппаратный криптокошелек от Ledger — это Android-телефон без функций телефона 9 ч.
IBM и Siemens вместе научат инженеров проектировать чипы будущего — ангстремные и с наноштабелированием 10 ч.
NASA испытала морозостойкие лунные аккумуляторы — когда-то они могут улучшить земные электромобили 10 ч.
ИИ-модели запускаются, игры (не все) идут, но батарея садится быстро: первые тесты ноутбуков на Nvidia RTX Spark 10 ч.
Apple превратила простаивающие Mac в «миньонов» — и заставила их работать на ИИ 10 ч.
AR-очки становятся мейнстримом: поставки в 2026 году удвоятся стараниями Meta и китайских брендов 11 ч.
Китай показал собственный источник EUV-излучения для выпуска передовых чипов — до серийного производства ещё 3–5 лет 11 ч.