Cloudflare обвинила Perplexity в тотальном сборе данных для ИИ в обход любых запретов

Компания Cloudflare обвинила стартап Perplexity в массовом скрапинге веб-сайтов, которые явным образом запрещают сбор данных. Согласно исследованию Cloudflare, опубликованному 4 августа, боты Perplexity игнорировали технические ограничения, установленные в файле robots.txt, и продолжали извлекать и копировать контент с десятков тысяч доменов, создавая миллионы запросов ежедневно.

Топ-10 смартфонов до 10 тысяч рублей (2026 год)

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Снято в Голливуде? Почему Стэнли Кубрик физически не смог бы подделать лунную походку

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Сравнительный тест камер флагманских смартфонов (2026): итоги

Обзор смартфона Samsung Galaxy Z Flip8: исчезающий вид?

Компьютер месяца, спецвыпуск: во что дефицит чипов памяти превратил бюджетные игровые ПК и при чем здесь Steam Machine

Источник изображения: Štefan Štefančík/Unsplash

Как утверждает Cloudflare, Perplexity изменяла названия своих ботов в поле User-Agent и использовала разные автономные системы (ASN) для обхода блокировок, включая имитацию браузера Google Chrome на macOS. По информации TechCrunch, Cloudflare выявила эту активность после жалоб клиентов, которые уже внесли правила в robots.txt и установили дополнительные блокировки для известных ботов Perplexity. В результате Cloudflare, применив комбинацию методов машинного обучения и сетевых сигналов, исключила ботов Perplexity из своего официального списка доверенных краулеров и внедрила дополнительные механизмы их блокировки.

Представитель Perplexity Джесси Двайер (Jesse Dwyer) назвал публикацию Cloudflare маркетинговой инициативой, заявив, что представленные скриншоты не подтверждают факт доступа к контенту. В последующем письме он добавил, что упомянутый в отчёте бот не принадлежит компании. Однако Cloudflare настаивает на достоверности своих данных.

Ранее Cloudflare уже выступала с критикой агрессивного скрапинга со стороны ИИ-компаний, а глава Cloudflare Мэтью Принс (Matthew Prince) неоднократно заявлял, что массовый сбор данных подрывает экономику интернета, особенно для новостных издательств. В связи с этим компания выпустила бесплатный инструмент для защиты от копирования контента в целях обучения моделей. Также на фоне происходящего Cloudflare, как и обещала в сентябре 2024 года, запустила торговую платформу, позволяющую владельцам сайтов взимать плату с ИИ-разработчиков за доступ к данным.

Это уже не первое обвинение в адрес Perplexity. В прошлом году издания, в том числе Wired, обвиняли стартап в воспроизведении их материалов без должного указания источника. А на конференции Disrupt 2024 генеральный директор Perplexity Аравинд Сринивас (Aravind Srinivas) затруднился дать чёткое определение плагиату, когда его об этом спросил журналист TechCrunch Девин Колдеви (Devin Coldewey).