Perplexity обвиняют в обходе запретов на индексацию сайтов с помощью скрытых ботов

Онлайн-сервисы, использующие искусственный интеллект, продолжают менять правила игры для IT-рынка, а вместе с ними — и границы дозволенного в вопросах обработки...

📋 Обзор

Онлайн-сервисы, использующие искусственный интеллект, продолжают менять правила игры для IT-рынка, а вместе с ними — и границы дозволенного в вопросах обработки данных. Новый скандал разгорелся вокруг популярной AI-платформы Perplexity: по данным Cloudflare, сервиса-провайдера для оптимизации и защиты интернет-площадок, Perplexity применяет так называемые «скрытые тактики», чтобы обходить запреты администраторов сайтов на индексацию их контента.

Perplexity обвиняют в обходе запретов на индексацию сайтов с помощью скрытых ботов Платформа Perplexity известна своим «умным» поиском по Интернету с генерацией ответов на естественном языке. Однако, как утверждают специалисты Cloudflare, за красивым интерфейсом скрывается куда менее прозрачная система сбора данных. В частности, речь идет о специальном программном обеспечении (ботах), которое маскируется под обычных пользователей или другие сервисы, чтобы игнорировать правила сайтов, запрещающие автоматический обход страниц — роботс-метки типа Disallow в файле robots.txt. Cloudflare сообщает, что фиксировал неоднократные попытки таких ботов получить доступ к контенту сайтов под видом обычного трафика. В отдельных случаях Perplexity использовала серверы третьих стран и нелинейные маршруты, чтобы затруднить отследить источник и цель запроса. По словам технического директора Cloudflare Джоша Айрона, подобные действия нарушают негласные правила интернет-этики, принятые ещё в начале 1990-х. «Если владелец сайта запрещает индексацию — это должно уважаться. Боты обходят этот запрет и действуют скрытно, что подрывает доверие к крупным AI-сервисам», — отмечает он. Дискуссия о допустимости сбора данных в промышленных масштабах обостряется на фоне массового внедрения машинного обучения. Российские ресурсодержатели с похожими проблемами сталкиваются регулярно — от копирования контента Яндекса иностранными ботами до недобросовестного парсинга новостных лент разнообразными агрегаторами. На практике блокировать неавторизованный трафик можно с помощью фильтрации IP-адресов, анализа паттернов поведения и обновления антибот-алгоритмов, но у крупных площадок наподобие Perplexity всегда найдутся ресурсы для обхода таких мер. В Перплексти на обвинения прямо пока не ответили, однако ранее представители компании утверждали, что их система учитывает требования конфиденциальности и старается «максимально корректно» взаимодействовать с внешними сайтами. Тем не менее множество независимых экспертов по кибербезопасности сходятся во мнении, что границы этических норм AI-навигации по интернет-ресурсам ещё не определены и подобные инциденты, скорее всего, станут лишь предвестниками более жёстких противоречий между генераторами контента, его владельцами и разработчиками искусственного интеллекта. На российском рынке ситуация выглядит схожей: с одной стороны, AI-инструменты расширяют возможности поиска и анализа информации, с другой — игровые правила вынужденно смещаются в сторону обороны данных и ограничения доступа к уникальному контенту. Крупные медиа и агрегаторы давно используют свои инфраструктурные возможности, чтобы не позволять алгоритмам конкурентов копировать эксклюзивные материалы, но единых подходов пока нет. Проблема получила общероссийский размах: вспомним резонансные споры между медиахолдингами и поисковыми системами или «армии» гибких парсеров, скачивающих контент для новостников и тематических порталов. Эксперты сходятся в одном: чем быстрее развивается искусственный интеллект, тем выше ставка — быть не просто технологически продвинутым, но и юридически подкованным, чтобы отстоять свои интересы перед креативными AI-системами, не гнушающимися «обходными путями» для расширения своей базы знаний.

🌟 Ключевые моменты

🤔 Экспертное мнение