Cloudflare закрыла ИИ-краулерам бесплатный доступ к сайтам — за сбор данных теперь придётся платить

Крупнейший поставщик сетевых инфраструктурных сервисов Cloudflare объявил, что теперь будет по умолчанию блокировать веб-ботов, которые собирают данные для искусственного интеллекта, чтобы они не могли «получать доступ к контенту без разрешения или вознаграждения». Владельцы новых доменов могут запретить просмотр своего контента ИИ-краулерам, а некоторые издатели даже могут назначить плату за доступ таких систем к своим данным.

Источник изображения: Mohamed Nohassi / Unsplash

Для издателей компания Cloudflare запустила программу Pay Per Crawl, в рамках которой они могут устанавливать цену за доступ к публикуемому ими контенту, который анализируется сборщиками данных для ИИ. Разработчики ИИ-сервисов могут видеть стоимость сканирования контента и выбирать, нужно им это или нет. На данный момент участвовать в программе могут только «ведущие издатели и авторы контента». В Cloudflare уверены, что такой подход поможет ИИ-компаниям «использовать качественный контент правильным образом», т.е. с разрешения авторов и выплатой вознаграждения.

Cloudflare и раньше помогала владельцам сайтов бороться с ИИ-сканерами. Компания разрешила веб-сайтам блокировать ботов, собирающих информацию для ИИ, ещё в 2023 году, но это помогало только в случае сканеров, соблюдающих условия, указанные в robots.txt. В прошлом году Cloudflare разрешила блокировать все ИИ-краулеры, теперь такая опция по умолчанию доступна для новых клиентов компании. В марте также была запущена функция, позволяющая перенаправлять ИИ-сканеры, мешая им анализировать контент без разрешения.

По данным источника, новые ограничения Cloudflare одобрили несколько крупных издательств и онлайн-платформ, включая Associated Press, The Atlantic, Fortune, Stack Overflow и Quora. В компании отметили, что за последние несколько месяцев люди стали больше доверять ИИ, а это значит, что они перестают читать оригинальный контент. Там также добавили, что Cloudflare сотрудничает с ИИ-компаниями, чтобы помочь им верифицировать роботов-сборщиков данных и «чётко указывать свои цели». «Оригинальный контент — это то, что делает интернет одним из величайших изобретений, и мы должны объединиться, чтобы защитить его», — сказано в пресс-релизе Cloudflare.

Источник: