Компанія Cloudflare встановила новий дедлайн для індустрії штучного інтелекту, вимагаючи відокремити веб-сканери, які використовуються для традиційного пошуку (як-от Google Search), від тих, що призначені для агентів ШІ та їхнього навчання. Починаючи з 15 вересня 2026 року, за замовчуванням Cloudflare блокуватиме “змішані” сканери з будь-яких сторінок, які містять рекламу. Про це компанія оголосила у середу.
Наслідки для тренування та роботи ШІ-агентів
Це означає, що сканери, які поєднують функції пошуку, взаємодії з агентами та навчання, будуть автоматично блокуватися від доступу до таких сайтів, якщо власник ресурсу не змінить налаштування. Ці зміни в стандартних параметрах стосуватимуться нових клієнтів Cloudflare, нових веб-сайтів, створених існуючими клієнтами, а також усіх поточних користувачів безкоштовних тарифів.
Цей крок може суттєво вплинути на те, як постачальники моделей штучного інтелекту отримують доступ до веб-контенту для його подальшого навчання та для роботи своїх агентивних сервісів (систем, що діють автономно).
Захист контенту та інтелектуальної власності
Cloudflare наголошує, що більшість власників веб-сайтів прагнуть забезпечити виявлення свого контенту через пошукові системи, а також за допомогою сервісів ШІ. Водночас, вони потребують захисту від безкоштовного розповсюдження своєї інтелектуальної власності.
Компанія прямо вказує на “найбільшу пошукову систему у світі” (очевидно, натякаючи на Google), яка має доступ до приблизно “вдвічі більше інформації”, ніж інші компанії, що займаються ШІ. Це зумовлено тим, що пошуковий гігант ускладнює для користувачів можливість бути виявленими, не будучи при цьому використаними для потреб ШІ.
Реакція Google та регулювання трафіку
Google раніше заперечував таке узагальнення, зазначаючи, що надає бот під назвою Google Extended, який дозволяє власникам сайтів відмовитися від використання їхнього контенту для тренування та продуктів ШІ, таких як Gemini Apps та Vertex API. Використання цього бота не впливає на присутність сайту в Google Пошуку. Проте, основний сканер компанії, Googlebot, збирає дані для Пошуку, включно з функціями ШІ, такими як AI Overviews та AI Mode.
“Тепер, коли більшість трафіку в Інтернеті є нелюдським, ми повинні діяти рішучіше та швидше, щоб міг виникнути стійкий екосистемний розвиток”, – заявив співзасновник та генеральний директор Cloudflare Метью Прінс (Matthew Prince) під час анонсу. Він нагадав про нещодавнє досягнення, коли кількість ботів вперше перевищила людський трафік в онлайн-просторі. Цей перехід прогнозували не раніше наступного року.
Нові інструменти для власників контенту
“Нові інструменти та партнерства Cloudflare надають власникам веб-сайтів більшу видимість та комерційні можливості, а також вигідні для компаній, що займаються ШІ, і мають ботів з чітким та прозорим наміром. Ми сподіваємося, що наші запропоновані зміни за замовчуванням заохотять змішані сканери до відокремлення звичайного пошуку від використання для агентів та навчання”, – додав Прінс.
Хоча Cloudflare пропонує низку продуктів для допомоги користувачам у запуску власних систем ШІ, компанія також випустила інструменти, які надають видавцям більше контролю над їхнім контентом в епоху ШІ. Останніми роками Cloudflare запустила інструменти для боротьби з ботами ШІ, зокрема ринок, який дозволяє веб-сайтам стягувати плату з ботів ШІ за веб-скрейпінг, названий Pay Per Crawl (оплата за сканування).
Останній сервіс також еволюціонує в “Pay Per Use” (оплата за використання), повідомила компанія. Це дозволить видавцям стягувати плату з компаній ШІ, коли їхній контент створює цінність, а не лише тоді, коли він завантажується. Ця зміна також може допомогти зберегти пропускну здатність та обчислювальні ресурси видавців для постачальників моделей ШІ, оскільки дані Cloudflare свідчать, що понад 50% трафіку сканування від ШІ-сканерів витрачається на повторне завантаження незмінених сторінок.
Партнерство з Ceramic.ai та You.com
Для реалізації цих нововведень Cloudflare спочатку співпрацює з двома партнерами: Ceramic.ai та You.com. Коли видавець надає згоду, він отримує плату, коли його контент з’являється в результатах пошуку ШІ від Ceramic або коли You.com отримує доступ до його преміум-контенту.
Інші компанії, що займаються ШІ, можуть налаштувати цю модель відповідно до своїх потреб, зазначає Cloudflare.
Думка ІТ-Блогу: Цей крок Cloudflare демонструє зростаючу потребу в регулюванні доступу до даних в епоху ШІ, надаючи власникам контенту більше контролю та можливостей монетизації. Це може стимулювати створення більш збалансованої екосистеми, де тренування ШІ відбувається прозоро та справедливо.
Подробиці можна знайти на сайті: techcrunch.com