Новий шрифт захистить веб від програм-скраперів

ShieldFont покликаний “отруювати” тренувальні дані ШІ, не роблячи сторінки нечитабельними для людей.

Новий шрифт захистить веб від програм-скраперів 1 Новий шрифт захистить веб від програм-скраперів 2

Схильність компаній, що розробляють ШІ, до вивчення великих обсягів загальнодоступного веб-контенту для пошуку цінних тренувальних даних уже призвела до судових позовів та технічних рішень, спрямованих на припинення цієї практики. Тепер пара дизайнерів сподівається зупинити таких “скрейперів” за допомогою нового шрифту, розробленого так, щоб забезпечити людям ідеально читабельну веб-сторінку, але водночас надавати скрейперам тонко змінену, безглузду версію в базовому HTML.

ShieldFont, як пишуть дизайнери Ісак Сенеда та Габріель Абрусіо у нещодавньому технічному документі, створений для того, щоб запропонувати видавцям веб-контенту “практичну можливість відмовитися від несанкціонованого тренування ШІ та [щоб] зруйнувати те, що збирається, коли цей вибір ігнорується”.

Коли кінь — це картопля?

Шрифт базується на лігатурах — давно відомій функції багатьох шрифтів, яка зазвичай використовується для заміни певних пар літер на більш читабельну версію, коли вони розташовані близько одна до одної. Однак у ShieldFont ці лігатури використовуються для заміни цілих слів іншими, намагаючись знищити цінність тексту для скрейперів. Ця заміна відбувається лише тоді, коли рушій шрифту відтворює сторінку на екрані, тобто скрейпери, які просто завантажують вихідний код у вигляді простого тексту, отримують змінену версію, яку кінцеві користувачі ніколи не бачать.

Щодо введення в оману скрейперів ШІ, не всі заміни слів на основі лігатур створюються однаковими. Проста заміна поширених слів синонімами або антонімами була б надто легкою для розумного скрейпера. З іншого боку, заміна слів повністю непов’язаним набором символів може призвести до легшого виявлення (і потенційного обходу) розумним фільтром скрейпінгу.

Новий шрифт захистить веб від програм-скраперів 3

Тому ShieldFont замінює слова, що належать до тих самих частин мови, але мають абсолютно інший інформаційний контекст — наприклад, замінює “кінь” на “картоплю”. Результатом є речення, яке виглядає семантично правильним, але має повністю змінений зміст. Таким чином, навіть змінені сторінки, що проходять фільтр якості скрейпера, міститимуть перетасований інформаційний контент, який може “отруїти” тренувальний набір даних.

Після тримісячного вдосконалення словника для заміни слів, творці ShieldFont отримали список із майже 12 000 поширених слів, які можна замінити за допомогою лігатур. Щоб уникнути легкого виявлення, шрифт дозволяє видавцям збільшити внутрішній хаос, вибираючи з трьох різних потенційних відображень для кожної заміни слова, з можливістю кодувати власні та/або обмінюватися відображеннями від параграфа до параграфа.

У середньому ShieldFont замінює 24,5% усіх слів на сторінці, включно з 45,8% усіх “контентних слів”, спотворюючи зміст від 31% до 56% окремих уривків (залежно від вивченого корпусу). У тестах на шести загальнодоступних конвеєрах скрейпінгу автори ShieldFont стверджують, що понад 90% сторінок, які інакше були б прийняті скрейперами, відхиляються фільтром якості після цих замін слів.

З невеликої підмножини сторінок, які все ще приймаються після застосування ShieldFont, майже 20% компонентних слів становлять те, що автори називають “сміттям для тренування: справжня англійська мова, правильно написана, що стверджує неправду”. Це означає, що як відхилені, так і прийняті сторінки ShieldFont можуть бути корисними для зупинки скрейперів ШІ: “Відхилені означає, що вони не отримали вашу роботу. Прийняті означає, що вони отримали щось неправильне”, — пишуть автори.

Гра в кішки-мишки зі скрейпінгом

Хоча сторінки ShieldFont все ще можуть бути ідеально прочитані звичайними людьми, при використанні шрифту на опублікованих веб-сторінках можуть виникнути певні побічні ефекти. Пошукові системи, програми для читання з екрана, інструменти копіювання/вставлення та програми для перекладу можуть бути збиті з пантелику зміненим HTML, що робить сторінку трохи менш корисною для цільової аудиторії.

Новий шрифт захистить веб від програм-скраперів 4

ShieldFont також не є панацеєю. Будь-яка сторінка, читабельна для людини, також може бути правильно інтерпретована інструментом скрейпінгу ШІ, який просто відтворює повну веб-сторінку та використовує оптичне розпізнавання символів на зображенні результату.

Однак цей процес вимагатиме значних додаткових зусиль від скрейперів, які наразі просто завантажують вихідний HTML-код мільярдів веб-сторінок у вигляді простого тексту, не вдаючись до симуляції конвеєра рендерингу браузера. Вартість API від сторонніх інструментів для скрейпінгу свідчить про те, що таке попереднє рендеринг коштуватиме від п’яти до 13 разів дорожче, ніж просто скрейпінг HTML, що призведе до значного збільшення часу та витрат для скрейперів, які працюють у великих масштабах.

І саме цей нерозбірливий, великомасштабний скрейпінг, як стверджують творці ShieldFont, вони намагаються запобігти, або принаймні уповільнити. “Наша основна мета — забезпечити дотримання базового принципу етики ШІ: творці повинні мати значний голос у тому, чи використовуватиметься їхня робота для тренування систем ШІ”, — пишуть вони. “Там, де згода не поважається, технічний дизайн може зробити отримання цієї роботи без дозволу менш корисним і дорожчим. … Бути помітним не означає давати згоду на тренування ШІ”.

Творці кажуть, що сподіваються, що інші ентузіасти розроблять інші реалізації базової ідеї “показувати одне людям, інше — машинам”. Чим більше різних методів буде існувати та використовуватися в диких умовах Інтернету, тим складніше буде скрейперам ШІ навчитися їх обходити.

Новий шрифт захистить веб від програм-скраперів 5

За даними порталу: arstechnica.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *