Визначити, що є справжнім в інтернеті, у майбутньому буде непросто.
Масштаби медіа, створених штучним інтелектом, важко осягнути.
За оцінками Starling Lab, дослідницької колаборації Стенфордського університету та Університету Південної Каліфорнії, людству знадобилося 149 років (до 1975 року) від винаходу фотоапарата, щоб створити 1,5 мільярда зображень. Генеративний ШІ досягнув цього показника лише за 18 місяців. І ШІ на цьому не зупинився.
Навесні цього року Google оголосив на конференції I/O, що його інструменти були використані для створення понад 100 мільярдів зображень та відео ШІ лише за кілька років. При цьому Google далеко не єдине джерело контенту ШІ. Компанія доповнила цю вражаючу статистику низкою партнерств для розширення використання своєї технології водяних знаків SynthID, яка може позначати контент, створений ШІ, і потенційно допомагати людям визначати, що є справжнім.
Компанія стверджує, що SynthID достатньо стійкий, щоб пережити редагування, і незабаром це буде перевірено, оскільки OpenAI, Runway, Nvidia та інші починають його використовувати. Чи можуть невидимі водяні знаки вирішити дилему контенту ШІ?
Незмивний (майже) відбиток
Наразі існують два підходи до маркування контенту ШІ: невидимі водяні знаки, як SynthID, та метадані, як-от схеми Coalition for Content Provenance and Authenticity (C2PA). Google використовує обидва для маркування свого контенту ШІ, але C2PA не призначений для приховування, як водяний знак. Він криптографічно захищений, тому його неможливо підробити, проте C2PA надзвичайно легко видалити. Просте редагування та збереження зображення або знімок екрана можуть видалити C2PA.
Водяні знаки, як SynthID, вбудовані в пікселі зображення чи відео або у звукову хвилю аудіофайлу. Контент, який передається через інтернет, деградує від стиснення, зміни розміру та редагування, але Google стверджує, що SynthID залишається присутнім навіть у добре «поношених» мемах. Вчений Google DeepMind Пушміт Колі пояснив Ars, що команда доклала значних зусиль для забезпечення стійкості SynthID як способу маркування контенту ШІ.
«Протягом усього процесу розробки ми, по суті, припускали, що така технологія буде атакована», — сказав Колі. «Тому ми провели багато досліджень, щоб зробити SynthID стійким до різних видів трансформацій. Незалежно від того, чи додають люди якийсь фільтр, чи обрізають зображення, ми використовували ці трансформації та переконувалися, що детектор стійкий до них».
Google неохоче надавав багато технічних деталей щодо роботи SynthID, окрім оригінальної статті, тому варто протестувати ці твердження, оскільки технологія поширюється в ландшафті ШІ. Але хто має час чекати, поки зображення ШІ природно деградують під час передачі через інтернет?
Я використав бібліотеку Python Pillow для симуляції втрати даних від повторного обміну та завантаження зі значно прискореною швидкістю. Скрипт Python вибирає випадкові значення стиснення та зміни розміру в межах заданих діапазонів для застосування до тестового зображення, а потім використовує отримане зображення як основу для наступної ітерації.
Цей тест зосередився на двох типах зображень ШІ: одне, повністю створене моделлю з нуля, та оригінальне фото, відредаговане ШІ. Обидва зображення, створені Nano Banana Pro, містять водяний знак SynthID, і жодна кількість редагування метаданих не може його приховати.
Повністю згенероване ШІ тестове зображення. Google AI
Тестове зображення, відредаговане Google AI. Google AI
Я почав із наведених вище зображень для оригінального та відредагованого тестів. Ймовірно, ми всі погодимося, що жодне з них не є справжнім — політика — це не метал, а мій собака — не наполовину дракон (повірте мені на слово). Я пропустив ці зображення через «машину для знищення зображень» сотні разів, перетворюючи чіткі оригінали на ледь впізнавані плями. Кожні 50 поколінь я також створював обрізані версії зображень (без перекодування), видаляючи потенційні пікселі SynthID, щоб ще більше послабити виявлення.
Після 300 поколінь симульованого обміну залишилися такі повнокадрові зображення:
Повністю згенероване ШІ зображення після 300 циклів стиснення (SynthID збережено). Google AI
Відредаговане ШІ зображення після 300 циклів стиснення (SynthID збережено). Google AI
І ось, водяний знак SynthID все ще працює на обох. Ви можете перевірити це самостійно, завантаживши зображення в Gemini та попросивши перевірку SynthID. Ви можете навіть зробити знімок екрана повного зображення, і система все одно позначить його як SynthID, оскільки спеціальні пікселі передаються до нового файлу.
Оскільки пікселі SynthID розподілені по всьому зображенню, вони також стійкі до обрізання… принаймні до певного моменту. Ось де ми нарешті знаходимо межі SynthID. Після 300 поколінь стиснення видалення кількох пікселів з краю наших тестових зображень зрештою зламало SynthID (як відредаговані, так і повністю ШІ). Ці версії (див. нижче) обрізані на 20 відсотків, але цього достатньо, щоб зробити SynthID невідкритим. Більш значне обрізання на 50 відсотків може зламати SynthID трохи раніше, приблизно через 250 ітерацій зображення.
Невелике обрізання цього стисненого зображення ШІ успішно видаляє SynthID. Google AI
Після невеликого обрізання це значно стиснене редагування ШІ більше не має SynthID. Google AI
Ці зображення можуть бути непривабливими, але ніщо (крім самого вмісту) не доводить, що вони створені ШІ.
Обережність щодо водяних знаків
Згідно з моїми тестами, SynthID може поступово деградувати, але зображення стають марними розмитими до того часу. Тож, чи вирішили ми проблему дезінформації ШІ? Не поспішайте. Вражає, що SynthID може переживати агресивне редагування та втрату даних, але водяні знаки ШІ мають деякі помітні проблеми.
SynthID — це не єдина технологія водяних знаків для ШІ. Meta нещодавно випустила свій водяний знак Content Seal AI, але Reuters виявили, що просте обрізання зображень часто усувало водяний знак. Той факт, що SynthID наразі здається надійним, не означає, що всі спроби невидимого маркування контенту ШІ будуть успішними.
Google також не стверджує, що SynthID невразливий — у початковій статті про технологію зазначено, що водяний знак не призначений для протистояння зловмисним атакам. Цілком можливо, що хтось із достатнім часом та мотивацією знайде спосіб обійти SynthID. Деякі люди вже стверджували, що успішно зламали SynthID, але ми не змогли підтвердити це під час тестування. Колі з Google також каже, що його команда не змогла відтворити передбачувані обхідні шляхи.
Однак безпека ніколи не буває досконалою. Якщо SynthID буде успішно обійдено, що здається правдоподібним, якщо він продовжуватиме зростати в популярності, усі ці мільярди зображень та відео ШІ можуть бути миттєво розмарковані. Google може опинитися в грі «кішки-мишки», оновлюючи стандарт для блокування цих атак. Google швидко зазначає, що SynthID не є панацеєю для цифрової достовірності. Але SynthID стає значно більшою ціллю. Між Google та OpenAI, більшість споживчого простору ШІ вже використовує цю технологію.
Команда, що стоїть за SynthID, має плани щодо боротьби зі зломами, але Колі каже, що Google повинен тримати багато цього в секреті. «Ми, звісно, можемо змінити водяний знак», — сказав Колі. «У нас є багато засобів. Я не можу публічно розкривати багато з цих заходів пом’якшення, оскільки вони допомагають нам забезпечити захист усієї системи».
Принаймні частина моделі безпеки SynthID стає очевидною, коли ви намагаєтеся її використовувати. Google не хоче надавати людям легкий шлях для атаки на SynthID, тому доступ навмисно обмежений. Якщо ви бачите підозріле зображення ШІ, ви повинні попросити Gemini викликати верифікатор — API або загальнодоступної веб-сторінки детектора SynthID немає.
Це також не єдине обмеження. Щоб запобігти тому, щоб люди використовували послідовні перевірки ШІ для налаштування обхідного робочого процесу, Google обмежує SynthID «приблизно 10 перевірками зображень» на день. У моїх тестах верифікатор заблокує вас ще швидше, якщо ви завантажите занадто багато схожих зображень. Якщо ви підозрюєте, що зображення може бути згенероване ШІ більше ніж кілька разів на день, вам може не пощастити. В той час, коли політики з готовністю використовують ШІ для наклепів та атак на опонентів, перевірка правди не повинна мати періоду охолодження.
Навіть якщо ви не заблоковані з інструментів виявлення ШІ, яким ви повинні користуватися? Оскільки Google впроваджує цю технологію для інших фірм, водяні знаки швидко стають фрагментованими. Хоча компанії, як-от OpenAI та Runway, вибрали використання базової технології SynthID для маркування контенту ШІ, фактичні водяні знаки відрізняються. Наприклад, детектор Google не розпізнає водяний знак OpenAI, а детектор OpenAI не розпізнає водяний знак Google. Отже, не тільки доступ до SynthID обмежений, але ви можете пропустити зображення ШІ через кілька детекторів і все одно нічого не знайти, оскільки воно було створено іншою системою, про яку ви навіть не знаєте.
Представник Google каже, що команда усвідомлює, що цей досвід не є оптимальним, і має невиразні плани щодо його покращення. «Ми активно співпрацюємо з галузевими партнерами, щоб зробити верифікацію більш доступною та уніфікованою. Наше бачення полягає у створенні більш інтероперабельної екосистеми, яка забезпечує більш плавний досвід на різних платформах», — сказав він.
Поза пляшкою
Можливо, проблеми з юзабіліті водяних знаків можна вирішити. Але в кращому разі це буде лише один елемент того, як ми визначатимемо, що є справжнім. Водяні знаки в ШІ ніколи не будуть найкращим способом з однієї простої причини: завжди будуть способи створення контенту ШІ без будь-якого маркування.
Незліченна кількість компаній пропонує генерацію зображень та відео, і малоймовірно, що всі вони погодяться використовувати технології водяних знаків або навіть метадані. Важливіше, що вам не потрібно покладатися на централізовані системи Big Tech для генерації «шлаку» ШІ.
«Я думаю, що більша проблема тут — не лише зображення, які створюють Google і OpenAI світу», — сказав Адам Роуз, науковий співробітник і старший радник Starling Lab. «Проблема — люди, які можуть запускати власні моделі, які можуть робити речі на своїх комп’ютерах».
Навіть сьогодні існує багато відкритих моделей, які генерують зображення без будь-якого маркування. Ці моделі ШІ можуть бути нескінченно поширені та вдосконалені, навіть якщо більшість великих гравців ШІ приймуть багатоаспектний підхід до маркування контенту ШІ. Генеративний джин випущено з пляшки, і його вже неможливо запхати назад.
Оскільки завжди буде існувати немаркований контент ШІ, ви не можете покладатися на водяні знаки, щоб сказати вам, що є правдою. З поширенням маркування ШІ люди можуть подумати, що зображення чи відео, яке його не має, автоматично є законним. Це небезпечна, але зрозуміла помилка. Хоча існування невидимих водяних знаків може надати людям певне відчуття безпеки під час дослідження дедалі більш спотвореного інтернету, вони не є надійним способом дізнатися, що є правдою.
«Майбутнє, в якому ми живемо, дедалі більше буде світом необмеженого контенту», — сказав Роуз. «Це економіка 101, попит і пропозиція. Пропозиція зростає до небес, а цінність контенту продовжуватиме падати. Але дедалі більше буде попит на автентифікований контент, спосіб довести, що щось є тим, чим воно видається».
Масштаби контенту ШІ самі по собі зроблять неможливим маркування всього. 100 мільярдів зображень і відео SynthID від Google — це лише верхівка айсберга, який уже затьмарив автентичний контент в інтернеті. Можливо, розумніше зосередитися на перевірці правди, а не на викритті неправди.
«Існує межа тому, скільки контенту може бути створено за допомогою реальних фізичних камер у світі», — пояснив ветеран фотожурналістики та науковий співробітник Starling Майк Каронна. «Немає межі тому, скільки синтетичного контенту можна створити. Ось чому ми хочемо перейти до того, що є дефіцитним, а дефіцитним є високоцінна, правдива інформація. Якщо ми зможемо захистити це та довести, що воно автентичне, ми зможемо захиститися від «дивіденду брехуна».
Можливо, ви не чули цього терміну, але ви його відчували. «Дивіденд брехуна» — це риторична стратегія, за якою хтось стикається зі свідченнями неправомірних дій, а він стверджує, що факти маніпулюються. Або він просто кричить «фейкові новини». Це була жалюгідно ефективна тактика для громадських діячів, щоб уникнути відповідальності, і вона може стати ще потужнішою з поширенням контенту ШІ: «Це не я — це ШІ!»
Це повертає нас до C2PA. Хоча цифрові файли легко стерти, C2PA може запропонувати кращий спосіб визначити, що є справжнім. Це та подібні технології, по суті, є тампер-доказовими печатками для цифрових файлів. Криптографічно перевірені метадані можуть довести, що весь цей порівняно дефіцитний реальний контент, ну, реальний. Це може бути набагато корисніше, ніж шукати докази того, що щось згенероване ШІ, у морі «шлаку» невідомого походження.
Проблема полягає в тому, що C2PA все ще рідкісний. Мало телефонів і камер створюють ці цифрові відбитки, і більшість веб-сайтів і додатків не відображають дані C2PA на зображеннях (хоча ви можете переглядати дані C2PA за допомогою різних онлайн-інструментів). Google насправді випереджає криву тут. Телефони Pixel компанії є єдиними основними камерами з глибокою інтеграцією C2PA. Зображення та відео, зняті такими пристроями, як Pixel 10, містять криптографічно захищені метадані C2PA, які показують, коли і як було зроблено зображення. Вони також вказують, чи був використаний ШІ для редагування зображення.
У майбутньому ми можемо бути змушені ставитися до контенту, якому бракує достовірних даних про походження, як до підозрілого. Це просто наслідок життя у світі, де введення кількох слів може надати нескінченний потік дезінформації. Маркування контенту ШІ є хорошою політикою для технологічних компаній, але це нас не врятує.
Дізнатися більше на: arstechnica.com