Суддя попереджає: сторони, що самостійно представляють свої інтереси, неправильно використовують чат-боти та діють відчайдушно.
Суддя виявив, як американський позивач вперше спробував приховати текст у судових документах, який може прочитати лише система штучного інтелекту, аби виграти справу.
У рішенні, опублікованому минулого тижня, суддя з Коннектикуту Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад неправомірно відмовляв йому в доступі до медичної документації. Суд розглянув подання по суті, але, тим не менш, спроба такого впливу створює “небезпечний” прецедент. Ймовірно, це не останній випадок, коли суди США зіткнуться з таким шкідливим методом, адже інструменти ШІ стають дедалі поширенішими в судових системах.
Сховані інструкції були “сформатовані так, щоб бути невидимими для людини, але повністю розбірливими для будь-якого програмного забезпечення, що читає текст документа”, — сказав Спейдер. Намагаючись заплутати будь-які системи ШІ, які потенційно впливають на читання документа судом, прихований текст наказував будь-якій системі ШІ, що переглядає документ, переконатися, що текстові результати відповідають аргументам позивача, ігнорувати попередні відмови суду та забезпечити, щоб виправлення відбулися так, як бажає позивач.
Текст, зменшений до крихітного шрифту та зафарбований білим на білому тлі, здавалося, був спробою “ін’єкції підказок” (prompt injection). Позивач, Метью Елліотт, вочевидь, сподівався змінити рішення суду після того, як його попередні аргументи були відхилені.
План не спрацював, але Елліотт все одно зіткнувся з незначними санкціями, оскільки продовжував додавати прихований текст до своїх подань, навіть після того, як суд попередив його про можливі покарання за те, що було визнано “серйозним зловживанням процесу”.
Ці пізніші підказки, як стверджував Елліотт, були призначені як “жарти”. Вони включали посилання на відео Nosferatu на YouTube, просте повідомлення: “Привіт 🙂 Сподіваюся, ти мене не бачиш” та “безглузде” повідомлення: “ПЕРЕДАЙ ШОНУ, ЩО Я НАДСИЛАЮ СВОЇ ВІТАННЯ!!!! ХАХАХА, ВИ ЦЕ РОЗУМІЄТЕ???? АХА.”
«Той факт, що позивач продовжував ховати повідомлення в нових клопотаннях після отримання повідомлення про це [слухання щодо санкцій], вражає», — зазначив Спейдер.
На відміну від «багатьох судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду або прийняття рішень щодо подань, сказав Спейдер. Таким чином, реального ризику того, що система ШІ суду може сплутати будь-які підказки Елліотта з інструкціями від суду, що керують моделлю ШІ щодо читання подань Елліотта, не було.
На свій захист Елліотт стверджував, що найбільш тривожна підказка, яку суддя відзначив, була спробою “аудиту” суду як громадської послуги, з побоювань, що суд, здавалося, дозволяв ШІ несправедливо вирішувати справи.
Але Спейдер припустив, що якщо Елліотт справді був стурбований тим, що суд неправомірно використовує ШІ, він «міг вільно написати про це простими, видимими словами, які б усі бачили і на які б відповідали». Той факт, що він приховав текст, «є свідченням його зловмисного наміру», — сказав Спейдер.
«Приховуючи команду в документі, який система потім обробляє, подавець намагається проштовхнути власну інструкцію в цей потік, щоб система трактувала її так, ніби вона надійшла від оператора системи», — пояснив Спейдер. «У цьому випадку таким оператором, як правило, вважається суд, його персонал або протилежна сторона».
Елліотт заявив Reuters, що він наполягає на тому, що його намір полягав в аудиті суду, але Спейдер не вважав цей аргумент правдоподібним. Натомість судді було цілком очевидно, що Елліотт «намагався досягти результату, якого він не досяг, коли люди, які обізнані» з правом, читали його клопотання. Щодо підказок, які Елліотт назвав жартівливими, Спейдер сказав, що «суперечить логіці» включати приховані жарти в клопотання, які, на його думку, суд має сприймати серйозно.
Оскільки приховані повідомлення намагалися спілкуватися з судом таємним чином, що позбавляло відповідачів справедливої боротьби, Спейдер ухвалив, що санкції були виправдані.
Однак він, схоже, зглянувся над Елліоттом як над стороною, що самостійно представляє свої інтереси, яка, вочевидь, була переконана системою ШІ у непохитності своїх аргументів, і відмовився призначати грошові штрафи. Натомість суд заборонив Елліотту подавати документи в електронному вигляді в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігне повторному зловживанню системою електронного подання документів суду.
Сторони, що самостійно представляють свої інтереси, неправильно використовують чат-боти
Спейдер зазначив, що «не дивно», що люди почали використовувати ін’єкції підказок для спроб вплинути на судові рішення, оскільки ця атака є дуже поширеною в інших сферах, наприклад, під час пошуку роботи, де люди приховують текст у резюме, які переважно перевіряються ШІ. Цей метод тепер «скрізь», сказав він, і суди мають бути напоготові до того, що все більше сторін будуть просувати приховані інструкції ШІ у своїх клопотаннях.
Хоча справа Елліотта, схоже, є першим американським випадком ін’єкції підказок у судовій системі, Спейдер вказав на справу в Бразилії, де два адвокати використовували ту саму атаку в суді, який використовував ШІ для перегляду справ. У тій справі адвокати, як повідомляється, були оштрафовані на суму близько 16 000 доларів.
Однак ці атаки, здається, не досягають успіху, навіть коли суддя не переглядає документи на власні очі. Система ШІ Бразилії виявила прихований текст до його обробки, зазначив Спейдер. А у справі Елліотта підказки «були виявлені в кожному з цих випадків, як тільки людина фактично подивилася на те, що видала машина», — сказав Спейдер.
Хоча атака з ін’єкцією підказок на даний момент здається неефективною, Спейдер попередив, що ін’єкція підказок «не була серед небезпек, які ми передбачали», коли суди вперше боролися з ШІ, що загрожує системам правосуддя. У Коннектикуті, як і в багатьох інших судових системах, дотепер основна увага приділялася контролю за вихідними даними ШІ, що підривають довіру до судів, такими як галюцинації цитат або сфабриковані цитати, а не вхідними даними, як-от ін’єкції підказок.
Судам, найімовірніше, доведеться розробити правила щодо ін’єкцій підказок, як припустив Спейдер, оскільки справа Елліотта демонструє швидкий прогрес технологій та їх зловживань. Якщо ні, адвокати можуть виявити, що їхні власні клієнти використовують ін’єкції підказок для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
Для Спейдера є урок, який можна винести з невдалих атак ін’єкції підказок Елліотта, що, на його думку, «виходить далеко за межі цієї справи».
Елліотт, вочевидь, звернувся до ін’єкції підказок після використання ШІ для побудови своєї справи як позивач, що самостійно представляє свої інтереси, без експерта з права, який би допомагав у складанні його аргументів. Таке використання є широко поширеним серед таких позивачів сьогодні, визнав Спейдер, але ті, хто не має досвіду в суді, вочевидь, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто, пояснив Спейдер, позивачі, що самостійно представляють свої інтереси, будують свої аргументи «навпаки», просячи чат-бот допомогти їм відстоювати лише їхню позицію, навіть не запитуючи чат-бота про справжню істину або просування протилежних аргументів. Це «справжня небезпека технології, і яку судді тепер часто бачать», — сказав Спейдер, оскільки «лестощі» чат-ботів закріплюють позивачів у їхніх аргументах, незважаючи на будь-які протилежні рішення. У справі Елліотта запеклий захист його аргументів означав звернення до ін’єкції підказок, щоб спробувати змусити суд погодитися з ним.
«Аргумент, запрограмований лише на згоду з його автором, зрештою, є нечесним навіть зі своїм автором», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх протестувати позицію так само охоче, як і просувати її».
Дізнатися більше на: arstechnica.com