Суддя попереджає: самостійні позивачі неправильно використовують чат-боти та почуваються притиснутими до стіни.
Суддя виявив, як видається, перший випадок, коли позивач у США намагався приховати текст у судових документах, який міг би прочитати лише штучний інтелект, аби виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад незаконно відмовляв йому в доступі до медичної документації. Суд розглянув його клопотання по суті, зазначив Спейдер, але, тим не менш, спроба такого “атакування” створює “небезпечний” прецедент. Цілком імовірно, що це не останній випадок, коли суди США зіткнуться з таким зловмисним тактичним прийомом, оскільки інструменти ШІ стають все більш поширеними в судових системах.
З метою заплутати будь-які системи ШІ, які потенційно впливають на читання документа судом, таємні інструкції були «форматовані так, щоб бути невидимими для людського ока, залишаючись при цьому повністю читабельними для будь-якого програмного забезпечення, що обробляє текст документа», — сказав Спейдер. Прихований текст наказував будь-якій системі ШІ, що переглядає документ, забезпечити, щоб текстові висновки відповідали аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що подальші дії будуть відповідати бажанню позивача.
Прихований текст у судовому документі. Зменшений до крихітного шрифту та написаний білим кольором на білому тлі, текст, схоже, був спробою “ін’єкції підказок” (prompt injection). Позивач, Метью Еліотт, очевидно, сподівався змінити рішення суду після того, як його попередні аргументи були відхилені.
План не вдався, але Еліотт все одно отримав скромні санкції, оскільки він продовжував додавати прихований текст до своїх документів навіть після того, як суд попередив його про можливі покарання за те, що зрештою було визнано “серйозним зловживанням у судовій тяганині”.
Ці пізніші підказки були призначені як “жарти”, заявив Еліотт суду, включно з посиланням на відео Nosferatu на YouTube, простим повідомленням: “Привіт 🙂 Сподіваюся, ти мене не бачиш”, та “безглуздим” повідомленням: “Передай Шону, що я надсилаю йому свої вітання!!!! Ха-ха, ви це розумієте???? Ахах”.
«Те, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це [санкційне] слухання, приголомшує», — зазначив Спейдер.
На відміну від “кількох судових систем в інших місцях”, Судова гілка штату Коннектикут не використовує ШІ для перегляду чи прийняття рішень за документами, сказав Спейдер. Отже, реального ризику, що система ШІ суду могла б сплутати будь-які підказки Еліотта з інструкціями суду, які б спрямовували ШІ-модель щодо читання документів Еліотта, не було.
На свій захист Еліотт стверджував, що найтривожніша підказка, на яку звернув увагу суддя, була спробою “аудиту” суду як суспільної послуги, через побоювання, що суд, схоже, дозволяв ШІ несправедливо вирішувати справи.
Але Спейдер припустив, що якби Еліотт справді був стурбований тим, що суд незаконно використовує ШІ, він “міг вільно написати про це простими, видимими словами, які міг би бачити і зрозуміти кожен”. Той факт, що він приховав текст, є “доказом його зловмисного наміру”, — сказав Спейдер.
“Приховуючи команду в документі, який система пізніше обробляє, подавач намагається проштовхнути власну інструкцію в цей потік, щоб система розглядала її так, ніби вона походить від оператора системи”, — пояснив Спейдер. “У цьому випадку таким оператором, як передбачається, є суд, його персонал або сторона протилежної сторони”.
Еліотт заявив Reuters, що він наполягає на тому, що його намір полягав в аудиті суду, але Спейдер не визнав цей аргумент правдоподібним. Натомість, судді здалося очевидним, що Еліотт “намагався досягти результату, якого він не досяг, коли з людьми, обізнаними” з правом, читали його клопотання. Щодо підказок, які Еліотт назвав жартами, Спейдер сказав, що “суперечить логіці” включення прихованих жартів у клопотання, які позивач хоче, щоб суд сприймав серйозно.
Оскільки приховані повідомлення намагалися спілкуватися з судом у прихованій манері, яка позбавляла відповідачів справедливої боротьби, Спейдер ухвалив, що санкції були виправдані.
Однак він, схоже, виявив певне співчуття до Еліотта як до самостійного позивача, який, очевидно, переконався за допомогою системи ШІ, що його аргументи були залізними, і відмовився призначати грошові штрафи. Натомість суддя заборонив Еліотту електронне подання документів у майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігатиме повторному зловживанню системою електронного подання документів суду.
Самостійні позивачі неправильно використовують чат-боти
Спейдер зазначив, що “не дивно”, що люди почали використовувати “ін’єкції підказок” для спроби вплинути на судові рішення, оскільки така атака є досить поширеною в інших сферах, наприклад, при пошуку роботи, де люди приховують текст у резюме, які в основному переглядаються ШІ. Ця тактика зараз “скрізь”, сказав він, і суди повинні бути уважними до того, щоб більше позивачів не вносили шкідливі інструкції ШІ до своїх документів.
Хоча справа Еліотта, схоже, є першим випадком “ін’єкції підказок” у судовій системі США, Спейдер вказав на справу в Бразилії, де два адвокати використали таку ж атаку в суді, який використовував ШІ для перегляду справ. У цьому випадку адвокати, за повідомленнями, отримали грошові санкції на суму близько 16 000 доларів.
Однак, схоже, такі атаки не мають успіху, навіть коли суддя не переглядає документи власними очима. Бразильська система ШІ виявила прихований текст до його обробки, зазначив Спейдер. А у справі Еліотта підказки “були викриті в кожному з цих випадків, як тільки людина насправді подивилася на те, що виробила машина”, — сказав Спейдер.
Хоча атака “ін’єкції підказок” на даний момент здається неефективною, Спейдер попередив, що “це не було серед небезпек, які ми передбачали”, коли суди вперше мали справу з тим, як ШІ може порушити справедливість. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю за вихідними даними ШІ, що підривають довіру до судів, як-от галюцинації з цитатами або сфабриковані цитати, а не за вхідними даними, такими як “ін’єкції підказок”.
Судам, найімовірніше, доведеться розробити правила щодо “ін’єкцій підказок” також, запропонував Спейдер, оскільки справа Еліотта показує, що технологія та її зловживання швидко розвиваються. Якщо ні, адвокати можуть виявити, що їхні власні клієнти використовують “ін’єкції підказок” для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
На думку Спейдера, є урок, який можна винести з невдалих спроб “ін’єкцій підказок” Еліотта, і цей урок “виходить далеко за межі цієї справи”.
Схоже, Еліотт вдався до “ін’єкції підказок” після використання ШІ для побудови своєї справи як самостійний позивач, без залучення юриста для допомоги у формулюванні своїх аргументів. Таке використання є поширеним серед самостійних позивачів у наші дні, визнав Спейдер, але ті, хто не має досвіду в судовому залі, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Що часто трапляється, пояснив Спейдер, це те, що самостійні позивачі будують свої аргументи “навпаки”, просячи чат-бот допомогти їм відстоювати лише свою позицію, ніколи не запитуючи чат-бот про справжню правду або про висунення протилежних аргументів. Це “справжня небезпека технології, яку судді тепер часто бачать”, — сказав Спейдер, оскільки “сикофантія” чат-бота закріплює позивачів у їхніх аргументах, незважаючи на будь-які рішення суду. У справі Еліотта, завзято захищаючи свої аргументи, він звернувся до “ін’єкції підказок”, щоб спробувати змусити суд погодитися з ним.
“Аргумент, підказка якого лише погоджується з його автором, зрештою є нечесним навіть для автора”, — сказав Спейдер. “Ті, хто використовує ці інструменти, повинні просити їх протестувати позицію так само охоче, як і висувати її”.
Джерело новини: arstechnica.com