Суддя попереджає: самостійні позивачі неправильно використовують чат-боти і стають відчайдушними.
Суддя виявив, як американський позивач вперше спробував приховати текст у судових документах, який може прочитати лише система штучного інтелекту, аби виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад безпідставно відмовляє йому в доступі до записів. Суд розглянув його клопотання по суті, зазначив Спейдер, але, тим не менш, спроба такого “атаки” встановлює “небезпечний” прецедент. Цілком ймовірно, що це не вперше, коли американські суди стикаються з таким зловмисним тактичним прийомом, оскільки інструменти ШІ стають дедалі поширенішими в судових системах.
Намагаючись заплутати будь-які системи ШІ, які потенційно могли вплинути на читання його клопотання судом, таємні інструкції були “відформатовані так, щоб бути невидимими для людського читача, залишаючись при цьому повністю розбірливими для будь-якого програмного забезпечення, що читає текст документа”, — зазначив Спейдер. Образливий текст наказував будь-якій системі ШІ, що переглядає документ, забезпечити відповідність текстових виводів аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що виправлення будуть внесені відповідно до бажань позивача.
Знімок екрана прихованого тексту в судовому документі. Текст, зменшений до крихітного розміру та нанесений білим кольором на білому тлі, здавався спробою “введення підказок” (prompt injection). Позивач, Метью Елліотт, очевидно, сподівався змінити думку суду після того, як його попередні аргументи були відхилені.
План не вдався, але Елліотт все ж таки отримав помірні санкції, оскільки він продовжував додавати прихований текст до своїх клопотань навіть після того, як суд попередив його про можливі покарання за те, що було визнано “серйозним зловживанням у судовому процесі”.
Ці пізніші підказки, як стверджував Елліотт, були “жартами”, включаючи посилання на відео Nosferatu на YouTube, просте повідомлення: “Привіт 🙂 Сподіваюся, ти мене не бачиш”, і “безглузде” повідомлення: “Передай Шону, що я надсилаю свої привітання!!!! ХАХАХА, ви це розумієте???? АХАХ”.
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це [слухання щодо санкцій], приголомшує», — сказав Спейдер.
Спейдер зазначив, що, на відміну від “ряду судових систем в інших місцях”, Судова гілка Коннектикуту не використовує ШІ для перегляду або прийняття рішень щодо клопотань. Отже, не було реального ризику, що система ШІ суду могла б сплутати будь-які підказки Елліотта з інструкціями від суду, які б вказували моделі ШІ, як читати клопотання Елліотта.
На свій захист Елліотт стверджував, що найбільш тривожна підказка, яку відзначив суддя, була спробою “аудиту” суду як суспільної послуги, через побоювання, що суд, здавалося, дозволяв ШІ несправедливо вирішувати справи.
Однак Спейдер припустив, що якщо Елліотт справді був стурбований тим, що суд неправомірно використовує ШІ, він “міг вільно написати про це простими, видимими словами, які могли б побачити та прочитати всі”. Той факт, що він приховав текст, є “доказом його зловмисного наміру”, — сказав Спейдер.
«Приховуючи команду всередині документа, який система потім обробляє, особа, що подає документ, намагається проштовхнути власну інструкцію в цей потік, щоб система розглядала її так, ніби вона надійшла від оператора системи», — пояснив Спейдер. «У цьому випадку оператором вважається суд, його персонал або сторона протилежної сторони».
Елліотт заявив Reuters учора, що він наполягає на тому, що його наміром був аудит суду, але Спейдер не вважав цей аргумент правдоподібним. Натомість судді здалося очевидним, що Елліотт “намагався досягти результату, якого він не досяг, коли люди, обізнані” з правом, читали його клопотання. Щодо підказок, які Елліотт назвав жартівливими, Спейдер зазначив, що “суперечить логіці” включати приховані жарти до клопотань, які, на його думку, суд повинен сприймати серйозно.
Оскільки приховані повідомлення намагалися зв’язатися з судом у таємний спосіб, який позбавляв відповідачів справедливої боротьби, Спейдер постановив, що санкції були виправдані.
Проте він, здавалося, змилувався над Елліоттом як над самостійним позивачем, який, очевидно, переконався за допомогою системи ШІ, що його аргументи були залізними, і відмовився від наказу про грошові штрафи. Натомість суддя заборонив Елліотту подавати документи в електронному вигляді в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігне повторному зловживанню системою електронного подання документів суду.
Самостійні позивачі неправильно використовують чат-боти
Спейдер зазначив, що “не дивно”, що люди почнуть використовувати “введення підказок” для спроб вплинути на судові рішення, оскільки ця атака є настільки поширеною в інших сферах, наприклад, при пошуку роботи, де люди приховують текст у резюме, які переважно переглядаються ШІ. Ця тактика тепер “скрізь”, зазначив він, і суди повинні бути пильними щодо більшої кількості позивачів, які прокрадаються в клопотання змагальними інструкціями ШІ.
Хоча справа Елліотта, здається, є першим випадком “введення підказок” у судовій системі США, Спейдер вказав на справу в Бразилії, де два адвокати використовували ту саму атаку в суді, який використовував ШІ для перегляду справ. У тій справі адвокати, як повідомляється, отримали грошові санкції приблизно на 16 000 доларів.
Однак, здається, ці атаки не вдаються, навіть коли суддя не переглядає документи на власні очі. Система ШІ Бразилії виявила прихований текст до його обробки, зазначив Спейдер. А у справі Елліотта підказки були “викриті, у кожній з цих ситуацій, в момент, коли людина фактично дивилася на те, що виробила машина”, — сказав Спейдер.
Хоча атака “введення підказок” наразі здається неефективною, Спейдер попередив, що “це не входило до небезпек, які ми передбачали”, коли суди вперше стикалися з тим, як ШІ може спотворити системи правосуддя. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю виводів ШІ, які підривають довіру до судів, таких як галюциновані цитати або сфабриковані цитати, а не введення, як-от “введення підказок”.
Судам, найімовірніше, доведеться розробити правила щодо “введення підказок”, припустив Спейдер, оскільки справа Елліотта демонструє, що технологія та її зловживання швидко розвиваються. Якщо ні, то адвокати можуть виявити, що їхні власні клієнти використовують “введення підказок” для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
Для Спейдера є урок, який можна засвоїти з невдалих атак “введення підказок” Елліотта, що, на його думку, “виходить далеко за межі цієї справи”.
Елліотт, схоже, звернувся до “введення підказок” після використання ШІ для побудови своєї справи як самостійний позивач, без юридичного експерта, який би допомагав у складанні його аргументів. Таке використання є широко поширеним серед самостійних позивачів у наші дні, визнав Спейдер, але ті, хто не має досвіду в суді, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спейдер, що самостійні позивачі будують свої аргументи “навпаки”, просячи чат-бот допомогти їм відстоювати лише свою позицію, ніколи не просячи чат-бот сказати правду або представити протилежні аргументи. Це “справжня небезпека технології, і яку судді бачать часто”, — сказав Спейдер, оскільки “сикофантія” чат-ботів потім зміцнює позивачів у їхніх аргументах, незважаючи на будь-яке рішення протилежного. У справі Елліотта, запекло захищаючи свої аргументи, він звернувся до “введення підказок”, щоб спробувати змусити суд погодитися з ним.
«Аргумент, підказаний лише для того, щоб погодитися зі своїм автором, зрештою є нечесним навіть зі своїм автором», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх перевірити позицію так само охоче, як і висунути її».
За матеріалами: arstechnica.com