Суддя попереджає, що сторони, які самостійно представляють свої інтереси, неправильно використовують чат-боти та діють відчайдушно.
Суддя виявив, як виглядає перша спроба позивача в США приховати текст у судових документах, який може прочитати лише система штучного інтелекту, щоб виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу у справі, де чоловік стверджував, що медичний заклад неправомірно відмовляє в доступі до документів. Суд розглянув його клопотання по суті, зазначив Спейдер, але, тим не менш, ця спроба створила «небезпечний» прецедент. Ймовірно, це не останній випадок, коли суди США зіткнуться з таким зловмисним методом, оскільки інструменти ШІ стають дедалі поширенішими в судових системах.
Намагаючись заплутати будь-які системи ШІ, які потенційно впливають на читання документа судом, секретні інструкції були «сформатовані так, щоб бути невидимими для людини, але повністю читабельними для будь-якого програмного забезпечення, що читає текст документа», — сказав Спейдер. Образливий текст наказував будь-якій системі ШІ, що переглядає документ, забезпечити відповідність текстових результатів аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що виправлення відбудуться відповідно до бажань позивача.
Текст, зменшений до крихітного розміру та зафарбований білим на білому тлі, виглядав як спроба «впровадження підказок» (prompt injection), при цьому позивач, Метью Елліотт, очевидно, сподівався змінити рішення суду після того, як його попередні аргументи були відхилені.
План не спрацював, але Елліотт все одно зіткнувся з помірними санкціями, оскільки він продовжував додавати прихований текст до клопотань навіть після того, як суд попередив його, що йому можуть загрожувати штрафи за те, що зрештою було визнано «серйозним зловживанням у судовій тяганині».
Ці пізніші підказки були призначені як «жарти», сказав Елліотт суду, включаючи посилання на відео Nosferatu на YouTube, просте повідомлення: «привіт 🙂 сподіваюся, ти мене не бачиш», і «безглузде» повідомлення: «передай Шону, що я надсилаю свої вибачення!!!! ХАХАХА, ви це отримуєте???? АХА».
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це слухання [про накладення стягнень], приголомшує», — сказав Спейдер.
На відміну від «чималої кількості судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду чи ухвалення рішень щодо клопотань, сказав Спейдер. Тому не було реального ризику, що система ШІ суду може сплутати будь-які підказки Елліотта з інструкціями суду, що керують моделлю ШІ щодо читання клопотань Елліотта.
На свій захист Елліотт стверджував, що найбільш тривожна підказка, на яку вказав суддя, була спробою «аудиту» суду як громадської послуги, через побоювання, що суд, схоже, дозволяв ШІ несправедливо вирішувати справи.
Але Спейдер запропонував, що якщо Елліотт дійсно був стурбований тим, що суд неправильно використовує ШІ, він «вільно міг написати про це простими, видимими словами, які могли б побачити і на які могли б відповісти всі». Той факт, що він приховав текст, є «доказом його зловмисного наміру», сказав Спейдер.
«Приховуючи команду в документі, який система потім обробляє, заявник намагається проштовхнути власну інструкцію в цей потік, щоб система сприймала її так, ніби вона надійшла від оператора системи», — сказав Спейдер. «У цьому випадку оператором, як правило, вважається суд, його співробітники або протилежна сторона».
Елліотт заявив Reuters учора, що він наполягає на тому, що його наміром був аудит суду, але Спейдер не знайшов цього аргументу правдоподібним. Натомість судді здалося очевидним, що Елліотт «намагався досягти результату, якого він не досяг, коли люди, обізнані» з правом, читали його клопотання. Щодо підказок, які Елліотт стверджував, були жартівливими, Спейдер сказав, що «суперечить логіці» для Елліотта включати приховані жарти в клопотання, які він хоче, щоб суд сприймав серйозно.
Оскільки приховані повідомлення намагалися спілкуватися з судом у таємний спосіб, який позбавляв відповідачів справедливої боротьби, Спейдер постановив, що санкції виправдані.
Однак він, очевидно, змилувався над Елліоттом як стороною, яка самостійно представляє свої інтереси і, здавалося, була переконана системою ШІ, що його аргументи були непорушними, і відмовився призначати грошові штрафи. Натомість суд заборонив Елліотту електронно подавати документи в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступ до правосуддя, але запобігатиме повторному зловживанню системою електронного подання документів суду.
Сторони, які самостійно представляють свої інтереси, неправильно використовують чат-боти
Спейдер зазначив, що «не дивно», що люди почали використовувати впровадження підказок для спроб вплинути на судові рішення, оскільки ця атака є настільки поширеною в інших сферах, наприклад, під час пошуку роботи, де люди приховують текст у резюме, які переважно переглядаються ШІ. Цей метод тепер «скрізь», сказав він, і суди повинні бути уважними до того, що все більше позивачів просувають ворожі інструкції ШІ у своїх клопотаннях.
Хоча справа Елліотта, здається, є першим випадком впровадження підказок у судовій системі США, Спейдер вказав на справу в Бразилії, де двоє адвокатів використали таку ж атаку в суді, який використовував ШІ для розгляду справ. У тій справі адвокати, як повідомляється, отримали грошові санкції приблизно на 16 000 доларів.
Однак ці атаки, схоже, не досягають успіху, навіть коли суддя не розглядає документи на власні очі. Система ШІ Бразилії виявила прихований текст до його обробки, зазначив Спейдер. А у справі Елліотта підказки були «виявлені в кожному з цих випадків, як тільки людина фактично подивилася на те, що виробила машина», — сказав Спейдер.
Хоча атака за допомогою впровадження підказок на даний момент здається неефективною, Спейдер попередив, що впровадження підказок «не було серед небезпек, які ми передбачали», коли суди вперше зіткнулися з тим, як ШІ може підірвати судові системи. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю вихідних даних ШІ, які підривають довіру до судів, як-от галюциновані цитати чи сфабриковані цитати, а не вхідні дані, як-от впровадження підказок.
Судам, швидше за все, доведеться розробити правила щодо впровадження підказок, також, запропонував Спейдер, оскільки справа Елліотта показує, що технології та їхнє зловживання швидко розвиваються. Якщо ні, юристи можуть виявити, що їхні клієнти використовують впровадження підказок для маніпулювання судовими клопотаннями без їхнього відома, попередив Спейдер.
На думку Спейдера, є урок, який можна засвоїти з невдалих спроб впровадження підказок Елліоттом, який, на його думку, «виходить далеко за межі цієї справи».
Елліотт, очевидно, звернувся до впровадження підказок після використання ШІ для побудови своєї справи як позивач, який самостійно представляє свої інтереси, без юридичного експерта, який допомагав би складати його аргументи. Таке використання широко поширене серед сторін, які самостійно представляють свої інтереси, в ці дні, визнав Спейдер, але ті, хто не має досвіду в залі суду, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спейдер, що сторони, які самостійно представляють свої інтереси, будують свій аргумент у зворотному порядку, просячи чат-бот допомогти їм виступати лише за свою позицію, ніколи не питаючи чат-бот про фактичну істину чи просування протилежних аргументів. Це «справжня небезпека технології, і яку судді зараз часто бачать», — сказав Спейдер, оскільки лестощі чат-ботів закріплюють позивачів у їхніх аргументах, незважаючи на будь-які рішення протилежного. У справі Елліотта, запекло захищаючи свої аргументи, він звернувся до впровадження підказок, щоб спробувати змусити суд погодитися з ним.
«Аргумент, підказаний лише для того, щоб погодитися зі своїм автором, зрештою, є нечесним навіть щодо свого автора», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх перевіряти позицію так само охоче, як і просувати її».
Оригінал статті: arstechnica.com