Суддя попереджає: позивачі-самопредставники неправильно використовують чат-боти та відчайдушно вдаються до заборонених методів.
Суддя визначив, як видається, перший випадок, коли позивач у США спробував приховати текст у судових документах, призначений для читання виключно штучним інтелектом, з метою виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, в якій чоловік стверджував, що медичний заклад безпідставно відмовляв у доступі до медичної документації. Суд розглянув його клопотання по суті, зазначив Спейдер, але, тим не менш, ця спроба створила «небезпечний» прецедент. Ймовірно, це не останній випадок, коли суди США зіткнуться з цим зловмисним тактичним прийомом, оскільки інструменти ШІ стають все більш поширеними в судових системах.
З метою заплутати будь-які системи ШІ, які потенційно могли вплинути на читання його клопотання судом, секретні інструкції були «відформатовані таким чином, щоб бути невидимими для людини, залишаючись при цьому повністю читабельними для будь-якого програмного забезпечення, що зчитує текст документа», — сказав Спейдер. Образливий текст давав вказівку будь-якій системі ШІ, яка переглядає документ, забезпечити відповідність текстових виводів аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що виправлення будуть здійснені відповідно до бажань позивача.
Фотографія прихованого тексту в судовій справі. Джерело: через рішення Спейдера Зменшений до крихітного розміру шрифту та кольором білим на білому тлі, текст, схоже, був спробою «ін’єкції підказок» (prompt injection), де позивач, Метью Елліотт, очевидно, сподівався змінити думку суду після того, як його попередні аргументи були відхилені.
План не спрацював, але Елліотт все одно зазнав помірних санкцій, оскільки він продовжував додавати прихований текст до документів навіть після того, як суд попередив його про можливі покарання за те, що було зрештою визнано «серйозним зловживанням судовим процесом».
Пізніші підказки були призначені як «жарти», сказав Елліотт суду, включаючи посилання на відео Nosferatu на YouTube, просте повідомлення: «Привіт 🙂 Сподіваюся, ти мене не бачиш», і «безглузде» повідомлення: «Скажи Шону, що я надсилаю йому свої регардс!!!! ХАХАХА, ви це розумієте???? АХА».
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це слухання [про санкції], вражає», — зазначив Спейдер.
На відміну від «рядів судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду чи прийняття рішень за клопотаннями, сказав Спейдер. Тому не було реального ризику, що система ШІ суду могла б сплутати будь-які підказки Елліотта з інструкціями суду, що керують моделлю ШІ щодо читання клопотань Елліотта.
На свій захист Елліотт стверджував, що найбільш тривожна підказка, яку суддя позначив, була спробою «аудиту» суду як суспільного блага, через побоювання, що суд, здавалося, дозволяв ШІ несправедливо вирішувати справи.
Але Спейдер припустив, що якщо Елліотт дійсно був стурбований тим, що суд неправомірно використовує ШІ, він «міг вільно написати про це простими, видимими словами, які могли б бачити і зрозуміти всі». Той факт, що він приховав текст, «є доказом його зловмисного наміру», — зазначив Спейдер.
«Приховуючи команду в документі, який система потім обробляє, подавач намагається просунути власну інструкцію в цей потік, щоб система сприйняла її так, ніби вона надійшла від оператора системи», — пояснив Спейдер. «У цьому випадку оператором вважається суд, його співробітники або протилежна сторона».
Вчора Елліотт заявив Reuters, що він наполягає на тому, що його наміром був аудит суду, але Спейдер не визнав цей аргумент достовірним. Натомість судді було очевидно, що Елліотт «намагається досягти результату, якого він не досяг, коли його клопотання читали люди, які знаються» на законі. Щодо підказок, які Елліотт назвав жартівливими, Спейдер зазначив, що «суперечить логіці» включати приховані жарти в клопотання, які позивач хоче, щоб суд сприйняв серйозно.
Оскільки приховані повідомлення намагалися комунікувати з судом у таємний спосіб, який позбавляв відповідачів справедливої боротьби, Спейдер ухвалив, що санкції були виправдані.
Однак він, здавалося, виявив співчуття до Елліотта як до позивача, який самостійно представляв свої інтереси і, очевидно, був переконаний системою ШІ у непорушності своїх аргументів, і відмовився накладати грошові штрафи. Натомість суддя заборонив Елліотту користуватися електронним поданням документів у майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступ до правосуддя, але запобігатиме повторному зловживанню системою електронного подання документів суду.
Позивачі-самопредставники неправильно використовують чат-боти
Спейдер зазначив, що «не дивно», що люди почали використовувати «ін’єкцію підказок» для спроб вплинути на судові рішення, оскільки ця атака дуже поширена в інших сферах, наприклад, при пошуку роботи, де люди приховують текст у резюме, які в першу чергу переглядаються ШІ. Ця тактика тепер «скрізь», зазначив він, і суди повинні бути уважними до того, як все більше позивачів просовують у документи ворожі інструкції ШІ.
Хоча справа Елліотта, схоже, є першим випадком «ін’єкції підказок» у судовій системі США, Спейдер вказав на справу в Бразилії, де два адвокати використовували таку ж атаку в суді, який використовував ШІ для перегляду справ. У цій справі адвокати, як повідомляється, зазнали грошових санкцій у розмірі близько 16 000 доларів.
Однак ці атаки, схоже, не вдаються, навіть коли суддя не переглядає документи на власні очі. Система ШІ Бразилії виявила прихований текст до того, як він був оброблений, зазначив Спейдер. А у справі Елліотта підказки були «виявлені в кожному з цих випадків, як тільки людина фактично подивилася на те, що вивело програмне забезпечення», — сказав Спейдер.
Хоча атака «ін’єкції підказок» на даний момент здається неефективною, Спейдер попередив, що «ін’єкція підказок» «не була серед небезпек, які ми передбачали», коли суди вперше стикалися з тим, як ШІ може спотворити системи правосуддя. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю за виводами ШІ, які підривають довіру до судів, такими як вигадані посилання або сфабриковані цитати, а не введенням, таким як «ін’єкція підказок».
Судам, найімовірніше, доведеться розробити правила щодо «ін’єкції підказок», зазначив Спейдер, оскільки справа Елліотта демонструє швидкий розвиток технологій та їх зловживань. Якщо ні, адвокати можуть виявити, що їхні клієнти використовують «ін’єкцію підказок» для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
На думку Спейдера, зі справи Елліотта з її невдалими атаками «ін’єкції підказок» можна отримати урок, який «вийде далеко за межі цієї справи».
Елліотт, очевидно, звернувся до «ін’єкції підказок» після використання ШІ для побудови своєї справи як позивач-самопредставник без юридичного експерта, який би допоміг у складанні його аргументів. Таке використання є широко поширеним серед позивачів-самопредставників у наші дні, визнав Спейдер, але ті, хто не має досвіду в суді, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спейдер, що позивачі-самопредставники будують свої аргументи «назад», просячи чат-бот допомогти їм відстоювати лише їхню позицію, навіть не запитуючи чат-бот про фактичну правду чи просування протилежних аргументів. Це «справжня небезпека технології, яку судді тепер часто бачать», — зазначив Спейдер, оскільки сикофантія чат-бота закріплює позицію позивачів у їхніх аргументах, незважаючи на будь-які протилежні рішення. У справі Елліотта, люто захищаючи свої аргументи, він звернувся до «ін’єкції підказок», щоб спробувати змусити суд погодитися з ним.
«Аргумент, підказаний лише для того, щоб погодитися зі своїм автором, зрештою є нечесним навіть для свого автора», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх перевіряти позицію так само охоче, як і просувати її».
За матеріалами: arstechnica.com