Суддя попереджає: самостійні позивачі неправильно використовують чат-боти та стають відчайдушними.
Суддя виявив, схоже, перший випадок, коли позивач у США намагався приховати текст у судових документах, який міг прочитати лише штучний інтелект, щоб виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад незаконно відмовляв йому в доступі до медичної документації. Суд розглянув його клопотання по суті, зазначив Спейдер, але, тим не менш, спроба такого тиску створює «небезпечний» прецедент. Ймовірно, це не останній раз, коли суди США стикаються з таким зловмисним прийомом, оскільки інструменти ШІ стають все більш поширеними в судових системах.
Намагаючись заплутати будь-які системи ШІ, які потенційно могли вплинути на читання документа судом, секретні інструкції були «сформатовані так, щоб бути невидимими для людського читача, залишаючись при цьому повністю розбірливими для будь-якого програмного забезпечення, що читає текст документа», — сказав Спейдер. Образливий текст наказував будь-якій системі ШІ, яка переглядає документ, забезпечити, щоб текстові виводи відповідали аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що відшкодування відбудеться відповідно до бажань позивача.
Стиснутий до крихітного шрифту та кольоровий білим на білому тлі, цей текст, схоже, був спробою «ін’єкції підказок» (prompt injection). Позивач, Метью Елліотт, очевидно, сподівався змінити рішення суду після того, як його попередні аргументи були відхилені.
План не спрацював, але Елліотт все одно зіткнувся зі скромними санкціями, оскільки він продовжував додавати прихований текст до документів навіть після того, як суд попередив його, що йому загрожують покарання за те, що зрештою було визнано «серйозним зловживанням у судочинстві».
Ці пізніші підказки, за словами Елліотта, були призначені як «жарти», включаючи посилання на відео Nosferatu на YouTube, просте повідомлення: «Привіт 🙂 Сподіваюся, ти мене не бачиш», і «безглузде» повідомлення: «Передай Шону, що я надсилаю мої подарунки!!!! ХАХАХА, ви це отримуєте???? АХА».
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це слухання [щодо санкцій], приголомшує», — сказав Спейдер.
На відміну від «низки судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду або прийняття рішень щодо клопотань, зазначив Спейдер. Отже, не було реального ризику, що система ШІ суду могла б переплутати будь-які підказки Елліотта з інструкціями суду, які керують моделлю ШІ щодо читання клопотань Елліотта.
У своєму захисті Елліотт стверджував, що найтривожніша підказка, яку суддя позначив, була спробою «аудиту» суду як громадської послуги, через побоювання, що суд, здавалося, дозволяв ШІ несправедливо вирішувати справи.
Але Спейдер припустив, що якби Елліотт справді був стурбований тим, що суд неправильно використовує ШІ, він «міг би написати про це чітко, видимими словами, які всі могли б бачити та читати». Той факт, що він приховав текст, є «доказом його зловмисного наміру», — сказав Спейдер.
«Приховуючи команду в документі, який система згодом обробляє, подавець намагається проштовхнути власну інструкцію в цей потік, щоб система розглядала її так, ніби вона надійшла від оператора системи», — сказав Спейдер. «У цьому випадку оператором передбачається суд, його персонал або протилежна сторона».
Елліотт розповів Reuters, що він дотримується своєї думки, що його наміром був аудит суду, але Спейдер не знайшов цього аргументу достовірним. Натомість судді здалося очевидним, що Елліотт «намагався досягти результату, якого він не досяг, коли люди, обізнані» з правом, читали його клопотання. Щодо підказок, які Елліотт назвав жартами, Спейдер сказав, що «суперечить логіці» для Елліотта включати приховані жарти в клопотання, які він хоче, щоб суд сприйняв серйозно.
Оскільки приховані повідомлення намагалися таємно спілкуватися з судом, позбавляючи відповідачів справедливої боротьби, Спейдер ухвалив, що санкції є виправданими.
Однак він, схоже, зглянувся над Елліоттом як над самостійним позивачем, який, очевидно, був переконаний системою ШІ, що його аргументи були бездоганними, і відмовився призначати грошові штрафи. Натомість суддя заборонив Елліотту подавати документи в електронному вигляді в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігне повторному зловживанню системою електронного подання документів суду.
Самостійні позивачі неправильно використовують чат-боти
Спейдер зазначив, що «не дивно», що люди почали використовувати «ін’єкції підказок» для спроб вплинути на судові рішення, оскільки ця атака є дуже поширеною в інших сферах, наприклад, під час пошуку роботи, коли люди приховують текст у резюме, які переважно переглядаються ШІ. Цей прийом «тепер скрізь», сказав він, і суди повинні бути пильними щодо нових позивачів, які підсовують змагальні інструкції ШІ в документах.
Хоча справа Елліотта, схоже, є першим випадком «ін’єкції підказок» у судовій системі США, Спейдер вказав на справу в Бразилії, де два адвокати використали таку ж атаку в суді, який використовував ШІ для перегляду справ. У тому випадку адвокати, як повідомляється, отримали грошові санкції приблизно на 16 000 доларів.
Однак ці атаки, схоже, не досягають успіху, навіть коли суддя не переглядає документи власними очима. Система ШІ Бразилії виявила прихований текст до того, як він був оброблений, зазначив Спейдер. А у справі Елліотта підказки «були виявлені в кожному з цих випадків, як тільки людина фактично подивилася на те, що виробила машина», — сказав Спейдер.
Хоча атака «ін’єкції підказок» наразі виглядає неефективною, Спейдер попередив, що «це не входило до небезпек, які ми передбачали», коли суди вперше боролися з ШІ, що ставить під загрозу системи правосуддя. У Коннектикуті, як і в багатьох інших судових системах, досі увага зосереджувалася на контролі вихідних даних ШІ, які підривають довіру до судів, таких як вигадані цитати або сфабриковані цитати, а не на вхідних даних, таких як «ін’єкції підказок».
Судам, найімовірніше, доведеться розробити правила щодо «ін’єкцій підказок» також, припустив Спейдер, оскільки справа Елліотта показує, що технології та їхнє зловживання швидко розвиваються. Якщо цього не зробити, адвокати можуть виявити, що їхні клієнти використовують «ін’єкції підказок» для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
На думку Спейдера, із невдалих спроб «ін’єкції підказок» Елліоттом є урок, який, на його думку, «виходить далеко за межі цієї справи».
Елліотт, очевидно, звернувся до «ін’єкції підказок» після використання ШІ для побудови своєї справи як самостійний позивач без правового експерта, який допомагав би йому формулювати аргументи. Таке використання широко поширене серед самостійних позивачів у ці дні, визнав Спейдер, але ті, хто не має досвіду в суді, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спейдер, що самостійні позивачі будують свої аргументи «заднім числом», просячи чат-бота допомогти їм захищати лише свою позицію, ніколи не запитуючи чат-бота про фактичну правду або про висунення протилежних аргументів. Це «справжня небезпека цієї технології, і судді бачать це часто», — сказав Спейдер, оскільки підлабузництво чат-ботів закріплює позивачів у їхніх аргументах, незважаючи на будь-які рішення протилежного характеру. У справі Елліотта, люто захищаючи свої аргументи, він звернувся до «ін’єкції підказок», щоб спробувати змусити суд погодитися з ним.
«Аргумент, підказаний лише для того, щоб погодитися зі своїм автором, зрештою, нечесний навіть до свого автора», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх протестувати позицію так само легко, як і просувати її».
Інформація підготовлена на основі матеріалів: arstechnica.com