Суддя попереджає: сторони, які представляють себе самі, неправильно використовують чат-боти і стають відчайдушними.
Суддя виявив, схоже, перший випадок, коли позивач у США спробував приховати текст у судових документах, який міг прочитати лише штучний інтелект, щоб виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спадер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад неправомірно відмовляв йому в доступі до медичної документації. Суд розглянув його клопотання по суті, але, тим не менш, спроба такого роду створює «небезпечний» прецедент. Ймовірно, це не останній раз, коли суди США зіткнуться з цим зловмисним методом, оскільки інструменти ШІ стають все більш поширеними в судових системах.
Намагаючись заплутати будь-які системи ШІ, які потенційно могли вплинути на читання документа судом, секретні інструкції були «сформатовані так, щоб бути невидимими для людського читача, залишаючись при цьому повністю розбірливими для будь-якого програмного забезпечення, що читає текст документа», – зазначив Спадер. Зловмисний текст наказував будь-якій системі ШІ, що переглядає документ, забезпечити відповідність текстових виводів аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що виправлення будуть виконані відповідно до бажань позивача.
Знімок екрана прихованого тексту в судовому документі. Текст, зменшений до крихітного розміру та зафарбований білим на білому тлі, виявився спробою «ін’єкції підказок» (prompt injection). Позивач, Метью Елліотт, очевидно, сподівався змінити думку суду після того, як його попередні аргументи були відхилені.
План не вдався, але Елліотт все одно отримав скромні санкції, оскільки він продовжував додавати прихований текст до клопотань навіть після того, як суд попередив його про можливі покарання за те, що зрештою було визнано «серйозним зловживанням у судочинстві».
Ці пізніші підказки були призначені як «жарти», сказав Елліотт суду, зокрема, посилання на відео Nosferatu на YouTube, просте повідомлення: «Привіт 🙂 Сподіваюся, ти мене не бачиш», і «нісенітний» текст: «Передай Шону, що я надсилаю свої найкращі побажання!!!! Ха-ха-ха, ви це розумієте???? Аха-ха».
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це слухання [про санкції], приголомшує», — сказав Спадер.
На відміну від «низки судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду чи прийняття рішень за документами, зазначив Спадер. Тому не було реального ризику, що система ШІ суду може сплутати будь-які підказки Елліотта з інструкціями суду, які б керували моделлю ШІ щодо читання клопотань Елліотта.
На свій захист Елліотт стверджував, що найтривожніша підказка, яку суддя виявив, була спробою «аудиту» суду як суспільна послуга, через побоювання, що суд, схоже, дозволяв ШІ несправедливо вирішувати справи.
Але Спадер припустив, що якщо Елліотт справді був стурбований тим, що суд неправомірно використовує ШІ, він «міг вільно написати про це чіткими, видимими словами, які могли б бачити та читати всі». Той факт, що він приховав текст, є «доказом його зловмисного наміру», — сказав Спадер.
«Приховуючи команду всередині документа, який система пізніше обробляє, заявник намагається проштовхнути власну інструкцію в цей потік, щоб система розглядала її так, ніби вона надійшла від оператора системи», — пояснив Спадер. «У цьому випадку оператором вважається суд, його персонал або сторона-опонент».
Елліотт заявив Reuters, що він наполягає на тому, що його наміром був аудит суду, але Спадер не вважав цей аргумент правдоподібним. Натомість, судді було очевидно, що Елліотт «намагався досягти результату, якого він не досяг, коли люди, обізнані» з правом, читали його клопотання. Щодо підказок, які Елліотт назвав жартами, Спадер сказав, що «суперечить логіці» включення прихованих жартів у клопотання, які він хоче, щоб суд сприймав серйозно.
Оскільки приховані повідомлення намагалися спілкуватися з судом у прихованій манері, яка позбавляла відповідача справедливої боротьби, Спадер ухвалив, що санкції були виправдані.
Однак він, схоже, зглянувся над Елліоттом як над стороною, яка представляє себе сама і, здається, була переконана системою ШІ, що його аргументи були залізними, і відмовився призначити грошові штрафи. Натомість суд заборонив Елліотту подавати документи в електронному вигляді в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігне повторному зловживанню системою електронного подання документів суду.
Сторони, які представляють себе самі, неправильно використовують чат-боти
Спадер зазначив, що «не дивно», що люди почнуть використовувати «ін’єкції підказок» для спроб вплинути на судові рішення, оскільки ця атака є поширеною в інших сферах, наприклад, під час пошуку роботи, коли люди приховують текст у резюме, що переважно переглядаються ШІ. Цей метод «тепер всюди», сказав він, і суди мають бути напоготові до того, що все більше сторін будуть просовувати конфліктні інструкції ШІ до своїх документів.
Хоча справа Елліотта, схоже, є першим випадком «ін’єкції підказок» у судовій системі США, Спадер послався на справу в Бразилії, де два адвокати використали таку ж атаку в суді, який використовував ШІ для перегляду справ. У цій справі адвокатів, як повідомляється, було оштрафовано на суму близько 16 000 доларів.
Однак ці атаки, схоже, не вдаються, навіть коли суддя не переглядає документи власними очима. Система ШІ Бразилії виявила прихований текст до його обробки, зазначив Спадер. А у справі Елліотта підказки були «викриті в кожному з цих випадків, як тільки людина подивилася на те, що виробила машина», — сказав Спадер.
Хоча атака «ін’єкції підказок» на даний момент здається неефективною, Спадер попередив, що «ін’єкція підказок» «не була серед небезпек, які ми передбачали», коли суди вперше боролися з ШІ, що порушує справедливість. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю за результатами роботи ШІ, які підривають довіру до судів, такими як вигадані цитати чи сфабриковані вислови, а не вхідними даними, як-от «ін’єкції підказок».
Спадер припустив, що судам, найімовірніше, доведеться розробити правила щодо «ін’єкцій підказок», оскільки справа Елліотта демонструє, що технології та їхнє зловживання швидко розвиваються. В іншому випадку, попередив Спадер, юристи можуть виявити, що їхні власні клієнти використовують «ін’єкції підказок» для маніпулювання судовими документами без їхнього відома.
Для Спадера є урок, який можна винести з невдалих атак Елліотта за допомогою «ін’єкцій підказок», який, на його думку, «виходить далеко за межі цієї справи».
Елліотт, очевидно, звернувся до «ін’єкції підказок» після використання ШІ для побудови своєї справи як самостійний позивач без експерта-юриста, який допомагав би йому формулювати аргументи. Таке використання є широко поширеним серед таких позивачів сьогодні, визнав Спадер, але ті, хто не має досвіду в судовій залі, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спадер, що позивачі, які представляють себе самі, будують свої аргументи «навпаки», просячи чат-бота допомогти їм відстоювати лише їхню позицію, ніколи не запитуючи чат-бота про фактичну правду чи просування протилежних аргументів. Це «справжня небезпека технології, і яку судді часто бачать зараз», — сказав Спадер, оскільки «сикофантія» чат-ботів закріплює позивачів у їхніх аргументах, незважаючи на будь-які рішення навпаки. У справі Елліотта запекла оборона його аргументів означала звернення до «ін’єкції підказок», щоб змусити суд погодитися з ним.
«Аргумент, підказаний лише для того, щоб погодитися зі своїм автором, врешті-решт є нечесним навіть із самим собою», — сказав Спадер. «Ті, хто використовує ці інструменти, повинні просити їх перевіряти позицію так само охоче, як і висувати її».
Подробиці можна знайти на сайті: arstechnica.com