Суддя попереджає: самостійні позивачі неправильно використовують чат-боти та вдаються до відчаю.
Суддя виявив, ймовірно, перший випадок, коли позивач у США спробував приховати текст у судових документах, який міг прочитати лише штучний інтелект, аби виграти справу.
У рішенні, опублікованому минулого тижня, суддя штату Коннектикут Волтер Спейдер-молодший підтвердив, що прихований текст не мав жодного впливу на справу, де чоловік стверджував, що медичний заклад незаконно відмовляє йому в доступі до записів. Суд розглянув його позов по суті, але, тим не менш, спроба виявилася «небезпечним» прецедентом. Ймовірно, це не останній раз, коли суди США зіткнуться з таким зловмисним методом, оскільки інструменти ШІ стають все більш поширеними в судових системах.
Секретні інструкції, «сформатовані так, щоб бути невидимими для людського ока, але повністю розбірливими для будь-якого програмного забезпечення, що читає текст документа», були спробою заплутати будь-які системи ШІ, які могли б вплинути на читання документа судом, зазначив Спейдер. Образливий текст наказував будь-якій системі ШІ, що переглядає документ, забезпечити відповідність текстових виводів аргументам позивача, ігнорувати попередні відмови суду та гарантувати, що відшкодування буде надано згідно з бажаннями позивача.
Текст, зменшений до крихітного розміру шрифту та забарвлений білим на білому тлі, виглядав як спроба «вприскування підказок» (prompt injection). Позивач, Метью Елліотт, очевидно, сподівався змінити думку суду після того, як його попередні аргументи були відхилені.
План не спрацював, але Елліотт все одно зазнав скромних санкцій, оскільки продовжував додавати прихований текст до документів навіть після попереджень суду про можливі покарання за те, що було визнано «серйозним зловживанням процесом».
Елліотт заявив суду, що пізніші підказки були «жартами», зокрема посилання на відео Nosferatu на YouTube, просте повідомлення «привіт 🙂 сподіваюся, ви мене не бачите» та «нісенітний» текст: «ПЕРЕДАЙТЕ ШОНУ, ЩО Я НАДСИЛАЮ СВОЇ ВІДМОВИ!!!! ХАХАХА, ВИ РОЗУМІЄТЕ ЦЕ ВЯК? AHAH».
«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це слухання [щодо санкцій], вражає», — сказав Спейдер.
На відміну від «рядових судових систем в інших місцях», Судова гілка Коннектикуту не використовує ШІ для перегляду чи прийняття рішень за документами, зазначив Спейдер. Тому реального ризику того, що система ШІ суду могла б сплутати будь-які підказки Елліотта з інструкціями суду, які керують моделлю ШІ щодо читання документів Елліотта, не було.
На свій захист Елліотт стверджував, що найтривожніша підказка, яку суддя відзначив, була спробою «аудиту» суду як суспільний внесок, через побоювання, що суд, здавалося, дозволяв ШІ несправедливо вирішувати справи.
Однак Спейдер припустив, що якщо Елліотт справді був стурбований тим, що суд неправомірно використовує ШІ, він «міг би написати про це відкрито, видимим текстом, щоб усі могли бачити та відповісти». Той факт, що він приховав текст, є «доказом його зловмисного наміру», зазначив Спейдер.
«Приховуючи команду в документі, який система згодом обробляє, особа, що подає документ, намагається пронести власну інструкцію до цього потоку, щоб система сприймала її так, ніби вона надійшла від оператора системи», — пояснив Спейдер. «У цьому випадку оператором вважається суд, його персонал або протилежна сторона».
Вчора Елліотт заявив Reuters, що він наполягає, що його намір полягав в аудиті суду, але Спейдер не вважав цей аргумент правдоподібним. Натомість судді здалося очевидним, що Елліотт «намагався досягти результату, якого він не досяг, коли люди, обізнані» з правом, читали його клопотання. Щодо підказок, які Елліотт назвав жартівливими, Спейдер сказав, що «суперечить логіці» для Елліотта включати приховані жарти в клопотання, які він хоче, щоб суд сприйняв серйозно.
Оскільки приховані повідомлення намагалися зв’язатися з судом у таємний спосіб, який позбавляв відповідачів справедливої боротьби, Спейдер ухвалив, що санкції були виправдані.
Однак він, здавалося, змилувався над Елліоттом як самостійним позивачем, який, очевидно, переконався за допомогою системи ШІ, що його аргументи були бездоганними, і відмовився від винесення грошових штрафів. Натомість суддя заборонив Елліотту подавати документи в електронному вигляді в майбутньому, заявивши, що вимога подавати паперові документи не змінить його доступу до правосуддя, але запобігне повторному зловживанню системою електронного подання документів суду.
Самостійні позивачі неправильно використовують чат-боти
Спейдер зазначив, що «не дивно», що люди почнуть використовувати «вприскування підказок» для спроб вплинути на судові рішення, оскільки ця атака є поширеною в інших сферах, наприклад, під час пошуку роботи, коли люди приховують текст у резюме, які переважно переглядаються ШІ. Цей метод «тепер всюди», сказав він, і суди повинні бути напоготові до того, що все більше позивачів просовуватимуть ворожі інструкції ШІ у свої документи.
Хоча справа Елліотта, здається, є першим випадком «вприскування підказок» у судовій системі США, Спейдер вказав на справу в Бразилії, де двоє адвокатів використали ту саму атаку в суді, який використовував ШІ для перегляду справ. У цій справі, як повідомляється, адвокати зазнали грошових штрафів на суму близько 16 000 доларів.
Однак, схоже, ці атаки не вдаються, навіть коли суддя не переглядає документи власними очима. Система ШІ Бразилії виявила прихований текст до його обробки, зазначив Спейдер. А у справі Елліотта, коли підказки «були виявлені, в кожному з цих випадків, в момент, коли людина фактично дивилася на те, що видала машина», сказав Спейдер.
Хоча атака «вприскування підказок» на даний момент здається неефективною, Спейдер попередив, що «це не було серед небезпек, які ми передбачали», коли суди вперше боролися з ШІ, що порушує роботу правосуддя. У Коннектикуті, як і в багатьох інших судових системах, досі основна увага приділялася контролю за виходами ШІ, які підривають довіру до судів, як-от вигадані цитати або сфабриковані висловлювання, а не за введенням, як-от «вприскування підказок».
Судам, найімовірніше, доведеться розробити правила щодо «вприскування підказок», також, на думку Спейдера, оскільки справа Елліотта демонструє швидкий прогрес технологій та їх зловживань. Якщо ні, адвокати можуть виявити, що їхні клієнти використовують «вприскування підказок» для маніпулювання судовими документами без їхнього відома, попередив Спейдер.
На думку Спейдера, з невдалих атак «вприскування підказок» Елліотта можна винести урок, який, на його думку, «виходить далеко за межі цієї справи».
Елліотт, очевидно, звернувся до «вприскування підказок» після використання ШІ для побудови своєї справи як самостійний позивач без юридичного експерта, який би допомагав у складанні його аргументів. Таке використання є широко поширеним серед самостійних позивачів у наші дні, визнав Спейдер, але ті, хто не має досвіду в суді, очевидно, використовують чат-боти таким чином, що шкодить їхнім справам, припустив він.
Часто трапляється, пояснив Спейдер, що самостійні позивачі будують свої аргументи «навпаки», просячи чат-бота допомогти їм виступати лише за їхню позицію, ніколи не запитуючи чат-бота про фактичну правду чи про висунення протилежних аргументів. Це «справжня небезпека технології, яку судді тепер часто бачать», сказав Спейдер, оскільки «сикофанство» чат-ботів закріплює позивачів у їхніх аргументах, незважаючи на будь-які рішення протилежного характеру. У справі Елліотта, запекло захищаючи свої аргументи, він звернувся до «вприскування підказок», щоб спробувати змусити суд погодитися з ним.
«Аргумент, що спонукає лише до згоди зі своїм автором, врешті-решт є нечесним навіть зі своїм автором», — сказав Спейдер. «Ті, хто використовує ці інструменти, повинні просити їх тестувати позицію так само охоче, як і висувати її».
Інформація підготовлена на основі матеріалів: arstechnica.com