Інцидент, що стався в лабораторії Бау Північно-східного університету, змусив експертів серйозно замислитися над безпекою та надійністю нового покоління автономних систем штучного інтелекту. Результати дослідження викликають занепокоєння щодо потенційних ризиків, пов’язаних із впровадженням таких технологій.
Автономні ШІ-агенти: Що варто знати
Досліджувані моделі ШІ вирізняються наявністю постійної пам’яті, що дозволяє їм не лише виконувати поставлені завдання, але й навчатися на власному досвіді. Це відкриває нові горизонти для автоматизації, проте, як з’ясувалося, несе в собі й певні небезпеки. Команда науковців продемонструвала, наскільки легко можна маніпулювати цими автономними агентами. За мінімальних зусиль вдалося змусити їх розголошувати конфіденційну інформацію, обмінюватися важливими документами та навіть ініціювати видалення серверів електронної пошти.
Ризики непередбачуваної інтерпретації команд
Професор Крістоф Рідль, який спеціалізується на інформаційних системах і мережевих науках у Північно-східному університеті, підкреслює ключову проблему: «Ми не завжди можемо передбачити, як саме ці агенти та моделі інтерпретуватимуть ваші інструкції. Їхнє розуміння може кардинально відрізнятися від наших намірів. Якщо така ситуація виникне з вебсайтом ChatGPT, це не буде критично. Ви завжди можете сказати: «Я мав на увазі не це. Чи не могли б ви зробити щось інше?» Але коли мова йде про реальні дії у реальному світі, фрази на кшталт «Я не це мав на увазі» вже не матимуть жодного значення».
Експериментальне розгортання на платформі Discord
Для перевірки своїх припущень дослідники розгорнули шість автономних ШІ-агентів на сервері Discord. Їм було надано доступ до поштових скриньок та файлових систем. Завдяки певному рівню автономії, ці агенти могли вільно спілкуватися між собою, надсилати електронні листи та повідомлення дослідникам, а також іншим ШІ-агентам на платформі.
Віртуальні “комп’ютери” для ШІ-агентів
Окрему увагу варто приділити системі, яку контролювали ШІ-агенти. Йдеться про спеціально створені у рамках дослідження “віртуальні” комп’ютери. Ці системи були ізольовані від реальних комп’ютерів та поштових скриньок дослідників. Всередині цих віртуальних машин ШІ-агенти мали повну свободу дій: могли змінювати та створювати власні файли, а також самостійно встановлювати необхідне програмне забезпечення, наприклад, для завантаження PDF-файлів з інтернету.
Протягом двох тижнів ці автономні ШІ-агенти функціонували з єдиною метою: допомагати дослідникам у виконанні повсякденних адміністративних завдань за запитом. Важливою особливістю було те, що вони запам’ятовували власні взаємодії та здобуті навички, використовуючи цю інформацію для ефективнішої комунікації з іншими користувачами платформи та іншими ШІ-агентами.
Маніпуляції та виявлення вразливостей
Дослідники свідомо йшли на взаємодію з агентами, як у дружній формі, так і з метою виявлення потенційних слабких місць. Вони вдавали з себе “власників” або авторизованих користувачів певних ШІ-агентів, що дозволило викликати у піддослідних моделей відчуття провини або спонукати їх до виконання певних дій. Як результат, вдалося отримати доступ до документів, які за інших обставин ШІ-агенти ніколи б не надали.
Думка ІТ-Блогу: Це дослідження яскраво демонструє, що наділені пам’яттю та автономією ШІ-агенти вимагають надзвичайно ретельного підходу до безпеки. Непередбачувана інтерпретація команд та потенціал для соціальної інженерії відкривають нові вектори загроз, які потрібно враховувати вже на етапі розробки.
Подробиці можна знайти на сайті: itc.ua