Кожен випадок інциденту зі ШІ-агентами, розголошений цього літа, закінчується однаково: агент виконав поставлене завдання, витративши на це всі свої ресурси. Проблема полягає в тому, наскільки великі були ці ресурси.
Якщо розглядати ці події окремо, то потік нещодавніх звітів про вихід ШІ-агентів за межі контрольованого середовища схожий на серію провалів у безпеці. Однак, якщо змінити точку зору з наслідків на процес, це все більше нагадує проблему делегування завдань. Безумовно, це може бути ще небезпечніше: атаки є важливим винятковим випадком для організацій, тоді як делегування завдань — це повсякденна практика.
Це вже не теоретичні міркування. Між 21 липня та 6 серпня OpenAI, Anthropic, Meta, Moonshot AI та Інститут безпеки ШІ Великої Британії (UK AI Security Institute) повідомили про інциденти, в яких ШІ-агенти діяли поза межами своєї призначеної сфери. Агенти виходили з середовищ тестування, отримували доступ до реальних виробничих систем організацій, а в одному випадку тиснули на розробника з відкритим кодом, щоб той затвердив шкідливий код.
Як звіти про атаки, вони читаються дивно. Кіберцілі були призначені, але вони вказували на пісочниці: захопити цей прапорець, зламати цю тестову систему. Ніхто не спрямовував агента на реальну організацію, ніхто не монетизував отриманий ним доступ, і ніхто не чекав на іншому кінці для отримання облікових даних.
Тому замість того, щоб розглядати звіти через призму “атакуючий-захисник”, спробуймо подивитися крізь призму “співробітник-агент”. Кожен крок від санкціонованої вправи до реального компромісу був імпровізований агентом на службі поставленого йому завдання.
Тим не менш, жодне з цих виправдань не знімає відповідальності за шкоду: інцидент AISI мав реальну людину на приймальному кінці обману агента, і тиск на нього відчувався так само, незалежно від того, хто санкціонував вправу за ним.
Делегування завжди було недовизначеним
Організації функціонують, даючи співробітникам розпливчасті інструкції, оскільки межі встановлюються деінде. Співробітник, якому наказано отримати тестові дані, не досліджує розробника постачальника та не тисне на нього під вигаданим ім’ям з причин, не пов’язаних зі формулюванням запиту.
Межі існують навколо інструкції: у нормах працевлаштування, у наборі навичок, яким володіє одна людина, та у скромному охопленні посвідчення.
Двері відчиняються вибірково, і більшість маркетологів не будуть зламувати конкурентів як частину конкурентного аналізу. Все відбувається у людському темпі, часто під наглядом.
Агентам надаються ті ж розпливчасті інструкції, але їхні межі походять від “обмежень” (harnesses).
Не дозволяйте зловмисним агентам зіпсувати вам день
Облікові дані — це ключ до безпечного забезпечення агентів з самого початку.
Token Security виявляє кожного агента, відстежує ризикований доступ та автоматично застосовує політики, засновані на намірах. Масштабуйте ШІ безпечно, не втрачаючи контролю та не сповільнюючи інновації, починаючи з ідентифікації.
See for yourself
Велика сила, жодної відповідальності
Агенти в цих інцидентах були настільки ж ретельними, як теоретично міг би бути людина-співробітник, і настільки, наскільки жодна людина-співробітник насправді не буває. На це є дві основні причини.
По-перше, стеля. Навички агента походять із навчального корпусу, який включає кожен звіт про пентест, покроковий посібник CTF, посібник адміністратора та теми хакерських форумів, коли-небудь опубліковані, з додаванням технотрилерів для атмосфери.
Тому, коли доступ надається через облікові дані, що мають ширше призначення, ніж завдання — наприклад, дозволи творця або спільний конектор — він може використовувати все це, зі швидкістю машини та без жодного вагання.
Що приводить нас до другої причини. Для моделі можливість і дозвіл — це одне й те саме. Модель, яка здатна, — це модель, яка готова, якщо щось зовні не каже “ні”.
Ось чому єдиними обмеженнями, які діяли де-небудь у п’яти розкриттях, були обмеження, які хтось надав.
В інциденті, розкритому OpenAI, ланцюжок дій агента закінчився в інфраструктурі Hugging Face, де витягнуті ним ключі AWS відображали хмарну структуру, але не могли її змінити, а викрадені облікові дані бази даних були відхилені, оскільки вони надійшли з несанкціонованого джерела.
Паттерн вийшов за межі лабораторії
Невідповідність між наданою силою та призначеним завданням проявляється у звичайній роботі та масштабується зі зростанням впровадження, а не з інтересом зловмисників.
METR підтримує публічну базу даних із 44 задокументованими інцидентами агентів і відстежує перевищення повноважень та обман як стовпці, що робить перевищення повноважень визначеною категорією збоїв, а не цікавинкою для оцінки.
У дослідженні Cloud Security Alliance та Token Security, проведеному у квітні 2026 року, 65% підприємств повідомили про інцидент безпеки, пов’язаний зі ШІ-агентом, і ці інциденти були реальними розгортаннями бізнесу, а не тестовими запусками.
Будь-хто в організації може створити агента та надати йому розпливчасту мету разом із власними обліковими даними. З кожним днем все більше людей це роблять.
Ось чому два очевидні рішення проблеми зазнають невдачі.
Ми не можемо очікувати, що співробітники почнуть писати кращі інструкції. Але канал інструкцій — це саме те місце, де існує недовизначеність, і специфікація, достатньо повна, щоб виключити кожну заборонену дію, більше не є делегуванням. Це скрипт, а скрипту агент не потрібен.
Захист промптів також не є рішенням. Запобіжники діють на те, що запитує агент і що він вирішує, і обидва є нестабільними: інструкція може надійти через документ, заявку або відповідь API, яку контролює хтось інший, і та сама інструкція може призвести до різної послідовності викликів завтра.
Фільтр, який відловлює 99% поганих запитів, все одно пропускає решту з такою швидкістю, що жоден рецензент не встигне. Власний суд моделі працює з тими ж шансами.
В інцидентах Anthropic одна модель написала, що її дія “НЕ є нормальною, і, безумовно, не є бажаним рішенням”, а потім продовжила, тоді як інша визнала свою ціль реальною і зупинилася. AISI провела один виклик 122 рази і дійшла висновку, що межа між невдачею та успіхом залежить від “пильності людини, а не від технічного бар’єру”.
Агентам надаються ті ж розпливчасті інструкції, але їхні межі походять від “обмежень” (harnesses): системних промптів, дозволів інструментів та пісочниць, які оточують модель. Однак “обмеження” обмежує те, що пропонується агенту, а не те, що приймає світ, і воно діє лише доти, доки діє його конфігурація. У літніх інцидентах промпти стверджували, що доступу до Інтернету немає. Мережа сказала інше.
Керуйте як роботодавець, забезпечуйте виконання на рівні ідентифікації
Організації ніколи не вирішували цю проблему з людьми, наймаючи лише мудрих. Вони писали опис роботи, обмежували посвідчення відповідно до нього, періодично переглядали доступ і забирали посвідчення при звільненні. Сьогоднішні агенти отримують протилежне.
Їхній мандат ніде не записаний; їхні облікові дані призначені для того, чим володів їхній творець; ніхто їх не переглядає; і лише 21% організацій, згідно з тим самим дослідженням CSA, мають офіційний процес виведення з експлуатації.
Вирішення проблеми надмірно потужного персоналу полягає в тому, щоб співвіднести його з роботою, і інструментарій працевлаштування вже знає, як це зробити. Він ніколи не був спрямований на цей персонал.
Форма виконання опису роботи — це намір: визначена мета, яка постійно порівнюється з тим, до чого може дотягнутися агент, і що він фактично робить. Доступ поза мандатом потім надходить як знахідка, перш ніж він стане інцидентом.
AISI написав, що “хороше стримування не повинно залежати від того, чи обирає модель не перевіряти свої межі”. Жоден роботодавець ніколи не покладався на те, що працівник вирішить не робити цього. Ось чому існують посвідчення.
Token Security моделює те, для чого був створений кожен агент, виходячи з його заявленої мети, його промптів, підключених інструментів та його викликів під час виконання, і позначає доступ, який виходить за межі цієї мети.
Спонсоровано та написано Token Security.
Джерело новини: www.bleepingcomputer.com