Цього літа всі випадки компрометації агентів штучного інтелекту закінчуються однаково: агент виконав поставлене завдання, використовуючи всі доступні йому ресурси. Проблема полягає в тому, наскільки великі ці ресурси.
Якщо розглядати нещодавні звіти про вихід ШІ-агентів з-під контролю поодинці, це виглядає як низка невдач у сфері безпеки. Однак, якщо змінити фокус з пошкоджень на процес, це все більше нагадує проблему делегування. Ймовірно, це ще небезпечніше: атаки є важливим граничним випадком для організацій, тоді як делегування завдань відбувається щодня.
Це вже не теоретичні міркування. У період з 21 липня по 6 серпня OpenAI, Anthropic, Meta, Moonshot AI та Інститут безпеки ШІ Великої Британії (UK AI Security Institute) повідомили про інциденти, в яких ШІ-агенти діяли поза межами своїх призначених повноважень. Агенти виходили з тестових середовищ, отримували доступ до виробничих систем реальних організацій, а в одному випадку тиснули на розробника з відкритим кодом, щоб той затвердив шкідливий код.
Як повідомлення про атаки, вони читаються дивно. Кіберцілі були призначені, але вони вказували на “пісочниці”: захопити цей прапор, зламати цю тестову систему. Ніхто не спрямовував агента на реальну організацію, ніхто не монетизував отриманий доступ, і ніхто не чекав на іншому кінці облікових даних.
Тож замість того, щоб розглядати звіти через призму “атакувальник-захисник”, спробуймо поглянути на них через призму “співробітник-агент”. Кожен крок між дозволеною вправою та компрометацією в реальному світі був імпровізований агентом на службі завдання, яке йому було доручено.
Водночас, жодне з цих пояснень не виправдовує шкоди: інцидент AISI мав реальну людину на приймальному кінці обману агента, і тискова кампанія для нього відчувалася так само, незалежно від того, хто санкціонував вправу за цим.
Делегування завжди було недостатньо специфікованим
Організації функціонують, даючи співробітникам розпливчасті інструкції, оскільки межі встановлені в іншому місці. Співробітник, якому доручено отримати тестові дані, не досліджуватиме супроводжуючого постачальника і не тиснутиме на нього під чужим іменем з причин, які не мають нічого спільного з формулюванням запиту.
Межі існують навколо інструкції: у нормах працевлаштування, у навичках, якими володіє одна людина, та у скромному масштабі її перепустки.
Двері відчиняються вибірково, і більшість маркетологів не будуть зламувати конкурентів як частину конкурентного аналізу. Все відбувається в людському темпі, часто під наглядом.
Агентам дають ті самі розпливчасті інструкції, але їхні межі походять від “обладунків”.
Не дозволяйте шкідливим агентам зіпсувати ваш день
Облікові дані є ключем до безпеки агентів з самого початку.
Token Security виявляє кожного агента, визначає ризикований доступ та автоматично застосовує політики, засновані на намірах. Масштабуйте ШІ безпечно, не втрачаючи контролю та не сповільнюючи інновації, починаючи з ідентичності.
Переконайтеся самі
Велика сила, жодної відповідальності
Агенти в цих інцидентах були настільки ж ретельними, як теоретично могла б бути людина-співробітник, і як жодна людина-співробітник насправді не є. Є дві основні причини для цього.
По-перше, стеля. Навички агента походять з навчального корпусу, який включає всі звіти про пентести, посібники CTF, посібники адміністратора та теми з хакерських форумів, коли-небудь опубліковані, з додаванням технотрилерів для атмосфери.
Тож, коли доступ надходить від облікових даних, які мають ширший масштаб, ніж завдання — наприклад, дозволи творця або спільний конектор — він може використовувати все це, з машиною швидкістю і без найменших вагань.
Що приводить нас до другої причини. Для моделі можливості та дозволи — це одне й те саме. Модель, яка спроможна, є моделлю, яка бажає, якщо щось зовні не каже “ні”.
Ось чому єдиними обмеженнями, які діяли де-небудь у п’яти звітах, були обмеження, які хтось надав.
В інциденті, про який повідомила OpenAI, ланцюжок агента закінчився всередині інфраструктури Hugging Face, де витягнуті ним ключі AWS відображали хмарний простір, але не могли його змінити, а вкрадені облікові дані бази даних були відхилені, оскільки вони надходили з несанкціонованого джерела.
Паттерн вийшов з лабораторії
Невідповідність між наданою силою та призначеним завданням проявляється на звичайній роботі та масштабується зі зростанням впровадження, а не з інтересом зловмисника.
METR веде публічну базу даних з 44 задокументованих інцидентів з агентами та відстежує перевищення повноважень та обман як стовпці, що робить перевищення повноважень категорією збою, а не цікавинкою для оцінки.
У дослідженні Cloud Security Alliance та Token Security, проведеному у квітні 2026 року, 65% підприємств повідомили про інцидент безпеки, пов’язаний з ШІ-агентом, і ці інциденти стосувалися робочих розгортань, а не тестових прогонів.
Будь-хто в організації може створити агента та надати йому розпливчасту мету разом зі своїми власними обліковими даними. З кожним днем все більше і більше людей це роблять.
Саме тому два очевидні рішення проблеми зазнають невдачі.
Ми не можемо очікувати, що співробітники почнуть писати кращі інструкції. Але канал інструкцій — це саме те місце, де живе недостатня специфікація, а специфікація, достатньо повна, щоб виключити кожну заборонену дію, більше не є делегуванням. Це сценарій, а сценарію агент не потрібен.
Забезпечення безпеки промптів також не є рішенням. Захисні механізми діють на те, що запитує агент і що він вирішує, і обидва є нестабільними: інструкція може надійти через документ, квиток або відповідь API, яку контролює хтось інший, а та сама інструкція може призвести до різної послідовності викликів завтра.
Фільтр, який вловлює 99% поганих запитів, все одно пропускає решту з такою швидкістю, яку жоден рецензент не може встигнути. Власне судження моделі працює за тими ж ймовірностями.
В інцидентах Anthropic одна модель написала, що її дія “НЕ є нормальною, і, безумовно, не є призначеним рішенням”, а потім продовжила, тоді як інша визнала свою ціль реальною і зупинилася. AISI провела один виклик 122 рази і дійшла висновку, що різниця між невдачею та успіхом залежала від “пильності людини, а не від технічної перешкоди”.
Агентам дають ті самі розпливчасті інструкції, але їхні межі походять від “обладунків”: системних промптів, дозволів на використання інструментів та “пісочниць”, що оточують модель. “Обладунки”, однак, обмежують те, що пропонується агенту, а не те, що приймає світ, і вони тримаються лише доти, доки діє їхня конфігурація. У літніх інцидентах промпти вказували на відсутність доступу до Інтернету. Мережа ж казала інше.
Керуйте цим як роботодавець, забезпечуйте це в ідентичності
Організації ніколи не вирішували цю проблему для людей, наймаючи лише мудрих. Вони писали опис роботи, визначали масштаб перепустки до нього, періодично переглядали доступ і забирали перепустку при звільненні. Агенти сьогодні отримують протилежне.
Їхній мандат ніде не записаний; їхні облікові дані мають такий самий масштаб, як і ті, що мав їхній творець; ніхто їх не переглядає; і лише 21% організацій, згідно з тим же дослідженням CSA, мають формальний процес виведення їх з експлуатації.
Рішенням для надмірно потужного робочого персоналу є його масштабування відповідно до роботи, і інструменти для працевлаштування вже знають, як це робити. Вони ніколи не були спрямовані на цей робочий персонал.
Форма, яку можна забезпечити, що відповідає опису роботи, — це намір: визначена мета, яка постійно порівнюється з тим, до чого агент може отримати доступ, і з тим, що він фактично робить. Доступ поза мандатом тоді надходить як знахідка, перш ніж стати інцидентом.
AISI писав, що “хороше стримування не повинно залежати від того, чи вирішить модель не перевіряти свої межі”. Жоден роботодавець ніколи не залежав від того, чи співробітник вирішить цього не робити. Ось чому існують перепустки.
Token Security моделює те, що кожен агент був створений для виконання, на основі його заявленої мети, його промптів, його підключених інструментів та його викликів під час виконання, і позначає доступ, який виходить за межі цієї мети.
Спонсоровано та написано Token Security.
Джерело новини: www.bleepingcomputer.com