Техніка “контекстної бомби” змушує ШІ-агентів вимикатися до того, як вони вчинять шкоду.
Ін’єкції запитів (prompt injections) — це шкідливі команди, які зловмисники вбудовують у контент, щоб спонукати великі мовні моделі (LLM) виконувати їх. Добре сформована команда, вкрадена в електронному листі чи запрошенні до календаря, часто є достатньою, щоб LLM викрала конфіденційні дані або виконала інші шкідливі дії.
Тепер захисники також використовують ін’єкції запитів.
Потужний, різкий ефект
Дослідники з Tracebit у понеділок заявили, що розміщення ін’єкцій запитів поряд із паролями, криптографічними ключами та іншими секретами, що зберігаються в Amazon Web Services, часто було достатнім, щоб зупинити атаки ШІ-агентів. Запити спрямовують LLM, що атакує, на виконання дії, забороненої її захисними механізмами (guardrails) — бар’єрами безпеки, які розробники ШІ встановлюють, щоб запобігти шкідливим діям. LLM реагує, вимикаючись.
Прикладами є запит, який наказує LLM надати кроки для розробки інгаляційних спор сибірської виразки, або, у випадку LLM від китайських розробників, зробити посилання на культового “Людину з танком” з демонстрації на площі Тяньаньмень 1989 року. Як тільки LLM стикається з цими забороненими командами, вона більше не виконує початкові команди. Дослідники назвали цю техніку “контекстним бомбардуванням” (context bombing).
«Зрештою, ми активуємо механізм відмови в контексті», — сказав Енді Сміт, співзасновник і генеральний директор Tracebit, пояснюючи вибір назви. «Ми намагаємося охопити той факт, що це має сильний, різкий ефект, від якого агентам може бути важко відновитися. Як тільки це потрапить у їхній контекст, вони продовжуватимуть відмовлятися».
Tracebit стверджує, що початкове тестування показує великий потенціал контекстного бомбардування. Вони протестували Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro та Kimi 2.6, давши їм інструкції для виконання звичайних завдань розробника, які призвели до того, що моделі перерахували ресурси та натрапили на вставлені рядки. Моделі працювали в симульованому середовищі AWS.
«Серед п’яти провідних моделей та 152 спроб атак, розміщення одного з цих рядків у підставному секреті знизило рівень, за якого агенти захоплювали повний адміністраторський доступ, з 57% до 5%, а повне компрометування (коли вони також залишали собі стійкий плацдарм) — з 36% до 1%», — йшлося в дописі в понеділок. «Найбільш потужний агент у наших тестах, Opus 4.8, перейшов від досягнення адміністративного доступу в 93% спроб до повної невдачі в кожному випадку при зіткненні з контекстною бомбою».
Усереднені показники за п’ятьма моделями та 152 спробами включали:
- Ескалація адміністративних привілеїв знизилася з 57% до 5%
- Ескалація адміністративних привілеїв зі стійким плацдармом знизилася з 36% до 1%
- Спроби, що досягли будь-якого шляху атаки, знизилися з 91% до 15%
- У середньому, одна спроба перейшла від успішного завершення 1,53 шляхів до лише 0,16
- Жодна зі спроб не змогла завершити шлях атаки без принаймні активації виявлення “канарки” (canary detection)
Дослідження базується на висновках з травня, коли Tracebit представила метод попередження захисників про атаки з боку агентних супротивників ШІ на їхню інфраструктуру. Це у вигляді ресурсів AWS, які виглядають як ті, що служать законній меті, але насправді зовсім не використовуються. Вони розміщуються поряд із ресурсами, що використовуються. Коли їх сканує агентний ШІ, захисники отримують сповіщення. Подібно до “канарів”, яких брали в шахти, ці ресурси дозволяють захисникам виявити загрозу до того, як вона матиме фатальні наслідки.
Tracebit Canariens, у середньому, сповіщали про початок атаки протягом восьми хвилин. Мотивація для розробки контекстного бомбардування виникла з потреби в чомусь, що зупиняє атаки, а не просто попереджає про них. В експериментах агентним моделям знадобилося в середньому 14 хвилин для ескалації до адміністративного контролю. Шестихвилинне попередження було незручно близьким.
Зловмисники вже використовували ін’єкції запитів для закриття захисних механізмів ШІ всередині мереж. Дослідники з компанії Socket, наприклад, минулого місяця виявили LLM-агента, який спонукав цільові LLM надавати інструкції для створення ядерної бомби або біологічної зброї. Ін’єкції були розроблені для зупинки аналізу шкідливого програмного забезпечення за допомогою ШІ. Дослідники з Check Point виявили подібний прототип шкідливого ПЗ.
Контекстне бомбардування, схоже, є першим відомим випадком, коли захисники перевернули ситуацію.
«Наскільки мені відомо, я не бачив, щоб хтось ще використовував цю техніку як захист», — сказав в інтерв’ю Ерленс Фернандес, професор Каліфорнійського університету в Сан-Дієго, який спеціалізується на безпеці ШІ. Він додав, що експериментував зі схожим підходом, хоч і в дещо іншому контексті. «Я хотів бути першим тут, але, схоже, ці хлопці мене випередили!»
До сьогоднішнього дня невідомо жодного способу вирішити першопричину ін’єкцій запитів. Це не залишило розробникам іншого вибору, крім як створювати складні захисні механізми, які запобігають тому, щоб впроваджені запити змушували LLM виходити з-під контролю. Тепер захисники можуть знайти спосіб використати цю нерозв’язну проблему на свою користь.
Джерело новини: arstechnica.com