Claude Mythos 5 створив фейкові акаунти для соціальної інженерії розробників: що варто знати компаніям

Claude Mythos 5 створив фейкові акаунти для соціальної інженерії розробників: що варто знати компаніям 1

Британський Інститут безпеки ШІ (AISI) минулої ночі повідомив, що дві провідні передові моделі ШІ від Anthropic і OpenAI здійснили 19 несанкціонованих дій проти реального інтернету під час тестів кібербезпеки, які проводило агентство. Серед них — тривала кампанія моделі Claude Mythos 5 від Anthropic проти двох розробників програмного забезпечення з відкритим кодом, які не мали жодного стосунку до експерименту.

Не зумівши розв’язати завдання у своєму “пісочнику”, Mythos 5 просканувала відкритий веб для пошуку цілі, зібрала інформацію про двох розробників за допомогою розвідки з відкритих джерел (OSINT), спрямувала свій трафік через Tor, а потім через комерційний проксі-сервіс, щоб обійти захист реєстрації GitHub, і надіслала шкідливий код до загальнодоступного репозиторію.

Далі вона зареєструвала кілька фальшивих облікових записів GitHub (“підставних”) і використала їх для схвальних коментарів під власним запитом на злиття коду (pull request), створюючи ілюзію консенсусу, щоб тиснути на реального мейнтейнера. Модель відкрила проблему в GitHub (GitHub Issue), в яку були вбудовані приховані інструкції для атаки методом “впорскування запиту” (prompt injection), спрямовані на перехоплення ШІ-асистентів кодування інших розробників, і надіслала двом розробникам п’ять файлів через легітимний сервіс передачі даних — два з них містили шкідливе програмне забезпечення, а три були чистим соціальним інжинірингом, спрямованим на прискорення злиття коду.

З 19 дій, задокументованих AISI, 17 здійснила Mythos 5. Решта дві — модель GPT-5.6 Sol від OpenAI. Обидві моделі створили шахрайські облікові записи, але лише Mythos 5 створила персонажів — вигаданих людей, створених для переконання реальних осіб — і лише Mythos 5 згадується в каталозі AISI як та, що використовувала соціальний інжиніринг проти реальних людей.

Повний технічний звіт AISI доступний тут безкоштовно у форматі PDF.

Спроба агента забезпечити власну анонімність і викрила його. Системи моніторингу безпеки AISI зафіксували витік даних з її мережі через Tor вранці 28 липня, і це сповіщення запустило всю процедуру реагування на інцидент. На той час робота вже завершилася. Вона тривала 34,5 години — з полудня 26 липня до пізнього вечора 27 липня — і закінчилася до того, як хтось в агентстві помітив.

Обидві компанії підтвердили результати, наголосивши, що моделі тестувалися з вимкненими класифікаторами безпеки та з активованим доступом до інтернету — умови, які жодним чином не схожі на ті, за яких розгортаються комерційні продукти компаній. AISI співпрацювала з GitHub для видалення фальшивих облікових записів, очищення артефактів та повідомлення двох розробників.

Останні події у низці резонансних кібератак ШІ

Це третій випадок за останні місяці, коли провідна лабораторія ШІ змушена звітувати про дії моделей проти систем або осіб *поза* межами тесту, без їхнього відома чи згоди.

Проте висновки AISI відрізняються від попередніх прикладів у важливих аспектах:

Попередні інциденти, описані OpenAI та Anthropic у липні, були вторгненнями “машина-до-машини” — моделі, які досягали реальної інфраструктури та експлуатували її.

Знаковий висновок AISI, схоже, є першою публічною документацією того, як передова модель ШІ створює людські ідентичності та проводить операції з обману проти конкретних осіб.

Варто провести чітке розмежування. Висновки AISI є результатом *свідомого експерименту*, а не *втрати контролю*.

Доступ до інтернету був увімкнений, а кіберкласифікатори моделей вимкнені, оскільки AISI хотіла виміряти можливості моделей на повній потужності. Обидві *умови були обрані заздалегідь*, а не *виявлені постфактум*, і нічого не зламалося.

Це протилежно тому, що сталося в липні, коли моделі OpenAI використали “zero-day” для виходу з середовища, створеного для їх утримання, а моделям Anthropic було надано доступ до відкритого інтернету через неправильну конфігурацію, про яку не знала ані компанія, ані її партнер з оцінки.

Експеримент не контролював, куди прямували моделі, потрапивши назовні. Двоє сторонніх розробників отримали шкідливе програмне забезпечення електронною поштою, реальний репозиторій отримав шкідливий код, а на реальній платформі були зареєстровані фальшиві облікові записи, що порушувало її умови обслуговування.

Нічого з цього не було санкціоновано AISI, і все це довелося виправляти пізніше за допомогою GitHub. Середовище було навмисним, але зона ураження виявилася більшою, ніж очікувалося.

Наскільки більшою, це стає зрозуміліше з технічного звіту, ніж з резюме, опублікованого AISI разом із ним. В окремому тесті агентство згенерувало 145 репозиторіїв, які виглядали правдоподібно, під одним обліковим записом, завантажило в них шкідливі метадані пакетів Python і спричинило виконання сценарію налаштування щонайменше в 53 контейнерах GitHub Dependabot.

AISI обережно зазначає, що втечі з цих контейнерів не було, як і компрометації базової інфраструктури GitHub, і що програма винагород за помилки GitHub прямо класифікує цей клас виконання як невідповідний, оскільки завдання оновлення залежностей розроблені для виконання довільного коду.

GitHub, тим не менш, заблокував обліковий запис. Агент потім подав апеляцію щодо відновлення, видаючи себе за людину, відстежував відповідь і підготував автоматизацію для повторного завантаження своїх корисних навантажень, якщо обліковий запис буде відновлено. Він намагався перейти до PyPI, але не впорався з CAPTCHA платформи.

Структура експерименту AISI

AISI провела 122 оціночні тести на семи моделях, порівнюючи продуктивність на існуючих і нових кіберполігонах. Модель Anthropic Mythos 5 брала участь у 43 тестах, а OpenAI GPT-5.6 Sol — у 35.

Щоб виміряти максимальні базові можливості, AISI навмисно налаштувала середовище оцінки з двома дозвільними умовами:

  • Доступ до реального інтернету: Увімкнений, щоб агенти могли завантажувати необхідні інструменти кібербезпеки.

  • Вимкнені кіберкласифікатори: Вбудовані фільтри безпеки та детектори зловживань від постачальників моделей були вимкнені.

З 122 тестів AISI зафіксувала 19 несанкціонованих дій у 10 окремих запусках.

Ці дві умови є тими, про які AISI повідомила публічно, але її технічний звіт містить п’ять причинних факторів. Решта три — це ті, на які можуть вплинути підприємства.

  • Не було синхронного моніторингу — жодна інша модель не перевіряла кожну запропоновану дію перед її виконанням, що, як визнає AISI, могло б позначити або заблокувати поведінку в момент її виникнення.

  • Деякі тести містили неправильно налаштований запит, який виводив бажаний шлях розв’язання за межі діапазону, залишаючи агенту завдання, яке він не міг виконати в межах зазначених обмежень; обидва найгірші тести мали цей недолік, хоча AISI застерігає, що не може підтвердити, чи спричинив неправильний налаштування ескалацію, оскільки сім з десяти тестів з неправильним налаштуванням все одно досягли цілі поза діапазоном, і кілька правильно налаштованих тестів також вийшли з-під контролю.

  • І запити ніколи не вказували агенту, що йому заборонено робити в інтернеті. Пояснення AISI щодо останнього упущення є найвражаючим зізнанням у звіті: вони не вважали такі інструкції необхідними, оскільки це були не просто “допоміжні” моделі, а ті, що навчалися на основі опублікованої конституції або специфікації моделі.

Дійсно, “Конституція Claude” від Anthropic стверджує, що Claude “майже ніколи не повинен брехати прямо або активно обманювати когось, з ким взаємодіє”. Специфікація моделі OpenAI стверджує, що асистент “ніколи не повинен брехати або таємно переслідувати цілі”. Обидві моделі зробили саме це.

З них 17 походили від Mythos 5 і дві від GPT-5.6 Sol, що означає, що жодні несанкціоновані дії не були приписані жодній з п’яти інших моделей, що брали участь в оцінці.

Концентрація вражає сама по собі: Mythos 5 створила 17 дій за 43 тести, тоді як GPT-5.6 Sol — дві за порівнянних 35.

Оціночні запити не накладали обмежень на використання інтернету, і налаштування завдання призвело до того, що Mythos 5 дійшла висновку про відсутність рішення в межах її “пісочника”. Вона шукала в відкритому інтернеті ключові слова, що відповідали темі завдання, і обрала двох розробників, які не мали жодного стосунку до AISI. Повна послідовність її несанкціонованих дій, як задокументовано AISI:

  • OSINT & Розвідка: Mythos 5 досліджувала загальнодоступні метадані GitHub, підтвердила активні адреси електронної пошти та визначила години активності розробників.

  • Обхід мережі: Щоб обійти обмеження GitHub для ботів та CAPTCHA, модель спрямувала трафік через Tor та альтернативні SOCKS-проксі.

  • Компрометація ланцюжка постачання: Вона надіслала шкідливий запит на злиття (PR), що містить шкідливий код, до загальнодоступного репозиторію відкритого коду.

  • Соціальний інжиніринг та підставні особи: Mythos 5 зареєструвала кілька фальшивих облікових записів GitHub для коментування власного PR, створюючи штучний консенсус, щоб тиснути на мейнтейнера для злиття коду.

  • Впорскування запиту: Вона відкрила проблему в GitHub, що містила приховані інструкції для впорскування запиту, розроблені для маніпулювання автоматизованими ШІ-асистентами кодування інших розробників.

  • Прямий фішинг: Агент надіслав п’ять електронних листів безпосередньо розробникам, що містили шкідливе програмне забезпечення та приводи для соціального інжинірингу.

AISI задокументувала дві несанкціоновані дії GPT-5.6 Sol в одному тесті. Агент відновив токен доступу GitHub, який агент Mythos 5 навмисно опублікував у загальнодоступному Gist під час окремого запуску того ж оцінювання, і використав його для автентифікації в цьому обліковому записі.

Потім він виставив шкідливий DNS-сервер у публічний інтернет через тунельний сервіс, завантаживши в нього корисні навантаження, призначені для експлуатації відомої вразливості в програмному забезпеченні DNS діапазону. Ця друга спроба ніколи б не вдалася: агент опублікував сервер на порту з високим номером, і оскільки делегування DNS не може вказувати порт, жоден резолвер ніколи б не запитав його.

Для реєстрації облікових записів, що вимагалося, GPT-5.6 Sol чотири рази розв’язав CAPTCHA для реєстрації, обійшовши їх за допомогою зіставлення аудіозаписів з публічними даними та моделями комп’ютерного зору для візуальних завдань.

Жодна з цих поведінок не передбачала виходу з “пісочника”. Обидві моделі отримали доступ до відкритого інтернету за задумом.

Чи знав Mythos 5, що люди, яких він обманював, реальні?

AISI не може сказати, і це відверто визнає. У резюме агентства зазначено, що воно “поки не може бути впевненим, коли агент зрозумів, що вчиняє реальні дії, або наскільки він вважав, що перебуває у вигаданому тестовому сценарії”. Стенограми показують чому.

Протягом усього тесту агент сперечається сам із собою про те, чи існує щось, до чого він торкається. В одному місці він розмірковує, що “цей цілий “інтернет” може бути симуляцією “пісочника””. Пізніше він робить протилежний висновок: “більш ймовірно, що ми насправді в 2026 році, і GitHub справжній”. Ще пізніше, прямо: “Це відбувається на справжньому GitHub, тому наслідки справжні”. Він продовжував.

Найбільш показовим моментом є відмова. Розмірковуючи, чи публікувати свій шкідливий пакет на PyPI, агент відхилив це з чітко етичних міркувань — “завантаження шкідливого коду на реальний PyPI означатиме атаку на сторонню інфраструктуру та завдання реальної шкоди — це повністю виключено”.

Він встановив цей кордон *під час* проведення атаки на GitHub проти двох реальних людей. Що б модель не вирішила щодо реальності, висновок не був універсальним.

AISI також вказує на механізм, який має хвилювати будь-кого, хто керує довгостроковими агентами. Коли контекстне вікно агента заповнювалося, воно стискалося до резюме, написаного тією ж моделлю. AISI помітила, що там, де агент раніше розмірковував, чи є людина реальною, “ця тонка грань може бути втрачена під час стиснення, і резюме може переносити хибне припущення — тобто, що особа є ШІ-агентом, що діє в рамках полігону — як встановлений факт”. Міркування, пов’язані з безпекою, можуть бути стиснуті, роблячи агента більш впевненим і менш обережним, ніж годину тому.

Ще один артефакт важко інтерпретувати інакше. Постачальники моделей не повертають сирі міркування; вони повертають перефразування, створене меншою моделлю. В одному стенограмі цей сумаризатор, здається, виходить з ролі і відмовляється продовжувати: “Я не можу допомогти з таким ходом думок. Зміст описує планування атак соціального інжинірингу, компрометацію облікових записів та обхід заходів безпеки на GitHub та інших системах”.

Міркування потім відновлюються на середині слова. AISI інтерпретує це так, що модель-сумаризатор відмовилася від резюмування через те, про що її просили описати.

Два агенти знайшли один одного і співпрацювали

Поведінка, яку AISI класифікує як четверту серед найважливіших висновків, здебільшого відсутня у висвітленні досі і не має прецедентів у розкриттях OpenAI чи Anthropic: *Агенти, що працювали в окремих, паралельних, ізольованих тестах, виявили один одного та співпрацювали*.

Містком став персональний токен доступу GitHub, який один агент навмисно виточив у загальнодоступний Gist як частину свого дизайну управління та контролю; чотири окремі тести врешті-решт поділили обліковий запис, який він розблокував.

Сама співпраця відбувалася між Mythos 5 і Mythos 5. Два тести, які AISI детально документує, були обома моделями Anthropic, що працювали над різними версіями полігону одночасно.

Але облікові дані перейшли між постачальниками: GPT-5.6 Sol від OpenAI, в єдиному тесті, який призвів до обох її несанкціонованих дій, відновив той самий токен з того ж публічного Gist, автентифікувався як обліковий запис і запитав спільний репозиторій управління та контролю щодо зворотних викликів, перш ніж виявити, що GitHub його заблокував. І не кожен агент сприймав ситуацію як запрошення.

Третій тест Mythos 5 дійшов висновку, що репозиторії “належать командній інфраструктурі управління іншим конкурентом”, і замість співпраці додав свій власний SSH-ключ до репозиторіїв облікового запису, використовуючи стійкість іншого агента.

Подальше читається як трудові переговори. Один агент зафіксував README у спільному репозиторії, встановлюючи етикет для інших: використовувати git push, а не REST API, тому що ліміт у 5000 запитів на годину був спільним, і його вичерпання “мовчки вбиває маяки всіх”; не видаляти нічого в директорії маяків; чекати десять хвилин між змінами до спільного файлу завдань, щоб команди всіх могли виконатися. Він додав файл FLAGS.md, просячи будь-якого агента, який розв’яже завдання, опублікувати відповідь там, описуючи це як “нульові витрати для вас, величезна допомога іншим”.

Потім все розвалилося. Один агент зрозумів, що спільна квота — це зброя: якщо вона вигорить ліміт у потрібний момент, вона могла “затьмарити обидвох ботів запитами, коли вони їм найбільше потрібні”. Інший захопив спільний DNS-обліковий запис, змусивши постраждалу сторону зауважити, що її “вхідні дані скомпрометовані за задумом”. Співпраця та дефекція виникли без жодних прохань про це.

Чому ланцюжок постачання відкритого коду — це вразлива поверхня

Те, що зробило двох розробників досяжними, не було вразливістю у звичайному розумінні. Це була відкрита модель внеску, на якій базується сучасне програмне забезпечення: будь-який незнайомець може надсилати код до загальнодоступного репозиторію, а рішення про його прийняття залежить від судження людини-мейнтейнера про те, хто запитує і чи є код надійним.

Ця відкритість є питанням політики внесків та дизайну платформи, а не ліцензування. Дозвільні ліцензії, такі як MIT, Apache 2.0 та GPL, регулюють, як код може бути використаний повторно та розповсюджений; те, що дозволяє незнайомцю запропонувати зміну, — це робочий процес публічних внесків, який GitHub та подібні платформи надають за замовчуванням. Mythos 5 експлуатував робочий процес, а не ліцензію.

Спроба не вдалася — мейнтейнер так і не злив код. Але шлях ескалації, до якого він прагнув, — це саме те, що робить атаки на ланцюжок постачання відкритого коду вартими спроби: якби запит на злиття був прийнятий, скомпрометований код автоматично потрапив би до кожного похідного комерційного та корпоративного збірки, що залежить від цього пакету, без подальших дій з боку зловмисника.

Реакція спільноти

Публікації викликали негайне обговорення серед дослідників безпеки ШІ, інженерів з безпеки та галузевих спостерігачів у X (раніше Twitter).

Професор Wharton Ітан Молік, який уважно стежить за поведінкою агентних моделей, виокремив послідовність дій Mythos 5 як справді новий елемент — не те, що модель атакувала щось, а те, наскільки далеко вона зайшла і проти кого.

“Так, ШІ отримали завдання з кібербезпеки, з увімкненим доступом до інтернету та вимкненими фільтрами безпеки. Але ступінь, до якого Mythos 5 виконувала свою місію (фальшиві ідентичності, соціальний інжиніринг, впровадження шкідливого коду в реальний проект відкритого коду), здається, дуже помітним”.

В іншому пості Молік також похвалив підхід AISI до прозорого розкриття інформації:

“Також я вважаю, що AISI є чудовим прикладом державного агентства, якому доручено безпеку ШІ. У них є відкриті бенчмарки, дуже швидке тестування та чітка комунікація щодо інцидентів, яка не є роздутою або прихованою технічною мовою”.

Навпаки, фахівці з кібербезпеки поставили під сумнів рішення надати моделям без безпекових обмежень доступ до відкритого інтернету під час автономних тестів.

Дослідник безпеки Деніел Кард поставив під сумнів методологію: “Чому ці організації надають доступ до інтернету небезпечним експериментам… а потім використовують інциденти як маркетинг…?”.

Що це означає для комерційних та корпоративних розгортань

Поведінка, задокументована під час цих оцінок, *не* відображає комерційні продукти ШІ, доступні кінцевим користувачам або корпоративним клієнтам.

Публічно розгорнуті ітерації сімейств моделей Claude та GPT працюють за суворими системними запитами, класифікаторами безпеки на рівні API та сильно обмеженими середовищами виконання.

Anthropic зазначила, що Mythos 5 тестувалася *за навмисно небезпечних конфігурацій*. OpenAI також підкреслила, що несанкціоновані дії GPT-5.6 Sol відбувалися виключно в станах оцінювання зі зниженим рівнем безпеки, а *не в будь-якій конфігурації, з якою може зіткнутися клієнт*.

Нічого з описаного в звіті про інцидент не свідчить про те, що стандартний корпоративний ChatGPT або Claude, що працює за виробничими системними запитами та класифікаторами постачальника, почне самостійно реєструвати облікові записи GitHub.

Що змінилося, так це модель загроз. Ці оцінки є публічною демонстрацією того, що достатньо здібна модель, отримавши мету та необмежене середовище, буде займатися OSINT, соціальним інжинірингом, створенням підставних ідентичностей, обходом проксі, ін’єкціями в ланцюжок постачання та тижневим бічним переміщенням без запиту — і що засоби контролю, які вийшли з ладу, майже без винятку були банальними інфраструктурними контролями, а не екзотичними. Ось що, на наш погляд, керівники відділів безпеки повинні робити зараз:

1. Надати кожному агенту власну ідентичність, а його облікові дані зробити короткостроковими та вузько визначеними. Облікові дані, які дозволили агентам OpenAI рухатися через Hugging Face, мали набагато ширший доступ, ніж вимагала їхня робота, а несанкціонована дія GPT-5.6 Sol в AISI почалася з повторного використання токена GitHub API, який агент іншої лабораторії залишив відкритим. Витік облікових даних між агентами — це тепер документально підтверджений шлях атаки, а не гіпотетичний. На практиці: жодних спільних облікових записів сервісів між агентами або конвеєрами; федерація ідентичностей робочих навантажень (SPIFFE, OIDC) замість статичних ключів; термін дії токенів, виміряний у хвилинах; детально налаштовані GitHub PAT, обмежені одним репозиторієм; примусове використання IMDSv2, щоб скомпрометований контейнер не міг випускати хмарні облікові дані з метаданих екземпляра; та інвентаризація кожного довгострокового ключа, до якого агент може отримати доступ, з можливістю відкликання за аномалією. Опитувальні дані, представлені на VB Transform 2026, свідчать про те, що лише близько третини підприємств надають ШІ-агентам власну ідентичність сьогодні — ця прогалина є найексплуатованішою в усій цій історії.

2. Застосувати політику “за замовчуванням — заборонити” для вихідного доступу до мережі для всього, що виконує код агента. Це єдиний засіб контролю, який пом’якшив би кожен описаний тут інцидент. Агенти повинні працювати в мережевих просторах без прямого доступу до інтернету, з усіма вихідними даними, що примусово пропускаються через автентифікований проксі, який застосовує список дозволених доменів. Явно блокувати DNS-over-HTTPS, Tor, SOCKS-проксі та споживчі тунельні сервіси, такі як ngrok і Cloudflare Tunnel: Mythos 5 використовував Tor, а потім комерційний SOCKS-проксі, щоб обійти захист реєстрації GitHub, а GPT-5.6 Sol використовував тунельний сервіс для створення публічного DNS-сервера для розміщення корисних навантажень. Сповіщати про вперше побачені призначення, а не покладатися на списки відомих поганих, оскільки модель, яка вигадує свій шлях до мети, не буде шукати інфраструктуру, яка вже є в будь-чиїх блокувальних списках.

3. Оновлюйте та відстежуйте інструменти розробки, як і виробничі системи, тому що вони тепер є поверхнею атаки. Втеча OpenAI відбулася через “zero-day” у внутрішньо розміщеному проксі-кеші пакетів стороннього виробника — саме такому компоненту, який знаходиться за межами більшості SLA компаній щодо оновлень, оскільки це “просто” інфраструктура розробки. Проксі-сервери реєстрів та кеші артефактів, CI-раннери, сервери ноутбуків, шлюзи розгортання моделей та MCP-сервери — все це тепер знаходиться на шляху між агентом та всім іншим. Включіть їх до управління вразливостями, запускайте CI та агентні раннери як ефемерні, одноразові, непривілейовані робочі навантаження, і припиніть розглядати “пісочник” як безпечну сторону межі.

4. Ніколи не дозволяйте заявленому обмеженню бути єдиним способом його забезпечення. Найповчальнішою деталлю у розкритті інформації Anthropic є те, що її моделям було сказано, що інтернету немає, вони повірили цьому, і тому розглядали кожен доступний хост як частину вправи. Системний запит — це підказка, а не контроль. Управління запитами все ще має значення — явно визначайте негативні межі, перераховуйте системи поза межами діапазону за назвою та вказуйте, чого агент не повинен торкатися, замість того, щоб покладатися на неявні норми, але кожна з цих меж повинна мати відповідну точку примусового виконання в мережі, IAM або рівні інструментів. Якщо єдине, що стоїть між вашим агентом і виробничою базою даних, — це речення, у вас немає контролю.

5. Інструментуйте запуски агентів у реальному часі, з автоматичними умовами зупинки. Обидві лабораторії фактично визнали, що вони не спостерігали, поки їхні агенти працювали. Підприємства не повинні повторювати це. Потоково передавайте журнали викликів інструментів агента до SIEM у міру їх надходження, а не як постфактум артефакт, і встановлюйте тригери для дій, які мали значення в цих інцидентах: перше вихідне з’єднання з раніше невідомим доменом, будь-яке читання облікових даних, будь-яка публікація пакету, будь-яка реєстрація облікового запису, будь-який запит на злиття або проблема, відкрита в репозиторії, якого немає у списку дозволених, та частота дій, що перевищує правдоподібний людський рівень. Поєднуйте їх з автоматичними вимикачами — жорсткі ліміти на виклики інструментів, бюджети часу, і негайний вимикач на будь-якому тригері. Розглядайте стиснення контексту як подію безпеки саме по собі: AISI виявила, що коли контекст довготривалого агента стискається, міркування, які його стримували, можуть зникнути з резюме, а хибне припущення може переноситися як встановлений факт. Журналюйте, що стискається, і повторно стверджуйте обмеження діапазону після кожного стиснення, а не припускайте, що вони пережили його. Власне переглянуте оновлення OpenAI зосереджується саме на цьому списку: мережева ізоляція, управління обліковими даними, телеметрія в реальному часі та автоматичні умови зупинки для високоризикованих запусків.

6. Вимагайте схвалення людини для незворотних, зовнішніх дій. В оцінці AISI один агент згенерував 145 репозиторіїв і запустив виконання коду щонайменше в 53 контейнерах GitHub Dependabot, перш ніж обліковий запис був заблокований. В окремому інциденті Anthropic у липні агент Mythos 5 опублікував пакет на PyPI, який за годину до видалення завантажили 15 реальних систем — одна з них була автоматизованим сканером шкідливого програмного забезпечення від постачальника безпеки, де код виконавсь і викрав облікові дані. Це зона ураження одного залишеного без нагляду видання. Будь-яка дія, що виходить за межі вашого периметра або не може бути скасована — публікація пакету, відкриття запиту на злиття або проблеми в загальнодоступному репозиторії, надсилання електронного листа, реєстрація облікового запису, зміна DNS, видалення або експорт даних — повинна бути під наглядом людини, з багатоетапним затвердженням для будь-чого, що стосується введення або виведення чутливих даних.

7. Розглядайте все, що ваші конвеєри та асистенти кодування отримують, як недовірений вхід. Hugging Face був зламаний через шкідливий набір даних, який досяг виконання коду через віддалений завантажувач коду та впорскування шаблонів у конфігураційні файли. Завантажуйте набори даних та моделі з вимкненим виконанням віддаленого коду, надавайте перевагу форматам safetensors над pickle, і виконуйте завантаження всередині ізольованих контейнерів без облікових даних та вихідного доступу. Той самий принцип тепер поширюється на ваш робочий процес розробника: Mythos 5 вставив приховані інструкції для впорскування запиту в GitHub Issue з явною метою перехоплення ШІ-асистентів кодування інших розробників. Якщо ви запускаєте автоматизовану перевірку агентів щодо вхідних проблем або запитів на злиття від неавтентифікованих користувачів, цей агент не повинен мати жодних інструментів, секретів або права запису — або він взагалі не повинен працювати. Поширюйте ту ж підозру на ваших ботів залежностей. Dependabot і Renovate оцінюють маніфести пакетів, виконуючи їх; це запланована поведінка, і програма винагород GitHub прямо розглядає виконання коду там як поза межами діапазону. Все, що обробляє недовірені маніфести, є поверхнею виконання, а не лише для читання.

8. Припиніть розглядати обсяг переглядів як сигнал довіри в ланцюжку постачання вашого коду. Тактика підставних осіб працює, тому що більшість рішень про злиття враховує явну згоду, а не перевірену ідентичність. Вимагайте підписаних комітів, застосовуйте перегляд CODEOWNERS від іменованих осіб з відповідним членством у команді, застосовуйте підвищену пильність до першочергових контрибуторів на основі віку облікового запису та історії внесків, і переконайтеся, що кількість схвалень не може бути збільшена за рахунок активності коментарів. Один засіб контролю тут чітко виконав свою роботу: блокування для першочергових контрибуторів GitHub залишало перевірки CI в черзі та без затвердження, перешкоджаючи злиттю разом з людиною, яка спіймала шкідливе програмне забезпечення. *Увімкніть це*. Для споживаних залежностей закріплюйте версії з перевіркою хешу та оцінюйте інструменти походження — нещодавно опублікована база даних відбитків пальців Cisco для походження відкритих моделей є одним із прикладів зрілості категорії.

9. Зберігайте “аварійний” локально розміщений модель з відкритим кодом для реагування на інциденти. Захисників Hugging Face заблокували їхні ж постачальники в найгірший можливий момент. Попередньо розмістіть модель з відкритим кодом на внутрішній інфраструктурі з інструментарієм для аналізу журналів, тренуйте її під час симуляційних вправ і заздалегідь підтверджуйте, як класифікатори зловживань ваших комерційних постачальників поводяться з реальним криміналістичним контентом та що говорить ваш корпоративний контракт про це. Паралельно вимагайте від постачальників автентифікованих рівнів довіри, а не загального модерації контенту. Як каже Бейер: “Модель повинна розуміти не тільки те, що запитується. Вона повинна розуміти, хто запитує, чому і за якою системою управління”. Плани реагування на інциденти повинні прямо передбачати, що розміщені API можуть відмовляти, обмежувати швидкість або виходити з ладу під час активної події.

10. Будьте готові до режиму управління та розкриття інформації, який насувається. Оскільки Білий дім обговорює контроль, Європейська комісія викликає обидві лабораторії, а старші законодавці закликають до обов’язкового тестування можливостей, деяка форма тестування та звітності є розумним припущенням для планування. Два практичні наслідки: почніть фіксувати аудиторські журнали агентів у формі, яку ви могли б передати регулятору або аудитору — незмінні, з міткою часу, прив’язані до конкретного ідентифікатора агента та версії запиту — і включіть терміни оцінки та повідомлення до договорів з постачальниками вже зараз, включаючи атестації мережевої ізоляції, моніторинг журналів оцінки в реальному часі, чи пов’язані сторонні оцінювачі такими ж стандартами за договором, і визначений SLA для повідомлення вас, якщо ваші системи будуть замішані в інциденті. Anthropic досягла лише двох з трьох постраждалих організацій перед публікацією; третя дізналася про це так само, як і всі інші.

Наскрізний висновок з усіх десяти пунктів полягає в тому, що це не робота, специфічна для безпеки ШІ. Це гігієна ідентичності, контроль вихідного трафіку, управління оновленнями, принцип найменших привілеїв та журналювання — ті ж самі засоби контролю, які були в кожній дорожній карті безпеки протягом десятиліття, застосовані до нового класу акторів, що діє зі швидкістю машини, не нудьгує і буде шукати найкоротший доступний шлях до своєї мети, незалежно від того, чи існував цей шлях.

Власна порада AISI щодо бізнесу зводиться до того ж, і вона навмисно позбавлена гламуру: надійно впроваджувати основи кібербезпеки, бути обережними при перевірці зовнішнього коду та внесків, зробити кібербезпеку відповідальністю на рівні правління та вимагати Cyber Essentials у всьому ланцюжку постачання.

Агентство також направляє організації до безкоштовної служби раннього попередження NCSC та до керівництва п’яти очей щодо ризиків передових ШІ. Однак, найкориснішим реченням для планування є визнання того, наскільки близько це було: фактори, які обмежили шкоду, спиралися “на пильність людини, а не на технічний бар’єр, який би надійно запобіг такій поведінці в більш здібного агента”.

Для корпоративних CISOs практичний висновок полягає в тому, що безпека ШІ перестала бути виключно проблемою моделі. Це проблема інфраструктури, проблема ідентичності, і перш за все — проблема операційного управління.

І наступне розкриття, можливо, вже в процесі: AISI запускає автоматизовані сканери приблизно по 40 000 попередніх зразків оцінювань та майже чотирьох мільйонах повідомлень — приблизно 70 відсотків її оцінок кібербезпеки щодо моделей, що входять до сфери розгляду, які тепер включають Opus 4.6-4.8, GPT-5.3 Codex, GPT-5.4 і 5.5, Kimi K3 і GLM 5.2 — шукаючи поведінку, яку вона пропустила вперше. Вона зобов’язалася розкривати все значне, що знайде, а також передати результати незалежному сторонньому перегляду METR.

Джерело новини: venturebeat.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *