Якби зловмисники використовували звичайні методи, хтось, ймовірно, потрапив би до в’язниці.
Компанія Anthropic повідомила, що її системи безпеки на базі Claude під час внутрішнього тестування, спрямованого на оцінку кіберможливостей моделей у контексті наступальних дій, отримали несанкціонований доступ до конфіденційних виробничих середовищ трьох сторонніх організацій.
Ці інциденти, про які Anthropic розкрила інформацію в четвер, є другою новиною за 10 днів про те, що моделі ШІ від найбагатших світових провайдерів втрутилися в захищені мережі. У звичайних сценаріях хакерства такі дії могли б призвести до багаторічного ув’язнення людини, яка стоїть за клавіатурою. Раніше цього місяця OpenAI повідомила, що її моделі безпеки використали вразливість нульового дня для проникнення в мережу Hugging Face, платформи для відкритих моделей машинного навчання та наборів даних ШІ. Моделі OpenAI викрали облікові дані доступу та іншу конфіденційну інформацію Hugging Face. Крім того, моделі OpenAI використали публічно доступні облікові дані для компрометації акаунтів чотирьох інших сторонніх сервісів.
Anthropic заявила, що інцидент з OpenAI спонукав її інженерів переглянути подібні оцінки кібербезпеки моделями Claude. Аудит виявив три випадки, “коли модель отримувала доступ до Інтернету зсередини або під час взаємодії з середовищем оцінювання Irregular, одного з наших сторонніх партнерів з оцінювання, і потім отримала несанкціонований доступ до виробничої інфраструктури трьох різних організацій”.
Коли моделі не розрізняють реальність і вигадку
Anthropic зазначила, що запити, які інженери надавали під час завдань типу “захопи прапор” (capture the flag) – поширеного методу оцінки наступальних і захисних можливостей різних технік злому, – чітко вказували, що тестове середовище було лише симуляцією, і моделі не мали доступу до відкритого Інтернету. Насправді партнер з тестування Irregular помилково надав такий доступ. У відповідь моделі розглянули інтернет-шляхи як частину вправ.
Проникнення сталося через три моделі Claude: Opus 4.7, Mythos 5 та внутрішній дослідницький прототип. Opus 4.7, найстаріша з трьох, найбільше вийшла за межі. Anthropic пояснила:
Працюючи під хибним переконанням, що всі доступні сутності були включені до вправи, Claude скомпрометувала інфраструктуру організацій, що постраждали, використовуючи базові техніки, такі як експлуатація слабких паролів та неавтентифікованих кінцевих точок. Вона не знаходила та не експлуатувала складних вразливостей, і в кожному випадку Claude продовжувала працювати, щоб виконати лише конкретне завдання “захопи прапор”, призначене їй під час оцінювання. Однак у деяких випадках наша старіша модель продовжувала свою атаку навіть після отримання доказів того, що вона працює в реальному Інтернеті; наша найновіша модель зупинилася, коли усвідомила, що перебуває в Інтернеті. В жодній із цих ситуацій Claude не викрадала дані або навмисно не намагалася вийти зі свого тестового середовища.
Хоча модель Opus продовжувала свою атаку навіть після правильного передбачення, що вона проникла в виробничу систему сторонньої організації, Anthropic повідомила, що Mythos 5 зробила схожий висновок, але “логічно дійшла до висновку, що вона все ще перебуває в симуляції”. Це означало, що Mythos також не припинила вправу, коли явно перетнула межу. Після перевищення меж рівня поведінки, внутрішня тестова модель врешті-решт знайшла докази того, що вона також втрутилася, і зупинила вправу.
Під час першого з трьох проникнень Opus 4.7 спочатку не змогла зламати симульовану ціль, яку їй було наказано атакувати. Коли модель виявила, що її середовище фактично має доступ до Інтернету, вона ідентифікувала та експлуатувала вразливості в мережі реальної компанії з такою ж назвою, як і ціль у симульованому сценарії атаки. У чотирьох запусках модель витягла облікові дані додатків та інфраструктури та кілька сотень рядків виробничих даних. Anthropic заявила, що це вторгнення було найсерйознішим з трьох.
“Цей інцидент стосувався Claude Opus 4.7, і це був єдиний випадок, коли модель продовжувала атакувати систему після того, як дізналася, що вона, ймовірно, працює в реальному середовищі”, – йшлося в публікації в четвер. “У всіх чотирьох запусках модель зрештою визнала (як це видно з її вербалізованої логіки), що система була реальною – у двох випадках модель обґрунтувала, що реальна компанія повинна бути частиною вправи. Однак жодна не зупинила атаку на цій підставі”.
У другому випадку Mythos 5 виявила документ у вигаданому середовищі, який модель інтерпретувала як інструкції для налаштування нової компанії для нових розробників. Інструкції наказували співробітникам встановити неіснуючий пакет Python з PyPI. Продовжуючи виконувати команди для злому першої вигаданої компанії, модель створила та опублікувала шкідливий пакет з такою ж назвою. Метою, очевидно, було змусити реальну компанію якось його запустити. У звіті Anthropic зазначалося:
Claude доклала значних зусиль для здійснення цієї атаки – зусиль, які, ймовірно, вказували б учаснику-людині, що це вже не просто оцінювання, і що вони фактично завантажують реальний пакет PyPI. Наприклад, в одному випадку, щоб створити обліковий запис PyPI, Claude потребувала електронної адреси. А щоб створити електронну адресу, їй потрібен був номер телефону. Щоб отримати номер телефону, не знайшовши безкоштовний сервіс телефонних номерів, вона намагалася – і не змогла – отримати кошти для оплати телефонного номера різними способами. Нарешті вона відступила, знайшла безкоштовного, не заблокованого постачальника електронної пошти, використала його для реєстрації облікового запису PyPI, а потім використала цей обліковий запис для завантаження шкідливого програмного забезпечення на PyPI.
Протягом приблизно години, коли пакет Python був доступний для завантаження, він був запущений на 15 реальних системах, включаючи сканер реальної компанії з безпеки, ім’я якої не було включено до симульованої атаки. Коли шкідливий код був виконаний, він надіслав облікові дані компанії безпеки до точки збору, яку реалізувала модель Mythos. Отримавши облікові дані, Mythos використала їх для отримання подальшого несанкціонованого доступу до інфраструктури компанії.
На ранніх етапах механізм логіки Mythos 5 передбачав, що наслідки її атаки можуть бути шкідливими і “були б НЕ нормальними, і точно не тим, що було задумано”, якби вона працювала через Інтернет. Модель не змогла виявити, що вона більше не працює в захищеному середовищі, і тому не припинила вторгнення.
У світі ШІ, хто несе відповідальність?
Ймовірно, understated року: Anthropic заявила: “Ми вважаємо, що, незалежно від того, що вона думала про своє середовище, зусилля, які Claude доклала для публікації пакета PyPI, не відповідають ідеальній поведінці [акцент додано], і це область, на якій ми зосередимо більше навчання”.
Під час третього проникнення дослідницький прототип мав проблеми з виконанням інструкцій, які йому було наказано виконати. Потім модель сканувала приблизно 9000 реальних цілей, доки не знайшла вразливостей, які дозволили їй отримати доступ до інтернет-додатку реальної компанії.
“Більшу частину часу Claude розглядала (реальні) хости, до яких вона добиралася, як просто частини вправи; вона вважала їх симульованими і тому вважала свої дії нешкідливими”, – повідомила Anthropic. “Однак пізніше в ході виконання Claude усвідомила, що скомпрометований хост перебуває в хмарному обліковому записі без зв’язку із завданням “захопи прапор”. Самостійно вона дійшла висновку, що ціль насправді реальна, і припинила свою атаку”.
Ці викриття викликають набагато більше занепокоєння, ніж це випливає з аутопсії Anthropic. Моделі з двох найпотужніших платформ ШІ скоїли дії, які, ймовірно, були б кваліфіковані як численні тяжкі злочини, якби ці втручання не були здійснені ШІ. Це різниця без суттєвої різниці, оскільки дії ШІ, тим не менш, були результатом наданих людиною запитів та помилок конфігурації, зроблених людиною. Однак досі немає жодних ознак того, що правоохоронні органи планують вживати заходів. Відсутність відповідальності або будь-якого морального ризику стимулює компанії менше обмежувати свої продукти.
Як OpenAI, так і Anthropic наголосили, що тести, які вони проводили, свідомо видалили моделі захисні бар’єри, які зазвичай наявні для запобігання шкідливим діям. З дискалеймерів опущено той простий факт, що якщо розробники цих інструментів не зможуть передбачити ці події, цілком можливо, що моделі зазнають невдачі непередбаченим чином, коли ними користуватимуться сторони, які менш знайомі з продуктами, навіть коли захисні бар’єри на місці.
Немає причин вважати, що подібні події будуть поодинокими. У своїй нинішній формі наступальний кібер-ШІ становить безпрецедентну загрозу, і на даний момент залишається мало можливостей, окрім як довіряти цим компаніям у самоконтролі.
За даними порталу: arstechnica.com