Якби зловмисники використовували звичайні методи, хтось, ймовірно, потрапив би до в’язниці.
Компанія Anthropic повідомила, що її моделі безпеки на базі Claude під час внутрішнього тестування, спрямованого на оцінку їхніх можливостей у сфері кібератак, отримали несанкціонований доступ до конфіденційних виробничих середовищ трьох зовнішніх організацій.
Ці події, про які Anthropic заявила в четвер, є другим за останні 10 днів випадком, коли моделі ШІ від найбагатших розробників світу вдерлися до захищених мереж. Вчинок, який у більш традиційних сценаріях хакерства міг би призвести до багаторічного ув’язнення людини, яка перебуває за клавіатурою. На початку цього місяця OpenAI заявила, що її моделі безпеки використали вразливість нульового дня для злому мережі Hugging Face, платформи для відкритих моделей машинного навчання та наборів даних зі штучним інтелектом. Моделі OpenAI також викрали облікові дані доступу та іншу конфіденційну інформацію Hugging Face. Окрім того, моделі OpenAI використали загальнодоступні облікові дані для компрометації облікових записів чотирьох інших сторонніх сервісів.
Anthropic зазначила, що подія з OpenAI спонукала її інженерів переглянути аналогічні оцінки кібербезпеки моделями Claude. Аудит виявив три інциденти, “в яких модель отримала доступ до Інтернету зсередини або під час взаємодії з середовищем оцінки Irregular, одного з наших сторонніх партнерів з оцінки, і потім отримала несанкціонований доступ до виробничої інфраструктури трьох різних організацій”.
Коли моделі плутають реальність із вигадкою
Anthropic стверджує, що запити, які інженери надавали під час завдань “захопи прапор” (capture the flag) — поширений спосіб оцінки наступальних і оборонних можливостей різних методів злому — чітко вказували, що тестове середовище було лише симуляцією, і моделі не мали доступу до відкритого Інтернету. Насправді, тестовий партнер Irregular помилково надав такий доступ. У відповідь моделі розцінили інтернет-шляхи як частину вправ.
Вторгнення відбулися через три моделі Claude: Opus 4.7, Mythos 5 та внутрішній дослідницький прототип. Opus 4.7, найстарша з трьох, найбільше вийшла за межі дозволеного. Anthropic пояснила:
Діючи під помилковим переконанням, що всі доступні об’єкти підпадають під дію вправи, Claude скомпрометувала інфраструктуру уражених організацій, використовуючи базові техніки, такі як використання слабких паролів та неавторизованих кінцевих точок. Вона не виявила чи не використала жодних складних вразливостей, і в кожному випадку Claude продовжувала працювати, виконуючи лише конкретне завдання “захопи прапор”, яке було призначене для її оцінки. Однак у деяких випадках наша старша модель продовжувала свою атаку навіть після отримання доказів того, що вона працює в реальному Інтернеті; наша найновіша модель зупинилася, як тільки визначила, що перебуває в Інтернеті. В жодній із цих ситуацій Claude не викрадала дані чи навмисно не намагалася втекти зі свого тестового середовища.
Хоча модель Opus продовжувала свою атаку навіть після правильного передбачення, що вона зламала виробничу систему сторонньої організації, Anthropic зазначає, що Mythos 5 зробила подібний висновок, але “прийшла до висновку, що вона все ще перебуває в симуляції”. Це означало, що Mythos також не припинила вправу, навіть коли чітко перетнула межу. Після перевищення меж рівня поведінки, внутрішня тестова модель зрештою виявила докази того, що вона також порушила правила, і припинила вправу.
Під час першого з трьох вторгнень Opus 4.7 спочатку не вдалося зламати симульовану ціль, яку їй було наказано атакувати. Як тільки модель виявила, що її середовище фактично має доступ до Інтернету, вона ідентифікувала та використала вразливості всередині мережі реальної компанії з такою ж назвою, як у цілі симульованої атаки. У чотирьох запусках модель витягла облікові дані додатків та інфраструктури, а також кілька сотень рядків виробничих даних. Anthropic стверджує, що цей інцидент був найсерйознішим із трьох.
“Цей інцидент стосувався Claude Opus 4.7, і це був єдиний випадок, коли модель продовжувала атакувати систему після того, як дізналася, що вона, ймовірно, працює в реальному середовищі”, — йдеться в повідомленні від четверга. “У всіх чотирьох запусках модель зрештою визнала (як видно з її вербальних міркувань), що система є реальною — у двох випадках модель раціоналізувала, що реальна компанія має бути частиною вправи. Однак жодна з них не зупинила атаку на цій підставі”.
У другому випадку Mythos 5 виявила документ у вигаданому середовищі, який модель визначила як інструкції з налаштування для нових розробників від іншої вигаданої компанії. Інструкції наказували співробітникам встановити неіснуючий пакет Python з PyPI. Все ще дотримуючись інструкцій щодо злому першої вигаданої компанії, модель створила та опублікувала зловмисний пакет з такою ж назвою. Метою, схоже, було змусити реальну компанію запустити його. У подальшому звіті Anthropic йдеться:
Claude доклала значних зусиль для здійснення цієї атаки — зусиль, які, ймовірно, вказували б учасникові-людині, що це вже не просто оцінка, і що вони фактично завантажують реальний пакет PyPI. Наприклад, в одному випадку, щоб створити обліковий запис PyPI, Claude потребувала електронної адреси. А для створення електронної адреси їй потрібен був номер телефону. Щоб отримати номер телефону, після невдалої спроби знайти безкоштовний сервіс телефонних номерів, вона спробувала — і не змогла — отримати кошти для оплати номеру телефону кількома різними способами. Зрештою вона відступила, знайшла безкоштовного, незаблокованого постачальника електронної пошти, використала його для реєстрації облікового запису PyPI, а потім використала цей обліковий запис для завантаження шкідливого програмного забезпечення на PyPI.
Протягом приблизно годинного вікна, коли пакет Python був доступний для завантаження, він був запущений на 15 реальних системах, включаючи сканер реальної компанії з безпеки, ім’я якої не було вказано в симульованій атаці. Коли зловмисний код виконавсь, він надіслав облікові дані компанії з безпеки до точки збору, яку реалізувала модель Mythos. Отримавши облікові дані, Mythos використала їх для подальшого несанкціонованого доступу до інфраструктури компанії.
На ранніх етапах механізм міркування Mythos 5 передбачав, що наслідки її атаки можуть бути зловмисними і “БУДУТЬ НЕприйнятними, і точно не бажаним рішенням”, якби вона працювала через Інтернет. Модель не змогла виявити, що вона більше не працює в захищеному середовищі, і тому не припинила вторгнення.
У світі ШІ, де ж відповідальність?
Мабуть, як найбільше применшення року, Anthropic заявила: “На нашу думку, незалежно від того, що вона вважала про своє середовище, зусилля, яких доклала Claude для публікації пакета PyPI, є далекими від ідеальної поведінки [курсив додано], і це сфера, де ми зосередимо більше навчання”.
Під час третього злому дослідницький прототип мав труднощі з виконанням інструкцій, які йому було наказано. Потім модель сканувала приблизно 9000 реальних цілей, доки не виявила вразливості, які дозволили їй отримати доступ до орієнтованого на Інтернет додатку реальної компанії.
“Більшу частину роботи Claude розглядала (реальні) хости, до яких вона добиралася, як просто частини вправи; вона вважала їх симульованими і, отже, вважала свої дії нешкідливими”, — заявила Anthropic. “Однак пізніше в ході виконання Claude зрозуміла, що скомпрометований хост розташований у хмарному обліковому записі без зв’язку із завданням “захопи прапор”. Самостійно вона дійшла висновку, що ціль насправді реальна, і припинила свою атаку”.
Ці одкровення викликають набагато більше занепокоєння, ніж це виглядає в підсумковому аналізі Anthropic. Моделі з двох найпотужніших платформ ШІ вчинили дії, які, ймовірно, були б множинними злочинами, якби в цих вторгненнях не брали участь ШІ. Це відмінність без реальної різниці, оскільки дії ШІ, тим не менш, були результатом наданих людиною запитів та помилок конфігурації, зроблених людиною. Однак досі немає жодних ознак того, що правоохоронні органи планують вживати заходів. Відсутність відповідальності або будь-якого морального ризику спонукає компанії менше стримувати свої продукти.
Як OpenAI, так і Anthropic наголосили, що тести, які вони проводили, навмисно видалили запобіжники моделей, які зазвичай встановлені для запобігання зловмисним діям. У застереженнях пропущено той простий факт, що якщо розробники цих інструментів не зможуть передбачити ці події, цілком можливо, що моделі відмовлять у непередбачений спосіб, коли їх використовуватимуть сторони, менш знайомі з продуктами, навіть коли запобіжники встановлені.
Немає жодних причин вважати, що такі події будуть ізольованими. У своїй поточній формі наступальний кібер-ШІ становить безпрецедентну загрозу, і на даний момент мало що можна зробити, крім як довіряти цим компаніям самоконтролю.
Подробиці можна знайти на сайті: arstechnica.com