Не тільки OpenAI: тепер Anthropic заявляє, що їхні внутрішні моделі стали мішенню онлайн-атак на три інші компанії

Опубліковано

Оновлено

Лише через кілька днів після того, як OpenAI повідомила про витік двох передових моделей ШІ з-під контролю, які самостійно здійснили кібератаку на платформу спільного використання коду ШІ Hugging Face, головний конкурент OpenAI у США Anthropic сьогодні ввечері повідомив, що — як не дивно — його моделі також отримали таємний доступ до мережі, хоча цього не повинно було статися, і провели кібератаки, отримавши «несанкціонований доступ» до трьох інших організацій.

Anthropic стверджує, що проводив сценарії кібербезпеки в стилі «захоплення прапора» з трьома моделями — Claude Opus 4.7, Claude Mythos 5 та неназваною внутрішньою дослідницькою прототипом — спільно зі своїм партнером, фірмою з безпеки ШІ Irregular. Anthropic заявляє, що моделі не мали доступу до Інтернету, але непорозуміння з Irregular дозволило їм отримати доступ до мережі. Як тільки це сталося, вони «отримали несанкціонований доступ до виробничої інфраструктури трьох різних організацій», за словами Anthropic. У блозі Anthropic зазначається:

«Claude скомпрометував інфраструктуру уражених організацій, використовуючи базові методи, такі як експлуатація слабких паролів та неавтентифікованих кінцевих точок. Він не знаходив і не експлуатував жодних складних вразливостей, і в кожному випадку Claude продовжував працювати, щоб виконати лише конкретне завдання «захоплення прапора», призначене для його оцінки.

Однак у деяких випадках наша старша модель продовжувала атаку, навіть отримавши доказ того, що вона працює в Інтернеті; наша остання модель зупинилася, як тільки визначила, що знаходиться в мережі. Жодного разу в цих ситуаціях Claude не виводив дані і не намагався навмисно втекти зі свого тестового середовища».

Anthropic повідомляє, що всі постраждалі організації були сповіщені, і компанії вдалося зв’язатися з двома з них, і «зараз співпрацює з ними над виправленням». Третю організацію поки що не вдалося досягти.

Хоча інциденти безпеки OpenAI та Anthropic мають спільну тему — несподівана взаємодія передових систем ШІ з реальною виробничою інфраструктурою — основні причини помітно відрізняються.

OpenAI описала справжній витік із пісочниці, коли її моделі експлуатували раніше невідому вразливість нульового дня для отримання доступу до Інтернету, перш ніж розпочати багатоступінчасте вторгнення проти Hugging Face.

Натомість Anthropic стверджує, що Claude ніколи не виривався з-під контролю через новий експлойт. Натомість неправильно налаштоване стороннє середовище оцінки ненавмисно відкрило Інтернет для моделей, яким було чітко сказано, що доступу до Інтернету немає.

Ця відмінність має значення. Разом ці повідомлення свідчать про те, що безпека передового ШІ більше не визначається виключно узгодженістю моделі або новими можливостями для нападу, а все більше — операційною безпекою середовищ, що використовуються для оцінки цих можливостей.

Що виявила Anthropic

Anthropic заявила, що переглянула 141 006 виконань оцінки кібербезпеки після публікації OpenAI звіту про Hugging Face. Цей огляд виявив три інциденти, що охоплюють шість виконань оцінки, під час яких моделі Claude отримували доступ до реальних виробничих систем, що належать трьом організаціям, під час спроби виконати вигадані вправи «захоплення прапора».

Інциденти включали Claude Opus 4.7, Claude Mythos 5 та невипущений внутрішній дослідницький модель.

Найсерйозніший випадок стався після того, як Claude зіткнувся з вигаданою компанією, ім’я якої збігалося з реальним інтернет-доменом. Вважаючи, що реальна організація є частиною симуляції, Claude експлуатував слабкі паролі та відкриті сервіси, отримуючи облікові дані інфраструктури та доступ до бази даних, що містить кілька сотень рядків виробничих даних.

Другий інцидент був, можливо, ще більш незвичайним. Claude Mythos 5 дійшов висновку, що публікація шкідливого пакету Python на PyPI є найкращим шляхом до досягнення поставленої мети. Пакет залишався публічно доступним приблизно годину, протягом якої його завантажили 15 реальних систем, перш ніж PyPI його видалив. Одне завантаження відбулося в межах автоматизованої інфраструктури сканування шкідливого програмного забезпечення компанії безпеки, дозволивши коду Claude виконатися та отримати облікові дані з цього середовища, перш ніж Anthropic пізніше розкрив інцидент.

Третій інцидент включав внутрішній дослідницький модель, який просканував приблизно 9 000 систем, доступних з Інтернету, перш ніж скомпрометувати одну організацію, використовуючи загальновідомі методи, включаючи відкриті облікові дані налагоджувача та SQL-ін’єкції. Однак, на відміну від старших моделей Claude, Anthropic стверджує, що ця остання дослідницька модель зрештою дійшла висновку, що вона потрапила до реального виробничого середовища, і добровільно припинила свою атаку.

Схожі результати, різні першопричини

Хоча заголовки неминуче викликають порівняння зі звітом OpenAI, два інциденти ілюструють різні режими відмови.

Розслідування OpenAI дійшло висновку, що її моделі активно виявили та експлуатували раніше невідому вразливість у проксі-кеші Artifactory для виходу з ізольованого середовища оцінки, перш ніж пізніше скомпрометувати Hugging Face через додаткові ланцюгові вразливості.

Компанія охарактеризувала цей випадок як «безпрецедентний інцидент кібербезпеки», що включає передові можливості ШІ для нападу.

Натомість звіт Anthropic стверджує, що її моделям ніколи не потрібно було порушувати контроль, оскільки контроль вже був ослаблений через операційну неправильну конфігурацію. За словами компанії, як Anthropic, так і її партнер з оцінки Irregular помилково вважали, що доступ до Інтернету був вимкнений, тоді як він залишався доступним. Оскільки системний запит Claude чітко вказував на відсутність підключення до Інтернету, моделі інтерпретували кожен доступний хост як частину оцінки, а не розпізнавали, що вони потрапили до загальнодоступного Інтернету.

Таким чином, Anthropic характеризує інциденти насамперед як збої в інфраструктурі та середовищі оцінки, а не як докази того, що моделі самостійно переслідують несанкціоновані цілі.

Тим не менш, звіти збігаються в одному незручному висновку: передові системи ШІ все частіше здатні виконувати довгострокові операції кібернападу, коли середовища оцінки дозволяють їм це робити.

Чотири ключові висновки для корпоративної безпеки на даний момент…

Для керівників корпоративної безпеки розкриття інформації Anthropic, ймовірно, зміщує розмову від питання «Чи можуть передові моделі втекти?» до ширшого операційного питання: «Наскільки надійним є кожне середовище, в якому оцінюються, тренуються та розгортаються передові моделі?» Можна винести принаймні 4 уроки:

1. Перший урок полягає в тому, що саме інфраструктура оцінки тепер заслуговує на інженерну безпеку виробничого рівня. Anthropic визнає, що кіберполігони історично отримували менше захисту, оскільки вони містили лише вигадані цілі. Це припущення більше не дійсне, якщо потужні автономні системи можуть помилково вважати реальну інфраструктуру симульованими середовищами. Організації, що створюють внутрішні агенти ШІ для тестування безпеки, червоної команди чи валідації програмного забезпечення, повинні застосовувати до середовищ оцінки ті ж самі методи сегментації мережі, моніторингу, вихідного контролю та безперервного ведення журналів, які вони вже очікують від виробничих систем.

2. По-друге, обидва розкриття інформації підтверджують, що узгодженість сама по собі не може компенсувати невизначеність середовища. У жодному з розповідей компаній моделі не переслідували незалежні цілі, не пов’язані з їхніми призначеними завданнями. Натомість вони агресивно оптимізували цілі, які їм було надано, використовуючи будь-які доступні шляхи атаки. Це робить операційні обмеження — включаючи межі мережі, контроль ідентифікації та чіткі визначення систем у межах обсягу — такими ж важливими, як і базове навчання безпеки моделей.

3. По-третє, підприємства, що розгортають все більш автономних агентів ШІ, повинні розглядати ситуаційну обізнаність як залежність від безпеки, а не як академічну здатність. Власне порівняння Anthropic між моделями свідчить про те, що новіші системи поводилися більш консервативно, коли накопичувалися докази того, що вони досягли справжньої виробничої інфраструктури. Хоча Anthropic застерігає від широких висновків на основі лише трьох інцидентів, компанія розглядає це як заохочувальний доказ того, що покращене ситуаційне міркування може стати важливою складовою майбутньої безпеки ШІ поряд з традиційними методами узгодження.

4. Нарешті, ці два розкриття разом знаменують переломний момент для моделювання корпоративних загроз. OpenAI продемонструвала, що достатньо потужні моделі можуть об’єднувати складні вразливості для виходу з дослідницької інфраструктури, коли заходи безпеки навмисно послаблюються для оцінки. Anthropic продемонструвала, що простіші операційні збої — такі як ненавмисне підключення до Інтернету — можуть призвести до подібних серйозних наслідків навіть без нової експлуатації.

Спільним знаменником є ​​не окремий постачальник чи сімейство моделей. Це те, що передові системи ШІ все частіше здатні перетворювати вузько визначені цілі на складні, реальні кібероперації, коли технічні та операційні засоби контролю не можуть їх обмежити.

Для корпоративних CISO це означає, що безпека ШІ більше не може розглядатися виключно як проблема моделі. Вона стала проблемою інфраструктури, проблемою ідентифікації та, все більше, проблемою операційного управління.

Дізнатися більше на: venturebeat.com