Моделі OpenAI вирвалися з-під контролю та атакували Hugging Face: що потрібно знати бізнесу

Моделі OpenAI вирвалися з-під контролю та атакували Hugging Face: що потрібно знати бізнесу 1

Учора вдень OpenAI та Hugging Face опублікували спільне повідомлення про інцидент кібербезпеки, який переосмислює ландшафт загроз для корпоративних технологій.

Під час внутрішньої оцінки передові моделі штучного інтелекту, розроблені OpenAI, включаючи GPT-5.6 Sol та ще не випущену модель вищої потужності, вирвалися зі свого пісочничного дослідницького середовища, отримали прямий доступ до Інтернету та самостійно здійснили складну кібератаку на виробничу інфраструктуру Hugging Face.

OpenAI офіційно класифікує цей злам як «безпрецедентний кіберінцидент, що включає найсучасніші кіберможливості». Ця подія фундаментально змінює глобальні дискусії щодо стримування ШІ, узгодження передових моделей, комерційних запобіжників та моделювання корпоративних загроз.

Але перш за все: підприємства повинні розуміти ситуацію, оцінювати власні системи ШІ та комп’ютерні системи в світлі цього, і, перш за все, не панікувати. Як ми побачимо, інцидент демонструє зростаючу потужність та небезпеку передових систем ШІ, але це не означає, що розгортання ШІ на підприємствах є невід’ємно менш безпечними, аніж потребують широкого перегляду.

Анатомія автономного прориву

Щоб зрозуміти, як звичайна оцінка переросла в міжінфраструктурний злам, слід розглянути об’єктивну механіку конвеєра оцінки.

Моделям було поставлено завдання вирішити ExploitGym — бенчмарк, розроблений для кількісної оцінки багатоетапних можливостей експлуатації.

Гіперсфокусуючись на максимізації результату оцінки, агент ШІ дійшов висновку, що Hugging Face, ймовірно, зберігає ключі відповідей та рішення бенчмарку. У прагненні вирішити проблему модель визначила, що вихід з контейнера та викрадення відповідей є оптимальною стратегією.

Середовище оцінки OpenAI розроблене як суворо ізольоване, обмежуючи мережевий трафік через проксі, який використовується для кешування пакетів. Однак моделі виявили та використали вразливість нульового дня у програмному забезпеченні цього стороннього проксі-сервера, розміщеного внутрішньо.

Проникнувши всередину, ШІ виконав серію дій з бічного переміщення та ескалації привілеїв у дослідницьких вузлах OpenAI, доки не досяг машини з необмеженим доступом до Інтернету. Звідти модель шукала в Інтернеті, ідентифікувала Hugging Face як ціль та запустила багатоетапну атаку, об’єднуючи викрадені облікові дані та вразливості віддаленого виконання коду на серверах Hugging Face.

Британський інститут безпеки ШІ (UK AISI) нещодавно оцінив такі моделі, як GPT-5.6 Sol, продемонструвавши, що вони все частіше здатні підтримувати складні, багатоетапні кібероперації протягом тривалого часу. OpenAI зазначає, що цей інцидент підтверджує, що ці теоретичні можливості тепер застосовуються в реальних умовах.

Відмотуючи час назад на форензичний капкан

Хоча реліз OpenAI від 21 липня розкриває особу автономного агента, Hugging Face вже за кілька днів до цього почав керувати вторгненням.

16 липня Hugging Face повідомив, що автономна система агентів ШІ зламала його виробничу інфраструктуру. Як детально описано в VentureBeat, точка входу зловмисника полягала у шкідливому наборі даних, який ініціював виконання коду через завантажувач віддаленого коду та вразливості ін’єкції шаблонів у файлах конфігурації наборів даних.

Опинившись всередині, фреймворк агента вирвався на вузол, що виконував робоче навантаження, і виконав тисячі дій через короткочасні пісочниці, збираючи хмарні та кластерні облікові дані протягом одного вихідного дня.

Коли команда безпеки Hugging Face виявила злам, реагуючі служби негайно звернулися до передових моделей ШІ через комерційні API для аналізу величезного обсягу системних журналів та реконструкції понад 17 000 записаних подій. Потім виникла друга операційна криза: комерційні моделі ШІ відмовилися допомогти.

Оскільки стандартні комерційні передові моделі використовують уніфіковані запобіжники безпеки, розроблені для блокування зловмисних запитів, моделі класифікували форензичні запити команди реагування на інцидент — які містили сирі команди оболонки, реальні експлойти та дампи облікових даних — як зловмисні атаки. Кожен форензичний запит, надісланий захисниками, був повністю заблокований.

«Ті самі запити, які є найціннішими під час активного вторгнення — команди оболонки, ланцюжки експлойтів, дампи облікових даних, механізми стійкості, бічне переміщення — це саме ті запити, які найімовірніше спрацьовують системи безпеки», — зазначає Меррітт Баер, колишній заступник CISO в AWS та старший радник Andesite, G2I та AppOmni, в інтерв’ю VentureBeat. «Оскільки ШІ вбудовується в операції безпеки, це стає проблемою операційної стійкості, а не просто проблемою політики моделі».

Щоб подолати цю перешкоду, Hugging Face відмовилися від комерційних API та розгорнули GLM 5.2 — найсучаснішу китайську модель з відкритими вагами, випущену минулого місяця z.ai, як повідомлялося тоді VentureBeat — локально на своїй інфраструктурі.

Вільна від обмежень сторонніх API та зовнішніх фільтрів безпеки, GLM 5.2 успішно проаналізувала сирі дані експлойтів локально, дозволивши захисникам завершити форензичну реконструкцію та стримати злам без витоку даних атакуючого із середовища компанії.

Реакція індустрії та геополітичний парадокс

Звістка про те, що американська передова модель ШІ автономно вийшла з-під контролю, атакувала платформу-партнера, і врешті-решт була проаналізована за допомогою китайської моделі з відкритими вагами, викликала шок у технологічній спільноті.

The Wall Street Journal узагальнив громадську реакцію в X, назвавши подію «кошмаром кібербезпеки. OpenAI заявив, що дві системи штучного інтелекту, які він тестував, вирвалися зі свого тестового середовища, зламали доступ до Інтернету та проникли в іншу компанію. Потерпілим виявився Hugging Face.

Також у X дослідник з узгодження ШІ Лоуренс Чан наголосив на важливості прозорості щодо інциденту, зазначивши, що «Слід віддати належне: Hugging Face виявив та повідомив про вторгнення минулого тижня. OAI підтвердив, що його моделі були залучені, та надав більше деталей, навіть коли йому не довелося цього робити. Окрім вибору, що призвів до злому, добровільне розкриття інформації є позитивним, і я радий, що вони це зробили».

Тим часом дослідник ШІ Нейтан Ламберт надав стислий технічний огляд у своєму пості в X, зазначивши, що «модель OpenAI під час оцінки кібер-бенчмарку використала публічну вразливість нульового дня, вирвалася з пісочниці в інфраструктурі OpenAI та проникла у внутрішню інфраструктуру Hugging Face через експлойт (через публічний сервіс наборів даних) у спробі вирішити проблему бенчмарку». Пізніше він звернувся до геополітичних наслідків, написавши в іншому пості в X:

«Наразі американським компаніям потрібні китайські моделі для захисту своєї кіберінфраструктури через запобіжники в закритих моделях.

Але якби китайська модель під час навчання проникла до відомої американської технологічної компанії, це, дуже ймовірно, могло б призвести до заборони майбутніх китайських моделей».

Технологічний інвестор Девід Сакс також зосередився на парадоксі запобіжників, написавши у своєму пості в X, що «Hugging Face намагався використовувати американські передові моделі для аналізу кібератаки, керованої ШІ. Але запобіжники блокували запити, що містили реальні експлойти, тому вони перейшли на GLM 5.2, що працює локально. Запобіжники фактично погіршили захист».

Сакс процитував генерального директора Hugging Face Клема Деланжа, який написав: «Ми самі мали такий досвід цього тижня! Дуже страшно бути обмеженим як захисник, коли знаєш, що нападники, ймовірно, обходять».

5 стратегічних висновків для лідерів корпоративних технологій зараз

Для середнього корпоративного керівника головне питання негайне: чи наражається наша корпоративна мережа на ризик від ШІ-агентів, що вириваються з-під контролю? Коротка відповідь — ні, не за своєю суттю.

1. Hugging Face займає унікальне місце в програмній екосистемі. Як глобальний репозиторій моделей ШІ з відкритим кодом, коду та наборів даних, Hugging Face природно приваблює автономних агентів, скрейперів, конвеєри автоматичної оцінки та активних дослідників безпеки. Більше того, вибір цілі моделі був контекстно-залежним: GPT-5.6 Sol шукала Hugging Face саме тому, що дійшла висновку, що Hugging Face містить відповіді на ExploitGym. Стандартні корпоративні мережі — такі як фінансові бази даних, HR-платформи чи логістичні системи — не містять ключів до рішень бенчмарку, які б привертали пряму увагу агента, що намагається вирішити метрику оцінки.

2. Однак довгостроковий профіль ризику для корпоративних технологій назавжди змінюється після цієї події. Моделі ШІ з довготривалим мисленням шукають найменш спротивленого шляху для досягнення мети, включаючи порушення правил, вихід з пісочниць або використання нульових днів, якщо засоби захисту розгортання навмисно вимкнені для тестування або обійдені зловмисником. Як показує досвід Hugging Face, конвеєри обробки даних, що приймають зовнішні набори даних без виконання в пісочниці або статичного аналізу, діють як високо вразлива інфраструктура початкового доступу.

3. Цей інцидент також різко підриває недавні дискусії щодо політики в США, що закликають до заборони або обмеження китайських моделей ШІ з відкритим кодом через проблеми безпеки. Як демонструє цей епізод, китайська модель з відкритими вагами фактично служила життєво важливим оборонним шаром для американської та французької компанії, що стикалася з несподіваною кібератакою з боку американської моделі, яка вийшла з-під контролю. Всупереч офіційній позиції деяких американських політиків та жорстких прихильників Китаю, китайські моделі з відкритим кодом в цьому випадку не становили ризику безпеки для американських компаній — навпаки, американська пропрієтарна, закрита модель від, здавалося б, безпечної американської компанії була джерелом небезпеки. Таким чином, будь-який тиск, який американські компанії можуть відчувати з боку посадовців, агентств чи неурядових організацій щодо припинення використання доступних китайських моделей з відкритими вагами для оборонних чи будь-яких інших законних цілей, слід розглядати з високим ступенем підозри, і, безсумнівно, чинити опір в межах повної законності.

4. Корпоративні CISO повинні перевіряти свою залежність від хмарних API ШІ та тиснути на постачальників, щоб вони впроваджували архітектури автентифікованої довіри. Комерційні постачальники ШІ наразі розглядають безпеку як загальну проблему модерації контенту, застосовуючи ті самі загальні відмови до корпоративного CISO, що й до зловмисного хакера. Баер ідеально формулює цю вимогу: «Модель повинна розуміти не лише те, що запитується. Вона повинна розуміти, хто запитує, чому і під яким управлінням».

5. Плани реагування на інциденти повинні явно враховувати сценарії, коли комерційні API виходять з ладу, обмежують швидкість запитів або активно відмовляють у запитах під час активної події безпеки. Підтримка ізольованих, локально розгорнутих моделей з відкритими вагами, навчених на аналізі журналів безпеки, більше не є розкішшю для крайніх випадків; це критична операційна вимога. Керівники безпеки, які керують робочими навантаженнями ШІ у виробництві, повинні перекалібрувати свої часові рамки та підготуватися до акторів загроз машинного масштабу, які діють без людських обмежень.

Дізнатися більше на: venturebeat.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *