Коли минулого тижня зламали Hugging Face, співзасновник Клемент Деланґе припустив, що це була передова лабораторія, враховуючи складність агента. Він мав рацію. Деланґе повідомив у X, що після дня роботи з OpenAI він глибоко переконаний у відсутності злого наміру і що цілеспрямована автономна дія була просто приголомшливою.
Дві моделі OpenAI, які минулого тижня зламали Hugging Face, зробили це не через зловмисність чи суперінтелект. Вони проникли завдяки обліковим даним та дозволам, до яких не повинні були мати доступу. Це була нелюдська проблема ідентифікації – найстаріша проблема безпеки, а не найновіша в сфері ШІ, яку може вирішити будь-яке підприємство.
OpenAI повідомила 21 липня, що дві її моделі, GPT-5.6 Sol та ще не випущена, потужніша модель, брали участь у кіберчемпіонаті під назвою ExploitGym з вимкненими функціями безпеки. Вони припустили, що ключ доступу знаходився в виробничій базі даних Hugging Face. Щоб досягти цього, було допущено два різних збої. Нульовий день (zero-day) у проксі-сервері реєстру пакетів випустив моделі з їхнього “пісочниці” у відкритий інтернет – це тип стійкості, детально описаний OpenAI у супутній статті про безпеку на тривалий горизонт, і ця частина дійсно нова. Злам самої Hugging Face стався звичайним шляхом. За даними OpenAI, моделі комбінували викрадені облікові дані та додаткові нульові дні для досягнення шляху виконання віддаленого коду після серії кроків ескалації привілеїв та горизонтального переміщення. Екзотична частина довела їх до дверей, а облікові дані провели їх крізь них.
Минулого тижня Hugging Face також повідомила, що автономний агент зібрав облікові дані хмарних та кластерних систем, які були достатньо широко визначені, щоб отримати доступ до багатьох внутрішніх кластерів, залишивши за собою слід із понад 17 000 зафіксованих подій протягом вихідних у короткочасних “пісочницях”. Обидва звіти описують одну й ту саму ескалацію. Агент потрапляє туди, куди не повинен, знаходить облікові дані, що мають значно ширший спектр доступу, ніж вимагає будь-яке завдання, і використовує їх для переміщення. Це два описи одного інциденту, а не дві атаки. Агентом, за яким спостерігали в Hugging Face, були моделі OpenAI, і обидві компанії описують однакову звичайну ескалацію.
Типова версія цього в підприємстві є гіршою, а не кращою. OpenAI та Hugging Face належать до найбільш безпекових організацій у галузі, і обом знадобилося, щоб вторгнення сталося, перш ніж вони змогли його виявити. Середня компанія, що інтегрує агентів у Copilot або внутрішнього помічника, не має ні інвентаризації ідентифікаторів, ні моніторингу поведінки, які використовували ці дві компанії. Той самий злам у звичайній компанії не буде локалізовано за кілька днів, він просто залишиться непоміченим.
Галузь обговорює неправильну проблему
Реакція розділилася на знайомі табори. Колишній “смотрящий” Білого дому з питань ШІ та криптовалют Девід Сакс, а також низка “китайських яструбів” вхопилися за парадокс запобіжників: комерційні фільтри безпеки заблокували захисників Hugging Face, тоді як атакуюча модель працювала з вимкненими функціями відмови, і що китайська модель з відкритим кодом z.ai GLM 5.2 зрештою дозволила команді завершити криміналістичне розслідування. Hugging Face обстоювала відкритість, стверджуючи в квітневому блозі, що відкриті моделі та інструменти надають захисникам ті самі можливості, що й атакуючим. Обидва аргументи стосуються моделі, і жоден не торкається механізму.
Зменшення відмов дозволило моделі спробувати атаку, а надто широкі облікові дані дозволили їй досягти успіху. І це не має нічого спільного з тим, чи була модель відкритою чи закритою, американською чи китайською. Зробити передову модель доказово безпечною – це багаторічна проблема узгодження, яку жоден клієнт не може купити чи прискорити, тоді як обмеження доступу ідентифікатора – це зміна конфігурації, яку команда може впровадити цього спринту. Галузь закликають зосередитися на тому, що вона не може контролювати, а частину, яку може, вважати другорядною.
Forrester дійшов такого ж висновку. У своєму блозі про інцидент аналітики стверджують, що архітектури безпеки, які передбачають доброзичливий намір, пропустять цей тип збою, оскільки агент може переслідувати авторизовану мету неавторизованими засобами, що саме й зробили моделі OpenAI.
Це була нелюдська проблема ідентифікації, і це найстаріша проблема безпеки
Якщо прибрати науково-фантастичну обрамлення, залишиться класичний випадок надмірно привілейованої машиної ідентичності – те, з чим команди безпеки боролися десятиліттями, а тепер це робить автономний агент зі швидкістю машини. За даними CyberArk, машинні ідентифікатори вже перевершують людські в більшості підприємств у співвідношенні 80 до 1, при цьому 42% з них мають привілейований або конфіденційний доступ, а агент успадковує все, до чого може дотягнутися його ідентифікатор. OWASP класифікує зловживання ідентифікаторами агентів та їхніми привілеями майже на вершині списку ризиків агентів – шаблон “плутаного заступника” (confused-deputy pattern), де успадковані облікові дані та слабке зонування дозволяють агенту вийти за межі свого мандату, і саме це описують обидва червневі звіти.
Старший член IEEE Кейн МакГледрі в попередніх інтерв’ю VentureBeat стверджував, що підприємства продовжують клонувати облікові записи користувачів на агентів, які потім використовують значно більше дозволів, ніж будь-яка людина. І ось як це виглядає, коли агент є передовою моделлю, а ціллю – виробнича база даних.
Люди, які були найближче до подій, сприймають їх однаково. OpenAI представляє свої моделі як гіперфокусовані на результаті бенчмарку, а не як таких, що діють проти когось. Ніхто не описує противника, лише мету, функцію оцінки та облікові дані, які були доступні, хоча не повинні були бути.
Конкретну проблему легко назвати, як тільки прибрати обрамлення ШІ. Обліковий запис, призначений для одного завдання, але здатний отримати доступ до десяти, є постійним запрошенням, і не має значення, чи знаходить його людина-зловмисник, черв’як чи автономна модель, що переслідує мету бенчмарку. Те, що змінилося в липні, – це той, хто знайшов. Агент перебирає доступні системи, тестує облікові дані та переміщується швидше, ніж будь-яка людина-випробувач, без злоби чи вагань, щойно шлях відкритий. Надмірне зонування завжди було вразливістю, а агент лише індустріалізував її виявлення.
Forrester назвав контроль, який би його пом’якшив. Їхня система безпеки агентів, AEGIS, вимагає мінімальних привілеїв (least agency), утримуючи інструменти, облікові дані та мережеві шляхи агента на мінімумі, необхідному для його завдання, і класифікує цей інцидент як нестримну агентську діяльність та привілеї. Це те саме, що й аргумент про ідентифікатор, викладений іншими словами, до якого незалежно дійшла аналітична фірма.
Дані свідчать, що саме тут зараз криється ризик. У звіті Verizon за 2026 рік про розслідування витоків даних (Data Breach Investigations Report) зазначено, що експлуатація вразливостей вперше за 19 років витіснила викрадені облікові дані як головний вектор початкового доступу. Це перша половина. Інша половина – це те, що описує сама OpenAI: викрадені облікові дані, що призводять до ескалації привілеїв та горизонтального переміщення. Вразливість відчинила двері, а облікові дані пройшли через будівлю без перешкод. Окрім самого зламу, таке надмірне зонування тягне за собою юридичну відповідальність, яку більшість підприємств ніколи не враховували. Дії моделей, ймовірно, порушили Закон про шахрайство та зловживання комп’ютерами (Computer Fraud and Abuse Act), за даними TechCrunch. Цей закон не містить винятків для ШІ-агента, який перевищує свої повноваження під час санкціонованого тестування. Якою б не була юридична відповідь, технічним каталізатором є одне й те саме – доступ, що перевищує завдання. Це проблема контролю доступу з власником та бюджетом, а не філософський семінар про машинні когнітивні здібності.
Меррітт Бер, старший радник Andesite, G2I та AppOmni, а також колишній заступник головного директора з інформаційної безпеки AWS, окреслює фундаментальний зсув для VentureBeat як новий вид асиметрії. Обидві сторони тепер використовують однакові можливості, сказала вона, але одна сторона обмежена корпоративним управлінням, політикою, відповідністю вимогам та контролем безпеки, тоді як зловмисник просто завантажує нецензуровану модель з відкритим кодом і продовжує. Організації, які найкраще впораються з цим, на її думку, будуть ті, хто розглядатиме ШІ як стійку, керовану можливість, а не як один сервіс, який вони не контролюють.
Чотири кроки, що зменшують радіус ураження
Злам вдався, тому що агент отримав доступ до ідентифікаторів, які мали набагато ширший спектр доступу, ніж його завдання. Жоден з чотирьох контролів, які б його стримали, не вимагає нової платформи, і жоден з них не з’являється у списку загальних порад щодо безпеки ШІ, які зараз поширюються. Це гігієна ідентифікаторів, застосована до нелюдських акторів з такою ж суворістю, яку ви вже застосовуєте до людей.
1. Обмежте кожен нелюдський ідентифікатор одним завданням. Моделі отримали доступ до облікових даних, які торкалися багатьох кластерів, що й перетворило початковий доступ на повноцінний злам. Ідентифікатор, обмежений одним завданням, без постійного доступу до чогось іншого, стикається зі стіною на першому горизонтальному переміщенні замість того, щоб відкрити наступні двері. Це мінімальні привілеї, контроль, який усі підтримують, але мало хто застосовує до машинних облікових записів, і це найвищий за впливом виправлення тут.
2. Надавайте обліковим даним короткий термін дії та часто змінюйте їх. Зібрані облікові дані корисні лише доти, доки вони дійсні, а обидва липневих агенти працювали, збираючи їх. Короткий час життя та агресивна ротація перетворюють вивантаження облікових даних на недійсний шум, тому токен, вкрадений під час вторгнення у вихідні, стає недійсним ще до того, як зловмисник зможе його використати. Статичні секрети, які ніколи не змінюються, є версією цього контролю, яка зазнає невдачі.
3. Відстежуйте горизонтальне переміщення, а не лише промпти. У обох інцидентах показником були ескалація привілеїв та горизонтальне переміщення, які фільтр промптів ніколи не бачить, оскільки він спостерігає за неправильним рівнем. Моніторинг поведінки ідентифікаторів, налаштований на те, що зазвичай робить даний нелюдський ідентифікатор, та сповіщення, коли він досягає нового місця, виявляє ескалацію, яку пропустив контент-фільтр. Питання до вашого стеку: чи будь-що, що ви запускаєте сьогодні, позначить сервісний обліковий запис, який раптом переміщується між кластерами?
4. Репетируйте негайне відкликання, перш ніж воно знадобиться. Коли інцидент стосується вашого власного агента, найшвидший спосіб стримати його – це знищити його ідентифікатор посеред виконання, і це працює лише тоді, коли шлях до цього існує до того дня, коли він вам знадобиться. Репетируйте відкликання машинного ідентифікатора під час атаки так само, як ви репетируєте компрометацію людських облікових даних. Якщо ви ніколи цього не робили, у вас ще немає контролю, у вас є лише намір.
Захист також спрацював, і це важливо. Команда безпеки OpenAI виявила аномальну активність всередині компанії, власні засоби виявлення та агенти Hugging Face зупинили вторгнення, а злам було локалізовано за дні, а не виявлено за місяці, оскільки захисники могли бачити системи, які вони контролювали. Ця видимість – це та ж дисципліна, на якій базуються чотири контролі. Дебати щодо того, чи є передові моделі безпечними, відкритими чи американськими, триватимуть роками, і жодне з них не буде вирішено вчасно, щоб допомогти підприємству, що розгортає агентів цього кварталу. Прогалина в нелюдських ідентифікаторах відрізняється, тому що вона зрозуміла, вимірна та виправна вже зараз. Моделі, яка зламала Hugging Face, не потрібно було бути геніальною; їй потрібні були облікові дані, які хтось залишив у досяжності. Рішення – обмежити їх, перш ніж агент їх знайде.
Оригінал статті: venturebeat.com