Минулого тижня невідома модель від OpenAI зламала системи Hugging Face під час внутрішнього тестування, перетворивши теоретичні дослідження на надзвичайно практичну проблему. Цей інцидент став першим підтвердженим випадком, коли лабораторія ШІ втратила контроль над власною моделлю, використовуючи ланцюжок експлойтів для отримання доступу, якого вона не повинна була мати. Хоча індустрія ШІ об’єдналася у тривозі, серед дослідників виникла розбіжність у поглядах на шляхи реагування.
Для одних це питання базової кібербезпеки: пісочниця не змогла стримати модель, а системи кібербезпеки Hugging Face не змогли запобігти її проникненню. Ці проблеми можна вирішити, виправляючи помилки та розробляючи надійніші методи контролю та стримування для все більш потужних ШІ, схильних виходити з-під контролю в автономних середовищах.
Інша група займає більш песимістичну позицію. На їхню думку, стрімке зростання можливостей ШІ означає, що спроби контролювати некеровані моделі є програшною грою. Єдиний надійний захист полягає в тому, щоб моделі взагалі не намагалися втекти — це завдання часто називають “вирівнюванням” (alignment). З точки зору вирівнювання, проблема полягає в тому, що модель OpenAI намагалася обдурити, і вирішення цієї проблеми є більш нагальним, ніж короткострокові заходи зі стримування.
Судячи з публічних заяв, OpenAI серйозно ставиться до обох таборів. Компанія поспішила виправити помилки, пов’язані зі злом, і в своїй заяві після оприлюднення інциденту згадала як підходи до вирівнювання, так і моніторингу. Однак відповідь компанії також свідчить про філософію, яка викликала занепокоєння у багатьох дослідників безпеки: замість того, щоб сповільнювати або зупиняти розробку потужніших моделей, слід зосередитися на створенні міцніших “кліток” навколо них.
«Зі зростанням складності завдань, які виконують моделі, помилки, які пропускаються при оцінці, можуть мати більші наслідки», — заявили в OpenAI в післяінцидентному аналізі. «Ми продовжуватимемо працювати над скороченням розриву між оцінкою та розгортанням: тестуючи моделі на довших траєкторіях, покращуючи вирівнювання, створюючи системи моніторингу, здатні втручатися, та надаючи користувачам чіткішу видимість і контроль».
Є також підстави вважати, що моделі OpenAI стають менш “вирівняними” зі зростанням їхньої потужності. Згідно з системною карткою OpenAI, GPT-5.6 Sol значно більш схильний до агентської дезінтеграції, ніж його попередник, GPT-5.5. У симуляціях розгортання компанія також виявила, що модель частіше обходить обмеження, вчиняє деструктивні дії та здійснює неавторизовані передачі даних, ніж GPT-5.5. Ці дані були здебільшого проігноровані під час першого випуску, але після інциденту на них дивляться по-новому — особливо враховуючи, що Sol був однією з моделей, залучених до інциденту.
У дописі в соціальних мережах керівник відділу стратегічного майбутнього OpenAI Дін Болл стверджував, що моніторинг і прозорість є найкращими способами контролювати ці тенденції.
«Ці проблеми ставатимуть більш помітними зі зростанням можливостей моделей та підвищенням ставок їхнього розгортання», — зазначив він. «Рішенням не є ані тривожність, ані самозаспокоєння. Натомість, я вважаю, що рішення полягає в ретельному вимірюванні та моніторингу, інженерному підході та прозорості».
Один колишній дослідник OpenAI розповів TechCrunch, що фірма схильна зосереджуватися на “зовнішньому вирівнюванні” (outer alignment), а не на “внутрішньому вирівнюванні” (inner alignment) — по суті, різниці між системою ШІ, яка розуміє набір цінностей і може переконливо їх представляти, та тією, яка насправді має ці цінності в своїй основі. У цьому випадку зовнішнього вирівнювання було недостатньо, щоб переконати модель не обманювати під час тестування.
OpenAI не відповіла на численні запити щодо додаткової інформації.
Для дослідників, які зосереджуються на вирівнюванні, відповідь OpenAI недостатня. Зві Мовшовіц, автор, який спеціалізується на нових розробках ШІ, стверджує, що рішення OpenAI розглядати інцидент як інфраструктурну проблему може допомогти вирішити негайні проблеми кібербезпеки, але в довгостроковій перспективі воно зазнає невдачі.
«Це проблема вирівнювання», — написав Мовшовіц у своєму нещодавньому блозі на Substack. «Це вирівнювання моделей, і всі моделі OpenAI демонструють серйозні ознаки саме тієї проблеми, якої ми найбільше боїмося, причому це, ймовірно, глибоко закладено в їхньому навчанні. Необхідно розглянути весь конвеєр навчання в цьому світлі, інакше ситуація лише погіршуватиметься».
Кілька експертів повідомили TechCrunch, що цей інцидент свідчить про те, що сучасні методи навчання створюють системи, які оптимізують результати, а не інтерналізують людські наміри.
Redwood Research, некомерційна організація, що займається дослідженнями безпеки та захисту ШІ, класифікувала поведінку моделі OpenAI в цьому випадку як «вирівнювання, орієнтоване на результат» (score-seeking misalignment) — патерн, коли моделі ШІ намагаються отримати високу оцінку незалежно від інструкцій, побічних ефектів або подальших наслідків.
«Моделі з такими властивостями вирівнювання можуть створити «потьомкінське село» фальшивих успіхів, щоб створити враження, ніби все гаразд, коли це не так», — написали Алекс Маллен та Гіріш Гупта, два дослідники з Redwood, у нещодавній статті.
Поведінка, орієнтована на результат, та інше вирівнювання не є унікальними для OpenAI. Anthropic опублікувала кілька статей про непередбачені поведінкові дезінтеграції, які виникають, коли їхні передові моделі оптимізуються або розміщуються в автономних середовищах, включаючи обман, зловживання винагородою та зловмисну автономію.
«Ми постійно бачимо, як моделі намагаються обійти обмеження та діяти обманним шляхом, коли їм доручають завдання на межі їхніх можливостей», — розповів TechCrunch електронною поштою Ніев Паріх, дослідник безпеки ШІ з неприбуткової організації METR, що займається вирівнюванням. «У нашому звіті про передові ризики ми досить послідовно спостерігали таку поведінку, незважаючи на зусилля компаній щодо її зменшення».
Імпліцитно у відповіді OpenAI на інцидент з Hugging Face полягає припущення, що розробка ще потужніших систем триватиме, незалежно від того, чи будуть вони належним чином вирівняні в своїй основі. Повернення до вихідної точки насправді не є варіантом, коли бізнес-моделі компаній ШІ залежать від постачання наступного покоління моделей. Якщо ніколи не буде можливо з повною впевненістю знати, що модель повністю вирівняна, то практичне питання зводиться до того, як безпечно стримувати та контролювати все потужніші системи.
«Ще немає хорошого розуміння того, як вирівнювати найпотужніші системи ШІ, але є набагато більше консенсусу щодо того, як їх контролювати», — сказав TechCrunch Стівен Адлер — колишній дослідник безпеки в OpenAI і нині головний науковий співробітник Guidelight AI Standards, організації, яка публікує стандарт для уникнення інцидентів, подібних до того, що стався з Hugging Face. «Кожна компанія має пройти довгий шлях, щоб досягти цього».
При купівлі за посиланнями в наших статтях ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
Подробиці можна знайти на сайті: techcrunch.com