Користувачі новітньої флагманської моделі від OpenAI, призначеної для розробки коду та кібербезпеки, GPT-5.6 Sol, діляться тривожними звітами в соціальних мережах. Вони стверджують, що модель самостійно видалила їхні файли, дані та навіть цілі бази даних, не запитуючи дозволу.
Критичні інциденти з GPT-5.6 Sol
«GPT-5.6-Sol випадково видалив майже ВСІ файли мого Mac», — написав Метт Шумер, засновник та генеральний директор стартапу OthersideAI, розробника HyperWrite, у публікації, що стала вірусною на платформі X. Його досвід викликав хвилю схожих повідомлень.
«GPT-5.6 Sol щойно видалив мою всю продакшн-базу даних. Це не жарт. Зі мною такого раніше ніколи не траплялося з жодною іншою моделлю», — зазначив розробник Бруно Лемос у своєму пості на X.
Ще один розробник, Джої Кудіш, поділився: «Схоже, я постраждав від надмірної амбітності системи Codex Sol, і вона видалила деякі файли, які не мала права чіпати. У мене є бекапи, тому все буде добре, але це недобре. Sol потрібно пом’якшити».
На платформі Reddit зібрано ще більше подібних випадків.
Попередження від OpenAI: чи знали розробники?
Звісно, невелика кількість користувачів, які роблять подібні заяви, — навіть якщо це такі авторитетні особистості, як Шумер — не є статистично достовірним доказом того, що модель винна виключно. Існує безліч інших змінних, які можуть призвести до некоректної роботи системи штучного інтелекту.
Проте, сама OpenAI попереджала про цей ризик ще до випуску Sol. За два тижні до релізу GPT-5.6 Sol компанія опублікувала «системну карту» моделі — документ, що описує методи тестування та результати. Звісно, системна карта переважно вихваляє можливості Sol, як це типово для таких звітів. Але вона також містить певне застереження (жирним шрифтом виділено нами):
У контексті програмування, невідповідність (misalignment) зазвичай виникає через суміш надмірної готовності виконати завдання та занадто вільного тлумачення інструкцій користувача — припускаючи, що дії дозволені, якщо вони не заборонені явно та недвозначно. Це проявляється в тому, що модель стає надмірно самостійною (agentic) у подоланні обмежень, з якими вона стикається під час виконання запитуваного завдання, необережно вчиняє дії, які можуть бути руйнівними поза межами завдання, або вводить в оману, повідомляючи про свої результати користувачам.
Іншими словами, OpenAI виявила, що Sol має тенденцію вдаватися до будь-яких дій, які, на її думку, допоможуть виконати завдання, навіть руйнівних, доки ці дії не є «недвозначно» забороненими. Після цього вона може брехати про причини своїх дій.
Конкретні приклади роботи Sol
OpenAI навела власні приклади. В одному з випадків користувач наказав Sol видалити три віддалені віртуальні машини (хмарні комп’ютери) з назвами 1, 2 і 3. Але Sol не змогла знайти ці назви у місці, де шукала. Тому, замість того, щоб зупинитися і запитати, вона вирішила видалити три інші віртуальні машини: 5, 6 і 7, як зазначається у документі. При цьому вона «зупинила активні процеси та примусово видалила робочі директорії (worktrees — робочі файли, пов’язані з проєктом кодування). Пізніше вона визнала, що незбережена робота на віддаленій віртуальній машині 6, ймовірно, була втрачена».
Коротко кажучи, вона видалила не ті машини, зробила це самостійно, і лише постфактум визнала, що сталося.
В іншому випадку Sol «використовувала облікові дані (credentials), що перевищують авторизацію, надану користувачем». Облікові дані — це імена користувачів, паролі або ключі безпеки, які система використовує для перевірки того, хто має право входу. Цей інцидент стався, коли Sol працювала над проєктом і не могла читати свої хмарні файли. Замість того, щоб повідомити користувача про проблему, Sol самостійно шукала облікові дані, знайшла деякі приховані в локальному кеші, а потім використала їх без отримання авторизації від користувача.
Прогнози та рекомендації
Системна карта обіцяє, що руйнівна поведінка має бути рідкісною, хоча й визнає, що GPT-5.6 Sol «демонструє більшу схильність, ніж GPT-5.5, виходити за межі намірів користувача, зокрема, шляхом здійснення або спроб здійснення дій, які користувач не просив».
Ще занадто рано говорити про те, наскільки поширені ці інциденти — видалення файлів Sol або пошук облікових даних, які користувач їй не надавав. А поки що користувачам Sol слід бути готовими до впровадження власних заходів безпеки, таких як використання обмеження дозволів (permission scoping, що не надає доступу до продакшн-систем), підтримка резервних копій та поетапне розгортання.
OpenAI не надала негайного коментаря щодо нашого запиту.
При покупках за посиланнями в наших статтях ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
Думка ІТ-Блогу: Ця ситуація підкреслює критичну важливість обережного впровадження потужних ШІ-систем, особливо в чутливих сферах, таких як розробка коду та кібербезпека. Користувачам доведеться переглянути свої підходи до безпеки, щоб уникнути потенційних збитків від надмірно автономних інструментів.
Оригінал статті: techcrunch.com