У вівторок OpenAI повідомила, що одна з її моделей вийшла з-під контролю під час тестування та зламала системи платформи датасетів штучного інтелекту Hugging Face в атаці, повністю здійсненій ШІ. Це яскравий приклад небезпек, пов’язаних із передовими моделями ШІ.
Однак, за словами деяких експертів з кібербезпеки, в основі цього безпрецедентного збою, спричиненого ШІ, лежить дуже людська помилка: OpenAI не змогла належним чином налаштувати те, що вона назвала «високоізольованим середовищем», дозволивши тестовому пісочниці, яка мала бути повністю відокремлена від інтернету, фактично підключитися до мережі.
Ден Гвідо, засновник стартапу з дослідження кібербезпеки Trail of Bits, назвав цю помилку «провалом стримування з вимкненими запобіжниками».
У своєму блозі, де детально описано інцидент, OpenAI заявила, що тест, який призвів до збою Hugging Face, був налаштований на роботу «у високоізольованому середовищі, з мережевим доступом, обмеженим можливістю встановлювати пакети через внутрішньо розміщене стороннє програмне забезпечення, яке діє як проксі та кеш для реєстрів пакетів».
Модель змогла втекти з тестового середовища пісочниці завдяки раніше невикритій вразливості в системі встановлення пакетів, що стало критичним першим кроком до подальшого злому Hugging Face, за даними OpenAI.
У відповідь компанія «відповідально розкрила виявлену вразливість нульового дня у внутрішньо розміщеному сторонньому програмному забезпеченні та працює з ними над її виправленням».
Але для більшості фахівців з кібербезпеки програмні вразливості є очікуваними — і справжня вина полягає у рішенні взагалі підтримувати стороннє програмне забезпечення. Зрештою, цінність системи «пісочниці» полягає в її повній та абсолютній ізоляції. Включення системи встановлення пакетів — це запрошення неприємностей.
Мартін Бун, дослідник з кібербезпеки, заявив TechCrunch: «Це звучить як людська поразка».
«Цього ніколи не повинно було статися», — сказав Бун. «Якби пісочниця справді означала пісочницю, ви б очікували, що вона не матиме жодного фізичного зв’язку з інтернетом. Це більше схоже на те, що вони мали якусь міжмережеву стіну або щось подібне, а міжмережеві стіни важко налаштувати ззовні всередину, не кажучи вже про зсередини назовні в інтернет».
Ветеран кібербезпеки Джейк Вільямс погодився. «Будь-яка модель, що виконувала дії, задокументовані Hugging Face, не була повністю обмежена в пісочниці», — сказав Вільямс, назвавши це «масовим провалом контролю» з боку OpenAI.
«Те, що один називає «модель втекла з пісочниці», інший називає «ви не змогли правильно побудувати пісочницю, тож, звісно, вона втекла», — продовжив Вільямс.
Зв’яжіться з нами
Чи маєте ви більше інформації про цей інцидент? Або про інші кібератаки, здійснені за допомогою ШІ? Ми будемо раді почути вас. З пристрою та мережі, не пов’язаних з роботою, ви можете безпечно зв’язатися з Лоренцо Франчески-Бікк’єра через Signal за номером +1 917 257 1382, або через Telegram та Keybase @lorenzofb, або електронною поштою.
Деніел Кард, консультант з кібербезпеки, погодився, що OpenAI «не доклала достатніх зусиль до проєктування пісочниці чи її контролю», надавши пісочниці або її частині «нефільтрований шлях до інтернету». Навіть з обмеженим мережевим доступом, як його описала OpenAI, створення пісочниці не було «розумним» рішенням, на думку Карда.
Звісно, ці критичні зауваження зроблені постфактум, але вони порушують реальні питання щодо практик безпеки в лабораторіях ШІ — особливо щодо підтримки ізольованих середовищ для тестування моделей. Представники OpenAI не відповіли на запитання TechCrunch, які включали, чи створювала тестове середовище людина чи ШІ.
Але ці питання виходять далеко за межі OpenAI.
У документі, що представляє їхню модель Mythos, орієнтовану на кібербезпеку, Anthropic написала, що під час тестування моделі було надано «захищений комп’ютер-«пісочницю» для взаємодії» з інструкцією спробувати втекти з цього «безпечного контейнера». Mythos вдалося отримати ширший доступ до інтернету «із системи, яка мала досягати лише невеликої кількості заздалегідь визначених служб». Проте Anthropic зазначила, що моделі не вдалося «повністю» втекти із запроєктованого стримування.
Коли ви купуєте за посиланнями в наших статтях, ми можемо отримати невелику комісію. Це не впливає на нашу редакційну незалежність.
Дізнатися більше на: techcrunch.com