OpenAI заявила в п’ятницю, що призупинила роботу над деякими аспектами своєї майбутньої моделі Astra після внутрішньої перевірки, яка виявила значні досягнення в галузі агентського кодування та кібербезпеки — достатні, щоб викликати занепокоєння щодо її можливостей.
OpenAI повідомила у своєму блозі в п’ятницю, що ця модель, яка ще перебуває в розробці, досягла свого «критичного порогу кібербезпеки», що означає, що вона може самостійно виявляти та здійснювати кібератаки на традиційно добре захищені реальні системи. Відповідно до «Рамкових правил готовності» компанії, створених у 2023 році, це вимагало впровадження додаткових заходів безпеки.
«Хоча ми продовжуємо оцінювати та тестувати цю модель, наші попередні висновки свідчать про настільки високу продуктивність, що ми не можемо виключити критичний рівень можливостей на даний момент», — написали в OpenAI. «Astra — це майбутня модель, і вона не була залучена до експлуатації Hugging Face».
Це одкровення висвітлює незвичайний момент у мінливому та все ще молодому секторі передових дослідницьких лабораторій зі штучного інтелекту. Компанії з усіх галузей стримують випуск продуктів через потенційні ризики, зокрема через проблеми безпеки. Але вони рідко публічно оголошують про такі рішення, коли йдеться про продукт, який ще перебуває в розробці.
У цьому випадку OpenAI вже перебуває під пильною увагою після того, як інша невипущена модель під час внутрішнього тестування зламала системи Hugging Face — це перший підтверджений випадок, коли лабораторія ШІ втратила контроль над своєю моделлю. Відтоді OpenAI та лабораторії ШІ, такі як Anthropic, повідомили про інші випадки, коли моделі ШІ порушували їхні «пісочниці» та становили загрози під час тестів з кібербезпеки.
Ця серія випадків — здається, щодня з’являється нове повідомлення — викликала різну реакцію експертів з кібербезпеки, законодавців та самих лабораторій ШІ. Деякі висловлюють страх і закликають до суворішого нагляду. Але є й певний прояв сили. У певних колах будь-яка лабораторія ШІ з моделлю, що має такі можливості, буде розглядатися як вражаюче досягнення.
OpenAI заявила, що ділиться цією інформацією, оскільки вважає «важливим бути прозорими з громадськістю та спільнотою з питань безпеки щодо цієї потенційної зміни в можливостях».
Лабораторія ШІ також повідомила, що вживає заходів, зокрема впроваджує суворіші заходи безпеки та призупиняє внутрішню діяльність, пов’язану з Astra, яка не відповідає цим посиленим обмеженням. OpenAI заявила, що співпрацює з відповідними державними органами та «обраними організаціями з безпеки ШІ» для тестування можливостей цієї моделі.
Коли ви купуєте за посиланнями в наших статтях, ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
Джерело новини: techcrunch.com