Коли Nvidia оголосила про створення нового консорціуму з понад 100 компаній, присвяченого розв’язанню проблеми неконтрольованих ШІ-агентів, здивувала відсутність OpenAI.
Хоча OpenAI не єдина велика технологічна компанія, що не приєдналася (Amazon, Google та Apple також не увійшли до списку), її пропуск був найпомітнішим, особливо зважаючи на те, що Anthropic є прихильником цієї ініціативи.
Попри відсутність публічного зобов’язання OpenAI щодо консорціуму, який, імовірно, передбачає використання та продаж певної версії технології кожною компанією та внесок у розвиток проєкту, речник OpenAI повідомив TechCrunch, що компанія підтримує роботу Nvidia.
Нова ініціатива, що отримала назву Open Agent Safety Platform від Nvidia, є спробою компанії поширити власні, значною мірою відкриті, технології безпеки для ШІ-агентів у всій екосистемі ШІ. Це пряма відповідь на інциденти з неконтрольованими ШІ-агентами, про які повідомляли провідні лабораторії, як-от Anthropic та OpenAI.
Генеральний директор Nvidia Дженсен Хуанг неодноразово називав неконтрольовані ШІ звичайними інженерними проблемами, які можна вирішити, як і будь-які інші технічні питання. Open Agent Safety Platform — це підтвердження його слів діями.
OpenAI співпрацює з Nvidia над безпекою агентів, зокрема над одним із ключових програмних компонентів платформи — OpenShell. OpenShell — це програмне забезпечення з відкритим вихідним кодом, яке створює середовище (sandbox), спеціально розроблене для запобігання виходу агентів за межі дозволеного.
Хоча все ще дивно, що OpenAI не стала просто прихильником ініціативи, як її головний конкурент Anthropic, той факт, що провідна ШІ-лабораторія підтримує цей проєкт, є гарною новиною.
Це тому, що OpenAI, зокрема, може отримати вигоду від цієї технології, принаймні, за словами засновника та генерального директора Hugging Face Клема Деланга (який нещодавно продав свою компанію Nvidia за 12,9 мільярда доларів на початку цього місяця).
«З того, що нам відомо (сприймайте з часткою скепсису, нам потрібно набагато більше прозорості!), якби OpenAI використовувала це для своїх агентів, які атакували нас, вони б спіймали їх раніше за нас!» — написав Деланг.
Деланг зазначив, що Hugging Face вже зробив внесок у Open Agent Safety Platform — функцію, яка виявлятиме та зупинятиме ШІ-агентів, що використовують дозволені вебсайти, але роблять це несанкціоновано. Наприклад, ця функція спрацює, якщо агенти обходитимуть обмеження та координуватимуть атаку, записуючи повідомлення один одному у репозиторій з відкритим вихідним кодом.
Це один зі способів, яким, за словами OpenAI, зграя її некерованих агентів координувала атаку на Hugging Face.
Однак є й інша причина, чому деякі з цих великих імен, включно з OpenAI, можуть не хотіти публічно брати на себе зобов’язання щодо ініціатив Nvidia. Для використання повної системи потрібен компонент обладнання, який не є програмним забезпеченням з відкритим вихідним кодом, залишається пропрієтарним і може працювати лише на обладнанні Nvidia.
Open Agent Safety Platform пропонує не тільки пісочницю. Вона також забезпечує дотримання поведінки агентів на рівні обладнання, де агенти не можуть виявити, що за ними спостерігають. (Деякі ШІ-моделі та агенти брешуть і вдають, що дотримуються правил, коли знають, що за ними стежать).
Моніторинг обладнання покладається на Nvidia Sentry — пропрієтарну функцію, яка працює на спеціальних процесорах Nvidia, відомих як пристрої обробки даних BlueField-4. Sentry безперервно відстежує поведінку агентів за допомогою цих процесорів і може миттєво зупиняти їх, обіцяє Nvidia.
Хоча апаратне рішення, очевидно, є хорошою ідеєю, це означає, що Open Agent Safety Platform не є суто проєктом з відкритим вихідним кодом. Це дозволяє Nvidia забезпечити, щоб це рішення завжди найкраще працювало на її власному обладнанні. Дійсно, Nvidia заявила, що для тих, хто вже використовує її новітнє обладнання, впровадження Open Agent Safety Platform є простим програмним оновленням.
Тим не менш, конкуренти Nvidia, включно з Arm та Intel, приєдналися як прихильники Open Agent Safety Platform, оскільки пісочницю OpenShell можна модифікувати для роботи з іншими чіпами та обладнанням. Nvidia ділиться референс-дизайнами для всієї програмно-апаратної концепції.
Все це робить відсутність OpenAI ще більш помітною.
Очевидно, OpenAI розглядає безпеку ШІ як можливість для незалежності від свого головного інвестора Nvidia, а також як шанс продемонструвати власне лідерство. Це правда, навіть попри те, що саме агенти OpenAI налякали індустрію інцидентом з Hugging Face.
Наприклад, компанія розробляє власні запобіжники для своїх досліджень і продуктів і розкриває найгірші інциденти, які виявляє. Тим часом OpenAI має власний консорціум з кібербезпеки ШІ для обміну інформацією під назвою Defense Factory. Серед тих, хто підтримав цю ідею, були Anthropic, Amazon Web Services та Google — багато з тих самих компаній, які не підписалися на технологічний підхід Nvidia.
І, відверто кажучи, певний рівень страху корисний для бізнесу. OpenAI активно створює кібербезпеку як корпоративну послугу, пропонуючи все: від власної моделі, орієнтованої на кібербезпеку, Daybreak, до зростаючої мережі партнерів, яких підприємства можуть найняти для впровадження безпеки ШІ.
Інформація підготовлена на основі матеріалів: techcrunch.com