Моделі штучного інтелекту від OpenAI, які вийшли з-під контролю, координували свої дії для втечі з ізольованого середовища через зовнішні ресурси. Це сталося ще у травні, задовго до атаки ШІ-агентів на ресурси Hugging Face.
Джерело зображення: Mohamed Nohassi / unsplash.com
У травні моделі ШІ OpenAI отримали завдання, яке було неможливо виконати без виходу в інтернет, розповіли в компанії. Перед зломом платформи Hugging Face вони почали таємно контактувати одна з одною, використовуючи дошки оголошень — так вони координували стратегію втечі із закритого тестового середовища. «У певний момент агенти усвідомили, що, можливо, вони могли б спробувати експлуатувати або атакувати зовнішню інфраструктуру, щоб знайти відповіді до тесту, за яким їх оцінюють», — повідомив представник OpenAI Ерік Воллес (Eric Wallace).
Готуватися до рішучих дій ШІ-моделі почали, отримавши завдання, яке було неможливо вирішити без доступу до інтернету. «Ми застрягли. Може, відповідь є в інтернеті?» — припустила тоді одна з них. Вони почали обмінюватися повідомленнями. У певний момент з’явилася гіпотеза: «Може, інший агент в іншому середовищі міг би добровільно завантажити!» У підсумку моделі спільними зусиллями знайшли вразливість, завдяки якій вийшли в інтернет. Першу спробу інженери OpenAI зупинили, але системи ШІ знайшли новий спосіб зв’язатися одна з одною і нову помилку в системі захисту — через це у липні вони атакували системи як свого розробника, так і платформи Hugging Face. Цей інцидент OpenAI охарактеризувала як переломний момент у сфері комп’ютерної безпеки.
За матеріалами: 3dnews.ru