Антична компанія Anthropic виявила та заблокувала групу дослідників, чия поведінка під час використання її мовної моделі Claude викликала підозри у розробці біологічної зброї.
Компанія Anthropic повідомила, що цього року заблокувала кількох користувачів після виявлення дій, які здалися підозріло схожими на дослідження з розробки біологічної зброї. Однак, Anthropic не має підтвердження, що ці дослідники справді намагалися створити смертоносний патоген.
Просунута біологія має “подвійне використання” — дослідження, які можуть призвести до створення життєво важливої вакцини, потенційно можуть бути використані для чогось небезпечного. Проте, Anthropic помітила незвичну поведінку. Повідомляється, що дослідники обійшли географічні обмеження для доступу до Claude та вдалися до кроків, щоб приховати мету своєї роботи. Цього було достатньо, щоб Anthropic припинила надання послуг.
Як їм вдалося обійти захисні механізми Claude
Дослідники не зламували Claude у прямому сенсі. Натомість, Anthropic стверджує, що вони знайшли способи приховати як місце доступу, так і їхні кінцеві цілі.
-
AI gone wild: What recent ‘rogue AI’ really means -
Anthropic modeled what AI could do by 2030 — the economy gets 32% richer while workers get left behind -
Millions of books are reportedly being slaughtered to train AI — here’s what Anthropic told Tom’s Guide
В одному з випадків дослідник, як повідомляється, отримував доступ до Claude з регіону, який не підтримується, через віртуальну інфраструктуру, розташовану в США, та використовував автоматично згенерований обліковий запис. Anthropic також виявила, що запити до Claude надходили через платформу, яка обслуговує численних дослідників у галузі наук про життя, включно з вірусологами, пов’язаними як із цивільними, так і з військовими установами.
Дослідники також намагалися приховати мету своєї роботи, щоб не викликати спрацьовування захисних механізмів Claude. Це особливо складно виявити в галузі біології, оскільки окремий запит може виглядати цілком законним, навіть якщо він сприяє потенційно небезпечному загальному проєкту.
Один із випадків, як повідомляється, стосувався вченого, який звертався до Claude за допомогою у складанні грантової заявки для дослідження, що передбачало генетичну модифікацію вірусу чикунгунья для вивчення його характеристик, зокрема передаваності та ухилення від імунної відповіді. Це дослідження може мати законні наукові цілі, що саме тому Anthropic не змогла визначити, чи були кінцеві наміри дослідників доброякісними, чи зловмисними.
Незважаючи на це, Anthropic вирішила, що поєднання чутливих досліджень та спроб приховати діяльність є достатньою підставою для припинення роботи акаунтів.
Чому біологія є остаточним стрес-тестом
Штучний інтелект не може змішувати хімікати в чашці Петрі або створювати біологічну зброю за допомогою фізичного лабораторного обладнання. Але ШІ може виступати як прискорювач.
-
Anthropic ‘abruptly disables’ Fable 5 and Mythos 5 following US government order -
I connected NotebookLM and Claude — and built the ultimate AI research assistant -
‘We can find what Claude is thinking, but not telling us’: Anthropic’s AI has created its own brain space that emerged on its own without programming
Для людини, яка вже знає, як працювати в лабораторії, потужна модель може допомогти структурувати складні дослідження, аналізувати дані, вирішувати проблеми та заповнювати прогалини в технічних знаннях. Це дає людям усе необхідне, щоб полегшити та прискорити небезпечну роботу.
Це ставить компанії, що займаються розробкою ШІ, перед серйозною невизначеністю. Законний вчений і той, хто займається розробкою біологічної зброї, можуть ставити багато однакових запитань. І зловживання не завжди проявляється у вигляді одного очевидного запиту. Хтось може розділити великий проєкт на десятки завдань, які виглядають невинно, що ускладнює для системи безпеки розуміння загальної картини.
Крім того, існує проблема хибних спрацьовувань. Якщо зробити захисні механізми надто агресивними, є ризик заблокувати законні наукові дослідження. Якщо зробити їх надто дозвільними, небезпечна діяльність може залишитися непоміченою.
Усе зводиться до людських намірів
Важливо уточнити, що не сталося. Особливо після вчорашньої відставки Джейкоба Коксона з Anthropic, занепокоєння щодо ШІ досягло піку. Ми хвилюємося, що моделі вийдуть з-під контролю або автономні агенти діятимуть самостійно, але Claude не вийшов з-під контролю, і автономні агенти ШІ не почали самостійно розробляти біологічну зброю. Люди були за кермом.
Це робить ризик набагато ближчим. У цьому випадку занепокоєння викликає не те, що надрозумний ШІ раптом вирішить нашкодити людству. А те, що потужні моделі надають людям можливості, яких вони, можливо, не мали б інакше.
Для звичайних користувачів, які просять Claude писати електронні листи, узагальнювати документи чи писати код, нічого не змінюється. Але для індустрії гра змінилася.
Отже, що насправді можуть зробити компанії, що займаються розробкою ШІ?
Ідеального рішення тут немає. Блокування очевидних запитань працює лише тоді, коли користувач чітко розуміє, що він намагається зробити. Якщо користувач розбиває небезпечний проєкт на десятки запитів, що виглядають нешкідливо, компаніям, що займаються розробкою ШІ, потрібні захисні механізми, які можуть розпізнавати загальну картину, а не судити кожен запит ізольовано.
Це може означати пошук повторних спроб обійти обмеження безпеки моделі, моніторинг підозрілих шаблонів взаємодії та запровадження жорсткіших контролів щодо найпотужніших наукових можливостей. Компанії також можуть тестувати нові моделі перед випуском, щоб визначити, наскільки вони можуть допомогти людям з мінімальним досвідом проводити потенційно небезпечну біологічну роботу.
Але кожне додаткове захисне засобі має свої компроміси. Ті самі системи, що намагаються виявити розробку біологічної зброї, можуть також позначити дослідника, який проводить законну роботу. Саме тому розкриття інформації Anthropic настільки важливе. Наступний етап безпеки ШІ полягає у визначенні того, коли шаблон поведінки, що виглядає законним, стає настільки небезпечним, що компанія повинна втрутитися.
Більше від Tom’s Guide
- Gemini 3.8 Flash має одну головну перевагу над GPT-6 Astra та Claude Fable 5.1
- Meta щойно випустила ШІ, який може керувати вашим життям онлайн — ось що вміє Muse
- Anthropic змоделювала, що ШІ зможе зробити до 2030 року — економіка стане на 32% багатшою, а працівники залишаться позаду
Аманда Касвелл
Інформація підготовлена на основі матеріалів: www.tomsguide.com