Протягом місяців гіганти ШІ розробляли спеціальні перевірені програми та суворі обмеження, щоб запобігти використанню їхніх моделей зловмисниками. Однак ці запобіжники тепер заважають роботі легітимних захисників мереж, а також дослідників у сфері кібербезпеки, які займаються пошуком вразливостей.
У червні уряд США запровадив обмеження на експорт передових моделей ШІ від Anthropic — Mythos та Fable. Це рішення було частково зумовлене звітом, який стверджував, що можна обійти вбудовані в моделі захисні механізми, призначені для запобігання використанню ШІ для створення та здійснення зловмисних кібератак.
Незалежно від того, чи справді інцидент був мотивований побоюваннями щодо “втечі з-під контролю”, факт полягає в тому, що Anthropic неодноразово позиціонував Mythos як своєрідну “кібермашину судного дня”, яка може бути надана лише ретельно перевіреним користувачам, і то з жорсткими обмеженнями. (Експортні обмеження на Fable 5 та Mythos 5 з того часу були зняті. Fable 5 повернувся до загального доступу 1 липня; Mythos 5 був знову доступний лише для перевірених організацій США в рамках процесу перегляду урядом.)
Такий вибірковий підхід не є унікальним для Mythos. Як Anthropic з іншими своїми моделями, так і OpenAI пропонують дослідникам кібербезпеки програми, до яких можна подати заявку на перевірку та, у разі схвалення, отримати доступ до моделей із меншими обмеженнями: OpenAI’s Trusted Access for Cyber та Anthropic’s Cyber Verification Program.
Ці захисні механізми зазнали широкої критики, особливо з боку дослідників, чия робота полягає у виявленні невідомих вразливостей у системах та розробці способів їх експлуатації до того, як це зроблять зловмисники.
Під час нещодавньої появи в подкасті з кібербезпеки Марк Дауд, відомий дослідник безпеки, заявив: “Мені не зовсім комфортно, що ці випадкові великі компанії приймають довільні рішення щодо того, що є безпечним у сфері безпеки, а що ні”.
Дауд десятиліцями займався пошуком та продажем “нульових днів” — раніше невідомих програмних помилок та експлойтів, які їх використовують — західним урядам, а не повідомляв про них розробникам програмного забезпечення для виправлення. Уряди платять премію за вразливості саме тому, що вони залишаються відкритими, що корисно для розвідувальних операцій.
Дауд визнав, що його робота може бути упередженою, але він не самотній. Кілька осіб, які працюють у сфері наступальної кібербезпеки — вони проактивно шукають слабкі місця в системах — розповіли TechCrunch, як вони використовують інструменти ШІ та справляються з їхніми обмеженнями.
Кріс Енлі, головний науковий співробітник консалтингової компанії з безпеки NCC Group, зазначив, що прохання до моделі ШІ спробувати експлуатувати помилку є ключовим кроком у підтвердженні її реальної значущості для виправлення. Але якщо захисний механізм змушує модель відмовитися відповідати на запит, це шкодить захисникам, сказав він.
“Ось де виникає вся проблема наступу проти захисту та обмежень, адже “виправ цей код” як запит є як необхідним механізмом для захисту, так і дорожньою картою для пошуку критичних вразливостей у базі коду”, — сказав Енлі. “Отже, водночас, один і той самий інструмент є як наступальним, так і захисним, і ці два аспекти неможливо розділити”.
“Це як молоток”, — продовжив він. “Без молотка неможливо побудувати будинок. Це, безумовно, інструмент, але він також невід’ємно є і зброєю”.
Коли він та його колеги стикаються з такими перешкодами, вони іноді вдаються до використання відкритих моделей ШІ, які взагалі не мають жодних обмежень.
Паоло Станьо, технічний директор CrowdFense, відомої компанії, яка розробляє, отримує та продає невідомі вразливості державним установам, погодився з Даудом, заявивши, що компанії ШІ “по суті ставляться до клієнтів як до дітей, яким потрібен нагляд” зі своїми перевіреними програмами та обмеженнями.
Станьо зазначив, що вони з колегами використовують передові моделі, але лише для реверс-інжинірингу. Вони уникають використання ШІ для пошуку вразливостей або створення експлойтів, оскільки введення такої роботи в хмарну модель ризикує витоком конфіденційних даних про вразливості або їх поглинанням у майбутні тренувальні цикли. Для цього, сказав він, вони використовують моделі з відкритим кодом, які працюють локально, оскільки вони не потребують обміну даними поза моделлю.
Джузеппе Калі, дослідник безпеки, який знаходить нульові дні та розробляє експлойти, сказав, що обмеження не заважають його роботі. Це тому, що він не використовує ШІ для наступальної роботи; натомість він використовує його для початкового реверс-інжинірингу, для розуміння коду, який він аналізує, та для створення допоміжних інструментів. Для цього, сказав він, інструменти ШІ можуть прискорити процес і дозволити йому зосередитися на виявленні вразливостей.
“Я все ще хочу сам займатися виявленням багів та їх експлуатацією, і це не зміниться, навіть якщо всі обмеження будуть зняті завтра”, — сказав Калі. “Я ревниво ставлюся до своїх багів і занадто люблю цю гру, щоб дозволити моделям грати її за мене”.
Один дослідник з виробника компонентів для смартфонів, який побажав залишитися анонімним, оскільки не уповноважений спілкуватися з пресою, заявив, що його роботодавець не є учасником програми CVP від Anthropic, і в результаті їхні інструменти майже не корисні для пошуку вразливостей, оскільки обмеження надто суворі.
“Якщо він дізнається, що ми займаємося чимось, пов’язаним з безпекою, він просто зупиняється і стає непридатним для використання”, — сказав співрозмовник.
Кріс Томпсон — генеральний директор фірми з кібербезпеки RemoteThreat та засновник Offensive AI Con, заходу, присвяченого наступальній безпеці та ШІ — заявив, що, за його досвідом використання передових моделей ШІ, обмеження можуть бути непослідовними і працювати по-різному щодня. Це правда навіть у межах більш вільних програм Anthropic та OpenAI.
“Я думаю, що практичний вплив полягає в тому, що ви витрачаєте багато часу на переговори з моделлю, а не на роботу над основною програмою безпеки”, — сказав Томпсон. “Замість аналізу вразливості та міркувань щодо її експлуатації, ви намагаєтеся з’ясувати, чому ви отримуєте непослідовні результати або чому моделі надмірно “санують” вивід”.
Внаслідок цього дослідники покладаються на китайські моделі з відкритим кодом, такі як GLM — моделі, які можна безкоштовно завантажити та запускати локально без перевірки чи обмежень використання — сказав Томпсон.
“Ми маємо відповідальних дослідників, яких відштовхують від систем, керованих США, до систем, що належать іноземним компаніям”, — сказав він. “Я думаю, що ці запобіжники завдають більше шкоди, ніж користі”.
Замість подальшого посилення обмежень, Томпсон закликав передові лабораторії ШІ відкрити свої програми, надати відповідальний доступ, а також притягнути до відповідальності тих, хто зловживає їхніми інструментами. Інакше, стверджував він, захисники програють гонку ШІ.
“Наближається велика буря. Наближається величезна хвиля атак, яка відбудеться зі швидкістю та масштабом, яких ніколи раніше не було”, — сказав Томпсон. “Але ті самі консалтингові фірми з безпеки та легітимні дослідники, які намагаються щось змінити, зараз пригнічені”.
Коли ви купуєте за посиланнями в наших статтях, ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
Дізнатися більше на: techcrunch.com