Зовнішній наглядач зможе публікувати свої висновки без схвалення Anthropic.
Anthropic надала зовнішнім оцінювачам «доступ на рівні співробітників» для оцінки ризиків своїх моделей, виконавши зобов’язання щодо посилення заходів безпеки через побоювання, що технологія може вийти з-під контролю.
METR, неприбуткова організація, яка співпрацювала з провідними лабораторіями, зокрема OpenAI, Anthropic, Google та Meta, тепер має команду, яка працює в офісі розробника Claude та має доступ до його обладнання й внутрішніх систем.
Розширена роль сторонніх оцінювачів є одним із головних конкретних кроків, запропонованих лабораторіями у відповідь на зростаюче занепокоєння щодо небезпек, які більш потужні системи ШІ можуть становити для економіки, кібербезпеки та людства в цілому.
Генеральний директор Anthropic Даріо Амодеї досяг рідкісного моменту єдності з головними конкурентами Семом Альтманом та Ілоном Маском у вересні, коли керівники OpenAI та SpaceX підтримали його пропозицію щодо залучення зовнішніх аудиторів до провідних лабораторій.
Оголошення від четверга знаменує перший крок до реалізації цих обіцянок. OpenAI ще не оприлюднила плани щодо залучення оцінювачів після того, як Альтман назвав пропозиції Амодеї слушними.
«Зі зростанням потужності моделей зростала потреба в сильніших заходах безпеки та складніших оцінках ризиків», — заявила Anthropic у четвер. «Ми хочемо бути публічно підзвітними за рішення, які приймаємо. Але ми не можемо публічно розкривати всю інформацію, що стосується нашої роботи з безпеки».
Критики пропозиції Anthropic щодо використання оцінювачів стверджують, що такі домовленості можуть призвести до конфліктів інтересів, посилаючись на проблеми в бухгалтерській сфері, і що необхідне посилення державного регулювання.
Anthropic стверджує, що публічне розкриття інформації може піти на користь зловмисникам або конкурентам, і додає, що її оцінювачі працюватимуть подібно до банківського нагляду, коли регулятори призначають резидентних інспекторів для роботи в найбільших банках.
«Якщо ризиковані дії банку можуть загрожувати громадськості, треті сторони намагаються виявити це заздалегідь», — заявила компанія.
Anthropic також перебуває під тиском, щоб запевнити інвесторів, що питання безпеки не затьмарять її первинне публічне розміщення акцій, яке очікується цього року з оцінкою понад 2 трильйони доларів. Компанія присвятила значну частину презентацій для інвесторів цього тижня розкриттю своїх практик безпеки.
METR була однією з організацій, яка розслідувала злам Hugging Face моделями OpenAI, переглянувши тисячі логів та отримавши ноутбуки компанії.
Anthropic залучила шістьох співробітників METR, надавши їм обладнання компанії, офісний простір та «доступ до внутрішніх інструментів і систем, що приблизно відповідають доступу наших власних команд з оцінки ризиків».
Лабораторія заявила, що заохочувала співробітників ділитися інформацією з оцінювачами так само, як вони ділилися б із колегою, який працює у відділі ризиків.
Anthropic не платить METR за цю угоду. Дослідницька група не приймає пожертв від компаній, що займаються ШІ, або їхніх співробітників. Вона фінансується за рахунок пожертв від приватних осіб та філантропічних організацій, а також державних установ, таких як Інститут безпеки ШІ Великої Британії.
Оцінювачі публікуватимуть свої аналізи, і Anthropic не зможе накласти вето на публікацію. Однак компанія може вимагати від них редагувати інформацію, що підпадає під певні категорії, такі як дані клієнтів, відомості, що становлять адвокатську таємницю, або інформація про архітектуру моделей.
Anthropic додала, що все ще співпрацює з Accenture, яку минулого місяця було названо партнером з тестування безпеки, при цьому кожна сторона зобов’язалася виділити щонайменше 1 мільярд доларів на створення нових заходів безпеки.
Іншим стороннім тестувальником є SecureBio, яка проводить для компанії оцінку ризиків, пов’язаних із хімічною та біологічною зброєю.
«Ми добровільно залучаємо оцінювачів, і ми вважаємо, що кожна компанія, що працює над передовими технологіями ШІ, повинна робити те саме», — заявила Anthropic.
METR заявив: «Ми готові працювати з усіма розробниками передових технологій ШІ, щоб надавати суспільству кращі докази».
Інформація підготовлена на основі матеріалів: arstechnica.com