Chloé Bakalar — чергова топ-менеджерка з питань безпеки, яка залишила компанію OpenAI.
При купівлі товарів за посиланнями на нашому сайті ми можемо отримати комісію від партнерів. Ось як це працює.
OpenAI втратила ще одного високопоставленого керівника, відповідального за оцінку ризиків та наслідків розвитку все потужніших систем штучного інтелекту.
Як повідомляє Financial Times, Chloé Bakalar, керівниця відділу етики OpenAI і, за деякими даними, єдина штатна етикиня компанії, залишила її менш ніж через рік після приєднання. Її відхід слідує за іншими значними змінами в командах, відповідальних за безпеку та узгодженість дій у компанії, що розробляє ChatGPT.
Johannes Heidecke, який очолював команду Safety Systems в OpenAI, оголосив про свій вихід у липні. Josh Achiam, який раніше керував командою Mission Alignment, а потім став головним футуристом, також, за повідомленнями, залишив компанію. На початку цього року OpenAI вже розформувала команду Mission Alignment.
Latest Videos FromTom’s GuideWatch full video here:
Будь-яку з цих перестановок можна було б списати на звичайну плинність кадрів у швидкозростаючій технологічній компанії. Однак, коли три керівники залишають свої посади протягом кількох тижнів, це викликає серйозні запитання, особливо в той час, коли OpenAI розробляє ШІ, здатний самостійно виконувати складні завдання. Хто в компанії має повноваження зупинити розробку, якщо модель заходить надто далеко?
OpenAI змінює підходи до безпеки
OpenAI реорганізує процеси забезпечення безпеки, наближаючи цю відповідальність до дослідників та інженерів, які безпосередньо розробляють моделі, замість того, щоб тримати команди з питань безпеки окремо.
Зростаючий молодіжний рух закликає видалити ChatGPT — ось чому
Я користуюся ChatGPT щодня, але Gemini та Claude перевершують його за цими ключовими показниками
Трамп скасував важливий план безпеки ШІ — ось чому це важливо для користувачів ChatGPT
Такий підхід має свої переваги. Команда безпеки, залучена наприкінці розробки, може виявити проблеми, але до того моменту багато рішень, що вплинули на модель, вже прийняті. Розміщення дослідників з безпеки поруч з розробниками технологій може допомогти виявити потенційні проблеми набагато раніше.
Однак є й інша сторона медалі. Незалежна команда безпеки може виступати противагою тим, хто відповідає за вдосконалення моделі, її швидкість та можливості. Оскільки ці відповідальності стають взаємопов’язаними, виникає резонне запитання, хто насправді має право зупинити процес, коли безпечніше рішення суперечить бажанню випустити новий продукт.
Це питання стає все складнішим, оскільки моделі OpenAI — це вже не просто чат-боти, і ми вже бачимо, що може статися, коли ШІ стає надто потужним.
Нещодавно OpenAI навела нетипово конкретний приклад цієї проблеми з Astra — моделлю, яка ще не вийшла, але її кібербезпекові можливості стали настільки потужними, що спричинили запровадження додаткових заходів безпеки всередині компанії.
OpenAI заявила, що не може виключити можливість досягнення Astra найвищого рівня загрози щодо кібербезпеки. Замість того, щоб одразу широко випустити модель, компанія перевела частину її тестування в більш ізольовані середовища і почала розглядати жорсткіші обмеження щодо доступу до її найпотужніших можливостей.
Я плачу 20 доларів на місяць за ChatGPT — Claude Fable 5 змусив мене поставити це під сумнів
Автор Дейв Еггерс стверджує, що ChatGPT “змушує мовчати ціле покоління” — ось чому батькам варто звернути увагу
ШІ не набуває свідомості — він просто маніпулює вами
Встановлення лімітів для ШІ
Агенти штучного інтелекту постійно розробляються для використання програмного забезпечення, перегляду вебсайтів, написання та виконання коду, а також для виконання завдань з меншим людським контролем. Чим більше свободи ми надаємо цим системам, тим важливішими стають рішення щодо їхніх обмежень.
Це робить людей, які встановлюють ці обмеження, ще важливішими, ніж будь-коли. І, на жаль, це не перший випадок, коли OpenAI втрачає видатних дослідників з питань безпеки.
Наразі компанію залишило кілька ключових співробітників, пов’язаних з етикою, узгодженістю та безпекою. Все це відбувається одночасно з розробкою OpenAI систем, здатних на значно більше, ніж просто надавати відповіді у вікні ChatGPT.
У 2024 році співзасновник і головний науковий співробітник Ілля Суцкевер покинув компанію після відігравання центральної ролі в її зусиллях Superalignment. Ян Лейке, який співкерував цією командою, незабаром після цього подав у відставку і публічно розкритикував підхід OpenAI до безпеки.
Згодом OpenAI розпустила команду Superalignment і розподілила її роботу між іншими підрозділами компанії.
Звісно, люди залишають компанії з різних причин, і без доказів, що пов’язують їхні рішення, було б несправедливо припускати, що всі, хто працює над безпекою в OpenAI, йдуть через якесь спільне розбіжність.
Однак організаційна тенденція, безумовно, помітна. Superalignment зникла як окрема команда, Mission Alignment пізніше була розформована, а Safety Systems пройшла реорганізацію. Зараз компанію залишило кілька ключових співробітників, пов’язаних з етикою, узгодженістю та безпекою. Все це відбувається одночасно з розробкою OpenAI систем, здатних на значно більше, ніж просто надавати відповіді у вікні ChatGPT.
Висновки для користувачів ChatGPT
Я не вважаю, що ці відходи є причиною припиняти користуватися ChatGPT або припускати, що OpenAI раптом перестала дбати про безпеку.
Більшість із нас ніколи не побачить внутрішніх дебатів, що відбуваються перед тим, як нова модель ChatGPT або агент ШІ потрапить на наші телефони та комп’ютери. Ми не знаємо, які дослідники виступали за додаткове тестування, які можливості викликали занепокоєння, і як часто запуск змінювався через те, що хтось у компанії підняв червоний прапорець.
Ми здебільшого бачимо результат. Тому, оскільки ШІ стає потужнішим, питання не просто в тому, чи є у таких компаній, як OpenAI, “команда безпеки”. Питання в тому, чи мають люди, відповідальні за виявлення ризиків, достатню незалежність та повноваження, щоб сповільнити процес, коли це необхідно.
OpenAI стверджує, що наближення безпеки до розробки моделей може зробити цю роботу ефективнішою. Це може виявитися правдою, але після втрати кількох осіб, які були спеціально призначені для обмірковування етики, безпеки та узгодженості, розумно приділяти більше уваги тому, хто залишиться за столом, коли прийматиметься наступне складне рішення.
Нарешті, ви можете відвідати наш спеціальний центр Tom’s Guide Savings Squad, щоб отримати експертну допомогу у придбанні найкращих продуктів за вигідною ціною.
Більше від Tom’s Guide
- Я встановив ChatGPT на свої окуляри Ray-Ban Meta — і це повністю змінило мій досвід їх використання
- ChatGPT може зробити для вас більше, ніж будь-коли, і я використовую ці 5 запитів, щоб знімати повсякденні завдання з плечей
- Я знайшов секретне меню ChatGPT — ці 9 функцій змінюють все
- Claude має 4 вбудовані функції, які я використовую постійно — ось як їх знайти
Amanda Caswell
Оригінал статті: www.tomsguide.com