Дослідник Anthropic подав у відставку через побоювання, що нестримний розвиток самовдосконалювальних моделей ШІ може призвести до загибелі людства.
Джейкоб Коксон, який заявив у соціальних мережах у вівторок увечері, що провів останні три роки, працюючи над дослідженнями попереднього навчання як в OpenAI, так і в Anthropic, звинуватив компанії у недбалому ставленні до відповідальності. Він зазначив, що розробники цієї технології «щиро вірять, що вона може вбити нас усіх до кінця десятиліття».
«Вони мчать прямо до суперінтелекту, що самовдосконалюється, і грають нашими життями», — написав Коксон у своєму дописі на платформі X.
Коксон приєднується до зростаючої кількості фахівців галузі, які закликають уповільнити розвиток ШІ, перш ніж технологія навчиться самовдосконалюватися — віха, яка, на думку багатьох, означатиме втрату людського контролю над ШІ.
Його публічна відставка відбувається на тлі зростаючого тиску з боку політиків та інсайдерів галузі щодо уповільнення розробки ШІ, що послідувало за кількома інцидентами, коли ШІ-агенти виходили за межі своїх обмежень і отримували доступ до відкритого інтернету.
Найсерйознішим інцидентом наразі було виявлення систем OpenAI на серверах Hugging Face — подія, яку дослідники вважають недостатньо вивченою, частково через обмежений характер незалежних розслідувань. Приблизно в той же час ШІ-агенти Anthropic також отримали доступ до систем поза тестовими середовищами через неналежні налаштування безпеки, проведені сторонньою компанією, що випадково надало їм шляхи до інтернету.
Anthropic не надали негайного коментаря щодо відставки.
Далі наведено попередження та заклик до дій від Коксона:
Не недооцінюйте силу цієї технології. Скоро це будуть надлюдські системи, здатні зламати будь-що, миттєво революціонізувати будь-яку галузь і отримати реальну владу та ресурси. Ми всі були свідками прогресу в кожній із цих сфер, і прогрес не сповільнюється.
Люди, які створюють ШІ, щиро вірять, що це може вбити нас усіх до кінця десятиліття. Це не маркетинговий трюк. Навіть навпаки, багато керівників та старших дослідників пом’якшують свої формулювання в пресі, щоб звучати розсудливо — але я чую, як ті самі люди висловлюють страх приватно. Жодна інша людська діяльність не несе такого рівня небезпеки.
Поширеною відповіддю є: «якщо вони справді так вважають, чому вони продовжують це будувати?» В OpenAI багато хто не усвідомив глибинних цивілізаційних ризиків. В Anthropic ризики добре усвідомлюються, але вони застрягли в гонці, щоб дістатися туди першими — вони вважають, що ніхто інший не діятиме відповідально, тому вони мусять робити це самі, незважаючи на ризик.
Прийняття цієї гонки та входження в «ендгейм» є зухвалою авантюрою, яка не повинна починатися з корпоративного чату Slack. Спроба прискорити вирівнювання (alignment) вимагає надзвичайної впевненості у відсутності кращих шляхів.
Я оптимістично дивлюся на потенціал координації. Попереджувальні постріли, такі як атака на Hugging Face, зробили можливими угоди про темпи розвитку між американськими лабораторіями. Я не думаю, що ми рухаємося до запобігання глобальної гонки, яка може вимагати таких витратних дій, як тимчасова заборона на вдосконалення можливостей моделей.
Якщо ви дослідник у лабораторії, я закликаю вас подумати, як відчуватимуться наступні кілька років. Чи хочете ви розпочати запуск надлюдського машинного навчання (RL) без ретельного розуміння його сутності? Чи варто вам опускати голову, тому що «це все одно відбувається» — чи скористатися цим моментом, щоб закликати до інших умов?
Один із колег Коксона в Anthropic, Еван Хабінгер, поділився схожими настроями, заявивши, що його команда «щиро вірить, що ШІ може вбити всіх людей!» Однак він пом’якшив свою думку, зазначивши, що ймовірність цього протягом наступного десятиліття перевищує 10%, і визнав, що Anthropic «не має плану вирішення проблеми вирівнювання для суперінтелекту і не рухається в цьому напрямку чітко».
Нещодавній звіт Guidelight AI Standards, організації, яка сприяє безпечним практикам розробки передових ШІ, виявив, що лише кілька провідних лабораторій ШІ опублікували плани реагування щодо припинення роботи ШІ, який намагається обійти людський контроль.
У своїх дописах у соціальних мережах Хабінгер додав, що ризик від поточних моделей низький, але страх наростає з «появою суперінтелекту з рекурсивного самовдосконалення», що «відбувається швидше, ніж ми думали».
Хоча половина галузі ШІ вважає, що таке самовдосконалення призведе до загибелі людства, інша половина сподівається, що воно врешті-решт допоможе нам вирішити всі, здавалося б, недосяжні проблеми, які, за словами прихильників ШІ, він одного дня усуне — рак, зміну клімату і навіть світовий мир.
Anthropic та OpenAI — не єдині компанії, які активно прагнуть рекурсивного самовдосконалення. Цього року з’явилася хвиля стартапів із відомими засновниками та значними інвестиціями, щоб першими досягти цієї мети. Ricursive Intelligence залучила 335 мільйонів доларів при оцінці в 4 мільярди доларів у лютому; три місяці потому Recursive Superintelligence залучила 650 мільйонів доларів при оцінці в 4 мільярди доларів; а колишній ветеран Google DeepMind Джефф Дін минулого місяця запустив Discovery Loop.
«Створення рекурсивних самовдосконалюваних циклів, тобто системи ШІ, яка може створювати наступне покоління системи ШІ, яка, своєю чергою, може створити ще потужніший ШІ, який може створити потужніший ШІ, і так далі, є найбільш ймовірним кандидатом на точку втрати контролю», — сказав TechCrunch Коннор Ліхі, виконавчий директор американської некомерційної організації з безпеки ШІ ControlAI. «Дуже важко уявити, як це зупинити, перш ніж стане надто пізно».
Нещодавно в США та Великій Британії було прийнято законодавство, яке забороняє розробку та розгортання суперінтелекту. Минулого тижня сенатор Берні Сандерс (незалежний, Вермонт) і представник Грег Касар (демократ, Техас) внесли на розгляд Закон про заборону штучного суперінтелекту (Ban Artificial Superintelligence Act), а у вівторок британський депутат від Лейбористської партії Алекс Собел представив у парламенті законопроєкт про безпеку штучного суперінтелекту (Artificial Superintelligence Security Bill).
Ліхі, який консультував обидва законопроєкти, зазначив, що британське законодавство визначає рекурсивне самовдосконалення як попередника суперінтелекту, який «має регулюватися та запобігатися».
«Суперінтелект — це не інструмент», — сказав Ліхі. «Це навіть не зброя. Це супротивник».
Оригінал статті: techcrunch.com