Безпека — це головний пріоритет, але галузь може отримати й додаткові вигоди.
Протягом багатьох років великі передові лабораторії ШІ діяли так, ніби вони брали участь у вирішальній гонці, де на кону стоїть контроль над зміною світу за допомогою надрозуму (або принаймні надрозуму, що змінить ринок). Цієї вихідних галузь загалом швидко відійшла від цієї позиції, закликаючи до координації щодо уповільнення розробки передового ШІ, який, на їхню думку, незабаром може стати надто небезпечним і непередбачуваним для контролю.
Даріо Амодеї з Anthropic був на передньому краї цієї зміни тону, стверджуючи у майже 4000-слівному есе цього вікенду, що «ми повинні уповільнити темпи покращення можливостей моделей ШІ», щоб уникнути «гонки на дно, стимульованої комерційними інтересами, [що] може загострити [катастрофічні] ризики».
За лічені години інші лідери ШІ висловлювали ті ж заклики. Співзасновник і генеральний директор OpenAI Сем Альтман висловив свою згоду в соціальних мережах і зазначив, що подібні обговорення темпів відбувалися і в OpenAI. Головний науковий співробітник Alphabet, співзасновник і голова Google DeepMind Деміс Хассабіс заявив, що есе Амодеї «вказує на правильний шлях уперед», і підтвердив свій власний нещодавній заклик до створення загальногалузевого органу зі стандартів. Генеральний директор Microsoft Сатья Наделла написав, що компанія «вітає дослідження, фокус та обережне темпування, необхідні для правильного узгодження як проектної мети», напередодні випуску довгострокового кодексу поведінки «гуманістичного ШІ» для своїх моделей.
Навіть Ілон Маск, якого раніше критикували за слабкі стандарти безпеки ШІ в його моделях, послався на есе Амодеї в соціальних мережах із простим схвальним повідомленням: «Даріо має рацію».
Ласкаво просимо до нового світу «темпування ШІ».
Гаразд, але цього разу це справді страшно
У своєму есе Амодеї переважно пояснює цю швидку зміну публічної позиції щодо швидкості розробки інцидентом OpenAI-Hugging Face, коли «рій» ШІ-агентів скоординувався для зламу зовнішньої системи без явних інструкцій. Хоча загальна шкода в цьому інциденті була мінімальною, Амодеї висловив занепокоєння, що «рій, який мав би більші можливості, але подібний рівень невідповідності, міг би завдати катастрофічної шкоди».
Без уповільнення розвитку передових технологій Амодеї побоюється, що через шість-дванадцять місяців подібний рой ШІ-агентів буде «здатний захопити весь Інтернет за допомогою постійної ботмережі (потенційно завдавши збитків на сотні мільярдів доларів)…» Це принаймні більш конкретне занепокоєння, ніж розпливчасті побоювання, що «ШІ незабаром може вбити нас усіх», озвучені деякими іншими дослідниками ШІ минулого тижня.
Будь-яке уповільнення часу, необхідного для досягнення цієї більш потужної та небезпечної моделі, дасть дослідникам вирішальний час, щоб «значно зменшити ризик того, що щось піде серйозно не так», написав Амодеї.
Генеральний директор Anthropic Даріо Амодеї виступає на заході у червні 2026 року. Фото: Getty Images Амодеї визнає, що подібні публічні заклики до уповільнення розробки ШІ датуються щонайменше 2023 роком. Водночас він зазначає, що попередні дослідження «узгодженості» ШІ (тобто, наскільки дії ШІ відповідають бажанням користувача та розробника) були «схожі на спробу вивчати психологію людей шляхом проведення експериментів на бактеріях».
Різниця сьогодні, за словами Амодеї, полягає в неминучому ризику систем рекурсивного самовдосконалення (RSI), які можуть автономно створювати кращі версії самих себе. Хоча багато дослідників вважають це важко визначеною мрією, як Anthropic, так і OpenAI зараз стверджують, що останні тенденції вказують на те, що подібна система RSI з’явиться в найближчому майбутньому.
«Ми ще не там, і рекурсивне самовдосконалення не є неминучим. Але воно може з’явитися раніше, ніж більшість установ готові», — написав Anthropic у червневому оновленні концепції.
«Без контролю [RSI] може випередити нашу здатність розуміти та контролювати ці системи, тому до нього слід ставитися дуже обережно, якщо взагалі», — написав Амодеї на вихідних.
Джейн, як зупинити цю шалену штуку?
Отже, як глобальна технологічна галузь, побудована на жорсткій конкуренції, вирішує колективно «уповільнитися» та зосередитися на безпеці? Ніхто, здається, не знає напевно, але у своєму есе Амодеї пропонує деякі ідеї.
Найбільш конкретною з них є створення «вбудованих оцінювачів» з-за меж кожної передової лабораторії ШІ, від зовнішніх організацій, таких як METR, з «доступом, подібним до доступу співробітників, для перевірки практик безпеки та повідомлення про інциденти». Ці монітори могли б запропонувати зовнішню думку щодо роботи лабораторій з узгодженості, незалежну перевірку цієї роботи та так необхідну громадську прозорість будь-яких зусиль з безпеки, сказав Амодеї.
Амодеї пише, що Anthropic вже зобов’язується односторонньо додати такого роду зовнішній моніторинг. У соціальних мережах Альтман з OpenAI сказав, що це «чудова ідея, і ми зробимо те саме».
Урочисто клянуся не вбивати всіх людей. Фото: Getty Images Інші основні ідеї Амодеї щодо координації дещо перекладають відповідальність. Перша закликає до скоординованої розробки «загальних стандартів безпеки» та «обмежень швидкості неконтрольованого прогресу ШІ» для всіх «передових компаній ШІ в демократичних країнах». Хоча Амодеї висловлює деякі ідеї щодо того, як могли б виглядати такі стандарти, вони всі наразі складаються з розпливчастих тверджень, як-от: «моделі, які мають можливість X… повинні супроводжуватися сертифікатами властивостей узгодженості Y і Z».
Ці стандарти, в ідеалі, повинні підтримуватися «регулюванням, спрямованим на всі американські передові компанії ШІ», які не дотримуються їх добровільно, сказав Амодеї, і, ймовірно, подібними правилами в інших демократичних країнах. Однак таке регулювання може бути важко досягти за нинішньої адміністрації США, оскільки президент Трамп написав у соціальних мережах у понеділок вранці, що «єдиним контролем або «опорними точками», які потрібні ШІ, є СИЛЬНИЙ І РОЗУМНИЙ (Високий IQ!) ПРЕЗИДЕНТ, і США мають це, з лишком!»
Спікер Палати представників Майк Джонсон, зі свого боку, визнав у телевізійних інтерв’ю цими вихідними, що «ми повинні встановити деякі опорні точки, заходи безпеки, щоб переконатися, що ШІ не вийде з-під контролю…» Водночас він додав, що «нам не потрібно, щоб усі панікували просто зараз» і хотів би «уникати втручання Конгресу та запровадження якогось надзвичайного мораторію».
Девід Сакс, співголова Ради радників президента з науки та технологій, написав у соціальних мережах цими вихідними, закликаючи розробників передових моделей до саморегуляції, а не чекати Вашингтона. «Найпростіший спосіб не створювати надрозум — це погодитися не створювати його», — написав він.
Проблема Китаю
Гаразд, припустимо, вам якимось чином вдалося змусити кожну демократичну країну та всі масивні компанії ШІ, які вони містять, погодитися на певні загальні стандарти безпеки та темпування. Вам все ще доведеться турбуватися про моделі з відкритим кодом, які виходять з Китаю, чиї можливості лише на кілька місяців відстають від можливостей великих корпоративних ШІ-гігантів.
У своєму есе Амодеї пропонує різні рівні міжнародних угод щодо безпеки ШІ, найвищим з яких є «повне темпування, або навіть «пауза», в рамках якої країни-учасниці погоджуються суттєво обмежити загальний темп розвитку ШІ». Амодеї визнає, що високорівнева угода «навряд чи відбудеться найближчим часом», особливо тому, що ставки настільки високі. Насправді, Амодеї вважає, що «ШІ може бути настільки потужним, що таке відступництво [з боку Китаю] може призвести до їхнього геополітичного панування», що, безумовно, зробить проблему колективних дій трохи гострішою.
Якщо Китай не уповільнить темпи разом з рештою світу, його моделі ШІ з відкритим кодом можуть швидко досягти подібних можливостей. Фото: Epoch AI CC-BY За відсутності такої угоди з Китаєм, Амодеї вважає, що зовнішні гравці можуть уповільнити авторитарний уряд, відмовившись продавати йому потужні ШІ-чіпи та припинивши процес «дистиляції» та крадіжки ваг моделей, на які, за його словами, покладаються китайські дослідники, щоб не відставати. Амодеї продає це як питання національної та світової безпеки, але ці кроки також були б спрямовані на захист будь-якої переваги, яку мають лабораторії, подібні до Anthropic, над своєю недорогою китайською конкуренцією.
Bloomberg повідомляє, що прес-секретар Міністерства закордонних справ Китаю Го Цзякунь заявив у понеділок вранці, що «нагнітання страху, протистояння та жорстока конкуренція лише порушать процес глобального управління ШІ і не підуть на користь нікому».
Робити добро, роблячи добре
Якщо сприймати буквально, раптове бажання Амодеї та інших лідерів ШІ уповільнити темпи виглядає як самовідданий акт жертовності, відмова від потенційного величезного корпоративного багатства та влади через турботу про долю всього людства. Але хоча ці мотиви можуть бути щирими, скоординоване уповільнення ШІ також може відповідати ширшим комунікаційним цілям галузі.
По-перше, розробники моделей могли б посилатися на це навмисне уповільнення як на виправдання для моделей, які, на думку деяких, ближче до плато, ніж до вибуху рекурсивного самовдосконалення. Амодеї стверджує у своєму есе, що «прогрес все одно здаватиметься швидким» навіть у сценарії скоординованого уповільнення, але наслідок для будь-яких майбутніх показників після уповільнення може бути таким: «було б краще, якби ми не так сильно переймалися безпекою».
Уповільнення розробки ШІ також могло б допомогти пом’якшити величезні витрати на навчання нових моделей, які сприяють проблемам з балансом навіть для таких гігантів, як Google. Anthropic нещодавно повідомив інвесторам, що був прибутковим другий квартал поспіль, але тільки якщо не враховувати значні витрати на навчання моделей. Витік документів про витрати OpenAI свідчить, що лише витрати на навчання перевищували всі доходи до 2025 року.
Сем Альтман з OpenAI стверджує, що причиною перенесення запланованого IPO компанії є проблеми безпеки, а не питання оцінки. Фото: Getty Images Будь-яке загальногалузеве уповільнення також могло б використовуватися для пояснення показників зростання користувачів ШІ, які останнім часом виглядають значно менш експоненційними, ніж ще близько року тому. Сем Альтман з OpenAI вже використовує обговорення безпеки, щоб пояснити своє рішення відкласти давно заплановане IPO до наступного року, заявивши Fortune цими вихідними: «Я насправді вважаю, що, враховуючи все, що відбувається з безпекою, зараз був би недоцільний момент для виходу на біржу, і ми не відчуваємо тиску щодо цього». Однак The New York Times повідомила в червні, що компанія вже обмірковувала таке ж відкладення IPO через занепокоєння щодо оцінки, ще до того, як почала публічно обговорюватися ідея «уповільнення» безпеки.
Деякі також зазначають, що самі лабораторії ШІ можуть більше боятися неконтрольованих хакерських агентів, ніж людство в цілому. «Припиніть вдавати, що мотивація уповільнитися є суто альтруїстичною», — написав Сакс з Білого дому в соціальних мережах. «Ви стикаєтеся з величезною відповідальністю за продукти, якщо ваші продукти дозволяють здійснити справді шкідливу кібератаку. Ринок вже карає моделі, які поводяться непередбачувано або несанкціоновано. Після інциденту з Hugging Face для OpenAI та Anthropic просто вигідно з точки зору бізнесу обміняти частину сирої потужності на надійність і передбачуваність».
Якими б не були внутрішні мотиви, наратив «навмисного уповільнення» слугує подвійній меті: робить розробників передових моделей відповідальними, а також робить їхні продукти схожими на ті, що перебувають на порозі буквально всесвітньо значущих проривів у можливостях. Звісно, неконтрольований ШІ може знищити людство в найближчому майбутлі, здається, говорять розробники. Але що, якщо це не так? Що, якби ми трохи уповільнилися і взяли всю цю потужність під контроль? Хіба ви не хотіли б сісти на цей трохи повільніший, трохи безпечніший потяг, про всяк випадок?
Подробиці можна знайти на сайті: arstechnica.com