Слухайте наApple PodcastsСлухайте наSpotify
Генеральний директор OpenAI Сем Альтман нещодавно заявив, що, можливо, настав час «відрегулювати темпи розвитку ШІ», щоб суспільство могло «загартуватися навколо деяких із цих нових рівнів можливостей».
У найновішому випуску подкасту TechCrunch «Equity» Кірстен Коросек, Шон О’Кейн і я обговорили, що коментарі Альтмана, ймовірно, були спричинені нещодавнім зламом, під час якого агент OpenAI проник у системи Hugging Face. Шон зазначив, що хоча злам, здійснений агентом ШІ, є новим, сам по собі злам не був «чимсь новим та передовим».
«Це було більше схоже на те, як люди Ніксона зламали Вотергейт, аніж на якусь справді скритну кібероперацію, тому що це не було необхідно, і йому не було такої вказівки», — сказав Шон. «Сподіваюся, це знак того, що ці компанії візьмуть це до уваги та будуть обережнішими щодо таких речей».
Коментарі Альтмана також дали мені можливість замислитися над корисністю всієї дискусії про прискорення проти уповільнення, тому що (так, я зараз процитую себе) формулювання «ніби припускає, що існує лише один шлях» і «все, що ми можемо вирішити — наскільки ми взагалі можемо вирішувати — це, чи прискорюємося ми, чи уповільнюємося?»
Продовжуйте читати, щоб отримати попередній перегляд нашої розмови, відредагованої за довжиною та чіткістю.
Шон О’Кейн: Можливо, ми нарешті досягли переломного моменту. Я думаю, що великим поштовхом до цього є те, що ми обговорювали минулого тижня: одна з моделей OpenAI зламала дані Hugging Face і, очевидно, проникла ще в кілька місць в інтернеті.
[Альтман] не закликає до паузи, як ми бачили, що деякі люди в технологічній індустрії намагалися зробити в минулому. Він був дуже обережний у своїх словах, сказавши: «Відрегулювати темпи». І ми побачимо, як це спрацює. Будь-яка обережність, яку деякі з цих лабораторій виявляють, часто скасовується, коли стимули штовхають їх вперед, щоб відновити повний хід. Тому я залишаюся скептиком, великий сюрприз.
Кірстен Коросек: Зараз я скажу так: [Альтман] міг бути обережним у словах, але OpenAI та Anthropic [підтримали] петицію, яка відображає те, про що він говорив.
І я згодна з вами, я думаю, що багато чого було викликано саме Hugging Face. Це, ймовірно, налякало його і, безумовно, багатьох людей у галузі. Складнощі полягають у тому, як знайти баланс або як OpenAI знайде баланс між продовженням генерації доходу, залученням коштів або успішним IPO та, цитуючи «відрегулюванням розвитку».
Я не знаю, чи зможуть вони це зробити. Мені буде цікаво побачити, чи вдасться їм досягти обох цілей.
Ентоні Ха: Одна з речей, над якою я також розмірковував, це питання: чи є прискорення [проти] уповільнення правильним підходом для роздумів? Тому що це ніби припускає, що існує лише один шлях, і ми всі застрягли на цьому шляху. Все, що ми можемо вирішити — наскільки ми взагалі можемо вирішувати — це, чи прискорюємося ми, чи уповільнюємося? На відміну від — знову ж таки, я буду справді мучити цю метафору — але чи будуємо ми різні захисні бар’єри? Чи обираємо різні шляхи?
Я дуже чиню опір цьому підходу. На відміну від того, щоб сказати: «Гаразд, якщо нас не влаштовує те, що зараз роблять моделі, що ще ми можемо зробити? Чи є уповільнення, пауза, зупинка єдиним варіантом?» І я не думаю, що це так.
Одна річ, яку я хотів би ще раз підкреслити, тому що було справді цікаво спостерігати за рівнем тривоги навколо цього — це відчуття: «Що, якщо у нас будуть ці автономні агенти та моделі, які просто бігають, зламуючи один одного, намагаючись запобігти злам, і це все виходить з-під нашого контролю», що призводить до всіх цих ширших дебатів про узгодженість, про які Ребекка Белан написала чудову статтю.
Але варто повернутися до одного з пунктів, про які ми також писали в TechCrunch, що цей конкретний злам — так, він був спричинений моделлю OpenAI, але схоже, що вони просто належним чином не захистили тестовий майданчик. Теоретично, ця модель не мала б змоги вийти в інтернет. Тепер, звісно, якщо у вас є потужний неузгоджений ШІ, ризики людських помилок драматично зростають. Але це починається просто з того факту, що вони не захистили речі так, як мали б.
Шон: Я думаю, ви маєте рацію. Я думаю, ваш пункт цілком обґрунтований у тому сенсі, що ми не повинні думати про це лише в лінійній манері та про те, чи прискорюються, чи уповільнюються події. Багато чого можна і слід сказати про те, наскільки відповідально поводяться ці компанії. Лоренцо, один із наших колег, також написав справді гарну статтю, пояснюючи, наскільки серйозно, на думку серйозних дослідників безпеки, які уважно стежать за цими питаннями, був цей злам. Справді здається, що з обох сторін цього зламу були кроки, які, ймовірно, слід було зробити, і які б запобігли йому.
І одне з найцікавіших, що я знайшов у цій історії, це те, що деякі дослідники зазначали, що те, що зробила ця модель, не було чимось новим та передовим. Вона справді була дуже людською у своєму мисленні щодо спроби зламати, спроби — не антропоморфізуючи — але у своєму мисленні щодо зламу Hugging Face, і що вона також була дуже гучною та хаотичною, і насправді не намагалася приховати свої сліди. Це було більше схоже на те, як люди Ніксона зламали Вотергейт, аніж на якусь справді скритну кібероперацію, тому що це не було необхідно, і йому не було такої вказівки.
Цього мало б бути легше запобігти. І сподіваюся, це знак того, що ці компанії візьмуть це до уваги та будуть обережнішими щодо таких речей.
Я скажу ще одне щодо дебатів про прискорення проти уповільнення. Я не знаю, чи це мотивація, але ви згадали IPO, Кірстен. Я думаю, що це розумно з боку Альтмана, що він може використати цю перевагу, яка у них є зараз, а саме те, що [OpenAI] не виходить на ринки наступного місяця або через два місяці. Він навіть висунув ідею виходу на ринок у 2027 році, і що вони лише подали конфіденційну заявку, щоб мати опцію готовою, коли вони будуть готові.
Отже, якщо ви вірите всьому цьому, він має можливість говорити це, чого не може робити Anthropic, тому що Anthropic вже спілкується з багатьма банкірами і прямує до більш близького IPO, і тому більш обмежений у тому, що він може сказати, як він має це говорити, і як ринок відреагує на це.
Коли ви купуєте за посиланнями в наших статтях, ми можемо отримати невелику комісію. Це не впливає на нашу редакційну незалежність.
Дізнатися більше на: techcrunch.com