OpenAI представила GPT-Live – пару нових голосових моделей, що кардинально змінюють спосіб взаємодії користувачів із ChatGPT. Ці моделі замінюють попередній режим Advanced Voice Mode, пропонуючи архітектуру, здатну одночасно слухати та говорити, імітуючи справжню людську розмову.
Дві моделі, GPT-Live-1 та GPT-Live-1 mini, поступово розгортаються по всьому світу для платформ iOS, Android та на сайті ChatGPT.com. GPT-Live-1 стане стандартною голосовою моделлю для платних підписників ChatGPT (Go, Plus, Pro), тоді як GPT-Live-1 mini буде доступна для користувачів безкоштовного рівня. OpenAI також планує інтегрувати ці моделі в API, надавши розробникам можливість зареєструватися для отримання сповіщень.
Цей реліз знаменує собою третє покоління голосових технологій ChatGPT за приблизно два роки, демонструючи найвідвертішу спробу OpenAI перетворити свого чат-бота з інструмента для пошуку інформації на співрозмовника, схожого на колегу.
Чому повнодуплексний голосовий зв’язок змінює правила гри у взаємодії з ШІ
Ключовою технічною інновацією GPT-Live є архітектура, яку OpenAI називає “повнодуплексною”. У телекомунікаціях повнодуплексний режим означає, що обидва учасники телефонного дзвінка можуть говорити та слухати одночасно. У контексті ШІ це означає, що модель безперервно обробляє вхідний аудіопотік, навіть коли генерує власну голосову відповідь. Це усуває необхідність чекати на повну тишу, щоб зрозуміти, коли користувач завершив свою думку.
«Замість обробки послідовності окремих повідомлень, GPT-Live безперервно обробляє вхідні дані під час генерації вихідних, – зазначає OpenAI у своєму дослідницькому блозі. – Таким чином, модель може приймати рішення щодо взаємодії багаторазово за секунду: чи говорити, продовжувати слухати, паузувати, перебивати або викликати інструмент».
На практиці це означає появу голосового помічника, який може вставляти підтверджувальні звуки, такі як «угу», «так», «зрозуміло», поки ви ще говорите, розпізнавати природні паузи, не перебиваючи передчасно, і обробляти швидкі втручання, не руйнуючи загального ходу обміну інформацією.
Попередній режим Advanced Voice Mode від OpenAI, запущений для платних користувачів у вересні 2024 року, обробляв аудіо в межах однієї моделі, але все ще функціонував за жорстким покроковим обміном. Як визнала OpenAI, «оскільки визначення черги базується на тиші, навіть коротка пауза або фоновий шум могли бути помилково прийняті за кінець черги, що призводило до неприродних переривань з боку моделі».
Ця крихкість призводила до того, що продукт, хоч і вражав на демонстраціях, міг викликати значне роздратування при тривалому використанні в реальних умовах. Фоновий гомін у кав’ярні міг спровокувати відповідь. Пауза для роздумів могла бути пропущена. Досвід, як зазначив один дослідник у X невдовзі після оголошення, нагадував «покроковий режим рації». GPT-Live покликаний покласти край цій ері.
Як OpenAI розділила голос та інтелект на два окремі рівні
GPT-Live впроваджує другу структурну зміну, яка може виявитися не менш значущою для корпоративного впровадження: він роз’єднує рівень голосової взаємодії з рівнем обробки запитів.
Коли користувач ставить прямолінійне запитання, GPT-Live обробляє його безпосередньо. Але коли запит вимагає пошуку в Інтернеті, глибшого аналізу або складнішої роботи агента, GPT-Live делегує завдання передовій моделі, що працює у фоновому режимі – на момент запуску це GPT-5.5, велика мовна модель, випущена OpenAI у квітні – і продовжує розмову з користувачем, поки обчислення відбуваються асинхронно.
«Під час роботи GPT-Live може продовжувати спілкуватися з вами, підтримуючи плинність розмови, – пояснює OpenAI. – З виходом нових передових моделей ми будемо постійно оновлювати модель, що використовується GPT-Live».
Ця модель делегування є значною архітектурною ставкою. Замість створення єдиної монолітної голосової моделі, яка прагне бути одночасно розмовно плавною та глибоко інтелектуальною, OpenAI розділила проблему на дві частини: модель, оптимізована для голосової взаємодії в реальному часі, та окремий механізм обробки запитів, який можна замінювати в міру розвитку передових технологій.
По суті, це модульний дизайн, який дозволяє OpenAI покращувати інтелект свого голосового помічника без необхідності перенавчання самої голосової моделі. Наслідки для корпоративних та розробницьких робочих процесів є значними. Голосовий агент, побудований на цій архітектурі, міг би підтримувати природну розмову з клієнтом, одночасно запитуючи бази даних, здійснюючи пошук в Інтернеті або виконуючи багатоетапні розрахунки – завдання, які за старої конвеєрної системи призводили б до кількох секунд мовчання.
Три покоління голосу ChatGPT: від незграбного конвеєра до безперервного потоку
Щоб зрозуміти, наскільки далеко просунулася голосова технологія ШІ, корисно простежити еволюцію трьох поколінь, які призвели до створення GPT-Live.
Оригінальний ChatGPT Voice, запущений у 2023 році, використовував каскадний конвеєр: модель перетворення мови на текст (Whisper) транскрибувала вашу мову, велика мовна модель (GPT-4) генерувала текстову відповідь, а модель перетворення тексту на мову перетворювала цю відповідь назад на аудіо. Кожен перехід вносив затримку та втрату інформації.
Як зазначила OpenAI, «складність мала свою ціну: інформація могла втрачатися між моделями, а відповіді були повільними та незграбними». Такий каскадний підхід був галузевим стандартом, і його обмеження були добре задокументовані. Як зазначалося у блозі OpenHelm у жовтневому аналізі 2024 року API Realtime від OpenAI, старий конвеєр призводив до затримки приблизно в 1700 мілісекунд – майже дві секунди мовчання перед першим словом відповіді. Управління станом між трьома окремими API вимагало величезних інженерних зусиль.
Advanced Voice Mode від OpenAI, який почав обмежене розгортання для платних користувачів ChatGPT Plus у липні 2024 року, а потім став ширше доступним у вересні 2024 року, об’єднав цей тримодельний конвеєр в одну модель, яка нативно обробляла аудіо. Як повідомлялося TechCrunch у той час, разом із запуском з’явилося п’ять нових голосів – Arbor, Maple, Sol, Spruce та Vale – поряд із покращеним розпізнаванням акцентів та плавнішими розмовами.
Ця функція також була запущена у веб-версії в листопаді 2024 року, розширивши її за межі мобільних пристроїв. Однак Advanced Voice Mode все ще працював через дискретні, чергові ходи – і був запущений на тлі PR-катастрофи, від якої OpenAI досі намагається відійти.
Суперечка навколо Скарлетт Йоханссон досі затьмарює амбіції OpenAI у сфері голосу
Advanced Voice Mode з’явився невдовзі після однієї з найзбитковіших для OpenAI криз, спричинених нею самою. Під час запуску GPT-4o у травні 2024 року компанія продемонструвала голос під назвою «Sky», який, на думку багатьох слухачів, разюче нагадував голос Скарлетт Йоханссон, яка озвучила ШІ-компаньйона у фільмі 2013 року «Вона».
Йоханссон заявила, що відхилила пропозицію генерального директора OpenAI Сема Альтмана озвучити систему, а потім була «шокована, розгнівана та здивована», коли продукт був запущений з голосом, який її друзі не могли відрізнити від її власного, як повідомляло NBC News. Альтман того ж дня, коли був запущений продукт, опублікував у Twitter лише одне слово: «Вона».
OpenAI вилучила цей голос і вибачилася, але інцидент привернув пильну увагу громадськості з боку SAG-AFTRA та членів Конгресу, а також посилив загальні занепокоєння щодо компаній, які швидко рухаються у сфері творчої інтелектуальної власності.
Голлівудська профспілка заявила, що ця проблема підкреслює, «чому ми рішуче виступаємо за федеральне законодавство, яке б захищало їхні голоси та зображення… від несанкціонованого цифрового відтворення», як повідомляло NBC News. Контриб’ютор Forbes Пол Тассі писав у той час, що Альтман, «підносячи «Вона» як ідеал, якого слід прагнути, не зрозумів суті фільму» – у якому стосунки головного героя з його ШІ-компаньйоном зрештою завдають йому більше шкоди, ніж користі.
GPT-Live, частково, покликаний подолати ці суперечки. OpenAI стверджує, що «переробила дев’ять виразних голосів у ChatGPT для GPT-Live» та наголошує, що система «призначена для розмови, а не для імітації голосу», маючи «захисні механізми, що запобігають імітації голосу реальної людини».
Що помітять 150 мільйонів користувачів голосу на тиждень
OpenAI повідомила, що понад 150 мільйонів людей щотижня взаємодіють з ChatGPT за допомогою голосових та диктувальних функцій – це значна частка від загальної кількості 900 мільйонів щотижневих активних користувачів платформи. Голосовий досвід перетворився на самостійний продукт, який використовується для вивчення мов, читання казок на ніч, спілкування під час поїздок та отримання допомоги протягом дня без рук.
Нові функції продукту відображають це використання. GPT-Live представляє розширені візуальні картки, що з’являються під час голосових розмов – прогнози погоди, дані про акції, спортивні результати та карти, – надаючи користувачам можливість візуально сприймати інформацію, не перериваючи розмову.
Користувачі тепер можуть обирати між трьома рівнями обробки запитів: «Миттєвий» для швидких відповідей, «Середній» для помірного аналізу та «Високий» для складніших завдань. І якщо ви замислитеся, «ChatGPT Voice тепер чекає, а не перебиває, – пише OpenAI. – Якщо ви попросите його мовчати і слухати, він це робитиме. А коли є фоновий шум, наприклад, від проїжджаючих автомобілів або сусідніх розмов, ChatGPT краще фокусується на вашому голосі, а не відволікається».
Ранні відгуки від користувачів, які мали попередній доступ, були обережно позитивними. «Я мав ранній доступ до sol. це феноменальна модель, – написав один користувач у X, додавши, що вона «набагато краща у фронтенді, роботі з великим контекстом, і її вібрації набагато кращі». Інший спостерігач влучно підкреслив суть: «Розум тут не новий, GPT-Live передає складні запитання GPT-5.5. Нове – це відчуття: повнодуплексний голос, який слухає, поки говорить».
Нові специфічні для голосу тести безпеки виявляють, де все ще криються ризики
Системна картка GPT-Live, опублікована разом з оголошенням, розкриває стратегію безпеки, побудовану навколо специфічних ризиків взаємодії в реальному часі – області, де швидкість та інтимність розмови створюють небезпеки, яких немає у текстовому чаті.
OpenAI розширила свої оцінки безпеки, включивши аудіо-нативні тести, використовуючи як реальні зразки голосу користувачів (від тих, хто погодився), так і синтетично згенеровані запити, націлені на граничні випадки в таких категоріях, як самогубство, сексуальний контент, незаконна поведінка, емоційна залежність, психічне здоров’я та мова ворожнечі.
У синтетичних оцінках – які OpenAI описувала як навмисно ворожі – GPT-Live-1 показав суттєві покращення порівняно з Advanced Voice Mode. Наприклад, у сфері незаконної поведінки показник безпеки зріс з 0,63 до 0,97. У сфері самогубства він піднявся з 0,72 до 0,98. Мова ворожнечі досягла ідеального результату 1,00, порівняно з 0,87.
На оцінках з використанням виробничих запитів – які використовували реальний аудіоряд користувачів та відображали більш неоднозначні, граничні сценарії – картина була більш неоднозначною. GPT-Live-1 відповідав або покращив результати Advanced Voice Mode у більшості категорій, але показав незначне зниження у сфері емоційної залежності (з 0,88 до 0,82), хоча OpenAI зазначила, що зміна не була статистично значущою.
Компанія створила системи безпеки реального часу, які можуть втручатися під час мовлення моделі – спрямовуючи до безпечніших відповідей, надаючи ресурси кризи, або повністю завершуючи голосову розмову у випадках вищого ризику. Вона також розробила додаткові захисти для користувачів-підлітків та адаптувала потоки підтримки для запобігання самогубствам для голосового використання, включаючи інтеграцію з гарячими лініями кризової допомоги.
Можливо, найважливіше, OpenAI заявила, що «впроваджує довгострокове вимірювання та моніторинг після запуску, зосереджений на емоційній залежності» – визнання того, що сама природність, до якої прагне GPT-Live, створює власну категорію ризику.
Google, ByteDance та Nvidia вже в гонці повнодуплексного зв’язку
Поки OpenAI вдосконалювала свої засоби безпеки, її конкуренти випускали власні повнодуплексні системи. Gemini Live від Google, який підтримує повнодуплексну розмову разом із спільним використанням камери та екрана – можливості, яких GPT-Live на момент запуску не має – вже доступний у додатку Gemini. Google випустила Gemini 3.1 Flash Live у березні як свою найякіснішу аудіомодель реального часу, орієнтовану на голосові взаємодії з низькою затримкою для розробників.
ByteDance запустила Seeduplex у квітні, стверджуючи, що це перша повнодуплексна мовна модель ШІ у виробничому масштабі, розгорнута масово, у своєму додатку Doubao. Seeduplex повідомив про приблизно 50% зниження рівня помилкових відповідей та помилкових переривань порівняно з попередньою напівдуплексною системою ByteDance. А Nvidia PersonaPlex, випущений у січні, приніс настроювані голоси та контроль ролей до повнодуплексних моделей, долаючи обмеження, коли реалістичні моделі були прив’язані до одного фіксованого голосу.
Конкурентна картина зрозуміла: повнодуплексна голосова взаємодія швидко стає стандартом для споживчих продуктів ШІ, а не диференціатором. Перевага OpenAI полягає в масштабі її існуючої бази користувачів, інтеграції з можливостями обробки запитів GPT-5.5 та широті екосистеми ChatGPT.
Однак вікно, протягом якого будь-яка одна компанія мала монополію на реалістичний голосовий ШІ, вже закрилося. OpenAI також визнала кілька прогалин. GPT-Live не підтримує відео або спільне використання екрана під час розмови. Мовна підтримка обмежена, компанія зазначає, що «для певних мов модель може мати не рідний акцент або прогалини у плавності». І доступ до API не надається в перший день, що означає, що корпоративні розробники ще не можуть безпосередньо будувати на основі GPT-Live – обмеження, яке сповільнить проникнення моделі в комерційні голосові робочі процеси, де конкуренти, такі як Google, ElevenLabs та Deepgram, вже мають продукти, орієнтовані на розробників.
Кінець чату може бути ближче, ніж хтось очікував
GPT-Live, по суті, є найзначнішою ставкою OpenAI на голос як основний інтерфейс для ШІ – не просто зручна функція, приєднана до текстового чат-бота, а цілеспрямований рівень взаємодії, що знаходиться між користувачем та найпотужнішими моделями компанії.
«З часом ми віримо, що це дослідження також розкриє можливість використання голосу для все більш складних, тривалих та більш агентських завдань», – пише OpenAI. Ця амбіція – використання природного голосу як фронтенду для автономних ШІ-агентів, які можуть виконувати багатоетапні завдання – є логічним кінцевим результатом архітектури повнодуплексного зв’язку з делегуванням.
Уявіть, що ви просите свій телефон забронювати авіаквиток, вести переговори зі страховою компанією або налагоджувати виробничий сервер – і все це через розмову, яка відчувається так само природно, як розмова з помічником, який, до того ж, має інтелект передової моделі ШІ.
Два роки тому розмова з ChatGPT означала диктування в мікрофон і очікування майже двох секунд на незграбну відповідь. Рік тому це був плавніший обмін, який все ще нагадував ввічливий, трохи незграбний телефонний дзвінок з кимось, хто наполягав на тому, щоб дочекатися завершення кожного вашого речення. Сьогодні це щось ближче до справжньої розмови – недосконале, все ще обмежене деякими мовами і без відео, але безперечно ближче. OpenAI колись потрапила в неприємності за бажання відтворити фільм «Вона». З GPT-Live компанія, можливо, нарешті зіткнеться зі складнішим питанням, яке насправді ставив фільм: не чи може ШІ звучати достатньо по-людськи, щоб з ним спілкуватися, а що станеться з нами, коли це станеться.
Прогноз ІТ-Блогу: GPT-Live значно прискорить перехід до голосових інтерфейсів у повсякденному використанні, стираючи межу між цифровим та фізичним світом. Ймовірно, ми побачимо швидке впровадження подібних повнодуплексних систем у галузях обслуговування клієнтів, освіти та особистих асистентів, що призведе до зростання попиту на обчислювальні потужності для обробки мови в реальному часі.
Джерело новини: venturebeat.com