OpenAI у четвер презентувала GPT-5.3-Codex-Spark — оптимізовану версію моделі для програмування, що забезпечує майже миттєве реагування. Це перше значне партнерство компанії для виведення моделей у реальному часі поза межами традиційної інфраструктури, що значною мірою залежить від Nvidia. Модель працює на обладнанні від Cerebras Systems, каліфорнійського розробника чипів, чиї великоформатні процесори оптимізовані для завдань ШІ з низькою затримкою.
Ця співпраця відбувається у вирішальний момент для OpenAI. Компанія стикається з напруженими стосунками з давнім постачальником чіпів Nvidia, зростаючою критикою щодо впровадження реклами в ChatGPT, нещодавнім контрактом з Пентагоном, а також внутрішніми реорганізаціями, зокрема розпуском команди з безпеки та протестами окремих дослідників.
“Графічні процесори залишаються основою наших конвеєрів для навчання та виведення моделей, забезпечуючи найефективніші токени для широкого використання”, — повідомив представник OpenAI виданню VentureBeat. “Cerebras доповнює цю основу, виступаючи експертом у робочих процесах, що вимагають надзвичайно низької затримки, звужуючи загальний цикл для покращення швидкості відгуку таких застосувань, як кодування в реальному часі в Codex, під час ітерацій”.
Ретельно підібрані формулювання — підкреслення того, що GPU “залишаються основою”, водночас позиціонуючи Cerebras як “доповнення” — демонструють делікатний баланс, якого OpenAI прагне досягти, диверсифікуючи постачальників чіпів, не викликаючи невдоволення Nvidia, лідера у сфері прискорювачів ШІ.
Збільшення швидкості відбувається ціною компромісів у можливостях, на які, за словами OpenAI, погодяться розробники
Codex-Spark — це перша модель OpenAI, спеціально розроблена для спільної роботи над кодом у реальному часі. Компанія стверджує, що модель генерує понад 1000 токенів за секунду при роботі на обладнанні з наднизькою затримкою, хоча й відмовилася надати конкретні показники затримки, такі як час до першого токена.
“Ми не можемо розкрити конкретні цифри затримки, проте Codex-Spark оптимізовано для майже миттєвої роботи — генерації понад 1000 токенів за секунду, залишаючись високопродуктивним для реальних завдань програмування”, — зазначив представник OpenAI.
Підвищення швидкості досягається за рахунок певних компромісів у можливостях. За результатами тестування на SWE-Bench Pro та Terminal-Bench 2.0 — двох галузевих бенчмарках, що оцінюють здатність систем ШІ автономно виконувати складні завдання програмної інженерії — Codex-Spark поступається повноцінній моделі GPT-5.3-Codex. OpenAI вважає цей обмін прийнятним: розробники отримують відповіді достатньо швидко, щоб підтримувати творчий потік, навіть якщо базова модель не може вирішувати найскладніші багатоетапні завдання програмування.
Модель оснащена вікном контексту на 128 000 токенів і підтримує лише текст — без зображень чи мультимодальних вхідних даних. OpenAI надала до неї доступ у режимі попереднього перегляду для підписників ChatGPT Pro через застосунок Codex, інтерфейс командного рядка та розширення для Visual Studio Code. Невелика група корпоративних партнерів отримає доступ до API для оцінки можливостей інтеграції.
“Ми надаємо доступ до Codex-Spark через API для невеликої кількості партнерів-розробників, щоб зрозуміти, як розробники хочуть інтегрувати Codex-Spark у свої продукти”, — пояснив речник. “Ми розширимо доступ протягом наступних тижнів, продовжуючи налагоджувати інтеграцію під час реальних навантажень”.
Обладнання Cerebras усуває вузькі місця, що гальмують традиційні кластери GPU
Технічна архітектура Codex-Spark демонструє економічні аспекти роботи моделей, які стають все більш важливими для компаній, що масштабують свої продукти для споживачів. Wafer Scale Engine 3 від Cerebras — єдиний чіп розміром приблизно з обідню тарілку, що містить 4 трильйони транзисторів — усуває значну частину накладних витрат на зв’язок, які виникають, коли завдання ШІ розподіляються між кластерами менших процесорів.
Для навчання великих моделей такий розподілений підхід залишається необхідним, і GPU від Nvidia чудово справляються з цим. Але для виведення моделей (inference) — процесу генерації відповідей на запити користувачів — Cerebras стверджує, що її архітектура може забезпечити результати зі значно меншою затримкою. Шон Лі, технічний директор та співзасновник Cerebras, розглядає партнерство як можливість змінити спосіб взаємодії розробників із системами ШІ.
“Найбільше, що нас захоплює в GPT-5.3-Codex-Spark, — це співпраця з OpenAI та спільнотою розробників для виявлення можливостей, які надає швидке виведення моделей: нові моделі взаємодії, нові випадки використання та принципово інший досвід роботи з моделями”, — заявив Лі. “Цей попередній перегляд — лише початок”.
Команда інфраструктури OpenAI не обмежила оптимізаційну роботу лише обладнанням Cerebras. Компанія оголосила про покращення затримки у всьому своєму стеку виведення, що приносить користь усім моделям Codex незалежно від базового обладнання, включаючи постійні WebSocket-з’єднання та оптимізації в межах Responses API. Результат: 80% скорочення накладних витрат на один цикл зв’язку клієнта-сервера, 30% скорочення накладних витрат на токен та 50% скорочення часу до першого токена.
Мегаугода на 100 мільярдів доларів з Nvidia тихо зірвалася за лаштунками
Партнерство з Cerebras набуває додаткового значення, враховуючи складні стосунки між OpenAI та Nvidia. Минулої осені, коли OpenAI анонсувала свою інфраструктурну ініціативу Stargate, Nvidia публічно зобов’язалася інвестувати 100 мільярдів доларів для підтримки OpenAI у розбудові ШІ-інфраструктури. Ця заява, здавалося, закріпила стратегічний альянс між найціннішою компанією у сфері ШІ та її домінуючим постачальником чіпів.
Через п’ять місяців, за численними повідомленнями, ця мегаугода фактично зупинилася. Генеральний директор Nvidia Дженсен Хуанг публічно заперечував наявність напруженості, заявивши журналістам наприкінці січня, що “немає драми” і Nvidia залишається відданою участі у поточному раунді фінансування OpenAI. Однак стосунки помітно охололи, а тертя виникли з кількох причин.
OpenAI активно шукає партнерства з альтернативними постачальниками чіпів, включаючи угоду з Cerebras та окремі домовленості з AMD і Broadcom. З точки зору Nvidia, OpenAI може використовувати свій вплив для комерціалізації саме того обладнання, яке сприяло її проривам у галузі ШІ. З точки зору OpenAI, зменшення залежності від одного постачальника є розумною бізнес-стратегією.
“Ми продовжуватимемо працювати з екосистемою над оцінкою чіпів з найкращим співвідношенням ціни та продуктивності для всіх випадків використання на постійній основі”, — заявив речник OpenAI. “GPU залишаються нашим пріоритетом для випадків використання, чутливих до витрат і орієнтованих на пропускну здатність, як у дослідженнях, так і у виведенні моделей”. Це твердження читається як обережна спроба уникнути роздратування Nvidia, зберігаючи при цьому гнучкість, і відображає ширшу реальність того, що навчання передових моделей ШІ все ще вимагає саме такого масивного паралельного оброблення, яке забезпечують GPU Nvidia.
Розпущене команди з безпеки та відхід дослідників викликають питання щодо пріоритетів OpenAI
Запуск Codex-Spark відбувається на тлі внутрішніх викликів OpenAI, які посилили пильну увагу до напрямку та цінностей компанії. На початку цього тижня з’явилися повідомлення про розпуск OpenAI команди з узгодження місії — групи, створеної у вересні 2024 року для просування заявленої мети компанії щодо забезпечення того, щоб штучний загальний інтелект приносив користь людству. Семеро членів команди були переведені на інші посади, а лідер Джошуа Ачіам отримав нову посаду “головного футуриста” OpenAI.
OpenAI раніше вже розпускала іншу групу, орієнтовану на безпеку, — команду superalignment — у 2024 році. Ця команда зосереджувалася на довгострокових екзистенційних ризиках від ШІ. Модель розпуску команд, що займаються безпекою, викликала критику з боку дослідників, які стверджують, що комерційний тиск OpenAI переважує її початкову некомерційну місію.
Компанія також стикається з наслідками свого рішення впровадити рекламу в ChatGPT. Дослідниця Зої Хітциг звільнилася цього тижня через те, що вона назвала “слизьким схилом” ШІ з рекламою, попередивши в статті для New York Times, що архів інтимних розмов користувачів ChatGPT створює безпрецедентні можливості для маніпуляцій. Anthropic скористалася цією суперечкою, провівши рекламну кампанію на Super Bowl з гаслом: “Реклама йде в ШІ. Але не в Claude”.
Окремо компанія погодилася надати ChatGPT Пентагону через Genai.mil — нову програму Міністерства оборони, яка вимагає від OpenAI дозволу на “всі законні види використання” без обмежень, встановлених компанією — умови, які, за повідомленнями, відхилила Anthropic. Також з’явилися повідомлення про те, що Райан Бейрмейстер, віце-президент OpenAI з питань політики продуктів, яка висловлювала занепокоєння щодо запланованої функції відвертого контенту, була звільнена в січні після звинувачення в дискримінації, яке вона заперечує.
OpenAI уявляє ШІ-асистентів для програмування, які поєднують швидкі правки та складні автономні завдання
Незважаючи на навколишню турбулентність, технічний план OpenAI для Codex передбачає амбітні цілі. Компанія бачить асистента для програмування, який бездоганно поєднує швидку інтерактивну редагування з тривалими автономними завданнями — ШІ, який виконує швидкі виправлення, одночасно керуючи кількома агентами, що працюють над складнішими проблемами у фоновому режимі.
“З часом режими змішуватимуться — Codex може підтримувати вас у тісному інтерактивному циклі, делегуючи тривалі завдання під-агентам у фоновому режимі, або розподіляючи завдання між багатьма моделями паралельно, коли ви прагнете широти та швидкості, тому вам не доведеться обирати один режим заздалегідь”, — повідомив представник OpenAI.
Це бачення вимагатиме не лише швидшого виведення моделей, а й складного розподілу завдань та координації між моделями різного розміру та можливостей. Codex-Spark створює основу з низькою затримкою для інтерактивної частини цього досвіду; майбутні релізи повинні забезпечити автономне міркування та багатоагентну координацію, що зробить повне бачення реальністю.
Наразі Codex-Spark працює під окремими обмеженнями швидкості порівняно з іншими моделями OpenAI, що відображає обмежену потужність інфраструктури Cerebras під час попереднього перегляду. “Оскільки він працює на спеціалізованому обладнанні з низькою затримкою, використання регулюється окремим обмеженням швидкості, яке може змінюватися залежно від попиту під час попереднього перегляду”, — зазначив речник. Обмеження розроблені як “щедрі”, а OpenAI відстежує шаблони використання, визначаючи, як масштабувати.
Справжнім випробуванням стане те, чи призведе швидша відповідь до кращого програмного забезпечення
Анонс Codex-Spark відбувається на тлі жорсткої конкуренції за інструменти для розробників на основі ШІ. Продукт Claude Cowork від Anthropic спричинив розпродаж акцій традиційних програмних компаній минулого тижня, оскільки інвестори розглядали можливість того, що ШІ-асистенти можуть витіснити звичайні корпоративні програми. Microsoft, Google та Amazon продовжують активно інвестувати в можливості кодування за допомогою ШІ, інтегровані з їхніми відповідними хмарними платформами.
Застосунок Codex від OpenAI демонструє швидке зростання з моменту запуску десять днів тому, маючи понад мільйон завантажень, а кількість активних користувачів щотижня зростає на 60%. Понад 325 000 розробників наразі активно використовують Codex як на безкоштовному, так і на платних рівнях. Але фундаментальне питання, яке стоїть перед OpenAI — і ширшою індустрією ШІ — полягає в тому, чи покращення швидкості, подібні до тих, що обіцяє Codex-Spark, призводять до значного зростання продуктивності, чи просто створюють приємніший досвід без зміни результатів.
Початкові докази від інструментів кодування на основі ШІ свідчать про те, що швидші відповіді стимулюють більш ітераційне експериментування. Чи призводить це експериментування до кращого програмного забезпечення, залишається предметом суперечок серед дослідників і практиків. Очевидно, що OpenAI розглядає затримку виведення моделей як конкурентний рубіж, вартий значних інвестицій, навіть якщо ці інвестиції виводять її за межі традиційного партнерства з Nvidia на незвідану територію з альтернативними постачальниками чіпів.
Угода з Cerebras — це продумана ставка на те, що спеціалізоване обладнання може відкрити випадки використання, які загальні GPU не можуть ефективно обслуговувати. Для компанії, яка одночасно бореться з конкурентами, керує напруженими стосунками з постачальниками та переживає внутрішні розбіжності щодо свого комерційного курсу, це також нагадування про те, що в гонці ШІ стояти на місці не можна. OpenAI побудувала свою репутацію, рухаючись швидко і руйнуючи конвенції. Тепер вона повинна довести, що може рухатися ще швидше — не зруйнувавши себе.
Порада від ІТ-Блог:
Це оновлення від OpenAI є значним кроком для розробників, які прагнуть до більш інтерактивного та швидкого досвіду кодування. Codex-Spark, завдяки своїй оптимізації під низькі затримки, може суттєво прискорити процес розробки, роблячи ШІ-асистента більш чуйним під час ітерацій. Хоча можуть бути певні компроміси в глибині аналізу порівняно з повними моделями, ця швидкість може стати вирішальною для підтримки творчого потоку та швидкого прототипування.
Джерело новини: venturebeat.com