OpenAI вперше надала широкого доступу до своєї Decisions API, виходячи на ринок швидкого та недорогого інтелекту, де стартап TypeSafe, заснований колишнім дослідником передової лабораторії, нещодавно став компанією вартістю 7,6 мільярда доларів.
Модель Jev від TypeSafe створила категорію для моделей глибокого навчання, що діють як суперкласифікатори: надаючи набір варіантів, вони можуть швидко ухвалювати рішення та надавати рейтинг впевненості у своєму виборі. Розробники програмного забезпечення швидко виявили, що ці моделі прийняття рішень або System One можуть замінити LLM у різноманітних робочих процесах, працюючи швидше та за значно нижчою вартістю.
Нікундж Ханда, керівник відділу продуктів OpenAI API, розповів TechCrunch, що його колеги побачили Jev і сказали: «Вау, у нас є мільйон випадків використання цього». Команда Ханди швидко запропонувала власну версію: замість того, щоб створювати спеціально відкалібровану модель прийняття рішень, команда взяла ChatGPT Luna і переналаштувала її для прискорення виведення (inference) та зниження вартості.
«Великим проривом Decisions API стала швидкість, зменшивши час з однієї-трьох секунд до 100-180 мілісекунд», — сказав Ханда. «У майбутньому ми, можливо, проведемо спеціальне навчання, щоб зробити наші моделі ще кращими в цьому плані. Але зараз з цим чудово справляється звичайна Luna».
Представлена на дні розробників компанії 29 вересня, Decisions API стала доступною для всіх клієнтів у четвер. OpenAI додала нові голосові та візуальні модальності до публічної версії та працювала над забезпеченням меншої затримки в регіонах по всьому світу, географічно націлюючи свої ресурси для виведення.
Під час початкових випробувань з такими клієнтами, як Box, Datadog, Ramp та Speak, інженери використовували API для заміни LLM OpenAI з вищою пропускною здатністю. Ендрю Сюй, технічний директор Speak, компанії, що створює мовні тренажери зі штучним інтелектом, сказав, що Decisions API дозволила компанії скоротити час між діями з 1,4 секунди до 0,13 секунди. OpenAI також використала продукт для покращення швидкості реагування свого голосового помічника Dots.
Проте, не зовсім зрозуміло, що саме робить модель прийняття рішень хорошою, окрім того, що «вона працює для вас» — оптимізація за показниками інтелекту, вартості, калібрування та швидкості, здається, відрізняється залежно від навантаження. Генеральний директор TypeSafe Діого Алмейда не довіряє бенчмаркам і закликає людей тестувати моделі у своїй власній роботі. Однак навіть TypeSafe минулого тижня опублікувала власні рейтинги разом із випуском останньої моделі Jev, яка включає нові функції, такі як підтримка зображень та умовні вирази (smart-if statements).
Публічні бенчмарки, такі як AIM System One Index та Artificial Analysis Decision Index, як правило, віддають перевагу D1 Ultra, новій моделі прийняття рішень, яку Liquid випустила минулого тижня, та Elephant-1 від Base Lab. Остання модель Jev залишається конкурентоспроможною в обох індексах, займаючи сьоме та третє місця відповідно, тоді як модель Decisions від OpenAI посідає восьме та чотирнадцяте місця. Однак пропозиції TypeSafe наразі найчастіше запитуються на OpenRouter.
Найцікавіший бенчмарк Jev — це JevMan, де моделі прийняття рішень грають у PacMan; остання модель Jev очолює цей рейтинг. Фелікс Вундерліх, керівник відділу зростання Opper AI, компанії, яка розробила бенчмарк, сказав, що класична гра «є цікавим тестом через безперервний потік швидких, ризикованих рішень. На кожному перехресті модель повинна вирішити, куди йти, за кілька сотень мілісекунд».
Там, де arguably більш потужна модель OpenAI може мати перевагу, це в мультимодальності — для класифікації зображень, «Luna надзвичайно потужна і демонструє краще калібрування», — сказав Ханда TechCrunch, додавши, що клієнти OpenAI хочуть, щоб Decisions API була більш гнучкою щодо використання зображень як вихідних даних.
Ханда також бачив подальше збільшення швидкості, що відкриває нові сценарії використання: «Чи можемо ми досягти чогось на кшталт 60 мілісекунд, і тоді ви могли б уявити виклик API для кожного окремого кадру у відео?»
Оскільки ці пропозиції стають швидшими та дешевшими, ми можемо очікувати, що вони відповідатимуть імені Jev, економіста, який пояснив, як ефективніше використання ресурсу робить його більш поширеним. Або, як бачить це Ханда, з’явиться розширюваний «шалений набір сценаріїв використання», які були приховані на видноті, доки моделі прийняття рішень не виявили їх.
Дізнатися більше на: techcrunch.com