Серед компаній, що працюють у сфері штучного інтелекту, зростає усвідомлення значних витрат на розгортання моделей і нагальна потреба у їх скороченні. Хоча моделі з відкритим кодом пропонують значно нижчу вартість за токен, знайти оптимальну модель для конкретного завдання буває складно.
У четвер компанія Writer, яка розробляє інструменти та агентів зі штучним інтелектом для маркетологів, представила нову флагманську модель Palmyra X6, покликану вирішити цю проблему. Створена на основі моделі з відкритим кодом GLM-5.2 від Z.ai, Palmyra X6 забезпечує готові до розгортання можливості за значно нижчою ціною. За оцінками компанії, нова модель у поєднанні зі змінами в інфраструктурі компанії дозволить знизити витрати клієнтів на базові завдання до 50%.
Разом із новою моделлю компанія також випустила суттєві оновлення для свого стандартного агентського інструментарію. Обидві новинки стануть доступними для клієнтів Writer з четверга.
«Я вважаю, що підприємства втомилися гнатися за черговими бенчмарками», — заявила генеральна директорка Writer Мей Хабіб в інтерв’ю TechCrunch. «Вони прагнуть стабілізації витрат, але, схоже, ніхто не може цього забезпечити».
Новий підхід особливу увагу приділяє складним, багатоетапним завданням, які виконуються швидше та з меншою кількістю токенів. Writer розглядає оптимізацію інструментарію як ключовий фактор для досягнення цієї мети.
Нещодавня наукова стаття дослідників Writer підтверджує ефективність такого підходу. У ній тестувалися невеликі зміни в ефективності інструментарію на різних моделях. Дослідження показало, що в багатьох випадках зміни в інструментарії були надійнішим способом зниження витрат, ніж вибір моделі, що призвело до зниження вартості в середньому на 40% під час тестування.
«Ефективність інструментарію є тим компонентом, чия продуктивність багаторазово зростає для кожної моделі, яку організація використовує зараз і буде використовувати в майбутньому», — зазначили дослідники.
Для клієнтів Writer досвід залишається незалежним від моделі: Palmyra X6 працюватиме поряд з іншими моделями Writer або зовнішніми моделями, імпортованими через Azure чи Amazon Bedrock. Однак Хабіб також бачить, що прагнення скоротити витрати стимулює ширшу недовіру до великих AI-лабораторій, які мають фінансову зацікавленість у збільшенні використання токенів.
«Вибухове зростання витрат для клієнтів є безпрецедентним, як і ступінь, до якого CIO втрачають довіру до цих лабораторій», — сказала Хабіб, додавши, що AI-лабораторії «не до кінця розуміють, як допомогти підприємствам отримати користь від ШІ».
За даними порталу: techcrunch.com