Платформа для управління корпоративними витратами Ramp активно розвивається у сфері інфраструктури для модельного виведення ШІ, як це робить Stripe.
Ramp у середу ввечері запустила власний сервіс маршрутизації ШІ-моделей під назвою Router. Він дозволяє користувачам і компаніям використовувати та перемикатися між різними великими мовними моделями через API. Компанія стверджує, що використовувала розроблений нею маршрутизатор для власних потреб роботи зі штучним інтелектом протягом останніх трьох років.
Наразі сервіс доступний лише на території Сполучених Штатів. До кінця 2026 року він безкоштовний (користувачі все ще сплачуватимуть за витрати на моделі ШІ), а під час запуску пропонується бонус у розмірі 26 доларів. Компанія не уточнила вартість сервісу наступного року.
Router працює подібно до OpenRouter, хоча останній пропонує значно ширший вибір моделей ШІ, ніж поточні пропозиції Ramp.
Router надає доступ до моделей від OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI та Z.ai. Він також пропонує кілька “стратегій” для допомоги клієнтам у маршрутизації запитів ШІ до моделей відповідно до їхніх уподобань. Наприклад, одна стратегія дозволяє користувачам встановлювати пріоритет використання гнучких рівнів постачальників моделей, тоді як інша дозволяє Router самостійно обирати модель для маршрутизації запитів на основі до трьох заданих користувачем показників. Користувачі також можуть обирати маршрутизацію складних завдань лише до дорогих моделей або легко тестувати моделі без необхідності перемикання.
Користувачі також отримують панель інструментів, яка дозволяє відстежувати витрати на токени, вартість, затримку, спроби резервного копіювання та інші деталі.
Важливо зазначити, що Router має політику відмови від зберігання даних: за замовчуванням він зберігатиме введені дані, виведені результати та виклики інструментів протягом одного року. Компанія заявляє, що видалятиме “персонально ідентифіковану інформацію перед використанням контенту для покращення продукту”.
Для Ramp вихід на ринок маршрутизації моделей відкриває двосторонні можливості: компанія отримує доступ до зростаючого ринку виведення ШІ та пропонує своїм поточним клієнтам сервіс маршрутизації моделей, який легко інтегрується з її існуючими продуктами, що включають моніторинг використання токенів ШІ та управління витратами на них.
І якщо Router виявиться таким же привабливим майданчиком для тестування моделей, як і OpenRouter, Ramp зможе побудувати довгострокові стосунки з лабораторіями ШІ та постачальниками послуг виведення по всьому світу. Це може допомогти Ramp, яка у червні залучила 750 мільйонів доларів при оцінці в 44 мільярди доларів, отримати нових клієнтів та новий канал продажу своїх продуктів для управління витратами.
Дізнатися більше на: techcrunch.com