Сотні керівників підприємств та технічних експертів зібралися в головній залі розкішного готелю Nia в Менло-Парку цього тижня на VB Transform 2026 — головну конференцію року, присвячену використанню генеративних агентів зі штучним інтелектом для досягнення бізнес-результатів.
Рашад Алао, віцепрезидент з інжинірингу продуктів канадського стартапу в галузі корпоративного ШІ Cohere, разом із генеральним директором і головним редактором VentureBeat Меттом Маршаллом взяв участь у бесіді про створення агентних систем без втрати контролю над конфіденційними даними, інфраструктурою чи можливістю зміни постачальників.
Алао, який раніше керував командами з відповідального ШІ, довіри та безпеки в Google та Meta, стверджував, що суверенітет ШІ — це більше, ніж просто завантаження відкритої моделі або запуск програми за корпоративним брандмауером.
Відповідаючи на запитання, як Cohere визначає суверенітет, Алао вказав на організації, що експлуатують критично важливі системи, зокрема банки, лікарні та уряди.
«Важливо мати жорсткий контроль над тим, де зберігаються дані, мати жорсткий контроль над ШІ», — сказав він, додавши, що операції зі штучним інтелектом мають відбуватися в юрисдикціях, які організація розуміє або безпосередньо контролює.
Це охоплює все: від графічних процесорів (GPU) та інфраструктури приватних хмар до систем управління, які маршрутизують запити між моделями, а також конекторів, інструментів пошуку та фреймворків агентів, що працюють із корпоративними даними.
«Ви хочете контролювати весь стек», — підкреслив Алао.
Робочі навантаження агентів можуть випередити падіння цін на токени
Маршалл поставив під сумнів один із центральних економічних аргументів на користь менших, локально розгорнутих моделей: ціни на виведення (inference) продовжують швидко падати, що потенційно послаблює аргумент щодо оптимізації кожного токена.
Алао заперечив, що загальне споживання зростає ще швидше, оскільки підприємства переходять від відносно простих чат-ботів до агентів, які аналізують проблеми, використовують інструменти, шукають у внутрішніх системах і виконують кілька кроків перед поверненням відповіді.
«Використання токенів зростає експоненційно, оскільки ви маєте справу зі все складнішими агентними сценаріями використання», — зазначив він. Ці робочі процеси вимагають «багато обробки, аналізу, взаємодії з інструментами» для досягнення поставлених цілей.
Алао також провів різницю між постачальниками, які виставляють рахунки клієнтам залежно від споживання токенів, і підходом Cohere.
«Якщо ваш спосіб стягнення плати з клієнтів — це оплата за використання токенів, ви хочете максимізувати використання токенів», — сказав він. «Ми не продаємо наші моделі та нашу платформу таким чином».
Натомість, за словами Алао, Cohere прагне допомогти підприємствам вирішувати найскладніші проблеми приватно та безпечно, одночасно зменшуючи непотрібне використання моделей. Його рекомендація була прямолінійною: «Використовуйте правильну модель для поставленого завдання».
Замість того, щоб надсилати кожен запит до найбільшої доступної фронтирної моделі, підприємства мають спрямовувати роботу відповідно до необхідного рівня інтелекту та чутливості чи нормативного навантаження, пов’язаного із завданням.
Алао навів приклад неназваного канадського банку, який використовує локальні моделі Cohere для високорегульованих робочих навантажень, тоді як менш чутливі завдання, що вимагають більшого інтелекту, спрямовуються через платформу North від Cohere до більших фронтирних моделей.
«Таким чином, маршрутизація моделей може стати надзвичайно корисною», — підсумував він.
Менші моделі для більшості корпоративних завдань
Відповідаючи на запитання представника аудиторії про те, як відкрита модель North Mini Code від Cohere, випущена минулого місяця, може конкурувати з пропрієтарними моделями для кодування, Алао визнав, що великі фронтирні моделі можуть дещо краще справлятися з найскладнішими завданнями.
Однак ця перевага може не виправдовувати їх невибіркове використання.
«Для 80% випадків використання, які їм були потрібні, це було значно ефективніше, значно дешевше», — сказав Алао щодо розробників, які впроваджують модель.
North Mini Code від Cohere працює на одному графічному процесорі Nvidia H100 і призначена для інженерії програмного забезпечення на основі агентних систем, включаючи роботу з терміналом, перевірку коду та використання інструментів.
Компанія також випустила Command A+, модель “суміш експертів” (mixture-of-experts) з 218 мільярдами параметрів, з яких лише 25 мільярдів активні під час кожного кроку генерації.
Її стиснена чотирибітна версія зменшує апаратні вимоги для приватного розгортання, тоді як її ліцензія Apache 2.0 надає підприємствам широку свободу для експлуатації та модифікації.
Пошук стає частиною агента
Відповідаючи на запитання про багаторічну роботу Cohere над вбудовуваннями (embeddings) та корпоративним пошуком, Алао зазначив, що ця галузь виходить за межі простого отримання тексту та його вставки в контекстне вікно моделі.
«Сьогодні вершина розвитку — це мультимодальний пошук», — сказав він. «Це виходить за рамки лише текстової модальності».
Пошук за документами, зображеннями та іншими формами інформації стає «невід’ємним компонентом вашого агентного робочого процесу», додав Алао, причому модель сама вирішує, коли і як використовувати отримання даних, подібно до будь-якого іншого інструменту.
Відповідаючи на запитання, що могло б переконати підприємства відмовитися від пакетних послуг ШІ від поточних хмарних провайдерів, Алао повернувся до теми контролю над даними та портативності.
«Якщо ви зацікавлені в суверенітеті, ви хочете мати більше контролю над своїми даними», — зазначив він. Шар управління Cohere, додав він, дозволяє клієнтам спрямовувати трафік до відповідних моделей, «розбиваючи ту залежність від постачальника, яка турбує багатьох наших клієнтів».
Прогноз ІТ-Блогу: Концепція суверенітету даних у поєднанні з гнучким керуванням моделями стане ключовим диференціатором для корпоративних ШІ-рішень. Ми побачимо зростання попиту на гібридні підходи, де локальні моделі виконують чутливі завдання, а хмарні — масштабні обчислення, що вимагатиме розвитку проміжних рішень для оркестрації.
За даними порталу: venturebeat.com