Представлено Red Hat
На нещодавній конференції AI Impact від VentureBeat, де обговорювалося, що відрізняє підприємства, які масштабують агентний ШІ, від тих, хто зупиняється на пілотній стадії, Браян Грейслі, старший директор з портфельної стратегії Red Hat, детально розповів про реальні виклики, з якими стикаються компанії, коли агенти переходять у продакшн.
Він заглибився в питання дисципліни витрат, безпекових “сліпих зон”, унікальних для автономних систем, та організаційних перешкод, які визначають, чи поширюється впровадження агентів за межі перших прихильників.
Підприємства переоцінюють, наскільки вони відстають у сфері ШІ-агентів
Багато керівників підприємств, особливо тих, хто слідкує за галузевими ключовими доповідями та анонсами ШІ, стурбовані тим, що вони вже небезпечно відстають від конкурентів, які розгортають агентів у масштабі. Але, за словами Грейслі, значна частина цієї тривоги відображає хибне уявлення про те, як швидко організації навчаються, коли починають розробку. Команди часто просуваються по кривій навчання набагато швидше, ніж очікують.
Однак, таке швидке прогресування створює іншу проблему. З розширенням використання агентів, витрати на ШІ зростають так само швидко, перетворюючи управління витратами з інженерного завдання на регулярне обговорення на рівні ради директорів.
Використання агентного ШІ на порядки вище, ніж за часів епохи чат-ботів, що робить витрати на ШІ зростаючою проблемою для підприємств. Водночас, організації все більше усвідомлюють свою залежність від невеликої кількості постачальників моделей. За словами Грейслі, ця комбінація спонукає багато підприємств шукати альтернативи, які надають їм більший контроль над витратами та інфраструктурою.
“Два-три провідні постачальники вже повідомляють ринку, що вони збиткові, і намагаються вийти на публічний ринок, щоб компенсувати ці розриви”, – пояснив він. “У певний момент залежність від цього означає, що ви або будете купувати за дуже високою ціною, або знайдете альтернативи для контролю того, що ви робите.”
Правильне масштабування ШІ-моделей – найшвидший важіль для скорочення витрат на агентів
Найбільша проблема витрат полягає в тому, що підприємства витрачають надмірно, обираючи найпотужнішу доступну модель, незалежно від складності завдання.
“Якщо я просто намагаюся врегулювати страховий випадок, мені не потрібно знати про історію західної цивілізації в моїй моделі, мені не потрібно знати результати матчів чемпіонату світу з футболу”, – сказав Грейслі.
Семантична маршрутизація – це механізм, який багато компаній використовують для автоматичного здійснення цього судження, класифікуючи запити та направляючи кожен до моделі, масштабованої відповідно до завдання, без необхідності вибору користувачами. Водночас, інфраструктурні методи, такі як кешування повторюваних запитів, зменшують частоту звернень до GPU-обчислень. Разом, за його словами, ці інструменти усувають припущення, що ефективність та інновації рухаються в протилежних напрямках.
“Є багато того, що ви можете зробити на рівні інфраструктури GPU, і чимало того, що ви можете зробити з точки зору гнучкості моделей”, – пояснив він. “Це надає чудові можливості з точки зору важелів, які ви намагаєтеся використовувати, незалежно від того, чи потрібна вам ефективність, чи інновації. Це не повинно бути бінарним вибором.”
Фінансова дисципліна, необхідна для управління витратами на токени, подібна до практик FinOps, які роками дозрівали, щоб взяти під контроль витрати на хмарні обчислення. Ці базові рамки перенесуться, навіть коли лексика зміниться, сказав Грейслі, особливо коли організації посилюватимуть внутрішнє навчання щодо вибору моделей, щоб команди перестали використовувати найпопулярніший варіант для завдань, які його не потребують.
“Так само, як нам довелося спочатку пояснювати фінансистам, що таке екземпляр EC2 і що таке S3-відро, вам доведеться почати пояснювати їм токени”, – сказав він. “Нам не завжди потрібен Rolls-Royce. Нам не завжди потрібна ікра, бо ми намагаємося робити базові речі.”
Швидкість встановлення патчів тепер критична, оскільки ШІ швидше знаходить уразливості
Виявлення уразливостей за допомогою ШІ змушує підприємства переосмислювати, як швидко вони можуть ідентифікувати, перевірити та розгорнути патчі. Давно встановлені цикли управління патчами можуть більше не бути достатньо швидкими в середовищі, де ШІ може виявляти – і зловмисники можуть експлуатувати – нові уразливості набагато швидше.
“Більшість компаній, ймовірно, матимуть вікно від семи до 14 днів, щоб залишатися попереду”, – сказав він. “Є групи, включаючи Red Hat, які створюватимуть патчі для них, але вікно ембарго буде коротким.”
ШІ також змінює те, на що повинні звертати увагу захисники. Замість простого виявлення поодиноких критичних недоліків, інструменти безпеки на базі ШІ можуть ідентифікувати комбінації, здавалося б, незначних уразливостей, які стають небезпечними лише тоді, коли їх поєднують. Оскільки складність програмного забезпечення та виявлення уразливостей прискорюються, Грейслі стверджував, що здатність швидко управляти та оновлювати програмне забезпечення стає стратегічною можливістю, а не просто операційною.
Експерти з предметної області та команди з дотримання нормативних вимог визначають, чи масштабуються агенти
Зрештою, організаційне впровадження зводиться до потреби глибокої, сталої участі експертів з предметної області, знання яких має кодувати агент. Це робить завоювання їхньої згоди попередньою умовою, а не другорядним завданням.
“Ви повинні думати про стимули, що ви робите для людей, які беруть участь у цій роботі, щоб вони не відчували загрози, що це забере їхню роботу, і як ви будете стимулювати людей у довгостроковій перспективі співпрацювати з цими інноваціями”, – сказав він.
Як захиститися (Порада ІТ-Блогу): Уважно аналізуйте витрати на використання ШІ-агентів. Не завжди обирайте найпотужнішу модель; оптимізуйте вибір моделі відповідно до складності завдання, щоб контролювати витрати. Впроваджуйте регулярні оновлення програмного забезпечення та стежте за новими уразливостями, оскільки швидкість їх виявлення зростає.
Інформація підготовлена на основі матеріалів: venturebeat.com