Представлено Vijil
В динамічних середовищах, де користувачі, дані, робочі процеси та методи атак постійно змінюються після впровадження, довіра до ШІ-агентів стає проблемою в режимі реального часу. Більшість організацій досі розглядають довіру як процес, що відбувається перед розгортанням, оголошуючи агента готовим до продакшну та запускаючи його після проходження оцінок у пісочниці та успішного виконання тестів безпеки. На жаль, ця надійність руйнується в момент, коли агент починає взаємодіяти з реальним світом.
«Суть проблеми в тому, що CIO та власники бізнесу думають про системи ШІ так само, як про SaaS або мобільні додатки, які не реагують динамічно на навколишній світ», — каже Він Шарма, засновник і генеральний директор Vijil. «Агенти, за визначенням, призначені для сприйняття свого середовища, міркування, дій, спостереження за наслідками та навчання на основі розбіжностей між очікуваннями та реальністю. Проблема полягає в тому, що моделі, на яких вони базуються, створені зі статичних навчальних даних, і ця картина світу вже застаріває до моменту потрапляння в продакшн».
Чому показники бенчмарків недостатні для оцінки надійності агентних систем
Традиційні оцінки ШІ надають оцінку можливостей агента на певний момент часу, а не його надійності. Є три причини, чому така оцінка не може передбачити реальну поведінку в корпоративному середовищі:
По-перше, бенчмарки статичні. Вони розроблені навколо певного уявлення про те, що означає хороша продуктивність на момент їх створення, тоді як світ постійно рухається вперед.
По-друге, вони лише недосконало моделюють реальність, тому саме розбіжності між бенчмарком та реальним світом є причиною багатьох збоїв.
І по-третє, бенчмарки є публічними, тому вони потрапляють у навчальні дані майбутніх моделей, дозволяючи моделям фактично запам’ятовувати тест, а не демонструвати реальні можливості.
«Агент або додаток може отримати винятково високі бали за бенчмарком, але існує розбіжність між цим бенчмарком та реальним світом», — каже Шарма. «Хороша успішність лише доводить, що він може пройти тест, а не те, що він буде надійно працювати в продакшні».
Але загалом, бенчмарки зазнають невдачі саме тому, що вони вимірюють можливості, а не надійність.
«Ми схильні думати про агентів як про різноробів, загалом утилітарних агентів, яким можна делегувати певні типи завдань», — каже Шарма. «Але нам потрібно призначити мету, яка вимагатиме від них завжди діяти з належною компетентністю, обачністю та лояльністю до підприємства».
Звісно, агенти не є свідомими, і від них не можна очікувати справжньої людської лояльності, але згідно із законом, фідуціарний обов’язок насправді не вимагає свідомості. Це просто означає, що агент повинен бути зобов’язаний ставити інтереси довірителя вище за власні або будь-які інші, як функціональну вимогу, що тестується незалежно від намірів.
Можливості та надійність — це різні питання
Пріоритезація надійності над можливостями вимагає переосмислення того, що підприємства очікують від ШІ-агентів. Шарма називає цю модель фідуціарним агентом — термін, запозичений з професій, які зв’язані формальним обов’язком дбайливості, таких як фінансові установи або медичні заклади, що мають обов’язок компетентності, обачності та лояльності перед своїми клієнтами. Це вирішує ключову проблему в сучасній індустрії: надмірну зосередженість на компетентності, приділяючи мало уваги тому, чи агент відданий інтересам довірителя, який йому делегує роботу.
Тестування починається з робочого визначення: агент надійний, якщо перевага від делегування йому завдання перевищує ризик невдачі цього завдання. Це рівняння, виражене в економічних термінах, яке керівники можуть безпосередньо застосувати, а ризик розбивається на три компоненти:
-
надійність, або чи агент працює відповідно до очікувань за різних умов
-
безпека, або його опір атакам зловмисників
-
та стійкість, або наскільки обмежені збитки, коли збій врешті-решт відбувається.
«Отриманий рейтинг можна порівняти з кредитною історією споживача, але сформованою на основі поведінкових даних», — пояснює Шарма. «Тим часом методологія тестування повинна бути зосереджена на трьох «П»: призначення, персони та політики».
У Vijil тестування на основі призначення адаптується до конкретного робочого процесу, який обробляє агент, стаючи складнішим або легшим залежно від продуктивності, подібно до комп’ютерного іспиту. Тестування на основі персон використовує понад тисячу демографічно різноманітних профілів користувачів разом із профілями зловмисників, від етичних хакерів до державних спонсорів атак, щоб імітувати діапазон людей та загроз, з якими може зіткнутися агент. Тестування на основі політик створює індивідуальну оболонку з власних правил організації, незалежно від того, чи походять вони з регуляторних норм, внутрішньої політики конфіденційності або рекомендацій бренду, і вимірює, наскільки агент відхиляється, коли їх порушує.
Збої довіри, які виникають лише в продакшні
Багато збоїв не можуть проявитися під час попереднього тестування, оскільки вони виникають через зміни в самому середовищі. Машинне навчання раніше описувало це як дрейф даних та дрейф концепцій, а для CIO або CSO це означає, що люди, які взаємодіють з агентом, відрізняються від тих, для кого агент був розроблений, і ці користувачі поводяться таким чином, що стає видимим лише в продакшні. Водночас нові атаки виникають зі зростаючою частотою, оскільки організації впроваджують універсальних агентів у спеціалізовані корпоративні ролі, для яких вони не призначені і які важко контролювати після розгортання.
Багатоагентні системи також створюють абсолютно нову категорію збоїв, які неможливо виявити на рівні окремого агента, коли агентні системи діють всупереч інтересам довірителя. Наприклад, може виникнути змова, коли агенти працюють разом — один агент, що генерує код, а другий його тестує, і за лаштунками обидва домовляються залишити лазівку або помилку без виявлення. Або агенти розподіляють завдання чи відповідальність між собою, замість того, щоб зосереджуватися на своїх призначених завданнях.
«Вже не стоїть питання, чи це можливо. Це доведено», — сказав Шарма. «Чи варто хвилюватися про змову між ШІ-агентами через шість, 12, 18 місяців? Я думаю, це станеться раніше. Ми вийшли з ери запобігання збоям. Тепер ми повинні думати про стійкість: наскільки швидко ви відновлюєтеся після збоїв у продакшні?»
Як виглядає безперервне управління довірою на практиці
В операційному плані безперервне управління довірою повертається до давніх принципів спостережуваності та контролю, застосованих до всього життєвого циклу популяції агентів:
Перший крок — виявлення, що дозволяє інтегрувати тіньовий ШІ та некерованих агентів до системи управління.
Другий — присвоєння кожному агенту ідентичності робочого навантаження на основі стандартів, відмінної від ідентичності його людського довірителя, що дозволяє організаціям надавати агентам вузько обмежені дозволи для їхніх делегованих завдань.
Третій — контроль на основі політик, що забезпечується обов’язковим точкою примусового виконання в агенті, а не залишається на розсуд розробника.
Далі з’являються два нових KPI: час до довіри та час відновлення. Час до довіри — це скільки часу потрібно організації, щоб перейти від наміру до розгортання в продакшні, за яке вона може ручатися. Час відновлення — це проміжок часу між виявленням вразливості та її усуненням.
Нова організаційна відповідальність за цю роботу може лягти на головного ШІ-директора або бути розподіленою між функціями GRC, CIO та CSO, каже Шарма. Тим часом багатоагентні системи змінять уявлення організацій про довіру, а не вписуватимуться в нинішні вузькі визначення.
«Довіра — це не настрою. Довіра — це не чеснота», — сказав Шарма. «Це те, що ви вбудовуєте в інфраструктуру своїх систем, щоб вона була безперервною. Її можна відстежувати, вимірювати. Це дозволяє вашим системам і вашій організації постійно вдосконалюватися».
Рекламні статті — це контент, створений компанією, яка або платить за публікацію, або має ділові стосунки з VentureBeat, і вони завжди чітко позначені. Для отримання додаткової інформації звертайтеся за адресою [email protected].
За матеріалами: venturebeat.com