Управління штучним інтелектом (ШІ) еволюціонує від періодичних перевірок на відповідність до критично важливого компонента, інтегрованого в архітектуру організації та операціоналізованого в реальному часі. У міру того, як автономні агенти виконують бізнес-процеси, скорочується відстань між рішенням та його наслідками, витісняючи управління з календаря відповідності в щоденні операції.
“Застосування традиційного стратегічного управління до ШІ, як це робиться з програмами та системами, просто не працює для агентів ШІ”, — говорить Філіпп Герціг, технічний директор SAP. “Речі відбуваються набагато швидше, коли ви вводите автономію. Агент діє від вашого імені, іноді без вашого явного дозволу. З проактивним управлінням у реальному часі ви запобігаєте проблемам, а не женетеся за ними”.
Безперервне управління ШІ вимагає, щоб підприємства постійно відповідали на чотири запитання:
-
Які агенти ШІ існують у компанії, і яку мету виконує кожен з них?
-
До яких даних і систем може отримати доступ кожен агент?
-
Як кожен агент бере участь у бізнес-процесах?
-
Чи діє кожен агент відповідно до встановленої політики?
Найбільш нагальною потреба у відповідях на ці запитання виникає у компаній, що працюють у сферах фінансових послуг, охорони здоров’я, фармацевтики та державного управління, оскільки регулятори вже вимагають документально підтвердженої підзвітності. Можливості управління ШІ, які ці організації розроблять, швидко стануть стандартом і в інших галузях.
Регульовані галузі досягають меж традиційного управління ШІ
Обмеження традиційних підходів до управління технологіями стають найбільш очевидними в регульованих галузях, коли агенти ШІ починають працювати в межах існуючих вимог до підзвітності та відповідності. Банки застосовують керівні принципи управління ризиками моделей, такі як SR 11-7 та SR 26-2. Виробники ліків працюють відповідно до стандартів GxP та вимог FDA. Урядові установи підзвітні FedRAMP, мають дозволи на роботу та правила суверенітету даних.
Застосування цих режимів до недетермінованих систем створює очікування, яким більшість підприємств ще не можуть задовольнити. Регулятори хочуть, щоб організації могли відтворити будь-яке рішення, прийняте системою ШІ в будь-який момент часу. З огляду на те, як працює ця технологія, це не так просто.
“Подумайте про фармацевтичну галузь, де існує ланцюг постачання”, — каже Герціг. “Якщо ви виробляєте ліки, ви повинні знати кожну точку, де продукт був оброблений. У регульованому бізнес-процесі не може бути прогалин”.
Відповідність галузевим стандартам вимагає більше, ніж просто журнал подій. Власність повинна бути пов’язана з агентом і робочим процесом, у якому він бере участь, а також з обмежувальними заходами та делегованими повноваженнями, які він має в ролі користувача. Керування ідентифікацією та доступом, дисципліна, побудована навколо людей, тепер повинна враховувати сутності, які самостійно переслідують поставлену мету, включаючи, іноді, пошук способів обійти обмеження API для досягнення її. Дозволи, надані під час розгортання, також можуть відхилятися від того, як агент фактично використовує їх з часом, створюючи розрив між його авторизованою роллю та реальною поведінкою. Це робить безперервний моніторинг необхідним для забезпечення відповідності доступу в міру еволюції активності агента.
Інвентаризація ШІ та виявлення агентів передують контролю
Ефективне управління ШІ починається з поточної інвентаризації всіх активів ШІ, якої більшості підприємств бракує, каже Герціг.
“Ви не можете керувати тим, чого не бачите”, — пояснює він. “Якщо я не можу автоматично виявляти та підтримувати робочу інвентаризацію активів ШІ або агентів ШІ, я не знаю, чим я керую”.
Виявлення має відбуватися безперервно, оскільки створення та розгортання відбуваються постійно. Співробітник з інтерфейсом чату може швидко створити функціонального агента за один день, і цей агент негайно починає виконувати реальні завдання.
“Скажімо, хтось вирішує, що більше не хоче обробляти рахунки-фактури, тому створює швидкого агента за допомогою інструменту copilot і передає йому роботу”, — каже Герціг. “Тепер щось працює з фінансами та відносинами з клієнтами, і ніхто за цим не спостерігає. Тіньове ІТ колись означало заборонене програмне забезпечення на ноутбуці. Ця версія схожа на те, як співробітник приводить трьох інших людей на роботу, спрямовує їх на звіти і ніколи не згадує про це начальству”.
Периметр управління виходить за межі самих агентів. Великі мовні моделі, MCP-сервери, що взаємодіють з програмами та іншими системами, а також протоколи взаємодії між агентами — все це входить до його сфери. Оркестрація багатьох агентів додає ще один рівень складності, ускладнюючи встановлення відповідальності, коли агенти делегують завдання один одному. Герціг оцінює, що самі агенти становлять менше третини того, що підприємство повинно охоплювати.
Здатність контекстуалізувати ШІ в ширшому бізнес- та архітектурному контексті є важливою для розуміння залежностей та повного картографування ризиків і зон ураження. Лише з цією повною прозорістю організації можуть цілісно охопити управління ШІ.
Інвентаризація встановлює, які активи ШІ існують, але ефективне управління також вимагає розуміння того, де вони знаходяться в корпоративній архітектурі та які бізнес-процеси від них залежать. Картографування цих взаємозв’язків виявляє залежності — і, коли щось йде не так, показує, які програми, процеси та системи можуть бути вражені.
“Наявність реєстру — це одне, а позиціонування цього масиву в контексті вашого бізнесу — зовсім інше”, — каже він. “Знання того, які агенти знаходяться в межах певних процесів і які програми працюють поверх них, дає відповіді на складніші запитання”.
Управління ШІ в реальному часі доводить, що політики дотримуються під час виконання агентів
Закон ЄС про ШІ та Керівництво NIST з управління ризиками ШІ підвищують планку вимог до документування, класифікації ризиків та людського нагляду, але контрольні списки та шаблони мають обмежене значення без механізмів примусового виконання. Підхід SAP відповідним чином еволюціонував: спочатку надаючи видимість того, який ШІ існує в компанії та які ризики він становить, а тепер розширюючи ці можливості для контролю та управління ШІ в реальному часі.
“Агенти продовжують навчатися, коригуватися та змінюватися”, — каже Герціг. “Без можливості вимірювати це та застосовувати контроль у реальному часі ви не маєте управління ШІ. Наявність управління без примусового виконання в реальному часі схожа на губернатора без судів, правоохоронних органів та в’язниць”.
Відновлення того, що робив агент після доступу до обмеженої системи, залишає виправлення відповідальним за власника ураженого процесу, тому примусове виконання повинно перехоплювати дію під час її виконання. Руйнування бар’єрів, що розділяють корпоративних архітекторів, CISO та керівників відділів відповідності, має таке ж значення, що пояснює зростання центрів передового досвіду в галузі ШІ у великих організаціях.
Дані управління ШІ вимірюють рентабельність інвестицій агентів та ефективність процесів
Зв’язування виконання агентів з відповідністю процесу виявляє не тільки те, чи працюють агенти належним чином, але й чи справді вони покращують бізнес-процеси, для підтримки яких вони були розгорнуті. Це перетворює дані управління на докази ефективності та рентабельності інвестицій, а не просто на запис уникнення ризиків.
Порівняльні показники процесів надають організаціям метрики для прив’язки до розгортання перед його запуском, і ці метрики агрегуються на рівні процесу або в портфелі програм на рівні бізнес-можливостей.
“Агенти генерують багато базової телеметрії, включаючи введення та виведення токенів, використання моделі з часом, стан виклику інструментів та рівні успіху”, — каже Герціг. “Питання в тому, чи можете ви агрегувати ці деталі проти процесу, який раніше виконували шість людей, а тепер виконують дві людини та агенти. Доведення підвищення ефективності вимагає інструментів, які піднімають ці сигнали до рівня, де стає видимою бізнес-цінність”.
Як SAP керує ШІ в архітектурі, ідентифікації, бізнес-процесах та відповідності
SAP поєднує ці домени через продукти, що надають різні рівні контексту управління.
SAP LeanIX забезпечує архітектурний контекст та картографування відповідності, SAP Signavio — контекст бізнес-процесів та можливість вимірювати бізнес-цінність, Cloud Identity Services — рівень ідентифікації, а SuccessFactors — перегляд робочої сили, причому AI Agent Hub служить точкою входу для всіх них. Його можливості виявлення ідентифікують та інвентаризують агентів у всій компанії, включаючи тих, що знаходяться за межами екосистеми SAP.
Брами верифікації розташовані на шляху розгортання, де MCP-сервери, побудовані та керовані в SAP Integration Suite, вимагають верифікації перед використанням у виробництві, а Joule Studio застосовує той самий принцип до агентів, що залишають тестове середовище. SAP планує явно закріпити ці печатки верифікації в нормативних актах, таких як Закон ЄС про ШІ, і до кінця 2026 року впровадити можливості примусового виконання в реальному часі та обмежувальні заходи.
AmTrust Financial Services розширила свою практику корпоративної архітектури SAP LeanIX для управління ШІ ще до набуття чинності зобов’язань за Законом ЄС про ШІ, створивши інвентаризацію ШІ, позначаючи програми за рівнем ризику та створивши міжфункціональну раду з управління ШІ. CapitaLand побудувала багаторазові каркаси управління для бізнес-підрозділів, що працюють у понад 260 містах, дозволяючи управлінню масштабуватися разом із впровадженням, а не перебудовуватися для кожного розгортання.
Складніша проблема полягає між постачальниками, а не всередині одного з них, каже Герціг.
“Наше виявлення вже охоплює агентів ServiceNow, AWS, Microsoft та Google, далеко за межами екосистеми SAP”, — каже Герціг. “У галузі потребує більше роботи сильніша відкрита екосистема агентів, оскільки детальна телеметрія, необхідна для доступу до того, як агенти працюють, моніторингу стану та поведінки агентів, а також агрегація цієї інформації в вимірювані бізнес-результати, перебуває за зачиненими дверима кожного середовища великих технологічних компаній. Жодна організація не працює виключно на SAP або виключно на Microsoft. Відкриття цього робить управління ШІ кращим для всіх”.
Джерело новини: venturebeat.com