У сфері корпоративного штучного інтелекту (ШІ) настала нова ера. Організації активно переходять від помічників, що відповідають на запитання, до автономних агентів, здатних до міркувань, використання інструментів, доступу до корпоративних програм, координації з іншими агентами та виконання багатоетапних бізнес-процесів із мінімальним втручанням людини.
Цей зсув є фундаментальною зміною у принципах роботи програмного забезпечення. Традиційні програми виконують попередньо визначену логіку, написану розробниками. Натомість ШІ-агенти динамічно визначають, як досягти поставленої мети. Вони вирішують, які інструменти використовувати, які API викликати, яку інформацію отримати та як послідовно виконувати дії на основі контексту. Така гнучкість відкриває величезну бізнес-цінність, але водночас створює новий клас ризиків безпеки.
Значна частина сучасних обговорень безпеки ШІ зосереджена на вразливостях, пов’язаних із введенням підказок (prompt injection), моделями та витоком даних. Це важливі аспекти, але вони становлять лише частину загальної проблеми. Після того, як ШІ-агент успішно автентифікувався і почав діяти автономно, традиційні засоби контролю безпеки надають дуже мало видимості щодо того, чи продовжує він працювати безпечно.
Саме тут підприємствам необхідно прийняти новий підхід до безпеки: довіра в часі виконання (runtime trust).
Автентифікація встановлює ідентичність, а не довіру
Корпоративна безпека традиційно спиралася на три фундаментальні питання: Хто ви? Що вам дозволено? Які дії ви можете виконувати? Постачальники ідентифікаційних даних, багатофакторна автентифікація (MFA), контроль доступу на основі ролей та архітектури нульової довіри (zero trust) ефективно відповідають на ці запитання для людей-користувачів і звичайних програм. Керівництво NIST щодо нульової довіри (NIST SP 800-207) залишається надійним орієнтиром щодо принципів їх роботи.
ШІ-агенти створюють іншу проблему. ШІ-агент може легітимно автентифікуватися за допомогою корпоративної ідентифікації, отримати дійсні облікові дані API та надати доступ до таких систем, як Microsoft 365, ServiceNow, Salesforce або GitHub. З точки зору ідентифікації все виглядає правильно. Справжня проблема починається після автентифікації: під час виконання агент постійно міркує, інтерпретує цілі, використовує інструменти, отримує інформацію та адаптує свою поведінку на основі нового контексту. Команди безпеки повинні визначити, чи залишаються ці дії узгодженими з намірами користувача та політикою організації. Автентифікація перевіряє, хто такий ШІ-агент. Довіра в часі виконання постійно перевіряє, що він робить.
Корпоративний ШІ стає автономною робочою силою
Сучасні ШІ-агенти все частіше взаємодіють із великими мовними моделями (LLM), серверами протоколу модельного контексту (MCP), системами доповненої генерації пошуку (RAG), векторними базами даних, корпоративними API, SaaS-платформами та внутрішніми базами знань, а також з іншими ШІ-агентами. Ця взаємопов’язана екосистема уможливлює складну автоматизацію, але значно розширює поверхню атаки: один скомпрометований інструмент, отруєне джерело знань, надмірно дозвільний API або маніпульована підказка можуть вплинути на подальші рішення в усьому робочому процесі. На відміну від традиційного програмного забезпечення, ці ризики еволюціонують під час виконання, а не фіксуються під час розгортання.
Саме цю розширювану поверхню використовують кілька загроз під час виконання.
Відхилення від мети (Goal drift) виникає, коли агент починає з легітимної мети, але поступово відхиляється від початкового наміру користувача під час спроби оптимізувати результати. Наприклад, агент, якому доручено підготувати звіт для клієнта, може автономно отримати непов’язану конфіденційну інформацію, оскільки він помилково вирішив, що додатковий контекст покращить відповідь.
Надмірне використання інструментів (Excessive tool invocation) відбувається, коли автономні агенти, що мають доступ до численних корпоративних інструментів, викликають непотрібні API, змінюють конфігурації, отримують доступ до конфіденційних сховищ або виконують адміністративні дії просто тому, що модель вважає ці дії корисними, за відсутності контролю під час виконання, що міг би зупинити це.
Отруєння пам’яті (Memory poisoning) використовує постійну пам’ять, що покращує персоналізацію: зловмисники можуть навмисно вставити оманливі інструкції в довготривалу пам’ять або системи пошуку, змушуючи майбутні рішення залежати від шкідливої або застарілої інформації.
Маніпуляція контекстом (Context manipulation) використовує залежність LLM від контексту: якщо зловмисники впливають на отримані документи, системні підказки, історію розмов або зовнішні джерела даних, вони можуть опосередковано керувати автономною поведінкою, не компрометуючи базову модель. Фреймворк ATLAS від MITRE детально каталогізує такий тип змагальної поведінки проти систем ШІ.
Посилення багаторазових агентів (Multi-agent amplification) виникає, коли організації розгортають спеціалізованих ШІ-агентів, які співпрацюють: якщо один агент поводиться некоректно, наступні агенти можуть довіряти його діям та посилювати їх, створюючи каскадні збої в корпоративних робочих процесах.
Впровадження довіри в часі виконання
Довіра в часі виконання розширює безпеку за межі автентифікації, безперервно перевіряючи поведінку ШІ під час його роботи. Замість того, щоб припускати, що автентифіковані агенти залишаються надійними назавжди, вона постійно оцінює, чи залишаються автономні рішення узгодженими з політикою організації. Архітектура довіри в часі виконання спирається на кілька взаємодоповнюючих можливостей.
Перевірка намірів (Intent validation) перед виконанням чутливих дій оцінює, чи відповідає запропонована поведінка початковому наміру користувача: Чи є ця дія необхідною? Чи очікуваною? Чи перевищує вона запитувану сферу? Чи виконала б подібну дію розумна людина?
Моніторинг поведінки (Behavioral monitoring) спостерігає за використанням інструментів, активністю API, моделями міркувань, частотою виконання, делегованими діями та аномальними робочими процесами, щоб несподівана поведінка ставала негайно видимою, а не залишалася прихованою всередині моделі.
Забезпечення політик (Policy enforcement) означає, що корпоративні політики керують тим, що ШІ-агенти можуть робити, а не лише тим, що вони можуть отримати доступ – блокування фінансових транзакцій вище порогових значень схвалення, запобігання змінам привілеїв, обмеження адміністративних операцій, обмеження доступу до конфіденційних даних та вимагання схвалення для дій з високим ризиком. Ці засоби контролю функціонують подібно до міжмережевих екранів застосунків для автономного прийняття рішень.
Виконання за принципом найменших привілеїв (Least-privilege execution) означає, що ШІ-агенти отримують лише ті можливості, які необхідні для поточного завдання. Замість надання постійного доступу до десятків корпоративних інструментів, організації повинні динамічно видавати короткострокові дозволи на основі контексту виконання – підхід, який все більше наголошується в рекомендаціях OWASP для агентських програм (OWASP GenAI Security Project).
Людський нагляд (Human oversight) визнає, що не кожне рішення має бути автономним – операції з високим впливом, включаючи фінансові затвердження, зміни ідентифікаторів, регуляторні дії або рішення, що впливають на клієнтів, повинні вимагати явного підтвердження від людини перед виконанням.
Захист екосистеми корпоративного ШІ
Довіра в часі виконання також поширюється за межі окремих агентів. Оскільки впровадження MCP прискорюється, підприємства повинні перевіряти довірені сервери, автентифіковані інструменти, затверджені можливості, моніторинг взаємодій та забезпечення політик. Репозиторії знань RAG вимагають цілісності документів, перевірки джерел, контролю доступу, аудиту отримання даних та виявлення отруєння. Постійна пам’ять ШІ повинна мати управління життєвим циклом, політики завершення терміну дії, перевірку цілісності, журналювання доступу та захист конфіденційних даних.
Побудова операційної видимості
Одним із найбільших викликів у корпоративному ШІ є спостережуваність. Команди безпеки потребують видимості щодо того, чому агент обрав певні інструменти, які дані вплинули на його рішення, як він дійшов висновків, які дії виконав, чи спрацювали політики, і які запобіжники запобігли небезпечній поведінці. Журналювання часу виконання, аудиторські записи та аналітика поведінки стають необхідними компонентами операцій корпоративного ШІ, а не необов’язковими доповненнями.
Практична дорожня карта
Організаціям не потрібно повністю перебудовувати існуючі програми безпеки. Натомість вони повинні розширити їх, інтегрувавши довіру в часі виконання в існуючі процеси управління. Практичні перші кроки включають інвентаризацію ШІ-агентів та їхніх можливостей, застосування принципу найменших привілеїв до інструментів та API, класифікацію автономних дій з високим ризиком, реалізацію забезпечення політик у часі виконання, безперервний моніторинг аномалій поведінки, захист пам’яті та джерел даних RAG, вимогу людського схвалення для критично важливих операцій та інтеграцію телеметрії часу виконання ШІ в існуючі робочі процеси SOC.
Погляд у майбутнє
Корпоративний ШІ продовжуватиме розвиватися в бік все більш автономних систем, здатних співпрацювати, планувати та виконувати складні бізнес-процеси. Стратегії безпеки повинні розвиватися разом із ними. Питання вже не в тому, чи успішно автентифікувався ШІ-агент. Важливіше питання – чи продовжує він поводитися безпечно протягом усього життєвого циклу. Організації, які сьогодні впровадять безперервне управління в часі виконання, будуть значно краще підготовлені до відповідального розгортання автономного ШІ, зменшення операційних ризиків та формування довіри, необхідної для масштабного впровадження корпоративного ШІ.
Майбутнє безпеки ШІ визначатиметься не лише сильнішими моделями чи кращою автентифікацією. Воно визначатиметься нашою здатністю встановлювати, вимірювати та безперервно перевіряти довіру, поки інтелектуальні системи приймають рішення в реальному часі.
Подробиці можна знайти на сайті: venturebeat.com