Фільтри контенту можуть блокувати небезпечні результати. Вони не можуть повідомити, чи мав агент повноваження видати той чи інший кредит, торкнутися виробничої системи чи взяти на себе зобов’язання компанії щодо зовнішніх дій. Це різні проблеми, і більшість підприємств вирішують лише першу.
ШІ-агент може ідеально виконувати свої інструкції та все ж таки вчиняти дії, які бізнес ніколи не санкціонував.
В комерційних середовищах я бачив, як цей шаблон виникає на практиці. Сервісний робочий процес розраховує правильну суму відшкодування, але йому бракує межі, яка б запобігала кредитам, що перевищують те, що бізнес схвалив для автономних дій. Агент замовлень коректно застосовує запитану зміну, але ігнорує фінансову або логістичну умову. Агент із закупівель визначає постачальника з найнижчою ціною, але ніхто не визначив, чи може він приймати контрактні умови, чи лише рекомендувати варіант.
Агент продовжує працювати. Проблема може виявитися лише тоді, коли щось зламається на наступному етапі.
Це не обов’язково збої в міркуваннях ШІ. Це збої у розділенні технічних можливостей та бізнес-повноважень.
Оскільки підприємства переходять від помічників, які рекомендують, до агентів, які викликають інструменти та запускають робочі процеси, кожен виробничий агент потребує чітких прав прийняття рішень: що він може виконувати, що потребує схвалення, що він може лише рекомендувати, і чого він ніколи не повинен торкатися.
Захисні механізми залишаються необхідними. Але захисний механізм — це не модель повноважень.
Контроль безпеки та права прийняття рішень вирішують різні проблеми
Ранні системи контролю генеративного ШІ перевіряють шкідливий контент, захищають конфіденційну інформацію, валідують відповіді та обмежують поведінку інструментів. Ця робота має значення.
Права прийняття рішень відповідають на інше питання: навіть якщо дія безпечна і технічно обґрунтована, чи уповноважений агент її вчиняти від імені підприємства?
Ця прогалина в управлінні стає все важче ігнорувати. У квітні 2026 року опитування Cloud Security Alliance показало, що 65% респондентів зіткнулися з інцидентом, пов’язаним з ШІ-агентом, протягом попереднього року, тоді як 82% виявили раніше невідомих агентів, що працюють у їхніх середовищах. Опитування охопило 418 ІТ- та ІБ-фахівців і було спонсоровано Token Security.
Результати ілюструють, наскільки швидко активність агентів може випереджати процеси видимості та структури власності, створені для традиційного програмного забезпечення.
Плейбук Всесвітнього економічного форуму від травня 2026 року відображає цю зміну. Він представляє Профіль можливостей та авторизації агентів, розроблений для того, щоб делеговані дії були аудиторськими, виконуваними та підзвітними.
Захисні механізми обмежують поведінку. Права прийняття рішень визначають законні повноваження.
Надайте кожному виробничому агенту контракт повноважень
Перш ніж агент отримає доступ до корпоративних інструментів, йому потрібен запис, який можна примусово виконати в машині, про те, які саме повноваження бізнес вирішив делегувати. Назвімо це Контрактом повноважень агента.
Як мінімум, цей контракт повинен відповідати на сім запитань:
-
Хто несе відповідальність за результат? Вкажіть людину або бізнес-роль, а не іншу систему.
-
Що може робити агент? Читати, рекомендувати, записувати чи надсилати?
-
До яких систем і даних він може мати доступ?
-
Які межі суттєвості застосовуються? Визначте порогові значення в доларах, кількість записів, охоплення клієнтів та операційний вплив.
-
Що викликає ескалацію? Невизначеність, аномалія, конфіденційні дані або потенційний вплив?
-
Чи можна скасувати дію, і хто може її скасувати?
-
Коли закінчуються повноваження, і як вони відкликаються?
Контроль доступу визначає, чи може агент отримати доступ до системи. Контракт повноважень визначає, чи може він вчинити конкретну дію в поточному контексті.
Це не однакові перевірки.
Оновлена Модель керівних принципів ШІ для агентського ШІ Сінгапуру проводить подібну відмінність. Вона розглядає контроль доступу, захисні механізми поведінки та людські схвалення як окремі елементи контролю та пов’язує вимоги нагляду з обсягом дії, можливістю скасування та потенційним впливом.
Розв’яжіть кожну значущу дію на чотири результати
Працююча модель прав прийняття рішень повинна відображати кожну значущу дію агента на один із чотирьох результатів.
Дозволити
Низькоризиковані, обмежені та скасовані дії виконуються автономно.
Приклади включають отримання схваленої інформації, класифікацію вхідного запиту або оновлення несуттєвого поля. Агент діє без попередньої перевірки, оскільки потенційний вплив обмежений, і дію можна скасувати.
Схвалити
Агент готує або ініціює дію, але виконання чекає на авторизацію від людини або детермінованої служби політик.
Ця категорія охоплює платежі, зміни у виробництві та дії, які суттєво впливають на клієнта, співробітника або третю сторону.
Рекомендувати
Агент аналізує, ранжує, створює або пропонує. Призначена людина приймає остаточне рішення.
Використовуйте цей результат, коли важлива контекстуальна оцінка, або коли юридичний, фінансовий чи індивідуальний вплив робить автоматичне виконання неприйнятним.
Відхилити
Дія залишається за межами повноважень агента, незалежно від його впевненості.
Видалення критичних виробничих даних, прийняття остаточного рішення щодо працевлаштування або скасування обов’язкового контролю відповідності повинні залишатися в категорії “Відхилити”, навіть якщо базові міркування агента здаються правильними.
Завжди упускається один момент: “Відхилити” має бути реалізовано поза системним запитом.
Інструкція природною мовою, що забороняє агенту щось робити, не є технічною межею. Це пропозиція.
Приймайте рішення про повноваження в реальному часі
Статична конфігурація не може охопити кожну ситуацію.
Невеликий кредит на послугу може бути дозволений за звичайних умов, але вимагати схвалення, коли сума перевищує поріг, обліковий запис перебуває під розслідуванням, або запит стосується регульованого клієнта.
Практична послідовність у реальному часі виглядає так:
-
Агент пропонує дію.
-
Рівень політик оцінює ідентифікатор агента, делегований суб’єкт, запитуваний інструмент, залучені дані, контекст транзакції та потенційний вплив.
-
Політика повертає “Дозволити”, “Схвалити”, “Рекомендувати” або “Відхилити”.
-
Система записує рішення про повноваження, результат дії та її наслідки.
-
Операційна телеметрія розширює, звужує або відкликає повноваження агента з часом.
У корпоративній комерції найнебезпечнішою помилкою ШІ є не завжди хибна відповідь. Це може бути технічно правильна дія, яку агент не мав права вчиняти.
Відшкодування може бути точним, але перевищувати ліміт схвалення. Зміна замовлення може відповідати запиту клієнта, але анулювати фінансову умову. Обіцянка доставки може відображати наявні запаси, ігноруючи обмеження перевізника, застосоване годину тому.
Агент міг не помилитися в міркуваннях. Підприємство не визначило, де закінчуються його повноваження.
Людський нагляд має бути спрямований на винятки, а не на все
Вимагати схвалення людиною для кожної дії агента виглядає консервативно. У великих масштабах це може швидко перетворитися на формальне підтвердження.
Коли рецензенти схвалюють тисячі рутинних дій, увага знижується, і справжні винятки стають важче ідентифікувати. Сінгапурська рамкова програма визнає, що безперервний людський нагляд за кожним робочим процесом агента стає непрактичним у великих масштабах і рекомендує значущі контрольні точки для дій з вищим ризиком або незворотних дій.
Пропорційна авторизація є більш працездатною моделлю.
Низькоризиковані дії виконуються в межах вузьких обмежень. Високоризиковані або незворотні дії вимагають схвалення. Несподівана поведінка викликає ескалацію. Будь-яка значуща дія без визначеної політики авторизації за замовчуванням відхиляється.
Мета — не максимальна автономія. Це найвищий рівень автономії, який підприємство може спостерігати, керувати та відповідально скасовувати.
Виміряйте, чи збалансовані повноваження
Після того, як агенти будуть введені в експлуатацію, точність відповідей стає занадто вузьким показником успіху.
Підприємства також повинні відстежувати:
-
Рівень перегляду: Як часто люди відхиляють або суттєво змінюють те, що вирішив агент?
-
Точність ескалації: Чи повідомляє агент про справді ризиковані випадки, чи повертає рутинну роботу людям?
-
Спроби несанкціонованих дій: Як часто агент намагається вийти за межі свого обсягу системи, даних або дій?
-
Рівень помилок, що впливають на бізнес: Як часто дозволені дії призводять до фінансової, нормативної, операційної шкоди або шкоди клієнтам?
-
Затримка прийняття рішень: чи вимога схвалення керує ризиком, чи уповільнює автоматизацію, яка вже була безпечною?
Ці показники перетворюють повноваження на керовану операційну змінну.
Постійно надійна продуктивність може виправдати розширення обмежених повноважень. Часті перегляди, збої ескалації або порушення політик повинні звузити їх.
Прогалина в управлінні — не в моделі
Безпека моделі, контроль виведення та безпечне використання інструментів — все це має значення. Підприємства повинні продовжувати інвестувати в них.
Але жоден з цих контролів не може відповісти, хто делегував повноваження, скільки було передано, за яких умов вони застосовуються, або хто несе відповідальність за результат, коли щось йде не так.
Контракт повноважень агента може.
Перш ніж запитувати, наскільки автономним може стати ШІ-агент, більш корисним питанням є: що підприємство насправді готове делегувати, і як ця делегація буде виконуватися, спостерігатися та відкликатися?
Демонстрація роботи агента працює. Це вже не найскладніше.
Ніксал Пател — керівник відділу продуктів. Висловлені погляди є його власними
Ласкаво просимо до спільноти VentureBeat!
Наша програма запрошених авторів — це місце, де технічні експерти діляться своїми знаннями та надають нейтральні, неупереджені глибокі аналізи ШІ, інфраструктури даних, кібербезпеки та інших передових технологій, що формують майбутнє підприємств.
За даними порталу: venturebeat.com