За підтримки EDB
Оскільки підприємства надають ШІ-агентам більшої автономії — здатності планувати, ухвалювати рішення та діяти в різних системах без схвалення кожної дії людиною — на центральне місце кожного архітектурного огляду висувається складне запитання: що саме зупинить агента, коли він спробує виконати дію, на яку ніколи не мав дозволу?
Це ваші агенти, які працюють на ваших моделях, отримують доступ до ваших даних у вашій інфраструктурі — і відповідальність за їхні дії лежить на вас. Цю відповідальність неможливо виконати постфактум або за допомогою набору абстрактних політик, які існують на папері, але не застосовуються на практиці. Агентам потрібні правила в контексті моменту, оскільки вони не мають власного судження щодо своїх дій.
Розглянемо просте правило: “Ніколи не відчиняй дверцята автомобіля”. Якщо слідувати йому буквально, агент ніколи не зможе сісти в автомобіль або вийти з нього. Але якщо змінити контекст (автомобіль щойно розбився, виникла пожежа, хтось постраждав і потребує виходу), тоді потрібне правило буде протилежним. Контекст у момент часу є вирішальним. Ми просимо агентів виконувати інтелектуальні завдання; це вимагає інтелектуальних правил.
Природною реакцією є додавання “захисних обмежувачів” навколо агента: інструкцій, політик і моніторингу, що накладаються поверх моделі. Ці механізми важливі, але вони мають структурне обмеження: правило про дверцята автомобіля є правдоподібним до того моменту, поки не виникне реальна потреба ухвалити рішення про їх відчинення. Контроль на рівні агента надійний лише настільки, наскільки передбачуваний вихідний результат роботи агента, а автономія — це саме та властивість, яка робить цей результат важко передбачуваним. Управління, що залежить від перегляду дій перед їх виконанням, не може встигати за системою, яка діє за мілісекунди, одночасно в багатьох системах.
Управління має стати виконуваним і застосовуватися там, де агенти фактично виконують свою роботу: на рівні операційних даних, у контексті та саме в той момент, коли це відбувається.
Рівень даних — це точка застосування
Агенти створюють цінність, взаємодіючи з даними. Вони роблять запити, отримують, трансформують і все частіше діють на основі цих даних. Політика, яка забороняє агенту доступ до певного класу даних, має сенс лише тоді, коли система може відмовити в цьому доступі в момент запиту агента. Крім того, принцип, згідно з яким ШІ має бути аудитованим, має сенс лише тоді, коли організація може відновити, що саме робив агент, до яких даних він звертався, від чийого імені діяв і які були наслідки. Коли управління здійснюється на рівні даних, воно діє незалежно від того, як був побудований агент або як він поводиться, оскільки контроль є властивістю самої бази даних, а не обіцянкою агента.
Поведінка агента може бути ймовірнісною. Управління — ні
Підприємство не повинно покладатися на те, що модель обиратиме дотримання політики. Політика має примусово виконуватися системою. Це різниця між сподіванням, що виконавець діятиме в межах встановлених правил, і створенням таких меж, які він не зможе перетнути.
Механізми контролю, що реалізують це, вже використовуються багатьма підприємствами на рівні даних: контроль доступу на основі ролей та атрибутів, безпека на рівні рядків і стовпців, класифікація та маскування даних, політики як код, а також повні аудиторські сліди.
Агенти змінюють не механізм, а те, кого цей механізм повинен розпізнавати. Система керування ідентифікацією повинна розглядати агента як самостійного суб’єкта з власною ідентичністю та метою, заявленою на початку сеансу.
Після прив’язки мети до ідентичності, механізм застосування політик зможе оцінювати її так само, як сьогодні оцінює роль або відділ. А запис про події зможе фіксувати не тільки те, хто діяв і до чого звертався, а й те, яку мету було заявлено.
На практиці це реалізується через дев’ять елементів контролю, згрупованих за трьома імперативами:
Застосовувати
-
Контроль доступу на основі ролей та атрибутів, що застосовується під час виконання запиту, як для агентів, так і для користувачів.
-
Динамічне маскування стовпців, кероване тим самим шляхом застосування політик.
-
Ідентичність агента як першочерговий суб’єкт, із заявленою метою, прив’язаною на початку сеансу, і збереженим користувачем, що діяв.
Бачити та доводити
-
Класифікація та тегування, що визначають політику.
-
Журналювання аудиту на рівні сеансу, що записує, який агент діяв, для якого користувача та під якою заявленою метою.
-
Відстеження походження даних через конвеєри, щоб результат міг бути простежений до запиту, який його створив.
Об’єднувати та зміцнювати
-
Централізоване, портативне управління політиками.
-
Шифрування даних у стані спокою та під час передавання.
-
Послідовне застосування правил в локальному середовищі, хмарі та суверенних або ізольованих середовищах.
“Заявлена мета — це те, що має значення. Вона стає атрибутом, який шар доступу вже розуміє, і оцінюється за тим самим шляхом застосування політик, що й роль та безпека на рівні рядків. Механізм примусового виконання не змінюється. Змінюється те, що мета агента стає частиною того, що він оцінює, і частиною того, що запис доводить згодом”, — каже Пріянка Джейн, віце-президентка з управління продуктами, дані та ШІ-управління EDB.
Незалежно від того, на якому етапі впровадження ШІ ви перебуваєте, застосування контролю на рівні даних дозволяє рухатися швидше, а не повільніше. Механізми контролю вже є в базі даних. Різниця в тому, що агенти тепер повинні проходити через них.
Цифровий поводок, а не замкнені двері
Мета полягає не в тому, щоб зупинити агентів від виконання корисної роботи. Вона полягає в тому, щоб визначити, як далеко може зайти агент, чого він може торкнутися, що він може змінити, що вимагає ескалації та як організація може відновити події, якщо щось піде не так. При такому управлінні агенти ідентифікуються, їхні дії обмежуються, вони контролюються та можуть бути перевірені. Підприємство може впроваджувати їх швидше, оскільки команди з безпеки, ризиків та керівництво довіряють операційній моделі, що лежить в основі.
Відкритий, суверенний і такий, що застосовується з вихідного коду
Побудована на базі відкритого коду Postgres, ця відкрита основа дозволяє підприємствам контролювати, де розташовані їхні дані, хто може отримати до них доступ і за якими політиками, не передаючи управління шару, яким вони не володіють або який не можуть перевірити. Для регульованих галузей таке поєднання суверенітету даних та застосування контролю на рівні вихідного коду — це не просто бажана опція, а передумова для впровадження агентів у виробництво.
Агентні системи ставатимуть все більш потужними та автономними. Це причина бути уважними до того, де саме знаходиться контроль, а не причина сповільнюватися. Підприємства, які застосовують управління на рівні даних, можуть агресивно впроваджувати ШІ, оскільки те, що захищає їхні дані, — це більше, ніж просто благі наміри.
EDB Postgres AI — це відкрита, масштабована суверенна платформа для даних та ШІ, яка об’єднує транзакційні, аналітичні та ШІ-робочі навантаження — з управлінням, що застосовується там, де знаходяться дані. Повну структуру можна знайти у білій книзі EDB Governing Agentic AI at Enterprise Speed.
Макс Романенко — головний технологічний директор EDB.
Спонсоровані статті — це контент, створений компанією, яка або платить за публікацію, або має ділові стосунки з VentureBeat, і він завжди чітко позначений. Для отримання додаткової інформації зв’яжіться з [email protected].
За даними порталу: venturebeat.com