Представлено 1Password
Надання можливостей штучного інтелекту (ШІ) у корпоративному середовищі фундаментально змінює модель загроз, запроваджуючи новий клас акторів у системах ідентифікації. Проблема полягає в тому, що ШІ-агенти здійснюють дії в чутливих корпоративних системах, входять до системи, отримують дані, викликають інструменти великих мовних моделей (LLM) та виконують робочі процеси, часто без тієї видимості чи контролю, які були розроблені для забезпечення традиційними системами управління ідентифікацією та доступом.
Інструменти ШІ та автономні агенти поширюються підприємствами швидше, ніж команди безпеки можуть їх контролювати або ними керувати. Водночас більшість систем ідентифікації досі припускають наявність статичних користувачів, довготривалих облікових записів сервісів та загальних призначень ролей. Вони не були розроблені для представлення делегованих повноважень людини, короткочасних контекстів виконання або агентів, що працюють у тісних петлях прийняття рішень.
У результаті керівники ІТ-відділів повинні переглянути самі основи довіри. Ця зміна не є теоретичною. Архітектура нульової довіри NIST (SP 800-207) прямо зазначає, що “всі суб’єкти — включно з програмами та нелюдськими сутностями — вважаються недовіреними до моменту автентифікації та авторизації”.
У світі, керованому агентами, це означає, що системи ШІ повинні мати власні чіткі, перевірювані ідентифікатори, а не працювати через успадковані або спільні облікові дані.
“Архітектури корпоративного управління ідентифікацією та доступом (IAM) побудовані на припущенні, що всі системні ідентифікатори є людськими, що означає, що вони покладаються на послідовну поведінку, чіткий намір та пряму людську підзвітність для забезпечення довіри”, — каже Ненсі Ванг, технічний директор 1Password та партнер Felicis Ventures. “Агентні системи порушують ці припущення. ШІ-агент — це не користувач, якого можна навчити або періодично перевіряти. Це програмне забезпечення, яке можна копіювати, розгалужувати, масштабувати горизонтально та залишати працювати в тісних петлях виконання в численних системах. Якщо ми продовжуватимемо ставитися до агентів як до людей або статичних облікових записів сервісів, ми втратимо здатність чітко представляти, від чийого імені вони діють, які повноваження вони мають і як довго ці повноваження повинні тривати”.
Як ШІ-агенти перетворюють середовища розробки на зони ризику безпеки
Одним із перших місць, де ці припущення щодо ідентифікації руйнуються, є сучасне середовище розробки. Інтегроване середовище розробника (IDE) еволюціонувало від простого редактора до оркестратора, здатного читати, записувати, виконувати, отримувати та налаштовувати системи. Завдяки ШІ-агенту в центрі цього процесу, впровадження підказок (prompt injection) стає не просто абстрактною можливістю, а конкретним ризиком.
Оскільки традиційні IDE не були розроблені з урахуванням ШІ-агентів як основного компонента, додавання можливостей ШІ “ззовні” створює нові види ризиків, до яких традиційні моделі безпеки не були готові.
Наприклад, ШІ-агенти мимоволі порушують межі довіри. На перший погляд нешкідливий файл README може містити приховані директиви, які змушують помічника розкрити облікові дані під час стандартного аналізу. Проектний вміст з ненадійних джерел може змінити поведінку агента небажаним чином, навіть якщо цей вміст не має очевидної схожості з запитом.
Джерела вводу тепер виходять за межі файлів, які навмисно запускаються. Документація, файли конфігурації, імена файлів та метадані інструментів — все це поглинається агентами як частина їхніх процесів прийняття рішень, впливаючи на те, як вони інтерпретують проект.
Довіра руйнується, коли агенти діють без наміру чи підзвітності
Коли ви додаєте високоавтономних, детермінованих агентів, що діють з підвищеними привілеями, здатних читати, записувати, виконувати або переналаштовувати системи, загроза зростає. Ці агенти не мають контексту, не можуть визначити, чи є запит на автентифікацію законним, хто делегував цей запит, або які межі повинні бути встановлені навколо цієї дії.
“З агентами ви не можете припускати, що вони мають здатність робити точні судження, і їм, безумовно, бракує морального кодексу”, — каже Ванг. “Кожна їхня дія повинна бути належним чином обмежена, а доступ до чутливих систем і те, що вони можуть там робити, повинен бути чіткіше визначений. Складність полягає в тому, що вони постійно виконують дії, тому вони також повинні бути постійно обмежені”.
Де традиційні IAM зазнають невдачі з агентами
Традиційні системи управління ідентифікацією та доступом (IAM) базуються на кількох основних припущеннях, які порушуються агентним ШІ:
- Статичні моделі привілеїв зазнають невдачі з автономними робочими процесами агентів: Звичайні IAM надають дозволи на основі ролей, які залишаються відносно стабільними з часом. Але агенти виконують ланцюжки дій, що вимагають різних рівнів привілеїв у різні моменти. Принцип найменших привілеїв більше не може бути конфігурацією “встановив і забув”. Тепер він повинен бути динамічно масштабований з кожною дією, з автоматичними механізмами закінчення терміну дії та оновлення.
- Людська підзвітність руйнується для програмних агентів: Застарілі системи припускають, що кожна ідентифікація пов’язана з конкретною людиною, яка може нести відповідальність за вчинені дії, але агенти повністю розмивають цю межу. Тепер незрозуміло, коли діє агент, під чиїми повноваженнями він працює, що вже є величезною уразливістю. Але коли цей агент дублюється, змінюється або залишається працювати ще довго після виконання його початкової мети, ризик множиться.
- Виявлення на основі поведінки зазнає невдачі з безперервною активністю агентів: Хоча люди-користувачі дотримуються впізнаваних шаблонів, таких як вхід у систему протягом робочого дня, доступ до знайомих систем та виконання дій, що відповідають їхнім посадовим функціям, агенти працюють безперервно, одночасно в численних системах. Це не тільки множить потенціал для пошкодження системи, але й призводить до того, що законні робочі процеси позначаються як підозрілі традиційними системами виявлення аномалій.
- Ідентифікатори агентів часто невидимі для традиційних систем IAM: Традиційно ІТ-команди можуть більш-менш конфігурувати та керувати ідентифікаторами, що працюють у їхньому середовищі. Але агенти можуть динамічно створювати нові ідентифікатори, працювати через існуючі облікові записи сервісів або використовувати облікові дані таким чином, що робить їх невидимими для звичайних інструментів IAM.
“Це все про контекст, про намір за агентом, а традиційні системи IAM не мають жодної можливості це керувати”, — каже Ванг. “Це злиття різних систем робить виклик ширшим, ніж просто ідентифікація, вимагаючи контексту та спостережуваності, щоб зрозуміти не тільки хто діяв, але й чому і як”.
Переосмислення архітектури безпеки для агентних систем
Захист агентного ШІ вимагає переосмислення корпоративної архітектури безпеки з нуля. Необхідні кілька ключових змін:
- Ідентифікація як площина керування для ШІ-агентів: Замість того, щоб розглядати ідентифікацію як один з багатьох компонентів безпеки, організації повинні визнати її як фундаментальну площину керування для ШІ-агентів. Великі постачальники рішень безпеки вже рухаються в цьому напрямку, ідентифікація інтегрується в кожен продукт та стек безпеки.
- Доступ з урахуванням контексту як вимога для агентного ШІ: Політики повинні стати значно більш гранульованими та специфічними, визначаючи не тільки те, до чого агент може отримати доступ, але й за яких умов. Це означає врахування того, хто викликав агента, на якому пристрої він працює, які часові обмеження застосовуються, і які конкретні дії дозволені в кожній системі.
- Обробка облікових даних за нульовим знанням для автономних агентів: Один із перспективних підходів полягає в тому, щоб повністю виключити облікові дані з поля зору агентів. Використовуючи такі методи, як агентне автозаповнення, облікові дані можуть бути впроваджені в процеси автентифікації без того, щоб агенти коли-небудь бачили їх у відкритому тексті, подібно до того, як менеджери паролів працюють для людей, але розширені для програмних агентів.
- Вимоги до аудиту для ШІ-агентів: Традиційні журнали аудиту, що відстежують виклики API та події автентифікації, недостатні. Аудит агентів вимагає фіксації того, хто є агент, під чиїми повноваженнями він працює, який обсяг повноважень було надано, та повного ланцюжка дій, виконаних для завершення робочого процесу. Це відображає детальний журнал дій, що використовується для людей-співробітників, але повинен бути адаптований для програмних сутностей, що виконують сотні дій за хвилину.
- Забезпечення меж довіри між людьми, агентами та системами: Організаціям потрібні чіткі, виконувані межі, які визначають, що може робити агент, коли його викликає певна особа на конкретному пристрої. Це вимагає розмежування наміру та виконання: розуміння того, що користувач хоче, щоб агент досяг, від того, що агент фактично робить.
Майбутнє корпоративної безпеки у світі агентів
Оскільки агентний ШІ стає частиною повсякденних корпоративних робочих процесів, виклик безпеки полягає не в тому, чи будуть організації впроваджувати агентів, а в тому, чи зможуть системи, що керують доступом, розвиватися, щоб не відставати.
Блокування ШІ на периметрі, ймовірно, не буде масштабованим, як і розширення застарілих моделей ідентифікації. Необхідний перехід до систем ідентифікації, які можуть враховувати контекст, делегування та підзвітність у реальному часі, як для людей, так і для машин та ШІ-агентів.
“Стрибок у виробниче використання агентів відбудеться не тільки завдяки більш розумним моделям”, — каже Ванг. “Він прийде завдяки передбачуваним повноваженням та виконуваним межам довіри. Підприємствам потрібні системи ідентифікації, які можуть чітко представляти, від чийого імені діє агент, що йому дозволено робити, і коли ці повноваження закінчуються. Без цього автономність стає некерованим ризиком. З цим агенти стають керованими”.
Як захиститися (Порада ІТ-Блогу): Щоб зменшити ризик використання вразливостей ШІ-агентів, завжди ретельно перевіряйте джерела коду та документації, які використовують ваші ШІ-інструменти, та застосовуйте принцип найменших привілеїв для всіх облікових записів, які взаємодіють з цими агентами.
За даними порталу: venturebeat.com