Ідентифікація та дозволи більше не є достатніми для забезпечення безпеки корпоративних ШІ-агентів. Вони визначають, до чого агент може отримати доступ, але не те, як він поводитиметься, коли почне працювати самостійно. Автономний агент може за лічені секунди перетворити законний доступ до корпоративних даних на небажані дії. Цей розрив змушує безпеку корпоративного ШІ переходити від простого керування доступом до багаторівневого підходу, який включає керування виконанням, каже Гезер Сейлан, головна директорка з інформаційної безпеки Box.
«Контроль доступу та дозволи є фундаментом, але проблема в тому, що вони були розроблені для людей», — зазначає Сейлан. «Дозволи все ще залишаються фундаментом, але потрібно також продумати, як масштабуються дозволи для агентів».
Контроль доступу створювався для світу, де все відбувалося повільніше та з меншими наслідками, де співробітник із застарілими дозволами до папки десятирічної давності навряд чи шукатиме там дані або навіть згадає про наявність доступу. Але агент досліджуватиме всі свої дозволи, працюючи на масштабах, недосяжних для людини, і виявляючи забуті помилки конфігурації та застарілі дозволи значно швидше, ніж це міг би зробити будь-який працівник. Ідентифікація та обмежені дозволи залишаються першим рівнем будь-якого надійного захисту, оскільки агенти підвищують ставки, а чистота доступу стає ціннішою, ніж будь-коли.
Постійний потік інцидентів протягом останніх місяців підкреслює потенціал для серйозних збитків, коли моделі виходили за межі відведених їм пісочниць, отримували доступ до систем, до яких не мали б, або читали вміст, доступ до якого їм не було надано. Хоча деталі варіюються, загальна загроза залишається тією самою: агент знайшов шлях через дані, до яких він міг отримати доступ, і скористався ним.
Тільки контроль доступу не може забезпечити безпеку автономних ШІ-агентів
Виникають ускладнення, коли агентам надаються широкі постійні дозволи, щоб відповідати широким робочим процесам. Агент може законно потребувати виклику п’ятдесяти інструментів через двадцять різних дій протягом життєвого циклу завдання, читаючи та записуючи папки, що охоплюють усі відділи компанії. Але надання всього цього доступу одночасно збільшує радіус можливих збитків для даних і контенту, якщо один крок піде не так. Надійніша модель дозволів надає доступ лише тоді, коли він потрібен, каже Сейлан.
«Вам потрібні дозволи, які змінюються залежно від того, що було поставлено завдання агенту, коли йому потрібно виконати цю дію», — пояснює вона. «Якщо він робить один крок і потребує лише двох інструментів, йому слід надати доступ лише до них. Коли ви звужуєте дозволи до завдання, яке стоїть перед агентом, кількість способів, якими будь-який даний крок може призвести до помилки, також зменшується».
Від керування доступом до керування виконанням
Суворе забезпечення безпеки більше не залежить від того, чи має агент доступ до конкретних даних, а від того, чи слід йому виконувати певну дію на конкретному кроці. Це відмінність між постійним наданням доступу та обмеженим. Іншими словами, агент може мати законні права на доступ до фінансової папки, але все одно не повинен записувати чотири тисячі файлів звідти до нового розташування, навіть якщо йому наказано це зробити.
«Співробітника, який має доступ до даних про заробітну плату, які він ніколи не повинен був зберігати, можна було б змусити витягти записи про заробітну плату та записати їх до загальнодоступної спільної папки, опублікувавши таким чином весь компенсаційний бюджет компанії одним рухом», — каже вона. «Всі перевірки доступу були успішно пройдені, але така поведінка все одно призводить до катастрофічних наслідків».
Самі по собі запити не можуть надійно керувати поведінкою агента, оскільки інструкції можуть змінюватися, агенти можуть поглинати вставлені інструкції або ними можуть маніпулювати файли, які вони читають. Стійкі засоби контролю повинні перебувати на рівень нижче, із самими викликами інструментів, а також із контентом, на який ці виклики впливають. Заздалегідь вирішивши, що агент має право виконувати, незалежно від того, як маніпулюється його запитом, поведінка залишається в межах фіксованих меж, які неможливо обійти за допомогою хитрого вводу.
Застарілі платформи контенту не були розроблені для ШІ-агентів
Більшість того, до чого агент має доступ у компанії, — це неструктурований контент, включаючи контракти, політики, дані клієнтів — накопичені файли, що становлять переважну більшість корпоративних даних. Значна частина цього досі зберігається в системах, розроблених для людських звичок до файлового зберігання: мережеві диски, застарілі платформи ECM та багато інструментів SaaS. Ці системи створювалися для відповіді на запитання: «Чи має ця особа дозвіл?» і вони відповідають доступом на рівні папки, який не перевірявся роками.
Застарілі платформи не мають метаданих для обробки агентом або класифікації для шару примусового виконання, а їхні журнали недостатньо деталізовані, щоб показати, що агент читав. Підключення ШІ-з’єднувача до такого стека не вирішує жодної проблеми, воно лише надає агентам ті ж сліпі зони, тільки зі швидкістю машини, каже Сейлан.
«Кожна дія агента зрештою зводиться до контенту», — зазначає Сейлан. «Якщо рівень контенту не може сказати вам, що він містить, кому він належить і що ніколи не повинно його залишати, то під вашими засобами контролю нічого немає».
Як визначити, які дії ШІ потребують схвалення людини
Два роки тому всі припускали, що безпека завжди означатиме залучення людини до процесу. Розробка та використання агентів змінили це припущення, каже Сейлан, і Box тепер сортує дії за трьома рівнями: повністю автономні дії, контрольовані дії та дії з високим ризиком, які потребують схвалення людини.
-
Повністю автономні: зарезервовані для дій, які є оборотними, обмеженими, протоколюються і не містять неперевіреного вводу, а помилка в них не коштує занадто дорого.
-
Контрольовані дії: коли команда набула достатньої впевненості в агенті та поєднала його з оповіщеннями та можливістю відкату, щоб вловити та виправити проблему в процесі.
-
Необоротні, дії з високим ризиком: які завжди маршрутизуються через людину — наприклад, коли агент хоче видалити велику кількість файлів або стерти основну папку в структурі.
Кожна команда повинна калібрувати межі між цими рівнями відповідно до власної толерантності до ризику.
Підхід Box полягає в тому, щоб розміщувати засоби контролю на платформі, а не в робочому процесі, застосовуючи захист, такий як класифікація даних, маркування та термін дії, без необхідності людської перевірки для кожної дії.
«Правильна конфігурація повинна застосовуватися з самого початку, а не блокувати дію в кінці», — каже Сейлан.
Створення довіри до ШІ-агентів через поведінку з часом
Організація може прийняти рішення про доступ один раз, але довіряти поведінці агента слід лише з часом, спостерігаючи, як агент працює, співпрацює та базується на результатах роботи інших агентів. Опубліковані рамки, як правило, відстають від технологій або є надто абстрактними для впровадження; натомість Box працює за меншим набором принципів: суворо обмежені ідентифікації та дії агентів, чіткі очікування щодо того, що можна відкатити, три рівні схвалення та спосіб для команд швидко тестувати та ітерувати.
«Уповноважений шлях має бути швидким шляхом, тому що коли командам не надають безпечного способу експериментувати, вони, як правило, повністю обходять засоби контролю», — каже Сейлан. «Завдання керівника з питань безпеки — запропонувати спосіб швидко рухатися, не виходячи за межі захисту».
Підтримка довіри до агента залежить від можливості бачити, як він насправді поводиться. Але традиційні інструменти моніторингу не були створені для цього завдання; базові показники поведінки, що лежать в основі аналітики поведінки користувачів та сутностей, були відкалібровані до людської активності, а підозріла поведінка агента не обов’язково схожа на людську.
І хоча встановлення корисної базової лінії для агента починається з реєстрації подій, багато агентів починають як експерименти, тому їхні дії ніколи не потрапляють до інфраструктури журналювання. Крім того, важливі сигнали рідко є окремими, легко позначаються діями, а радше ланцюгами активності між системами, де вивід одного агента стає вхідними даними іншого, тоді як виявлення для цієї моделі ще розробляються.
Таким чином, керування агентами вимагає видимості не тільки того, до чого вони мають доступ, але й того, що вони насправді роблять, і ця видимість повинна знаходитися там, де знаходиться контент.
За матеріалами: venturebeat.com