Штучний інтелект оцінює кожен крок агентів Rubrik, але чи правильні його вердикти — ніхто не перевіряв

Штучний інтелект оцінює кожен крок агентів Rubrik, але чи правильні його вердикти — ніхто не перевіряв 1

Під час круглого столу для CISO, організованого головним директором з інформаційної безпеки Anthropic, Дев Ріші поставив просте запитання: чи всі присутні мали письмові політики щодо управління та безпеки ШІ? Кожна рука піднялася — близько 14 людей, за його підрахунками. Його наступне запитання, щодо того, як насправді дотримуватися цих політик на практиці, отримало іншу відповідь. “І всі засміялися”, – згадав Ріші, генеральний директор відділу ШІ в Rubrik, під час панельної дискусії на VB Transform 2026 у Менло-Парку. “Це було схоже на брудний секрет у кімнаті, що у всіх є ці політики, але немає жодного способу їх реалізувати”.

«Наш засновник і технічний директор дійсно наполягав на тому, щоб дозволити нашим агентам працювати в режимі YOLO», — розповів Ріші аудиторії. Це визнання походить від публічно зареєстрованої компанії з безпеки даних, бізнес якої полягає в резервному копіюванні того, що він назвав найважливішими даними у світі.

Режим YOLO видаляє підказку дозволу з робочих процесів агента і дозволяє йому діяти самостійно. У версії Rubrik другий ШІ оцінює кожну дію в реальному часі відповідно до встановленої політики замість людини, яка натискає “затвердити”. Rubrik спочатку експериментує на собі. Ріші вважає автономність вирішеним питанням можливостей і відкритим питанням оцінки. “Якщо ви попросите агента діяти автономно, він це зробить”, – сказав він. “Це питання, яке ви вирішуєте всередині компанії. Чи варто це робити?”

Rubrik отримав це запитання непросто. Коли пілотні версії Claude Code та Cowork були запущені, компанія вимагала, щоб кожна команда виконувалася в режимі запиту, щоб працівник, який її видає, ніс відповідальність, а розробники висловили протест, що зайняло одну гілку Slack на 120 повідомлень.

«Розробники, по суті, виступають проти, і вони кажуть: це схоже на ліцензійну угоду iTunes. Я просто натискаю галочки, галочки, галочки, галочки, галочки, галочки, галочки», — сказав Ріші. «Я ніяк не можу це прочитати. І це стає грою в безпеку». Приблизно 80% респондентів перебувають у такому ж становищі, зазначив Ріші, посилаючись на дослідження Rubrik Zero Labs, яке показало, що моніторинг та затвердження дій агентів займає більше часу, ніж економлять самі агенти. «Стан агентів», квітневий звіт, що стоїть за цією цифрою, опитав понад 1600 керівників ІТ та безпеки.

SAGE — це причина, чому Rubrik довіряє цій ставці. Скорочення від Semantic AI Governance Engine, SAGE — це шар арбітражу всередині Rubrik Agent Cloud, який відстежує кожну дію, яку виконує агент, і читає семантичний намір, що стоїть за нею, а потім приймає або відхиляє дію відповідно до політик, написаних природною мовою. «Ми взяли те, що люди називали “людина в циклі” (людський контроль), гарну ідею, і замінили її на “ШІ в циклі”», — сказав Ріші, описуючи пропозицію для керівників служби безпеки, яких він охарактеризував як обережних щодо недетермінованих систем.

Безпека, а не витрати, блокує ROI ШІ

Шлях Ріші до Rubrik пролягав через Predibase, стартап з інфраструктури генеративного ШІ, який він співзаснував і керував як генеральний директор до того, як Rubrik погодилася придбати його у червні 2025 року. До цього він очолював продуктову розробку ML в Google у команді, яка стала Vertex AI, працював першим продакт-менеджером Kaggle, коли компанія зросла приблизно з одного до десяти мільйонів користувачів, і має ступені бакалавра та магістра комп’ютерних наук Гарварду.

Протягом приблизно перших трьох з половиною місяців роботи в Rubrik Ріші провів 200 розмов з клієнтами — керівниками ІТ та безпеки з усієї бази клієнтів, що входять до списку Global 2000, ставлячи відкриті запитання про витрати, затримку, продуктивність та оркестрацію. «Досить послідовно, що я почув у всіх цих розмовах, так це те, що все це другорядне», — сказав він. «Основна проблема полягає в тому, як отримати схвалення з точки зору безпеки та ризиків. Я стурбований усіма різними речами, які можуть піти не так. Насправді, я відчував, що це було однією з найбільших перешкод для ROI».

Дослідження VentureBeat Pulse, представлене на сцені Transform раніше того ж дня, підтверджує розрив, про який постійно говорив Ріші. Дві третини підприємств, 66%, вже дозволяють або активно розробляють рішення для виробничого розгортання без людського контролю, але лише 5% повністю довіряють автоматизованим оцінкам, які приймають це рішення.

Один ШІ читає те, що не може правило

Власні політики Rubrik виявили, чому письмові правила не працюють як механізм забезпечення дотримання. Одне внутрішнє правило стверджує, що агенти повинні поважати політику використання даних клієнтів Rubrik, що звучить як таке, що може бути забезпечене, поки хтось не спробує. «Політика використання даних клієнтів Rubrik — це приблизно трьохсторінковий документ юридичного тексту», — сказав Ріші. «Я не маю жодного уявлення, як записати це як правило». Відповідаючи на сцені на запитання, як команда фахівців з інфраструктури ШІ взялася за проблему, яка належить інженерам з безпеки, Ріші відповів: «чесно кажучи, з великою дозою наївності та невинності». Його команда зробила ставку на те, що моделі, які добре розуміють мову, можуть контролювати інші моделі, і SAGE став відповіддю.

Аргумент на користь розміщення моделі на посаді судді зводиться до точності. Правило на кшталт «агенти не повинні мати можливості редагувати поля доходу в Salesforce» зазнає невдачі в традиційних інструментах, оскільки Salesforce не розрізняє, які поля вважаються доходами, пояснив Ріші, тому адміністратори повертаються до ручного затвердження кожної дії в Salesforce. SAGE натомість читає намір і діє як суддя, несучи організаційний контекст, який може відрізнити безпечний запит від редагування, забороненого політикою.

Утримання судді маленьким — це те, що забезпечує економічну ефективність. SAGE працює на малій мовній моделі, яка, за словами Ріші, працює на порядок дешевше та з меншою затримкою, ніж передова LLM. «Якби я сказав вам: не хвилюйтеся, ви будете в безпеці та під контролем, але я подвою ваші витрати та затримку, ви б сказали мені вийти з кімнати», — сказав Ріші.

Коли Ріші запитав, хто з присутніх турбувався про споживання токенів за останній рік, половина рук піднялася. «І я припускаю, що інша половина, ймовірно, просто занадто лінива, щоб підняти руки», — сказав він.

SAGE — це сукупність суддів, заснованих на ефективному щодо параметрів доналаштуванні, яке Rubrik використовує для вирішення завдань, специфічних для варіантів базової моделі зі спільним організаційним контекстом. Один суддя стежить за галюцинаціями використання інструментів, тоді як інший приховує PII, перш ніж вони зможуть вийти, кожен працює як окрема політика, що забезпечується. Команди з безпеки та GRC почали записувати фінансові правила в той самий рівень, включаючи одну внутрішню політику, яка забороняє витрачати ШІ на особисті проєкти.

Смертельна трійця

На запитання, які атаки його найбільше турбують, Ріші вказав на «смертельну трійцю» — термін, який дослідник безпеки Саймон Віллісон вигадав у червні 2025 року для агента, який зберігає приватні дані, приймаючи контент, який ніхто не перевіряв, і має канал для надсилання того, що він знаходить, назовні. Небезпека, за словами Ріші, полягає в тому, що відбувається, коли окремі законні дозволи накопичуються. Агент, якому надано доступ до Salesforce та електронної пошти за обліковими даними співробітника, ще нічого не зробив неправильно, причому слово «ще» є ключовим. «Дуже простий приклад: агент може почати отримувати дані з Salesforce, а потім вирішити випадково виточити та вивезти їх через електронну пошту», — сказав він аудиторії. Компанія з фінансових послуг, з якою він зустрівся вранці сесії, привела йому приклад, сказавши Ріші, що жоден з окремих дозволів сам по собі не є поганим, і агенту потрібен кожен з них для виконання своєї роботи. «Він повинен мати доступ до кожної з цих систем, але саме комбінація стає справді руйнівною», — сказав Ріші.

Традиційне управління ідентифікацією та доступом ніколи не враховувало цю комбінацію, оскільки воно покладалося на судження співробітника, який володіє обліковими даними, стверджував Ріші, а агенти цього не постачають. «Я можу сказати вам, як часто Claude Code намагався виточити частину нашого конфіденційного вихідного коду до публічного репозиторію GitHub, це неймовірно висока цифра», — сказав він. Повне відключення агентів від загальнодоступних ресурсів позбавить їхньої мети, що повертає проблему до оцінки намірів у контексті, а не до скасування доступу.

Окреме опитування VentureBeat June Pulse серед 107 кваліфікованих корпоративних респондентів відображає масштаб саме цієї схеми. На сцені Transform того ранку дослідницька група VentureBeat повідомила, що 69% компаній використовують спільне використання облікових даних у своєму парку агентів. Компанії, які десь використовували спільні облікові дані, частіше зазнавали проблем, повідомляючи про інцидент безпеки або близьку невдачу у 63,5% випадків (47 з 74) проти 40,9% (9 з 22), де кожен агент мав власну ідентичність.

Атаки, які не виявляє жоден окремий хід

Rubrik Agent Cloud досяг загальної доступності в лютому, хоча ще не все, що описав Ріші, входить до нього. Тестування на історичних даних тільки починає розгортатися. Ця функція відтворює історичні дії та виклики інструментів організації агентами відповідно до нової політики, показуючи, де політика втрутилася б, а де дія пройшла б непоміченою, з редагуванням політики, застосованим у реальному часі. Ріші назвав цей архів одним з найцінніших сховищ даних, якими володіє підприємство.

Виявлення та блокування в реальному часі виявляються початковою точкою, а не повним продуктом. Деякі атаки не спрацьовують жодним окремим правилом. «Жоден окремий хід розмови не був проблематичним, але якщо розглядати сесію як повний відстеження, це виявлялося проблематичним», — сказав Ріші. Agent Cloud щогодини або щодня виконує пакетний аналіз усього відстеження сесій і надає те, що Rubrik називає інсайтами — проблеми, які не вдалося вирішити жодним окремим запобіжником. Той самий звіт Zero Labs показав, що 88% компаній стверджують, що їм бракує можливості відкотити дії агентів без порушення роботи системи, що є розривом у відновленні, який належить до оригінальної сфери діяльності Rubrik.

Скептично налаштований CISO поставить запитання, на яке не було відповіді під час панельної дискусії. SAGE — це недетермінована модель, яка контролює інші недетерміновані моделі, і Ріші не надав жодних даних про частоту хибних спрацьовувань або хибних відмов для самого судді. Найближче, що архітектура пропонує як відповідь, — це аудитоздатність, оскільки тестування на історичних даних і пакетні інсайти залишають слід кожного виклику SAGE та того, що йому вдалося подолати, доступний для перегляду людиною. Хто спостерігає за тим, хто спостерігає, наразі — це слід квитанцій, а не бенчмарк. Доки цей бенчмарк не з’явиться, «ШІ в циклі» залишається операційною ставкою, а не кількісним контролем.

З сесії випливають три запитання для команд безпеки. Скільки запобіжників, які зараз перебувають у виробництві, залежать від того, що людина натискає «затвердити», і яка доля цього навантаження при зростанні кількості агентів? Чи забезпечує щось у стеку семантичний намір, чи це все списки дозволів і заборон? І чи може команда протестувати поведінку агента на відповідність новій політиці, а потім відновити багатоходову сесію без зупинки систем?

Час Ріші має ринок. У тому ж дослідженні VentureBeat 82% підприємств досі називають вбудовані запобіжники та хмарні засоби контролю основного постачальника ШІ своїм головним рівнем безпеки агентів, і 59% планують прийняти, додати або замінити інструменти безпеки агентів протягом наступних 12 місяців. Лише 12% включають продукт для ідентифікації агентів до того, що вони розглядають, навіть зважаючи на те, що спільне використання облікових даних залишається нормою. Кожен CISO на тому круглому столі Anthropic мав документ з політикою та жодного механізму її виконання, а Rubrik розробила продукт для простору між цими двома. Режим YOLO — це ставка на те, що ШІ, який спостерігає за іншими ШІ, нарешті зможе зробити політики реальними.

Дізнатися більше на: venturebeat.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *