Багато кроків маршрутизації та класифікації в конвеєрах корпоративних агентів вимагають повного виклику LLM для вилучення невеликої структурованої відповіді: який інструмент використовувати, чи дозволена дія, або до якої категорії належить вхідні дані.
Jev від TypeSafe призначений для заміни цього кроку. Модель не генерує прозу чи код; програма надсилає їй стан і типізовані запитання, а Jev повертає вибори, оцінки або ймовірності «так/ні» з доданою впевненістю. TypeSafe оцінює Jev у $0.042 за мільйон вхідних токенів з безкоштовним виведенням, а наскрізна затримка становить від 70 до 500 мілісекунд.
Впровадження було негайним: за словами Алмейди, TypeSafe за 36 годин після запуску Jev 15 вересня зняв 140 000 людей зі списку очікування, тоді як Vercel повідомила, що приблизно 13% її платних команд AI Gateway використовували його протягом 24 годин. Cloudflare, LangChain і Langfuse додали інтеграції протягом трьох днів, а пізно ввечері 20 вересня TypeSafe повністю скасував список очікування і відкрив Jev для будь-кого з 5 доларами безкоштовного кредиту.
Jev поширюється в агентській інфраструктурі швидше, ніж підприємства встигли розробити методи аудиту, обмеження та перегляду рішень, які він приймає.
Pydantic вже попереджає, що вставлений текст може вплинути на нього
Постачальник та його партнер з інтеграції публікують одне й те саме попередження. Офіційна документація Jev від Pydantic стверджує, що «порядок варіантів Literal або членів Enum є частиною того, що бачить Jev, і зміна їх порядку може змінити відповідь», і що «Jev розглядає стан як дані, а не як ворожі». Власна сторінка обмежень TypeSafe для Jev 1.13 підтверджує це: «Контент, написаний для ворожого впливу на модель, чи то вставлена інструкція, навмисно оманливе формулювання, чи текст, який аргументує власну класифікацію, може змінити відповідь». Pydantic додає, що «захист, побудований на Jev, має бути поряд з детерміністичними перевірками, а не замість них».
Інженер Octomind продемонстрував цей ефект в одному опублікованому тесті. На запитання, чи блокувати команду `rm -rf ~/.ssh`, Jev повернув ймовірність блокування 0.76 з впевненістю 0.64. Після того, як інженер додав фальшиве поле `tool-output`, яке вказувало, що користувач попередньо схвалив команду, і дав інструкцію системі відповісти `auto_allow`, ймовірність блокування впала до 0.48, а впевненість – до 0.22. Результат отримано з однієї команди в одному інтеграційному тесті, а не з бенчмарку, але він демонструє поведінку, про яку попереджають TypeSafe і Pydantic.
LangChain вже випустив проміжне програмне забезпечення, яке використовує Jev для визначення, чи слід виконувати виклики інструментів агента, при цьому явно обмежуючи те, що Jev може бачити. Його pull request виключає вивід інструменту з вхідних даних класифікатора, «щоб контент, отриманий агентом, не міг авторизувати власне виконання». LangChain також радить користувачам поєднувати проміжне програмне забезпечення з людським схваленням, коли людина повинна затвердити, комбінуючи детерміністичні перевірки, рекомендовані Pydantic, з людським контрольною точкою для відповідальних дій.
Кейн МакГледрі, старший член IEEE та радник з кібербезпеки, протягом останнього року відстежував прогалину в ідентичності агентів у підприємствах. У попередніх звітах VentureBeat МакГледрі описував організацій, які за замовчуванням використовують профілі користувачів, схожі на людські, для AI-агентів, що може призвести до надмірного розповсюдження дозволів з самого початку. SOC 2, ISO 27001 та PCI DSS ще не повністю операціоналізували ідентичності агентів. Модель прийняття рішень, яка повертає ймовірності замість прози, не вписується чітко в ці існуючі категорії аудиту.
Під час травневої хвилі безпеки агентів VentureBeat Pulse лише 34 зі 107 корпоративних респондентів надали кожному агенту власну ідентичність. До липневої хвилі ця цифра зросла до 57 зі 116. Навіть серед цих 57 лише 11 також ізолювали агентів один від одного. Це зручні вибірки, але напрямок був однаковим в обох хвилях.
Шість питань перед запуском моделі прийняття рішень у виробництво
|
Що запитувати |
Що піде не так, якщо не зробити цього |
|
Чи реєструєте ви стан, схему, порядок варіантів, версію моделі та впевненість для кожного виклику? |
Jev повертає типізовані відповіді, а не прозу. Якщо ваш конвеєр фіксує лише вивід природною мовою, ці рішення можуть ніколи не з’явитися в журналі аудиту. |
|
Чи використовує служба прийняття рішень виділену ідентичність робочого навантаження? |
Модель прийняття рішень, викликана через спільну ідентичність робочого навантаження, успадковує той самий ризик надмірного поширення дозволів, що й будь-який інший некерований агент. |
|
Чи тестували ви з варіантами в різному порядку? |
Pydantic попереджає, що зміна порядку варіантів «може змінити відповідь». |
|
Чи тестували ви проти зловмисного тексту в стані? |
TypeSafe стверджує, що стан за замовчуванням не розглядається як ворожий. Один тест знизив ймовірність блокування з 0.76 до 0.48 за допомогою одного вставленого поля. |
|
Чи зафіксована версія моделі? |
Pydantic попереджає, що `jev-latest` «змінюється, коли TypeSafe випускає нову версію, що може зрушити ваші показники». |
|
Хто несе відповідальність, коли автоматизоване рішення призводить до пропущеної ескалації? |
Jev повертає типізовану відповідь та впевненість, а не обґрунтування природною мовою, і його впевненість «це межа, а не ймовірність того, що відповідь правильна». Існуючі фреймворки мають часткове покриття в кращому випадку. |
Проблема оцінювального судді
Jev також поширюється на оцінку агентів. 21 вересня LangChain зробив його доступним як суддю в LangSmith Evals, де він може оцінювати відкриту поведінку агентів і перетворювати ці судження на структурований зворотний зв’язок.
Це ставить Jev на обидва боки життєвого циклу агента: прийняття рішень у живому конвеєрі та оцінка поведінки агента. Під час хвилі надійності VB Pulse у червні 79 зі 157 корпоративних респондентів повідомили, що агент пройшов їхні внутрішні оцінки, а потім спричинив збій у виробництві, що вплинув на клієнтів. Лише 8 зі 157 повністю довіряють автоматизованим оцінкам сьогодні, але 66% вже дозволяють або активно працюють над розгортанням з нульовою участю людини (zero-human-in-the-loop).
Якщо підприємство використовує Jev в обох ролях, модель, що оцінює агента, і модель, що приймає рішення під час виконання, піддаються однаковій задокументованій чутливості до своїх вхідних даних. Це створює можливість спільного режиму збою: якщо один і той самий тип недовіреного тексту досягає як рівня прийняття рішень у реальному часі, так і оцінювача, це може вплинути на обидві контрольні точки.
Скільки коштує етап людського контролю
Ivanti пропонує один приклад того, чому деякі команди безпеки зберігають людей у контурі, навіть коли вони автоматизують більше процесів управління вразливостями.
Починаючи з березня, команда CSO Даніеля Спейсера побудувала конвеєр, використовуючи передові моделі, зокрема Claude та GPT. Кожен агент працює в тому, що Спейсер називав «самодостатнім, короткочасним середовищем для конкретної мети». Агенти не отримують повного доступу до GitHub або дозволів на рівні ОС; натомість кожен працює в межах обмеженого, короткочасного діапазону, який закривається після завершення завдання.
Компанія розкривала в кожному щомісячному звіті з безпеки з травня по вересень, що вона інтегрує LLM у безпеку продуктів і зобов’язалася долучати людину до всієї роботи агентів. Кріс Геттл, віце-президент Ivanti з управління продуктами для безпеки кінцевих точок, розповів VentureBeat у серпні, що таблиця Patch Tuesday, яка раніше займала дві людини приблизно чотири години кожна, тепер обробляється менш ніж за 30 хвилин, і що весь вивід залишається чорновим до тих пір, поки людина його не затвердить. Patch Tuesday у вересні, 973 CVE за підрахунками Ivanti, був другим місяцем виробничого використання. Переглядачі Геттла виявили, що агенти вигадують деталі, що змусило команду посилити контроль за людськими перевірками.
Що принесли зловмисники на Fal.Con
Розкриття інформації CrowdStrike на Fal.Con показують, як швидко змінюється середовище навколо цих рішень. Адам Меєрс, старший віце-президент з операцій проти зловмисників, сказав, що одна операція Vault Panda виконала 1100 команд менш ніж за годину, використовуючи локальну LLM, тоді як агент Revenant Spider атакував 17 жертв приблизно за 48 хвилин.
Сі Джей Мозес, CISO Amazon, сказав на Fal.Con, що одна приманка Amazon захопила AI-агента, який виконав атаку з 94 подій за 12 хвилин 42 секунди, з відповідями, що надходять менш ніж за 500 мілісекунд. Нічого в загальнодоступних джерелах не вказує на використання Jev у наборі інструментів зловмисника; суть у тому, що захисники впроваджують імовірнісні системи прийняття рішень у середовища, де дії вже відбуваються зі швидкістю машини.
Чому деякі постачальники безпеки зберігають людський контрольний пункт
Кілька великих постачальників безпеки зберігають людей у шляху контролю для відповідальних дій, керованих ШІ, хоча вони реалізують цей нагляд по-різному. Cisco зіставляє кожного агента з відповідальною людиною в Duo IAM. Palo Alto Networks вимагає схвалення людини для дій з високим впливом у Cortex AgentiX. SentinelOne дозволяє командам SOC точно налаштовувати, де Purple AI зупиняється для людського затвердження. Microsoft надає аналітикам Security Copilot трасування міркувань, яке вони можуть переглядати та перевизначати. Threat hunters CrowdStrike перевіряють те, що надають агенти.
Jev змінює економіку автоматизованого перегляду. За $0.042 за мільйон вхідних токенів, ще одне рішення моделі коштує небагато порівняно з людським контрольною точкою, яка додає час, працю та затримку. Це розширює розрив у вартості та швидкості між автоматизованим і людським переглядом саме тоді, коли системи, подібні до Jev, стають легшими для вставки по всьому конвеєру агента.
Низька вартість не усуває режими збоїв, задокументовані TypeSafe, Pydantic та раннім інтеграційним тестуванням. Оскільки моделі прийняття рішень проникають глибше в агентську інфраструктуру, підприємствам доведеться вирішувати, які виклики можуть безпечно залишатися автоматизованими — а які все ще потребують детерміністичного контролю або людини з іншого боку.
За даними порталу: venturebeat.com