Чому ШІ-агенти проходять внутрішні тести, але зазнають невдачі у реальних користувачів
Промисловість корпоративного штучного інтелекту стикається з фундаментальною проблемою. Дані Cisco свідчать, що 85% компаній експериментують з ШІ-агентами, але лише 5% успішно впровадили їх у промислове виробництво. Браян Сільверторн, директор з автономії загального штучного інтелекту (AGI) в Amazon, під час конференції VB Transform 2026 пояснив причини цієї розриву, стверджуючи, що справа не лише у вдосконаленні систем оцінювання. Сільверторн, який приєднався до Amazon через придбання Adept AI і тепер керує підготовкою мультимодальних агентів у лабораторії AGI компанії, виділив чотири ключові виміри надійності: послідовність, стійкість, передбачуваність та безпека. Ця класифікація ґрунтується на дослідженнях Принстонського університету. «Ця структура допомагає розмежувати фактори, які, на моєму досвіді, часто плутають в процесі оцінювання», — зазначив він.
Невідповідність між лабораторними тестами та реальним світом
Ключовим моментом є те, що ШІ-агенти часто демонструють видатні результати під час внутрішніх перевірок, але не виправдовують очікувань клієнтів у реальних умовах. Сільверторн навів приклад компанії, яка розгорнула агента для автоматизованого тестування програмного забезпечення, що включало вилучення серійних номерів з екранів. Протягом двох місяців агент працював бездоганно, але згодом почав періодично зчитувати неправильні номери. Причина полягала в тому, що базовий візуальний енкодер поводився по-різному залежно від розташування серійного номера на екрані, а непомітна для людського ока зміна програмного забезпечення призвела до збою. Сільверторн наголосив, що проблема полягає не стільки в моделях, скільки в методах їхнього вимірювання. «Моделі повинні бути досконалішими, і ми, очевидно, докладаємо значних зусиль для їхнього вдосконалення», — підкреслив він. Однак, глибший висновок полягає в тому, що командам необхідно ідентифікувати джерела варіативності у поведінці агентів та забезпечити відповідну суворість оцінювання до рівня ризиків, пов’язаних із застосуванням. Власні дослідження VentureBeat, представлені перед виступом, підтверджують цю тезу: половина опитаних компаній впровадили агентів, які пройшли внутрішні тести, але зазнали невдачі у взаємодії з реальними клієнтами. Компанії здебільшого відстежують час безвідмовної роботи, ігноруючи точність, тобто «перевіряють пульс, але не ставлять діагноз». Пов’язане спостереження підкреслює брак механізмів контролю: більшість підприємств покладаються на власні оцінки розробників моделей, майже не застосовуючи додаткових перевірок, що робить їхню стратегію тестування «схожою на кидання монети» між довірою до постачальника та повною недовірою.
Внутрішня концепція Amazon: “стажери” для керування автономними ШІ-агентами
Найбільш запам’ятовуваною рекомендацією Сільверторна стала культурна, а не технічна. У лабораторії AGI Amazon дослідники буквально називають своїх агентів «стажерами» («interns»). Такий підхід несе глибокий операційний філософський зміст. Агенти, як і стажери, здатні на дивовижну роботу, але часом непередбачувані та можуть допускати помилки. Керування ними, на думку Сільверторна, вимагає управлінських, а не виключно програмних навичок: необхідно продумувати, що може піти не так, впроваджувати резервні механізми та функції скасування, а також свідомо визначати допустимий рівень ризику. «Ви можете запитати стажера: «Що ти можеш зробити неправильно? Як ти можеш мінімізувати негативні наслідки?»», — зазначив він. Лабораторія Amazon прийняла цей компроміс, допускаючи, що агенти іноді можуть запускати неправильні експерименти, задля прискорення дослідницького процесу. Наприклад, один з агентів самостійно цілодобово проводив експерименти згідно з високорівневим планом досліджень.
Рекомендації лідерам підприємств перед масштабуванням розгортання агентів
Сільверторн відверто говорив про обмеження сучасних технологій. Термін «самовдосконалення ШІ» залишається «дуже складним», — зазначив він. Amazon використовує ШІ для постійного вдосконалення своїх моделей, але повністю автономне самовдосконалення ще далеко. Комп’ютерне використання залишається ключовим напрямком його лабораторії; один клієнт у сфері вантажних перевезень вже використовує автоматизацію браузера для консолідації гарантійних вимог через розрізнені системи. Однак Сільверторн наголосив, що жоден майбутній агент не буде покладатися виключно на комп’ютерне використання – він працюватиме разом з MCP, API та іншими інструментами для завершення наскрізних робочих процесів. Техніки оцінювання “LLM-як-суддя” (LLM-as-judge), хоч і перспективні, є лише однією зі стратегій узгодження можливостей агента з прийнятним рівнем ризику. Для підприємств, які застрягли на етапі пілотних проєктів, шлях вперед починається зі зміни мислення: припиніть запитувати, чи може ваш агент вразити чимось один раз, і почніть запитувати, чи може він зробити це правильно тисячу разів поспіль. Іншими словами, підприємства, які подолають 85% бар’єр, будуть не ті, що мають найрозумніших агентів, а ті, що мають найкращих менеджерів.
Прогноз ІТ-Блогу: У найближчі 1-2 роки ми побачимо значне зростання впровадження “менеджменту ШІ-агентів” як окремої дисципліни. Це означатиме розробку спеціалізованих інструментів та методологій для моніторингу, контролю та оптимізації роботи ШІ-агентів, що дозволить компаніям ефективніше переходити від пілотних проєктів до повноцінного виробничого використання.
За даними порталу: venturebeat.com