Роль інструментів спостережливості (observability tools) знову зазнала еволюції. Хоча ринок рішень для забезпечення надійності технологічних систем зростав протягом років, центр тяжіння неухильно зміщувався від “відстежуй усе” до “контролюй складність та витрати”. Тим часом, стрімке впровадження агентів штучного інтелекту (ШІ) у підприємствах додало абсолютно нову категорію робочих навантажень, які потребують моніторингу.
InsightFinder AI: Новий Гравець у Спостережливості ШІ
InsightFinder AI, стартап, що базується на 15-річному досвіді академічних досліджень, добре знайомий із цією проблемою. Компанія з 2016 року використовує машинне навчання для моніторингу, виявлення та проактивного виправлення проблем ІТ-інфраструктури. Зараз вона вирішує проблему надійності моделей ШІ за допомогою власного ШІ-агента, який охоплює весь цикл: від виявлення та діагностики до усунення та запобігання.
Фінансування та Стратегія Компанії
Компанія, заснована CEO Хелен Гу, професором комп’ютерних наук Університету Північної Кароліни, яка раніше працювала в IBM та Google, нещодавно залучила 15 мільйонів доларів у рамках раунду Серії B, який очолила Yu Galaxy. Про це TechCrunch дізнався ексклюзивно.
За словами Гу, найбільша проблема, з якою стикається індустрія сьогодні, — це не тільки моніторинг та діагностика помилок у моделях ШІ, а й розуміння роботи всього технологічного стеку, коли ШІ стає його частиною.
«Щоб діагностувати проблеми цих моделей ШІ, необхідно насправді моніторити та аналізувати дані, модель та інфраструктуру разом», — зазначила Гу в інтерв’ю TechCrunch. «Це не завжди проблема моделі чи даних; це комбінація. Іноді це просто ваша інфраструктура».
Гу навела приклад із життя: один із її клієнтів, велика американська компанія, що займається кредитними картками, помітив, що одна з її моделей виявлення шахрайства почала давати збої. Оскільки InsightFinder моніторив усю інфраструктуру компанії, він зміг визначити, що дрейф моделі був спричинений застарілим кешем на деяких вузлах серверів.
Майбутнє Спостережливості ШІ
«Найбільша помилка полягає в тому, що спостережливість ШІ обмежується оцінкою великих мовних моделей (LLM) під час фаз розробки та тестування. Навпаки, надійна платформа спостережливості ШІ повинна забезпечувати підтримку зворотного зв’язку наскрізного циклу, охоплюючи етапи розробки, оцінки та продакшену», — сказала вона.
Найновіший продукт InsightFinder, що отримав назву Autonomous Reliability Insights, може виконувати всі ці завдання, використовуючи комбінацію некерованого машинного навчання, пропрієтарних великих та малих мовних моделей, прогнозного ШІ та причинно-наслідкового висновку. Цей базовий рівень є незалежним від даних, що дозволяє системі приймати та аналізувати повні потоки даних для збору сигналів, які потім можуть бути корельовані та перехресно перевірені для встановлення першопричини.
Зараз у сфері спостережливості спостерігається висока конкуренція за частку нового ринку, відкритого сплеском інструментів ШІ. InsightFinder, що працює майже десятиліття, змагається з такими гравцями, як Grafana Labs, Fiddler, Datadog, Dynatrace, New Relic та BigPanda, які також розробляють можливості для вирішення нових проблем, пов’язаних з інструментами ШІ.
Але Гу не розгублена. Навпаки, вона стверджує, що досвід, експертиза та можливість кастомізації InsightFinder є достатнім захистом. «Ми насправді рідко втрачаємо [клієнтів] когось із конкурентів, — зазначає вона. — Йдеться про інсайти. Проблема в тому, що багато спеціалістів з даних розуміють ШІ, але не розуміють систему. І багато розробників SRE [site reliability engineering] розуміють систему, але не ШІ… Вони не дивляться на це і не розуміють внутрішніх взаємозв’язків».
Серед клієнтів InsightFinder — UBS, NBCUniversal, Lenovo, Dell, Google Cloud та Comcast. Гу приписує успіх 10-річній роботі над розумінням потреб великих корпоративних клієнтів.
«Ми працювали з нашими 50 найбільшими компаніями (Fortune 50), щоб відшліфувати та зрозуміти вимоги корпоративного середовища для розгортання таких моделей», — сказала вона. «Ми працювали з Dell над розгортанням наших систем ШІ по всьому світу у деяких наших найбільших клієнтів. Це не те, що можна взяти базовий ШІ і просто накласти на машинні дані для виконання завдання».
Гу повідомила, що потік доходів компанії «сильний», зрісши «більш ніж утричі» за минулий рік. Насправді, за її словами, InsightFinder взагалі не планував залучати цей раунд Серії B, і інвестори звернулися до компанії після того, як вона виграла багатомільйонну угоду з компанією з ТОП-50 найбільших (Fortune 50) протягом трьох місяців.
InsightFinder використає нові кошти для перших наймів у відділи продажів та маркетингу, щоб розширити свою команду, яка налічує менше 30 осіб, та інвестувати у свою стратегію виходу на ринок. Загалом компанія залучила 35 мільйонів доларів.
Думка ІТ-Блогу: Впровадження ШІ в корпоративне середовище створює нові виклики для надійності систем, і такі компанії, як InsightFinder AI, займають ключову нішу, пропонуючи комплексні рішення. Це свідчить про зростання важливості спостережливості ШІ не лише на етапі розробки, а й у продакшені, що вплине на стабільність і ефективність багатьох бізнес-процесів.
Подробиці можна знайти на сайті: techcrunch.com