Стенфордський ад’юнкт-професор та успішний засновник кількох стартапів, Зейн Асгар, нещодавно залучив 80 мільйонів доларів у рамках раунду фінансування Series A для своєї нової компанії. Ця сума призначена для вирішення критичної проблеми у сфері штучного інтелекту – вузького місця в інференсі (процесі обробки запитів нейромережами) – доволі винахідливим способом. Лідерство у раунді взяла компанія Menlo Ventures.
Gimlet Labs: Революція у Хмарних Обчисленнях для ШІ
Компанія, що отримала назву Gimlet Labs, розробила те, що, за їхніми твердженнями, є першою та єдиною “хмарою інференсу з множинними кремнієвими рішеннями” (multi-silicon inference cloud). Це програмне забезпечення, яке дозволяє одночасно виконувати завдання штучного інтелекту на різноманітних типах апаратного забезпечення. Воно здатне розподіляти обчислювальне навантаження ШІ-застосунку між традиційними центральними процесорами (CPU), графічними процесорами, оптимізованими для ШІ (GPU), а також системами з великим обсягом оперативної пам’яті.
Оптимізація Використання Ресурсів
«По суті, ми працюємо на будь-якому доступному апаратному забезпеченні», — розповів Асгар виданню TechCrunch.
Тім Таллі з Menlo Ventures, ведучий інвестор, у своєму блозі пояснює: “Один агент може послідовно виконувати кілька кроків, і кожен з них вимагає різного апаратного забезпечення: інференс залежить від обчислювальної потужності, декодування — від пам’яті, а виклики інструментів — від мережевої взаємодії”.
Наразі не існує чіпа, який міг би ефективно виконувати всі ці завдання. Проте, в міру появи нових апаратних платформ та перепрофілювання застарілих GPU, “парк з різноманітних кремнієвих рішень готовий, йому бракує лише програмного шару для ефективної роботи”. Саме це, на думку Таллі, і пропонує Gimlet Labs.
Економічний Потенціал та Ефективність
Якщо поточна тенденція до збільшення обчислювальних потужностей продовжиться, за оцінками McKinsey, витрати на центри обробки даних до 2030 року сягнуть майже 7 трильйонів доларів. Асгар стверджує, що застосунки наразі використовують наявне обладнання лише “від 15 до 30 відсотків” часу.
«Іншими словами: ми марнуємо сотні мільярдів доларів, просто залишаючи ресурси невикористаними», — зазначив він. «Нашою метою було з’ясувати, як зробити робочі навантаження ШІ в 10 разів ефективнішими, ніж будь-коли раніше, вже сьогодні».
Тому він та його співзасновники — Мішель Нгуєн, Омід Азізі та Наталі Серріно — взялися за розробку програмного забезпечення для оркестрації, яке розділяє агентні робочі навантаження, дозволяючи розподіляти їх одночасно по різноманітному обладнанню.
Gimlet Labs стверджує, що надійно прискорює інференс ШІ в 3-10 разів при тій самій вартості та енергоспоживанні. Компанія також зазначає, що може навіть розділяти базову модель, щоб вона працювала на різних архітектурах, використовуючи найкращий чіп для кожної частини моделі.
Компанія вже налагодила партнерські відносини з виробниками чіпів, такими як NVIDIA, AMD, Intel, ARM, Cerebras та d-Matrix.
Цільова Аудиторія та Фінансові Показники
Продукт Gimlet, який пропонується як програмне забезпечення або через API до власної хмари Gimlet Cloud, призначений не для пересічних розробників ШІ-застосунків. Він орієнтований на найбільші лабораторії зі створення моделей ШІ та центри обробки даних.
Компанія офіційно запустилася в жовтні, повідомивши про дохід у вісімзначних цифрах з першого дня (тобто щонайменше 10 мільйонів доларів). Асгар зазначив, що його клієнтська база зросла більш ніж удвічі за останні чотири місяці і тепер включає великого розробника моделей та надзвичайно велику компанію з хмарних обчислень, хоча він відмовився назвати їх.
Раніше співзасновники разом працювали в Pixie, стартапі, який створив інструмент спостережуваності (observability tool) з відкритим вихідним кодом для Kubernetes. Pixie була придбана New Relic у 2020 році, лише через два місяці після запуску, з раундом Series A на 9 мільйонів доларів від Benchmark. (Технологія Pixie тепер є частиною організації з відкритим вихідним кодом, яка керує Kubernetes.)
Після випадкової зустрічі Асгара з Таллі близько року тому, а також отримання ангельських інвестицій від професорів Стенфорду, почали надходити пропозиції від венчурних капіталістів. Після запуску на стіл Асгара потрапив термшит (документ з основними умовами угоди). Коли венчурні інвестори дізналися, що Асгар розглядає пропозиції, «ми отримали справжній рой фінансування», і раунд був швидко перепідписаний, сказав він.
З урахуванням попереднього посівного фінансування, стартап залучив загалом 92 мільйони доларів, зокрема від низки ангелів, таких як Білл Когран (Sequoia), професор Стенфорду Нік МакКеун, колишній генеральний директор VMware Рагху Рагхурам та генеральний директор Intel Ліп-Бу Тан. Наразі компанія налічує 30 співробітників.
Серед інших інвесторів — Factory, яка очолювала посівний раунд, Eclipse Ventures, Prosperity7 та Triatomic.
Думка ІТ-Блогу: Залучення 80 мільйонів доларів Gimlet Labs свідчить про зростаюче розуміння ринком важливості оптимізації обчислювальних ресурсів для ШІ. Це може суттєво знизити витрати для компаній, які активно впроваджують штучний інтелект, роблячи його більш доступним та масштабованим.
Інформація підготовлена на основі матеріалів: techcrunch.com