Щоразу, коли ви ставите запитання ChatGPT, ваш запит ініціює справжню естафету даних. Інформація виходить із пам’яті, проходить через центральний процесор (CPU) для попередньої обробки, прямує до графічного процесора (GPU) для інтенсивних обчислень, а потім повертається назад — і вся ця подорож повторюється для кожного згенерованого штучним інтелектом слова.
Це структурне “вузьке місце” означає маршрутизацію через деякі з найдорожчих та енергоємних чипів у галузі при кожному запиті. Саме цю неефективність намагається вирішити XCENA, стартап з офісами в Південній Кореї та США. Чотирирічний стартап розробив чип, який розміщує обчислювальні потужності значно ближче до DRAM (швидкої, короткотривалої пам’яті, що зберігає дані, які процесор активно використовує). Це дозволяє виконувати рутинні операції з даними безпосередньо біля пам’яті, уникнувши дорогих “туди й назад” поїздок між CPU, GPU та пам’яттю.
Фінансування та перспективи
Якщо ця технологія працюватиме у масштабі, наслідки для витрат на інфраструктуру штучного інтелекту можуть бути значними, що значною мірою пояснює ентузіазм інвесторів щодо компанії. Дійсно, XCENA нещодавно залучила 135 мільйонів доларів (приблизно 5,4 мільярда гривень за поточним курсом) у рамках раунду Series B за оцінки у 570 мільйонів доларів (близько 22,8 мільярда гривень), загальна сума залучених коштів сягнула 185 мільйонів доларів (близько 7,4 мільярда гривень).
Генеральний директор XCENA Джин Кім став співзасновником стартапу у 2022 році разом із технічним директором (CTO) Дохуном Кімом та директором з продукту (CPO) Гаррі Джухюном Кімом. Усі вони є ветеранами Samsung та SK Hynix, гігантів у галузі пам’яті, які постачають чипи для GPU Nvidia. «CPU та GPU ставали все “розумнішими” протягом десятиліть. Пам’ять — ніколи. XCENA хоче це змінити», — сказав Джин Кім в інтерв’ю TechCrunch. «Нещодавнє зростання цін на пам’ять та пов’язаних акцій вказує на ширший зсув в інфраструктурі ШІ в бік архітектур, орієнтованих на пам’ять», — додав він. (Цього місяця три компанії, що домінують на світовому ринку чипів пам’яті — Samsung, SK Hynix та Micron — вперше подолали оцінку у трильйон доларів кожна).
Інноваційний підхід XCENA
XCENA робить ставку на те, що «висновки (inference) — це не просто обчислювальна проблема; це дедалі більше проблема масштабування пам’яті», — зазначив Кім.
Чип XCENA, MX1, підключається до CPU через CXL (Compute Express Link) — по суті, виділена “експрес-лінія” між процесором і пам’яттю. Він обробляє дані ще до того, як їм доведеться покинути модуль пам’яті. Компанія приносить обчислення до даних, а не навпаки. За заявами компанії, те, що раніше вимагало 10 серверів, потенційно може працювати на одному.
«Хоча GPU чудово справляються з матричними множеннями — інтенсивними математичними операціями, що лежать в основі навчання моделей ШІ — значна частина навколишньої оркестрації даних, включаючи попередню обробку, керування KV-кешем (система, що зберігає попередній контекст розмови, аби модель не переобробляла його) та кешування даних, досі виконується на CPU. Наш чип обробляє ці завдання безпосередньо в самому модулі пам’яті», — пояснив Кім.
Попит на рішення для пам’яті стрімко зріс з другої половини минулого року, і компанія вважає, що час працює на її користь. XCENA веде початкові переговори з кількома світовими постачальниками пам’яті, хоча Кім відмовився їх називати. Ідеальними клієнтами компанії є гіперскейлери (компанії, що надають хмарні послуги у великих масштабах), які витрачають десятки мільярдів доларів на рік на інфраструктуру ШІ, де навіть невелике підвищення ефективності пам’яті може означати сотні мільйонів заощаджень.
MX1 наразі є прототипом. Масове виробництво чипів заплановано на заводах Samsung на кінець 2026 року, а компанія очікує почати отримувати дохід з 2027 року.
Поки виробники нейронних процесорних блоків (NPU) змагаються, щоб кинути виклик Nvidia у сфері завдань навчання, XCENA націлена на шар пам’яті, який лежить в основі всього цього.
Конкуренція та унікальність
Найближчими конкурентами XCENA є Astera Labs та Marvell, обидві компанії, що котируються на Nasdaq, працюють над підключенням пам’яті наступного покоління. Marvell є великим, авторитетним гравцем, який вже працює в цій галузі, зазначив Кім, додавши, що ключова відмінність полягає в інтелектуальній власності. «У нас тисячі ядер», — сказав Кім. Згідно з відкритими специфікаціями, підхід Marvell, порівняно, базується на кількох ядрах загального призначення.
Ці ядра побудовані на базі RISC-V — відкритого стандарту проектування чипів — і спеціально оптимізовані для обробки даних. Кожне ядро навмисно зроблено невеликим та ефективним. Окрім самих ядер, XCENA розробляє власну внутрішню ієрархію пам’яті, шину інтерконекту та контролер DRAM — рівень вертикальної інтеграції, який більшість чіпових компаній, включно з великими конкурентами, зазвичай віддають на аутсорсинг.
Венчурні фірми з Сеула Atinum та IMM Investment спільно очолили раунд Series B, разом із Corstone Asia та наявними інвесторами SBI Investment та Mirae Asset Capital. Компанія, яка має понад 90 співробітників в офісах у Пангьо (технологічний хаб неподалік Сеула) та Саннівейлі, також веде переговори з міжнародними інвесторами щодо додаткового фінансування.
Думка ІТ-Блогу: Це важливий крок у напрямку оптимізації ШІ-інфраструктури, який може суттєво знизити операційні витрати та підвищити енергоефективність. Для кінцевих користувачів це може означати швидший доступ до ШІ-сервісів та потенційно нижчу вартість.
Інформація підготовлена на основі матеріалів: techcrunch.com