Китайський стартап Moonshot AI для навчання революційної моделі штучного інтелекту Kimi K3 використовував прискорювачі Nvidia Blackwell. Щоб отримати передові обчислювальні потужності, компанії довелося обійти як експортний контроль США, так і імпортний контроль Китаю.
Джерело зображення: nvidia.com
Перевага над суперником у гонці штучного інтелекту США та Китай вважають своєю життєво важливою метою, і одним із осередків напруженості в цій боротьбі є прискорювачі Nvidia Blackwell. Вашингтон заборонив їх експорт до Китаю, а Пекін — їх імпорт, тому що в країні розробляється власна екосистема чипів для ШІ. Але це не подобається простим розробникам, які прагнуть обходити ці обмеження. Ось і Moonshot AI, якщо вірити джерелам ресурсу The Information, все ж таки успішно навчила Kimi K3 на чіпах Blackwell і досі прагне отримати додатковий доступ до них у рамках розробки Kimi K4.
Стартап звернувся до двох місцевих компаній, які зуміли обзавестися прискорювачами Blackwell у своїх центрах обробки даних, попри обмеження. Зважаючи на те, що ці прискорювачі зараз у дефіциті навіть за законними схемами придбання, жодна з компаній не мала їх достатньої кількості для навчання Kimi K3. Тому Moonshot AI довелося придумати, як об’єднати кілька серверів Blackwell у різних ЦОД, щоб використовувати їх ресурс. Поява Kimi K3 спровокувала новий виток гонки розробників ШІ в Китаї, тоді як навчання перспективних моделей складне або взагалі неможливе на багатообіцяючих, але повільно розвиваючихся китайських прискорювачах — вони відстають на одне чи два покоління від обладнання Nvidia, а списки очікування розписані на кілька місяців.
А от у завданнях інференсу Moonshot AI використовує прискорювачі Nvidia HGX H20, які дозволені для роботи в Китаї і Вашингтоном, і Пекіном — для запуску Kimi K3 компанія рекомендує використовувати системи з щонайменше 64 прискорювачами. Через такі вимоги та привабливість самої моделі у компанії швидко закінчилися доступні обчислювальні ресурси, і на підписку також встановилася черга. Зважаючи на те, що це модель з відкритими вагами, інші постачальники найближчим часом також запропонують доступ до неї.
Крім того, Moonshot AI тепер закупила обладнання на системах Nvidia GB300, а також орендувала обчислювальні потужності GB300 у Таїланді, стверджує радник Білого дому з ШІ Майкл Краціос (Michael Kratsios). Перше є прямим порушенням заборони США, а друге поки що легальне — Вашингтон поки не виніс прямої заборони китайським компаніям орендувати підсанкційне обладнання. Купівля цих прискорювачів порушує заборону і Пекіна, але навряд чи Moonshot AI зараз чекає покарання за це — компанія допомагає країні наздогнати Anthropic та OpenAI.
За даними порталу: 3dnews.ru