Компанія Moonshot або не усвідомлює небезпек, на які наражається, або ж цинічно байдужа до них. Адже навіщо ще вона б подвоювала ставку на ту саму приховану стратегію, яка спрацювала для моделі Kimi K3 і, ймовірно, спрацює для Kimi K4, але з величезними геополітичними витратами, ризикуючи при цьому гнівом адміністрації Трампа.
Moonshot намагається приховано використати ще більший запас обчислювальних ресурсів від NVIDIA для тренування своєї майбутньої моделі Kimi K4
Як ми пояснювали в недавній публікації, Moonshot щойно представила свою абсолютно нову модель Kimi K3 з відкритим вихідним кодом, яка має 2,8 трильйона параметрів і розроблена спеціально для штучного інтелекту передового рівня.
Модель є мультимодальною, має контекстне вікно приблизно з 1 мільйона токенів і пропонує конкурентоспроможну та швидшу продуктивність порівняно з багатьма аналогами.
Більше того, Kimi K3 є досить ефективною для роботи на обладнанні масштабу дата-центрів, завдяки значно зменшеному KV-кешу та вбудованим оптимізаціям використання пам’яті на токен — це досягається шляхом розподілу 896 експертів на велику кількість GPU.
Насправді Microsoft підрахувала, що зможе заощадити до 600 мільйонів доларів на витратах на виведення, перемістивши Copilot від моделей OpenAI та Anthropic до Kimi K3 від Moonshot.
Звісно, Moonshot одразу ж вплуталася в тривалу багатовимірну боротьбу між Китаєм та США, коли Anthropic та деякі представники адміністрації Трампа звинуватили Moonshot у дистиляції своєї моделі Kimi K3 з Fable від Anthropic.
США вже давно підозрюють, що китайські інженери часто вивозять свої жорсткі диски з моделями до дружніх до США країн, щоб надати своїм моделям можливостей передового рівня, використовуючи методи навчання з підкріпленням на найсучасніших GPU від NVIDIA.
Судячи з усього, згідно з нещодавніми звинуваченнями від представника адміністрації Трампа, Moonshot не лише таємно володіє серверами NVIDIA GB300, але й змогла отримати доступ до додаткових GB300 через Таїланд.
Варто зазначити, що Fable було знято з заборони наприкінці червня, тоді як Moonshot випустила свою модель Kimi K3 приблизно в середині липня. Не було достатньо часу, щоб Moonshot встигла дистилювати модель такого масштабу, як Kimi K3, не кажучи вже про її унікальні архітектурні досягнення, які не є частиною Fable. Однак Moonshot, ймовірно, доналаштувала деякі відповіді своєї моделі за допомогою Fable.
Це підводить нас до суті справи. Видання The Information щойно повідомило, що Moonshot, після загального успіху своєї моделі Kimi K3, тепер прагне отримати доступ до ще більшого арсеналу GPU NVIDIA Blackwell для моделі наступного покоління Kimi K4 і, здається, готова знехтувати американськими експортними обмеженнями.
Це не означає, що компанія не використовує вітчизняні AI-чіпи. Зрештою, інженерам Moonshot вдалося об’єднати кілька восьмичіпових серверів у різних дата-центрах Китаю для тренування Kimi K3. Але, враховуючи той факт, що Kimi K4, ймовірно, перевершить 2,8 трильйона параметрів свого попередника, Moonshot відчайдушно потребує додаткових обчислювальних потужностей і, здається, готова ризикнути гнівом адміністрації Трампа.
Тим часом адміністрація Трампа розглядає можливість повної заборони open-weight моделей з Китаю. Для тих, хто, можливо, не знає, ваги визначають, яку важливість модель надає будь-якому заданому поняттю або послідовності слів. Ці ваги спочатку є випадковими числами, а потім змінюються шляхом ітеративних оновлень, де метрика помилки вимірює розрив між прогнозом та фактичним цільовим значенням після кожного прямого проходу. Open-weight моделі, такі як Kimi K3, розкривають свої ваги, демістифікуючи свою загальну архітектуру, тоді як closed-weight моделі, такі як Claude від Anthropic, ні.
Однак тут провідні гравці світу ШІ, включаючи NVIDIA, Microsoft, Meta, Dell, Perplexity, Palantir, Mistral AI та інші, вже направили листа, закликаючи адміністрацію Трампа забезпечити процвітання екосистеми open-weight AI-моделей.
Про автора: Письменництво — моя незаперечна пристрасть. Протягом останніх шести років він написав понад 2200 окремих статей на фінансові та технічні теми, обсягом майже 1 мільйон слів. І він є членом мобільної команди Wcctech з 2025 року. Будучи випускником Університету Торонто, програми Rotman Commerce, я привношу тонкість, глибокі знання та унікальну перспективу в кожну тему, яку висвітлюю. Коли я не пишу, я подорожую світом, досліджуючи приховані кондитерські та ресторани як пристрасний гурман.
Слідкуйте за Wccftech на Google, щоб отримувати більше новин у своїх стрічках.
Подальше читання
NVIDIA тепер повністю за Open-Weight AI Моделі, попри все, щоб зберегти свій CUDA Moat
Rohail Saleem
Представник Адміністрації Трампа стверджує, що Moonshot володіє секретними серверами NVIDIA GB300 і скористалася запасами GB300 в Таїланді для дистиляції Kimi K3 з Fable від Anthropic
Rohail Saleem
Дженсен з NVIDIA заспокоює страхи щодо Kimi K3 та надмірних інвестицій у LLM, кажучи: «Усі помиляються, знадобиться більше обчислювальної потужності для ШІ»
Omar Sohail
Представник OpenAI вважає, що Kimi K3 та інші open-weight моделі призводять до «AI-комунізму»
Rohail Saleem
Інформація підготовлена на основі матеріалів: wccftech.com