OpenAI, передбачувано, відчуває тиск через вражаюче сходження Kimi K3 на вершину рейтингу Arena щодо фронтенд-коду. Компанія вдається до ксенофобії та “інтелектуального елітизму”, намагаючись захистити свою територію, що потребує значних капітальних витрат (CapEx).
Керівник відділу стратегічного майбутнього OpenAI реагує на підйом Kimi K3, теоретизуючи, що світ, домінований моделями з відкритими вагами, еквівалентний “повному комунізму ШІ”
Як ми пояснювали в нещодавньому пості, Moonshot щойно представила свою абсолютно нову модель Kimi K3 з відкритим кодом, яка охоплює 2,8 трильйона параметрів і спеціально розроблена для передових інтелектуальних систем.
Модель є мультимодальною, має контекстне вікно близько 1 мільйона токенів і демонструє конкурентоспроможну та швидшу продуктивність порівняно з багатьма аналогами.
Хоча Moonshot, ймовірно, взяла основи моделі з Claude від Anthropic, Kimi K3 все ж має нову архітектуру, пов’язану з KV-кешем, під назвою Kimi Delta Attention (KDA).
Уявіть собі сценарій: ви пишете історію, але страждаєте від жахливої короткочасної пам’яті. Щоразу, коли ви пишете нове слово, ви змушені перечитувати все, що написали досі, просто щоб згадати, що вже було викладено на папері. Очевидно, що зі збільшенням довжини тексту цей трудомісткий процес стає ще складнішим.
Кеш ключа-значення (Key-Value або KV cache) схожий на ведення нотаток на окремому аркуші, щоб ви були в курсі того, що вже написано. Це прискорює весь процес у багато разів.
На відміну від поширеного підходу квадратичної уваги, де KV-кеш масштабується лінійно залежно від заданого контексту, Kimi K3 використовує гібридний механізм лінійної уваги, який застосовує рекурентний стан (Recurrent state) та гібридний інтерлівинговий стан (Hybrid Interleaving state) у співвідношенні 3:1.
Щоб спростити цю концепцію, пам’ятайте, що традиційний підхід вимагає, щоб модель записувала кожне прочитане речення на окремий стос липких нотаток, що означає, що KV-кеш стає більшим зі збільшенням контексту, сповільнюючи загальну обробку.
Підхід Kimi K3, однак, передбачає використання трьох помічників (рекурентні стани), де кожен помічник веде поточний підсумок найважливішої інформації на одній сторінці липких нотаток. Незалежно від того, наскільки довгим стає контекст, розмір підсумку не збільшується, оскільки застаріла інформація стирається.
Це, однак, неминуче призведе до того, що ці помічники пропустять дуже конкретну дрібну деталь (наприклад, номер телефону на 100-й сторінці). Щоб виправити цей недолік, четвертий помічник (названий гібридним інтерлівинговим станом) робить знімок усього контексту, а потім стискає його, подібно до стиснення 4K-фільму в крихітний zip-файл. Щоразу, коли моделі потрібно переглянути цей “глобальний знімок”, вона тимчасово розпаковує файл, заглядає, а потім знову стискає його.
Ось шаблон, який виникає:
- Помічник 1 (KDA): Зберігає коротку нотатку-резюме.
- Помічник 2 (KDA): Зберігає коротку нотатку-резюме.
- Помічник 3 (KDA): Зберігає коротку нотатку-резюме.
- Помічник 4 (Глобальна увага): Робить ідеальний, буквальний знімок усього.
Цей шаблон повторюється знову й знову. І оскільки 3 з 4 помічників використовують ультрашвидкий підхід до шару пам’яті, KV-кеш значно зменшується.
WideEP розподіляє 896 експертів по багатьох GPU, щоб HBM кожного GPU містив лише невелику кількість експертів, оптимізуючи використання пам’яті на токен та обчислювальну ефективність. 4/8🧵 pic.twitter.com/f6v16blXDQ
— SemiAnalysis (@SemiAnalysis_) July 17, 2026
Хоча KDA робить Kimi K3 дуже ефективною, загальне використання HBM моделлю не очікується зменшитись завдяки використанню іншої техніки оптимізації під назвою WideEP.
Деякі спостереження щодо Kimi:
1. Це дуже хороша модель! Я не думаю, що її продуктивність можна пояснити дистиляцією чи чимось подібним. У кодових сесіях агентів вона майже на одному рівні з найкращими публічними моделями 1-го кварталу 2026 року. За моїм досить обмеженим досвідом, вона також…
— Dean W. Ball (@deanwball) July 17, 2026
Ці інновації Kimi K3, однак, становлять пряму загрозу для OpenAI та Anthropic. І тепер голова відділу стратегічного майбутнього OpenAI, Дін В. Болл, написав пост у X, назвавши всі китайські моделі ШІ з відкритим кодом “децелераціоністами” для CapEx, а також заявивши, що “імовірним результатом світу, домінованого моделями з відкритими вагами, є повний комунізм ШІ, що саме й пропонує Китай: замість ринкового продукту, ШІ є “суспільним благом”, яке зрештою надаватиме держава”.
🤣🤣🤣🤣🤣
Ось чому відкритий код такий важливий
Kimi так сильно обійшла Opus
Ant був змушений залишити Fable у підписці https://t.co/qwEuOMKI4u— Zephyr (@zephyr_z9) July 18, 2026
Тим часом Anthropic відреагувала, зберігши доступ до своєї топової моделі Fable 5 на основі основних тарифних планів підписки, оскільки Kimi K3 затьмарила Opus.
Про автора: Письмо – це моя незаперечна пристрасть. Протягом останніх шести років я написав понад 2200 окремих статей на фінансові та технологічні теми, обсягом майже 1 мільйон слів. Я є членом мобільної команди Wcctech з 2025 року. Як випускник програми Rotman Commerce Університету Торонто, я привношу nuanced, глибокі знання та унікальну перспективу до кожної теми, яку висвітлюю. Коли я не пишу, я подорожую світом, досліджуючи приховані кондитерські та ресторани як пристрасний поціновувач їжі.
Слідкуйте за Wccftech на Google, щоб отримувати більше наших новин у своїх стрічках.
Подальше читання
Kimi K3 розробила чіп всього за 48 годин, який забезпечує понад 8700 токенів/сек, тоді як китайський Moonshot представив модель передового ШІ з 2,8 трильйонами параметрів
Хассан Муджтаба
Intel Foundry залучила AMD, NVIDIA та OpenAI як переможців проєкту на вузлах 18A та 14A, тоді як EMIB досягає 98% виходу продукції
Хассан Муджтаба
NVIDIA співпрацює з урядом США, щоб закрити лазівку, яка постачає заборонені чіпи ШІ до Китаю
Раміш Зафар
Apple та OpenAI обмінюються судовими позовами щодо крадіжки технологій для пристроїв ШІ, але китайський StepX Neo мовчки випереджає обох, створюючи робочий телефон зі ШІ
Рохайль Салім
Дізнатися більше на: wccftech.com