Micron досліджує, що таке пам’ять з високою пропускною здатністю (HBM), чому вона є важливою, як вона порівнюється з традиційною DDR та які ключові виклики вимагають подальших інновацій для задоволення зростаючих потреб ШІ.
Micron повідомляє про збої HBM, які спричинили 17% переривань тренування Llama 3 від Meta, поки “стіна пам’яті” поглиблюється
З постійним розвитком великих мовних моделей (LLM) потреба в передових технологіях пам’яті стає життєво важливою для безперервного масштабування та вдосконалення цих моделей. Проте пам’ять перетворюється на головний вузький шлях, що обмежує продуктивність систем ШІ.
HBM наразі є провідним типом DRAM, що використовується в передових прискорювачах ШІ. Для досягнення максимальної кількості операцій у типовій системі ШІ значна частина роботи обмежується пам’яттю, оскільки обчислювальні процесори чекають на надходження більшої кількості даних. Після завершення роботи система переходить до фази, обмеженої обчисленнями, коли дані надходять достатньо швидко, щоб процесори були зайняті. З HBM стеля пропускної здатності пам’яті піднімається, дозволяючи інтенсивним з точки зору пам’яті навантаженням ШІ досягати вищої продуктивності перед досягненням лімітів пам’яті.
На конференції Hot Chips 2026 архітектор дизайну HBM компанії Micron, Рагу Сріраманені, пролив світло на цю «стіну пам’яті». Компанія стверджує, що хоча можливості обчислень вдосконалюються зі швидкістю 3x кожні два роки, пам’ять вдосконалюється лише зі швидкістю менше 2x кожні два роки. Наразі існує три типи архітектур пам’яті: 2.5D приєднана пам’ять, 2.5D вдосконалена пам’ять та Processing-in-memory DRAM.
Ключові висновки доповіді на Hot Chips 2026 включають:
- Пам’ять є центральною для масштабування продуктивності LLM (більше обчислень, більші набори даних, більше параметрів).
- Обчислення масштабуються приблизно в 3 рази кожні два роки; пропускна здатність HBM масштабується лише приблизно в 2 рази кожні два роки → «стіна пам’яті» зберігається і може погіршуватися.
- У типовій GPU SIP з чотирма 12-рівневими стеками HBM, кремній пам’яті становить близько 90% від загального кремнію (у 8 разів більше, ніж кремній GPU).
- HBM є найбільш складною з точки зору крос-функціональності пам’яттю (упаковка + процес + дизайн) у форм-факторі розміром з поштову марку.
- Навантаження ШІ часто обмежені пам’яттю; вища пропускна здатність HBM піднімає стелю продуктивності і розкриває більшу частину пікової продуктивності процесора.
- Висота стеків зросла з 4 до 16 (існує шлях до 20, але він стикається з серйозними тепловими/механічними перешкодами).
- У звіті про тренування Meta Llama 3 17% незапланованих переривань були пов’язані з HBM.
Цей прискорений темп розвитку ШІ вимагає передового рішення для пам’яті, і HBM відіграє життєво важливу роль у цьому сегменті. Проблема з існуючими HBM полягає в тому, що зі збільшенням щільності на DRAM ефективність (pJ/біт) знижується. Для вирішення цієї проблеми галузь потребує переходу до проривних технологій процесу та пакування, а також можливості відвантаження з GPU через вдосконалений D2D PHY і підтримки користувацьких функцій.
Micron зараз пропонує HBM4, який є найшвидшим рішенням HBM компанії на сьогодні. Він забезпечує пропускну здатність до 2800 ГБ/с, вдвічі більшу кількість IO і вдвічі більше каналів, ніж HBM3E. Кожне покоління HBM бачить збільшення швидкості передачі даних, псевдоканалів, щільності та висоти стека.
Базові будівельні блоки HBM залишаються незмінними, з поступовими змінами кожного покоління. Архітектури HBM включають стеки DRAM-кристалів, що містять кілька незалежних каналів, і кожен канал має 2 псевдоканали, які включають спільну шину команд/адрес та незалежну шину даних.
Потім є базовий кристал, який забезпечує інтерфейс команд та даних між хостом і DRAM. Базовий кристал має Microbump PHY, який з’єднує хост із базовим кристалом, і має 3D TSV PHY, який з’єднує стек DRAM із базовим кристалом. Цей хребет проходить від верху до низу HBM-куба. HBM-куб потім підключається до інтерпозера за допомогою щільно упакованих і коротких наскрізних з’єднань (HBM4 має 2K IO).
Щодо переваг HBM над традиційними рішеннями DRAM на базі DDR, перша — це значно вища системна пропускна здатність, яку можна досягти на GPU за допомогою кількох стеків HBM. Хоча рішення на базі DDR забезпечують вищу ємність, вони також займають більше місця, тоді як HBM розташовується ближче до GPU і забезпечує пропускну здатність у діапазоні кількох ТБ/с, на відміну від кількох ГБ/с у DDR.
2 з 9
HBM проти традиційної DDR DRAM
| Метрика | DDR5 | HBM (типова конфігурація GPU) | Перевага |
|---|---|---|---|
| Пропускна здатність | ~300 ГБ/с (до 1 ТБ/с) | 5.3 ТБ/с | ~15–17× вища |
| Ємність | Вища (багато DIMM) | ~200 ГБ | ~5× нижча |
| Банки на кристал | 32 | 128 (HBM3E) → 256 (HBM4) | Набагато вищий паралелізм |
| Пропускна здатність на кристал | ~8 ГБ/с | 256 ГБ/с (HBM3E) | ~32× вища |
| Кремній для однакової щільності | 1× | ~3× | Більше площі для шляхів даних та живлення |
| Енергоефективність | Вище pJ/біт | Нижче pJ/біт (особливо послідовні доступи ШІ) | HBM ефективніший |
Існують також недоліки, пов’язані з HBM. Одним з них є теплова проблема, яка стає більшою проблемою зі масштабуванням рішення.
Micron закликає до інновацій у сфері терморегуляції для вирішення цієї проблеми. Проблема полягає не стільки в проблемі живлення, скільки в проблемі щільності потужності, а базовий кристал є регіоном, який значно страждає через те, що більшість передових функцій розташовані всередині базового кристала, і зі збільшенням висоти стеків зростає активність кристала. Деякі рішення включають рідинне охолодження та гібридне з’єднання, але Micron також працює над рішеннями наступного покоління «вдосконаленого пакування», які можуть допомогти пом’якшити теплові проблеми.
Це включає використання Fusion bonding для підтримки надзвичайно щільних кроків з роздільною здатністю до мікрон, що дозволяє передавати значно більше даних через пакет. Це зменшує кількість діелектричних шарів між DRAM-кристалами всередині стека, покращуючи тепловий опір.
Micron також розглядає нові високошвидкісні IO-дизайни з більш оптимізованим для пам’яті SerDes-рішенням. Також ведуться дослідження щодо розширення стеків HBM за межі 16-Hi, але Micron стверджує, що ще багато роботи потрібно зробити.
2 з 9
HBM стала незамінною основою, що живить сучасні системи ШІ, забезпечуючи надзвичайну пропускну здатність, щільність та енергоефективність завдяки складним стекам, екстремальному паралелізму та передовим технологіям пакування, які традиційна DDR просто не може забезпечити.
Однак шлях вперед далеко не простий. Постійна «стіна пам’яті», складна взаємодія між тепловими режимами, надійністю, взаємодією чіпа з пакетом та все вищі стеки вимагають постійних, крос-функціональних інновацій.
Оскільки навантаження ШІ розвиваються, а межа між обчисленнями та пам’яттю продовжує розмиватися, колективний досвід галузі буде необхідним для подолання цих викликів, масштабування ємності та продуктивності та підтримки дивовижного прогресу, який змінює майбутнє обчислень.
Про автора: Хассан Муджтаба, інженер-програміст за освітою та ентузіаст ПК за покликанням, є головним редактором розділу апаратного забезпечення Wccftech. Маючи багаторічний досвід роботи в галузі, він спеціалізується на глибокому технічному аналізі архітектур процесорів та графічних процесорів наступного покоління, материнських плат та рішень для охолодження. Його робота включає не лише останні новини про майбутні технології, але й розширені практичні огляди та тестування.
Пропозиція дня
Подальше читання
Чому продуктивність пам’яті важливіша, ніж будь-коли, у сучасних обчисленнях
Себастьян Кастельянос
Morgan Stanley б’є на сполох: ціни на DDR4 зростуть на 50% у третьому кварталі, оскільки виробники пам’яті вилучають спадкову DRAM, щоб постачати HBM
Рохайль Салім
Crucial пропонує користувачеві відшкодування у розмірі 259 доларів США за комплект RAM вартістю 1800 доларів США, тоді як один модуль об’ємом 64 ГБ все ще працював належним чином
Сарфраз Хан
Ціни на DDR5 RAM вибухнули до майже 5-кратного рівня липня 2025 року в Німеччині, оскільки бум ШІ душить бюджетні ПК
Сарфраз Хан
Інформація підготовлена на основі матеріалів: wccftech.com