Компанія d-Matrix пропонує 3D DRAM як рішення проблеми зростання обсягів даних для ШІ, використовуючи багатошарову пам’ять для досягнення пропускної здатності, подібної до SRAM, з набагато вищою ефективністю, ніж HBM.
d-Matrix: Час для 3D DRAM настав, компанія представила рішення “Raptor” з пропускною здатністю класу SRAM
Зі збільшенням розмірів моделей ШІ та KV cache, обмеження ємності та пропускної здатності стають дедалі помітнішими. Наразі всі провідні виробники DRAM працюють над рішеннями наступного покоління, що поєднують логіку з DRAM, але d-Matrix стверджує, що “час для 3D DRAM настав”.
Сьогодні для робочих навантажень ШІ існує дві провідні технології пам’яті: SRAM та HBM. SRAM швидка, але її ємність погано масштабується, вона має вищі витоки енергії та коштує в 100 разів дорожче, ніж рішення HBM.
HBM забезпечує високу ємність, необхідну для великих моделей, але масштабувати пропускну здатність HBM складно через обмеження потужності, процесу та пакування. Наразі провідне рішення HBM4 DRAM забезпечує пропускну здатність близько 20 ТБ/с, що значно поступається 300 ТБ/с, які пропонують рішення SRAM, як-от SRAM-прискорювач Corsair.
Рішення HBM з пропускною здатністю 100 ТБ/с при 2,4 пДж/біт вимагатиме 1,92 кВт лише на живлення HBM. Тому ідея полягає в переході до наступного еволюційного кроку — 3D-DRAM.
Порівняння технологій пам’яті
| Метрика | SRAM | HBM (наприклад, HBM4-подібний) | 3D DRAM (Raptor) |
|---|---|---|---|
| Ємність | Низька (важко масштабувати понад ~2 ГБ; підходить для малих/чернеткових моделей) | Дуже висока (кілька стеків на пакет) | Проміжна (вища, ніж SRAM, нижча, ніж HBM; 32 ГБ на один стек) |
| Пропускна здатність | Надзвичайно висока (сотні ТБ/с) | Важко масштабувати до ~100 ТБ/с | Надзвичайно висока (~100 ТБ/с) |
| Енергоефективність | ~0,1 пДж/біт (або трохи вище) | ~2,4–2,5 пДж/біт (лише HBM) + переміщення даних → ~5 пДж/біт загалом | 0,3–0,37 пДж/біт (виміряно) |
| Відносна перевага | Найвища пропускна здатність, найнижче енергоспоживання | Найвища ємність | У 6–7 разів вища енергоефективність, ніж у HBM; ~10–20× краще загальне енергоспоживання/пропускна здатність порівняно з HBM |
| Потужність для 100 ТБ/с | Низька | ~2 кВт (лише HBM) | ~300 Вт (I/O) |
| Щільність (МБ/мм²) | Н/Д (великі комірки бітів) | Найвища | ~½ від HBM4 |
| Ключові обмеження | Масштабування, витоки, ємність | Пляжна лінія, швидкість пінів, висока потужність | Тепло/надійність (пом’якшено) |
d-Matrix пропонує два способи реалізації 3D DRAM: один включає стек DRAM поверх логіки, а другий — стеки DRAM під логічним кристалом. Перший метод створює теплове навантаження, оскільки прискорене тепло повинно виходити через термочутливий стек DRAM, а другий метод пов’язаний із проблемою подачі живлення, оскільки сотні ват повинні подаватися через TSV у стеку DRAM.
Кажуть, що стек 1-Hi з логікою зверху при щільності потужності < 0,5 Вт/мм² може надійно охолоджуватися рідиною (DRAM < 100 °C) з необхідною подачею живлення.
Отже, чому 3D DRAM? Стверджується, що 3D DRAM зі стековою обчислювальною потужністю на пам’яті пропонує пропускну здатність та характеристики потужності, подібні до SRAM. Ємність нижча, ніж у HBM, але вона займає менше місця, а ємність більша, ніж у рішень SRAM. 3D DRAM з чотирма шарами або менше забезпечує кращу вихід продукції, значно вищу пропускну здатність, не має обмежень PHY або пляжної лінії, і працює з 1/10 енергії HBM.
Технічні характеристики Raptor 3D DRAM
| Параметр | Значення / Деталь |
|---|---|
| Стекування | Логіка (TSMC 4 нм) поверх кастомної DRAM, face-to-face, крок 36 мкм |
| Ємність (1-high) | 32 ГБ |
| Пропускна здатність | 100 ТБ/с |
| Енергія | 0,37 пДж/біт (виміряно) |
| Щільність потужності (логіка) | ~0,5 Вт/мм² |
| Тензорні двигуни | 256 на чіплет |
| Банк/канал | Крок, узгоджений з тензорними двигунами; 3 банки/канал → 96 Б; агрегація 4 флітів для ефективності 128 Б |
| Частота оновлення | У 8 разів швидше (кожні 4 мс) для підтримки температури переходу 105 °C |
| Втрата пропускної здатності від оновлення | Лише 1,37% |
| Корекція помилок | Reed-Solomon T=2 (виправляє 2 помилки символів на 128 Б) + CRC |
| Заходи для забезпечення виходу | ~8–9% запасних банків з MUX-ланцюжком |
| Розмір мікробанку | 1366 рядків / 5,33 МБ кожен |
Рішення під назвою Raptor 3D DRAM побудоване на основі економічно ефективної технології процесу, з логічним кристалом на базі процесу TSMC 4 нм (N4), нижнім кристалом з 3D DRAM і інтегроване за допомогою 36-мікронного стекування F2F (Face-to-Face), що забезпечує низьку вартість, високі обсяги виробництва та високий вихід продукції. Кожна карта 3D DRAM пропонує пропускну здатність понад 100 ТБ/с при 0,37 пДж/біт (32 ГБ), тоді як рішення HBM4 DRAM об’ємом 192 ГБ пропонує пропускну здатність 18 ТБ/с при 2–3 пДж/біт. Це в 5,6 раза вища пропускна здатність, у 5–8 разів нижче енергоспоживання та в 7 разів щільніший IO, ніж у HBM4.
Але сама 3D DRAM має різні виклики інтеграції. З усіх цих d-Matrix витрачає свій час на декілька, серед яких:
- Потужність I/O: відсутність пакетної структури, відсутність PHY DBI
- Зіставлення банків до каналу: 840 банків =/= 256×4
- Резервування без порушення симетрії каналу
- Тепло: Tj=105°C → 8× швидше оновлення
2 з 9
Отже, для зменшення енергоспоживання d-Matrix використовує не кілька великих систолічних масивів і відсутність даних на обчислювальному двигуні, а узгоджує тензорний двигун з банками, які живить DRAM.
На цьому чіплеті розташовано 256 тензорних двигунів, і d-Matrix узгоджує банки з тензорним двигуном, щоб зменшити обсяг переміщуваних даних. Однак існує невідповідність у нативному розмірі фліту, який очікує TE, — 128 байт, порівняно з 32 байтами за стовпець на банк, які постачає DRAM. Кожен канал має три банки, і вони отримують лише 96 байт, тоді як Chi очікує 128 байт. Raptor може перевищити це значення, але тоді значна частина пропускної здатності буде витрачена марно.
Друга проблема — межа потужності I/O. Навіть після зниження потужності до 0,37 пДж на біт, якщо ви хочете збільшити пропускну здатність до 100 терабайт на секунду, це 300 Вт потужності I/O. І на відміну від HBM, одноетапний фліт.
2 з 9
Таким чином, логічний кристал розташований зверху, і причина цього полягає в тому, щоб легше встановити холодну пластину та відвести тепло. Але 3D DRAM розроблена для температури переходу 105°C. І щоб це забезпечити, вона оновлюється у вісім разів швидше. З підвищенням температури ця DRAM починає витоки. І порівняно зі стандартними DRAM, 3D DRAM оновлюється кожні 4 мілісекунди.
Наступна проблема — вихід продукції. У 3D DRAM кожен мікробанк розроблений таким чином, щоб бути дуже малим: 1366 рядків, 5,33 мегабайт кожен. І роблячи це, DRAM втрачає лише 1,37% пропускної здатності пам’яті. А для вирішення проблем RAS існує дуже потужний код корекції помилок, Reed Solomon T=2, на логічному кристалі, який фактично може виправляти помилки символів, дві помилки символів на 128 байт.
На завершення, d-Matrix порівнює Raptor 3D DRAM з платформою NVIDIA Rubin R200 з HBM4. З ефективним використанням пропускної здатності 83–85%, Raptor 3D DRAM забезпечила у 23,4 раза вищу пропускну здатність (ГБ/с/мм²) та у 13,5 раза кращу енергоефективність (мВт/ГБ/с) порівняно з рішенням NVIDIA HBM4. Вона запропонувала приблизно
3D DRAM, прикладом якої є система Raptor, пропонує привабливий компроміс, що поєднує пропускну здатність та енергоефективність, близькі до SRAM, з істотно вищою ємністю, ніж чисті рішення SRAM, уникаючи при цьому обмежень HBM щодо пропускної здатності, потужності та пляжної лінії.
Стекуючи логіку поверх кастомної DRAM з короткими вертикальними з’єднаннями, вона забезпечує 100 ТБ/с приблизно на порядок краще по pJ/біт, ніж HBM, що робить її особливо придатною для фази декодування, яка залежить від пропускної здатності пам’яті і домінує в сучасних робочих навантаженнях LLM та агентів. Ємність залишається достатньою для сучасних великих моделей у практичних розгортаннях масштабу стійок, а інновації спільного проектування у зіставленні банків, топології мережі, протоколах, теплових режимах та надійності дозволяють технології ефективно масштабуватися.
Загалом, 3D DRAM надає практичний шлях до швидших, більш ефективних прискорювачів виведення, які балансують конкуруючі вимоги щодо ємності, пропускної здатності та потужності. Тепер залишається питання: як швидко інші виробники DRAM запропонують свої інновації в галузі 3D DRAM?
Про автора: Хассан Муджтаба, інженер-програміст за освітою та ентузіаст ПК за покликанням, є головним редактором розділу апаратного забезпечення Wccftech. Маючи багаторічний досвід роботи в галузі, він спеціалізується на глибокому технічному аналізі архітектур ЦП та ГП наступного покоління, материнських плат та рішень для охолодження. Його робота включає не тільки найсвіжіші новини про майбутні технології, але й всебічні огляди та тестування.
Подальше читання
Samsung використовує передові логічні процеси для розвитку HBM, працюючи над своєю наступною комерційною zHBM DRAM, яка об’єднує пам’ять з обчисленнями
Micron стверджує, що ‘стіна пам’яті’ ШІ погіршується, оскільки обчислення випереджають пропускну здатність HBM на 3x кожні два роки; розширене пакування та процес для вирішення зростаючих теплових обмежень
Morgan Stanley б’є на сполох: ціни на DDR4 зростуть на 50% у 3-му кварталі, оскільки виробники пам’яті обмежують постачання застарілої DRAM, щоб забезпечити HBM
SanDisk обманює ‘фінансових братів’: вибирає квантування BF16 та застарілі специфікації HBM, повністю пропускаючи проблеми витривалості запису HBF
За даними порталу: wccftech.com