Samsung презентує амбітне бачення еволюції базового кристалу HBM (High Bandwidth Memory) з використанням передових логічних процесів. Компанія розглядає архітектурні виклики пропускної здатності та енергоспоживання, а потім окреслює дорожню карту з трьох фаз: від відновлення площі та функціонального розширення до повної 3D ZHBM інтеграції, яка перетворює базовий кристал на інтелектуального партнера для систем ШІ наступного покоління.
Samsung окреслює трифазну дорожню карту HBM до справжньої 3D ZHBM, яка розміщує DRAM безпосередньо на обчислювальних блоках для ШІ
У презентації Сангвука Хана (Sangwook Han) з відділу розробки DRAM компанії Samsung основна увага приділяється еволюції HBM з використанням передових логічних процесів, а базовий кристал HBM є ключовим фокусом.
Презентація Hot Chips починається з короткого огляду архітектури HBM, яка складається з двох основних частин: C-die (Core Die), що містить ядро та комірки DRAM, та B-die (Base Die), розташований знизу, який відповідає за різні DRAM-процеси. Core Die може масштабуватися до 16 (16-Hi) стеків, використовуючи передові DRAM-процеси, такі як D1a, D1b, D1c тощо, і вони з’єднані за допомогою численних TSV (Through-Silicon Vias). Чіп HBM має PHY у базовому кристалі, щоб він міг підключатися до Computing Die (XPU: GPU, TPU тощо) через швидкий інтерфейс для швидкої передачі даних.
Еволюція базового кристалу HBM: Ключовий огляд
- Доповідач: Санг-Вук Хан, відділ розробки DRAM, Samsung Memory Business
- Основне повідомлення: Передові логічні процеси перетворюють базовий кристал HBM з простого інтерфейсу на інтелектуального, активного партнера для систем ШІ.
- Основні рушійні сили: Вища пропускна здатність (подвоюється кожне покоління) та зростаючі вимоги до ємності, обмежені щільністю TSV та потужністю/площею PHY I/O.
- Шлях рішення: Міграція базового кристалу на передові логічні вузли → Custom HBM (CHBM) → Advanced HBM (AHBM) → ZHBM (справжній 3D).
З огляду на поточну тенденцію в еволюції DRAM/HBM, вища пропускна здатність є головним чинником, оскільки попит на ШІ продовжує зростати, і потреба у швидшому живленні обчислювальних прискорювачів з більшою кількістю даних стрімко зростає.
Наразі HBM4 пропонує пропускну здатність понад 3 ТБ/с на стек, HBM4E досягає 4 ТБ/с, а HBM5 подвоює пропускну здатність HBM4 із ємністю понад 60 ГБ. Однак масштабування пропускної здатності має певні обмеження, головними з яких є кількість TSV, обмеження кроку, а також кількість та швидкість I/O у базовому кристалі.
Технології передових процесів є ще одним обмеженням, і з кожним поколінням розрив між B-die та xPU SoC скорочується. Однак використання передових логічних вузлів має свої переваги. Samsung зазначає, що застосувала свої процеси D1c та 4 нм до HBM4 з основною метою зниження енергоспоживання та зменшення активної площі. Ці зміни знаменують початок справжньої інтеграції DRAM та передової логіки.
Однією з областей, на якій Samsung хоче зосередитись, є її власний HBM (custom HBM), який досліджує інтеграцію додаткових функцій на базовий кристал. У стандартних базових кристалах HBM присутні базові функції передачі даних та тестові шляхи. Для власного HBM ключова ідея полягає у використанні передових логічних процесів для інтеграції функцій, подібних до SoC, всередині базового кристалу, при цьому використовуючи стандартні стеки основних кристалів.
Оскільки власне рішення HBM вже використовує передові логічні процеси, воно може допомогти відновити частину площі від xPU, перекладаючи деякі функції. Власний HBM також замінює традиційний HBM PHY (присутній у стандартних модулях HBM) інтерфейсом D2D, що використовує передові логічні процеси. Це не тільки займає менше місця, але й має коротші канали, що безпосередньо покращує енергоефективність. Це також звільняє цінну площу кремнію для розширення xPU.
2 з 9
Починаючи з HBM4 до HBM5, власне рішення HBM з передовими логічними процесами може значно зменшити площу PHY та D2D. Хоча це призводить до скорочення довжини каналу, це також створює проблему – появу теплових точок.
Для вирішення цієї проблеми Samsung вже представила свою технологію Heat Path Block (HPB), яка базується на власному рішенні Samsung cHBM4 (custom HBM4) і знижує пікову температуру більш ніж на 35% та охоплює 50% PHY.
З уже застосованим рішенням наступний крок – перенесення логіки з xPU на cHBM. Основним кандидатом є контролер пам’яті, який є керованим з точки зору теплового впливу. Іншим блоком, що розглядається, є схема ремонту комірок на базі SRAM “Near-MC”, яка використовує невикористану площу базового кристалу для ресурсів ремонту SRAM, що дозволяє декодування збоїв на рівні комірок та перенаправлення в контролері пам’яті.
2 з 9
У другій фазі Samsung також пропонує інтегрувати контролер/PHY розширення пам’яті в невикористаний простір для збільшення обсягів пам’яті, необхідних у сучасних системах ШІ, оскільки контекстні вікна експоненційно зростають, що призводить до величезних вимог до KV кешу. PHY може використовуватися для інтеграції більшої ємності через зовнішні рішення пам’яті. Інші кремнієві аспекти, які можуть бути перенесені на базовий кристал у cHBM, включають часткові обчислення “Processing Elements”, які також можуть зменшити вимоги до пропускної здатності D2D, знизити енергоспоживання та теплове навантаження.
2 з 9
Революційна трифазна дорожня карта
| Фаза | Фокус | Ключові інновації | Основні переваги |
|---|---|---|---|
| 1 | Відновлення площі XPU | Компактний інтерфейс T2D Блок теплового шляху (HTB) Перенесення контролера пам’яті (MC) Ремонт на основі SRAM з дрібним гранулюванням | Менший розмір PHY; Зниження пікової температури >35%; Відновлення 5–10% площі XPU → Збільшення продуктивності на 10–20% |
| 2 | Функціональне розширення | Розширені RAS-сенсори та телеметрія в реальному часі Вбудований ATIP / покращене тестування Пряме розширення пам’яті (LPDDR/HBM) Вибіркові елементи обробки (AHBM) | Більша ємність біля XPU Краща вихідність та охоплення тестування Знижене енергоспоживання при переміщенні даних Гібридне розвантаження обчислень |
| 3 | 3D Конвергенція (ZHBM) | Усунення 2.5D інтерпозера Розподілені I/O Вертикальне стекування на XPU SoC Wafer-on-wafer + гібридне з’єднання | ~0.5 pJ/біт потужність IO >2.3× пропускна здатність ~70% нижча потужність DRAM 100 Вт теплового запасу для GPU |
Усі ці фази переходять до третьої фази – 3D інтеграції. Для цього Samsung розробляє нове рішення HBM під назвою zHBM, яке вертикально інтегрує HBM поверх XPU. Це тісно пов’язане рішення додатково економить площу кремнію та усуває використання 2.5D інтерпозера.
Рішення Samsung zHBM використовує розподілені I/O для мінімізації відстаней переміщення даних у стеку HBM, тоді як 3D-структура усуває традиційні 2D-інтерфейси, пропонуючи набагато вищу ефективність для систем, розроблених з наднизьким енергоспоживанням. Зниження потужності досягається за рахунок зменшення потужності I/O, оскільки оптимізації усувають SerDes, допомагаючи уникнути накопичення непотрібного навантаження на потужність.
Порівняно зі стандартним стеком HBM4e, рішення zHBM, як стверджується, забезпечує 70% покращення енергоефективності, 230% збільшення пропускної здатності DRAM, до 100 Вт заощаджень на модуль DRAM та забезпечує на 8,3% більше потужності для XPU (у цьому прикладі GPU). Представлене рішення містить чотири стеки zHBM над XPU.
Щоб уможливити zHBM, Samsung працює над передовими пакувальними технологіями, такими як WoW (Wafer on Wafer) та HCB (Hybrid Cube Bonding), для забезпечення надвисокої щільності I/O для створення уніфікованого дизайну SoC-DRAM.
2 з 9
Підсумовуючи, еволюція базового кристалу HBM через передові логічні процеси знаменує трансформаційний зсув для архітектур пам’яті ери ШІ. Мігруючи базовий кристал на передові вузли, Samsung відкриває безпрецедентну гнучкість, виходячи за межі традиційної маршрутизації даних та тестування. Трифазна дорожня карта реалізує це бачення:
- Фаза 1 відновлює цінну площу кремнію XPU через компактний інтерфейс T2D, блоки теплового шляху для керування температурою та розвантаження контролера пам’яті — що дозволяє збільшити щільність ядер та ефективний ремонт комірка за коміркою за допомогою вбудованої SRAM.
- Фаза 2 розширює функціональність, інтегруючи розширену RAS-телеметрію, вбудоване тестування, розширення ємності біля пам’яті та вибіркові елементи обробки (AHBM). Цей гібридний підхід зменшує переміщення даних, знижує енергоспоживання та вирішує проблеми як пропускної здатності, так і ємності моделей ШІ наступного покоління.
- Фаза 3 реалізує справжню 3D-конвергенцію з ZHBM, усуваючи 2.5D інтерпозер. Розподілені I/O та вертикальне стекування забезпечують наднизьке енергоспоживання (цільовий показник ~0.5 pJ/біт), більш ніж удвічі більшу пропускну здатність та значний системний тепловий запас для вищої продуктивності обчислень.
Разом ці досягнення, власний HBM сьогодні та zHBM завтра, позиціонують базовий кристал як активного, інтелектуального партнера для XPU. Освоюючи передові пакувальні технології та уніфікований ко-дизайн SoC-DRAM, ми подолаємо стіни енергоспоживання, площі та ємності, що обмежують системи ШІ, прокладаючи шлях до вищої ефективності, продуктивності та масштабованості в найближчі роки.
За даними порталу: wccftech.com