Приготуйтеся, адже наявна вузька шийка пам’яті та HBM-пов’язані проблеми незабаром будуть значно розвантажені завдяки ініціативі SanDisk щодо розробки High-Bandwidth Flash (HBF) спільно з SK hynix. Це в кінцевому підсумку призведе до розподілу завдань, які зараз виконуються виключно HBM.
HBF забезпечує пропускну здатність читання, що на порядки перевищує можливості JEDEC HBM4, але поступається у витривалості запису
Перш ніж обговорювати стандарт HBF, розглянемо проблему “стіни пам’яті”, яка часто виникає з HBM.
HBM та проблема “стіни пам’яті”
ШІ-модель зі 100 мільярдами параметрів, що працює на рівні обчислень fp16 (тобто 2 байти на параметр), потребує 200 ГБ (100×10⁹x2) HBM лише для зберігання ваг моделі.
Для тих, хто, можливо, не знає, ваги визначають, наскільки важливим модель вважає певну концепцію або послідовність слів. По суті, це сукупність збережених знань моделі. Як правило, чим більша модель, тим більше ваг їй потрібно зберігати.
Але це ще не все. Розглянемо сценарій: ви пишете історію, але страждаєте від жахливої короткочасної пам’яті. Кожного разу, коли ви пишете нове слово, ви змушені перечитувати все, що написали до цього, щоб пригадати, що вже було надруковано. Очевидно, що зі збільшенням довжини тексту цей трудомісткий процес також зростає.
Кеш “ключ-значення” (KV cache) схожий на запис нотаток на окремому аркуші, щоб ви були в курсі того, що вже написано. Це прискорює весь процес на порядки. Проте, зі збільшенням контексту зростає і KV-кеш, який зазвичай зберігається в HBM через швидкість і частоту, з якою модель потребує до нього доступу.
Тепер найскладніше. Стеки HBM4 припаяні поряд з GPU і мають обмежену пропускну здатність пам’яті. Наприклад, стандартний 12-шаровий стек HBM4 містить 36 ГБ даних, тоді як його 16-шаровий аналог може вміщувати до 48 ГБ.
Отже, HBM зберігає не тільки ваги моделі, але й KV-кеш. І щоб збільшити обсяг HBM, зазвичай доводиться збільшувати кількість GPU, що може дуже швидко стати надзвичайно дорогим.
Тепер додамо HBF до цієї рівняння
Як ми детально розповідали сьогодні, SanDisk зараз розробляє стандарт HBF разом із SK hynix, який пропонує 512 ГБ сховища з пропускною здатністю від 0.4 ТБ/с до 3 ТБ/с.
По суті, так само, як HBM розміщує DRAM, HBF розміщує NAND-чіпи один над одним, з’єднані Through Silicon Vias (TSV), а контролер логіки припаяний до цього NAND-масиву.
Проблема використання NAND-комірок полягає в їхній повільній швидкості. SRAM забезпечує швидкість читання близько однієї наносекунди проти ~100 наносекунд для DRAM і вражаючих ~100 мікросекунд для NAND. Це означає, що NAND забезпечує в 1000 разів повільнішу швидкість читання, ніж HBM на базі DRAM.
Однак HBF використовує потужність паралелізму для збільшення пропускної здатності на порядки. По суті, логічний чіп планує тисячі паралельних зчитувань NAND-комірок одночасно. Таким чином, хоча кожне окреме зчитування певної NAND-комірки є приблизно в 1000 разів повільнішим, тисячі паралельних зчитувань можуть забезпечити сукупну пропускну здатність від 0.3 ТБ/с до 3 ТБ/с порівняно з приблизно 6.4 ГБ/с для HBM4 стандарту JEDEC.
Тим не менш, HBF не може компенсувати жахливу швидкість запису NAND і пов’язану з цим крихку витривалість запису. Це означає, що KV-кеш все ще потребуватиме зберігання на HBM, оскільки він вимагає частих записів. Однак ваги моделі можуть бути перенесені на HBF.
Тепер, як остання примітка, слід зазначити, що масиви HBF не очікуються такими ж дешевими, як SSD, особливо тому, що вони все ще вимагають передової упаковки, яка сама по собі є дорогим процесом. Тим не менш, вони можуть бути значно дешевшими за HBM, що повинно відкрити значні економії масштабу. Крім того, звільнення HBM для KV-кешу означає, що контекст моделі може стати довшим без шкоди для базової точності виведення, що додає ще одну суттєву перевагу цій новій парадигмі.
Про автора: Письмо — це моя незаперечна пристрасть. За останні шість років я написав понад 2200 статей на фінансові та технологічні теми, що склало майже 1 мільйон слів. Я є членом команди Wccftech mobile з 2025 року. Як випускник Університету Торонто, програми Rotman Commerce, я привношу нюанси, глибокі знання та унікальну перспективу до кожної теми, яку висвітлюю. Коли я не пишу, я подорожую світом, досліджуючи приховані кондитерські та ресторани як амбітний гурман.
Слідкуйте за Wccftech на Google, щоб отримувати більше наших новин у своїх стрічках.
Подальше читання
LPDDR6 від CXMT пройшов перевірку R&D при 12.8 Гбіт/с, наближаючись до повномасштабного виробництва – Звіт
Раміш Зафар
Samsung та SK Hynix переробили бізнес-модель DRAM, щоб протистояти піку та спаду
Омар Сохаїл
Intel долає стіну інкапсуляції, що блокує надвеликі чіпи, розширюючи передове пакування до 24x розміру ретікула та далі
Хассан Муджтаба
Генеральний директор Apacer попереджає, що пропозиція стандартної DRAM впаде на 70% у 2027 році, повторюючи апокаліптичний прогноз генерального директора SK hynix
Рохаїл Салім
Подробиці можна знайти на сайті: wccftech.com