На тлі серйозної невідповідності продуктивності між пам’яттю з високою пропускною здатністю (HBM) та SSD, з якими стикаються прискорювачі ШІ, компанії SK hynix та SanDisk спільно представили рішення — новий стандарт High Bandwidth Flash (HBF). Його мета — подолати розрив у швидкості. Обидва виробники пам’яті прагнуть створити екосистему, в якій різні підприємства зможуть розробляти сумісні продукти.
Специфікації HBF дозволяють до 512 ГБ в одній конфігурації, яка складається з 8 або 16 шарів NAND-чіпів
По суті, HBF має характеристики, що дозволяють йому зайняти нішу між HBM та корпоративними SSD. Як і HBM, HBF використовує кілька стеків пам’яті, але замість DRAM застосовується NAND-флеш для збільшення обсягу зберігання. Його основна роль полягатиме в доповненні лімітів ємності, а не в повній заміні HBM. Великі мовні моделі (LLM) можуть оброблятися через HBM, яка негайно потрібна для обчислень, тоді як HBF зберігатиме дані в більшому обсязі.
Останні специфікації від SK hynix та SanDisk дозволяють HBF досягати 512 ГБ, а пропускна здатність варіюється від 0,4 ТБ/с до 3 ТБ/с. Щоб зрозуміти, як ця технологія підвищить продуктивність інференсу ШІ, уявіть собі модель ШІ з 500 мільярдами параметрів. Якщо кожен гігабайт може вмістити мільярд параметрів, це становитиме 500 ГБ. Оскільки зберігати всю модель в HBM неефективно з точки зору витрат, компанії можуть використовувати HBF для зберігання таких моделей ШІ.
High Bandwidth Flash також підтримує специфікацію UCIe (Universal Chiplet Interconnect Express), що дозволяє HBF підключатися до різних ЦП та ГП, впроваджуючи повний рівень гнучкості. Кім Чун-сун, керівник відділу розробки рішень SK hynix, зазначив, що компанія «розширить межі між пам’яттю та сховищем і сприятиме створенню нових архітектур, які підвищать загальну ефективність системи».
Поки SK hynix та SanDisk докладають зусиль для популяризації стандарту HBF, Samsung вже налагоджує плідні відносини з такими компаніями, як NVIDIA, розробляючи та масово виробляючи рішення CMX. Завдяки виробництву своїх NAND-флеш V10 та V11, які можуть досягати до 500 шарів, корейський гігант буде орієнтуватися на потреби ультрашвидкого зберігання даних для серверів ШІ, яким потрібен швидкий доступ до даних для збільшення розвантаження ГП, що призведе до кращого інференсу ШІ.
Який стандарт вийде на перше місце? Схоже, ми дізнаємося це найближчими місяцями.
Джерело новин: SK hynix
Про автора: Омар Сохаїл — репортер та аналітик мобільного розділу Wccftech, який спеціалізується на технологіях та бізнесі мобільної індустрії. Його експертиза охоплює складний ланцюжок постачання апаратного забезпечення, охоплюючи розробки у виробництві напівпровідників, літографії чіпів та технологіях сенсорів камер.
Слідкуйте за Wccftech на Google, щоб отримувати більше наших новин у стрічці.
Подальше читання
Samsung та SK hynix переосмислили бізнес-модель DRAM, щоб протистояти піку попиту та рецесії
Омар Сохаїл
Генеральний директор Apacer попереджає, що пропозиція стандартної DRAM скоротиться на 70% у 2027 році, повторюючи апокаліптичний прогноз генерального директора SK hynix
Рохайль Салім
SK hynix планує скоротити золотий період CXMT єдиним відомим способом: технологічною перевагою, здобуваючи китайських клієнтів оперативною пам’яттю LPDDR6
Омар Сохаїл
NVIDIA уклала угоду на 500 мільярдів доларів із SK hynix, а потім Дженсен Хуанг попросив «ще одне пиво»
Рохайль Салім
Оригінал статті: wccftech.com