NVIDIA повністю розкрила свою архітектуру ШІ-GPU Rubin, що забезпечує монументальне зростання продуктивності над Blackwell для епохи агентного ШІ.
NVIDIA Переосмислює Дата-Центри Зі Своїми GPU Rubin, Пропонуючи Найшвидшу ШІ-Продуктивність У Світі
GPU Rubin знаходиться в центрі платформ NVIDIA наступного покоління для дата-центрів. Це чіп, розробка якого зайняла кілька років, і тепер він нарешті стає загальнодоступним. Оскільки перші платформи Rubin AI вже почали надходити до великих технологічних компаній по всьому світу, настав час NVIDIA розкрити повні деталі архітектури, яка лягла в основу цього надпотужного ШІ-чіпа, що формуватиме ландшафт агентного ШІ.
Згідно з NVIDIA, чіп Rubin забезпечує в 10 разів вищу пропускну здатність агентного ШІ на одиницю енергії порівняно з Blackwell, і це досягається завдяки трьом основним архітектурним змінам:
- Покращені Tensor Cores з розширеними можливостями точності
- Нова підсистема пам’яті HBM4
- Трансформерний двигун 3-го покоління
Але спочатку давайте розглянемо архітектуру, зазирнувши всередину чіпа.
Архітектура Rubin: Детальний Огляд – Монстр З Мільярдами Транзисторів
Чіп NVIDIA Rubin виготовляється за техпроцесом TSMC 3 нм (N3P) і містить два ретікл-лімітовані кристали для досягнення високої щільності та ефективності, що визначають цей чіп. Ці два кристали з’єднані в одному уніфікованому корпусі через інтерфейс NVIDIA High-Bandwidth Interface (NV-HBI). Чіп містить загалом 336 мільярдів транзисторів, що на 62% більше, ніж у чіпа Blackwell GB300.
Під капотом кожного GPU Rubin знаходяться 8 GPC (Graphics Processing Clusters), що містять загалом 224 SM (Streaming Multiprocessors) і 896 Tensor Cores. Це має складати 28 SM та 112 Tensor Cores на GPC, але, виходячи з блок-схеми, існує два типи GPC: один з 30 SM, а інший з 26 SM.
На кожному кристалі чотири GPC, які підключені до двох блоків великого децентралізованого кешу L2, Gigathread Engine, чотирьох каналів HBM (4096-біт на кристалі) та інтерфейсу NVLink. Чіп також оснащений контролером PCIe Gen6 для взаємодії з хост-процесором, а інтерфейс NVLink v6 IO забезпечує 3600 ГБ/с зв’язку з NVLink-перемикачем. Контролер MIG розділяє GPU для кількох робочих навантажень, а також є NV-DEC для прискореного декодування.
Чіп також підтримує Конфіденційні Обчислення через TEE-I/O, що забезпечує безпеку даних у стані спокою, під час передачі та використання в ШІ-процесах.
Найшвидша HBM4 На Ринку Для Прискорення Передачі Даних
Щодо пам’яті, NVIDIA Rubin використовує HBM4, найновіший стандарт HBM. Потреба у швидшій передачі даних стала критично важливою в сучасному ландшафті ШІ, і Rubin йде на повний оберт, пропонуючи 288 ГБ ємності через вісім 12-Hi стеків (це 36 ГБ на стек та 3 ГБ на DRAM). Ці стеки забезпечують пікову пропускну здатність 22 ТБ/с, що робить їх найшвидшим рішенням HBM4 на ринку.
NVIDIA також використовує свій новий та покращений Tensor Memory Accelerator (TMA) для ефективного переміщення складних даних через чіп, тоді як NVLink 6 забезпечує швидкість масштабування 3600 ГБ/с для комунікації між усіма GPU. Інтерфейс NVLink-C2C забезпечує 1800 ГБ/с комунікації CPU-до-GPU, а лінії PCIe Gen6 x16 надають пропускну здатність 256 ГБ/с для підключення до хост-процесора.
HBM4 Прискорює Генерацію Токенів
Пам’ять HBM4 для Rubin розроблена для максимальної енергетичної та обчислювальної ефективності, що призводить до прискорення можливостей декодування та генерації токенів. Більшість сучасних робочих навантажень витрачають час на довгі контексти, великі KV-кеші та інтерактивну генерацію токенів, що робить пропускну здатність ще більш критичною. З 2.8-кратним збільшенням порівняно з пам’яттю Blackwell (22 ТБ/с проти 8 ТБ/с), рішення HBM4 забезпечує:
- Ємність: Підтримка розміщення моделей, більших контекстних вікон, більших KV-кешів та вищої конкурентності без непотрібного вивантаження KV-кешу.
- Пропускна здатність: Підтримка фази генерації токенів, під час якої ваги моделі та стан KV повинні переміщуватися достатньо швидко, щоб обчислювальні двигуни залишалися продуктивними.
- Підсистема пам’яті: TMA та стратегії локальності пам’яті допомагають програмному забезпеченню ефективно використовувати підсистему пам’яті, підтримуючи високу досягнуту пропускну здатність для складних макетів даних.
HBM4 підсилює Rubin, що є важливим для підтримки моделей з трильйонами параметрів, розширення довжини контексту без клопоту з вивантаженням KV-кешу, а також підтримки набагато вищих показників конкурентності та довготривалих робочих навантажень інференсу.
Прискорення MoE та Токенів Завдяки Покращеному Прискорювачу Пам’яті Tensor
Rubin також оснащений вдосконаленим Tensor Memory Accelerator (TMA), який ефективно визначає та переміщує ваги експертів при зростанні кількості експертів у MoE-моделях. TMA зменшує накладні витрати на переміщення даних завдяки покращеній обробці дескрипторів, що дозволяє програмному забезпеченню більш ефективно маршрутизувати та працювати. Inline Descriptor також отримує оновлену підтримку для TMA і дозволяє ядру зберігати один уніфікований дескриптор для тензорів, які мають однаковий макет та перевизначають поля, такі як вказівник пам’яті та крок, безпосередньо в інструкції TMA під час виконання.
Результатом є більш ефективне масштабування MoE-моделей навіть при збільшенні кількості експертів. Це дозволяє чіпу виділяти більше часу на обчислення інференсу для підвищення пропускної здатності.
Швидші Tensor Cores для Швидшої Пропускної Здатності
Вдосконалені Tensor Cores були посилені, щоб забезпечити подвоєння пропускної здатності на цикл тактування. Це досягається подвоєнням обсягу даних, які Tensor Core може обробляти вздовж виміру K. Це допомагає ядрам, обмеженим пропускною здатністю, та ядрам, обмеженим пам’яттю/затримкою.
NVIDIA пояснює, що перевага більшого виміру K полягає у зменшенні кількості ітерацій циклу K. Наприклад, GEMM, що вимагав чотири ітерації K на Blackwell, може бути завершений лише за дві ітерації на чіпах Rubin.
Також відбулися покращення в механізмі уваги (attention) шляхом поєднання розрідженості активацій з адаптивним стисненням та покращення пропускної здатності softmax. Конвеєр уваги починається з обчислення щільного QK^T для генерації проміжних оцінок уваги.
Rubin може завантажити ці проміжні дані з Tensor Memory у структуровану 2:4 розріджену стиснуту форму, генеруючи як ненульові значення, так і метадані, необхідні для їх ефективного використання, зменшуючи при цьому витрати на запис та вимоги до зберігання оцінок. Це дозволяє пізнішим етапам уваги працювати з меншим обсягом даних, зберігаючи при цьому щільний вихідний формат, який очікує решта моделі.
Також збільшилася здатність Rubin до експоненційного прискорення порівняно з базовим Blackwell. Rubin пропонує в 2 рази вищу FP32 пропускну здатність (на такт на SM) порівняно з GB200 і таку ж, як GB300, тоді як BF16/FP16 пропускна здатність в чотири рази вища, ніж у базового Blackwell (GB200), і вдвічі вища, ніж у Blackwell Ultra (GB300).
Rubin також забезпечує більш дрібнозернисту координацію між залежними ядрами. Це дозволяє споживчій роботі розпочинатися раніше, як тільки стають доступними необхідні вхідні дані, замість того, щоб чекати завершення великого набору роботи виробника.
Результатом є більш щільний графік роботи GPU, зменшення прогалин простою та краще перекриття залежних ядер. Це особливо цінно для агентного інференсу, де активації послідовно проходять через модель, а затримка між ядрами безпосередньо впливає на кількість токенів за секунду на користувача.
Інкрементне Підвищення Енергоефективності З DSX MaxLPS
Ще одним важливим фактором для сучасних ШІ-дата-центрів є енергоефективність. Системи Vera Rubin NVL72 є передовими і містять деякі нові прийоми для її покращення, такі як керування живленням та інтелектуальне згладжування живлення з накопиченням енергії в одному домені виконання, розроблені для максимізації корисного виведення токенів у межах фіксованого енергетичного бюджету.
Тимчасові піки можуть знижувати загальну пропускну здатність, залишаючи доступну потужність ШІ-фабрики невикористаною. Для вирішення цієї проблеми системи Vera Rubin оснащені інтелектуальними блоками живлення з плавним регулюванням заряду (SoC), які поглинають ці тимчасові коливання, зменшуючи середнє споживання енергії приблизно на 10% порівняно з попереднім поколінням. Вони також зменшують пікову потужність за 50 мс на 20%, забезпечуючи оптимізований профіль живлення, який може підтримувати максимальні вимоги до потужності.
Для ШІ-фабрик NVIDIA DSX OS, яка включає DSX MaxLPS, поширюється на GPU, стійки, рідинне охолодження та робочі навантаження, пропонуючи операційний шар для планування, управління життєвим циклом та автоматизації стану, що дозволяє надати на 40% більше GPU в межах того ж енергетичного бюджету, збільшуючи пропускну здатність кожного розгортання.
Все це разом робить Rubin передовим чіпом для ШІ-дата-центрів, і чіпом, який розпочне нову подорож для майбутніх можливостей ШІ, поширюючись на робочі процеси агентного ШІ та на те, що прийде після них.
Про автора: Хассан Муджтаба, інженер-програміст за освітою та ентузіаст ПК за пристрастю, є старшим редактором розділу апаратного забезпечення Wccftech. Маючи багаторічний досвід роботи в галузі, він спеціалізується на глибокому технічному аналізі процесорів та GPU наступного покоління, материнських плат та рішень для охолодження. Його робота включає не тільки висвітлення найновіших технологій, але й extensive hands-on огляди та бенчмаркінг.
Підписуйтесь на Wccftech у Google, щоб отримувати більше новин у своїх стрічках.
Подальше читання
NVIDIA Vera Rubin NVL72 Виходить На Арену З Монументальним Збільшенням Пропускної Здатності Токенів У 10 Разів Порівняно З Blackwell, Досягаючи 800 000 Токенів/С проти 80 000 GB200 При Тій Ж Самій Потужності 150 МВт
Hassan Mujtaba
Samsung Відкладає Гібридне З’єднання HBM до 2029 року, Узгоджуючи Пам’ять Наступного Покоління З ШІ-GPU Feynman від NVIDIA
Ramish Zafar
NVIDIA Таємно Придбала Величезну Кількість Оптоволоконних Каналів По всій території США, Загальна Пропускна Здатність Яких Потенційно Досягає Неймовірних 7.6 Петабіт/С
Rohail Saleem
AMD Представляє Helios, Свій Потужний ШІ-Прискорювач Наступного Покоління З MI455X та EPYC 6-го Покоління, Кидаючи Виклик Домінуванню NVIDIA У Масштабі Стійок
Hassan Mujtaba
Джерело новини: wccftech.com