Графічні процесори NVIDIA Blackwell продовжують демонструвати масові оптимізації, що призвело до зниження вартості токена до 5 разів для моделей ШІ DeepSeek v4.
NVIDIA значно знижує вартість за токен у DeepSeek V4 завдяки оптимізаціям для GPU Blackwell
“Вартість за токен” – це фундаментальний показник для загальної вартості володіння (TCO) у сфері ШІ, на чому NVIDIA наголошувала кілька місяців тому. Сьогодні компанія досягла найнижчої вартості за токен в історії для DeepSeek v4.
NVIDIA оголосила, що її програмне забезпечення для інференсу (inference software) забезпечило подальші оптимізації для апаратного стеку, включаючи Blackwell GB200 та GB300, покращуючи їхню продуктивність і роблячи їх кращими, ніж будь-коли. Завдяки останнім оптимізаціям платформа NVIDIA Blackwell змогла скоротити вартість токена до 5 разів для DeepSeek V4, лише через місяць після випуску моделі.
Провідні компанії та постачальники інференс-рішень вже відзначили ці досягнення на своїх платформах на базі NVIDIA Blackwell:
- Baseten використовувала бібліотеку з відкритим кодом NVIDIA TensorRT-LLM для розгортання DeepSeek V4 Pro на GPU Blackwell для завдань міркування, кодування та роботи з довгим контекстом, застосовуючи власні оптимізації часу виконання для досягнення на 50% більшої кількості токенів за секунду.
- Cognition використовує фреймворк інференсу NVIDIA Dynamo для управління GPU інференсу, надаючи своїй команді готовий шлях для масштабування робочих навантажень навчання з підкріпленням без необхідності створення цієї інфраструктури з нуля.
- Deep Infra використовує програмний стек інференсу NVIDIA для ефективного розгортання передових моделей з відкритим кодом на Blackwell з першого дня, включаючи DeepSeek V4.
- Together AI використала NVIDIA TensorRT-LLM на Blackwell, щоб допомогти Cursor прискорити шлях від оптимізації моделей до виробничих кінцевих точок для свого досвіду кодування в реальному часі.
Зниження вартості за токен досягається завдяки перетворенню індивідуальних оптимізацій на системну продуктивність на GPU NVIDIA. NVIDIA пояснює, що її програмні стеки для інференсу досягають цих результатів, з’єднуючи три шари:
- Виробнича експлуатація: Координує розподілене обслуговування, оркестрацію, автоматичне масштабування та керування пам’яттю, щоб інференс міг працювати на відповідних обчислювальних ресурсах та сховищах.
- Прискорення додатків: Забезпечує високу продуктивність моделей, надаючи розробникам простір для налаштування та кастомізації, використовуючи оптимізації часу виконання, такі як паралельне виконання обчислень та комунікацій, а також злиття ядер (kernel fusion).
- Доступ до інфраструктури: Відкриває можливості GPU, мережі, пам’яті та системи NVIDIA, не вимагаючи від розробників прямого управління кожним набором команд пристрою або протоколом передачі даних.
Усі ці шари зібрані в комплексні системи, що призводить до кумулятивного ефекту оптимізації. Крім того, технології NVIDIA, такі як NVLink, NVFP4, Multi-Token-Prediction та інші, також забезпечують значні переваги, пропонуючи сукупне збільшення пропускної здатності в 20 разів.
GPU NVIDIA Blackwell, завдяки безперервним оптимізаціям інференсу на всіх рівнях програмного забезпечення, досягли вражаючого 5-кратного зниження вартості за токен для DeepSeek V4 лише через місяць після його випуску, підтверджуючи, що вартість за токен є ключовим показником загальної вартості володіння для ШІ.
Завдяки бездоганній інтеграції виробничих операцій, прискорення додатків та доступу до інфраструктури, а також таким технологіям, як NVLink і NVFP4, Blackwell забезпечує кумулятивні системні переваги, що призводять до збільшення пропускної здатності до 20 разів. Провідні постачальники інференс-рішень, включаючи Baseten, Cognition, Deep Infra та Together AI, вже використовують ці досягнення для забезпечення вищої продуктивності для завдань міркування, кодування та великомасштабних робочих навантажень, ще більше зміцнюючи домінування NVIDIA у сфері ефективного інференсу ШІ.
Про автора: Хассан Муджтаба, інженер-програміст за освітою та ентузіаст ПК за покликанням, є старшим редактором розділу апаратного забезпечення Wccftech. Маючи багаторічний досвід роботи в галузі, він спеціалізується на глибокому технічному аналізі процесорів та графічних архітектур наступного покоління, материнських плат та систем охолодження. Його робота включає не тільки висвітлення новин про майбутні технології, але й всебічні огляди та тестування.
Слідкуйте за Wccftech на Google, щоб отримувати більше новин у своїй стрічці.
Додаткове читання
Графічні карти AMD Radeon тепер можуть запускати ігри з NVIDIA PhysX з прискоренням у 3 рази завдяки ZLUDA, без потреби в окремому PhysX GPU
Хассан Муджтаба
NVIDIA постачає 35 суперкомп’ютерів до Європи, що охоплюють 23 країни, загальною потужністю до 800 екзафлопс для обчислень ШІ
Хассан Муджтаба
NVIDIA готує архітектури GPU наступного покоління, коли “Blackwell-Next” помічено в патчі ядра Linux 7.2
Хассан Муджтаба
Foxconn оцінює дата-центр NVIDIA Vera Rubin AI у 47 мільярдів доларів США за гігават, річні рахунки за електроенергію сягають 1,3 мільярда доларів США
Хассан Муджтаба
Чи варто купувати? (Порада ІТ-Блогу): NVIDIA Blackwell демонструє виняткову ефективність завдяки програмним оптимізаціям, значно знижуючи вартість інференсу ШІ. Хоча прямого порівняння цін немає, 5-кратне зниження вартості токена свідчить про те, що ці GPU пропонують надзвичайно привабливе співвідношення ціни та продуктивності для завдань ШІ, роблячи їх привабливим вибором для бізнесу, що займається високопродуктивними обчисленнями.
Інформація підготовлена на основі матеріалів: wccftech.com