Низькорівневе зняття запобіжника тензорних ядер відеокарт NVIDIA RTX попередніх поколінь призвело до відчутного збільшення їхньої продуктивності в ШІ. Модифікації не потребують перепрошивання VBIOS, заміни драйвера або апаратних змін, повідомляє VideoCardz.
Робота кількох модерів базується на попередніх спробах розблокування обчислювальних можливостей відеокарт NVIDIA CMP, призначених для майнінгу. Розробник Zagitta адаптував ці методи для GeForce RTX 30 у проєкті GPU-Unlock з відкритим кодом, тоді як робота TOTORONG розширила підтримку до архітектури Ada (RTX 40).
Програмні інструменти змінюють низькорівневі регістри конфігурації графічного процесора перед завантаженням драйвера NVIDIA, не змінюючи його. Вони усувають обмеження на швидкість виконання певних інструкцій тензорними ядрами. Зміни є тимчасовими та скидаються, коли відеокарта втрачає живлення.
У результаті RTX 3090 Ti збільшує продуктивність множення матриць BF16 з 87,5 до 157,4 TFLOPS, тоді як RTX 4090 подвоїла виміряну пропускну здатність інструкцій тензорного ядра у FP16 зі 165,6 до 331,6 TFLOPS. Модер KohakuBlueleaf також продемонстрував, що RTX 2080 Ti досягає 111 TFLOPS порівняно з 59,9 TFLOPS до розблокування. Щоправда, у цьому випадку йдеться про відеокарту з 22 ГБ пам’яті, але апаратна модифікація не має стосунку до апаратного моду. Також є повідомлення про успіх на RTX 3060, RTX 3070, RTX 3080 та вибраних моделях RTX 40.
Зміни в першу чергу впливають на операції з застосуванням FP16, BF16 та FP32, а також на певні робочі навантаження TF32 та FP8, якщо вони підтримуються. Практична користь моду полягає у пришвидшенні роботи великих мовних моделей та певних навантажень генерування зображень. Фактичний приріст залежить від використовуваного програмного забезпечення. Звіти про RTX 3090 показують покращення обробки запитів LLM приблизно на 14%-36%, тоді як генерація токенів залишається майже незмінною, оскільки вона обмежена пропускною здатністю пам’яті.
Більшість з цих окремих проєктів наразі орієнтовані на Linux, хоча також доступні експериментальні реалізації для Windows, але непідтримувані конфігурації ПК та ОС можуть не завантажуватися. Також модифікації не впливають на продуктивність в іграх. Деякі з їхніх користувачів вже звернулися до NVIDIA з проханням офіційно зняти обмеження для попередніх поколінь відеокарт. Метод поки не підтримує розблокування RTX 50.
У Китаї масово переробляють нові відеокарти RTX 5090 для використання у серверах ШІ
Оригінал статті: mezha.ua