Неймовірно, але колись колосально дорога (близько $10 000) серверна відеокарта NVIDIA Tesla V100 2017 року зараз може бути придбана всього за ~ $100. Звісно, YouTube-канал Hardware Haven витратив трохи більше, близько $200, щоб адаптувати цей професійний прискорювач для роботи в звичайному ПК через PCIe. І, як виявилося, в задачах, пов’язаних з великими мовними моделями (LLM), вона демонструє продуктивність, що перевершує навіть сучасні RTX 3060 та Radeon RX 7800 XT! Лінійка GPU NVIDIA Volta стала першою, що була повністю орієнтована на дата-центри, а не на геймерів. Важливою інновацією архітектури Volta стало впровадження тензорних ядер – основи сучасних обчислень штучного інтелекту. Саме в таких завданнях Hardware Haven і тестував Tesla V100.
Технічні характеристики NVIDIA Tesla V100 SXM2
- Архітектура: Volta
- Ядра CUDA: 5120
- Тензорні ядра: 640
- Блоки TMU: 320
- Блоки ROP: 128
- Кеш L2: 6 МБ
- Тактова частота: до 1530 МГц
- Обсяг пам’яті: 16 ГБ HBM2
- Шина пам’яті: 4096-бітова
- Пропускна здатність пам’яті: 898 ГБ/с
- TDP: 250 Вт
Tesla V100 випускалася у двох форм-факторах: SXM (для серверних плат) та PCIe (для стандартних слотів). Варіант SXM, який використовувався у тестуванні, мав спеціальний мезонінний роз’єм для прямого живлення та зв’язку NVLink. 
Основні виклики для інтеграції V100 у звичайний ПК полягали у невідповідності роз’єму та пасивній системі охолодження. Для вирішення проблеми з охолодженням ютубер використав 3D-надрукований повітропровід та потужний вентилятор Noctua, забезпечивши стабільний повітряний потік для радіатора. 
Продуктивність у LLM
У тестах з мовною моделлю GPT-oss (20b параметрів) NVIDIA Tesla V100 демонструвала швидкість генерації близько 130 токенів/сек, тоді як Radeon RX 7800 XT видавала лише 90 токенів/сек. Порівняно з GeForce RTX 3060 12 ГБ, V100 була швидшою на 42% у тесті Gemma4:e4b (використовуючи ollama та openwebui). Що ще цікавіше, навіть при обмеженні потужності у 100 Вт, Tesla V100 все одно випереджала RTX 3060, демонструючи на 41% кращу енергоефективність (токен/сек/ват). Hardware Haven планує продовжити дослідження, тестуючи дорожчі версії Tesla V100 з 32 ГБ пам’яті та більші мовні моделі. Такі карти на вторинному ринку можуть коштувати в районі $400–$500.
Чи варто купувати? (Порада ІТ-Блогу): Для ентузіастів, які займаються AI/ML та шукають максимальну продуктивність за мінімальні гроші, особливо в задачах LLM, NVIDIA Tesla V100 на вторинному ринку є абсолютно фантастичним варіантом. Вона пропонує неймовірне співвідношення ціна/продуктивність, хоча й вимагає певних зусиль для інтеграції та охолодження. Якщо ви готові до “гаків” і вам потрібна чиста обчислювальна потужність для AI, це ваш вибір!
За даними порталу: mezha.ua