Для запуску потужних моделей штучного інтелекту (ШІ) потрібна відеокарта з великим обсягом відеопам’яті (VRAM). Якщо для сучасних ігор з високою графікою власника RTX 4080 проблем не виникає, то робота з великими мовними моделями (LLM) стає справжнім викликом. Один ентузіаст зумів інтегрувати серверний прискорювач NVIDIA Tesla V100 у свій ігровий ПК, щоб досягти обох цілей, хоча й зіткнувся з низкою складнощів.
Tesla V100 надає 32 ГБ VRAM, достатньо для запуску покращених ШІ-моделей, як-от Qwen 3.6, зі швидкістю 32 токени/секунду
Підключити Tesla V100 до материнської плати настільного ПК за принципом “plug and play” неможливо. Майстру Tymscar довелося придбати спеціальний адаптер SXM2-to-PCIe. Вартість самої відеокарти з 16 ГБ пам’яті HBM2 та адаптера обійшлася йому приблизно в 200 фунтів стерлінгів (близько 266 доларів США). На eBay ці карти можна знайти ще дешевше – приблизно за 100 доларів. Tesla V100, оснащена 5120 ядрами CUDA та 4096-бітною шиною пам’яті з пропускною здатністю 900 ГБ/с, досі має значний обчислювальний потенціал.
2 of 9
Знайти відповідний адаптер SXM2-to-PCIe було не найскладнішим завданням, але й не простим. Особливо, коли з’ясувалося, що Tesla V100 не має слота PCIe, відеовиходів або окремих роз’ємів живлення PCIe. Як видно на зображенні нижче, встановлення відеокарти на систему охолодження типу vapor chamber може бути прийнятним для тих, хто не зважає на надмірний шум. Однак при 82 дБ це створює значний дискомфорт.
За допомогою невеликих доопрацювань, зокрема зниження рівня шуму за допомогою батареї на 9 В та ШІМ-перемикача, вдалося зменшити оберти вентилятора охолодження V100 до 10% від максимальної швидкості. Ця проблема була вирішена, і майстру вдалося отримати 32 ГБ доступної відеопам’яті. Жодна гра не вимагає 32 ГБ відеопам’яті, якщо тільки ви не плануєте запускати новітні ігри в роздільній здатності 16K. Тому найкращим сценарієм використання стане робота з моделлю Qwen3.6 27B.
Майстер запускав модель Qwen3.6-27B-MTP, квантовану до Q5_K_M, яка займає 19 ГБ. З контекстним розміром 128 тисяч токенів, наявного обсягу VRAM вистачило для роботи LLM зі швидкістю 32 токени на секунду. Обробка запитів відбувалася зі швидкістю від 133 до 160 токенів на секунду, що є пристойним показником для попереднього покоління ШІ-прискорювачів, які використовуються для домашніх обчислень. Найкраще те, що менш ніж за 300 доларів США ви можете запустити власні невеликі або середні моделі ШІ вдома, безкоштовно та без підключення до Інтернету.
Джерело новин: Tymscar
Про автора: Омар Сохайль – репортер та аналітик мобільного відділу Wccftech, який спеціалізується на технологіях та бізнесі мобільної індустрії. Його експертиза охоплює складний ланцюжок поставок апаратного забезпечення, розробки у виробництві напівпровідників, літографії мікросхем та технології сенсорів камер.
Слідкуйте за Wccftech у Google, щоб отримувати більше новин у своїй стрічці.
Додатково для читання
NVIDIA уклала угоду на 500 мільярдів доларів із SK hynix, а потім Дженсен Хуанг попросив «ще одне пиво»
Rohail Saleem
20 років з моменту придбання ATI компанією AMD за 5,4 мільярда доларів: угода, що сформувала Radeon, консолі та майбутнє ШІ від AMD
Sarfraz Khan
NVIDIA RTX 5060 раптово подорожчала на 75 доларів у Китаї, оскільки зростання цін на комплекти пам’яті впливає на весь ринок GPU
Sarfraz Khan
NVIDIA тепер повністю підтримує моделі ШІ з відкритим доступом, попри все, щоб зберегти свою монополію на CUDA
Rohail Saleem
За даними порталу: wccftech.com