Відсутність дискретної відеокарти в ноутбуці зазвичай обмежує можливості запуску локальних великих мовних моделей (LLM). Однак власник старого ноутбука Lenovo знайшов вихід: він використав наявний слот M.2 для підключення настільної відеокарти AMD Radeon RX 7900 XT. Оскільки в пристрої був лише один такий слот, користувачеві довелося вдатися до хитрощів і використовувати зовнішній накопичувач для завантаження Windows. В результаті йому вдалося досягти прийнятної продуктивності під час роботи з моделлю Qwen3.6 27B.
Завдяки 20 ГБ відеопам’яті GDDR6 карти RX 7900 XT, ноутбук Lenovo демонструє вражаючу продуктивність у Qwen3.6 27B
Запуск Qwen3.6 27B — це непросте завдання, але користувач Reddit під ніком “Alternative-Panic69” довів, що для цього потрібен правильний підхід та наявні ресурси. Подібні рішення вже траплялися раніше. Навіть без порту Thunderbolt, користувачеві вдалося під’єднати RX 7900 XT до ноутбука за допомогою райзера ADT-Link PCIe, підключеного до слота M.2 комп’ютера.
Для відеокарти використовується окремий блок живлення потужністю 750 Вт, оскільки ноутбук не може забезпечити її необхідною енергією. Завантаження операційної системи ноутбука Lenovo із зовнішнього накопичувача було достатньо простим, за умови наявності вільного USB-порту, хоча ми не можемо оцінити плавність роботи такого рішення.
Зовнішній монітор підключено до відеокарти, тоді як ноутбук змушений працювати на вбудованому графічному чіпі, щоб уникнути зайвого навантаження на відеопам’ять. За допомогою llama.cpp, відеокарта RX 7900 XT змогла запускати Qwen3.6 27B зі швидкістю 55-60 токенів на секунду завдяки 20 ГБ відеопам’яті.
Ваги моделі та KV-кеш були перенесені у відеопам’ять RX 7900 XT, тоді як довжина контексту в 100 тис. токенів призвела до повного використання 16 ГБ оперативної пам’яті ноутбука. Ймовірно, єдиним обмеженням у цьому експерименті є низький обсяг оперативної пам’яті самого ноутбука.
На жаль, зважаючи на поточну ситуацію з цінами на оперативну пам’ять, придбати додаткові модулі за доступною ціною непросто. Тому, якщо “Alternative-Panic69” бажає продовжувати роботу з Qwen3.6 27B, йому доведеться змиритися з цим компромісом. Тим не менш, незважаючи на відсутність новітнього обладнання, користувач Reddit проявив наполегливість і зміг запустити локальну модель штучного інтелекту, яка може поставити в скрутне становище більшість сучасних відеокарт.
За даними порталу: wccftech.com