Для запуску стандартної 4-бітної квантованої версії Qwen3.8-27B потрібно мати від 15 до 17 ГБ доступної відеопам’яті (VRAM) та оперативної пам’яті (RAM) сумарно. Коли досвідчений користувач спробував запустити цю ж модель ШІ на своєму ноутбуці з 12 ГБ пам’яті, здавалося, що це неможливо. Однак, використовуючи програмне забезпечення з відкритим кодом, користувачеві вдалося об’єднати чотири пристрої для сумарної системної пам’яті, що дозволило успішно запустити Qwen3.8-27B.
Очевидним компромісом є надзвичайно повільна швидкість генерації токенів — 2 токени/секунду, тому 2-бітна квантована версія Qwen3.8-27B є доцільним підходом
Нестиснута версія Qwen3.8-27B вимагає від 55 до 60 ГБ VRAM та системної пам’яті сумарно, що означає, що більшість систем відразу вибудуть із гри. Однак користувач Reddit під ніком “Medicine_Blogscanner” досяг успіху у своєму останньому експерименті, успішно завантаживши 4-бітну квантовану версію Qwen3.8-27B на чотири пристрої у своїй локальній мережі.
Використовуючи програмне забезпечення з відкритим кодом під назвою RAMDeck, до процесу були підключені міні-ПК з відеокартою RTX 3060, Mac mini та смартфон на Android. Ноутбук з Windows та 12 ГБ оперативної пам’яті був основним вузлом, виділивши 3,4 ГБ пам’яті для моделі ШІ. Далі йшов міні-ПК, який виділив 20 ГБ сумарної VRAM та системної пам’яті для того ж завдання. Mac mini та смартфон на Android кожен внесли 3,7 ГБ та 1 ГБ відповідно до Qwen3.8-27B.
Замість того, щоб витрачати шалені суми грошей, Medicine_Blogscanner скористався наявним обладнанням, яке простоювало і пилилося, знайшовши йому нове застосування. Знову ж таки, ті, хто має обмежений бюджет і не може придбати новітнє обладнання для запуску таких моделей ШІ, зіткнуться з неприємними недоліками об’єднання кількох пристроїв для запуску Qwen3.8-27B, найбезрадіснішим з яких є низька продуктивність та збільшена затримка.
Зі швидкістю генерації токенів 1,92 токена/секунду та затримкою 25 мс, деякі користувачі Reddit вважають спробу подібного експерименту відверто дурною, враховуючи, що жахлива продуктивність змусить будь-кого відмовитися. Натомість, кращим варіантом було б використання 2-бітної квантованої версії Qwen3.8-27B або менших 13B моделей. Тим не менш, трохи сили волі та RAMDeck обіцяють, що ваше старе обладнання може знову знайти своє призначення, якщо ви готові миритися з компромісами.
Подробиці можна знайти на сайті: wccftech.com