Основною перешкодою для запуску потужніших ШІ-моделей на смартфонах є обсяг оперативної пам’яті. З огляду на поточну ситуацію з DRAM, малоймовірно, що незабаром з’являться пристрої з пам’яттю понад 16 ГБ. Проте, генеральний директор Qualcomm Кріштіану Амон вважає, що ми незабаром увійдемо в епоху, коли смартфони зможуть постійно працювати з моделлю LLM (Large Language Model) зі 100 мільярдами параметрів. Він також підтвердив, що ШІ-компанії вже розробляють такі смартфони. Щодо практичності запуску складніших моделей, Амон зазначив, що виробники телефонів будуть оснащувати їх значними обсягами ОЗП, особливо коли поставки обмежені, а ціни стрімко зростають.
Єдині шляхи запуску LLM зі 100 мільярдами параметрів на смартфонах до 2028 року — стрімінг через флеш-пам’ять або використання розріджених моделей MoE
У розмові з Fireside Alpha Кріштіану Амон не назвав конкретних ШІ-компаній, які бажають отримати смартфони з підтримкою LLM зі 100 мільярдами параметрів. Однак його смілива заява про те, що пристрої з такими можливостями з’являться вже у 2028 році, є надзвичайно амбітною. Через кризу пам’яті багато виробників смартфонів відмовилися від випуску моделей з більшими обсягами ОЗП, хоча ще рік тому на ринку були Android-пристрої з вражаючими 24 ГБ пам’яті LPDDR5X.
Навіть за розрахунками, для запуску 100-мільярдної моделі LLM, квантованої до 4 біт, смартфону знадобиться щонайменше 50 ГБ оперативної пам’яті, з урахуванням місця для операційної системи, програм та кешу контексту. Квантування до 2 біт все ще залишається неможливим завданням, оскільки лише для самої 100-мільярдної LLM знадобиться 25 ГБ пам’яті. Якщо припустити, що проблеми з вартістю та поставками DRAM також будуть масштабовані, ми ще не врахували, що безперервна робота з потужними моделями генерує значне тепло, що призводить до термічного тротлінгу.
Генеральний директор Qualcomm повідомив, що ШІ-компанії хочуть телефони, які працюють з моделями зі 100 мільярдами параметрів безперервно до 2028 року – і підтвердив, що деякі з них створюють такі телефони.
Кріштіану Амон: «Я мушу бути обережним, щоб не розкривати імена, але деякі ШІ-компанії – деякі з компаній, що знаходяться на передовому країні ШІ – це… https://t.co/wRF16LqEcp pic.twitter.com/3Gded1a9Ld
— Fireside Alpha (@firesidealpha) October 10, 2026
Apple та Qualcomm частково вирішили цю проблему шляхом зміни упаковки чіпсетів з A20 Pro та Snapdragon 8 Elite Extreme Gen 6. Однак справжня проблема з пам’яттю залишатиметься, доки не будуть застосовані більш унікальні підходи для ефективного запуску 100-мільярдних моделей. Наприклад, агресивне квантування може різко зменшити потреби в пам’яті, що дозволить 1-бітним варіантам вміщуватися в DRAM. На жаль, якість LLM суттєво знижується при квантуванні понад 4 біт, особливо для завдань, пов’язаних з міркуванням.
Іншою альтернативою є MoE (Mixture of Experts) з офлоадінгом експертів, де лише невелика частина експертів активна для кожного токена. Таким чином, вони залишаються в ОЗП, тоді як решта зберігається у флеш-пам’яті. Щодо флеш-пам’яті, Apple досліджувала можливість запуску LLM на вбудованій пам’яті, але швидкості виведення можуть знижуватися через повільнішу, ніж DRAM, швидкість зберігання UFS та NVMe.
Дистильована модель обсягом від 20 до 30 мільярдів параметрів може наблизитися за якістю до 100-мільярдної при роботі на смартфоні. Це виглядає як більш ринково приваблива стратегія для компаній, оскільки вона є найбільш реалістичною. На жаль, заяви генерального директора Qualcomm без чіткого плану дій не наблизять нас до запуску потужніших моделей на смартфонах, але це все одно приємно уявляти, що ці пристрої матимуть такі ж можливості, як і великі машини.
Про автора: Омар Сохаїл — репортер та аналітик мобільного відділу Wccftech, який спеціалізується на технологіях та бізнесі мобільної індустрії. Його експертиза охоплює складний ланцюжок поставок апаратного забезпечення, висвітлюючи розробки у виробництві напівпровідників, літографії чіпів та технології сенсорів камер.
Пропозиція дня
Голова відділу маркетингу Qualcomm стверджує, що заяви про перегрів Snapdragon 8 Elite Extreme Gen 6 «абсолютно не відповідають дійсності», але одна деталь з його допису викликає сумніви
Samsung виявила серйозні проблеми з продуктивністю у внутрішніх тестах Snapdragon 8 Elite Extreme Gen 6, Qualcomm може зіткнутися з ультиматумом, якщо проблеми триватимуть
SK hynix може надавати перевагу прибутковості DRAM, що викликає припущення щодо технічних проблем HBM4, оскільки замовлення на допоміжне обладнання знизилися до 2027 року
Колишній генеральний директор Intel Пет Гелсінгер назвав HBM «жахливою пам’яттю», повною поганої щільності бітів, а також проблем з тепловиділенням та пропускною здатністю каналу, навіть коли Nanya підтверджує дефіцит DRAM до 2028 року
Оригінал статті: wccftech.com