Завдяки прискоренню роботи пам’яті та впровадженню подвійних Neural Engines, пристрої Apple демонструють значно покращені можливості для запуску щільніших моделей штучного інтелекту. Хоча всі продукти мають свої обмеження, компанія зазначає, що її iPhone та iPad здатні запускати моделі з 14 мільярдами активних параметрів, тоді як Mac можуть запускати моделі з трильйоном параметрів.
Кластер Mac Studio наразі може запускати AI-моделі обсягом понад 1,6 ТБ, тоді як один Mac Studio обробляє LLM обсягом майже 500 млрд
На графіку Apple перелічила низку пристроїв та LLM, які на них можна запускати. Для найменшої моделі ШІ з 14 мільярдами активних параметрів Apple рекомендує iPad або iPhone з 16 ГБ об’єднаної пам’яті. Цікаво, що компанія згадала пропускну здатність пам’яті 76 ГБ/с для локального виведення ШІ, хоча A20 Pro вже перевищує цей ліміт із пропускною здатністю 115,2 ГБ/с.
Щодо MacBook Air і Mac mini, які підтримують до 64 ГБ об’єднаної пам’яті та мають пропускну здатність до 307 ГБ/с, Apple стверджує, що ці пристрої можуть запускати LLM із до 70 мільярдів активних параметрів. Топові моделі MacBook Pro підтримують до 128 ГБ об’єднаної пам’яті, і хоча вони можуть бути дорогими, вони здатні запускати AI-моделі обсягом 120 млрд, як і ноутбуки RTX Spark з такою ж кількістю ОЗП.
Mac Studio — це те, де справи стають серйознішими. Зі швидкістю до 1,2 ТБ/с пропускної здатності пам’яті, M5 Ultra може підтримувати до 512 ГБ об’єднаної пам’яті, що дозволяє комфортно зберігати моделі до 480 мільярдів параметрів. Для тих, хто не бажає платити щомісячну плату за підписки на ШІ, як-от Claude та Gemini, Mac Studio є дорогим, але надійним вибором.
З чотирикластерною конфігурацією та загальною об’єднаною пам’яттю до 2 ТБ, запуск моделей обсягом 1,6 трильйона не повинен викликати труднощів, але пам’ятайте, що придбання Mac Studio наразі не є найпростішою справою. На момент написання ми перевірили онлайн-магазин Apple і виявили, що компанія продає лише варіант із 256 ГБ пам’яті, і залежно від вашого міста проживання в США, доставка може тривати 15-17 тижнів.
Також не слід забувати про неймовірну ціну в 10 700 доларів, яку доведеться заплатити за версію M5 Ultra з 36-ядерним процесором, 80-ядерним графічним процесором, 32-ядерним Neural Engine та 1 ТБ SSD. Додайте три додаткові одиниці для чотирикластерної конфігурації, і ви отримаєте загальну суму 43 196 доларів, але це навіть не забезпечить вам 1 ТБ об’єднаної пам’яті.
Для запуску LLM об’ємом 1 ТБ потрібна конфігурація з 8 кластерами, яка коштує 86 392 долари. Це величезна сума грошей лише для запуску відкритих моделей, що робить її контрпродуктивною, якщо ви прагнете отримати максимальну вигоду від використання найкращих моделей ШІ. Ми також хотіли б зазначити, що хоча Apple добре попрацювала, надаючи рекомендації користувачам, які бажають використовувати локальне виведення, компанія не включила жодних прикладів LLM для запуску та рівня квантованої версії, яку підтримуватиме кожен пристрій.
Про автора: Омар Сохаїл — репортер та аналітик розділу мобільних пристроїв Wccftech, який спеціалізується на технологіях та бізнесі мобільної індустрії. Його експертиза полягає у складних ланцюжках постачання апаратного забезпечення, висвітлюючи розробки у виробництві напівпровідників, літографії чіпів та технології сенсорів камер.
Подальше читання
Власник MacBook Air M5 стверджує, що Apple звинувачує його у пошкодженні рідиною його тримісячної машини, але користувач запевняє, що “абсолютно впевнений”, що нічого не було пролито
Apple A20 Pro демонструє себе як потужний пристрій для ШІ, може запускати модель з 27 мільярдами параметрів вдвічі швидше за A19 Pro iPhone 17 Pro
Список M6 Pro на Geekbench 7 викликає ажіотаж, маючи вищі показники, ніж 18-ядерний M5 Max, але не вірте, що ці результати є правдивими
Новий бенчмарк порівнює людських авторів з 24 LLM за 475 запитами, результати показують, що лише найсучасніші моделі ледь перевершують аматорів, демонструючи значний розрив у навичках
Інформація підготовлена на основі матеріалів: wccftech.com