Чи достатньо функцій локального ШІ, щоб заплатити за них?
Навесні цього року Apple офіційно заявила: Mac Pro більше не випускатиметься.
Коли Apple використовувала процесори Intel і відеокарти AMD, ідея розширюваної та модернізованої вежі мала сенс. Але чіпи Apple Silicon об’єднують центральний процесор, графічний процесор та інтерфейс пам’яті в одному корпусі, що робить подібну модернізацію не просто надлишковою, а неможливою. Принаймні, без втрати ключових переваг цих чіпів.
І, як виявилося, поєднання швидкого процесора, потужної відеокарти та архітектури об’єднаної пам’яті Apple Silicon чудово підходить для сучасних професійних завдань, які дійсно вимагають високопродуктивного обладнання: локального запуску мовних моделей та агентів.
Саме на цю аудиторію орієнтований Mac Studio з чипом M5 Ultra — найпотужніша конфігурація від Apple, яка робить стрибок через два покоління процесорів за один раз (чипу M4 Ultra, як ви, можливо, пам’ятаєте, не було). Найдорожчі моделі Studio завжди здавалися надмірними для більшості користувачів, але тепер з’явився певний тип розробників або дизайнерів, які працюють зі штучним інтелектом і можуть реально отримати вигоду від такої системи на своєму робочому столі.
Apple була заскочена зненацька попитом на ці системи від користувачів, які запускають таке програмне забезпечення, як OpenClaw, і локально працюють з відкритими моделями. Це, поряд зі спричиненим ШІ дефіцитом пам’яті, пояснює, чому придбати більшість цих систем було майже неможливо протягом місяців. Саме в такому контексті виходить новий Mac Studio.
Той самий дизайн, нове обладнання
Новий Mac Studio виглядає так само, як і модель, що вийшла з чипами M1 Max та M1 Ultra у 2022 році. Це невелика, приземиста коробка з такою ж основою 7,7 на 7,7 дюймів, як у старого Mac mini, але вища. Обидві версії Studio — Max і Ultra — виглядають однаково, але версія з M5 Ultra важить на два фунти більше через використання важчої, але більш провідної міді у радіаторі для кращого охолодження потужнішого чіпа.
Обидві моделі Studio також мають майже однакові порти. Ззаду розташовані чотири порти Thunderbolt 5 зі швидкістю 120 Гбіт/с, порт Ethernet на 10 Гбіт/с, порт HDMI 2.1 та пара портів USB-A на 5 Гбіт/с. Спереду обидві моделі Studio мають зчитувач карток UHS-II SD, але Max оснащений двома портами USB-C на 10 Гбіт/с, тоді як Ultra — ще двома портами Thunderbolt 5 на 120 Гбіт/с.
Додаткова потужність Ultra також поширюється на підтримку зовнішніх дисплеїв. M5 Max підтримує до п’яти зовнішніх дисплеїв, а M5 Ultra — до восьми, хоча обидві конфігурації мають застереження щодо роздільної здатності та частоти оновлення.
M5 Max — це вже відома технологія, Apple постачає його з березня у MacBook Pro. Він отримав покращення порівняно з M4 Max попереднього покоління завдяки впровадженню нових “супер’ ядер для процесора та збільшенню максимальної пропускної здатності пам’яті з 546 ГБ/с до 614 ГБ/с. Кількість графічних ядер залишилася тією ж (40), але нові нейронні прискорювачі, вбудовані в кожне графічне ядро, допомогли підвищити його продуктивність для технологій, що базуються на ШІ, як-от апскейлінг MetalFX та генерація кадрів.
M5 Ultra — це більш значна зміна з кількох причин. По-перше, M4 Ultra не існувало, тому ми фактично перестрибуємо два покоління процесорів, незважаючи на перехід лише на одне покоління продукту.
| CPU S/P/E-ядра | Графічні ядра | Варіанти ОЗП | Пропускна здатність пам’яті | |
|---|---|---|---|---|
| Apple M5 Ultra (базова) | 10S/20P | 64 | 96ГБ/256ГБ | 1 228,8 ГБ/с |
| Apple M5 Ultra (максимальна) | 12S/24P | 80 | 96/256ГБ/512ГБ (планується) | 1 228,8 ГБ/с |
| Apple M3 Ultra (максимальна) | 24P/8E | 80 | 128ГБ/256ГБ/512ГБ | 819,2 ГБ/с |
| Apple M2 Ultra (максимальна) | 16P/8E | 76 | До 192ГБ | 819,2 ГБ/с |
| Apple M1 Ultra (максимальна) | 16P/4E | 32 | До 128ГБ | 819,2 ГБ/с |
По-друге, спосіб виготовлення чіпа дійсно значно змінився. M1 Ultra, M2 Ultra та M3 Ultra були, по суті, парою чіпів Max, з’єднаних високошвидкісним інтерконектом, щоб отримати більшість переваг створення одного величезного чіпа без значних виробничих труднощів.
M5 Ultra все ще є, по суті, парою чіпів M5 Max, об’єднаних разом; це залишилося незмінним. Чіп включає до 12 суперядер процесора, до 24 P-ядер, до 80 графічних ядер, 32 ядра Neural Engine, два відеодекодери та чотири відеоенкодери, а також трохи більше 1,2 ТБ/с (так, це ТБ з літерою Т) пропускної здатності пам’яті. Це майже подвоєння основних характеристик M5 Max.
Відмінність у тому, що M5 Pro та M5 Max цього покоління вже є парою чіплетів, з’єднаних між собою кремнієвим інтерконектом, що означає, що M5 Ultra фактично є чотирма окремими кремнієвими елементами, упакованими разом. Потенційним недоліком цієї конфігурації є те, що інтерконекти між кристалами (die-to-die) часто не можуть передавати дані так само швидко, як компоненти, розміщені на одному кристалі. Загалом, Fusion Architecture не завадила попереднім чіпам Ultra бути швидкими, і вона не заважає M5 Ultra бути швидким. Але продуктивність чіпів Ultra ніколи не масштабувалася ідеально лінійно з кількістю ядер, і M5 Ultra — не виняток.
Також: нові ціни 🙁
Зазвичай ми могли б просто описати апаратні покращення нового Mac, припускаючи, що ціни залишилися незмінними — що нове обладнання автоматично стане кращою пропозицією за ту ж ціну. Але цього року Apple підвищила ціни на всю лінійку через тривалий дефіцит пам’яті, спричинений ШІ. Як найдорожчий комп’ютер з найвищими конфігураціями пам’яті та сховища, Mac Studio постраждав навіть сильніше, ніж інші Mac.
На момент випуску базова модель Mac Studio з M4 Max коштувала 1999 доларів, включаючи трохи спрощений чіп, 36 ГБ ОЗП та 512 ГБ сховища. Mac Studio з M5 Max починається від 2499 доларів — це збільшення на 500 доларів. Mac Studio з M3 Ultra зі спрощеним чіпом, 96 ГБ ОЗП та 1 ТБ сховища коштував 3999 доларів; така ж конфігурація M5 Ultra коштуватиме аж 5499 доларів — на 1500 доларів дорожче. І це за базові моделі. Конфігурація з повноцінним M5 Max, 64 ГБ ОЗП та 1 ТБ сховища — яку я б назвав оптимальним співвідношенням ціни та продуктивності для експериментів з локальним ШІ — коштуватиме 3799 доларів, що на 900 доларів дорожче, ніж коштував би Mac Studio з M4 Max на момент випуску.
Щодо Ultra? Модель з 256 ГБ ОЗП/1 ТБ сховища, яка 18 місяців тому коштувала 5599 доларів, тепер коштує 9499 доларів — не вдвічі, але достатньо близько, щоб це відчувалося. Буде доступна версія M5 Ultra Studio з 512 ГБ, але Apple поки не повідомила її вартість. Версія M3 Ultra починалася від 9499 доларів, тому я майже впевнений, що версія M5 Ultra коштуватиме 20 000 доларів і вище. Щоб цікавитися високопродуктивним локальним ШІ, ви вже повинні бути готові платити більше за обладнання, ніж за використання дата-центру компанії на базі Nvidia. За таких цін покупка кластера Mac Studios схожа на створення власного дата-центру за власні кошти.
Пам’ятайте про це, коли ми перейдемо до продуктивності.
Загальна продуктивність обчислень
M5 Ultra — це, за майже всіма показниками, найшвидший процесор Apple Silicon, створений на сьогодні. Єдине місце, де він поступається, — це одноядерна продуктивність процесора, де скромний M6 з Mac mini його зовсім трохи обганяє. Але розрив невеликий — менший, ніж, наприклад, між поколіннями M3 та M4, що робить його менш помітним, ніж коли попереднє покоління Studio було випущене з M4 Max та M3 Ultra.
У багатьох наших тестах загального призначення для процесора та відеокарти CPU Ultra обганяє M5 Max на 80 або 90 відсотків, а GPU — на 50-80 відсотків швидше. Це відповідає нашим спостереженням щодо попередніх чіпів Ultra — процесор показує масштабування, близьке до 2x, тоді як GPU — ні. Порівняно з попереднім M3 Ultra, M5 Ultra зазвичай показує приблизно на 30 відсотків швидшу одноядерну продуктивність CPU, на 50 відсотків швидшу багатоядерну продуктивність CPU та на 33-66 відсотків швидшу продуктивність GPU, залежно від тесту. Як і слід очікувати від оновлення на два покоління, це значний стрибок.
Однак ми також спостерігали менш очікувану поведінку. Продуктивність Geekbench в багатоядерному режимі Ultra лише приблизно на 26 відсотків швидша за Max, а в нашому тесті кодування відео Handbrake на базі CPU, Max насправді швидше завершує кодування H.264 (і ледь повільніше — H.265).
Аналіз споживання енергії може запропонувати пояснення. Згідно з інструментом powermetrics, як M5 Max, так і M5 Ultra споживають близько 75 Вт потужності в середньому під час тесту транскодування відео. Це приблизно така ж потужність, яку використовував M3 Ultra Mac Studio. Але Max Mac Studio історично споживали менше енергії, ніж чіпи Ultra. На мою думку, це свідчить про те, що M5 Ultra обмежується за потужністю, щоб залишатися в межах енергетичного/охолоджувального бюджету наявного дизайну Studio.
Але це може бути й помилка. Перевіряючи Activity Monitor під час завдання кодування відео, ви не бачите, щоб усі ядра процесора були завантажені на 100%, що є типовою поведінкою для цього тесту. І powermetrics повідомляє, що всі ядра процесора Ultra працюють на тих самих стабільних тактових частотах, що й ядра M5 Max, протягом усього тесту кодування. Якби відбувалося обмеження за потужністю або температурою, ви б очікували нижчих тактових частот. Я повідомив про свої висновки Apple і повідомлю, якщо отримаю відповідь.
Чому ШІ-ентузіасти люблять Mac
За останній тиждень я дізнався практично все, що знаю про “vibe coding”, тому вибачте, якщо я щось скажу неправильно. Багато розробників мовних моделей, включаючи Apple, також випустили моделі, які можуть обходити деякі з цих “жорстких фактів”. Але загалом, це має бути точний посібник із запуску ШІ локально.
Коли йдеться про локальний запуск моделей ШІ, найважливішими є два показники обладнання. Перший — це обсяг пам’яті відеокарти. Другий — це пропускна здатність пам’яті, або наскільки швидко відеокарта може спілкуватися з рештою системи.
Ваша відеопам’ять визначає розмір моделей, які ви можете запускати — вони повинні бути завантажені практично повністю в пам’ять відеокарти, оскільки все інше буде або витіснятися в основну пам’ять системи (повільно), або, в найгіршому випадку, на диск (ще повільніше).
Крім того, особливо для програмування, вам потрібна додаткова пам’ять для “контексту” — тобто обсягу інформації, яку окремий агент може запам’ятати, перш ніж вичерпає пам’ять. Для базової взаємодії з чат-ботом не потрібно багато контексту. Для написання повноцінної програми вам знадобиться багато ОЗП для контексту, щоб агент не зупинився на півдорозі складного завдання і не “забув”, що він робив.
Існують механізми передачі — один агент може стиснути сесію в один файл, що містить більшість релевантної інформації з сесії, і передати його іншому, фактично скидаючи контекст. Але в цьому механізмі неминуче щось губиться, особливо якщо немає достатньо великого контексту для стиснення.
Пропускна здатність пам’яті — не єдиний фактор, що визначає, наскільки швидко модель зможе генерувати нові слова (“токени”), але це, ймовірно, найважливіший фактор. Навіть швидкість та можливості відеокарти, до якої підключена пам’ять, не мають такого значення, як обсяг пам’яті та швидкість передачі даних до неї та з неї.
Mac з Apple Silicon стали популярними для запуску цих моделей, тому що вони досягли оптимального балансу. Вони не забезпечують такої пропускної здатності пам’яті, як виділена настільна відеокарта (5-річна Nvidia GeForce RTX 3060 12GB пропонує 360 ГБ/с пропускної здатності, майже на 20% більше, ніж M5 Pro; RTX 5070 12GB пропонує 672 ГБ/с, більше, ніж M5 Max). Але 64 ГБ Apple Silicon Mac пропонує більше пам’яті відеокарти, ніж будь-яка окрема споживча відеокарта, яку ви можете придбати, її пропускна здатність пам’яті достатньо висока, і вона значно енергоефективніша, ніж RTX 5090 або пара RTX 3090. А 96 ГБ, 128 ГБ, 256 ГБ та 512 ГБ Apple Silicon Mac відкривають двері до ще більших моделей “frontier-class”.
Звісно, ці топові системи зараз недешеві, але це, сподіваюся, пояснює частину причини раптових труднощів з придбанням, наприклад, Mac mini. Частково через те, що обладнання так добре підходить для цих завдань, фреймворк Apple MLX став досить оптимізованим і підтримується різними мовними моделями та додатками, орієнтованими на локальний ШІ, як-от LM Studio Bionic.
На додаток до цих показників, є ще так званий “час до першого токена” (TTFT) — час, що минає між введенням запиту до моделі та її обробкою та відповіддю. Це одна з областей, де покоління M5 покращує M4 та старіші версії: нейронні прискорювачі, додані Apple до GPU, значно прискорюють TTFT, роблячи будь-яку локально запущену модель більш чутливою.
Додайте до цього той факт, що M5 Ultra значно збільшує пропускну здатність пам’яті порівняно з M3 Ultra, і ви отримаєте уявлення про те, чому цей конкретний Mac Studio добре підходить для такого типу роботи. Той факт, що це стрибок через два покоління порівняно з минулорічним M3 Ultra, робить його ще привабливішим, ніж M5 Max Studio або Mac mini з M5 Pro.
Я став “vibe coder”
Виходячи за межі стандартного набору бенчмарків, я вперше спробував “vibe coding” на Studio. За рекомендацією кількох людей, які вже пройшли цей шлях, я завантажив LM Studio Bionic та модель Qwen 3.8 27B.
Коли справа доходить до програмування та розробки, я знаю лише достатньо базового HTML та CSS, щоб налаштувати існуючий шаблон, але моє бажання вчитися завжди перевищувало мої можливості. Звинувачуйте в цьому СДУГ, звинувачуйте брак вільного часу, звинувачуйте будь-що в моєму мозку, що змусило мене відмовитися від єдиного курсу програмування, який я спробував пройти, всього за кілька уроків після “Hello world!”
Я ніколи не міг цього запам’ятати.
Використання цього M5 Ultra Mac Studio та LM Studio Bionic для запуску повністю локальної мовної моделі, здатної до програмування, — це найвеселіше, що я мав з новою технологією за довгий час. І я кажу це як людина, яка зазвичай зневажає генеративний ШІ.
Але є причина, чому “vibe coding” набув популярності за останні рік-два. Якщо ви знаєте достатньо, щоб сказати системі, що ви хочете, ви можете створювати справді корисні речі, які функціонують.
Я беру участь у книжковому подкасті майже п’ятнадцять років, і я займаюся нашим бухгалтерським обліком — підробіток до мого підробітку. Роками це передбачало ручне введення цифр з банківських виписок у таблицю, яку я створив для відстеження наших доходів, витрат та оціночного податкового тягаря. Це була занадто мала робота, щоб платити за QuickBooks вічно — програма робить занадто багато того, що нам не потрібно. Це одна з тих проблем, яку, ймовірно, можна вирішити, яка постійно дратує, коли ви про неї думаєте, але ви стикаєтеся з нею достатньо рідко, щоб ніколи не братися за її виправлення.
І тепер вона виправлена!
Спочатку я попросив модель Qwen написати скрипт Python для конвертації PDF банківських виписок у електронні таблиці, форматування та сортування їх у бажаний спосіб. Потім я створив веб-додаток навколо нього, щоб я міг легко завантажувати майбутні аркуші, не морочитися з LLM або скриптом Python.
Я маю певні сумніви щодо цього, але є незаперечний привабливий аспект у створенні невеликого програмного забезпечення для вирішення неприйнятної, специфічної для вас проблеми за кілька днів. І в цьому випадку ви можете зробити це на обладнанні вдома, дані з якого ніколи не залишаються, і яке споживає менше енергії, ніж одна відеокарта ПК.
Я, ймовірно, міг би вирішити цю проблему за день, витративши кілька доларів на токени, але надсилання багаторічних фінансових даних до Anthropic або будь-кого іншого — це те, на що я просто не міг піти. Таким чином, мені не довелося.
Модель Qwen 3.8 27B є “open-weight” і випущена під ліцензією Apache 2.0, тому немає обмежень на її використання. Вона пропонує різні “квантизації” (по суті, обмін невеликої точності на менший розмір), які допомагають їй працювати на Mac з різним обсягом ОЗП. Я б сказав, що 32 ГБ — це мінімальний обсяг ОЗП, який можна використовувати для запуску відносно компетентної 4K квантизації з достатнім контекстом для дуже невеликих проєктів або вузьких виправлень для існуючих проєктів, але 64 ГБ — це краща ціль для системи з великим вікном контексту та достатнім обсягом пам’яті, щоб одночасно використовувати Mac як звичайний комп’ютер.
Використовуючи стандартні налаштування 4K квантизації в LM Studio Bionic під керуванням macOS 27.0, мій основний Mac Studio з M2 продемонстрував швидкість генерації приблизно 18-20 токенів на секунду на прикладі запиту про запуск нового веб-проєкту. Framework Desktop (на базі платформи Strix Point Ryzen AI Max+ і досить популярний серед ентузіастів локального ШІ завдяки великому пулу відносно швидкої об’єднаної пам’яті) продемонстрував приблизно ту саму швидкість 18-20 токенів на секунду на тому ж запиті, використовуючи Ubuntu 26.06 та бекенд AMD ROCm.
Ця швидкість токенів на секунду аж ніяк не є жахливою, і це означає, що система може генерувати текст практично з тією ж швидкістю, що я можу його читати. Але для довших проєктів програмування (особливо якщо увімкнено “міркування”, що дозволяє боту видавати купу послідовностей слів, перш ніж він визначиться з курсом дій) це означає багато очікування, і ця швидкість токенів на секунду починає ще більше сповільнюватися, коли ви заглиблюєтеся в довгий контекст.
Mac Studio з M5 Max мав швидкість приблизно 31 токен на секунду на тому ж запиті. M5 Ultra досягає трохи більше 50. (До речі, саме тому Mac mini з M5 Pro менш зручний для такого типу роботи, навіть з 64 ГБ ОЗП — він має вдвічі меншу пропускну здатність пам’яті, ніж M5 Max, а пропускна здатність пам’яті зазвичай є найчутливішим параметром для таких завдань).
Обидва чіпи Mac Studio справді придатні для такого типу роботи, за умови, що ваші амбіції скромні, і ви маєте схильність до методичного пошуку та усунення несправностей. Агент майже завжди зробить щось неправильно з першого разу, і багато часу та зусиль, витрачених мною під час “vibe coding”, було спрямовано на те, щоб довести функції до ладу, виправляючи їх по черзі.
Робочі навантаження змінюються
Версія Ultra Mac Studio залишається нішевим продуктом для невеликої аудиторії: людей, які готові витратити тисячі доларів і хочуть працювати з моделями ШІ, які задовольняються хорошою, але не найсучаснішою швидкістю, і які не хочуть платити OpenAI чи Anthropic чи будь-кому іншому за всі токени, які вони можуть спалити під час експериментів або обробляючи великі кодові бази.
Але ця аудиторія існує. Майже всупереч власній волі, я опинився в ній. Це справді весело і звільняє — мати можливість писати код для хобі-проєктів з прийнятною швидкістю, не передаючи свої дані нікому. Шкода лише, що я зробив це відкриття тоді, коли Apple запровадила підвищення цін на 25% і більше на весь асортимент Mac Studio.
Порівняно з ширшим ринком Mac та ПК, де ціни скрізь завищені, Mac Studio все ще може бути цілком вигідною пропозицією. Версія M5 Max — це чудова машина для основної аудиторії Studio: фотографів, відеоредакторів, стрімерів та розробників. І якщо ви в основному використовуєте хмарні моделі ШІ, 36 ГБ або 48 ГБ ОЗП не будуть обмеженням (хоча ви можете і, можливо, повинні вибрати Mac mini з M5 Pro).
Навіть початкові локальні агенти ШІ не вимагають топової конфігурації; конфігурації з 64 ГБ, 96 ГБ та 128 ГБ коштують від 3500 до 5500 доларів, що все ще багато, але далеко не п’ятизначна цифра — і все ще ймовірно виправдано, якщо ви купуєте машину, яку плануєте використовувати як основний робочий комп’ютер протягом кількох років.
Але висококласні версії цих машин коштують далеко за межами того, що більшість людей готові витратити на настільний комп’ютер. Як протестована, ця M5 Ultra Mac Studio коштує 12 299 доларів. У мене є M2 Max Mac Studio, M3 MacBook Air, ігровий ПК на Windows, ПК під телевізором і MacBook Neo. Звісно, я купив їх усі “до часів”, коли ціни на пам’ять були розумними. Але мені не потрібно робити розрахунки, щоб знати, що цей комп’ютер коштує більше, ніж усі ці комп’ютери разом узяті.
Переваги
- Mac Studio зберігає свої найкращі переваги: він маленький, швидкий, тихий і енергоефективний
- Покоління M5 — це солідне оновлення порівняно з M4 Max та M3 Ultra
- Майже ідеальні машини для прийнятно швидких, енергоефективних локальних ML та ШІ завдань, включаючи компетентні кодуючі моделі
Недоліки
- Підвищення цін починається від 25% між поколіннями і зростає
- M5 Ultra має вдвічі більше обчислювальних ресурсів, ніж M5 Max, але зазвичай не забезпечує вдвічі більшої швидкості
Недоліки (жахливі)
- Перспектива споживчого настільного комп’ютера за 20 000 доларів
Оригінал статті: arstechnica.com