Стартап PrismML представив свою нову розробку — мультимодальну штучну інтелектуальну модель Bonsai 27B. Її ключовою особливістю є можливість повноцінної роботи безпосередньо на iPhone, без необхідності звертатися до хмарних серверів. Розробник стверджує, що на моделі iPhone 17 Pro Max ця система здатна генерувати приблизно 11 токенів за секунду. ## Ключові характеристики Bonsai 27B Bonsai 27B розроблена на базі моделі Qwen3.6 27B і пропонується у двох варіантах: * **Бінарна версія:** Цей варіант має ваги з 1-бітним квантуванням та займає всього 3,9 ГБ пам’яті. * **Тернарна версія:** Більш якісна версія з 1,58-бітними вагами потребує 5,9 ГБ. Для порівняння, стандартна 16-бітна версія моделі аналогічного розміру вимагала б близько 54 ГБ. PrismML позиціонує Bonsai 27B як першу модель у своєму класі, яка може вміститися в доступний обсяг оперативної пам’яті смартфона. Вона підтримує широкий спектр завдань, включаючи обробку тексту та зображень, програмування, взаємодію з інструментами та виконання багатоетапних завдань. На комп’ютерах Mac з чіпом M5 Max бінарна версія демонструє продуктивність до 87 токенів за секунду, а на потужній відеокарті NVIDIA GeForce RTX 5090 — до 163 токенів. ## Вимоги до пам’яті та продуктивність Зазначені 3,9 ГБ для бінарної версії стосуються виключно мовної моделі. Для аналізу зображень необхідно додатково завантажити модуль об’ємом приблизно 0,6–0,9 ГБ. Важливо враховувати, що під час роботи також використовується пам’ять для кешування контексту та проміжних обчислень. За даними PrismML, при використанні контексту розміром 4000 токенів, на iPhone потрібно близько 5,9 ГБ оперативної пам’яті. Згідно з внутрішніми тестуваннями компанії, бінарна версія Bonsai 27B досягла приблизно 90% результативності порівняно з повноцінною 27B моделлю Qwen3.6 у 15 бенчмарках, тоді як тернарна версія показала близько 95%. Наразі ці показники не мають незалежного підтвердження. ## Доступність та інтеграція Модель працює на пристроях Apple завдяки модифікованому середовищу MLX. Важливо зазначити, що це не готовий застосунок для кінцевих користувачів. Ваги моделі та інструменти для її запуску вже опубліковані на платформі Hugging Face під ліцензією Apache 2.0, без регіональних обмежень. Генеральний директор PrismML, Бабак Хассібі, також повідомив CNBC, що Apple та інші великі компанії розглядають продуктивність, енергоефективність та якість розробок стартапу. Переговори перебувають на початковому етапі, але Apple офіційно цю інформацію не коментувала.
Вердикт ІТ-Блогу: Рекомендовано для розробників мобільних додатків та ентузіастів, які прагнуть інтегрувати передові ШІ-можливості на iOS пристрої без залежності від хмарних ресурсів.
Дізнатися більше на: mezha.ua