Основний акцент робиться на агентських можливостях та передбачуваному розгортанні в корпоративному середовищі.
Завантаження Granite 4.2 8B через Ollama в macOS. Джерело: Samuel Axon
IBM випустила новітні моделі у своєму сімействі великих мовних моделей з відкритими ваговими коефіцієнтами, призначені для завантаження та самостійного розміщення. Нова версія Granite 4.2 представлена у варіантах з 3B, 8B та 30B параметрами.
Як і в попередніх версіях, IBM використовує підхід “тільки декодер”. Ці нові випуски мають вбудоване вікно контексту на 128 000 токенів. Варіанти 8B та 30B (але не 3B) також проходять через блок навчання з підкріпленням для агентських функцій; вони були навчені для розширених можливостей, таких як використання термінала, пошук в Інтернеті або застосування зовнішніх інструментів. Модель 3B також підтримує інструменти, але без такого ж рівня спеціалізованого навчання.
Крім цих удосконалень, цей реліз особливо примітний, оскільки, як зазначає сама IBM, “Granite 4.2 — це реліз сімейства мовних моделей Granite, сфокусований на міркуваннях”.
Коли дослідники або розробники говорять про здатність моделі до міркувань, вони мають на увазі не людські міркування в нашому звичному розумінні; моделі не усвідомлюють проблему. Натомість, йдеться про функціональне міркування, зокрема через “ланцюжок думок” (chain-of-thought) та передачу проміжних результатів крізь кілька кроків.
Для користувача це означає більш ретельні та точні відповіді в деяких випадках, але часто повільніший час відгуку та вищі вимоги до обчислювальних ресурсів.
Моделі сімейства Granite від IBM рідко привертають увагу як найшвидші чи найінноваційніші. Порівняно навіть з іншими конкурентами на ринку локальних корпоративних рішень, як-от Nemotron від Nvidia, основна перевага полягає в передбачуваності розгортання — що є пріоритетом, який можна очікувати від IBM сьогодні.
Останнім часом спостерігається величезна кількість обговорень щодо вартості та обчислювальних обмежень передових хмарних моделей від таких компаній, як Anthropic або OpenAI. У багатьох сферах як окремі розробники, так і корпоративні організації досліджують локальні моделі як дешевші альтернативи.
Це також призвело до підвищення інтересу до маршрутизаторів моделей — інструментів ШІ, головне завдання яких — інтерпретувати запити користувачів, завдання або проєкти та направляти їх до відповідних моделей для збалансування продуктивності, швидкості та вартості.
Такі моделі також популярні серед ентузіастів, дослідників ШІ та індивідуальних розробників, оскільки їх можна налаштовувати на локальному обладнанні без додаткових витрат на API за токен.
Оригінал статті: arstechnica.com