Claude Fable 5: розробник знайшов спосіб заощадити до 70% на токенах

Інженер штучного інтелекту Роберт Юссеф розробив інноваційний підхід, який дозволяє суттєво скоротити витрати на використання мовної моделі Claude Fable 5, заощаджуючи від 59% до 70% на кожному сеансі. У деяких випадках, як демонструє приклад розробника, вартість сеансу може знизитись з $42 до $6. ## Принцип роботи Основна ідея полягає у використанні зображень для передачі текстової інформації. Кількість токенів, необхідних для обробки великого обсягу тексту, значно перевищує кількість токенів, що виникає при передачі того ж тексту у вигляді зображення. Вартість токена зображення залежить виключно від його розміру в пікселях, а не від кількості тексту, що міститься на ньому. Оскільки моделі Anthropic здатні розпізнавати дані з зображень, включно зі скриншотами, ця особливість стала ключем до оптимізації витрат. Роберт Юссеф пояснює: “Вартість токена зображення визначається його розмірами в пікселях, а не кількістю тексту всередині нього. Щільний контент містить приблизно 3,1 символу на токен зображення порівняно з приблизно 1 символом на текстовий токен у реальному трафіку Claude Code. Зчитувач – це той самий візуальний канал, на який Anthropic вже покладається для скриншотів. Pxpipe – це локальний проксі-сервер, який використовує цей канал для контексту: він перезаписує великі частини кожного запиту в компактні PNG-файли, перш ніж вони залишать ваш комп’ютер. За наявними цінами Fable це приблизно на 59–70% менший рахунок за увесь час, але ціни змінюються, а робочі навантаження відрізняються, тому стабільним числом є сам розріз токена, виміряний на запит”.

## Інструмент Pxpipe Для реалізації цього підходу розробник створив утиліту pxpipe, яка розповсюджується за ліцензією MIT. Цей інструмент автоматично виявляє та перехоплює великі блоки тексту, що надсилаються до великої мовної моделі. Після цього pxpipe генерує з отриманого вмісту файл у форматі PNG, який потім відправляється моделі. Юссеф також надав приклад такого оптимізованого файлу. Claude Fable 5: розробник знайшов спосіб заощадити до 70% на токенах 1 ## Точність та ефективність За словами Юссефа, обробка даних з зображень демонструє високу точність. Модель не “галюцинує”, не вигадує та не спотворює інформацію, що є критично важливим для завдань, що вимагають абсолютної точності. Зменшення витрат на токени дозволяє використовувати ресурси моделі приблизно в 2,5 рази довше за ту саму ціну.

Вердикт ІТ-Блогу: Рекомендовано розробникам та компаніям, які активно використовують Claude Fable 5 і прагнуть оптимізувати витрати на штучний інтелект.

За даними порталу: mezha.ua

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *