Одним з ключових елементів взаємодії моделей штучного інтелекту із зовнішніми сервісами є протокол MCP (Model Context Protocol). Наступного тижня він отримає значне оновлення, яке, хоч і може залишитися непомітним для кінцевих користувачів, але суттєво вплине на розвиток екосистеми.
Джерело зображення: and machines / unsplash.com
В оновленій версії MCP зміниться механізм обробки ідентифікаторів сесій — токенів, які сервери використовують для запам’ятовування сеансів взаємодії з ШІ. Наразі, при першому підключенні ШІ до сервера, модель представляється, повідомляє свою версію та можливості. Сервер у відповідь надсилає список власних можливостей і видає ідентифікатор сесії. Клієнт (ШІ) надсилає цей ідентифікатор при кожному запиті, щоб сервер міг продовжити взаємодію. Іноді цей ідентифікатор стає неактивним, і в цьому випадку клієнт запитує новий і продовжує роботу.
На практиці, великі сервіси керують підключеннями мільйонів користувачів, і координацією цієї роботи займається балансувальник навантаження. Він спрямовує запити на вільні сервери в кластері, іноді навіть з іншого регіону. Щодо MCP, кожна з цих машин повинна знати ідентифікатор сесії, виданий іншою. Це можливо, але надзвичайно складно і створює перешкоди для роботи балансувальника навантаження. Іншими словами, клієнт пам’ятає лише один сервер, але трафік розподіляється між десятками машин, які за замовчуванням не взаємодіють між собою. Сучасним серверам MCP доводиться виконувати додаткову роботу, щоб відстежувати, хто є хто. Через цю особливість компанії поки не так часто впроваджують великомасштабні інтеграції MCP власної розробки, попри ажіотаж навколо ШІ-агентів цього року.
У новій версії протоколу буде реалізовано підхід до ідентифікаторів сесій на стороні сервера — “без передачі стану” (stateless). Це аналогічно тому, як працює більшість звичайних вебсайтів. Такий підхід допоможе спростити обслуговування системи і, теоретично, зменшити витрати на її експлуатацію у великих масштабах. Інфраструктура для ШІ розвивається не так швидко, як виходять нові моделі, але все ж таки просувається вперед.
Дізнатися більше на: 3dnews.ru