Однією з найпривабливіших рис сучасних систем штучного інтелекту є їхня здатність адаптуватися до користувачів. Кожного разу, коли ШІ-асистент виконує ваше завдання, він одночасно вивчає ваш стиль та вподобання, які потім використовуються як контекст для майбутніх дій. Теоретично, з накопиченням контексту та кращим розумінням користувача, модель стає досконалішою з кожним вашим запитом.
Наслідки адаптації: коли персоналізація стає проблемою
Нові дослідження ставлять під сумнів переваги “пам’яті” ШІ
Однак, нові дослідження свідчать, що адаптивні можливості моделей можуть мати й зворотний бік. У середу, команда дослідників з компанії Writer опублікувала дві наукові роботи, які демонструють, як популярні системи “пам’яті” можуть погіршувати роботу моделей, підштовхуючи їх до хибних уявлень або непорозумінь, привнесених користувачем. Зі зростанням обсягу введених користувачем даних у контекстне вікно моделі, вона стає більш “лесливою”, але менш точною.
«Ми хотіли зрозуміти, як часто модель корисно звертає увагу на вподобання користувача, а не надає потенційно неправильну відповідь», — зазначив Ден Бікел, керівник відділу ШІ в Writer, який брав участь у підготовці робіт. Бікел підкреслив, що «з кожним додатковим збереженням та відновленням вподобань користувача ви наражаєтеся на зростаючий ризик».
Експерименти з “улюбленою книгою”
В одному з експериментів дослідники тестували ШІ-моделі, повідомивши, що улюбленою книгою користувача є «Станція Одинадцять» (Station Eleven). Після цього модель просили назвати бестселер у жанрі антиутопії. Моделі значно частіше називали саме «Станцію Одинадцять», навіть якщо запитання не стосувалося улюбленої книги користувача. Ця тенденція посилювалася при використанні інструментів стиснення пам’яті, таких як Mem0 та Zep.
Як зазначено у роботі, «всі системи пам’яті принципово стикаються з труднощами у розрізненні релевантного контексту від несуттєвих якорьов, що серйозно підриває різноманітність та креативність, а також вносить ненавмисні упередження, які можуть обмежувати корисність системи».
Вплив на фінансовий аналіз
Друга робота демонструє, як ця ж динаміка може активно погіршувати продуктивність. Дослідники представили користувачеві хибні уявлення про фінанси, а потім запропонували моделі проаналізувати ефективність компанії. Чим більше контексту мала модель, тим гірше вона працювала.
«За відсутності пам’яті чи персоналізації, модель ШІ коректно оцінює, що компанія є капіталомістким бізнесом, який страждає від високого відтоку клієнтів», — йдеться в публікації. «Але з увімкненими функціями вона з готовністю змінює свою відповідь, щоб погодитися з помилкою користувача або надати йому неправильну відповідь, ґрунтуючись на оцінці його попередніх вподобань».
Винятки та загальні тенденції
Варто зазначити, що дослідження не охоплювало нещодавню модель Opus 4.8 від Anthropic, яка була спеціально навчена активно протидіяти помилковим вхідним даним, подібним до представлених. Проте виявлені дослідниками закономірності були справедливі для різних моделей. Це свідчить про те, наскільки тонко збалансований контекст ШІ, і як корисні інструменти можуть мати непередбачувані наслідки, якщо цей баланс порушується.
Думка ІТ-Блогу: Ці результати підкреслюють складність балансування між персоналізацією та точністю в ШІ. Розробникам доведеться шукати нові підходи до управління контекстом, щоб уникнути “лестощів” моделей і зберегти їхню надійність для критично важливих завдань.
Джерело новини: techcrunch.com