Дослідження 27 ШІ-чатботів виявило звуження їхніх знань

Фото до статті
Фото до статті

Мовні моделі дедалі частіше замінюють пошуковик: замість переліку посилань людина отримує готову відповідь. Велике дослідження вчених із Данії та США перевірило, наскільки широкий спектр знань при цьому залишається доступним. Висновок неоднозначний: за три роки ШІ-моделі стали помітно різноманітнішими у твердженнях про світ, але жодна з 27 протестованих систем не дотягнула до звичайної пошукової видачі.

Що і як вимірювали

Робота під назвою What and Whose Knowledge? опублікована як препринт на arXiv; останню, сьому версію автори оновили 31 серпня 2026 року. Роботу прийнято на міжнародну конференцію EMNLP 2026, яка відбудеться в жовтні. Над нею працювали дослідники Ольборзького університету в Копенгагені, Копенгагенського та Стенфордського університетів, Університету Колорадо в Боулдері й Техаського університету в Остіні.

Команда поставила запитання 27 моделям чотирьох сімейств — Llama, Gemma, Qwen і GPT від OpenAI (від GPT-3.5 Turbo до GPT-5). Тем було 155: від загальних понять на кшталт демократії чи свободи слова до історичних подій і постатей 12 країн. Кожну тему подавали через 200 різних формулювань, узятих із реальних запитів користувачів. Вийшло 1,7 млн відповідей, які автоматично розклали на 70 млн окремих тверджень.

Далі твердження згрупували за змістом: «Берлінський мур упав 1989 року» і будь-яке інше формулювання того самого факту потрапляють в одну групу. Різноманітність рахували за індексом Гілла — Шеннона, яким екологи оцінюють видове багатство. Логіка проста: що більше різних груп тверджень і що рівномірніше вони представлені, то ширшу картину отримує людина, яка розпитує модель. Найчастіші групи виявилися передбачувано загальними: для Берлінського муру це роки будівництва й падіння та його роль символу холодної війни.

Еталоном слугувала звичайна пошукова видача: 40 перших результатів Google за кожною темою, зібраних 1 січня 2026 року з регіону США.

Добра новина: моделі стали різноманітнішими

Серед дослідників поширене побоювання, що ШІ-посередники поступово звужуватимуть доступну людям інформацію. Поки що дані показують протилежну тенденцію: у трьох із чотирьох сімейств моделей різноманітність тверджень зростала з кожним поколінням; винятком став лише Qwen. Найбільший стрибок дали Gemma 3 і GPT-5. За підрахунками авторів, ефективна різноманітність тверджень у GPT-5 більш ніж упʼятеро вища, ніж у GPT-4o.

Але пошук досі випереджає

Водночас жодна модель не дотягнула до пошукової видачі. Найкращий результат показав GPT-5, і все одно пошук виявився щонайменше на 18,7% різноманітнішим. Автори наголошують, що це нижня межа: пошук брали в найпростішому вигляді — лише за назвою теми, а методика підрахунку свідомо не давала йому переваги.

Кожна протестована мовна модель на всіх темах, які ми розглянули, дає користувачам одноманітнішу інформацію, ніж простий пошук у Google. Інакше кажучи, люди значною мірою знову й знову стикаються з тією самою інформацією. Тож ШІ-чатботи змінюють не лише те, як ми знаходимо знання, а й те, до яких знань маємо доступ

Ці висновки базуються на аналізі 1,7 мільйона запитів до 27 моделей. Дослідження показало, що хоча ШІ-системи стали кращими, ніж були раніше, вони все ще не можуть конкурувати зі звичайним пошуком Google за широтою охоплення інформації. Це може призвести до «колапсу знань», коли користувачі отримуватимуть все більш обмежений набір даних.

Більша модель — вужча картина

Цікаво, що великі моделі, такі як GPT-5, показали нижчу різноманітність, ніж їхні попередники, що вказує на певну тенденцію. Автори припускають, що це може бути пов’язано з тим, як ці моделі навчаються та як їх оптимізують для надання «найкращої» відповіді, що часто означає найпоширенішу.

Замкнене коло: звідки береться ризик «колапсу знань»

Якщо ШІ-системи переважно надають найпоширеніші відповіді, а користувачі надають перевагу таким відповідям, виникає замкнене коло. Це може призвести до того, що менш поширені, але потенційно важливі знання будуть витіснені з інформаційного поля. Такий «колапс знань» може мати серйозні наслідки для науки, культури та суспільства загалом.

Пошук усередині чатбота допомагає — з однією умовою

У контексті нових функцій, коли чатботи інтегрують пошукові системи для доступу до актуальної інформації, дослідження виявило, що це може покращити ситуацію. Однак, якщо пошук обмежений лише отриманням готової відповіді, це не вирішує проблеми. Різноманітність знань зростає лише тоді, коли користувач може взаємодіяти з результатами пошуку, а не просто отримати підсумкову відповідь.

Чиї знання: англомовна перспектива переважає

Дослідження також виявило значне домінування англомовної перспективи у відповідях ШІ. Це свідчить про потребу у подальшому розвитку багатомовних моделей та урахуванні різноманіття культурних і мовних контекстів.

Чого дослідження не стверджує

Автори чітко наголошують, що їхнє дослідження не стверджує, що ШІ-моделі погані. Навпаки, вони відзначають значний прогрес. Проте, вони попереджають про потенційні ризики, пов’язані зі звуженням доступу до знань.

Як користуватися чатботами, щоб не звужувати картину світу

Щоб уникнути «колапсу знань», дослідники радять користувачам ставити розгорнуті запитання, досліджувати різні точки зору та не обмежуватися однією відповіддю. Важливо пам’ятати, що чатбот — це інструмент, а не єдине джерело істини. Критичне мислення та пошук інформації з різних джерел залишаються ключовими.

Джерело

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *