У зв’язку зі сплеском досліджень та публікацій, підготовлених за допомогою ШІ, рецензенти-волонтери не встигають за обсягом роботи.
Джейсон Семпріні був захоплений своїм дослідженням політик, які зобов’язують учнів початкових класів отримувати вакцину проти вірусу папіломи людини. ВПЛ спричиняє більшість випадків раку шийки матки, але, як не парадоксально, Семпріні виявив, що обов’язкова вакцинація не надто знижує загальний рівень раку шийки матки в популяції. Це дивно, але й не зовсім несподівано — відомо, що примусове впровадження вакцини може спонукати деяких людей шукати шляхи її уникнення.
Семпріні підготував статтю та подав рукопис до журналу, де його передали на рецензування — давній процес, під час якого інші дослідники оцінюють достовірність роботи та надають рекомендацію щодо її публікації. Зазвичай це робиться анонімно та на добровільній основі.
У цьому випадку рецензент не поділив захоплення Семпріні. Це могло виникнути через нерозуміння центрального повідомлення дослідження: рецензент помилково вважав, що Семпріні ставить під сумнів, чи вакцина проти ВПЛ сама по собі запобігає раку шийки матки, а не досліджує ефективність політики, спрямованої на збільшення рівня вакцинації. «Є велика різниця», — сказав Семпріні, який є економістом у галузі охорони здоров’я в Університеті Де-Мойна.
Часто статті рецензуються двома-трьома експертами, тому якщо один не зрозуміє, інші можуть внести ясність. Але в цьому випадку був лише один рецензент, тому статтю відхилили.
Семпріні розчарований тим, що його роботу зупинили через неуважність рецензента, і це досвід, який, за словами деяких дослідників, стає все більш поширеним. У всіх дисциплінах кількість публікацій неухильно зростає. Рецензенти не встигають за обсягом, і система, схоже, руйнується.
Кількість статей, проіндексованих базами даних Scopus та Web of Science, наприклад, останнім часом експоненціально зростає зі швидкістю 5,6% на рік. За однією з оцінок, дослідники в усьому світі щорічно витрачають сумарно 15 000 років на рецензування — робота, яка, якби була оплачуваною, коштувала б 1,5 мільярда доларів лише за частку, виконану в США. Все більше дослідників вважають, що їм важко приділяти такий час.
«Я докладаю величезних зусиль, щоб знайти рецензентів», — сказав Хасіб Ірфанулля, який входить до редакційної колегії Learned Publishing видавництва Wiley, але його коментарі відображають його власні погляди як незалежного консультанта. Стівен Мак, редактор Human Immunology, нещодавно змушений був написати близько тридцяти дослідникам, щоб знайти хоча б одного, хто погодився б рецензувати статтю. П’ять років тому, за його оцінками, для пошуку трьох бажаючих рецензентів знадобилося б лише п’ять-десять електронних листів. У таких умовах не дивно, що редактори призначають рецензування людям, які не мають відповідної кваліфікації або часу, щоб зосередитися на них.
У більшості галузей дослідники потребують рецензованих публікацій для отримання посад і грантів, тому вони продовжують проходити через систему, навіть якщо вона стає «надзвичайно тривалою та болісною», за словами мікробіолога Себастьяна Лорідо з Інституту Уайтхеда.
Все більше людей виступають за зміни. Тим часом кілька сміливих дослідників вирішили, що традиційна система публікацій більше не варта того — дослідження ШІ, зокрема, спостерігається зсув у бік інформування про важливі висновки неофіційними засобами, такими як блоги.
«Рецензування — це наріжний камінь науки», — сказав Семпріні. Але зараз «воно не стоїть міцно».
Новіше, ніж ви думаєте
Незважаючи на центральне місце в сучасній науковій культурі, рецензування є універсальною особливістю академічного видання лише близько 50 років. Наукові товариства мали механізми рецензування подань та оцінки їхньої придатності для публікації ще на початку 1800-х років, але їх внутрішня робота була мінливою, і весь етос науки в той час був зовсім іншим, каже історик науки Ейлін Файф з Університету Сент-Ендрюс.
«Уявіть усіх людей, які цікавляться астрономією у вашій країні — а це невелика кількість людей — але вони всі збираються раз на тиждень у четвер увечері, щоб поспілкуватися про астрономію, і разом видають журнал», — розповіла Файф, ілюструючи, якою була наука в ранні роки рецензування.
Дослідники були незалежними джентльменами, а не університетськими професорами, тому публікація не була пов’язана з кар’єрним зростанням. Більше того, робота в журналі була приємним заняттям з друзями, тому вони зазвичай були раді приділяти свій час як рецензенти.
Рецензування стало універсальним майже випадково, як спосіб розв’язати проблему брендингу. У 1970-х роках економіка США зазнавала спаду. Інфляція зростала, безробіття падало, був енергетична криза, і Національний науковий фонд США опинився під тиском громадськості, виправдовуючи свої витрати.
Цей тиск послідував за періодом ентузіазму щодо науки після Другої світової війни, протягом якого федеральне фінансування зросло в 25 разів. Національний науковий фонд з 1950-х років використовував зовнішніх рецензентів для оцінки заявок на гранти — що було незвично для того часу — і це виявилося його рятівним козирем. Оскільки колегії незалежних рецензентів вирішували, як розподіляти фінансування, їхні рішення мали вигляд легітимності. Зрештою, саме ця легітимність утримала законодавців від підпорядкування рішень фонду щодо фінансування їхньому прямому політичному контролю.
«Це був, по суті, у багатьох відношеннях, рекламний хід від вчених до інших зацікавлених сторін, який зробив рецензування наріжним каменем науки», — сказала Мелінда Болдуін, історик науки з Університету Меріленда.
Велика Британія пережила подібний момент наприкінці 1980-х — на початку 1990-х років, коли низка суперечливих наукових питань — від ВІЛ до причин аутизму та холосного синтезу — привернула велику увагу преси. Раптом громадськість зацікавилася відрізненням справжньої науки від шарлатанства, і низка наукових організацій відповіла, сказавши: «Ми можемо відрізнити справжню науку, тому що справжня наука проходить рецензування», — сказала Файф.
Сьогодні рецензування є стандартом. Редактори журналів просять університетських професорів писати рецензії поряд з безліччю інших професійних обов’язків, і ці запити часто надходять з великою швидкістю. Лорідо оцінює, що він отримує близько 10 запитів на рецензування рукописів щомісяця, тоді як реально він має час лише на один-два. Мак щодня або через день отримує запит на рецензування як імуногенетик в Університеті Каліфорнії, Сан-Франциско (посаду, яку він обіймає на додаток до роботи редактором журналу).
Такий темп частково пояснюється тим, що більше людей, ніж будь-коли раніше, подають дослідження до журналів. Але журнали також сильно розмножилися між 1960 і 2020 роками, а деякі регулярно публікують «спеціальні випуски», для яких дослідники створюють спеціальний контент. Багато журналів також публікують більше рукописів, тому що вони зараз доступні лише онлайн, що звільняє редакторів від необхідності вміщувати випуск на обмежену кількість паперу.
Дослідження також стають все більш міждисциплінарними, що означає, що багато досліджень вимагають більше знань і часу для рецензування. І ШІ сприяє перевантаженню, полегшуючи дослідникам написання своїх робіт та спрощуючи подання до журналів англійською мовою для людей з усього світу. Потім є «паперові фабрики» (paper mills) — послуги, які стягують плату з відчайдушних дослідників, щоб поставити їхні імена під вигаданими (але часто правдоподібними) публікаціями.
Все це ускладнило не тільки збереження якості рецензування, але й забезпечення його проведення взагалі. «Іноді я думаю, що нам потрібно почати говорити про скорочення обсягів видавничої діяльності», — сказав Ірфанулля. «Вона розрослася неймовірно. Це надзвичайно нездорово!»
Блоги у тренді
Дослідники ШІ гостро відчувають бум контенту. Комп’ютерні вчені зазвичай публікуються у матеріалах конференцій, і кількість статей, поданих на провідні конференції з ШІ, зросла вдвічі-вдесятеро з 2019 року. Як наслідок, поширеним явищем стало отримання рецензій від людей, які «просто недостатньо розуміють галузь, щоб оцінити або дати хороші відгуки», — каже Хевон Чонг, комп’ютерний вчений з Університету Каліфорнії, Санта-Барбара.
Дослідники ШІ добре підготовлені до експериментів з чимось іншим. Їхня галузь нова, розвивається блискавично, і значна частина роботи відбувається поза академічними колами, тому багатьом дослідникам не потрібні формальні публікації для кар’єрного зростання. На цьому тлі розцвіли блоги. Сьогодні «ведення хорошого блогу — це майже як мати хороший канал подкастів», — сказала Чонг. «Ваш голос справді посилюється, і вас стають знати».
Багато блогів ведуться лідерами галузі, але деякі науковці також приєднуються до цього тренду. Хелен Ку, дослідниця ШІ з Інституту Флетірона, настільки зненавиділа невдячну рутину подання робіт на конференції, що вирішила публікувати свої дослідження лише у своєму новому блозі (зараз вона працює над застосуванням теорії ігор для запобігання підривній діяльності ШІ).
Один із довготривалих блогів, під назвою AI Alignment Forum, ведеться широкою спільнотою дослідників, включаючи багатьох науковців, які стурбовані тим, як зробити ШІ безпечним та корисним для людства. Замість рецензування, AI Alignment Forum використовує механізм, який дозволяє учасникам ставити оцінки «вгору» або «вниз» контенту та залишати коментарі для пояснення своїх поглядів.
Звичайно, немає жодної гарантії, що читачі багато думали, якщо взагалі думали, про голоси «вгору» чи «вниз». «Це одна з великих слабкостей цього», — визнав Олівер Хабріка, генеральний директор Lightcone Infrastructure, яка керує AI Alignment Forum.
З іншого боку, дописи зазвичай отримують набагато більше відгуків, ніж кілька рецензій, які вони отримали б у журналі. І читачі можуть змінювати свої голоси після реакції на коментарі. Інший спосіб, яким AI Alignment Forum намагається висвітлити якісну роботу, — це перегляд найкращого контенту року та прохання до учасників написати коментарі про те, як він «зістарився» і чи витримали перевірку часом його твердження.
Система пропонує кілька переваг порівняно з традиційними публікаціями. По-перше, це набагато, набагато швидше, що особливо важливо в галузі, що швидко розвивається. Часто, якщо дослідник подає статтю до традиційного журналу, «до того часу, як ваша робота пройде рецензування, є дуже значна ймовірність, що вона вже застаріла», — сказав Хабріка.
Але, можливо, ще вагомою перевагою AI Alignment Forum, на думку Хабріки, є те, що система голосування привертає увагу читачів як до хорошої дослідницької роботи, так і до контраргументів проти неї. Без такого механізму багато дослідників покладалися б на соціальні мережі, щоб висвітлити найважливіше. Але це ставить фокус галузі під залежність від компаній, які використовують пропрієтарні, потенційно упереджені та часто непрозорі механізми для визначення того, який контент висвітлювати. «Я дуже не хочу, щоб увага моєї галузі залежала від алгоритму Twitter», — сказав Хабріка.
Колоквіальний стиль письма, який використовується в багатьох блогах, також може привернути увагу, що має свої плюси й мінуси. Для Ку це означає, що їй не доводиться так сильно турбуватися про те, що хтось інший отримає визнання за її ідеї, коли вона публікується у своєму блозі, тому що ніхто не надасть роботі такого ж особистого відтінку, як вона. І Чонг вважає, що доступний стиль може зробити складні концепції легшими для розуміння. «У цьому є цінність», — сказала вона.
Однак філософ Девід Торстад з Університету Вандербільта застерігає, що доступність може бути отримана за рахунок строгості, а колоквіальне письмо може дозволити харизматичним голосам піднятися на вершину, незалежно від якості їхньої роботи.
Відмова від рецензування також може ізолювати вашу роботу, сказав Торстад. Він вивчає довгостроковість: як найкраще захистити людей майбутнього. Останнім часом багато довгостроківців стурбовані тим, як запобігти тому, щоб ШІ не призвів до загибелі людства, і багато хто опублікував свої роботи на AI Alignment Forum.
Це створює проблему для Торстада, який є завзятим прихильником рецензування і публікується лише у виданнях, що його використовують. Посилання на роботу, яка не пройшла рецензування, неминуче викличе підозри, враховуючи, що його власна робота повинна пройти процес рецензування в цих виданнях. Це означає, що він не може посилатися на значну частину роботи у своїй галузі. «Це неймовірно обмежує», — сказав він.
П’ять років тому це було більшою проблемою, ніж сьогодні, сказав Хабріка. Зараз рецензенти в більшості дисциплін визнають, що існують різні способи публікації легітимної роботи. «Я думаю, що менш як 50% матеріалів, на які ви дійсно хочете посилатися в статті з машинного навчання, насправді проходять належне рецензування», — сказав він.
Зміна тактики
Оскільки рецензування все ще займає багато часу, багато дослідників шукають короткі шляхи для його прискорення. Опитування, проведене співробітниками журналів Frontiers, показало, що понад половина рецензентів вже якимось чином використовують ШІ в процесі, ймовірно, принаймні частково з цієї причини.
Можливо, одного дня огляди, створені ШІ, будуть розглядатися як звичні та корисні. Але на даний момент ШІ часто використовується способами, які дослідники вважають дратівливими та неетичними. Наприклад, лінгвіст Марін ван Путтен з Лейденського університету спочатку був радий отримати рецензію, яка пропонувала йому процитувати конкретний середньовічний арабський посібник у своїй публікації про те, який стародавній релігійний лідер висунув певну інтерпретацію Корану. «Я подумав: «Чудово, я подивлюся!»» — сказав він.
Але він не зміг знайти посилання ніде. Зрештою, після двох днів пошуку ван Путтен почав розглядати іншу можливість: що ШІ вигадав посилання. Він повернувся до рецензії і помітив, що вона дійсно містить ознаки тексту, згенерованого ШІ, такі як безпідставне використання тире. Він запустив текст через інструмент виявлення ШІ, який показав, що він майже напевно згенерований ШІ. «Це було дуже розчаровувально і колосальною тратою мого часу», — сказав він.
На додаток до ризику галюцинацій, завантаження неопублікованого рукопису до чат-бота, який може зберігати дані, може становити порушення конфіденційності, каже Кріс ЧоГлюк, філософ з Університету Нью-Мексико. Розгорнуті на локальних серверах великі мовні моделі або сервіси, які погоджуються не зберігати дані, можуть запропонувати рішення, але вони вимагають, щоб хтось, хто демонструє готовність йти на скорочення, також виявляв певну обачність.
Цього року конференція з ШІ NeurIPS проведе випробування, щоб з’ясувати, чи може спеціальний інструмент ШІ допомогти рецензентам, не замінюючи повністю їхню думку. Наприклад, інструмент може допомогти дослідникам зрозуміти подання та провести фоновий пошук, необхідний для написання рецензії, але він не напише саму рецензію, написали організатори конференції на веб-сайті NeurIPS.
Тим часом багато галузей експериментують з іншими способами реформування рецензування. Одна давня тактика для вирішення проблеми повільного процесу рецензування включає препринти — формально написані публікації, які дослідники розміщують на сайті на кшталт arxiv.org, щоб їхні дослідження були видимі під час проходження звичайного процесу публікації. Препринти зараз розглядаються як легітимна основа для подання заявок на гранти та працевлаштування в деяких галузях, оскільки широко розуміється, що люди не повинні призупиняти свою кар’єру, чекаючи на офіційну публікацію.
Інші ідеї зосереджені на самому процесі рецензування. Один очевидний крок — перерозподілити робоче навантаження з рецензування відповідно до джерела подань. Редактори, як правило, непропорційно призначають рецензування чоловікам-дослідникам зі Сполучених Штатів та кількох інших країн, а не рівномірно розподіляють навантаження.
Деякі дослідники також виступають за оплату рецензентів, хоча інші стурбовані тим, що ця практика збільшить обтяжливі збори за публікацію, які дослідники вже стикаються. Є докази того, що компенсація в розмірі 100–300 доларів за рецензію прискорює процес без шкоди для якості. Це може бути тому, що додавання грошей до рівняння робить так, ніби «дійсно є жорсткий термін», — сказав ЧоГлюк.
Без цієї мотивації деякі рецензенти можуть вважати терміни «чарівними», — припустив він, — «оскільки ви можете просто змінити їх».
Інші просувають більш структурні зміни. Один варіант, який вже використовується в обмеженому обсязі, — це відокремлення процесу рецензування від подання до журналу. Натомість, спільнота дослідників рецензує статті перед їх офіційним поданням, а потім дослідники можуть подати свої статті до ряду журналів, які зобов’язалися публікувати дослідження, рецензовані таким чином. Якщо перший журнал вирішить не публікувати статтю, автори можуть звернутися до другого журналу, не проходячи новий раунд рецензування.
Тим часом, прихильник наукової комунікації Кемерон Найлон давно заявляє, що ставить під сумнів, чи дійсно всі журнальні статті потребують рецензування, враховуючи, як мало робіт впливають на світ. Можливо, припускає він, статті повинні відповідати певному порогу інтересу, перш ніж їх відправлять на рецензування.
З усіма цими тисками та пропозиціями, чи наближається рецензування до критичної точки, і чи зазнає воно остаточної поразки?
Важко уявити повний відхід від рецензування, оскільки система настільки міцно закріпилася в більшості галузей як частина кар’єрного росту, так і як спосіб завоювання суспільної довіри. Водночас, якщо академічні видання продовжуватимуть зростати такими темпами, як зараз, система просто не зможе впоратися. «Тому щось зламається в якийсь момент», — сказав Найлон. Замість того, щоб відмовлятися від рецензування, він пропонує, можливо, наукові галузі повинні знайти способи заохочувати якісні публікації, а не кількість.
Так само важко уявити, що дослідники добровільно публікуватимуть менше, враховуючи поточні стимули. Але, можливо, обидва фактори відбуватимуться певною мірою. Оскільки пул рецензентів вичерпаний, журнали будуть змушені обмежити своє поширення, що може стримати зростання кількості публікацій. Тим часом рецензування може стати менш строгим, більш фрагментованим варіантом того, чим воно було раніше, з практикою, що набуває різних значень у різних галузях.
Вже є свідчення того, що останні дві речі відбуваються. Раніше було стандартом, що три рецензенти переглядали рукописи, але Мак каже, що останнім часом середній показник в імунології наближається до двох. В економіці деякі провідні журнали вже платять рецензентам. Тим часом дослідники в багатьох наукових галузях регулярно публікують препринти.
Рецензування є стійким, якщо не незворушним. Практика, ймовірно, залишиться в тій чи іншій формі, але це може бути не те ж рецензування, до якого ми звикли.
Джерело новини: arstechnica.com