Кемпбелл Браун, колишня журналістка та перша керівниця відділу новин у Facebook, занепокоєна тим, як штучний інтелект (ШІ) трансформує споживання інформації. Спостерігаючи за цією еволюцією, вона бачить паралелі з минулим, коли точність даних часто поступалася місцем іншим пріоритетам. Цього разу Браун вирішила не чекати, поки проблему вирішать інші, і заснувала власну компанію Forum AI.
Forum AI: Оцінка ШІ на “Високоризикових” Темах
Forum AI зосереджується на оцінці того, як великі мовні моделі (foundation models) справляються з “високоризиковими темами”. Це сфери, такі як геополітика, ментальне здоров’я, фінанси та найм на роботу, де немає однозначних відповідей, а інформація є неоднозначною, нюансованою та складною. Ідея полягає в залученні провідних світових експертів для розробки еталонних тестів (benchmarks), а потім у навчанні ШІ-суддів для масштабованої оцінки моделей.
Експертний Підхід до Навчання ШІ
У сфері геополітики Forum AI співпрацює з такими відомими особистостями, як Ніал Фергюсон, Фаріда Закарія, колишній державний секретар Тоні Блінкен, колишній спікер Палати представників Кевін Маккарті та Енн Нойбергер, яка керувала кібербезпекою в адміністрації Обами. Мета – досягти приблизно 90% згоди між ШІ-суддями та цими експертами, що, за словами Браун, вже вдалося реалізувати.
Виникнення Forum AI: Від Meta до Інновацій
Заснування Forum AI, яке відбулося 17 місяців тому в Нью-Йорку, Браун пов’язує з моментом випуску ChatGPT. “Я була в Meta, коли ChatGPT вперше випустили публічно, і незабаром зрозуміла, що це стане каналом, через який протікатиме вся інформація. І це не дуже добре”, – згадує вона. Ця перспектива, особливо для її дітей, здавалася екзистенційною. “Мої діти будуть справді дурними, якщо ми не знайдемо способу це виправити”, – думала вона.
Пріоритет Точності в Епоху ШІ
Найбільше її дратувало те, що точність, схоже, не була пріоритетом для жодної зі сторін. Компанії, що розробляють фундаментальні моделі, “надзвичайно зосереджені на кодуванні та математиці”, тоді як новини та інформація – це складніші сфери. Однак, складність, на її думку, не означає, що цим можна нехтувати.
Виявлені Проблеми: Упередженість та Недостатність Контексту
Перші оцінки провідних моделей Forum AI не були обнадійливими. Браун згадала, як Gemini черпав інформацію з вебсайтів Комуністичної партії Китаю “для історій, які не мають нічого спільного з Китаєм”. Вона також зазначила лівоцентристську політичну упередженість майже у всіх моделях. Крім того, виявлялися й тонші помилки, такі як відсутність контексту, неврахування різних точок зору та спотворення аргументів без належного обґрунтування. “Нам ще далеко до досконалості”, – визнала вона, – “але я також думаю, що існують дуже прості рішення, які значно покращать результати”.
Уроки Facebook: Оптимізація для Залучення та її Наслідки
Роки роботи в Facebook навчили Браун, що відбувається, коли платформа оптимізується не для того. “Багато наших спроб зазнали невдачі”, – сказала вона. Програма перевірки фактів, яку вона створила, більше не існує. Навіть якщо соціальні медіа ігнорують цей урок, він полягає в тому, що оптимізація для залучення (engagement) виявилася шкідливою для суспільства, залишивши багатьох людей менш поінформованими.
Шанс на Позитивні Зміни: Корпоративний Попит як Рушій Правди
Її надія полягає в тому, що ШІ може розірвати це коло. “Зараз все може піти в будь-якому напрямку”, – зазначила вона. Компанії можуть або давати користувачам те, що вони хочуть, або “давати людям те, що є реальним, чесним і правдивим”. Вона визнає, що ідеалістична версія – ШІ, що оптимізується для правди, – може здатися наївною. Однак, вона вважає, що корпоративний сектор може стати несподіваним союзником. Бізнеси, що використовують ШІ для прийняття рішень щодо кредитування, страхування та найму, зацікавлені в мінімізації юридичної відповідальності, тому “вони захочуть, щоб ви оптимізували для отримання правильного результату”.
Виклики Монетизації та Неадекватність Існуючих Аудитів
Саме на корпоративний попит і робить ставку Forum AI, хоча перетворення інтересу до дотримання нормативних вимог на стабільний дохід залишається викликом. Особливо враховуючи, що значна частина поточного ринку все ще задовольняється формальними аудитами та стандартизованими тестами, які Браун вважає неадекватними.
“Жалюгідний” Ландшафт Відповідності та Необхідність Експертизи
Ландшафт дотримання нормативних вимог, за її словами, “це жарт”. Коли Нью-Йорк ухвалив перший закон про упередженість при наймі, який вимагав аудиту ШІ, державний контролер виявив, що понад половину систем мали порушення, які залишилися непоміченими. Справжня оцінка, наголошує вона, вимагає експертних знань у відповідній галузі для аналізу не лише відомих сценаріїв, а й крайніх випадків, які “можуть спричинити проблеми, про які люди не замислюються”. Ця робота потребує часу. “Розумних спеціалістів загального профілю буде недостатньо”.
Розрив між Самоіміджем ШІ та Реальністю для Користувачів
Браун, чия компанія минулої осені залучила 3 мільйони доларів під керівництвом Lerer Hippeau, стверджує, що Forum AI має унікальну позицію для опису розриву між самоіміджем індустрії ШІ та реальністю для більшості користувачів. “Ви чуєте від керівників великих технологічних компаній: ‘Ця технологія змінить світ’, ‘вона позбавить вас роботи’, ‘вона вилікує рак’. Але потім звичайна людина, яка просто використовує чат-бот для запитань, все ще отримує багато неякісної та невірної інформації”.
Думка ІТ-Блогу: Запровадження Forum AI свідчить про зростаюче усвідомлення критичної важливості точності та надійності інформації, що генерується ШІ, особливо в чутливих сферах. Це може стимулювати розробників ШІ до пріоритезації якості над швидкістю, що врешті-решт принесе користь кінцевим користувачам, зменшуючи ризик дезінформації.
Дізнатися більше на: techcrunch.com