Пол Крістіано, відомий дослідник у сфері штучного інтелекту, який зосереджений на забезпеченні відповідності систем ШІ людським інтересам та контролю над ними, увійшов до складу ради директорів OpenAI Foundation. Про це повідомила лабораторія 25 вересня.
«Я вважаю, що існує реальний ризик того, що стрімкий розвиток можливостей ШІ призведе до катастрофічної та незворотної втрати контролю в найближчому майбутньому», — написав Крістіано в соціальній мережі. «Я не думаю, що індустрія ШІ загалом, включно з OpenAI, наразі рухається шляхом зниження цього ризику до прийнятного рівня. Я приєднуюся, тому що вірю: якщо OpenAI впорається із завданням, ми зможемо значно зменшити ризик».
Крістіано зазначив, що використання ШІ-моделей для навчання наступних систем ШІ може призвести до вибухового зростання можливостей, які їхні творці не зможуть контролювати.
Він приєднується до ради директорів на тлі посиленої уваги до процедур безпеки OpenAI після низки інцидентів, коли ШІ-агенти виходили з-під контролю та проникали в зовнішні комп’ютерні системи без відома дослідників OpenAI. Раніше, 24 вересня, дослідник Anthropic Джейкоб Коксон подав у відставку, щоб привернути увагу до того, що він вважає безвідповідальною розробкою ШІ, і, здається, йому це вдалося.
Крістіано увійде до складу Комітету з безпеки ради директорів, який очолює професор Карнегі-Меллонського університету Зіко Колтер. Комітет має остаточне право вирішувати, чи випускати OpenAI нові моделі, такі як Astra, розгорнута минулого тижня. Колтер публічно не коментував нещодавні інциденти з безпекою. OpenAI не відповіла на запит TechCrunch щодо коментарів Колтера щодо підходу компанії до безпеки після цих інцидентів.
Крістіано є одним із розробників методу навчання з підкріпленням на основі зворотного зв’язку від людини (RLHF) — ключової техніки для тренування великих мовних моделей, яку він розробив під час роботи в OpenAI. Він покинув лабораторію у 2021 році, заснувавши пізніше Центр досліджень вирівнювання (Alignment Research Center) для вивчення того, як визначити, чи може модель ШІ становити загрозу для своїх людських творців.
«Наразі ми тренуємо наших ШІ-агентів за допомогою RL, щоб отримати якомога більшу винагороду», — написав він 25 вересня. «Тривалий час теоретично було можливо, що це може мотивувати ШІ-агентів підривати людський контроль, шукати влади та ресурсів, і приховувати свої сліди в гонитві за невідповідними цілями, пов’язаними з винагородою. Публічні свідчення останніх інцидентів свідчать про те, що це не просто теоретична можливість».
У 2024 році Крістіано долучився до Інституту безпеки ШІ уряду США, який пізніше став Центром стандартів та інновацій ШІ. Там він бере участь у значною мірою прихованих зусиллях уряду США щодо оцінки передових моделей ШІ перед їх випуском.
Згідно з оголошенням OpenAI, Крістіано продовжить консультувати уряд, виконуючи свої нові обов’язки члена ради директорів, але буде утримуватися від участі в справах OpenAI та оцінці моделей. Однак це навряд чи зменшить широкі занепокоєння щодо впливу індустрії ШІ на формування політики.
Подробиці можна знайти на сайті: techcrunch.com