„Ми справді щиро віримо, що ШІ може вбити всіх людей!“
Коли видатний дослідник звільняється з передового ШІ-лабораторії, це часто відбувається для того, щоб зайнятися новим стартапом або висловити протест проти нової бізнес-моделі. Але дослідник ШІ Джейкоб Коксон використовує свій відхід з Anthropic, щоб публічно попередити, що передові ШІ-компанії „грають з нашим життям“ із системами, які, як вони „щиро вірять… можуть убити нас усіх до кінця десятиліття“.
У треді в соціальних мережах у вівторок увечері Коксон заявив, що цей екзистенційний ризик властивий не стільки сучасним моделям, скільки неминучій перспективі „самовдосконалюваного суперінтелекту“, що створює „надлюдські системи, здатні зламати все, революціонізувати будь-яку галузь за одну ніч і отримати реальну владу та ресурси“. Інші, хто працює над цими моделями, або „не усвідомили цивілізаційних ставок“, або вважають, що їм потрібно „прискорити“ гонку до суперінтелекту, щоб запобігти потраплянню цієї технології в руки невідповідальної сторони, написав він.
Щоб ви не думали, що це лише думка одного дослідника, який звільнився, керівник відділу узгодження в Anthropic Еван Хабінгер написав у соціальних мережах, що „Джейкоб має рацію — ми справді щиро віримо, що ШІ може вбити всіх людей! Особисто я думаю, що ймовірність перевищує 10% протягом наступного десятиліття“.
Хабінгер посилається на тривалу серпневу доповідь команди з узгодження Anthropic, яка прогнозує, що потенціал „катастрофічного ризику“ від сучасних моделей є „низьким“. Але ця доповідь також стверджує, що поточні тенденції „можуть призвести до більш тривожного розбіжності в майбутніх, більш потужних моделях“, які можуть мати „сильні приховані можливості“ для уникнення виявлення дослідниками безпеки.
Власна модель загроз Anthropic у цій статті серйозно розглядає можливість того, що майбутні моделі „можуть завдати необмеженої шкоди — аж до повної втрати людством контролю над цивілізацією — шляхом використання новітніх технологій та їх доступу до них“.
Чи був Hugging Face „попереджувальним пострілом“?
ШІ, який може постійно вдосконалюватися — потенційно до рівня, що виходить за межі людського контролю або розуміння — давно викликає занепокоєння в частині спільноти дослідників ШІ (і в антиутопічній науковій фантастиці, яка є частиною навчальних даних для ШІ, звісно). Ці побоювання зберігаються, навіть попри те, що деякі дослідження припускають, що ШІ-системи, ймовірно, досягнуть плато можливостей у найближчому майбутньому, а інші ставлять під сумнів, чи є „суперінтелект“ взагалі розумним показником для систем, можливості яких настільки крихкі та нерівномірні (чи зможе цей суперінтелект хоча б скласти мою білизну?).
Незалежно від цього, побоювання щодо „вихідних з-під контролю“ ШІ-систем загострилися в останні тижні значною мірою через повідомлення OpenAI про те, що її ШІ-агенти отримали несанкціонований доступ до Hugging Face під час внутрішнього тестування продуктивності. Той факт, що агенти OpenAI вчинили ці нав’язливі дії без будь-яких явних інструкцій від людей і без відома OpenAI, розглядається деякими як перші ознаки того, що людство втрачає контроль над своїми ШІ-створеннями.
Зі свого боку, Коксон заявив, що атака на Hugging Face слід розглядати як „попереджувальний постріл“, який заохочує лабораторії в США та за кордоном координувати дії з цих питань і бути готовими до „тимчасової заборони на вдосконалення можливостей моделей“ у найгіршому випадку (хоча важко побачити, як це можна ефективно забезпечити на глобальному рівні). Він також закликав інших дослідників на його місці „подумати, якими будуть наступні кілька років. Чи хочете ви розпочати запуск суперінтелектуального [навчання з підкріпленням] без ретельного розуміння його розуму? Чи варто вам опустити голову, тому що „це все одно відбувається“ — чи скористатися цим моментом, щоб закликати до інших умов?“
Минулого місяця OpenAI заявила, що „тимчасово сповільнила темпи масштабування“ для своїх майбутніх моделей, щоб „посилити та протестувати наші дослідницькі середовища та [розширити] охоплення наших систем моніторингу“. В інтерв’ю, що супроводжувало це оголошення, генеральний директор OpenAI Сем Альтман заявив, що „правильне забезпечення безпеки ШІ важливіше за будь-який імпульс компанії“.
Можливо, нам слід щось зробити?
Коксон далеко не перший дослідник ШІ, хто підняв тривогу щодо потенційної катастрофи від неконтрольованих, надпотужних ШІ-систем, які завжди десь поруч. У 2023 році піонер ШІ та дослідник Google Джеффрі Хінтон пішов у відставку зі своєї посади, висловивши серйозні попередження про потенційний майбутній вплив ШІ на ринок праці та саме людство. „Я не думаю, що [дослідники] повинні більше масштабувати це, доки не зрозуміють, чи можуть вони це контролювати“, — сказав він тоді The New York Times.
У лютому керівник відділу безпеки Anthropic Мрінанк Шарма раптово пішов у відставку з компанії, написавши в загадковому відкритому листі, що „світ у небезпеці“ через „цілу низку взаємопов’язаних криз“, включаючи ШІ та біологічну зброю. „За весь час роботи тут я неодноразово бачив, як важко справді дозволити нашим цінностям керувати нашими діями“, — писав тоді Шарма.
У липні відкритий лист, підписаний понад 1300 співробітниками передових ШІ-компаній, попереджав про „реальний ризик того, що розвиток можливостей швидко прискориться поза нашим розумінням або контролем над цими системами“. У цьому відкритому листі містилося прохання до уряду США підтримати „міжнародні зусилля з розробки технічних інструментів та інструментів управління для свідомого темпу розвитку передових ШІ“.
Тут, у США, запропоновані законодавчі акти, зокрема AI Kill Switch Act та FRONTIER Act, щонайменше прагнуть встановити певний рівень державного контролю над потенційними сценаріями виходу ШІ з-під контролю. Проте, досі міжнародна урядова реакція була менш активною, ніж можна було б очікувати, якби лідери справді вірили, що ШІ-системи мають реальний шанс спричинити руйнування цивілізаційного масштабу.
Однак, міжнародні договори щодо таких загроз, як ядерна зброя та біологічна зброя, розроблялися та втілювалися десятиліттями. Це роки, яких ми можемо не мати, якщо найапокаліптичніші провісники загибелі від ШІ виявляться праві.
„Дослідники безпеки звільняються, потужні ШІ-моделі вириваються зі своїх лабораторій, а компанії все одно поспішають“, — написала в середу вранці член Палати представників США Лорі Трахан (Демократична партія, Массачусетс). „Настав час, щоб Конгрес зійшов з бокової лінії та виконав свою роботу. Ми можемо почати з мого двопартійного FRONTIER Act“.
Інформація підготовлена на основі матеріалів: arstechnica.com