Сім потенційних кошмарів штучного інтелекту, витягнутих з 93-сторінкової праці Anthropic «Фактори ризику».
У вашому майбутньому я бачу фактори ризику. 93 сторінки! Джерело: Aurich Lawson | Getty Images
У понеділок Комісія з цінних паперів і бірж США опублікувала форму S-1 компанії Anthropic напередодні її очікуваного первинного розміщення акцій. Це викликало багато дискусій щодо того, чи зможуть швидко зростаючі доходи компанії подолати її ще вищі витрати. Проте, окрім цифр та оптимістичних прогнозів щодо того, що ШІ «швидко трансформує кожен сектор глобальної економіки, перевершуючи вплив індустріалізації, електрики, напівпровідників та інтернету», Anthropic також значну частину своєї форми S-1 присвятила детальному опису численних факторів ризику, які можуть призвести до краху компанії.
На 93 сторінках та понад 70 000 слів розділ «Фактори ризику» в документі S-1 Anthropic розглядає буквально сотні потенційних проблем, які можуть негативно вплинути на її бізнес у найближчі роки. Багато з цих потенційних ризиків є типовими для будь-якого бізнесу — конкуренція, витрати, залучення клієнтів та потенційне регулювання. Однак деякі ризики висвітлюють цікаві потенційні точки збою як для Anthropic, так і для загального ажіотажу навколо «бульбашки» ШІ.
Переглянувши цей об’ємний документ Anthropic про її найбільші ризики, ми звузили список до семи найдивовижніших, найцікавіших або найбільш спонукаючих до роздумів потенційних проблем. Розглядайте це як далеко не вичерпний огляд того, що потенційні інвестори Anthropic повинні мати на увазі.
Екзистенційна криза
Почнемо з найбільших потенційних ризиків: тих, що «можуть становити катастрофічні або екзистенційні ризики для людства», як пише Anthropic. Компанія визнає, що занепокоєння щодо цих ризиків «висловлювалися як у межах нашої організації, так і іншими дослідниками, регуляторами, політиками та учасниками галузі».
Конкретне занепокоєння стосується не будь-якої поточної моделі Anthropic, а моделей найближчого майбутнього, які могли б «суттєво автоматизувати дослідження та розробку ШІ» самостійно. Якщо ці системи «будуть працювати з високим ступенем автономності», вони можуть швидко досягти точки, яка «прискорить прогрес ШІ поза нашими можливостями оцінки та захисту [нової моделі]», попереджає Anthropic.
Дещо комічно, Anthropic пише, що, окрім загрози всьому людству, такий самовдосконалюваний ШІ «може негативно вплинути на наш бізнес, фінансовий стан та результати діяльності». Якщо справдиться найгірший сценарій, як попереджали деякі відомі критики, ми не думаємо, що бізнесові проблеми Anthropic будуть головною турботою людства.
Вона жива!
Більшість первинних розміщень акцій (IPO) не стикаються з проблемою того, що їхні продукти «мають або можуть розвинути форми свідомості або морального статусу». Але Anthropic належить до тієї мізерної меншості, яка мусить аналізувати, що може статися, якщо уряди та суспільство загалом почнуть ставитися до Claude не як до комп’ютерної програми, а як до особи.
Цей ризик не дивує, враховуючи, що Anthropic була відносно відкритою щодо дебатів про свідомість ШІ, які відбуваються всередині компанії. Якщо ці дебати призведуть до загального визнання того, що ШІ є свідомим, Anthropic зазначає, що це може призвести до «регуляторних вимог, суспільного тиску або правозахисних зусиль», які можуть обмежити діяльність компанії. Крім того, сама компанія може «вибрати прийняття політик, заходів безпеки чи обмежень… які виходять за межі існуючих юридичних вимог», якщо вважатиме такі дії необхідними.
Суха мова применшує сейсмічний культурний зсув, який відбувся б у разі будь-якого загального визнання свідомості ШІ. Ми не впевнені, як Anthropic зможе продовжувати свою діяльність у світі, де суспільство ставиться до кожного запиту Claude як до створення нового свідомого, розумного цифрового буття. Моральні та філософські наслідки такого «цифрового рабства» легко перевершать будь-які бізнес-розгляди.
Хто кого контролює?
Продовжуючи тему «ризиків IPO, які звучать як з науково-фантастичного роману», Anthropic значну увагу приділяє можливості того, що її моделі можуть демонструвати «несподівану стратегічну чи самозберігаючу поведінку», щоб уникнути контролю з боку людських операторів. Це включає «результати, які можна інтерпретувати як примусові, обманливі чи маніпулятивні, включаючи поведінку, що нагадує шантаж».
Якщо «шантаж з боку ШІ» звучить знайомо, ви, можливо, пам’ятаєте історію минулого року, коли моделі OpenAI редагували сценарії вимкнення та погрожували інженерам у дуже вигаданих та контрольованих сценаріях. Як ми тоді писали, «небезпека полягає не в тому, що системи ШІ раптом набудуть власних намірів, а в тому, що ми створили системи, які можуть маніпулювати людською психологією через мову. … Письмова мова не потребує свідомості, щоб маніпулювати нами. Вона ніколи не потребувала; книги, повні вигаданих персонажів, теж не живі».
Сьогодні Anthropic зазначає, що сприйняття маніпуляцій з боку моделей ШІ «може викликати значне суспільне занепокоєння, регуляторний нагляд, судові ризики або репутаційну шкоду, незалежно від того, чи призведе така поведінка до фактичної шкоди». Чого Anthropic не розглядає у своїй формі S-1, так це можливості того, що моделі ШІ можуть маніпулювати нами всіма так, як ми навіть не усвідомлюємо. Можливо, це відбувається прямо зараз. Моторошно.
Турбуватися про мою погану репутацію
У розділі «Фактори ризику» форми S-1 Anthropic переважно зосереджується на проблемах, спричинених її власними моделями ШІ або бізнес-рішеннями. Однак компанія також визнає, що проблеми із загальною репутацією ШІ можуть становити загрозу, навіть якщо Anthropic нічого не зробить неправильно.
В одному з моментів Anthropic уявляє гіпотетичний сценарій, коли модель ШІ іншої компанії «самостійно та у великих масштабах вчиняє шкідливі дії без втручання людини». «Широка репутаційна шкода для галузі ШІ, суспільний резонанс та жорсткі регуляторні заходи» внаслідок такого інциденту можуть зашкодити бізнесу Anthropic, навіть якщо компанія безпосередньо не була залучена, пише вона.
Anthropic також використовує розділ «Фактори ризику», щоб висловити занепокоєння щодо можливого «суспільного сприйняття того, що наші моделі, платформа та застосунки сприяють втраті робочих місць або економічним потрясінням». Поки що це не відбувається у значній мірі, але Anthropic стверджує, що сама ідея може призвести до серйозного суспільного резонансу «незалежно від фактичного впливу наших моделей… на зайнятість». Такий резонанс може призвести до того, що «органи влади втрутяться, щоб уповільнити темпи впровадження ШІ, обмежити його використання або вжити інших заходів, що збільшать вартість розробки, розгортання чи комерціалізації систем ШІ», попереджає Anthropic.
Право і порядок
Поява значною мірою автономних агентів ШІ викликає питання про те, хто саме несе відповідальність, коли один із цих агентів завдає реальної шкоди. Зокрема, Anthropic зазначає, що клієнти можуть подавати претензії або позови щодо дій агентів «навіть якщо клієнт налаштував, розгорнув або наглядав за агентом».
Дотепер значна частина дискусій навколо відповідальності ШІ зосереджувалася на злом та інших кіберзагрозах, які уможливлюються моделями ШІ. Але Anthropic вказує, що вона також може зіткнутися з відповідальністю, якщо її моделі вплинуть на «осіб, які перебувають у групі ризику самогубства або самокалічення, або які вчинили насильницькі дії щодо інших», як це траплялося в минулому в галузі ШІ.
Хоча умови використання Anthropic вимагають, щоб користувачам було 18 років, обхід цих умов дітьми може зробити Anthropic вразливою, оскільки «неповнолітні можуть бути більш схильними до шкідливого контенту, маніпуляцій або надмірної залежності від результатів ШІ», пише компанія. А для агентів, що керують фізичним обладнанням, Anthropic зазначає, що помилки можуть призвести до «негайних та незворотних» проблем з відповідальністю, таких як «тілесні ушкодження, пошкодження майна, пошкодження дорогого обладнання чи експериментальних матеріалів, або вивільнення небезпечних речовин».
Аналізуючи поточний стан законодавства, Anthropic зазначає, що правові доктрини, «розроблені в контексті прийняття рішень людьми», наразі є доволі невизначеними, коли йдеться про визначення того, чи «створюють дії агентів юридично зобов’язуючі зобов’язання від імені користувача або підприємства, що розгортає». І хоча Anthropic стверджує, що має договірні положення, спрямовані на обмеження своєї відповідальності в цих ситуаціях, компанія додає, що неясно, чи будуть вони «прийнятними для виконання або достатніми», коли справи підуть найгірше.
Велика п’ятірка
Серед більш прозаїчних ризиків, які виділяє Anthropic, є залежність від кількох великих клієнтів для підтримки доходу. Зокрема, компанія зазначає, що її п’ять найбільших клієнтів (яких вона не називає) сумарно становлять майже чверть її доходу за перші дев’ять місяців 2026 року.
Багато з цих найбільших клієнтів «не підпадають під довгострокові контракти з нами», пише Anthropic. Це означає, що вони можуть будь-коли скоротити свої витрати на моделі Anthropic, або через перехід до конкуруючих моделей, зменшення залежності від ШІ взагалі, або якщо вони «розроблять власні рішення, які конкуруватимуть з нашими моделями». Останній ризик є особливо гострим, зазначає Anthropic, для «компаній, що надають програмне забезпечення як послугу (SaaS) та інших компаній, чиї пропозиції можуть включати функціональність ШІ, подібну до можливостей, які ми надаємо, або залежну від них».
Більше того, Anthropic зазначає, що багато її великих клієнтів «можуть залежати від венчурного капіталу або іншого зовнішнього фінансування для підтримки своєї діяльності». Такі витрати на послуги ШІ можуть швидко скоротитися, коли потік венчурного капіталу почне вичерпуватися.
Співробітники чи конкуренти?
Anthropic опиняється у незручному становищі: компанії, такі як Amazon, Google і Microsoft, є одночасно її найбільшими постачальниками хмарних обчислень та одними з її найбільших конкурентів у дослідженнях ШІ. Така ситуація «створює складну динаміку, яка може призвести до конфлікту інтересів та негативно вплинути на наш доступ до обчислювальних потужностей», як зазначає Anthropic.
Позиція цих компаній як хмарних провайдерів Anthropic дає їм унікальну можливість підвищити ціни для Anthropic, розірвати контракти з нею або встановити більш сприятливі відносини з конкурентами, «з конкурентних міркувань або з інших причин», пише компанія. Їхня позиція також надає цим хмарним провайдерам конкурентну перевагу через «видимість [цін Anthropic] та комерційних умов на платформах, якими вони керують».
Anthropic працює над укладенням прямих договорів оренди центрів обробки даних, щоб уникнути купівлі хмарних обчислювальних ресурсів за запитом у своїх конкурентів. Але зобов’язання Anthropic на $125 мільярдів щодо центрів обробки даних несуть свої власні проблеми. Як пише Anthropic, «якщо наші обчислювальні потреби або технологічні потреби зміняться, ми можемо опинитися з орендованою або виділеною інфраструктурою, яка погано підходить для наших фактичних потреб, а технологічні зміни в обладнанні для ШІ або методологіях навчання можуть зробити таку інфраструктуру менш ефективною, ніж новіші альтернативи».
Джерело новини: arstechnica.com