Розробник Claude попереджає, що його власні моделі можуть чинити опір вимкненню та спричинити катастрофічні наслідки.
Компанія Anthropic офіційно попередила інвесторів, що її технологія може становити «екзистенційні ризики для людства» у довгоочікуваному проспекті первинної публічної пропозиції (IPO), розісланому невеликій групі партнерів днями.
Стартап у галузі ШІ, що оцінюється майже в $1 трлн та керується Даріо Амодеї, присвятив майже третину свого детального документа S-1 опису «факторів ризику», зокрема потенціалу все більш вдосконалених моделей ШІ до маніпуляцій, шантажу та прояву інших непередбачуваних поведінок.
Anthropic також окреслила більш прозаїчні ризики, включно з надзвичайною концентрацією клієнтської бази: майже чверть доходу минулого року надійшла від лише двох клієнтів, за даними людей, ознайомлених із документами.
Надзвичайні попередження в його розкриттях ризиків додають викликів для інвесторів на публічному ринку у визначенні оцінки провідної американської групи ШІ, коли вона здійснить IPO, яке очікується як найдорожче в історії.
Розробник Claude також надав інвесторам чіткіше уявлення про складну економіку створення передових моделей ШІ напередодні лістингу, який очікується на Nasdaq цієї осені.
Anthropic заявила, що планує витратити $518 млрд на хмарні послуги, обчислювальні потужності та інфраструктуру в найближчі роки для підтримки свого швидкого зростання.
Інвестори AI-лабораторії впевнені, що Anthropic зможе вийти на біржу з оцінкою понад $2 трлн, що більш ніж удвічі перевищує рівень, досягнутий під час останнього раунду фінансування у травні, та вище за $1,78 трлн, досягнутих SpaceX Ілона Маска у червні. Вони посилаються на надзвичайні темпи зростання компанії, щоб обґрунтувати свій оптимізм.
Однак занепокоєння щодо ризиків, які становить ШІ, тепер загрожують затьмарити цей оптимізм після того, як нинішні та колишні співробітники Anthropic виступили з публічними попередженнями про те, що неконтрольований ШІ може знищити людство протягом десятиліття.
Амодеї минулого тижня заявив Раді Безпеки ООН, що ШІ може становити загрозу для людства і є «найважливішим питанням глобальної безпеки, з яким стикається світ сьогодні».
Цього місяця керівник Anthropic очолив публічні заклики «врегулювати темпи» розвитку ШІ. Його головний конкурент із OpenAI, Сем Альтман, разом із Маском, підтримали пропозиції Амодеї щодо промислової співпраці для уповільнення розробки та посилення заходів безпеки — рідкісний момент єдності.
Занепокоєння щодо безпеки посилилося після серії резонансних інцидентів із кібербезпекою, коли «агенти» ШІ зламували зовнішні системи. Минулого тижня OpenAI повідомила, що її інструменти зламали «десятки» зовнішніх сайтів, включно з урядовими.
Розробник ChatGPT у понеділок скасував плани випуску своєї найновішої моделі наступного місяця, посилаючись на міркування безпеки.
Проспект Anthropic також розкрив деталі її попередньої фінансової діяльності та управлінських домовленостей, про які раніше повідомляло Reuters і які були підтверджені FT кількома особами, які бачили документи.
Anthropic відмовилася від коментарів.
Компанія зафіксувала операційний збиток у розмірі понад $8 млрд минулого року, збільшивши витрати на обчислювальні потужності, повідомила Anthropic інвесторам. Її дохід зріс у 12 разів — майже до $4,6 млрд минулого року. Але зростання витрат на обчислювальні ресурси для тренування та роботи її моделей призвело до операційних витрат майже $13 млрд.
Група уклала угоди про забезпечення обчислювальними потужностями з партнерами, включно з Google, SpaceX та кількома меншими компаніями.
Витрати та доходи Anthropic різко зросли цього року. Дохід у другому кварталі цього року становив $11,5 млрд, і компанія на шляху до досягнення операційного прибутку другий квартал поспіль, хоча й на скоригованій основі.
Дізнатися більше на: arstechnica.com