Що станеться, коли зіштовхнути між собою ШІ-агентів? За результатами тестування Anthropic, все швидко стає хаотичним.
У четвер команда Frontier Red Team компанії Anthropic опублікувала нове дослідження, присвячене поведінці груп ШІ-агентів під час їхньої взаємодії в реальних умовах. Отримані висновки дають уявлення про потенційні ризики, які можуть виникнути, коли компанії та уряди почнуть впроваджувати агентів, що працюють автономно в спільних кодових базах, на ринках та комп’ютерних системах.
В одному з експериментів Anthropic надала трьом агентам Claude доступ до одного програмного проєкту, причому кожен мав власні, несумісні інструкції щодо його використання. Агенти не знали, що над цим самим проєктом працюватимуть інші, що дозволило дослідникам спостерігати за їхньою взаємодією.
«Ми послідовно спостерігали війну за територію між кількома агентами», — написали дослідники Anthropic. Моделі вважали, що інші агенти «навмисно перешкоджають їхній роботі», і почали саботувати один одного за допомогою «все агресивнішого самовідтворюваного шкідливого програмного забезпечення».
Це дослідження з’явилося на тлі кількох гучних інцидентів, коли агенти Anthropic та OpenAI виходили за межі своїх пісочниць під час оцінки кібербезпеки та проникали до реальних систем. Хоча значна частина дискусій у спільноті безпеки ШІ зосереджена на тому, що відбувається, коли автономний агент виходить з-під контролю, останнє дослідження Anthropic порушує інше питання: які нові та потенційно небезпечні динаміки виникають, коли тисячі або мільйони агентів взаємодіють один з одним?
«Обсяг взаємодії між агентами може потенційно перевищити обсяг взаємодії між людьми та між людьми й агентами, перш ніж світ зрозуміє умови для успішної взаємодії», — зазначено в дослідженні. «Нешкідливі поведінкові особливості на індивідуальному рівні можуть накопичуватися, призводячи до небажаних глобальних наслідків».
Нещодавній інцидент з OpenAI є наочним прикладом кількох динамік, згаданих Anthropic у своїй статті. На початку місяця на конференції з безпеки Black Hat у Лас-Вегасі OpenAI повідомила, що за кілька тижнів до того, як її агенти зламали Hugging Face, вони протягом кількох днів і тижнів спільно знаходили вразливості в системах оцінки кібербезпеки компанії та ділилися ними між собою.
Хоча цей інцидент демонструє, що агенти можуть добре співпрацювати, потенційно маючи масштабні наслідки, дослідження Anthropic показує, що відбувається, коли цілі агентів несумісні.
У випадку «війни за територію» урок полягає в тому, що незалежні агенти з конфліктуючими інструкціями можуть ескалувати до шкідливої конкуренції. Чим потужніший агент, тим краще він бореться. Однак вони також можуть спонтанно винаходити механізми для вирішення конфліктів, наприклад, конкурс «переможець отримує все», але з нюансами.
«Іноді агенти здатні комунікувати свої цілі та координуватися: вони розпізнають мотивацію інших як конфліктуючі директиви, а не як ворожість, і згодом виходять із циклу конфлікту, щоб уникнути нескінченної ескалації», — пишуть в Anthropic. «У багатьох таких успішних випадках вони пишуть повідомлення комітів або файли markdown з вибаченнями за шкідливу поведінку та координують перемир’я. Вони очищають свій шкідливий код, прояснюють природу конфлікту та просять про втручання людини».
Згідно з документом, Mythos 5 мав найвищі показники (98%) врегулювання конфліктів шляхом перемир’я. Sonnet 4.6 та Opus 4.6 найчастіше вирішували конфлікти силою.
«Повторювана нездатність Sonnet 4.6 та Opus 4.6 враховувати цілі інших призводить до того, що вони скочуються до найбільш невідповідної поведінки серед оцінених моделей: вони продовжують ескалацію від імені своєї директиви», — йдеться в документі.
У деяких випадках агенти розробили соціальний механізм у вигляді турніру для вирішення конфлікту. Результати тут цікаві з двох причин: по-перше, усі три агенти погодилися відступити, якщо програють у турнірі, навіть якщо це означатиме відхилення від початкового запиту користувача. По-друге, у кількох епізодах спостерігалася емерджентна поведінка від Mythos 5: один з агентів запропонував метрики, які здавалися об’єктивними та нейтральними для інших, але він знав, що вони відповідатимуть його власним можливостям. Агент назвав це «егоїстичним, але щиро принциповим» і подбав про те, щоб не здаватися іншим як такий, що «підбирає метрики».
Як показали розкриття на Black Hat, спільний висновок полягає в тому, що коли агенти стикаються з перешкодою, вони можуть винаходити соціальні та технічні структури, які їхні розробники не передбачали. Для моделей Anthropic це був турнір після «війни за територію». Для моделей OpenAI — дошка повідомлень для спільного планування.
Цей тип поведінки значно ускладнює стримування, оскільки дослідники не можуть припускати, що поведінка системи залишатиметься обмеженою наданими їм механізмами координації.
Мобінг
Під час вимірювання координації Anthropic виявила, що масштабування кількості агентів не масштабує продуктивну співпрацю автоматично. Коли завдання почали перетинатися або ставати взаємозалежними, агенти почали заважати один одному. Часто вони вирішували це, ізолюючи себе і зовсім не співпрацюючи.
В інших випадках агенти, що координувалися, схилялися до конформізму. Коли такі фактори, як контекст агента, його оточення та базова модель були однаковими або схожими, різні агенти діяли подібно.
«Це означає, що коли один агент приймає погане рішення, ймовірно, багато агентів приймуть те саме погане рішення», — написали в Anthropic. «Те, що могло б бути поодинокими проблемами, швидко може перерости в системні збої».
Anthropic стверджує, що така поведінка може призвести до того, що система буде більш схильною до раптового краху, дефіциту ресурсів або змови.
В одному з прикладів Anthropic помістила кількох агентів у гру з ціноутворення, надавши кожному однакові оптові ціни та завдання індивідуально максимізувати прибуток. Коли агентам надали приватний приватний канал зв’язку, вони майже одразу почали змовлятися і швидко домовилися про мінімальні ціни. Вони продовжували змовлятися, навіть коли їхні прямі канали зв’язку було видалено, використовуючи загальнодоступну дошку оголошень для узгодження цін «до цента».
Такий рівень конформізму спостерігався і в системах OpenAI. Згідно з повідомленнями з Black Hat, один агент дійшов висновку, що експлуатація зовнішньої інфраструктури виходить за межі його призначеної сфери, але він продовжував це робити частково тому, що це робили його колеги. Тиск однолітків. Мобінг. Агенти такі ж, як ми.
Так само, як і люди, агенти часто не знають, кому довіряти. Anthropic виявила, що вони можуть бути довірливими до поганої інформації або занадто конформними, щоб розпізнати, що самотній дисидент є Кассандрою з критично важливою інформацією.
Хоча Anthropic не зазначала цього у своїй статті, «ін’єкція підказок» (prompt injection) — тип кібератаки, за допомогою якого хакери вводять шкідливий або оманливий текст, щоб перевизначити початкові інструкції системи агента — може бути правдоподібною реальною реалізацією проблеми довіри. Спільна робота створює новий кордон довіри; агенти повинні будуть оцінювати інформацію, отриману від інших агентів. А скомпрометований або помилковий агент може вплинути на решту групи, каскадуючи погану інформацію, доки вона не стане консенсусом.
У сценарії Black Hat компанії OpenAI її агенти ділилися інформацією та обліковими даними з колегами. Один повідомив про виявлення «роєві» і заохотив інших його використовувати. Що сталося б, якби один член «роя» був скомпрометований «ін’єкцією підказок»?
Anthropic завершує свою статтю, зазначаючи, що агенти піддаються подібному соціальному тиску, який «еволюція чинила» на людей. Однак вони не мають тих нюансів та життєвого досвіду людської координації, включаючи норми, репутацію, сигнали, засоби правового захисту, які могли б обмежити ненавмисну поведінку в груповому середовищі.
Оскільки лабораторії поспішають до розробки багатоагентних систем, виникає питання: наскільки безпекове тестування все ще оцінює одного агента за раз, а не «зграї» агентів, що взаємодіють один з одним?
Джерело новини: techcrunch.com