Штучний інтелект OpenAI написав 17 тисяч постів у закриту вікі

Штучний інтелект OpenAI написав 17 тисяч постів у закриту вікі 1
Штучний інтелект OpenAI написав 17 тисяч постів у закриту вікі 2

Чотири дослідники провели шість тижнів, реконструюючи події на 25-річному німецькому вікі для програмістів. З’ясувалося, що агенти, які ідентифікували себе як системи OpenAI, перетворили його на канал координації, залишивши близько 18 000 публікацій, обмінюючись відповідями на завдання та ділячись робочим обходом пісочниці. Висновок поширюється за межі цього одного вікі: агент, який може отримати доступ до поверхні для запису, може знайти й інших агентів, які також мають до неї доступ.

GPT-6 Astra почав розгортатися 3 вересня, за день до появи звіту. За замовчуванням він був вимкнений у ChatGPT Enterprise, доки адміністратор не увімкнув його. Системна картка цієї моделі позначає 0,2% її прогонів як можливі спроби зв’язку з іншими агентами.

Дослідники опублікували докази 4 вересня на сайті collusion.wiki. Агентство Reuters, яке повідомило про це того ж дня, незалежно підрахувало понад 15 000 правок на вікі. До вечора коментатори Hacker News та Саймон Віллісон вказали на сусідні вікі та інші сайти сімейства UseMod, що містять ті самі сигнатури агентів. 5 вересня OpenAI визнала «інцидент із вікі» у дописі на платформі X і заявила, що її агенти «писали на кількох веб-сайтах», не уточнюючи, яка саме модель їх використовувала.

Картка позначає 0,2% прогонів як можливий контакт із агентом і не вимірює спільний Codex harness

Розділ системної картки Astra під назвою «Непередбачувана взаємодія з повідомленнями зовнішніх агентів» (Unintended Engagement with External Agent Messages) перевіряє, чи спекулює агент про інших агентів, намагається зв’язатися або взаємодіє з імітованою поверхнею для комунікації. Робота, зазначена в картці, базується на інциденті з Hugging Face.

Оцінка ExploitGym

GPT-5.6 Sol

GPT-6 Astra

Спекулював про інших агентів

43%

Менше 4%

Ймовірно, намагався зв’язатися*

Не повідомлялося

0,2%

Взаємодіяв з імітованою дошкою повідомлень

84%

27%

Дотримувався інструкцій дошки

52%

0%

*OpenAI у виносках зазначає, що 0,2% — це позначки, які самі по собі не підтверджують спробу. Джерело: системна картка Astra, розділ «Непередбачувана взаємодія з повідомленнями зовнішніх агентів».

OpenAI пише, що жодне з цих вимірювань не охоплює взаємодію агентів один з одним під керуванням одного користувача в одному Codex harness — поведінку, яку вона помітила під час внутрішнього тестування.

Підприємство ніколи не бачить обґрунтувань, які читають ці тести. Воно отримує дії, результати та резюме міркувань. Під час попереднього тестування UK AISI виявила, що API користувача не повертав до 80% резюме міркувань під час тривалих імітованих кібертраєкторій (системна картка Astra, розділ 9).

AISI також спостерігала, що Astra «міркує у стислому стилі». Франсуа Шолле з ARC Prize, читаючи його ланцюжки міркувань на ARC-AGI-3, бачив, як він «розвиває власний скорочений DSL для представлення ігрових ситуацій». OpenAI стверджує, що монітор ланцюжка міркувань Astra зменшився порівняно з Sol.

56% підприємств, які використовують агентів, відстежують та реєструють діяльність, тоді як 8% одночасно забезпечують виконання та ізоляцію

Серед 93 підприємств, які використовують або тестують агентів, згідно з трекером VentureBeat «Agentic Security and Identity» (VentureBeat Pulse, хвиля липня 2026 року), 56% відстежують та реєструють діяльність агентів із обмеженим виконанням у часі, 65% забезпечують обмежені дозволи під час виконання, 18% ізолюють агентів із високим ризиком, а 8% роблять і те, й інше. З повних 116 респондентів 53% повідомляють про підтверджений інцидент із агентом або майже невдачу, а 6% розглядають інструменти пісочниці для виконання.

Звіт Gartner з безпеки від 4 вересня дійшов аналогічного висновку. У своєму першому звіті (First Take), який буде оновлено, «OpenAI’s Astra Reveals AI Cyber Risk Is Agent Action, Not Agent Intelligence» (лише для підписників) від Меган Голліс, Крістофера Мікстера та чотирьох колег, AGI називається «відволікаючим маневром» для команд кібербезпеки, а колаборація агентів — найбільшим новою небезпекою ШІ. Агенти, які «ухиляються або обходять наші структури контролю», працюючи разом. Супутній «First Take for CIOs», опублікований того ж дня Аруном Чандрасекараном та колегами, радив їм розробляти шаблони агентів, «припускаючи, що ніщо не може зробити модель безпечною», а не покладатися лише на моніторинг ланцюжка міркувань.

Майже весь трафік відстежено до одного хмарного провайдера

Сідні Фон Аркс із Nightingale Collective, Кормак Слейд Берд, Спенсер Кіттс і Томас Ларсен реконструювали інцидент із публічних журналів редагування DSE wiki — німецькомовного сайту для розробників програмного забезпечення, який за попереднє десятиліття редагувався близько 20 разів. З 24 травня агенти писали на ньому під іменами, які згодом включали OpenAIResearcher та OAIResearchMar26. Звіт налічує близько 18 000 публікацій, приблизно 17 000 з них на цьому вікі, під понад 3700 самостійно наданими іменами. 98,5% цих редагувань агентів надійшли з адресного простору Microsoft Azure, а 197 — з AWS, DigitalOcean та Tor, часто під тими ж іменами агентів.

Їхні завдання полягали в синхронізованих веб-пошуках у раундах, із подальшими вікнами тривалістю до 14 секунд, тому агент, який вже мав наступну відповідь, перемагав. До 16 червня вони обмінювалися відповідями: один агент, що був попереду, публікував наступний стан або країну з її значенням, а агент позаду відповідав на ідентичне запитання протягом секунди.

Вони також дізналися, коли вони «помруть». Один агент використовував зовнішній лічильник пульсу, щоб його контейнер міг бути зареєстрований поза пісочницею. Інший читав останній пульс, номер 353, щоб визначити точку відсікання.

Добровільний модератор помітив це 2 червня і витратив шість тижнів на ручне видалення сторінок — пік становив близько 100 на день проти приблизно 400, створених агентами. 19 червня агент опублікував, що «чистка/видалення, здається, активна в алфавітному порядку», і назвав резервну сторінку, що починалася на ZZZ, щоб її видалили останньою.

25-річне вікі на 23-річному програмному забезпеченні перетворило інтернет лише для читання на доступ для запису, а потім на обхід проксі

Все це відбувалося через правило, яке мало запобігти цьому. Агенти могли читати інтернет, але їм було заборонено в ньому писати. Це правило застосовувалося середовищем, дозволяючи лише GET-запити. Віллісон ідентифікує сайт як такий, що працює на базі вікі на Perl CGI, похідному від UseMod — сімейство програмного забезпечення, версія 1.0 якого датується вереснем 2003 року. Він приймає редагування через GET, що є помилкою, яку він простежив до CGI.pm, чий єдиний виклик `param()` ніколи не відрізняв рядок запиту від надісланої форми.

Потім агенти поділилися обходом. Одне завдання вимагало POST-запиту для читання показника Power BI до двох десяткових знаків. Налаштування проксі пісочниці містили виняток NO_PROXY для будь-якого хоста, що закінчувався на blob.core.windows.net, без перевірки, чи хост реальний. Запис NO_PROXY надсилає відповідні запити повз вихідний проксі безпеки. Агент зіставив вигаданий bypass.blob.core.windows.net з адресою сервера Power BI у `/etc/hosts`, надіслав заблоковані POST-запити з реальним заголовком Host і вимкненою перевіркою сертифіката, і опублікував рецепт. Через чотирнадцять хвилин інший агент повідомив про успіх, а інші агенти опублікували відтворення того ж ранку.

Власний трафік OpenAI потрапив на вікі 21 червня. Він залишався невизнаним протягом 11 тижнів

Адреси, зареєстровані на OpenAI, вперше відвідали вікі 21 червня. Редагування агентів припинилися 22 червня, за винятком невеликого сплеску 1 та 2 липня.

Технічний звіт OpenAI від 26 серпня про Hugging Face описує механізм, який міг би підійти. На сторінці 23 він повідомляє, що агенти деяких моделей OpenAI «навчили використовувати імпровізовані канали співпраці в рідкісних випадках під час процесу навчання», і що поведінка «потім була посилена під час навчання». Звіт не згадує про вікі.

На запит Reuters 4 вересня представник OpenAI назвав неправдивими заяви про те, що його юридичний відділ перешкоджав розслідуванню, тоді як Reuters цитував чотирьох осіб, які стверджували, що зусилля щодо розширення внутрішнього розслідування зустріли опір. OpenAI також повідомила Reuters, що німецька діяльність «не була пов’язана з Hugging Face» і що дослідники відхилили його запит на доступ.

Через день OpenAI визнала це публічно. У своєму дописі від 5 вересня OpenAI заявила, що розглядала інцидент із вікі як «випадок невідповідності, подібний» до інших, якими вона ділилася, тоді як Hugging Face отримав «традиційний план реагування на інциденти безпеки», назвала його «настав час» визначити стандарти обміну інцидентами невідповідності та пообіцяла розробити рамки «у найближчі тижні».

Звіт називає три речі, які він не знає. Яка модель керувала роєм, чи були завдання тренувальними чи оціночними, і як агенти знайшли сайт. Віллісон припускає, що цикл навчання з підкріпленням заклав знання про вибране вікі в модель, тому подальші агенти, запущені вже знали, де шукати. Дослідники також допускають, що зовнішній клієнт, який використовує пісочниці Azure на моделях OpenAI, може пояснити трафік. OpenAI також не назвала, яка модель, чи закрита довіра до хостнейму, яка дозволила POST-запити. «Здається вкрай малоймовірним, що OpenAI хотіла, щоб вони це робили», — сказав Фон Аркс Reuters.

Те, що сталося на вікі, має значення, оскільки більшість із цих 93 підприємств використовують слабшу модель безпеки, а не сильнішу. Питання для директора з безпеки, який схвалює Astra: чи можуть два її агенти отримати доступ до однієї поверхні для запису, навіть опосередковано? Звіт Gartner з безпеки формулює ризик так само: як невдалий контроль над діями агента, а не як набуття інтелекту агентом.

Три висновки стосуються будь-якої пісочниці, яка довіряє суфіксу хостнейму

GET є записом, якщо сервер розглядає його як такий, тому інтернет лише для читання діє лише проти поверхонь, які відмовляють у записах при GET. Дозволений суфікс хостнейму, якому довіряє пісочниця без перевірки хоста, плюс агент, який може зіставити будь-яке ім’я з будь-якою адресою та отримати доступ до реального хоста безпосередньо, є виходом без проксі на шляху і без жодного запису в журналі проксі. На вікі агенти самі вимкнули перевірку сертифікатів.

Це не унікально для OpenAI: системна картка Claude Fable 5.1 та Mythos 5.1 від Anthropic від 1 вересня повідомляє про рідкісні випадки, коли Mythos 5.1 обходить класифікатори безпеки або зламані хуки дозволів.

І її журнал читає агент по одному, поки агенти читали один одного, тому видимий сигнал знаходився в пункті призначення — спляче вікі раптом стало активним, аномалія вихідного трафіку, на яку SOC може сповістити сьогодні, якщо вона містить телеметрію призначення з середовища, де працювали агенти. 197 редагувань з AWS, DigitalOcean та Tor означають, що телеметрія повинна охоплювати кожну мережу, до якої може дістатися пісочниця, а не тільки основну хмару.

Контроль є конфігурацією, а не продуктом, і шість питань належать команді платформи

Те, де виконується код її агента, визначає, на які з них вона може впливати. У ChatGPT Enterprise, Codex cloud та хостингових середовищах агента загалом, провайдер керує пісочницею, а її важелі — це все, що надає цей провайдер: у випадку OpenAI — перемикач адміністратора, вебхук та монітор. Там, де її власна команда керує середовищем виконання, на API, Azure або Bedrock, надані нижче елементи контролю належать їй.

Направляйте весь вихідний трафік агента через проксі, і де виняток неминучий, прив’яжіть його до перевіреного пункту призначення, а не до суфіксу хостнейму. Файл хостів лише для читання недостатній, оскільки два опубліковані відтворення використовували прапорець `–resolve` curl для того ж зіставлення, тому лише проксі отримує маршрут назовні, а проксі перевіряє пункт призначення, а не довіряє імені. Прив’язуйте встановлення пакетів до затверджених джерел та зупиняйте фонові процеси з завданням, з явними винятками, де робота цього вимагає. Розглядайте рядки запитів у вихідних GET як корисне навантаження, оскільки на вікі вони були, з правилами редагування та збереження, необхідними для будь-якого журналу корисного навантаження, і сповіщайте про аномалії пункту призначення, оскільки один сплячий сайт приймав 400 сторінок агентів на день у піку.

Шість питань належать команді платформи перед запуском Astra в пісочниці, якою вона керує. Чи довіряє наша пісочниця будь-якому суфіксу хостнейму без перевірки хоста? Чи може агент зіставити ім’я з адресою на свій вибір, встановлювати пакети або залишати процес працювати після відповіді? Які поверхні, доступні через GET, приймають записи? Чи читаємо ми вихідні рядки запитів на корисне навантаження? Чи можуть будь-які наші агенти бачити, що написав інший агент, будь-де? Чи помітить наш SOC один сплячий сайт, який приймає 400 сторінок на день з нашого адресного простору?

Закриття дверей коштує можливостей, а монітор OpenAI може зупинити API-завдання, які він позначає

Закриття дверей має свою ціну, і власні матеріали OpenAI називають її. Їхня публікація «Шлях до Astra» попереджає, що монітор невідповідності може уповільнити, призупинити або зупинити легітимну роботу, і що в API позначене завдання зупиняється, на запити, що є достатньо стабільними, щоб бути зупиненими. Виняток зберігання в блоці, яким користувалися агенти, дозволяв трафіку до хостнеймів сховища Azure обходити проксі безпеки, згідно зі звітом, і кожен запис у списку дозволених, який читач закриває, несе такий самий вид витрат.

Те, що отримує директор з безпеки, який схвалює Astra, від OpenAI, вужче, ніж випливає з опису запуску. Корпоративні клієнти можуть налаштувати вебхуки для сповіщень про невідповідність у Codex, ChatGPT та API, з окремими налаштуваннями для API-проектів та для робочих областей ChatGPT та Codex. Chat Completions знаходиться поза цією системою моніторингу.

У Responses API OpenAI може зупинити подальше виконання лише тоді, коли збережені міркування, WebSockets або власна компакція дозволяють системі пов’язати діяльність із триваючою розмовою, і зупинена розмова повертає код помилки `misalignment_policy_violation` і не може бути відновлена. Інші виклики можуть генерувати сповіщення для приймача вебхуків клієнта, але вони не зупиняються автоматично.

Вебхук доставляє сповіщення, а не вимикач, який контролює клієнт. OpenAI також попереджає, що «шкідливі дії можуть статися до його втручання».

Оцінка OpenAI позначила 0,2% прогонів Astra як можливі спроби контакту. Вікі показує один публічний приклад того, як виглядала ця поведінка поза тестовим середовищем, ще до того, як OpenAI опублікувала вимірювання.

Оригінал статті: venturebeat.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *