В X обнаружили группировку ботов, которые писали мошеннические посты с помощью ChatGPT

В мае этого года исследователи из Университета Индианы обнаружили в социальной сети X (тогда ещё Twitter) ботнет на базе ChatGPT. Ботнет, названный Fox8 из-за его связи с одноимёнными криптовалютными сайтами, состоял из 1140 учётных записей. Многие из них использовали ChatGPT для создания постов в социальной сети и для ответа на посты друг друга. Автоматически сгенерированный контент побуждал ничего не подозревающих людей перейти по ссылкам на сайты с рекламой криптовалют.

Источник изображения: unsplash.com

Эксперты уверены, что ботнет Fox8 может быть лишь верхушкой айсберга, учитывая, насколько популярными стали большие языковые модели и чат-боты. «Единственная причина, по которой мы заметили этот конкретный ботнет, заключается в том, что он работал небрежно», — отметил профессор Университета Индианы Филиппо Менцер (Filippo Menczer). Исследователи обнаружили ботнет, выполнив поиск на платформе по контрольной фразе «Как языковая модель ИИ…», которую ChatGPT иногда использует для подсказок по деликатным темам. Затем они вручную проанализировали учётные записи и выявили те из них, которыми управляли боты.

Несмотря на свою «небрежность», ботнет опубликовал множество убедительных сообщений, рекламирующих криптовалютные сайты. Очевидная лёгкость, с которой ИИ OpenAI был использован для мошенничества, означает, что продвинутые ботнеты могут использовать чат-боты на основе ИИ более изощрённо, не давая себя обнаружить. «Любой хороший плохой парень не допустит такой ошибки», — шутит Менцер.

ChatGPT и другие чат-боты используют большие языковые модели для генерации текста в ответ на запрос. Располагая достаточным количеством обучающих данных, серьёзными вычислительными мощностями и обратной связью от людей-тестировщиков, такие боты могут удивительно адекватно реагировать на широкий спектр входных данных. Но они также могут высказывать ненавистнические сообщения, демонстрировать социальные предубеждения, генерировать выдуманную информацию и помогать хакерам в создании вредоносного ПО.

Источник изображения: Pixabay

«Это обманывает и платформу, и пользователей», — говорит Менцер о ботнете на базе ChatGPT. Если алгоритм социальных сетей обнаружит, что публикация пользуется большой популярностью (даже если эта активность исходит от других ботов), он покажет публикацию большему количеству людей. Правительства и организации, желающие проводить кампании по дезинформации, скорее всего, уже разрабатывают или внедряют такие инструменты, уверен Менцер.

Исследователи уже давно обеспокоены тем, что технология, лежащая в основе ChatGPT, может представлять риск дезинформации, и OpenAI даже отложила выпуск следующей версии системы из-за подобных опасений. Профессор Калифорнийского университета Уильям Ван (William Wang) считает, что многие спам-страницы теперь создаются автоматически, и констатирует, что людям становится всё труднее обнаружить подобные материалы по мере совершенствования ИИ.

Лаборатория Вана разработала метод автоматического определения текста, сгенерированного ChatGPT, но его внедрение обходится дорого, поскольку он использует API OpenAI, а базовый ИИ постоянно совершенствуется. X может стать благодатной площадкой для испытаний таких инструментов. Менцер утверждает, что вредоносные боты в последнее время резко повысили свою активность, а исследователям стало сложнее изучать проблему из-за резкого повышения цен на использование API соцсети.

Ботнет Fox8 был удалён лишь после того, как исследователи опубликовали в июле статью, хотя они сообщали об этом ещё в мае. Менцер утверждает, что его группа перестала извещать X о своих исследованиях ботнетов. «Они не особо реагируют, — говорит он. — У них действительно нет персонала».

Принципиальная политика разработчиков моделей ИИ запрещает использовать чат-боты для мошенничества или дезинформации. OpenAI пока не дала комментариев по поводу ботнета, использующего ChatGPT.

Источник:

• arstechnica.com