Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Учёные разработали ИИ-чат-бот, который эффективно взламывает других ИИ-чат-ботов
Учёные-компьютерщики из Наньянского технологического университета (NTU, Сингапур) нашли эффективный способ взлома чат-ботов с искусственным интеллектом (ИИ). Для этого они обучают ИИ-чат-бот созданию подсказок, которые позволяют обходить защиту других чат-ботов на базе ИИ.
Источник изображения: NTU
Сингапурские исследователи использовали двойной метод взлома большой языковой модели (LLM), получивший название Masterkey. Во-первых, они провели реверс-инжиниринг того, как LLM выявляют вредоносные запросы и защищаются от них. Используя эту информацию, они научили LLM автоматически учиться и предлагать подсказки, которые позволяют обходить защиту других LLM. Таким образом можно создать LLM для взлома, которая сможет автоматически адаптироваться к новым условиям и создавать новые запросы для взлома после того, как разработчики внесут исправления в свои LLM.
После проведения серии тестов на LLM в качестве доказательства, что этот метод действительно представляет реальную угрозу, исследователи сразу же известили о выявленных проблемах провайдеров сервисов после успешного взлома их ИИ-моделей.
Разработка учёных NTU должна помочь компаниям определить слабые стороны и ограничения своих ИИ-чат-ботов, чтобы принять меры по их защите от хакеров.
Источник:
