Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Модель генеративного искусственного интеллекта Grok, разработанная под руководством Илона Маска (Elon Musk), оказалась наиболее уязвимой к атакам, направленным на нарушение запретов — в отдельных случаях она без лишних ухищрений рассказывает, как совершать преступления, например, вскрыть чужую машину или создать запрещённые вещества.
Открытие сделали специалисты Adversa AI. Они провели серию тестов на наиболее популярных чат-ботах с ИИ. В их число вошло семейство OpenAI ChatGPT, Mistral Le Chat, Meta✴ LLaMA, Google Gemini, Microsoft Bing и Grok. Применив к ним наиболее известные методики атак, исследователи сделали вывод, что наиболее слабая защита у чат-бота Grok, который работает в соцсети X.
Атаки производятся посредством ввода в качестве запросов специальных запросов, провоцирующих ИИ игнорировать защитные механизмы и выдавать ответы, которые нарушают общепризнанные этические нормы. В частности, применялись методы лингвистических логических манипуляций UCAR (подражание аморальному компьютеру); манипуляции с логикой программирования (просьба к ИИ переводить запросы в формат SQL); логические манипуляции; а также метод «Тома и Джерри», маскирующий недопустимые запросы к ИИ под диалог.
Когда доступ к ИИ осуществляется через API или интерфейс чат-бота, создатели сервисов накладывают на них ограничения, блокирующие вывод нежелательного контента. Эти средства в той или иной мере работают эффективно на большинстве платформ, но Grok оказался готовым выдавать сомнительную информацию по прямым запросам: так, он рассказал, как изготовить бомбу, взломать автомобиль или самостоятельно получить запрещённый во многих странах сильнодействующий галлюциноген. От других чат-ботов авторам исследования не удалось добиться вразумительных ответов о жестоком обращении с детьми — не работал ни один из методов атаки. Grok поделился и этой информацией, поддавшись на две атаки из четырёх.
Условия использования Grok требуют, чтобы его пользователи были совершеннолетними и не использовали чат-бот для нарушения или попыток нарушить закон. Предоставляемая им порой информация в той или иной мере доступна в поисковых системах, но бум современных систем ИИ поставил перед обществом другой вопрос: хотим ли мы, чтобы потенциально опасную информацию распространяли ещё и чат-боты.
Источник: