У GPT-4 обнаружили способность эксплуатировать уязвимости по их описаниям

Современные технологии искусственного интеллекта могут помочь хакерам автоматизировать эксплуатацию общедоступных уязвимостей за считанные минуты. Это значит, что в ближайшем будущем оперативное обновление ПО станет как минимум насущной необходимостью.

Источник изображения: Tung Nguyen / pixabay.com

Системы ИИ на базе нейросети OpenAI GPT-4 способны создавать эксплойты для большинства уязвимостей на основе простого изучения информации о них в интернете, гласят результаты нового исследования (PDF) учёных Иллинойского университета в Урбане-Шампейне (США). До настоящего момента злоумышленники применяли большие языковые модели для написания фишинговых писем и вредоносных программ с базовыми возможностями. Теперь же, располагая доступом к GPT-4 и открытым фреймворкам для упаковки программных решений, они могут автоматизировать написание эксплойтов к уязвимостям, как только информация об этих уязвимостях попадает в открытый доступ.

Для проверки гипотезы учёные подготовили набор инструментов из следующих компонентов: базовой нейросети, средства создания запросов к ней, фреймворка (в данном случае это был инструмент ReAct фреймворка LangChain), а также терминала и интерпретатора кода. Укомплектованный таким образом агент был протестирован на 15 известных уязвимостях ПО с открытым исходным кодом. Среди них были ошибки, застрагивающие веб-сайты, контейнеры и пакеты Python. Восемь из них имели «высокий» или «критический» рейтинг CVE. Одиннадцать были раскрыты уже после момента обучения GPT-4, то есть ИИ познакомился с ними впервые. Системе было поручено поочерёдно разработать эксплойты для каждой уязвимости, изучив их описания. Результаты эксперимента оказались неутешительными.

Источник изображения: D koi / unsplash.com

Всего были оценены десять ИИ-моделей, включая OpenAI GPT-3.5, Meta✴ Llama 2, и девять из них не смогли взломать ни один из уязвимых продуктов. А вот нейросеть GPT-4 предложила 13 эффективных эксплойтов или 87 % от общего числа известных уязвимостей. Две неудачи, которые потерпела GPT-4, имеют простые объяснения. Уязвимость CVE-2024-25640 (рейтинг 4,6 из 10) относится к платформе реагирования на инциденты Iris, и модель просто не смогла разобраться с навигацией в приложении. Неудача с эксплуатацией уязвимости CVE-2023-51653 («критический» рейтинг 9,8 из 10) в инструменте мониторинга Hertzbeat возникла из-за того, что описание этой уязвимости было приведено на китайском языке.

В свете результатов своего исследования учёные сделали вывод, что вопросы кибербезопасности сегодня становятся актуальными как никогда: администраторам в компаниях скоро нельзя будет ожидать выхода исправляющих уязвимости патчей, а использовать для защиты систем те же технологии ИИ, что и вероятный противник. Впрочем, в этом ИИ пока недостаточно хорош, выяснили эксперты компании Endor Labs — они провели эксперимент, поручив нескольким моделям ИИ изучить ряд проектов с открытым исходным кодом на предмет того, являются ли соответствующие продукты вредоносными или безопасными. GPT-4 снова оказалась лучше прочих: она преимущественно верно объяснила принципы работы кода, но, как и её «коллеги», дала несколько ложноположительных и ложноотрицательных срабатываний в оценке его безопасности. В частности, она назвала добросовестно оптимизированный код намеренно обфусцированным, то есть запутанным.

Источник: