Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Исследование американских учёных показало, что современные системы искусственного интеллекта, способные анализировать картинки, уязвимы для манипуляций при помощи альфа-канала в файлах изображений — набора данных, который отвечает за их прозрачность.
Исследователи из Техасского университета в Сан-Антонио установили, что управляющий прозрачностью изображения альфа-канал зачастую игнорируется при создании средств анализа с ИИ. И он может стать средством для кибератак на системы в области медицины и автопилота. Чтобы подтвердить свой тезис, группа учёных под руководством доцента Гвиневры Чэнь (Guenevere Chen) разработала метод атаки AlphaDog, эксплуатирующий эту уязвимость в системах ИИ. Из-за альфа-канала люди и ИИ могут воспринимать изображения совершенно по-разному.
Учёные создали 6500 изображений и протестировали их на 100 моделях ИИ, включая 80 систем с открытым исходным кодом и 20 облачных платформ, таких как ChatGPT. Как показали испытания, схема AlphaDog особенно эффективна при атаках в областях изображений в оттенках серого. Уязвимости подвержены модели ИИ, лежащие в основе систем автопилота — альфа-канал позволяет манипулировать алгоритмами распознавания дорожных знаков, которые содержат фрагменты в оттенках серого. В результате дорожные знаки могут распознаваться неверно, и возникает угроза тяжёлых последствий.
Ещё один потенциальный объект атаки — системы медицинской визуализации, в которых ИИ помогает с постановкой диагноза. Здесь в оттенках серого часто представляются рентгеновские снимки, результаты МРТ и КТ, и ими тоже можно манипулировать с помощью AlphaDog, что грозит постановкой заведомо неверного диагноза. Наконец, предложенная учёными схема атаки эффективна против систем распознавания лиц — это может повлечь проблемы с конфиденциальностью людей и безопасностью охраняемых объектов. Авторы исследования поделились своими выводами с крупными технологическими компаниями, в том числе Google, Amazon и Microsoft, чтобы оказать помощь в устранении обнаруженных уязвимостей в системах ИИ.
Источник: