“HalluSquatting” використовує нездатність великих мовних моделей казати “Я не знаю”.
За короткий час існування ІТ-безпеки, атаки через ін’єкцію промптів (prompt injection) швидко стали головною загрозою. Великі мовні моделі (LLMs) не можуть розрізнити легітимні інструкції від користувачів та зловмисні, які були непомітно вставлені в електронні листи, програмний код та інший сторонній контент, який обробляють моделі. Це дозволяє легко впроваджувати зловмисні команди, які LLMs з готовністю виконують.
Не маючи змоги забезпечити цей критичний розмежування між довіреними та недовіреними джерелами, розробники ІІ-систем змушені встановлювати складні механізми захисту, спрямовані на мінімізацію шкоди, а не на вирішення першопричини.
Дотепер більшість атак через ін’єкцію промптів належали до класу “push” (штовхання), коли кожен потенційний жертва отримує індивідуальну ціль. Наприклад, зловмисник вставляє шкідливі інструкції в окремий електронний лист або запрошення в календар. Оскільки впровадження має бути надіслане (або “штовхнуте”) кожній конкретній цілі, масштаб атаки обмежений, що перешкоджає масовим експлойтам, які охоплюють весь Інтернет.
Натомість атаки типу “pull” (витягування), коли LLM активно шукає зловмисні промпти, розміщені на вебсайтах, залишаються обмеженими. Без можливості залучити велику кількість LLM до зловмисного сайту, такі атаки також не масштабуються.
Представляємо HalluSquatting
Тепер дослідники розробили атаку типу “pull”, яка змінює цю ситуацію. Нова атака, яку дослідники назвали HalluSquatting, має потенціал для створення масивних ботнетів, проведення великомасштабних DDoS-атак та зараження пристроїв у великих масштабах — це перший випадок для атак через ін’єкцію промптів. Атака ефективна проти ІІ-помічників для кодування та агентів, включно з Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw та NanoClaw, які всі є вразливими. У процесі виконання повсякденних завдань ці помічники та агенти регулярно витягують код та інші ресурси з репозиторіїв та реєстрів.
Модель загрози HalluSquatting. Джерело: Spira et al. HalluSquatting, абревіатура від “adversarial hallucination squatting” (зловмисне “привласнення” галюцинацій), базується на природній схильності LLM до “галюцинацій” ідентифікаторів ресурсів, розміщених у репозиторіях та реєстрах. Вона ефективна проти агентів та помічників для кодування, які зазвичай мають доступ до командних рядків з високими привілеями для виконання коду зі сторонніх ресурсів. Передбачаючи ідентифікатори, які LLM найімовірніше “згалюцинує”, а потім реєструючи їх і розміщуючи інструкції для встановлення зворотних оболонок (reverse shells) або іншого зловмисного програмного забезпечення, атака може без вибірковості заразити величезну кількість пристроїв без необхідності націлюватися на кожен окремо.
«Масштабованість атаки дозволяє зловмиснику скомпрометувати велику кількість користувачів з мінімальними зусиллями, націлюючись на популярні ресурси, тим самим максимізуючи ймовірність того, що “привласнений” ресурс буде отримано», — написали дослідники у своїй статті, опублікованій у середу. «Використовуючи інтегровані оболонки та термінали агентних додатків для виконання скриптів і коду, зловмисники можуть ефективно “заразити” багато незалежних агентних додатків, вбудовуючи інструкції для встановлення зворотних оболонок у ресурси, які реєструють зловмисники».
Завдяки можливості контролювати розподілені пристрої в масштабі, HalluSquatting відкриває шлях до досягнення різних цілей, які раніше були неможливі для атак через ін’єкцію промптів. Два таких приклади — це великомасштабні кампанії з програм-вимагачів (ransomware) та великі ботнети для використання в DDoS-атаках або майнінгу криптовалют.
Частина назви “squatting” (привласнення) відсилає до “typosquatting” (привласнення за помилкою), коли домен, пакет репозиторію або інший ідентифікатор ресурсу точно імітує назву популярного, сподіваючись заманити потенційних користувачів відвідати або встановити його. Typosquatting вперше привернув широку увагу у 2016 році, коли студент завантажив 214 пакетів зі шкідливим кодом до репозиторіїв PyPI, RubyGems та NPM, які точно імітували назви легітимних пакетів. Результат: код-імплштор був виконаний понад 45 000 разів на понад 17 000 окремих доменах, і понад половина отримала всі повноваження адміністратора. Атаки typosquatting відтоді процвітають.
LLM не вміють казати “Я не знаю”.
Відправною точкою для HalluSquatting є нездатність LLM точно ідентифікувати місцезнаходження ресурсу, вказаного користувачем. Коли розробник, наприклад, дає команду помічнику для кодування клонувати популярний новий репозиторій, LLM “галюцинує” його правильне розташування до 85% випадків. При клонуванні трендового “skill” (форма інструкції, скрипту або ресурсу, що надає агентам спеціалізовані можливості та експертизу в певній галузі) галюцинації можуть виникати у 100% випадків. HalluSquatting зосереджується на трендових ресурсах, тому що вони не включені в навчальні дані LLM. Вони також отримують велику кількість завантажень за короткий період часу.
Дослідники стверджують, що нездатність LLM надати правильне місцезнаходження є притаманним недоліком, який виникає через упередження під час навчання або через неправильне тлумачення інструкцій у поточному контексті. Це означає, що коли користувач дає команду помічнику для кодування клонувати репозиторій або “skill” — наприклад, “clone repo name” або “install skill name” — бот часто переходить до неправильного місцезнаходження для його отримання.
Ці галюцинації не тільки неминучі, але й виникають на фундаментальному рівні всіх шести основних LLM, включно з Gemini-2.5-flash, Gemini-2.5-pro, GPT-5.1, GPT-5.2, Sonnet-4.5 та Opus-4.5. Крім того, найчастіше надаються неправильні місця розташування, які ці LLM “галюцинують”, легко передбачити заздалегідь. Всі шість LLM дотримуються спільних патернів при розв’язанні назви репозиторію або “skill” у промпті з його офіційною назвою в репозиторії або репозиторії “skill”.
LLM дотримуються різних патернів галюцинацій. Той, який використовує HalluSquatting, описується як самореферентний. Всі шість моделей створюють “slugs” (фрагменти URL) у форматі `repo-name/repo-name`, які розглядають назву репозиторію як власника. Використання цього патерну не вимагає жодного зондування моделі.
Таблиця, що показує найчастіше “галюцинованих” кандидатів на власника/репозиторій для кожного (цільового репозиторію, базової LLM) поєднання за 100 запитів. Колірне затінення власника: жовтий = реальний власник GitHub, синій = “привласнення” з можливістю реєстрації (власник не існує на GitHub), червоний = помилкове спрямування (реальний, але ненавмисний власник), фіолетовий = рядок-заповнювач, який не можна зареєструвати як ім’я користувача GitHub. Зірочка (⋆) позначає самореферентні галюцинації (власник == назва репозиторію). Джерело: Spira et al. Цікаво, що LLM правильно розпізнають репозиторії, опубліковані до 2019 року, з низьким середнім рівнем галюцинацій лише 0,9%. Ті самі LLM генерують “slugs” для репозиторіїв, опублікованих у 2025 році, із середнім рівнем галюцинацій 92,4%.
Щойно зловмисник визначив назви, які найімовірніше будуть “згалюциновані”, він шукає ті, які можна зареєструвати. Потім він завантажує репозиторій або “skill”, що імітує популярний ресурс. Всередині репозиторію або “skill” міститься текст у файлі README або в іншому місці. Текст містить інструкцію для програми встановити зворотну оболонку на машині користувача LLM. Альтернативно, зловмисник може просто включити код, необхідний для встановлення оболонки. В обох випадках помічники або агенти для кодування використовують свій доступ до командних вікон для виконання команди.
Експлуатація LLM у масштабі
Дослідники: Ая Спіра, Елад Фельдман, Авішай Вуул та Бен Нассі з Тель-Авівського університету, Став Коен з Техніону та Рон Біттон з Intuit. У середу вони опублікували свої дослідження тут. У своїй статті вони написали:
Використовуючи інтегровані оболонки та термінали агентних додатків для виконання скриптів та коду, зловмисники можуть ефективно «заразити» багато незалежних агентних додатків, вбудовуючи інструкції для встановлення зворотних оболонок у ресурси, які реєструють зловмисники. Отримання доступу до розподілених обчислювальних ресурсів під контролем зловмисника відкриває двері до кількох наслідків із високим впливом, що дозволяє зловмисникам досягати різних цілей. Наприклад, можливість компрометувати LLM-додатки з терміналами дозволяє зловмиснику масштабувати кількість атак програм-вимагачів на різні мережі для максимізації фінансового прибутку. Альтернативно, зловмисники можуть агрегувати скомпрометовані машини в ботнет і використовувати його для завдань, що потребують значної обчислювальної потужності, включно з (1) великомасштабним майнінгом криптовалют (наприклад, Smominru, WannaMine) або (2) проведенням розподілених атак типу “відмова в обслуговуванні” (DDoS) проти жертв (наприклад, Mirai).
HalluSquatting вже викликає інтерес серед інших дослідників безпеки ШІ, які не брали участі у дослідженні.
«Це дуже цікаве дослідження, і загроза є цілком реальною», — написав у електронному листі Майкл Баргурі, технічний директор компанії Zenity. «Як і typosquatting, це проблема, яка не зникне. Зрештою, все залежить від рівня агентності, який ми дозволяємо нашим агентам. Вони так чи інакше будуть обдурені. Це слід вважати припущенням, і ми повинні бути стійкими до цього».
Незалежний дослідник Йоганн Ребергер написав:
Цікаво, що це показує, як розв’язання ресурсів LLM може стати шляхом атаки, і зловмисник може спочатку досліджувати моделі, щоб знайти кандидати з високою ймовірністю галюцинацій (як назви репозиторіїв, ідентифікатори “skill” тощо), щоб “привласнити” їх і чекати, доки агенти їх розпізнають і використають.
Але головний момент полягає в тому, що вони знайшли круту техніку для пошуку імен ресурсів, які моделі частіше використовують/плутають. І це може означати, що багато агентів стануть жертвами таких атак у реальному світі.
Виробники ІІ-інструментів часто перебільшують зручність та ефективність своїх платформ. Маркетологи стверджують, що платформи полегшують робочі процеси, автоматизуючи та оптимізуючи нудні завдання. Вони значно неохочіше говорять про притаманні недоліки, які можуть призвести до провалу всього проєкту. Такі атаки, як HalluSquatting, є потужним нагадуванням про те, що деякі ефективності перебільшені, оскільки, зрештою, користувачі повинні двічі перевіряти такі деталі, як місцезнаходження кожного ресурсу, включеного до проєкту. Це також є застережливим уроком про ненавмисні та потенційно катастрофічні наслідки, які можуть виникнути, коли люди надмірно покладаються на ІІ-помічників.
Ден Гудін Головний редактор з питань безпеки Ден Гудін є головним редактором з питань безпеки в Ars Technica, де він відповідає за висвітлення тем шкідливого програмного забезпечення, комп’ютерного шпигунства, ботнетів, апаратного зламу, шифрування та паролів. У вільний час він захоплюється садівництвом, кулінарією та відвідуванням незалежних музичних заходів. Ден проживає в Сан-Франциско. Слідкуйте за ним тут на Mastodon і тут на Bluesky. Зв’яжіться з ним через Signal за номером DanArs.82. 64 коментарі
Джерело новини: arstechnica.com