Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів

“HalluSquatting” використовує нездатність великих мовних моделей відповідати “Я не знаю”.

Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів 1 Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів 2

За коротку історію розвитку безпеки ШІ, атаки шляхом впровадження команд (prompt injection) швидко стали головною загрозою. Великі мовні моделі (LLM) нездатні відрізнити легітимні інструкції від зловмисних, які потрапляють до них через електронні листи, програмний код чи інший сторонній контент, що обробляється моделями. Це дозволяє легко впроваджувати команди, які LLM без вагань виконує.

Через відсутність механізму розмежування між довіреними та недовіреними джерелами, розробники ШІ-систем змушені впроваджувати складні захисні механізми, які покликані зменшити шкоду, а не вирішити першопричину проблеми.

До сьогодні більшість атак prompt injection належали до типу «push», коли жертва отримує цілеспрямовану атаку. Наприклад, зловмисник впроваджує шкідливі інструкції в індивідуальний електронний лист або запрошення до календаря. Оскільки інструкція повинна бути надіслана (або «проштовхнута») кожному конкретному адресату, масштаби атаки обмежені, що перешкоджає масовим атакам на весь інтернет.

Тим часом атаки типу «pull», коли LLM активно шукає шкідливі команди, розміщені на вебсайтах, залишаються обмеженими. Через відсутність можливості заманити велику кількість LLM на шкідливий сайт, подібні атаки також не масштабуються.

Представляємо HalluSquatting

Натомість дослідники розробили атаку типу «pull», яка змінює цю ситуацію. Нова атака, яку дослідники назвали HalluSquatting, має потенціал для створення величезних ботнетів, проведення масштабних DDoS-атак та зараження пристроїв у великих масштабах — це вперше для атак prompt injection. Атака ефективна проти ШІ-асистентів з кодування та агентів, зокрема Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw та NanoClaw, які всі є вразливими. У процесі виконання повсякденних завдань ці асистенти та агенти регулярно завантажують код та інші ресурси з репозиторіїв та реєстрів.

Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів 3
Модель загроз HalluSquatting. Джерело: Spira et al.

HalluSquatting, що є скороченням від «adversarial hallucination squatting» (зловмисне заволодіння шляхом галюцинацій), базується на природній схильності LLM «галюцинувати» ідентифікатори ресурсів, розміщених у репозиторіях та реєстрах. Атака спрямована на агентів та асистентів з кодування, які часто мають доступ до командного рядка високого рівня для виконання коду зі сторонніх ресурсів. Передбачаючи ідентифікатори, які LLM найімовірніше «згалюцинує», а потім реєструючи їх та заповнюючи інструкціями для встановлення зворотних оболонок (reverse shells) або іншого зловмисного програмного забезпечення, атака може масово заражати велику кількість пристроїв без необхідності націлюватися на кожен окремо.

«Масштабованість атаки дозволяє зловмиснику скомпрометувати велику кількість користувачів із мінімальними зусиллями, націлюючись на популярні ресурси, тим самим максимізуючи ймовірність того, що «заволоділий» ресурс буде завантажений», — пишуть дослідники у своїй статті, опублікованій у середу. «Використовуючи інтегровані оболонки та термінали агентних програм для виконання скриптів та коду, зловмисники можуть ефективно «заразити» багато незалежних агентних програм, вбудовуючи інструкції для встановлення зворотних оболонок у ресурси, які вони реєструють».

Маючи можливість контролювати розподілені пристрої у великих масштабах, HalluSquatting може досягати різних цілей, які раніше були недоступні для prompt injection. Великі кампанії з розповсюдження програм-вимагачів та великі ботнети для DDoS-атак або майнінгу криптовалют є двома такими прикладами.

Частина назви «squatting» (заволодіння) є відсиланням до «typosquatting» (заволодіння шляхом помилкових доменів), коли домен, пакет репозиторію чи інший ідентифікатор ресурсу точно імітує назву популярного, сподіваючись заманити потенційних користувачів перейти за посиланням або встановити його. Typosquatting вперше привернув широку увагу у 2016 році, коли студент завантажив 214 пакетів з прихованими пастками до репозиторіїв PyPI, RubyGems та NPM, які точно імітували назви легітимних пакетів. Результат: код-імітатор було виконано понад 45 000 разів на більш ніж 17 000 окремих доменах, і понад половина отримала повноваження адміністратора. Атаки typosquatting відтоді розквітли.

LLM не вміють говорити «Я не знаю».

Вихідною точкою для HalluSquatting є нездатність LLM точно визначати місцезнаходження ресурсу, вказаного користувачем. Коли розробник, наприклад, доручає асистенту з кодування клонувати популярний новий репозиторій, LLM «галюцинує» його правильне місцезнаходження до 85 відсотків часу. При клонуванні «трендового скілу» (skill), форми інструкції, скрипта чи ресурсу, що надає агентам спеціалізовані можливості та експертизу в певній галузі, галюцинації можуть виникати у 100 відсотках випадків. HalluSquatting зосереджується на трендових ресурсах, оскільки вони не включені до навчальних даних LLM. Вони також отримують велику кількість завантажень за короткий період часу.

Дослідники стверджують, що нездатність LLM надати правильне місцезнаходження є вродженим недоліком, що виникає через упередженість у навчанні або неправильне тлумачення інструкцій у поточному контексті. Це означає, що коли користувач просить асистента з кодування клонувати репозиторій або скіл (наприклад, «clone repo name» або «install skill name»), бот часто звертається до неправильного місця для його отримання.

Ці галюцинації не лише неминучі, але й відбуваються на фундаментальному рівні всіх шести основних LLM, включаючи Gemini-2.5-flash, Gemini-2.5-pro, GPT-5.1, GPT-5.2, Sonnet-4.5 та Opus-4.5. Крім того, найчастіше надані неправильні місця, які ці LLM «галюцинують», легко передбачити заздалегідь. Усі шість LLM дотримуються спільних патернів при співвіднесенні назви репозиторію або скілу в запиті з його офіційною назвою в репозиторії або реєстрі скілів.

LLM дотримуються різних патернів галюцинацій. Той, який використовує HalluSquatting, описується як самореферентний. Усі шість моделей створюють ідентифікатори типу repo-name/repo-name, де назва репозиторію розглядається як власник. Використання цього патерну не потребує зондування моделі.

Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів 4 Таблиця, що показує найчастіше «галюцинованих» власників/репозиторіїв для кожного (цільовий репозиторій, базова LLM) за 100 запитів. Затінення власника: жовтий = реальний власник GitHub, синій = можливе заволодіння (власник не існує на GitHub), червоний = помилкове спрямування (реальний, але небажаний власник), фіолетовий = рядок-заповнювач, який не може бути зареєстрований як ім’я користувача GitHub. Зірочка (*) позначає самореферентні галюцинації (власник == назва репозиторію). Джерело: Spira et al.

Цікаво, що LLM правильно визначають репозиторії, опубліковані до 2019 року, з низьким середнім показником галюцинацій — лише 0,9 відсотка. Ті самі LLM створюють ідентифікатори для репозиторіїв, опублікованих у 2025 році, із середнім показником галюцинацій 92,4 відсотка.

Щойно зловмисник визначив назви, які найімовірніше «галюцинуються», він шукає ті, які можна зареєструвати. Потім він завантажує репозиторій або скіл, що імітує трендовий ресурс. Всередині репозиторію або скілу, у файлі README або в іншому місці, міститься текст. Цей текст містить інструкцію для програми встановити зворотну оболонку на комп’ютері користувача LLM. Альтернативно, зловмисник може просто включити код, необхідний для встановлення оболонки. В обох випадках асистенти або агенти з кодування використовують свій доступ до командних вікон, щоб виконати це.

Використання LLM у великих масштабах

Дослідниками є: Ая Спіра, Елад Фельдман, Авішай Вул та Бен Нассі з Тель-Авівського університету, Став Коен з Техніону та Рон Біттон з Intuit. У середу вони опублікували свої дослідження тут. У своїй статті вони написали:

Використовуючи інтегровані оболонки та термінали агентних програм для виконання скриптів та коду, зловмисники можуть ефективно «заразити» багато незалежних агентних програм, вбудовуючи інструкції для встановлення зворотних оболонок у ресурси, які вони реєструють. Отримання доступу до розподілених обчислювальних ресурсів під контролем зловмисника відкриває двері для низки результатів із високим впливом, дозволяючи зловмисникам досягати різних цілей. Наприклад, можливість компрометувати LLM-додатки з терміналами дозволяє зловмиснику масштабувати кількість атак програм-вимагачів на різні мережі для максимізації фінансового прибутку. Альтернативно, зловмисники можуть об’єднувати скомпрометовані машини в ботнет і використовувати його для завдань, що вимагають значної обчислювальної потужності, зокрема (1) великомасштабний майнінг криптовалют (наприклад, Smominru, WannaMine) або (2) виконання розподілених атак типу «відмова в обслуговуванні» (DDoS) проти жертв (наприклад, Mirai).

HalluSquatting вже викликає інтерес у колег-дослідників з безпеки ШІ, які не брали участі у дослідженні.

«Це дуже цікаве дослідження, і загроза дуже реальна», — написав у електронному листі Майкл Баргурі, технічний директор фірми безпеки Zenity. «Як і typosquatting, це проблема, яка не зникне. Зрештою, все залежить від того, наскільки велику автономію ми надаємо нашим агентам. Вони так чи інакше будуть обмануті. Це припущення має бути нашим, і ми повинні бути стійкими до цього».

Незалежний дослідник Йоганн Ребергер написав:

Цікаво те, що це показує, як вирішення ресурсів LLM може стати шляхом атаки, і зловмисник може спочатку зондувати моделі, щоб знайти кандидатів з високою ймовірністю галюцинацій (як назви репозиторіїв, ідентифікатори скілів тощо), щоб заволодіти ними та чекати, поки агенти їх використають.

Але головний висновок полягає в тому, що вони знайшли класну техніку для пошуку назв ресурсів, які моделі найімовірніше використовуватимуть/плутатимуть. І це може означати, що багато агентів потраплять під такі атаки в дикій природі.

Розробники ШІ-інструментів часто перебільшують зручність та ефективність своїх платформ. Маркетологи стверджують, що платформи полегшують робочі процеси, автоматизуючи та оптимізуючи нудні завдання. Вони значно стриманіші щодо вроджених недоліків, які можуть зруйнувати весь проєкт. Атаки, подібні до HalluSquatting, слугують потужним нагадуванням про те, що деякі ефективності перебільшені, оскільки, зрештою, користувачі повинні двічі перевіряти такі деталі, як місцезнаходження кожного ресурсу, включеного до проєкту. Це також слугує застережливим уроком щодо ненавмисних та потенційно згубних наслідків, які можуть виникнути, коли люди надмірно покладаються на ШІ-асистентів.

Зловмисники використовують 9 популярних ШІ-інструментів для створення масштабних ботнетів 5

Джерело новини: arstechnica.com

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *