Так званий “дрейф даних” (data drift) відбувається, коли статистичні властивості вхідних даних моделі машинного навчання (МН) з часом змінюються, що врешті-решт призводить до зниження точності її прогнозів. Фахівці з кібербезпеки, які покладаються на МН для таких завдань, як виявлення шкідливого програмного забезпечення та аналіз мережевих загроз, виявляють, що невиявлений дрейф даних може створювати вразливості. Модель, навчена на застарілих патернах атак, може не вловити сучасні складні загрози. Розпізнавання ранніх ознак дрейфу даних є першим кроком до підтримання надійних та ефективних систем безпеки.
Чому дрейф даних компрометує моделі безпеки
Моделі МН навчаються на знімку історичних даних. Коли актуальні дані перестають відповідати цьому знімку, продуктивність моделі знижується, створюючи критичний ризик для кібербезпеки. Модель виявлення загроз може генерувати більше хибних спрацювань (false negatives), пропускаючи реальні інциденти, або більше хибних спрацювань (false positives), що призводить до “втоми від сповіщень” (alert fatigue) для команд безпеки.
Зловмисники активно використовують цю слабкість. У 2024 році зловмисники застосовували техніки ехо-спуфінгу для обходу сервісів захисту електронної пошти. Використовуючи помилки в конфігурації системи, вони надсилали мільйони підроблених листів, які ухилялися від МН-класифікаторів постачальника. Цей інцидент демонструє, як кіберзлочинці можуть маніпулювати вхідними даними для використання “сліпих зон”. Коли модель безпеки не може адаптуватися до мінливих тактик, вона стає тягарем.
5 індикаторів дрейфу даних
Фахівці з безпеки можуть розпізнати наявність дрейфу (або його потенціал) кількома способами.
1. Різке зниження продуктивності моделі
Точність (accuracy), прецизійність (precision) та повнота (recall) часто є першими жертвами. Постійне зниження цих ключових показників є тривожним сигналом того, що модель більше не відповідає поточному ландшафту загроз.
Розглянемо успіх Klarna: її ШІ-асистент обробив 2,3 мільйона розмов з клієнтами за перший місяць і виконав роботу, еквівалентну 700 агентам. Така ефективність призвела до 25% зниження повторних запитів та скоротила час вирішення проблем до менш ніж двох хвилин.
Уявіть, якби ці параметри раптово змінилися на протилежні через дрейф. У контексті безпеки таке зниження продуктивності означає не лише незадоволених клієнтів, але й успішні вторгнення та потенційну крадіжку даних.
2. Зміни у статистичних розподілах
Команди безпеки повинні відстежувати основні статистичні властивості вхідних ознак (features), такі як середнє значення (mean), медіана (median) та стандартне відхилення (standard deviation). Значна зміна цих показників порівняно з навчальними даними може свідчити про зміну базових даних.
Моніторинг таких змін дозволяє командам вчасно виявляти дрейф до того, як він призведе до інциденту. Наприклад, модель виявлення фішингу може бути навчена на електронних листах із середнім розміром вкладення 2 МБ. Якщо середній розмір вкладення раптово зростає до 10 МБ через новий метод доставки шкідливого ПЗ, модель може некоректно класифікувати ці листи.
3. Зміни в поведінці прогнозування
Навіть якщо загальна точність здається стабільною, розподіли прогнозів можуть змінюватися. Це явище часто називають “дрейфом прогнозування” (prediction drift).
Наприклад, якщо модель виявлення шахрайства історично позначала 1% транзакцій як підозрілі, але раптом починає позначати 5% або 0,1%, це означає, що щось змінилося, або характер вхідних даних змінився. Це може свідчити про новий тип атаки, який спантеличує модель, або про зміну в поведінці легітимних користувачів, яку модель не була навчена розпізнавати.
4. Збільшення невизначеності моделі
Для моделей, які надають показник впевненості або ймовірність разом із прогнозами, загальне зниження впевненості може бути тонким сигналом дрейфу.
Нещодавні дослідження підкреслюють цінність кількісної оцінки невизначеності у виявленні зловмисних атак. Якщо модель стає менш впевненою у своїх прогнозах загалом, вона, ймовірно, стикається з даними, на яких її не навчали. У контексті кібербезпеки ця невизначеність є раннім сигналом потенційного збою моделі, що свідчить про те, що модель працює в незнайомих умовах, і її рішення можуть більше не бути надійними.
5. Зміни у взаємозв’язках ознак
Кореляція між різними вхідними ознаками також може змінюватися з часом. У моделі виявлення мережевих вторгнень обсяг трафіку та розмір пакетів можуть бути тісно пов’язані під час нормальної роботи. Якщо ця кореляція зникає, це може сигналізувати про зміну поведінки мережі, яку модель може не розуміти. Раптове роз’єднання ознак може свідчити про нову тактику тунелювання або прихована спроба викрадення даних.
Підходи до виявлення та пом’якшення дрейфу даних
Поширені методи виявлення включають тест Колмогорова-Смірнова (Kolmogorov-Smirnov, KS) та індекс стабільності популяції (Population Stability Index, PSI). Вони порівнюють розподіли актуальних та навчальних даних для виявлення відхилень. Тест KS визначає, чи суттєво відрізняються два набори даних, тоді як PSI вимірює, наскільки змінився розподіл змінної з часом.
Вибір методу пом’якшення часто залежить від того, як проявляється дрейф, оскільки зміни розподілу можуть відбуватися раптово. Наприклад, купівельна поведінка клієнтів може змінитися миттєво з запуском нового продукту чи акції. В інших випадках дрейф може відбуватися поступово протягом тривалого періоду. Тим не менш, команди безпеки повинні навчитися адаптувати свою частоту моніторингу, щоб вловлювати як швидкі сплески, так і повільні зміни. Пом’якшення передбачатиме перенавчання моделі на новіших даних для відновлення її ефективності.
Проактивне управління дрейфом для посилення безпеки
Дрейф даних є неминучою реальністю, і команди кібербезпеки можуть підтримувати надійну позицію безпеки, розглядаючи виявлення як безперервний та автоматизований процес. Проактивний моніторинг та перенавчання моделей є фундаментальними практиками для забезпечення того, щоб системи МН залишалися надійними союзниками проти зростаючих загроз.
Зак Амос — головний редактор відділу функцій у ReHack.
Ласкаво просимо до спільноти VentureBeat!
Наша програма гостьових публікацій — це місце, де технічні експерти діляться своїми знаннями та надають нейтральні, неупереджені глибокі аналізи ШІ, інфраструктури даних, кібербезпеки та інших передових технологій, що формують майбутнє підприємств.
Читайте більше з нашої програми гостьових публікацій — і ознайомтеся з нашими рекомендаціями, якщо ви зацікавлені у написанні власної статті!
Як захиститися (Порада ІТ-Блогу): Регулярно моніторте ключові метрики продуктивності ваших МН-моделей безпеки. Впровадьте автоматизовані системи оповіщення про значні відхилення, щоб швидко реагувати на потенційний дрейф даних ще до того, як він серйозно вплине на вашу безпеку.
За матеріалами: venturebeat.com