Викрадення даних Notion AI: зловмисники отримали доступ до незахищених чатів

Зловмисники отримали доступ до сховища Fireworks AI, де зберігалися витяги чатів Notion AI. У документації постачальника інференсу зазначено: «Fireworks за замовчуванням мають нульове зберігання даних».

Обидва твердження можуть бути правдивими. За замовчуванням «дані про запити та генерацію існують лише в енергозалежній пам’яті протягом часу обробки запиту». На сторінці політик Fireworks додано: «Деякі функції зберігають вміст клієнтів, наприклад збережені відповіді, пакетні завдання та навчання». Злом торкнувся збереженої частини.

Злом у постачальника ШІ може досягти компаній, які використовують його технології через програмне забезпечення інших компаній. У цьому випадку це означає команди, співробітники яких спілкувалися з Notion AI. Якщо вони вставляли внутрішні нотатки зустрічей, плани нерелізованих продуктів або деталі про клієнта, ця інформація могла опинитися у витягах чатів. Notion стверджує, що постраждало менше 1% їхніх робочих просторів.

Будь-який центр операцій безпеки (SOC), який приймає відповідь постачальника ШІ щодо зберігання даних, може виявити ту саму прогалину.

Оновлення безпеки Fireworks від 9 листопада повідомляє: «Ми не виявили жодного впливу на Inference, Training SDK та Nexus, які за замовчуванням мають нульове зберігання даних (ZDR)». Пост генерального директора Ліна Цяо в X формулюється інакше: «Ми не виявили жодного впливу на Inference (за винятком пакетного інференсу), Training SDK та Nexus, які всі за замовчуванням мають нульове зберігання даних (ZDR)».

Словник термінів Fireworks визначає пакетний інференс як «Асинхронний великомасштабний інференс через API пакетної обробки Fireworks». Цяо також написав: «Це дозволило їм отримати доступ до підмножини систем зберігання даних, що призвело до додаткового впливу на дані клієнтів».

Чат-витяги Notion AI опинилися в даних після зламу

За даними The Record, Fireworks має понад 10 000 клієнтів. Notion — один з них. «Ми використовували Fireworks для завдань класифікації, щоб допомогти клієнтам зрозуміти їхнє власне використання ШІ через функцію Insights у Notion», — йдеться в їхньому повідомленні.

У повідомленні Notion далі зазначено: «8 листопада Fireworks підтвердили нам цей новий набір даних». Їхня рекомендація щодо безпеки є точнішою: «Після аналізу нових даних ми виявили, що вони включали витяги чатів Notion AI, використані для функції Insights, які для переважної більшості постраждалих робочих просторів були неідентифікованими».

Notion стверджує, що «менше 1% робочих просторів Notion могли постраждати від інциденту безпеки Fireworks». Компанія радить клієнтам «вважати ці дані як викрадені».

Подальше вторгнення сталося через третю компанію. «Сторонній хмарний постачальник, який розміщував машини R&D Fireworks, пережив інцидент безпеки 23 жовтня. 24 жовтня несанкціонована третя сторона використала його для доступу до машин розробки Fireworks, а потім запустила несанкціоноване робоче навантаження, що призвело до додаткового впливу на дані клієнтів».

Fireworks стверджує, що докази вказують на групу, «яка мотивована фінансово і прагне продавати токени, отримані шляхом несанкціонованого доступу до великих мовних моделей (LLM), і передавати їх незаконним маршрутизаційним шлюзам», і додає: «2 листопада Google Threat Intelligence Group та Mandiant опублікували допис у блозі про зростання LLMJacking — назву цієї практики».

Політика, що блокує зберігання, вимкнена за замовчуванням

Політика нульового зберігання даних працює шляхом «відхилення кожного запиту та завдання, яке зберігатиме або реєструватиме вміст клієнта». На сторінці політики також зазначено: «Політика нульового зберігання даних доступна для корпоративних облікових записів». Налаштування політики за замовчуванням читається як «Застосовується до Inference та Training. Вимкнено за замовчуванням». Три операції, які політика відхиляє, з’являються у звітах.

Операція Fireworks	Коли політика увімкнена	Що повідомляють звіти
Завершення чатів та доповнень	Дозволено	Оновлення від 9 листопада повідомляє: «Ми не виявили жодного впливу на Inference»
Пакетні завдання інференсу	Відхилено	У дописі Цяо серед продуктів без виявленого впливу перелічено «Inference (за винятком пакетного інференсу)». Fireworks «вимкнули самообслуговування завантаження та вивантаження наборів даних, що використовуються Batch Inference» під час розслідування
Оцінювачі та завдання оцінки	Відхилено	Бюлетень від 9 жовтня щодо завдань оцінки повідомляє: «Ми вважаємо, що змінні середовища, включаючи ключі API та токени, що зберігаються як секрети, були захоплені в певних постраждалих облікових записах».
Завантаження наборів даних	Відхилено	Оновлення від 9 листопада повідомляє, що «для певних клієнтів було отримано доступ до підмножини незавершених ваг моделі та наборів даних».

Жодна з компаній не повідомила, яка функція Fireworks зберігала витяги Notion, і жодне з повідомлень не вказує на те, що політика могла б запобігти вторгненню.

Wiz зафіксував тестування викрадених ключів ШІ протягом 30 хвилин

Wiz нарахував щонайменше дев’ять платформ розробки ШІ, які повідомили про інциденти в жовтні, і простежив два викрадені корпоративні ключі до однієї з них. «Вони поділилися ідентичною першою несанкціонованою активністю, яка відбулася протягом 30 хвилин після повідомлення про доступ до облікових даних під час збою постачальника».

Cloud Security Alliance 23 жовтня, до того, як Fireworks розширили своє повідомлення, писала: «Анкети постачальників повинні запитувати, як шифруються секрети клієнтів та хто може їх розшифрувати, чи можуть внутрішній персонал або автоматизовані завдання читати незашифровані секрети клієнтів» та інші питання.

План дій SOC

Зі звітів випливають п’ять перевірок.

1. Запитайте свої продуктові команди та кожного постачальника ШІ, які функції зберігають вміст. Список Fireworks містить «збережені відповіді, пакетні завдання та навчання».

2. Перевірте, як налаштовано параметри політики. Довідник API Fireworks зазначає: «Будь-який член облікового запису може читати налаштування політики». Додається, що «відсутність zeroDataRetention означає, що політика вимкнена».

3. Шукайте виклик валідації. Wiz писав: «Це був один виклик InvokeModel з житлової IP-адреси, у хвилину прогону, який тестував викрадені ключі в кількох організаціях».

4. Зверніться до емітента. Fireworks попереджає: «Просто видалення збереженого секрету не анулює базовий обліковий документ».

5. Зберігайте докази, а потім вирішуйте, що залишиться збереженим. «Увімкнення політики не видаляє нічого, що вже збережено в обліковому записі, наприклад, збережені відповіді, набори даних та завантажені моделі».

За даними порталу: venturebeat.com