Конфіденційність та безпека даних тривалий час є головними питаннями для підприємств. Нещодавно ці питання набули особливої актуальності через публічні суперечки між двома найбільшими американськими стартапами у сфері генеративного ШІ — OpenAI та Anthropic — щодо того, яку саме інформацію отримували та зберігали їхні системи від клієнтів.
Наразі канадський ШІ-стартап Cohere стверджує, що може запропонувати підприємствам вищий рівень захисту: їхні дані залишатимуться приватними і недоступними для самої компанії та хмарних провайдерів. Це досягається завдяки використанню продукту Model Vault (рішення для інференсу з виділеним середовищем для кожного клієнта, яке компанія вже продає) та технології конфіденційних обчислень (confidential computing).
Варто розуміти, що захист даних підприємств під час зберігання (at rest) та передавання (in transit) існує вже багато років. Шифрування забезпечує безпеку баз даних на дисках, а TLS — захист мережевих запитів.
Однак, як тільки запит обробляється моделлю ШІ, цей захист зникає. Дані перебувають у відкритому вигляді в оперативній пам’яті, доступні для операційної системи, гіпервізора та будь-кого, хто має привілейований доступ до машини, на якій вони виконуються. Для команд безпеки, що працюють з регульованими або пропрієтарними даними, ця лазівка змушувала вибирати між зручністю хмарного інференсу та контролем над власною інфраструктурою.
Рішення від Cohere передбачає виконання робочих навантажень у апаратному забезпеченні, яке шифрує та ізолює пам’ять. Таким чином, жоден хмарний провайдер чи сама компанія Cohere не може прочитати вміст. За словами розробників, цей захист тепер поширюється на момент обробки запиту моделлю, а не лише на час до і після цього. Ця можливість стала доступною сьогодні.
«Підтримка конфіденційних обчислень у Model Vault щойно стала доступною, — зазначив Маноюдж Говіндассамі (Manoj Govindassamy), директор із забезпечення інференсу в Cohere, в інтерв’ю VentureBeat. — Станом на сьогодні для клієнтів Model Vault немає додаткових витрат, ціни залишаються такими ж, як і для стандартної версії Model Vault».
Запуск відбувся в той самий день, коли Cohere підписала остаточну угоду про злиття з німецькою компанією Aleph Alpha. Угода вартістю близько 20 мільярдів доларів передбачає створення подвійних штаб-квартир у Торонто та Берліні.
Генеральний директор Cohere Ейдан Гомес (Aidan Gomez) представив об’єднану компанію як таку, що базується на довірі та керованості, а не на сирій потужності моделей, назвавши її «ШІ, достатньо потужним, щоб конкурувати, але достатньо безпечним і керованим, щоб йому довіряти». Ці два анонси не пов’язані між собою, окрім збігу в часі, але обидва спираються на один і той самий аргумент.
Чому занепокоєння щодо конфіденційності даних зростає разом із використанням ШІ
Час запуску збігається з моментом, коли питання про те, що може бачити постачальник, а не лише те, що він обіцяє не бачити, стало ключовим при закупівлі корпоративного ШІ.
Згідно з повідомленнями цього місяця, Nvidia, Palantir та Booz Allen Hamilton обмежили використання моделей Anthropic після зміни політики збереження даних. Nvidia спрямувала чутливі роботи на власні моделі, а Booz Allen заборонила використання моделей для роботи з пропрієтарною кібербезпекою.
Окремо OpenAI не змогла виключити, що приватні дослідження математика допомогли її власній моделі розв’язати частину задачі Нав’є–Стокса, як повідомляв VentureBeat.
Жодна з цих історій не стосується Cohere, але обидві зводяться до одного невирішеного питання: чи достатньо обіцянки постачальника не дивитися, чи клієнту потрібен доказ того, що постачальник структурно не може цього зробити? Саме цю лазівку покликані закрити конфіденційні обчислення та звіт про атестацію обладнання.
Як працює система Model Vault та конфіденційних обчислень від Cohere
Model Vault — це платформа інференсу Cohere з виділеним середовищем для кожного клієнта (single-tenant), що передбачає виділене розгортання моделей Cohere, а не спільний багатокористувацький API.
-
Конфіденційні обчислення. Цей підхід запускає розгортання всередині апаратного забезпечення, яке шифрує пам’ять робочого навантаження та ізолює її під час виконання. Ніхто, хто керує навколишньою інфраструктурою, включаючи хмарного провайдера, не може бачити, що знаходиться всередині.
-
Апаратне забезпечення. За даними Cohere, новий рівень Encrypted у Model Vault поєднує конфіденційну віртуальну машину (VM) на стороні ЦП з графічними процесорами Nvidia, що працюють у режимі конфіденційних обчислень. Сторона ЦП працює на базі Intel TDX або AMD SEV-SNP. Це апаратна межа, яка лежить в основі твердження, викладеного на початку. Захист тепер охоплює як ЦП, так і ГП, а не зупиняється на ЦП, як це було в більшості попередніх розгортань конфіденційних обчислень.
-
Шлях даних. Дані залишаються зашифрованими під час передачі від клієнта до конфіденційної віртуальної машини (CVM).
«У межах конфіденційного середовища дані залишаються захищеними протягом усього апаратного шляху, включаючи оперативну пам’ять, між з’єднаннями ЦП та ГП, а також в інших апаратних компонентах», — зазначив Говіндассамі.
Говіндассамі зазначив, що дані розшифровуються лише в моменті, коли вони фактично потребують обробки в захищеному середовищі виконання ЦП та ГП. Навіть стан процесора та регістри захищені як частина межі конфіденційних обчислень.
Поза межами CVM дані залишаються зашифрованими та недоступними для Cohere, хмарного провайдера або інших адміністраторів. Зашифрована відповідь повертається користувачеві, який є єдиним, хто може розшифрувати її за допомогою своїх ключів.
Межа. Вона простягається від власних ключів клієнта на одному кінці до власних ключів клієнта на іншому. Все, що знаходиться між ними, відбувається всередині апаратного забезпечення, яке, за словами Cohere, вона не може прочитати. Це включає сам процес інференсу.
Перевіряйте, а не просто довіряйте постачальнику
Апаратна межа корисна лише настільки, наскільки клієнт може її підтвердити. Говіндассамі розповів, наскільки далеко сягає твердження «навіть ми не можемо» і де його межі.
«Ніхто, включаючи Cohere, хмарного провайдера чи оператора кластера, не може бачити чи отримати доступ до будь-яких даних клієнта, — заявив Говіндассамі. — Кожен інференс повертає звіт про атестацію, який дозволяє клієнтам перевірити точне обладнання, програмне забезпечення та політики безпеки, що захищають їхнє робоче навантаження».
Більше того, Cohere планує зробити повний стек обслуговування, який використовується в Model Vault, відкритим вихідним кодом. Це дозволить незалежним аудиторам перевірити, що він не реєструє, не експортує та не витокує дані. «Золоті значення» апаратного та програмного забезпечення зареєстровані в Trust Authority від Intel, тому під час завантаження конфіденційної віртуальної машини Intel може підтвердити, що вона відповідає схваленій, захищеній від несанкціонованого доступу конфігурації від Cohere, Intel та Nvidia.
Клієнти також можуть використовувати інструменти з відкритим вихідним кодом для незалежної перевірки політик та підтвердження того, що їхні інференсні навантаження виконуються в перевіреному та безпечному середовищі.
Не зовсім зрозуміло, чи відбувається перевірка один раз під час завантаження середовища, чи для кожного окремого запиту.
«Конфіденційний інференс стає операційно достовірним, коли атестація є частиною шляху запиту, — написав розробник Чжао Лю Лю (Zhao Liu Liu) у повідомленні на X. — Пов’яжіть підписане вимірювання з версією моделі, політикою ГП, дайджестом коду та правилами збереження, щоб клієнт міг перевірити середовище, яке він фактично використовував».
Конкурентне поле для конфіденційного інференсу
Конфіденційний інференс — це не нова категорія. Кілька постачальників вже продають певну версію обіцянки про те, що оператор не може читати запит, і більшість з них працюють на тому ж обладнанні, яке зараз використовує Cohere.
Tinfoil запускає моделі з відкритими вагами, такі як Mistral і DeepSeek, у захищених середовищах виконання (trusted execution environments), з публічною атестацією, підтвердженою журналом прозорості. Edgeless Systems створила Privatemode для європейських урядових та регульованих галузевих покупців, які бажають мати історію довіри, що базується в ЄС.
Phala здає в оренду атестовані потужності ГП і розміщує каталог відкритих моделей, а не постачає власні. Maple AI шифрує дані на стороні клієнта і працює лише з бекендами конфіденційних обчислень.
Confer, створена розробником Signal Моксі Марлінспайком (Moxie Marlinspike), пропонує ключі, що зберігаються у клієнта, та атестований серверний код з відкритим вихідним кодом, за моделлю, подібною до Signal.
Що відрізняє ці продукти, так це не апаратне забезпечення. Це те, хто володіє моделлю і хто є покупцем. Tinfoil, Phala, Privatemode і Maple переважно запускають відкриті ваги інших розробників в межах анклаву. Confer — це приватний додаток, побудований на атестованому відкритому коді. Cohere ж не робить ні того, ні іншого.
Encrypted Vault застосовує конфіденційні обчислення до власних корпоративних моделей Cohere у Model Vault, що є рішенням для інференсу з виділеним середовищем для кожного клієнта, яке компанія вже продає поряд зі своєю платформою North.
Цей продукт призначений для банків, лікарень або команд державного сектору, які бажають мати власну модель, що працює на інфраструктурі, керованій Cohere, з підписаним постачальником токеном атестації, який вони можуть безпосередньо надати аудитору. Ця категорія вже існувала. Новим є те, що передова компанія випускає це як стандартний SKU, а не як окремий продукт, орієнтований на конфіденційність.
Що це означає для підприємств
Конфіденційні обчислення самі по собі не вирішують усіх проблем захисту даних. Але вони змінюють те, що може вимагати підприємство. Лист про відповідність нормам — це обіцянка. Звіт про атестацію — це те, що команда безпеки може перевірити за допомогою вимірювань апаратного забезпечення, не приймаючи нічиїх слів на віру.
Практичним тестом для будь-якого постачальника інференсу, включаючи Cohere, стає вже не те, чи стверджує він, що захищає дані клієнтів. А те, чи може він надати підписаний звіт про атестацію та показати, які частини стека цей звіт фактично охоплює.
Інформація підготовлена на основі матеріалів: venturebeat.com