З розвитком потужних моделей штучного інтелекту зростає і потенціал для їх зловживання, що, своєю чергою, викликає потребу у безпекових механізмах для запобігання таким діям. Компанії, що розробляють ШІ, наразі змушені балансувати між дотриманням конфіденційності корпоративних клієнтів та моніторингом використання для виявлення можливих проблем.
Відчуваючи можливість випередити свою конкурентку Anthropic, OpenAI анонсувала новий підхід до безпеки, що фокусується на конфіденційності для моніторингу зловживань. Компанія тестує нову послугу для обраних клієнтів під назвою Private Safety Processing. Це автоматизована система, яка відстежує потенційні зловживання, не зберігаючи при цьому жодних даних клієнта.
Ця система явно суперечить нещодавно оголошеній політиці збереження даних компанії Anthropic. Ця політика, яка викликала невдоволення деяких клієнтів, дозволяє AI-лабораторії зберігати дані користувачів (усі їхні сесії та розмови в них) протягом 30 днів для «охоплених моделей». До цих моделей входять усі моделі класу Mythos та «майбутні моделі зі схожими можливостями», заявляє компанія.
Політика, оголошена в липні, була розроблена з метою безпеки, дозволяючи лабораторії аналізувати потенційні порушення. Однак, вона викликала серйозне занепокоєння у деяких підприємств, які працюють з великими обсягами конфіденційних даних і не бажають, щоб вони зберігалися (або перевірялися) AI-лабораторією.
OpenAI, як і більшість інших компаній, що займаються розробкою ШІ, вже забезпечує клієнтам відносний рівень конфіденційності, дотримуючись політики Zero Data Retention (ZDR). ZDR використовує агенти в межах OpenAI API для моніторингу зловживань на основі кожної окремої сесії. Таким чином, дані клієнтів не зберігаються компанією, але компанії все ще можуть сканувати на наявність шкідливої активності без втручання людини. Варто зазначити, що Anthropic також значною мірою дотримується ZDR, за винятком «охоплених моделей», таких як Fable.
OpenAI стверджує, що Private Safety Processing — це нова технологія, яка розширює сферу застосування ZDR. Компанія описує її як форму довгострокового моніторингу безпеки, що аналізує вхідні та вихідні дані кількох розмов, а не однієї. Знову ж таки, моніторинг здійснюється агентом, який, у разі спрацювання, фіксує взаємодії та аналізує їх у межах різних сесій на наявність ознак потенційного зловживання.
Нова технологія допомагає OpenAI виявляти зловмисне використання ШІ, що відбувається протягом кількох сесій, повідомив представник компанії виданню TechCrunch. Зловмисник, який гіпотетично намагається створити шкідливе програмне забезпечення для кібератаки, може розподіляти свої запити, щоб уникнути виявлення. Private Safety Processing може аналізувати ці множинні розмови на ознаки зловживання без перевірки розмов користувача людиною.
У разі спрацювання системи, вона може надіслати «чітко визначений сигнал» до OpenAI, який попереджає про конкретний тип діяльності, заявила компанія. На основі цього сигналу OpenAI може вирішити, чи «необхідне застосування заходів», додається. Якщо так, OpenAI зв’яжеться з клієнтом для отримання додаткового контексту або для спільної роботи над проблемою, і клієнт може за власним бажанням поділитися даними з OpenAI, зазначив представник компанії.
На відміну від цього, Anthropic зазначає, що перевірка даних клієнтів людиною може відбуватися, але лише «через контрольований шлях доступу», який включає «невелику кількість затверджених рецензентів». Кожна з цих сесій рецензування «записується у захищеному від змін журналі, який рецензенти не можуть видалити або змінити», стверджує компанія.
Корпоративне суперництво між OpenAI та Anthropic наразі є напруженим, обидві компанії шукають будь-якої можливості отримати перевагу над іншою. Нещодавній звіт показав, що зростання OpenAI у другому кварталі було повільнішим, ніж у Anthropic. Щорічний дохід Anthropic наразі становить близько 65 мільярдів доларів. Інвестори Anthropic припускають, що компанія може вийти на IPO з оцінкою у 2 трильйони доларів, тоді як OpenAI також працює над своїм IPO.
Джерело новини: techcrunch.com