Штучний інтелект (ШІ) демонструє вражаючу здатність виявляти та експлуатувати вразливості програмного забезпечення, проте його ефективність у виправленні знайдених помилок залишається низькою. Фахівці з лабораторії Off-by-1 компанії 1Password провели дослідження моделей OpenAI ChatGPT 5.5 та Anthropic Claude Opus 4.8, виявивши, що без людського втручання ШІ здатен усувати програмні дефекти лише в 26% випадків.
Джерело зображення: Fotis Fotopoulos / unsplash.com
Під час тестування шести нещодавно виявлених вразливостей було згенеровано 6080 патчів за допомогою згаданих моделей. Лише 26,0% патчів успішно усунули вразливість без суттєвих змін у поведінці програми. Згідно з результатами дослідження, 20,1% виправлень вирішували основну проблему, але змінювали функціонал (наприклад, перетворювали “білий список” на “чорний”). У 2,3% випадків виправлення однієї вразливості призводило до появи нової. У 49,3% випадків ШІ не зміг створити захист від жодного з варіантів експлойту, а в 2,2% випадків ШІ не лише не виправив уразливість, а й створив новий вектор для її експлуатації.
Навіть серед успішних патчів, які змінювали поведінку програми, виправлення часто виявлялося “крихким”, тобто основну проблему не вирішували. Ефективність ШІ значною мірою залежить від початкових інструкцій, наданих як моделі, так і людині, яка вносить виправлення. Неправильні інструкції суттєво знижують шанси на успіх. У разі коректного запиту ймовірність успіху становить 65%. Відсутність запиту знижує цей показник до 50,4%, а некоректний запит — до 15,2%. Натомість людина-розробник, аналізуючи вразливий код, зберігає високу здатність виявляти оманливу інформацію.
Середня вартість створення коректного патча, враховуючи невдалі спроби, становить лише 6,74 долара США. Однак, при оцінці витрат і вигод, необхідно враховувати обсяг експертного нагляду, який потребує застосування ШІ для його виправдання.
За даними порталу: 3dnews.ru