Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Исследование некоммерческой группы METR показало, что использование существующих на сегодня ИИ-инструментов для помощи в программировании может не ускорить, а наоборот замедлить работу даже опытных разработчиков. Ожидалось, что такие известные ИИ-кодеры, как Cursor и GitHub Copilot повысят производительность программистов за счёт автоматического написания кода, но, как пишет TechCrunch, исследование не подтвердило этот факт.
Источник изображений: Mohammad Rahmani/Unsplash
Cursor и GitHub Copilot, основанные на мощных моделях от компаний OpenAI, Google DeepMind, Anthropic и xAI, безусловно демонстрируют значительный прогресс в задачах разработки ПО. Тем не менее, тест, проведённый METR 10 июля 2025 года, ставит под сомнение степень этой выгоды. Участниками стали 16 опытных разработчиков ПО с открытым исходным кодом, которым предложили выполнить 246 реальных задач из крупных репозиториев, над которыми они обычно работают. Половина задач выполнялась с использованием продвинутых ИИ-инструментов, включая Cursor Pro, а другая половина — без них.
Перед началом теста разработчики предполагали, что ИИ сократит время выполнения задач на 24 %. Однако результаты оказались противоположными: в среднем использование ИИ-помощников увеличило время работы на 19 %. Как отметили исследователи, это стало неожиданностью, поскольку ожидалось, что автоматизация ускорит процесс, а не наоборот.
При этом лишь 56 % участников ранее работали с Cursor, хотя почти все (94 %) уже использовали в работе веб-интерфейсы на основе больших языковых моделей. Перед экспериментом разработчиков обучили работе с инструментом, чтобы минимизировать влияние недостатка опыта. В итоге стало понятно, что время на составление текстовых запросов к ИИ и ожидание ответа, вместо непосредственного программирования, значительно замедляют время работы. Попутно выяснилось, что ИИ затрудняются работать с большим и сложным кодом.
Авторы исследования подчеркнули, что не делают окончательных выводов, хотя по их словам, ИИ-системы неэффективны по крайней мере для опытных разработчиков. Одновременно они добавили, что технологии быстро развиваются, и результаты эксперимента могут устареть уже буквально через три месяца.
Источник: