ИИ-инструменты сегодня массово используются разработчиками для повышения производительности труда и многие сотрудники отмечают, что помощь нейросетей действительно помогает ускорить создание ПО. Однако, ученые из некоммерческой исследовательской группы Model Evaluation & Threat Research (METR) считают, что ИИ-инструменты наоборот замедляют разработчиков, несмотря на противоположные ожидания. Они провели соответствующее исследование и выявили интересные закономерности.
Использование ИИ-инструментов не только замедлило разработчиков, но и привело к некоторым «галлюцинациям» — точно так же, как это происходит с самими ИИ-системами. Разработчики прогнозировали ускорение на 24%, но даже после завершения исследования они считали, что ИИ помог им выполнить задачи на 20% быстрее, хотя на самом деле это замедлило их работу примерно на такой же процент.
– После завершения исследования разработчики оценивают, что использование ИИ сократило время выполнения на 20%, – говорится в исследовании. – Удивительно, но мы обнаружили, что использование ИИ на самом деле увеличивает время выполнения на 19% – ИИ-инструменты замедлили разработчиков, – говорят исследователи.
В исследовании приняли участие 16 опытных разработчиков, работающих над крупными проектами с открытым исходным кодом. Разработчики предоставили список реальных задач (исправления ошибок, новые функции и т.д.), которые им нужно было решить и затем спрогнозировали, сколько времени займет выполнение этих задач. Программисты в основном использовали Cursor Pro с Claude 3.5/3.7 Sonnet.
В ходе работы выяснилось, что:
- ИИ хуже работает в больших репозиториях с более чем 1 миллионом строк кода;
- ИИ работал ненадежно – разработчики приняли менее 44% сгенерированных предложений и затем потратили время на очистку и проверку;
- ИИ часто не понимал контекст, в котором он работал.
– Когда разработчики работают с ИИ, то они тратят меньше времени на активное программирование и поиск/чтение информации, и вместо этого тратят время на создание промптов для ИИ, ожидание и проверку выводов ИИ, а также простаивают, — объясняет исследование.
Многие программисты отмечают, что ИИ-инструменты могут помочь быстро тестировать новые сценарии в безопасной среде и автоматизировать определенные рутинные задачи, но не экономят время в целом, поскольку все равно нужно проверять, действительно ли код работает. Кроме того, в отличие от стажера, ИИ не учится на своих ошибках.
Другими словами, ИИ-инструменты могут сделать программирование немного более увлекательным, но не делают его более эффективным.
Ранее сообщалось, что Университеты меняют программы по информатике из-за ИИ.
