ИИ-помощники в написании кода не повышают производительность и не предотвращают выгорание разработчиков, показало исследование компании Uplevel.
Разработчики должны были стать одними из главных бенефициаров технологии генеративного ИИ, поскольку специальные инструменты позволят быстрее и проще создавать код. Но, согласно недавнему исследованию компании Uplevel, которая занимается анализом показателей кодирования, рост производительности не наблюдается – по крайней мере, пока.
В исследовании приняли участие около 800 разработчиков, которые в течение трех месяцев сравнивали свою работу с помощником по кодированию Copilot от GitHub и без него. Удивительно, но при измерении таких ключевых показателей, как время цикла запросов и пропускная способность, Uplevel не обнаружила значимых улучшений у тех, кто использовал Copilot.
В ходе исследования выяснилось, что разработчики, использующие Copilot, вносят в свой код на 41% больше ошибок. Uplevel также не увидела никаких доказательств того, что ИИ-ассистент помогает предотвратить выгорание разработчиков.
Эти данные противоречат заявлениям создателей Copilot в GitHub и других ярых сторонников ИИ-инструментов для кодинга о значительном повышении производительности. Ранее в исследовании, проведенном при поддержке GitHub, утверждалось, что с помощью Copilot разработчики пишут код на 55% быстрее.
На практике опыт использования помощников ИИ для кодирования пока неоднозначен. Генеральный директор компании Gehtsoft USA Иван Гехт говорит, что код, созданный искусственным интеллектом, сложно понять и отладить, поэтому иногда его приходится переписывать с нуля.
– Разработка программного обеспечения на 90% состоит из работы мозга – понимания требований, проектирования системы, учета ограничений и запретов, а преобразование всего этого в код – более простая часть работы, – отметил Иван Гехт.
Исследование, проведенное в прошлом году, в котором ChatGPT ошибся более чем в половине вопросов по программированию, похоже, подтверждает его наблюдения, хотя с тех пор чатбот значительно улучшился благодаря многочисленным обновлениям.
