В 2024 году компания Cognition AI представила Devin – первого в мире «искусственного инженера-программиста», позиционируя его как революционное решение для ускорения разработки программного обеспечения. Однако недавние исследования показывают, что Devin не оправдывает возложенных на него ожиданий.
В ходе испытаний Devin получил 20 задач по программированию, из которых успешно выполнил лишь три. При этом на решение задач уходило больше времени, чем предполагалось, а выбранные им подходы часто были неэффективными и странными.
Например, перенос базы данных Notion в Google Sheets Devin отнял у него час. Однако, выполняя более сложные задачи, он сталкивался с серьезными трудностями, застревая на технических деталях и не достигая поставленных целей.
Разработчики Cognition AI утверждали, что Devin способен самостоятельно выполнять задачи, размещенные на платформе фриланса Upwork, и даже зарабатывать на этом. Однако независимые эксперты поставили эти заявления под сомнение. Программист Карл Браун в своем видеообзоре отметил, что задача, которую он выполнил за 36 минут, оказалась непосильной для Devin даже спустя 6 часов работы.
Несмотря на некоторые успешные примеры, такие как создание трекера планет, Devin сталкивается с серьезными ограничениями при выполнении более сложных задач. И хотя Devin представляет собой значительный шаг вперед в применении искусственного интеллекта в разработке программного обеспечения, на данный момент он не способен конкурировать с человеческими разработчиками в выполнении сложных задач и требует дальнейшего совершенствования.
