Задумывались ли вы, что может замедлять даже самых опытных программистов? Оказавшись в неожиданной роли тормоза, AI теперь становится проблемой для разработчиков.
Недавнее исследование ставит под сомнение распространённое мнение о том, что AI-инструменты значительно повышают производительность опытных программистов. Вместо того чтобы ускорить их работу, AI на самом деле замедлил их выполнение задач, которые они и так прекрасно знали.
Исследование, проведённое некоммерческой организацией METR, фокусируется на разработчиках, использующих Cursor — популярного помощника AI для написания кода, — на открытых проектах, с которыми они уже были знакомы. Разработчики, ожидая, что AI сократит время выполнения задач на 25%, в реальности всё равно считали, что он сделал их работу на 20% быстрее. Однако реальные данные показали обратное: время выполнения задач увеличилось на 19%.
Джоэль Беккер и Нэйт Раш, возглавившие исследование, были удивлены результатами. Раш, в частности, предполагал, что AI удвоит производительность. Это то, о чём мечтают многие из нас. Однако результаты исследования ставят под сомнение широко распространённое убеждение, что AI всегда способствует повышению продуктивности высококвалифицированных разработчиков, особенно тех, кто работает с крупными, сложными проектами, которые им хорошо знакомы.
Исследование показало, что вместо того чтобы ускорить процесс, инструменты AI требовали от разработчиков больше времени на проверку и корректировку предложений AI. Хотя AI часто направлял их в нужное русло, он редко давал точное решение, что приводило к необходимости дополнительного времени для проверки, редактирования и иногда полного отказа от предложений AI.
Хотя результаты исследования не могут быть применимы ко всем случаям, они поднимают важную проблему. Разработчики с большим опытом работы с известным кодом не получили ожидаемой выгоды от использования AI. Однако менее опытные разработчики или те, кто работает с незнакомыми проектами, могут всё-таки извлечь пользу от инструментов AI.
Результаты исследования могут быть полезны и за пределами разработки ПО. Они дают нам представление о том, как пользователи смартфонов взаимодействуют с AI в повседневной жизни. От предсказания текста и голосовых помощников до редактирования фото многие из нас сталкиваются с ситуациями, когда AI-инструменты кажутся более времязатратными, чем полезными. Коррекция ошибок автозамены, исправление плохо отредактированных фотографий или разбор не совсем удачных AI-сообщений — мы все понимаем, что порой удобство стоит лишнего времени.
В конечном итоге, это исследование напоминает нам, что AI далёк от совершенства, и его влияние на производительность гораздо сложнее, чем мы могли бы подумать.