С появлением Copilot и других нейросетевых помощников общее качество кода стало снижаться

Рост показателя оттока кода

Отток кода (от англ. code churn, – прим ред.) – это доля строк в коде, которые были удалены или изменены менее чем через две недели после его написания.

Последние несколько лет показатель оттока кода существенно увеличился. Согласно исследованию сервиса GitClear, одна из основных причин — система помощи при написании кода Copilot, представленная в октябре 2021-го и оказавшаяся в открытом доступе в 2022-м, и другие ИИ-инструменты, релиз которых состоялся позднее.

Отток кода существовал всегда, ведь изменения кода — это естественный процесс. Разработчикам нужно исправлять ошибки, выпускать обновления, добавлять новые функции. Но слишком высокий отток указывает на нестабильность кода или явные ошибки.

Причинами могут стать как нечёткие требования к проекту или недостаток навыков у команды, так и излишняя опора на нейросетевых помощников. Исследование GitClear определило, что именно последний фактор оказал ключевое влияние на рост количества ошибок.

Как удалось понять, что проблема — в использовании нейросетей?

Исследователи проанализировали около миллиарда строк кода, созданного за последние четыре года для открытых и коммерческих проектов, чтобы изучить, как на его качество влияют инструменты вроде Copilot.

Выяснилось, что до массового распространения нейросетевых помощников отток кода был относительно невысоким, а затем начал расти. В 2022 году, когда всем желающим стали доступны Copilot и ChatGPT, отток резко вырос до 3,97% от общего количества кода. В 2023 году показатель достиг 5,53%.

По прогнозу GitClear, рост оттока кода продолжится: к концу 2024 года он станет вдвое выше базового значения 2021-го, когда Copilot ещё не был доступен, и составит примерно 7,09%.