Написанный ИИ код назвали «сбоящим» и «вызывающим проблемы». Но почему?

Компании, которые используют искусственный интеллект для генерации кода, сталкиваются с перебоями в работе и проблемами безопасности.

По данным Sonar — компании, предоставляющей продукты для оценки качества кода — даже крупные финансовые организации сообщают о сбоях, вызванных ошибками в автоматически сгенерированном коде.

Исследования показывают, что такие инструменты, как ChatGPT, GitHub Copilot и Amazon CodeWhisperer, генерируют корректный код лишь в 65.2%, 46.3% и 31.1% случаев соответственно.

Основная проблема кроется в неспособности ИИ адекватно работать с математической логикой и общих сложностях с пониманием алгоритмов.

Недостаточная проверка как возможная причина

По данным исследования Snyk, более половины компаний в конце 2023 года сталкивались с проблемами безопасности в коде, сгенерированном ИИ.

Ожидается, что к 2028 году около 90% корпоративных инженеров будут использовать ИИ для написания кода, что может усилить эту проблему.

По словам CEO Sonar Тарика Шауката, компании часто внедряют ИИ-инструменты для генерации кода без достаточной проверки и строгих практик рецензирования. Разработчики менее тщательно проверяют код, написанный искусственным интеллектом, так как не чувствуют за него полной ответственности.

Эффект «laisser-faire»

Исследование Стэнфордского университета в 2023 году показало, что программисты, использующие ИИ-инструменты, пишут менее безопасный код, но не считают его таковым.

Это создает иллюзию того, что все под контролем, и подталкивает разработчиков к более расслабленному подходу к проверке и тестированию кода.

Проблема «code churn» и «копипаста»

С ростом использования ИИ для написания кода наблюдается и увеличение количества правок. Исследователи GitClear обнаружили, что количество так называемого «code churn» — изменений кода, которые приходилось исправлять или отменять менее чем через две недели после написания — стремительно растет.

Прогнозируется, что в 2024 году число таких изменений удвоится по сравнению с 2021 годом. Кроме того, увеличилось количество скопированных и вставленных фрагментов кода, что нарушает принцип «DRY» («Don’t Repeat Yourself») и ведет к сложностям в поддержке проекта.

Стоит, правда, отметить, что несмотря на выявленные проблемы, компании не отказываются от использования ИИ-инструментов, так как они значительно ускоряют процесс разработки.

Тарик Шаукат отмечает, что около 30% предложений ИИ-программ принимаются разработчиками, что является существенным показателем.