Может ли система редактировать? Оценка способности крупных языковых моделей следовать инструкциям по редактированию кода

Значительная часть исследований посвящена разработке и оценке крупных языковых моделей (LLM) для различных задач синтеза кода. К ним относятся синтез кода на основе естественного языка, синтез тестов на основе кода и синтез объяснений кода. В то же время поведение задач редактирования кода по инструкциям с использованием LLM изучено недостаточно. Речь идет о задачах, в которых модели предоставляется блок кода и инструкция по его изменению. Инструкция по редактированию может содержать просьбу добавить или удалить функцию, описание ошибки с просьбой исправить её или запрос на другой вариант решения. Мы представляем тщательно разработанный набор тестов для задач редактирования кода и используем его для оценки нескольких передовых LLM. Наша оценка выявляет значительный разрыв между возможностями современных открытых и закрытых моделей. Например, даже GPT-3.5-Turbo превосходит лучшую открытую модель в задачах редактирования кода. Мы также представляем новый, тщательно отобранный и имеющий либеральную лицензию обучающий набор данных, состоящий из задач редактирования кода в сочетании с инструкциями на естественном языке. Используя этот обучающий набор данных, мы показываем, что можем провести тонкую настройку открытых LLM для кода, чтобы значительно улучшить их способности по редактированию кода, сократив разрыв между открытыми и закрытыми моделями. Весь код, данные и модели доступны по адресу https://github.com/nuprl/CanItEdit.