Существующие бенчмарки проверяют нейросети на локальных задачах. Модели чинят баги или дописывают функции. Команда исследователей выпустила ProgramBench — тест для оценки архитектурных навыков ИИ. Задача агента — воссоздать кодовую базу с нуля. На входе дается только бинарный файл и документация без исходников.

Набор данных включает 200 задач из открытых репозиториев на Rust, Go и C/C++. Масштаб варьируется от компактных CLI-утилит до FFmpeg, SQLite и интерпретатора PHP. Бинарник закрыт от реверс-инжиниринга, а доступ в интернет заблокирован. Агенты сами генерируют тесты через фаззинг для проверки поведения программы.

Авторы протестировали девять языковых моделей. Ни одна не справилась с полным воссозданием проектов. Лучшая нейросеть прошла 95% тестов лишь на 3% задач. Модели пока не умеют проектировать сложные системы. Вместо модульной архитектуры они пишут монолитный код в одном файле. Структура таких программ кардинально отличается от человеческого подхода.