На платформе оценки языковых моделей ProgramBench зафиксировано первое полное решение задачи. Модель GPT 5.5 в режимах долгих рассуждений (high и xhigh) успешно справилась с воссозданием утилиты cmatrix, тогда как базовая версия и Claude Opus 4.7 допустили логические ошибки. Согласно отчету, увеличение времени на размышления радикально меняет качество генерируемого кода, позволяя агенту проводить глубокое исследование среды перед написанием финальной реализации.

Детальный разбор задачи cmatrix в условиях изолированной среды показывает разницу в подходах агентов. GPT 5.5 (high) потратила 34 API-вызова и 3.17 доллара, написав безошибочный код на C с использованием сырых ANSI-последовательностей после обнаружения отсутствия заголовочных файлов библиотеки ncurses. В свою очередь Claude Opus 4.7 (xhigh) совершила 178 вызовов стоимостью 10.74 доллара, но провалила 19 тестов из-за базовых недочетов, включая чувствительность к регистру при парсинге цветов через strcmp и неверные коды возврата, которые модель не смогла отловить при самостоятельном тестировании.

Дополнительным результатом прогона стало выявление тестов, завязанных на специфические особенности языков программирования. Версия GPT 5.5 (xhigh) написала реализацию на Python, создав точную алгоритмическую копию оригинального парсера чисел, что привело к провалу одного из тестов, ожидавшего переполнения 32-битного значения, характерного для функции atoi в C. Поскольку числа в Python имеют произвольную точность, переполнения не произошло, что вызвало системную ошибку при использовании огромного значения для таймера, в результате чего авторы бенчмарка признали тест некорректным и удалили его.