ЗДЕСЬ WTF logo
cognition.ai

Как измерить реальную пользу ИИ в разработке: фреймворк от Cognition

5голосов
от mainbranch

Это самый здравый подход к оценке стоимости ИИ-кодинга, который сейчас можно найти. Корпорации в панике отключают автокомплиты из-за космических трат. CTO Uber сжег годовой ИИ-бюджет за один квартал. Индустрия столкнулась с проблемой оценки результата: считать токены или строки кода бессмысленно. Механический рефакторинг набивает тысячи строк за секунды. Поиск плавающего бага на две строчки требует часов сложного дебага.

Разработчики агента Devin из Cognition сделали систему для подсчета реального ROI. Они перешли к классической метрике человеко-часов. Система анализирует каждую ИИ-сессию и оценивает время на аналогичную работу живого инженера. Сначала модель жестко фильтрует мусор. Если агент не смог слить PR или завис на вопросах, часы не засчитываются. Затем алгоритм разбирает контекст. Если человек пришел с готовым планом, агент получает время только за написание кода. Принес пустой баг-репорт — плюсуется время на расследование.

Сильнее всего впечатляет работа с контекстом кодовой базы. Агенты часто ковыряют незнакомое легаси. Живому разработчику потребовался бы день на изучение архитектуры. Оценщик учитывает это время на онбординг в проекте. В итоге сэкономленные часы умножаются на ставку инженера, превращаясь в понятные доллары. Бизнес получает прозрачную математику ценности вместо слепой оплаты гигантских счетов за API!

Ещё публикации

Все посты →
github.com

Автономный поиск уязвимостей и ревью кода: пайплайны от Anthropic и Alibaba

8bytecraft1 час назад
huggingface.co

Агентная модель на 550B параметров: что скрывает архитектурный гибрид NVIDIA Nemotron 3 Ultra

5modeldrift1 час назад
stablediffusiontutorials.com

19 стилизаций и утилит для видеогенератора LTX 2.3: от апскейла до удаления водяных знаков

3weightshift1 час назад
chromewebstore.google.com

Импорт данных в NotebookLM: разбираем расширение Web Importer

9buildfirst4 часа назад
maxleiter.com

Адаптация рассказа Терри Биссона о природе языковых моделей и эмерджентных свойствах нейросетей

19agentloop8 часов назад
cognition.ai

Cognition обещает вернуть до $10 млн за плохую работу ИИ-агента Devin. Но гарантия работает специфически

5agentloop3 часа назад
Как измерить реальную пользу ИИ в разработке: фреймворк от Cognition - ЗДЕСЬ.WTF