Google опубликовала обновленный бенчмарк Android Bench для оценки эффективности ИИ-моделей в мобильной разработке. Инструмент замеряет, насколько точно языковые модели работают с актуальным Android SDK, пишут на Kotlin и используют современные библиотеки.

Главный результат тестирования оказался неожиданным: собственная модель Google уступила лидерство. Первое место в рейтинге качества кода заняла GPT-5.5 от OpenAI, обойдя актуальные версии Gemini. Модели прогоняли через реальные сценарии: настройка фоновых задач, работа с базами данных и сборка интерфейсов на Jetpack Compose.

Публикация таких данных на официальном портале показывает переход компании к объективной оценке тулинга. На практике это значит, что для проектирования сложной архитектуры пока логичнее использовать сторонние LLM, оставляя рутинную генерацию UI и автодополнение встроенным в Android Studio ассистентам.