Генерация кода становится одним из самых популярных применений больших языковых моделей (LLM), однако не все агенты одинаково хорошо справляются со всеми задачами разработки. Ранее в этом году Google разработала эталонный тест для оценки производительности LLM в разработке приложений под Android, и сегодня Android Bench получает крупное обновление. В рейтинге теперь представлен целый ряд новых моделей, а Google внедрила новую структуру, которая должна быть проще в использовании. Разработчиков приглашают проводить собственные тесты и делиться отзывами, которые могут определить будущее Android Bench.
Несмотря на популярность в качестве инструментов кодирования, LLM не всегда выдают идеальные результаты. Отделение полезных результатов от откровенного «мусора» требует выбора правильного инструмента. Android Bench призван продемонстрировать, какие ИИ-агенты показывают лучшие результаты в наборе из 100 задач по разработке под Android. После запуска Android Bench в марте Google добавила такие метрики, как стоимость и эффективность, а также модели с открытым весом.
Чтобы Android Bench оставался актуальным, Google обновляет тест, включая восемь новых моделей, среди которых все новейшие лидеры: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus и Qwen 3.7 Max.
Даже в первоначальном релизе Android Bench модели Google не занимали лидирующих позиций — новейшие LLM от OpenAI немного опережали их. Ситуация для Gemini ухудшилась после того, как Google расширила список моделей. В новом рейтинге Gemini 3.1 Pro занимает пятое место, уступая GPT 5.4, Claude Sonnet 5 и Claude Fable 5. Фактически, Fable 5 оправдывает ожидания, демонстрируя значительный отрыв с точностью 84,5 процента в тесте.
,
Однако Fable 5 и GPT 5.5 также имеют чрезвычайно высокие эксплуатационные расходы, расходуя более 130 долларов на токены для эталонного теста из 100 задач, проведенного 10 раз. Gemini 3.1 Pro показал не столь высокие результаты, но запуск теста обошелся всего в 87 долларов. Gemini 3.5 Flash, который должен быть дешевле в эксплуатации, чем другие модели, показал самую высокую стоимость в рейтинге, поскольку ему потребовалось значительно больше времени для прохождения эталона: 165 долларов за запуск и время выполнения 28 часов.
Разрыв в производительности кодирования под Android для моделей Google становится проблемой, поскольку компания переводит многие свои проекты на агентную разработку. Очевидно, Google предпочла бы, чтобы разработчики Android использовали инструменты Google в своих рабочих процессах, что, возможно, объясняет, почему Google, по сообщениям, предлагает выкупать исходный код приложений у разработчиков для обучения ИИ.
Сотрудничество с сообществом
Android Bench должен развиваться со временем, внедряя новые рабочие процессы для тестирования моделей. Google надеется, что разработчики захотят внести свой вклад в Android Bench, делясь эталонными тестами и задачами по разработке. Чтобы сделать это более осуществимым, Google переходит на фреймворк Harbor. По словам компании, эта тестовая «песочница» позволяет разработчикам легко запускать, оценивать и делиться результатами Android Bench.
Google повторно запустила все свои предыдущие тесты с использованием Harbor, чтобы получить новую базовую линию для производительности LLM. Таким образом, произошло некоторое смещение ранее заявленных результатов, хотя сами тесты пока не изменились. Исторические данные останутся в архиве в открытом доступе.
С помощью нового, более простого фреймворка разработчики могут запускать собственные задачи по разработке в рамках Android Bench и отправлять их для возможного включения в официальный тест. Репозиторий Android Bench на GitHub был обновлен с новым набором данных и инструкциями о том, как принять участие.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ryan Whitwam
