Алма, ИИ-агент, созданный независимым разработчиком yetone, занял третье место в рейтинге FrontierHarness v1.1 от 11 ноября — открытом бенчмарке для ИИ-агентов, проводимом компанией Runta. Этот снимок был сделан во время выполнения тестов, и рейтинг менялся ежедневно. Когда Pandaily проверил итоговую таблицу 15 ноября, Алма занял шестое место по коэффициенту успешных прохождений.
FrontierHarness включает 21 конфигурацию агентов, в том числе Claude Code, Codex CLI и OpenCode, на пяти открытых моделях и 62 задачах в области разработки ПО, науки, данных, систем, машинного обучения и безопасности. Каждый агент выполняет четыре попытки на задачу с каждой моделью, и засчитываются только подтвержденные успешные прохождения.
Согласно данным от 11 ноября, опубликованным китайским технологическим изданием Zhixingxing, Алма продемонстрировал 72,7% успешных прохождений. Это поставило его позади Codex CLI (77,9%) и Pi (72,8%), но впереди Claude Code (70,0%). Стоимость одного успешного прохождения Алмы составила около 0,80 доллара США (0,74 евро), в то время как для Claude Code — 0,94 доллара США (0,87 евро).
В итоговой таблице зафиксировано 26 040 прогонозированных испытаний и более низкие показатели по всем направлениям. Коэффициент успешных прохождений Алмы составил 59,7%, что ниже показателей ZCode (61,9%), Codex CLI (61,1%), KimiCode (60,2%), Grok Build (60,0%) и Hermes Agent (59,9%). Коэффициенты успешных прохождений всех 21 агентов находятся в диапазоне от 50,6% до 61,9%. По умолчанию рейтинг основан на стоимости одного успешного прохождения. По этому показателю Алма занимает 13-е место со стоимостью 1,22 доллара США (1,13 евро) против 0,937 доллара США (0,87 евро) у Codex CLI и 1,55 доллара США (1,43 евро) у Claude Code. Лучший результат Алмы составил 64,1% при работе с моделью Kimi-K3.
Алма читает и редактирует файлы, выполняет команды терминала, ищет в интернете и поддерживает навыки, MCP и множество моделей. Согласно обзору Zhixingxing и веб-сайту Алмы, он добавляет несколько функций:
- Отдельная модель инструментов может быть настроена для вызовов инструментов, чтобы простые действия не использовали более дорогую основную модель.
- Долгосрочная память использует семантический поиск на основе встраиваний по прошлым диалогам. Сначала переписывается запрос, затем результаты фильтруются по порогу сходства.
- Интеграция с herdr отображает сеансы Claude Code, Codex и Pi как чаты в одном окне, отсортированные по состояниям, таким как «Работает», «Готово» и «Требуется ваше участие».
- Приложения для iPhone и Android, находящиеся в публичной бета-версии, позволяют пользователям удаленно отслеживать прогресс, отвечать на вопросы и утверждать команды.
Для поддержки удаленного доступа yetone опубликовал исходный код Alma Relay, который может быть развернут на Cloudflare Workers или с помощью Docker. При включенном сквозном шифровании, которое используется по умолчанию, ретранслятор видит только зашифрованный текст и ничего не сохраняет на диск, согласно его документации.
Источники: Отчет Zhixingxing на Tencent News · Живой рейтинг FrontierHarness Eval · Официальный репозиторий Alma Relay · Официальный сайт Алмы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
