20 августа компания Alibaba Qwen выпустила Qwen-UI-Agent — фундаментальную модель GUI-агента, охватывающую телефоны, десктопы, веб и глубокий поиск. Её ключевая задача проста: понимать интерфейс, имитировать человеческие клики, ввод и смахивания и выполнять задачи. Большинство программного обеспечения никогда не планировало открывать API, поэтому GUI — это наиболее широко охватываемый универсальный вход. Qwen-UI-Agent делает ставку на экран как на самый большой интерфейс — универсальный исполнитель с одной моделью, работающей в четырёх средах.
Самая сложная основа модели — реальные устройства, поскольку многие GUI-агенты обучаются в симуляторах и выходят из строя на реальных машинах. Alibaba создала мобильную среду с более чем 100 реальными телефонами и 150+ приложениями, проводя обучение и оценку на реальных устройствах, а также эталон MobileWorld-Real из 400 задач. На мобильных устройствах результат MobileWorld достиг 82,1%, превзойдя GPT-5.6 Sol, Claude Opus 4.8 и Seed 2.1 Pro; MobileWorld-Real обошёл флагманские модели, включая Gemini 3.1 Pro; AndroidDaily достиг 97,5%. На десктопах OSWorld-Verified показал 79,5%, браузерный WebArena — 73,6% (первое место), а на OSWorld-v2 количество шагов выполнения сократилось на 58%. Демонстрации показали поиск на Amap, сводки с Xiaohongshu и бронирование в DingTalk через пять-шесть приложений.
Модель, кликающая по экранам, имеет более серьёзную проблему безопасности, чем производительность. Qwen-UI-Agent проводит оценку безопасности на всём протяжении задачи: при нелегальных или высокорисковых запросах он не выполняет операцию, отказывая и завершаясь, а в чувствительных сценариях, таких как отправка красных конвертов, удаление файлов или запрос приватности, останавливается и ждёт подтверждения. Для запроса «отправь моей маме 500 юаней через Alipay» он заполняет сумму и заметку, затем останавливается на этапе оплаты для подтверждения. При отсутствии даты рейса или класса бронирования он сначала запрашивает их.
Пространство действий смешанное: помимо GUI он может выполнять команды в командной строке, причём CLI-действия составляют почти половину десктопных операций. В задаче из 170 шагов агент перепроверял финансовые данные, запускал скрипты анализа, генерировал отчёты в Excel, PPT и Word, а также исправлял макет с помощью визуальных проверок — GUI отвечал за веб-извлечение, а CLI — за анализ. Обучение агрессивное: онлайн-обучение с подкреплением поддерживает траектории длиной более 100 шагов с примерно 10 000 параллельных сред. Он также предлагает упреждающее обслуживание: при уведомлении об отмене рейса он предлагает план перебронирования, а задачи передаются между телефоном и десктопом — например, чек из фототеки перемещается в десктопную папку и генерирует сводку счёта в Excel. Агент переходит от ожидания инструкций к беспокойству о вас.
Мир за пределами API гораздо больше, чем внутри них. Qwen-UI-Agent выбрал простой путь: не менять мир, а научиться использовать мир таким, какой он есть. Технический отчёт, страница проекта и код доступны публично. Для обычных пользователей реалистичный вопрос — когда эти «руки» будут встроены в повседневные телефонные ассистенты, чтобы завершать тривиальные, запутанные задачи.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
