Команда OmniAI Group из Чжэцзянского университета представила EmbodiedMemory-Bench (EMem-Bench) — эталонный тест, который проверяет, могут ли воплощенные ИИ-агенты строить память на основе длительной истории взаимодействий и затем действовать на ее основе. Статья была опубликована на arXiv около трех недель назад и привлекла внимание китайских СМИ в минувшие выходные. По состоянию на 18 октября набор данных на Hugging Face насчитывал более 32 000 загрузок.
Проблема знакома по бытовым роботам: агент видит книгу на журнальном столике, выполняет другие поручения, а затем обыскивает все комнаты, когда его просят ее принести, или продолжает выдвигать ящик, который уже оказался запертым. Команда вручную проанализировала 100 неудачных траекторий Gemini-3-Flash и Qwen3-VL-32B на наборах EB-ALF и EB-Hab из EmbodiedBench. Недостаток детализированных визуальных подсказок стал причиной 35% сбоев, неспособность зафиксировать состояния, выявленные в ходе взаимодействия, — 31%, упущение изменений в окружающей среде — 18%, а неспособность повторно использовать прошлый опыт — 7%.
EMem-Bench разбивает эти пробелы на четыре группы задач: пассивное наблюдение, динамическое отслеживание, сбои взаимодействия и обобщение опыта. Каждый из 2554 исполняемых эпизодов предоставляет упорядоченную по времени мультимодальную историю, за которой следует новая задача. Агент должен извлечь релевантные доказательства, а затем перемещаться, открывать контейнеры, брать и размещать объекты в симуляции до достижения целевого состояния. Однокомнатные сцены AI2-THOR объединены в многокомнатные дома, а между ключевой подсказкой и задачей вставлены отвлекающие, но выполнимые взаимодействия. Эталонный тест охватывает 1118 сцен и прошел автоматические проверки и экспертную оценку.
В режиме полного контекста Gemini-3-Flash лидировал со средним показателем успеха 64,2%, за ним следовали Gemini-2.5-Pro (60,8%), Qwen3.6-27B (58,2%) и GPT-5.4 (56,8%). В статье отмечается, что все модели с открытым исходным кодом, кроме одной, показали результат ниже 45%.
Команда также разработала Embodied-Memorizer (EMem) — систему внешней памяти, которая разделяет опыт на воспоминания о сцене, пространстве и событиях. Используя GPT-5.4-mini в качестве основы, EMem повысил средний показатель успеха с 35,3% до 58,9%, что на 21,1 пункта выше, чем у следующей лучшей системы памяти TeleMem. Дообученная политика EMem-8B достигла 46,0%, что на 20,6 пункта выше, чем у ее базовой модели Qwen3-VL-8B. Простое добавление большего количества изображений из истории не помогло: успех снизился с 36,6% до 26,2%, в то время как количество входных токенов на эпизод увеличилось с 41 770 до 206 489.
Авторы отмечают, что все результаты получены в симуляции и еще предстоит протестировать их на реальных роботах, сталкивающихся с шумом датчиков и ошибками выполнения.
СМОТРИТЕ ТАКЖЕ:UBTECH представляет Thinker-WM, мировую модель, объединяющую видео, глубину и действия роботов · Tencent Hunyuan открывает исходный код Hy Memory 2.0, добавляя рабочую память и память кода для ИИ-агентов
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
