Консорциум ведущих китайских научно-исследовательских институтов, включая Университет науки и технологий Гонконга (Гуанчжоу) (HKUST (Guangzhou)), Университет Цинхуа, Чжэцзянский университет, Университет Уэстлейк и Шанхайский университет транспорта, совместно представил RoboMemArena — первый комплексный эталонный тест, специально разработанный для оценки возможностей роботизированной памяти в задачах манипулирования с длительной перспективой.
RoboMemArena устраняет критический пробел в оценке воплощенного ИИ: большинство существующих эталонных тестов сосредоточены на краткосрочном восприятии и немедленном управлении, не оценивая, способны ли роботы запоминать и анализировать исторические состояния. Эталонный тест охватывает четыре основных сценария, требующих памяти: перенос объектов, окклюзия цели, подсчет действий и выполнение последовательностей.
Эталонный тест включает 26 задач с длительной перспективой, 151 мелкодетализированную подзадачу и 2600 траекторий демонстрации экспертов. Примечательно, что 68,9% всех подзадач зависят от памяти, что делает его первым эталонным тестом, явно выдвигающим на первый план историческую зависимость. Средняя длина задачи превышает 1000 шагов.
Помимо симуляции, RoboMemArena включает пять задач по работе с памятью на реальных роботах, в том числе переливание из бутылок (подсчет действий), мытье тарелок со сменой (невидимость состояния) и сложную задачу IHMB (Имитация действий человека при приготовлении завтрака), которая длится более 3 минут. Только метод PrediMem, разработанный командой, успешно справился с задачей IHMB.
Эталонный тест обеспечивает мультимодальный надзор, включая аннотации на уровне подзадач, нативные аннотации ключевых кадров и согласованные визуальные наблюдения с состояниями робота. Все ресурсы являются открытыми: набор данных размещен на Hugging Face, код — на GitHub, а публичная таблица лидеров позволяет принимать внешние заявки. Научная статья доступна на arXiv (2605.10921).
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
