30 октября компания Xiaomi объявила об открытии исходного кода Xiaomi-OCR-0 — легковесной модели для анализа документов. Веса и код для инференса доступны на Hugging Face и GitHub. Модель имеет 0,8 миллиарда параметров и предназначена для выполнения трех задач в рамках одной системы: разбор документов, извлечение ключевой информации и визуальные ответы на вопросы по OCR.
Для разбора документов модель распознает основной текст, таблицы и математические формулы, выдавая структурированные результаты в порядке чтения с поддержкой нативного Markdown и LaTeX. Извлечение ключевой информации ориентировано на счета-фактуры, квитанции, удостоверения личности и деловые формы, определяя нужные поля и возвращая JSON для автоматизированных рабочих процессов. Визуальные ответы на вопросы выходят за рамки простой транскрипции, позволяя выполнять перекрестный поиск по регионам, числовые расчеты и анализ документов и диаграмм.
Xiaomi заявляет, что модель построена на основе Qwen3.5-0.8B-Base и обучена примерно на 170 миллионах образцов OCR и документов. Метки были отфильтрованы консенсусом нескольких экспертных OCR-моделей, которые перекрестно проверяли и голосовали по текстовым областям, таблицам и формулам. Для сложных таблиц и формул команда использовала цикл «предсказание, перерисовка и сравнение»: кандидатские выходные данные были перерисованы в изображения и сравнены с оригиналом на уровне пикселей и структуры для выявления смещенных строк или отсутствующих символов. Синтетические сложные случаи включали многоязычный текст, исторический рукописный ввод, муар экрана и искаженное освещение.
Обучение проходило в три этапа: привязка текста для согласования визуальных областей с текстовыми токенами, продолженное предварительное обучение OCR на десятках миллиардов токенов и обучение с подкреплением смешанных задач с проверяемыми наградами, такими как расстояние редактирования структуры и оценки соответствия таблиц.
В OmniDocBench v1.6 модель набрала 96,83 балла, заняв второе место в общем зачете и отстав от лидера на 0,04 балла, а также первое место среди моделей с менее чем 1 миллиардом параметров. На Real5-OmniDocBench, имитирующем сканирование, скрученную бумагу, фотографии с экрана, изменения освещения и наклонные снимки, модель получила 95,24 балла, а на Wild-OmniDocBench — 87,94. На бенчмарке формул UniMER-Test она достигла 97,84 балла, а на PubTabNet для структуры таблиц — 92,27. В среднем по DocVQA, InfoVQA, ChartQA, OCRBench и TextVQA модель набрала 83,2 балла, опередив HunyuanOCR-1.5 (76,5) и 8B MiniCPM-V-4.5 (82,6), но уступив Qwen3.5-4B (84,9). Все данные предоставлены Xiaomi.
Xiaomi сообщает, что технология уже используется в голосовом помощнике Super XiaoAi на смартфонах компании, извлекая с экрана коды получения, номера очередей, детали счетов и время встреч. Наряду с весами, Xiaomi предлагает демоверсию в браузере, сервис MCP и набор инструментов Agent Skill для разработчиков.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
