Baidu выпустила и открыла исходный код Unlimited OCR 2, второй версии своей модели анализа документов, с целью чтения документов любого количества страниц за один проход. Код и веса доступны на GitHub и Hugging Face под лицензией MIT, а модель также предлагается через Baidu AI Cloud и Baidu AI Open Platform.
Первая версия Unlimited-OCR, выпущенная в июне, использовала механизм внимания с эталонным скользящим окном для расширения анализа с одной страницы до десятков последовательных страниц. Версия 2 заменяет его на Sparse Reference Sliding Window Attention, или SR-SWA. Baidu сравнивает этот подход с тем, как человек переписывает книгу: фокусируется на текущей странице и обращается к предыдущим только тогда, когда требуется информация, охватывающая несколько страниц. На практике “страничный гейт” сначала сужает визуальную ссылку каждого запроса со всего документа до релевантных страниц, моделируя межстраничные позиции, а затем выбираются наиболее высокооцененные группы визуальных токенов для захвата дальних зависимостей.
Согласно README проекта, SR-SWA сжимает текстово-визуальное внимание от сверхдлинных последовательностей в фиксированный рабочий набор ссылок, например, 512 токенов, поэтому задержка декодирования и память на каждом шаге остаются почти постоянными независимо от длины документа. В сочетании с тем, что Baidu называет Unlimited-Horizon Decoding, это позволяет модели обрабатывать очень длинные входные данные в пределах конечного контекстного окна. В демонстрации Baidu модель обработала все семь книг о Гарри Поттере, более 3600 страниц, за один проход.
Цифры бенчмарков основаны на собственных тестах Baidu. Компания сообщает о результате 84,6 на MPDocBench, бенчмарке для анализа многостраничных документов, и 77,1 на MarathonDocBench, бенчмарке для документов объемом в сотню страниц, который Baidu выпустила вместе с моделью на Hugging Face. Baidu утверждает, что оба результата являются передовыми для сквозного анализа и опережают несколько протестированных ею общих моделей высшего уровня. В сценарии со 100 страницами SR-SWA декодирует каждый шаг в семь раз быстрее, чем полное внимание, и в 5,6 раза быстрее, чем предыдущая конструкция R-SWA. Независимые оценки на момент написания статьи опубликованы не были.
Первая версия вызвала большой интерес у разработчиков, и Baidu сообщает, что она уже набрала более 10 миллионов загрузок на Hugging Face и 28 500 звезд на GitHub. В настоящее время модель работает с Transformers для быстрых тестов и SGLang для обслуживания. Baidu планирует представить больше информации о модели на Baidu World 2026 12 ноября.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
