Xiaomi выпустила открытую модель OCR-0 для распознавания документов

Компания Xiaomi представила модель OCR-0, предназначенную для эффективного распознавания текста, извлечения структурированных данных из документов и ответов на вопросы по их содержимому. Новая разработка компании доступна в открытом доступе и обладает компактным размером в 0,8 млрд параметров.

• Модель создана на базе Qwen3.5-0.8B-Base и обучена на датасете из 170 млн примеров.
• Поддерживает обработку таблиц, формул, сохранение порядка чтения и экспорт в Markdown и LaTeX.
• В бенчмарках Real5-OmniDocBench и OmniDocBench v1.6 модель набрала 95,24 и 96,83 балла соответственно.
• Исходный код и веса модели опубликованы на условиях свободной лицензии Apache 2.0.

Архитектура и обучение модели

В основе OCR-0 лежит базовая модель Qwen3.5-0.8B-Base, которая прошла масштабное дообучение на корпусе, насчитывающем 170 млн примеров. В этот датасет вошли как целые страницы документов, так и отдельные фрагменты, а также специализированные задания на глубокое понимание текста.

После завершения этапа предварительного обучения разработчики применили метод обучения с подкреплением, сфокусировавшись на наиболее сложных примерах. Такой подход позволил существенно повысить точность извлечения данных и понимания контекста документов.

Возможности и форматы вывода

Xiaomi-OCR-0 способна не просто распознавать текст, но и обрабатывать сложные элементы, такие как таблицы и математические формулы. При этом система умеет корректно сохранять порядок чтения страниц, что критически важно для структурирования информации.

Результаты работы могут выдаваться в удобных форматах: текст оформляется в Markdown, а математические формулы конвертируются в LaTeX. Для извлечения конкретных полей пользователи могут задавать специальные JSON-схемы, что упрощает интеграцию в бизнес-процессы.

Результаты тестирования

В ходе сравнительных тестов на бенчмарках Real5-OmniDocBench и OmniDocBench v1.6 модель продемонстрировала высокие результаты, набрав 95,24 и 96,83 балла соответственно. Средняя оценка по пяти основным тестам составила 83,2 балла.

Для сравнения, более крупная модель Qwen3.5-2B в аналогичных тестах показывает результат в 80,9 балла. Это подчеркивает высокую эффективность архитектуры OCR-0 при относительно небольшом числе параметров.

Доступность и инструменты интеграции

Код и веса OCR-0 распространяются по открытой лицензии Apache 2.0. В официальном репозитории разработчики предоставили необходимые инструменты для локального запуска модели.

Помимо этого, проект включает MCP-сервер и специальный скилл для интеграции с современными ИИ-агентами. Желающие могут протестировать модель без установки с помощью интерактивного демо на платформе Hugging Face.