IBM предложила DocLang — формат документов, который языковые модели читают без потерь

У языковых моделей появился собственный формат документов. Команда IBM Research, которая делает конвертер Docling, представила DocLang — строгий диалект XML. Он сообщает модели, где кончается заголовок и начинается подпись к графику, и тратит на это меньше токенов.

Руководитель Docling Петер Стаар (Peter Staar) объясняет, зачем это нужно. PDF говорит программе, куда ставить пиксели, DOCX — как верстать страницу. Когда такие файлы пропускают через ИИ, путается порядок чтения, разваливаются таблицы, у рисунков теряются подписи. Всё это происходит до того, как модель увидит текст, и ограничивает её точность. DocLang сразу хранит смысл элементов, их расположение на странице и порядок чтения.

Главный принцип — у одного содержимого ровно одна запись. «Две системы, которые правильно прочитали документ, должны выдать побайтово одинаковый результат», — говорит Стаар. По его словам, так не гарантирует ни один прежний стандарт, а именно это позволяет обучать модели на формате и проверять их вывод. Каждый открывающий и закрывающий тег соответствует одному токену модели. Словарь разметки ограничен примерно 1 000 токенов. Грамматика не позволяет записать таблицу с неправильной сеткой или незакрытый элемент. В начале документа можно хранить пометки о персональных данных и запретах на обучение, а сам формат описывает также аудио, изображения и видео.

Идея выросла из работы над таблицами. Команда учила модели выдавать таблицы в HTML, и те постоянно ломали разметку. Компактный специальный язык OTSL в 2023 году дал и точность, и скорость. Потом появилась модель SmolDocling на 256 млн параметров: по данным IBM, она конкурировала с моделями в 27 раз крупнее. Её формат DocTags не был полностью совместим с XML, и DocLang исправляет этот недостаток.

Стандарт передан под управление Linux Foundation. Выдавать DocLang уже умеют Docling и ABBYY FineReader Engine. Сам Docling скачали 32 млн раз, это самый успешный открытый проект IBM. Стаар признаёт риски: формат пока в версии 0.x, и новые версии могут ломать совместимость. Переход обойдётся тем, у кого уже работают свои конвейеры обработки документов. Есть и опасность, что стандарт распадётся на версии отдельных вендоров. «Спецификация без реализаций — это просто документ», — говорит он. Так что судьба DocLang зависит от того, подхватят ли его другие.