10 sistemas de extracción de documentos, medidos de verdad

Corpus. 100 páginas muestreadas estratificadamente (seed fija, script publicado) de OmniDocBench (CVPR 2025), el benchmark estándar contra el que reportan Mistral, Baidu y DeepSeek —revisión fijada (aa1ee96, contenido v1.6, 1.651 páginas)—. Estratos: 12 manuscritas, 10 escaneos degradados, 20 tablas densas, 15 con fórmulas, 13 layout difícil, 15 con figuras, 15 texto denso; 57 páginas contienen inglés, 41 chino. La muestra sobrepondera a propósito los subsets *difíciles*: los absolutos aquí son más bajos que en el leaderboard público, lo que importa es la comparación bajo condiciones idénticas.

Sistemas y serving. Cloud: Mistral OCR 4 y 3 (API). Autohospedados en GPUs en la nube con la receta oficial de cada uno: Unlimited-OCR 3B, DeepSeek-OCR, PaddleOCR-VL 0.9B (pipeline oficial; el modo a pelo se reporta aparte como ablación), olmOCR-2 7B. CPU: Docling y Marker en un M-serie local (secuencial). naktor-extractor corrió en su configuración de producción.

Calidad. Dos capas independientes. (1) El harness oficial de OmniDocBench (quick_match, GT filtrado a las 100 páginas): distancia de edición de texto, TEDS de tablas, distancia de fórmulas y orden de lectura. (2) Doble juez LLM multimodal que ve la imagen y el markdown y puntúa completitud, fidelidad, estructura y alucinación, con dos jueces de familias distintas para no depender de un solo modelo. La capa (1) es estricta con la estructura; la (2) mide si la *información* sobrevive aunque el formato difiera. Las divergencias se investigan, no se promedian.

Coste. Medido, no de lista: los APIs por facturación real por página; los autohospedados por wall-clock de un lote de 100 páginas concurrente con el contenedor caliente × la tarifa por hora de GPU en la nube, a la concurrencia máxima que cada serving admite. El cold start se mide y reporta aparte. CPU local: tiempo × tarifa de un contenedor cloud equivalente. La cifra de naktor-extractor es su precio, no su coste.

Verificación adversarial. Toda anomalía se intentó refutar antes de publicarla, con las páginas y diffs delante. Los artefactos crudos existen localmente para auditoría; no se republican porque el copyright del corpus lo impide (ver Limitaciones).

1. La prima de precio de Mistral OCR 4 no se traduce en calidad. A $4/1000 (2× OCR 3, 4× naktor-extractor), OCR 4 empata en texto (0.090 vs 0.089), pierde 15 puntos de TEDS en tablas y dobla la distancia en fórmulas. Su fortaleza real es la latencia por página vía API (2.2s p50) y la fidelidad percibida por el segundo juez (83.6, la más alta) — para flujos interactivos de pocas páginas es un buen producto; para digitalización masiva su precio no se sostiene frente a la frontera on-prem.

2. El caso Unlimited-OCR: el hype no sobrevive al harness. El lanzamiento de Baidu presume de batir el estado del arte en OmniDocBench. En nuestra muestra dura, con su receta vLLM oficial, pierde o empata con naktor-extractor en texto, tablas y fórmulas, y solo gana con claridad en manuscrito (0.22 vs 0.34) — mérito real pero lejos de «mejor en todo». Su arquitectura (3B MoE, KV constante) sí lo hace barato de autohospedar ($0.74/1000).

3. Las métricas también mienten si no se auditan: un artefacto que casi publicamos. OCR 3 parecía mejor que OCR 4 en inglés (0.033 vs 0.073); el 93% de la brecha era UNA página —un índice de libro que OCR 4 renderizó como tabla y el GT anota como texto plano; la distancia de edición castiga el markup, no la lectura. Sin esa página, empate (0.034 vs 0.037). Lo publicamos porque un benchmark que no muestra sus falsos positivos no merece confianza.

4. El serving es parte del modelo. PaddleOCR-VL pasa de 0.197/TEDS 0.0 (VLM a pelo con prompt genérico) a 0.066/TEDS 84.7 (pipeline oficial con layout + prompts por elemento): el mismo checkpoint, 3× mejor texto y de inutilizable a segundo puesto en tablas. Los números de cualquier comparativa dependen de decisiones de serving que casi nunca se documentan.

5. La frontera calidad-precio es on-prem. Ningún API cloud domina a naktor-extractor en calidad-por-euro. Y hay un segundo eje que el precio no captura: gobernanza — todo lo enviado a Mistral sale de tu infraestructura, lo que para banca, sanidad o administración puede ser un descarte directo antes de mirar precio. naktor-extractor se despliega en tu infra, a $0.99/1000, con calidad de cabeza; y en documentos con capa de texto nativa (la mayoría reales) el coste baja mucho más — algo que este corpus, 100% escaneado, no ejercita.

6. (Post-benchmark) El benchmark nos auditó a nosotros. Al analizar página a página dónde perdíamos, la brecha entera de texto se concentraba en ~5 páginas cuyos títulos de tabla, pies de figura y sub-preguntas faltaban en nuestro markdown: se extraían bien, pero nuestro render los descartaba. Re-render A/B sin ruido (mismas salidas, solo cambia el render): texto 0.088 → 0.064 (chino −36%), orden de lectura 0.176 → 0.152. El mayor retorno de construir un benchmark reproducible fue poder auditar nuestro propio producto con él; el fix está commiteado con sus tests.

• 100 páginas. Suficiente para separaciones grandes (15 puntos de TEDS), frágil para diferencias finas: promedios sobre subconjuntos pequeños (14 páginas de fórmula) mueven ±0.05 con una sola página.
• Corpus 100% escaneado (OmniDocBench entrega imágenes): en documentos con texto nativo (la mayoría reales) el coste baja mucho — algo que este corpus no mide —, y los CPU-clásicos compiten en su peor terreno.
• Muestra sesgada a «difícil» a propósito: no comparar estos absolutos con el leaderboard oficial (sanity check: en las páginas inglesas da 0.036 vs 0.033 publicado — el harness está bien cableado).
• Sin CDM de fórmulas (solo distancia de edición) y sin Azure ni AWS Textract (sin credenciales durante la ejecución; se añadirán en una revisión).
• Marker se midió pero se excluye de la tabla principal: nuestro setup (CPU local secuencial) le da un coste 100× fuera de su rango representativo. Publicarlo como «Marker» sería engañoso; se reevaluará en modo GPU.
• Jueces LLM no deterministas (±2 puntos entre runs) y con sesgos conocidos; por eso son la capa secundaria y hay dos de familias distintas.
• Los autores comercializan naktor-extractor. El antídoto es la reproducibilidad: para los sistemas públicos, harness, page-IDs, seeds y configs están publicados; cualquiera puede re-derivar sus filas.

Dataset: OmniDocBench revisión aa1ee96 (HuggingFace, descarga gratuita). Publicamos: script de muestreo con seed (corpus/sample.py, seed 20260703), los 100 page-IDs, los runners de los sistemas públicos con sus configs exactas, el driver del harness oficial, los prompts de jueces y este análisis. No republicamos las imágenes ni el markdown extraído (copyright del corpus) — se regeneran con los scripts en ~1h y ~$15.