智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析

47 0 0

文章摘要

智谱发布的GLM-OCR模型以仅0.9B参数实现多项突破，登顶OmniDocBench V1.5榜单，并在公式识别、表格解析等主流基准中取得SOTA表现。该模型通过多Tokens预测损失与深度强化学习技术，以轻量化架构实现高精度，为文档解析领域树立新标杆。其核心创新在于将视觉编码与语言解码精密结合，采用三级火箭架构（视觉编码器-连接层-语言解码器），其中CogViT视觉编码器经过数十亿级图文数据预训练，配合GLM-0.5B解码器实现高效信息转换。

模型在六大核心场景中展现卓越性能：代码文档能精准保留缩进与语法结构；复杂表格可识别合并单元格逻辑；手写体识别具备强鲁棒性；多语言混排、印章遮挡等高难度任务保持高准确率。典型案例显示，数学公式的上下标和空间结构能被完整还原为可编辑格式，印章文字与背景干扰可有效分离，代码截图能如专业IDE般准确解析结构。表格处理引入深度版式理解，直接输出HTML代码实现”所见即所得”，大幅提升数据录入效率。

技术架构上，连接层采用SwiGLU机制与4倍下采样策略，像智能压缩算法般筛选关键视觉Token，既保留图像细节又减轻解码负担。训练阶段首创多Tokens预测损失（MTP），增强长程上下文依赖；全任务强化学习则提升模型在折痕、潦草等真实场景的鲁棒性。系统层面采用”版面分析→并行识别”两阶段范式，基于PP-DocLayout-V3快速区分文档结构元素。

部署方面实现极致优化，单副本处理PDF达1.86页/秒，API成本低至0.2元/百万Tokens。较传统方案成本下降90%，支持边缘设备部署，使企业可用现有算力搭建高性能OCR服务。结构化输出能力尤为突出，能按Prompt要求从报关单等复杂文档中提取嵌套字段，输出标准JSON格式，直接对接金融、物流等行业的业务流程。

该开源模型通过轻量化设计、多模态协同和工程优化三重创新，重新定义了OCR技术的性价比边界，为教育、科研、办公等场景的数字化转型提供新工具。其高精度识别与结构化输出特性，也为RAG系统提供了高质量的底层数据支撑，推动AI应用向更高可靠性发展。