前言

传统的基于OCR的pipline的相关技术路线（如下图），目前多模态大模型的出现，文档解析技术链路出现了新的一些玩法。

最近看到一个新产品，EasyDoc（https://www.easylink-ai.com/easy-doc/），在原有的OCR链路中引入了多模态大模型进行图表理解，由此，笔者又更新了一张图，如下：

图2：OCRpipline结合多模态大模型的文档智能解析技术路线

下面我们来看结合☞EasyDoc这个新框架，看看Easydoc文档解析过程中的相关技术实践路线、通过实际深度的测试看看Easydoc的效果及差异化特点和Easydoc文档层次化结构对于RAG的增益思考。供参考。

一、Easydoc文档智能解析技术路线

1.1、版式分析

文档版式分析是指对文档的物理结构、视觉布局及内容组织形式进行系统性解析的过程。通过bounding box定位其中的关键区域，识别文档中的各类元素（如图像、表格等）及其空间分布、格式特征，从而理解文档的整体架构和信息呈现逻辑。

版式分析区块识别

版式分析如图1、2所示，在文档智能解析路线中处于龙头地位，其优势在于通过大量标注的数据，准确的划分出文档关键区域，获取对应的各区块的bounding box和标签类别，分发到后续流程进一步的处理。如：

• 文本区域：页眉、页脚、标题、段落、页码、脚注、图片标题、表格标题等
• 表格
• 公式
• 图片

版式分析的伴随着多场景，尤其是通用场景的版式分析，对于模型的识别能力有所挑战。笔者尝试了下Easydoc的多场景的版式分析能力，效果还不错。

Easydoc版式分析效果

1.2、表格识别与解析

表格识别与解析的难点一般如下：

• 表格的多样性和复杂性：表格的形式多种多样，包括有线表、无线表和少线表，这使得检测和分割单元格变得复杂 。
• 表格单元格的合并与拆分：某些表格中的单元格可能跨行或跨列，甚至跨页，需要准确识别这些合并的单元格并将其恢复成标准单元格 。
• 表格内容的识别和解析：表格中可能包含图像、公式、符号等非文本内容，需要将它们转换成文本或保留格式 。
• 表格结构的表示和输出：不同的应用场景可能需要不同的表格结构表示方式，如 HTML、JSON、CSV 等，需要将识别结果转换成适合目标应用的格式，并保留数据和样式信息。

从上面可以看到，传统的表格与识别解析方案可以归结为，识别表格结构+OCR文字识别，也就是下面技术实现图：

传统的表格解析技术路线

随着多模态大模型的出现，端到端的表格解析或者是表格理解也提供了新的技术思路。优势可以体现为，不需要多个高精度的专家小模型参与pipline的过程，避免错误传播的风险。笔者观察到，EasyDoc在表格解析与理解端引入了相关多模态大模型。

1.3、图片理解

一般的pipline链路，文档类的图片元素直接在版式分析阶段已经拿到bounding box，后续流程不会对其进行特殊的处理。但图片元素对于文档而言，又是文档中不可或缺的元素信息，多模态大模型的出现，是的文档中图片理解成为可能。EasyDoc中引入了多模态大模型，对图片进行理解生成相关caption，caption对于RAG召回也提供了丰富的上下文信息（其经解析后可转化为结构化数据（如财报中的财务指标），使 RAG 系统能精准召回相关数据点）。也能帮助 RAG 系统理解文档的整体架构。例如，在学术论文处理中，模型可自动关联图片标题与正文引用，避免传统 RAG 因结构割裂导致的信息错位。

1.4、阅读顺序

由于文档布局的复杂性，包括多栏、嵌套表格、不规则的文本框等，这增加了阅读顺序恢复的难度。

1.5、文档恢复（文档层次化）

文档层次化的就是通过版式分析得到的bounding box位置信息对文档进行恢复，并对相关标签进行关系的链接。EasyDoc采取的方式是通过parent_id来描述文档中各元素之间的父子关系（从属关系）：形式化就是<表，parent_id，章节>、<段落，parent_id，章节>等。这种层级结构（如 parent_id）为每个语义单元提供文档路径上下文，增强 RAG 系统的检索准确性。

二、EasyDoc差异化功能测试

EasyDoc结合视觉布局与语义理解，精准识别复杂文档结构，输出逻辑完整的语义单元。

Easydoc多场景版式分析效果

Easydoc结合多模态模型对图片进行理解，其特点体现在实现了类似ChartQA的功能，如：柱状图、饼状图、折线图等的理解与解析，能够精确的理解数值图的内容以及OCR数值提取。

Easydoc多模态图片理解

在1.2节介绍到，传统的小模型的方案存在错误传播的风险，并且传统 OCR 对模糊、倾斜、光照不均的图像敏感，识别率显著下降。多模态大模型通过多尺度视觉特征提取和数据增强提升抗干扰能力。OCR还需依赖模板或人工规则进行后处理，而多模态大模型支持无模板的端到端解析，并具备更强的泛化能力。EasyDoc支持多栏、多表合并的复杂表格输出元信息，如下图，key-value的json形式表示表格。

Easydoc多模态表格解析

对于一些跨页的表格，EasyDoc也支持跨页表格的识别，如下图，可以看到识别并合并到了一个json中：

EasyDoc跨页表格识别

三、多类型文档解析对RAG系统的增益

EasyDoc支持多种格式的文档解析，为RAG知识库的构建提供便利，兼容 .dotm、.docm、.doc、.dotx、.docx、.txt、.html、.dot、.xltm、.xlsm、.xlsx、.xls、.xlt、 .pptx、.potm、.pptx、.ppt、.pot、.pps、.tif、.png、.jpg、.bmp 等主流格式，适配多样化业务场景。

笔者还观察到一个功能，那就是文档层次化，文档层次化可以保留上下文，通过层级结构（如 parent_id）为每个语义单元提供文档路径上下文，增强 RAG 系统的检索准确性。笔者在之前的文章中也介绍过，传统的RAG系统知识库的构建，并没有利用到文档的结构化信息，GraphRAG可以解决一些层次化的问题，如下图RAG vs GraphRAG。

RAG vs GraphRAG

但是还不够，此时还没有利用到文档的层次结构，因此笔者又拿出往期文章中的介绍的图（感兴趣可以翻看笔者往期文章），如下：

DocGraph

DocGraph经过布局分析，进行区域间关系（Inter-region relationship）抽取，如一个表格与其相应的标题、来源、引用段落、所属章节之间的关系；层级逻辑关系包括标题、小节标题、段落等。这一点到是在EasyDoc看到了这个思想。

EasyDoc文档层次结构化树

因此可以看到，DocGraph不就是不就可以看做是一个知识图谱吗？建模到RAG中进一步的不就演变成了带文档层次结构的GraphRAG？这也进一步的为RAG知识线索溯源带来增益。具体增益体现笔者归纳了一下，供参考：

• 层次化树结构通过捕捉parent_id关系显式建模文档的层级结构（如章节→子章节→段落）。提升GraphRAG性能；

• 树结构中的上下文信息（如标题、摘要）与文本内容形成互补。例如，RAPTOR 模型通过递归聚类生成层次化树；

• 结构 - 语义联合检索：GraphRAG 支持同时查询树结构路径和文本语义。

• 层次化社区检测与摘要生成：通过 Leiden 算法等社区检测技术，GraphRAG 将树结构划分为不同粒度的社区（如 C0 全局级、C1 主题级、C2 细节级），并生成层次化摘要。

• 路径导向的逻辑链构建：层次化树结构支持构建 “章节→子章节→段落→实体” 的多跳推理路径。

  …

总结

本文从EasyDoc这个新的文档解析产品再次回顾了文档解析相关技术路线，并结合笔者深度体验了下EasyDoc的相关差异化的点，如：多模态图表理解、文档层次化树的构建等创新亮点，得出结论：小模型和多模态的模型可以协同创新解决文档结构化的难点。并且，RAG知识库的构建出了精确提取文档内容之外，还可以利用文档结构化层次树搞出一些新的玩法，比如如何像EasyDoc一样构建DocGraph，如何将DocGraph进一步的融入RAG系统，提升RAG系统性能。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】