近年来,鼓楼区档案馆深入贯彻落实习近平总书记关于档案工作“四个好”“两个服务”的重要批示精神,主动顺应人工智能技术发展趋势,积极探索AI技术在档案开发利用中的创新应用,以“AI+档案”赋能档案工作转型升级,推动档案资源从“静默沉睡”走向“活态利用”。
一、需求驱动:破解档案开发利用现实困境
随着经济社会快速发展,档案利用需求日益多元,传统档案编研与开发利用方式面临多重挑战。档案编研工作长期依赖人工阅读、摘录、整理,耗费大量人力和时间;馆藏档案数量庞大、种类繁多,特别是老旧档案中手写体识别困难、表格结构复杂,编研人员在海量档案中检索信息如同“大海捞针”;群众查阅档案时往往只能提供模糊关键词,传统检索方式难以精准匹配。与此同时,馆内导入的PDF、Word等多种格式文档,需要统一提取、分块、向量化后存入知识库,技术门槛高、流程繁琐。破解档案开发利用效率瓶颈,亟需引入智能化手段。
二、技术探索:构建"AI+档案开发"全流程工作链路
鼓楼区档案馆以构建档案知识库为核心目标,依托开源大语言模型(Ollama)和向量数据库(Milvus),探索搭建了一套涵盖“OCR识别—LLM解析—向量化存储—智能检索”的档案开发利用技术链路。
(一)OCR识别:突破手写体与表格识别瓶颈。馆藏档案中大量存在手写体公文、表格文件,传统OCR工具对手写体识别率低。针对手写体档案,采用PaddleOCR的SVTR_LCNet算法进行针对性优化,有效提升了手写体文字的识别准确率。针对表格档案,采用OCR识别与LLM语义解析相结合的方案,首先通过OCR识别表格区域内的所有文字内容,再将识别结果交由大语言模型进行表格结构解析和内容重组,由LLM根据语义理解还原表格的行列逻辑和单元格对应关系,输出规范化的表格数据。经测试,印刷体档案识别准确率达95%以上,手写体档案实现部分识别,表格结构解析准确率满足编研利用基本需求。
(二)LLM解析:实现档案文本智能清洗与结构化整理。OCR识别后的原始文本常包含乱码、断行、错位等问题,直接使用会影响检索效果和阅读体验。区档案馆引入大语言模型(LLM)对OCR结果进行二次处理:一是智能清洗,自动去除乱码字符、修正明显错别字;二是语义重组,按阅读顺序拼接被拆分的词句,恢复原始语义;三是表格结构化,将OCR识别出的表格内容交由LLM根据语义理解还原表格结构,整理为规范格式。经LLM处理后,档案文本质量显著提升,乱码率大幅降低,为后续向量化存储奠定了高质量数据基础。
(三)向量化存储:构建档案知识库实现智能检索。将清洗后的档案文本按语义边界分块,通过嵌入模型(bge-m3)生成1024维向量,存储于Milvus向量数据库。相较于传统关键词匹配检索,向量检索能够理解语义关联,实现“模糊查询精准定位”。例如,检索“湖南路拓宽工程拆迁补偿协议”,系统能够自动匹配相关内容,即使查询词与原文不完全一致也能准确召回。目前馆内档案知识库已收录档案文本向量近万条,检索响应时间只需数秒。
(四)全流程闭环:从PDF到知识库的自动化流水线。针对馆藏存量档案数字化成果,建立了“PDF导入→OCR识别→LLM清洗→向量化存储→智能检索”的全自动处理流水线。工作人员只需将待处理档案放入指定文件夹,系统自动完成全流程处理,并输出详细处理日志。对于识别失败或跳过的页面,日志中清晰记录失败原因(如“手写体识别置信度过低”“LLM表格解析失败”等),便于人工复核补充。这条流水线的建成,使档案编研人员从繁琐的文本整理工作中解放出来,将更多精力投入内容研究和价值挖掘。
三、实践成效:档案开发利用效能显著提升
通过“AI+档案”技术链路的探索应用,区档案馆在档案开发利用方面取得了初步成效。一是编研效率大幅提高。以一份50页的手写体档案为例,传统人工整理录入需要1—2个工作日,采用AI全流程处理后,从PDF导入到向量入库仅需60分钟左右,编研效率提升数十倍。二是检索体验显著改善。传统档案检索依赖题名、关键词等元数据,检索结果往往“查不全、找不到”。向量检索支持语义理解,用户可以用自然语言描述需求,系统自动匹配语义相关的档案内容,检索查全率显著提升。三是馆藏档案“活起来”。通过知识库的语义关联能力,系统能够自动发现档案之间的内在联系,辅助编研人员挖掘档案中的历史脉络和隐性知识。例如,将不同时期、不同全宗的涉房档案进行关联分析,可快速生成专题编研素材。
四、改进方向
下一步,区档案馆将持续深化“AI+档案”探索,重点在以下方面持续优化:一是进一步优化手写体识别模型,针对不同年代、不同书写风格的档案进行专项调优,持续提升识别精度;二是探索引入专用表格结构识别模型(如PP-Structure的SLANet系列),进一步提升复杂表格的解析准确率;三是探索多模态档案识别能力,对档案中的印章、手绘图等非文字信息进行智能识别与标注,丰富档案知识库的信息维度;四是完善档案知识图谱建设,通过实体抽取和关系识别,构建档案人物、机构、事件之间的知识网络,为编研提供更智能的知识发现能力;五是稳步扩大档案知识库覆盖范围,将更多馆藏档案纳入智能管理体系,推动档案开发利用从“数字化”向“数智化”转型升级。
AI技术正在深刻改变档案工作的面貌。区档案馆将坚持“科技赋能、服务为民”的理念,在守牢档案安全底线的前提下,积极拥抱新技术,让沉睡的档案资源真正“活起来”“用起来”,为新时代档案事业高质量发展贡献智慧和力量。
作者:鼓楼区档案馆 刘珲