1956年的达特茅斯会议上,首次提出了“人工智能( Artificial Intelligence , AI )”一词,标志着其作为一个研究领域正式登上历史舞台。在半个多世纪的发展过程中,AI经历了多次高潮和低谷,但始终在科技创新的主航道上。近期,大语言模型ChatGPT、文心一言等产品的发布将AI技术推向了新一轮高潮。根据AI技术发展现状,可以大致将其分为机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别等技术领域。
AI作为新一轮产业变革的核心驱动力,赋能传统业务,可以将人从枯燥的劳动中解放出来,减少人力投入,提高工作效率。目前我国政府正处于数字化转型的关键期,档案部门也正在积极探索和寻找利用人工智能、大数据等新一代信息技术推进档案管理模式变革的新途径和新方法。今天我们就来聊聊“AI在哪些档案管理的场景中可以应用”这一话题。
通过对档案管理各业务场景的梳理和分析,笔者认为AI+档案的应用场景包括但不限于档案开放审核、数字化成果处理、辅助档案整理、档案智能检索、辅助档案编研、声像档案处理、辅助接待利用和库房智能助手,应该说AI在档案管理中的应用场景还是比较丰富的,下面我们逐一来分析一下。
场景一
档案开放审核
中办国办印发的《“十四五”全国档案事业发展规划》将“加快推进档案开放”作为“十四五”时期的重要工作任务。档案开放审核是档案开放利用的基础,也是档案工作中的难点问题。目前各级国家档案馆的档案开放审核工作普遍停留在纯人工审核阶段,依靠人工逐字逐句审核、判断,工作量大,工作效率低,严重制约了档案开放的进程。
而基于深度学习、自然语言处理的档案开放审核,利用自然语言处理的中文分词、词性标注、关键词提取、关键词相似度分析、自动分类等技术建立档案开放审核模型,并通过深度学习算法不断对其进行训练和学习,从而优化开放审核模型,协助档案鉴定人员开展档案开放审核工作,提出开放审核建议。将档案鉴定人员从重复、繁重的脑力判断工作中解放出来,有效提升了档案开放审核的效率和准确性。
场景二
数字化成果处理
纸质档案数字化加工依然是现阶段档案部门的一项重要工作。在档案数字化加工过程中涉及图像质检、条目著录、全文OCR识别等操作。传统档案数字化加工,扫描、质检、条目著录都依靠人工操作,工作量大,枯燥繁琐。比如图像质检工作,需要人工对扫描成果进行翻转、纠偏、去噪点等。
随着AI的发展,可以借助图像识别技术在质检过程中对图像是否有噪点、是否倾斜、是否倒置等进行自动检测,发现问题及时自动进行去噪、纠偏、旋转处理,大幅度降低质检工作量。
在条目著录的时候,也可利用图像识别技术对扫描页面进行版面分析,自动判断档号、题名、责任者等著录字段,自动提取相应的信息完成条目著录。
此外,AI还可在数字化副本的涉密筛查和手写体OCR识别中发挥重要作用。
针对涉密筛查,由于密级标识的形状多样,包括圆形、方形、椭圆形、钢笔手写、毛笔手写、无框等等,并且密级标识在图像中的位置也不固定,涉密筛查难度非常大。可以借助AI技术,首先对常见的带涉密标识的数字化副本进行训练和学习,建立涉密筛查模型,并不断对其优化,提高涉密筛查的准确率。
手写体档案的OCR识别准确率也是一直困扰档案人员的难点问题。目前档案馆保存的大部分历史档案都是手写体,并且手写体的字迹差别很大,OCR识别准确率不高,制约了档案数据化的进程。为了提升手写体OCR识别的准确率,可以利用AI技术,对不同的手写体字迹进行分析、训练、学习,让其认识更多的手写体,来应付多样性、复杂性的OCR识别场景。目前这一技术应用还在研究过程中,市场上尚没有杀手级的产品出现。
场景三
辅助档案整理
随着电子文件归档工作的不断推进,越来越多的电子文件通过归档进入档案部门,随之给档案整理带来了巨大压力。档案整理工作包括档案分类、档案排序、确定保管期限等。基于自然语言处理技术在中文分词、词性标注、句法结构分析、语义分析等方面的能力,可在档案整理中发挥重要作用。
自然语言处理技术可对档案文本内容进行深入的挖掘和分析,形成文本特征标签。文本特征标签的生成有两种来源,一是通过对基于AI的OCR识别技术对数字化副本中的文本(含手写体)进行全文识别,也就是通常所说的数字化成果的数据化;二是来源于原生电子文件归档之后的电子档案,本身就已经是电子全文。
再利用自然语言处理技术对档案全文内容进行分析,深入挖掘语义关系,提取档案全文中的潜在特征,生成语义标签。根据文本特征标签,系统可实现关键词自动提取、档案自动摘要、档案自动分类等操作,辅助开展档案整理工作。
场景三
档案智能检索
在传统的档案检索中,由于检索引擎缺陷,往往只能对系统中的结构化信息进行检索,查全率和查准率都不尽如人意。
将AI技术应用于档案检索,基于自然语言处理技术,在输入检索词时,系统将自动对检索词进行词性分析、词性标注,然后从逻辑上进行语义分析,“理解”检索的真正意图,同时在理解检索目的后,系统还可提供自动检索词提示、相关检索词推荐、检索词自动纠错等功能,提升用户检索体验;基于图像识别、人脸识别技术,开发以图搜图功能,可将检索对象从文本类向图像类延伸;基于语音识别技术,通过语音输入的方式进行档案检索,提升了档案检索的交互体验。
同时,为了帮助用户快速发现感兴趣和高质量的信息,在检索结果界面可以运用知识图谱和智能推荐的功能。
知识图谱可以构建一个与搜索结果相关的完整知识体系,让用户往往有意想不到的新发现,启发其完成后续搜索操作。当用户查看某一条检索结果时,通过语义关系和语义联想,进行关联档案分析,再用可视化的语义网络形象地展示某一档案及其相关档案的关系结构。
除了知识图谱,还可提供针对检索结果的相关推荐,将用户的检索需求与文本内容进行匹配,在语义空间搜索相似度最高的文档,在检索结果旁边以“相关档案推荐”的方式列表展示出来。
场景五
辅助档案编研
档案编研对于宣传档案丰富内涵、挖掘档案内在价值具有重要意义。在档案编研工作中,编研素材质量的好坏直接影响到编研成果的质量,传统档案编研受限于档案检索功能的不完善以及编研人员的个人知识结构,许多珍贵、有价值、和主题相关度高的档案无法进入编研范围,进而影响编研成果。
自然语言处理技术的引入,在编研素材收集时通过智能检索引擎、知识图谱和智能推荐等功能,可为档案编研提供丰富、高质量的素材,提高档案编研的质量和效率。
另外,ChatGPT、文心一言等大语言模型具备超强的语言理解能力以及对话生成、文学创作等能力,目前由于各种原因这些大语言模型并不适用于档案行业。可以借用大语言模型的思路,使用开源框架、自建数据库、购买算力的方式为档案系统定制轻量级的语言模型,并选择合适的数据、模型结构、训练方法对语言模型进行优化。有了这个轻量级的语言模型,那么编研人员可以彻底从编研工作解放出来,只需要输入编研主题,编研系统即可自动开展档案编研工作,自动生成档案编研成果。
场景六
声像档案处理
受传统技术的限制,以往对照片档案、录音档案、录像档案的处理一般仅限于通过著录字段进行信息著录,而在档案利用过程中,基本无法根据这些有限的著录信息,找到声像档案中的重要信息或片断。而AI技术的发展为声像档案处理带来了全新的处理方式。
照片档案
针对照片档案,可以通过人脸识别技术,将照片中的人像进行提取,建立人脸库,以便于通过人脸对比开展人物检索,这在名人档案管理中将发挥重要作用。同时也可利用图像处理技术对照片档案内容展开分析,对关键内容进行标注,从而提高照片档案的利用效率。
录音档案
对于录音档案,基于语音识别技术,可以将现有的录音档案进行精确识别,让整个录音内容一字不漏地变成易于检索利用的文字形式。
录像档案
对于录像档案,除了可将录像中的音频转换成文字外,还可对录像中的关键帧、关键片段进行自动提取、著录,转换成可利用数据,再通过关键字检索全部内容,使音视频档案的检索利用,从传统的基于著录项的检索转变为基于内容的检索。
场景七
辅助接待利用
借助当前流行的智能客服、机器人、人脸识别、语音识别等技术,拓展档案服务渠道,创新档案服务方式,提高档案馆公共服务的认知度和用户满意度,是档案馆便民服务的发展方向。
在档案馆的接待利用大厅中,与AI相关的业务场景主要有自助查档机和接待机器人。
自助查档机融合了人脸识别、语音识别等技术,通过人脸识别技术实现查档人员的身份认证,实现人证合一,通过集成语音识别技术,实现无障碍查档。
接待机器人除了提供查档指南等信息服务外,还可提供机器人指引服务,可将场馆的地理位置布局信息共享到智能服务机器人中,查档用户到馆后可通过语音交互或触屏点击方式说明自己的目的地,由机器人进行精准导航,将查档用户导引到指定地点。
场景八
库房智能助手
在档案库房中,与AI相关的业务场景主要有智能库房机器人、语音控制等。
智能库房机器人应用了RFID技术,可实现精确定位档案位置、精准协调密集架开合、高速存取档案、自动库房巡航等功能。比如针对档案上下架操作,通过识别档案的RFID信息,机器人将存入的档案传送至对应的档案架处,实现档案自动上架;取档案时,通过识别档案的存放位置及RFID信息,机器人抓取目标档案,从档案架上取走档案,实现档案自动下架。
另外,利用语音识别技术,通过语音控制智能密集架的开合、库房灯光的开关、智能设备的开关等,可有效提高库房管理的效率。
从以上AI+档案应用场景的梳理可以发现,AI在档案管理中确实有非常好的应用前景。但于经费预算、产业规模、算法改进、传统档案数据化进程等方面的原因,AI辅助档案开放审核、辅助档案编研、手写体OCR识别等目前较多停留在课题研究阶段,离大规模推广应用还有一定的距离。但是,针对图像识别、人脸识别、语音识别等在日常生活中普遍应用的AI技术,已经在档案数字化加工、检索利用、接待大厅、档案库房等业务场景中发挥了较大作用,并已得到一定程度的推广应用。