CN113343968A - 多模板证书快速审证方法、***、介质及装置 - Google Patents
多模板证书快速审证方法、***、介质及装置 Download PDFInfo
- Publication number
- CN113343968A CN113343968A CN202110594815.7A CN202110594815A CN113343968A CN 113343968 A CN113343968 A CN 113343968A CN 202110594815 A CN202110594815 A CN 202110594815A CN 113343968 A CN113343968 A CN 113343968A
- Authority
- CN
- China
- Prior art keywords
- certificate
- picture
- template
- module
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Character Input (AREA)
Abstract
本发明属于证书识别技术领域,尤其涉及一种多模板证书快速审证方法、***、介质及装置。本发明旨在解决现有海关检疫审核时间长、准确度低的问题。本发明的方法包括:接收待审核证书图片;匹配证书图片对应的模板;基于模板中的预设ROI区域的坐标,框选证书图片中的实际ROI区域;通过OCR模型对框选的实际ROI区域的图片进行处理,获得实际ROI区域内的字段结果;对字段结果进行抽取,获得最终的证书信息;根据识别出的证书信息判断待审核证书的真伪判别。本发明基于文本框匹配模板,基于模板预设ROI得到图片实际ROI,再对实际ROI区域进行识别,避免了其它杂项的干扰,识别准确增加。
Description
技术领域
本发明涉及证书识别技术领域,尤其涉及一种多模板证书快速审证方法、***、介质及装置。
背景技术
不同于身份证、银行卡识别校验等文本量小的任务,从样式多样、布局复杂、页数不一的多模板的各类证书文件中,人工查找关键字段并与业务数据比对是非常耗时耗力的任务。下面以某省份海关的检验检疫证书审核为例进行说明,当然,多模板证书的应用场景不仅限于此,例如由于毕业证书也是每个学校不同,本发明还可以应用于企业或者特殊机关对毕业证书的识别等场景。在海关检疫证书审证过程中,官员需要人工对企业通过“线上海关”上传的证书扫描件与各国证书模板、兽医官签字信息、签证官信进行比对校验。关员审核1份进口肉类检验检疫证书,需要切换4个业务***和网站,核对近20个要素,每份证书审核耗时约10-30分钟,现场关员工作压力大,人工核对的准确率却难以得到完全保证。因此,借助基于人工智能技术的OCR(Optical Character Recognition,光学字符识别)方法,实现对证书扫描件的智能文字识别和自动字段提取有重大意义。
根据识别场景,可大致将OCR分为识别特定场景的专用OCR和识别多种场景的通用OCR。通用OCR可以用于多数场景,但由于通用图片的场景不固定,文字布局多样,因此需要直接识别所有文字,准确度较低且计算量较大。常见的身份证识别和车牌识别就是专用OCR的典型案例,往往只检测并识别部分关键字段。但由于要检测这些字段,需要事先采集大量实际生产环境样本图片并进行人工标注,才能训练深度神经网络模型进行关键字段的检测识别,而且,每增加一种不同样式的待识别证件都需要重新训练。
检验检疫场景下,需要对不同语种、国家、证书类型,包含至少四十多种不同样式的证书,实现OCR识别和字段提取。若对每类证书单独训练专用OCR模型,需要采集海量证书文件并人工标注,工作量过于庞大且扩展不灵活,并且由于客观限制,从海关获取如此多的数据涉及到的泄密可能性太高,也是不能实现的;但如果直接使用通用OCR,则难以从全文信息中精准提取关键字段,准确度也不足。
相应地,本领域需要一种新的多模板证书快速审证方法、***、介质及装置来解决现有海关检疫审核时间长、准确度低的问题。
发明内容
为了解决现有技术中的上述问题,即为了解决现有海关检疫审核时间长、准确度低的问题,本发明提供了一种多模板证书快速审证方法,包括:
S01、接收待审核的证书图片;
S03、匹配所述证书图片对应的模板;
S04、基于所述模板中的预设ROI区域的坐标,框选所述证书图片中的实际ROI区域;
S05、通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得所述实际ROI区域内的字段结果;
S06、对所述字段结果进行抽取,获得最终的证书信息;
S07、根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
在上述方法的优选技术方案中,步骤S01之后,所述方法还包括:
S08、将所述证书图片的格式转换成统一预设格式;并且/或者,
S09、通过分类模型确定的旋转方向对所述证书图片进行翻转矫正,其中,所述分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向;并且/或者,
步骤S03之后,所述控制方法还包括:
S11、基于匹配结果,判断所述证书图片相较于模板是否完整无误,当判断所述证书图片完整无误后执行下一步操作;其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整。
在上述方法的优选技术方案中,骤S01之后,所述方法还包括:
S02、通过已训练的OCR模型提取所述证书图片中的文本框及文字,基于所述文本框的坐标和所述文字的内容,继续执行下一步操作。
在上述方法的优选技术方案中,步骤S02之后,所述方法还包括:
S10、根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到所述证书图片平均的倾角,并基于所述倾角的大小对所述待审核的证书图片进行旋转修复,当修复完成后执行下一步操作。
在上述方法的优选技术方案中,已训练的OCR模型是多语种OCR模型;并且/或者,
步骤S04进一步包括:
将所述模板所对应的关键词与所述证书图片中的文字的内容进行匹配,获得所述证书图片中的所有关键词的定位;基于所述证书图片中和所述模板中同样的两个关键词之间的距离的比值获得所述证书图片的缩放系数;获取所述模板的关键词与所有预设ROI区域(region of interest感兴趣区域)的坐标之间的距离关系,经过缩放系数换算到所述证书图片中,获得所述证书图片中的实际ROI区域的坐标,并进行框选;并且/或者,
步骤S06中,对所述字段结果进行抽取的具体方式为:通过正则规则对所有字段结果进行抽取;并且/或者,
步骤S07中,证书信息包括证书编号,以及种类、件数、重量、运算工具号、铅封号、出口地址、进口地址中的至少一项。
本发明还提供了一种多模板证书快速审证***,包括:
图片接收模块:接收待审核的证书图片;
模板匹配模块:匹配所述证书图片对应的模板;
实际ROI区域确认模块:基于所述模板中的预设ROI区域的坐标,框选所述证书图片中的实际ROI区域;
图片二次识别模块:通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得所述实际ROI区域内的字段结果;
证书信息提取模块:对所述字段结果进行抽取,获得最终的证书信息;
证书信息对比模块:根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
在上述***的优选技术方案中,在图片接收模块之后,所述***还包括:
图片格式转换模块:将所述证书图片的格式转换成统一预设格式;
图片翻转矫正模块:通过分类模型确定的旋转方向对所述证书图片进行翻转矫正,其中,所述分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向;
图片一次识别模块:通过已训练的OCR模型提取所述证书图片中的文本框及文字,基于所述文本框的坐标和所述文字的内容,继续执行下一步操作;
图片倾斜矫正模块:根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到所述证书图片平均的倾角,并基于所述倾角的大小对所述待审核的证书图片进行旋转修复,当修复完成后执行下一步操作;
在模板匹配模块之后,所述***还包括:
证书完整确认模块:基于匹配结果,判断所述证书图片相较于模板是否完整无误,当判断所述证书图片完整无误后执行下一步操作;其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整。
在上述***的优选技术方案中,实际ROI区域确认模块进一步包括:将所述模板所对应的关键词与所述证书图片中的文字的内容进行匹配,获得所述证书图片中的所有关键词的定位;基于所述证书图片中和所述模板中同样的两个关键词之间的距离的比值获得所述证书图片的缩放系数;获取所述模板的关键词与所有预设ROI区域的坐标之间的距离关系,经过缩放系数换算到所述证书图片中,获得所述证书图片中的实际ROI区域的坐标,并进行框选。
本发明还提供了一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行上述技术方案中任一项的多模板证书快速审证方法。
本发明还提供了一种控制装置,该控制装置包括处理器和存储器,所述存储器适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项的多模板证书快速审证方法。
本领域人员能够理解的是,本发明提供了一种多模板证书快速审证方法,包括:
S01、接收待审核的证书图片;
S02、通过已训练的OCR模型提取证书图片中的文本框及文字;
S03、基于文本框的坐标和文字的内容,匹配证书图片对应的模板;
S04、基于模板中的预设ROI区域的坐标,框选证书图片中的实际ROI区域;
S05、通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得实际ROI区域内的字段结果;
S06、对字段结果进行抽取,获得最终的证书信息;
S07、根据识别出的证书信息查询海关***内上报录入的证书信息并据此进行待审核证书的真伪判别。
通过上述方法,待审核的证书先经过通用OCR识别,此时准确度还较低,基于识别出的文本框和文字的坐标和内容,匹配出不同的模板;当然,匹配模板的方式不仅限于通过上述文字内容进行匹配识别,还可以根据模板颜色等特征进行模板匹配,可以实现图片和模板相匹配的方式不再一一展开。然后基于不同模板预设的ROI区域之间的距离等位置关系,便能够框选待审核证书中的实际ROI区域,然后再针对实际ROI区域进行OCR识别,此时便能够通过通用模型识别到准确的区域,避免了其它杂项的干扰,识别准确度将大大增加,也能匹配不同模板,当需要增加模板时,只需要将待增加的模板进行ROI区域的预标,而无需再获取大量的实际数据进行训练。
附图说明
下面参照附图来描述本发明的具体实施方式。附图中:
图1为本发明的多模板证书快速审证方法的主要流程图;
图2为本发明的多模板证书快速审证方法的详细流程图;
图3为本发明实际使用过程中标注的待审核证书中的实际ROI区域;
图4为本发明的多模板证书快速审证***的整体图。
具体实施方式
为了便于理解本发明,下文将结合说明书附图和实施例对本发明作更全面、细致地描述,但本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
现有海关检疫在审核证书时候模板过多导致的通用OCR识别不准确,而专用OCR又需要大量的模板和每个模板对应的海量数据来训练,企业无法获取如此多的数据,泄密风险太大,因此导致现有海关检疫审核证书时仍然存在审核时间长、准确度低的问题。
为了解决上述问题,下面结合图1-图3对本发明的方法进行介绍,本发明提供了一种多模板证书快速审证方法,包括:
S01、接收待审核的证书图片;
S08、将证书图片的格式转换成统一预设格式;
S09、通过分类模型确定的旋转方向对证书图片进行翻转矫正,其中,分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向。
具体地,海关检疫人员需要接收世界各国的证书图片,这些证书图片格式各异,存储不同格式的图片所需要的解码算法不同,因此,将接收到的待审核的证书图片转换成统一的格式(本发明是PDF格式)进行后续计算,减小解码错误以及识别错误的可能性。
转换成统一格式之后,便开始对证书图片进行预处理,由于操作失误等原因,很多接收到的图片都存在颠倒上传的问题,因此,本发明提出了通过分类模型首先将这种特别严重的颠倒等问题解决,其中,分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向(0°,90°,180°,270°),例如当分类结果表明证书图片颠倒90°时,将图片逆时针旋转90°进行复原后再进行下一步识别。
S02、通过已训练的OCR模型提取证书图片中的文本框及文字,基于文本框的坐标和文字的内容,继续执行下一步操作;
S10、根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到证书图片平均的倾角,并基于倾角的大小对待审核的证书图片进行旋转修复,当修复完成后执行下一步操作。
在步骤S09已经将图片基本翻转正确之后进入步骤S02,先通过通用的已训练的OCR模型对证书图片进行识别,获取到图片中的文本框及文字。此时,虽然图片已经在步骤S09中进行了四方向的颠倒旋转,但是,四方向分类模型相当于处理了大于90°的旋转,但对于30°-60°的倾角则无法处理,这仍然会导致后续的进一步识别的准确率降低。因此本发明先进入步骤S02进行全图的OCR识别,得出全部文本框,然后进入步骤S10,根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到全图平局的倾角,然后再使用常规的图像处理技术对图片进行逆向旋转修复,使得证书上的文字水平放置,增加识别准确率。其中,由于海关所面临的语种众多,已训练的OCR模型优选为多语种OCR模型。
S03、匹配证书图片对应的模板;
S11、基于匹配结果,判断证书图片相较于模板是否完整无误,当判断证书图片完整无误后执行下一步操作;其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整。
在图片已经完成预处理,并且已经初步识别其中的文本框坐标以及文字内容之后,便可以匹配不同的模板,所有证书都已经转换成了PDF格式,每个证书也是有好几页,因此,每一页都对应一个模板,因此本发明的每一页都是分开识别的。例如西班牙证书有猪肉证书、牛肉证书两种,格式差别较大,经过专家经验提炼总结,猪肉证书对应有a1,a2,a3三个模版(每页一个模版),牛肉证书有b1,b2两个模版,这时候要识别一个未知的5页的PDF,通过逐页模版匹配,我们可以判断出其顺序是(a1,a3,b1,b2,其它),可以进一步知道这份PDF包含了两份证书,第一份缺了一页(a2),第二份夹杂了一页不相关内容(其它),通过上述方式,便将证书与模板进行了一一匹配,并且也一并判定了模板是否缺页、多页、顺序是否正确等问题。如果判断出其刚好为(a1,a2,a3,b1,b2),则说明这个证书刚好是猪肉证书和牛肉证书合在一起,证书是完整无误的,可以进行下一步操作。
S04、基于模板中的预设ROI区域的坐标,框选证书图片中的实际ROI区域;
其中,步骤S04进一步包括:
将模板所对应的关键词与证书图片中的文字的内容进行匹配,获得证书图片中的所有关键词的定位;基于证书图片中和模板中同样的两个关键词之间的距离的比值获得证书图片的缩放系数;获取模板的关键词与所有预设ROI区域的坐标之间的距离关系,经过缩放系数换算到证书图片中,获得证书图片中的实际ROI区域的坐标,并进行框选。
在每个模板中都有预先画出的ROI区域(即预设ROI区域),例如图3中的方框内的区域(当然图3是实际运行过程中***标完后的图片,而非模板,但原理相同),在每个预设ROI区域内都配置有对应的关键词,例如图3中由上到下第一个框内的关键词即“编号”,在实际识别结果中,需要找到待审核证书中在第一次识别中所得到的相关定位关键词,然后基于这些定位关键词之间的距离等参数,与模板当中的这些关键词的距离等参数进行对比,获得相对偏移距离和缩放系数等关键参数,并基于这些参数,预测出证书图片中的ROI区域所在的位置,进行框选,最终框选情况如图3所示,一共框选出了6个ROI区域。
S05、通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得实际ROI区域内的字段结果;
在已经确认到待审核证书中的实际ROI区域之后,此时也已经将其进行翻转和旋转的调整,使得ROI区域内的干扰项降低,文字识别准确度大大提升。
S06、对字段结果进行抽取,获得最终的证书信息;
S07、根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
在获得了准确的字段结果之后,需要对字段结果进行提取,本发明当中所使用的优选实施方式为通过正则规则进行提取,更进一步地,主要使用提取匹配正则(从符合这一正则的文本行中提取部分内容)、排除正则(跳过符合这一正则的文本行)、开始行正则(从符合这一正则的行往下查找)、结束行正则(到符合这一正则的行停止往下查找)、查找顺序(挑出开始结束行间所有符合结果/正数第n个结果/倒数第n个结果)、跨行合并(是否合并跨行后的识别结果、连接词)等正则规则。
提取完成后,根据识别出的证书信息查询海关***内上报录入的证书信息并据此进行待审核证书的真伪判别,具体地,可以是根据识别出的证书号,去查询海关***内上报录入的证书信息,一一核对产品种类、件数、重量、运算工具号、铅封号、出口地址、进口地址等二十多个字段的识别结果是否与***查询结果一致,如果一致,则证明了待审核证书是真的,完成海关检疫快速审证的整个流程。经过实际使用,本发明抽取出的关键字段能达到95%以上的准确率,其他字段也能够达到85%左右的准确率,完全满足了海关检疫的要求。
至此,已经针对一种具体实施方式的完整流程进行了描述,但是,本领域技术人员显然可以根据上述具体实施方式进行简单的变形来实现与本发明同样的效果,例如,步骤S08、S09都属于对于图片格式的预处理,显然是可以去掉的;又如,步骤S11对于证书图片是否完整的判断显然也并非必要的,属于优选地实施方式,显然是可以去掉的;再如,虽然使用到的已训练OCR模型是通用模型,但显然也可以将每个模板中的感兴趣区域进行进一步的OCR模型细化,例如识别“编号”的感兴趣区域,可以限定字符包括文字、大写字母和数字的组合,而识别“件数”的感兴趣区域则可以限定文字和数字,而不需要限定字母,这就使得模型的识别精度和速度进一步提升,还可以是其他的常规的可替换方式,这些简单的变形都不偏离本发明的原理,因此都属于本发明的保护范围。
如图4所示,本发明还提供了一种多模板证书快速审证***,包括:
图片接收模块:接收待审核的证书图片;
图片格式转换模块:将证书图片的格式转换成统一预设格式;
图片翻转矫正模块:通过分类模型确定的旋转方向对证书图片进行翻转矫正,其中,分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向;
图片一次识别模块:通过已训练的OCR模型提取证书图片中的文本框及文字,基于文本框的坐标和文字的内容,继续执行下一步操作;
图片倾斜矫正模块:根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到证书图片平均的倾角,并基于倾角的大小对待审核的证书图片进行旋转修复,当修复完成后执行下一步操作;
模板匹配模块:匹配证书图片对应的模板;
证书完整确认模块:基于匹配结果,判断证书图片相较于模板是否完整无误,当判断证书图片完整无误后执行下一步操作;其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整;
实际ROI区域确认模块:基于模板中的预设ROI区域的坐标,框选证书图片中的实际ROI区域;在一种可能的实施方式中,实际ROI区域确认模块进一步包括:将模板所对应的关键词与证书图片中的文字的内容进行匹配,获得证书图片中的所有关键词的定位;基于证书图片中和模板中同样的两个关键词之间的距离的比值获得证书图片的缩放系数;获取模板的关键词与所有预设ROI区域的坐标之间的距离关系,经过缩放系数换算到证书图片中,获得证书图片中的实际ROI区域的坐标,并进行框选;
图片二次识别模块:通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得实际ROI区域内的字段结果;
证书信息提取模块:对字段结果进行抽取,获得最终的证书信息;
证书信息对比模块:根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
通过上述整个***,即可完成对于海关检疫审证的速度的提升,实现海关检疫的验证需求。
本发明的***的安装部署流程包括:
1、安装nvidia显卡驱动。
2、安装docker。
3、安装nvidia-docker。
4、安装docker-compose。
5、使用docker load命令,导入智慧审证对应的docker镜像。
6、复制项目文件,修改docker-compose.yml文件,加载上述docker镜像生成容器。
7、docker容器内的算法推理服务自动运行。
其中,Docker是一个开源的应用容器引擎,可以让开发者打包其应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。
进一步,在本发明的一种计算机可读存储介质的一个实施例中,该计算机存储介质存储多条程序代码,所述程序代码适用于由处理器加载并运行以执行前述的多模板证书快速审证方法。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,在本发明的一种控制装置的一个实施例中,包括处理器和存储器,所述存储装置适用于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行前述的多模板证书快速审证方法。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的***的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的
本领域技术人员能够理解的是,可以对***中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种多模板证书快速审证方法,其特征在于,包括:
S01、接收待审核的证书图片;
S03、匹配所述证书图片对应的模板;
S04、基于所述模板中的预设ROI区域的坐标,框选所述证书图片中的实际ROI区域;
S05、通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得所述实际ROI区域内的字段结果;
S06、对所述字段结果进行抽取,获得最终的证书信息;
S07、根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
2.根据权利要求1所述的方法,其特征在于,步骤S01之后,所述方法还包括:
S08、将所述证书图片的格式转换成统一预设格式;并且/或者,
S09、通过分类模型确定的旋转方向对所述证书图片进行翻转矫正,其中,所述分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向;并且/或者,
步骤S03之后,所述控制方法还包括:
S11、基于匹配结果,判断所述证书图片相较于模板是否完整无误,当判断所述证书图片完整无误后执行下一步操作;
其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整。
3.根据权利要求1所述的方法,其特征在于,骤S01之后,所述方法还包括:
S02、通过已训练的OCR模型提取所述证书图片中的文本框及文字,基于所述文本框的坐标和所述文字的内容,继续执行下一步操作。
4.根据权利要求3所述的方法,其特征在于,步骤S02之后,所述方法还包括:
S10、根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到所述证书图片平均的倾角,并基于所述倾角的大小对所述待审核的证书图片进行旋转修复,当修复完成后执行下一步操作。
5.根据权利要求1所述的方法,其特征在于,
已训练的OCR模型是多语种OCR模型;并且/或者,
步骤S04进一步包括:
将所述模板所对应的关键词与所述证书图片中的文字的内容进行匹配,获得所述证书图片中的所有关键词的定位;基于所述证书图片中和所述模板中同样的两个关键词之间的距离的比值获得所述证书图片的缩放系数;获取所述模板的关键词与所有预设ROI区域的坐标之间的距离关系,经过缩放系数换算到所述证书图片中,获得所述证书图片中的实际ROI区域的坐标,并进行框选;并且/或者,
步骤S06中,对所述字段结果进行抽取的具体方式为:通过正则规则对所有字段结果进行抽取;并且/或者,
步骤S07中,证书信息包括证书编号,以及种类、件数、重量、运算工具号、铅封号、出口地址、进口地址中的至少一项。
6.一种多模板证书快速审证***,其特征在于,包括:
图片接收模块:接收待审核的证书图片;
模板匹配模块:匹配所述证书图片对应的模板;
实际ROI区域确认模块:基于所述模板中的预设ROI区域的坐标,框选所述证书图片中的实际ROI区域;
图片二次识别模块:通过已训练的OCR模型对框选的实际ROI区域的图片进行处理,获得所述实际ROI区域内的字段结果;
证书信息提取模块:对所述字段结果进行抽取,获得最终的证书信息;
证书信息对比模块:根据识别出的证书信息查询***内录入的证书信息并据此进行待审核证书的真伪判别。
7.根据权利要求6所述的***,其特征在于,
在图片接收模块之后,所述***还包括:
图片格式转换模块:将所述证书图片的格式转换成统一预设格式;
图片翻转矫正模块:通过分类模型确定的旋转方向对所述证书图片进行翻转矫正,其中,所述分类模型是基于深度神经网络的四方向分类模型,用于判断证件顺时针旋转方向;
图片一次识别模块:通过已训练的OCR模型提取所述证书图片中的文本框及文字,基于所述文本框的坐标和所述文字的内容,继续执行下一步操作;
图片倾斜矫正模块:根据每个文本框的四角坐标计算其与水平轴的倾斜角度,进而得到所述证书图片平均的倾角,并基于所述倾角的大小对所述待审核的证书图片进行旋转修复,当修复完成后执行下一步操作;
在模板匹配模块之后,所述***还包括:
证书完整确认模块:基于匹配结果,判断所述证书图片相较于模板是否完整无误,当判断所述证书图片完整无误后执行下一步操作;其中,完整无误的判定标准包括与模板相比是否缺页、多页、页数的顺序是否正确、每页是否完整。
8.根据权利要求6所述的***,其特征在于,
实际ROI区域确认模块进一步包括:将所述模板所对应的关键词与所述证书图片中的文字的内容进行匹配,获得所述证书图片中的所有关键词的定位;基于所述证书图片中和所述模板中同样的两个关键词之间的距离的比值获得所述证书图片的缩放系数;获取所述模板的关键词与所有预设ROI区域的坐标之间的距离关系,经过缩放系数换算到所述证书图片中,获得所述证书图片中的实际ROI区域的坐标,并进行框选。
9.一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1-5中任一项的多模板证书快速审证方法。
10.一种控制装置,该控制装置包括处理器和存储器,所述存储器适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1-5中任一项的多模板证书快速审证方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110594815.7A CN113343968A (zh) | 2021-05-28 | 2021-05-28 | 多模板证书快速审证方法、***、介质及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110594815.7A CN113343968A (zh) | 2021-05-28 | 2021-05-28 | 多模板证书快速审证方法、***、介质及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113343968A true CN113343968A (zh) | 2021-09-03 |
Family
ID=77472120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110594815.7A Pending CN113343968A (zh) | 2021-05-28 | 2021-05-28 | 多模板证书快速审证方法、***、介质及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113343968A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705576A (zh) * | 2021-11-01 | 2021-11-26 | 江西中业智能科技有限公司 | 一种文本识别方法、装置、可读存储介质及设备 |
-
2021
- 2021-05-28 CN CN202110594815.7A patent/CN113343968A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705576A (zh) * | 2021-11-01 | 2021-11-26 | 江西中业智能科技有限公司 | 一种文本识别方法、装置、可读存储介质及设备 |
CN113705576B (zh) * | 2021-11-01 | 2022-03-25 | 江西中业智能科技有限公司 | 一种文本识别方法、装置、可读存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931664B (zh) | 混贴票据图像的处理方法、装置、计算机设备及存储介质 | |
US11087125B2 (en) | Document authenticity determination | |
CN104217203B (zh) | 复杂背景卡面信息识别方法及*** | |
CN108717543B (zh) | 一种***识别方法及装置、计算机存储介质 | |
CN110287971B (zh) | 数据验证方法、装置、计算机设备及存储介质 | |
US10043071B1 (en) | Automated document classification | |
CN113420756B (zh) | 证件图像的识别方法和装置、存储介质及电子装置 | |
CN110634223A (zh) | 票据校验方法及装置 | |
WO2019144416A1 (zh) | 信息处理方法、***、云处理设备以及计算机程序产品 | |
CN111340035A (zh) | 一种火车票识别方法、***、设备以及介质 | |
CN115358751B (zh) | 一种交易单据的自动审核方法、装置及电子设备 | |
CN110956166A (zh) | 票据标注方法及装置 | |
CN112232336A (zh) | 一种证件识别方法、装置、设备及存储介质 | |
CN111462388A (zh) | 一种票据检验方法、装置、终端设备及存储介质 | |
CN112632926B (zh) | 票据的数据处理方法、装置、电子设备及存储介质 | |
CN113343968A (zh) | 多模板证书快速审证方法、***、介质及装置 | |
CN113469005A (zh) | 一种银行回单的识别方法、相关装置及存储介质 | |
CN113486715A (zh) | 图像翻拍识别方法、智能终端以及计算机存储介质 | |
CN112560855A (zh) | 图像信息提取方法、装置、电子设备及存储介质 | |
CN117095402A (zh) | 一种签收单的处理方法、装置、介质及电子设备 | |
CN114612919B (zh) | 一种票据信息处理***及方法、装置 | |
CN114299509A (zh) | 一种获取信息的方法、装置、设备及介质 | |
CN112862409A (zh) | 提运单核验方法及装置 | |
Tao et al. | A hybrid approach to detection and recognition of dashboard information in real-time | |
CN111242112A (zh) | 一种图像处理方法、身份信息处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |