CN111340037A - 文本版面分析方法、装置、计算机设备和存储介质 - Google Patents

文本版面分析方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111340037A
CN111340037A CN202010219551.2A CN202010219551A CN111340037A CN 111340037 A CN111340037 A CN 111340037A CN 202010219551 A CN202010219551 A CN 202010219551A CN 111340037 A CN111340037 A CN 111340037A
Authority
CN
China
Prior art keywords
target picture
character
text
area
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010219551.2A
Other languages
English (en)
Other versions
CN111340037B (zh
Inventor
王晓珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoi Robot Technology Co Ltd filed Critical Shanghai Xiaoi Robot Technology Co Ltd
Priority to CN202010219551.2A priority Critical patent/CN111340037B/zh
Publication of CN111340037A publication Critical patent/CN111340037A/zh
Application granted granted Critical
Publication of CN111340037B publication Critical patent/CN111340037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

一种文本版面分析方法、装置、计算机设备和存储介质,其中,文本版面分析方法包括:获取目标图片;对所述目标图片进行版面区域分割,得到若干个分割区域;根据所述目标图片的纹理特征识别所述目标图片的文字区域;将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;输出各个分割区域的文字内容。由此,能够有效提高对图片中文字识别的准确性。

Description

文本版面分析方法、装置、计算机设备和存储介质
技术领域
本发明涉及计算机视觉技术领域,具体地涉及一种文本版面分析方法、装置、计算机设备和存储介质。
背景技术
随着互联网图片内容的不断增加,以及办公扫描打印文件的日益增加,常需要将扫描打印的图片转化为文字信息,因而如何实现高效的文字识别和检测,以快速完成扫描打印的图片中文字转化成为一个亟需解决的问题。
目前常见的识别方案一般包含文字定位和识别两部分,文字行定位的准确性与识别的准确率成线性正比关系。但是从文档中得到文本内容很容易,但是这些文本内容位置是随机的,尤其是对印刷歪的图片进行识别时,其识别内容的准确性较低。
发明内容
本发明解决的技术问题是如何提供一种能够准确识别图片中的文字内容的文本版面分析方法。
为解决上述技术问题,本发明实施例提供一种文本版面分析方法,所述方法包括:获取目标图片;对所述目标图片进行版面区域分割,得到若干个分割区域;根据所述目标图片的纹理特征识别所述目标图片的文字区域;将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;输出各个分割区域的文字内容。
可选的,对每一分割区域包含的文字区域进行内容识别时,属于同一分割区域的文字区域被一并传输至文本识别模型进行识别。
可选的,所述对每一分割区域包含的文字区域进行内容识别,包括:对每一分割区域中包含的各个文字区域分别进行内容识别,得到该文字区域的文字内容;将各个文字区域的文字内容进行拼接,得到该分割区域的文字内容。
可选的,所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,包括:将所述目标图片通过多个卷积核进行卷积运算,以从所述目标图片提取文字对应的若干个纹理特征层;为所述若干个纹理特征层中部分或全部的纹理特征层分别分配多个不同感受野的锚点区域;对所述分配的锚点区域进行回归,得到所述目标图片的文字区域。
可选的,所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,包括:通过将所述目标图片输入纹理提取模型中,得到所述目标图片不同特征维度的若干个纹理特征层,所述纹理提取模型是根据历史图片中的纹理特征进行分析得到的、用以提取输入的图片中的纹理特征层的模型;从所述若干个纹理特征层中筛选出基础纹理特征层;将所述基础纹理特征层进行特征叠加,得到所述目标图片的文字特征层;根据所述文字特征层获取所述目标图片的文字区域。
可选的,所述文字区域为目标图片中包含的每行文字对应的区域。
可选的,输出的各个分割区域的文字内容为字符串。
本发明实施例还提供一种文本版面分析装置,所述装置包括:图片获取模块,用于获取目标图片;版面分割模块,用于对所述目标图片进行版面区域分割,得到若干个分割区域;区域识别模块,用于根据所述目标图片的纹理特征识别所述目标图片的文字区域;版面分析模块,用于将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;内容识别模块,用于对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;输出模块,用于输出各个分割区域的文字内容。
本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行上述文本版面分析方法的步骤。
本发明实施例还提供一种存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述文本版面分析方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明实施例提供了一种文本版面分析方法,所述方法包括:获取目标图片;对所述目标图片进行版面区域分割,得到若干个分割区域;根据所述目标图片的纹理特征识别所述目标图片的文字区域;将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;输出各个分割区域的文字内容。较之现有技术,上述方法对目标图片按照版面进行分割、并定位目标图片中文字的位置以得到文字区域,从而获取目标图片的多个版面中的文字区域,对各个版面的文字区域进行内容识别,从而能够准确地定位到图片中文字的位置,并结合版面的背景及字体格式等对各个版面中的文字进行针对性识别,从而能够有效提高对图片中文字识别的准确性。
进一步地,将每一分割区域中包含的文字区域传输至文本识别模型中,对文字区域中的文字内容进行识别,得到每一该分割区域中包含的文字内容,从而得到该分割区域中包含的文字内容。采用大数据训练或神经网络等文本识别模型对各个分割区域中的文字区域进行准确地内容识别。
进一步地,通过多个不同卷积核对目标图片进行卷积运输,以得到该目标图片不同特征维度的纹理特征层,根据设定的分配方案为每一纹理特征层分配不同感受野的锚点区域,以适应对此纹理特征层中的特征分布情况,提高对目标图片中文字区域识别结果的准确性。
进一步地,可采用纹理提取模型,根据特征维度不同的,输出目标图片的若干个纹理特征层,降低了模型训练时训练样本的数量,减少数据处理的压力;且根据对纹理特征层的筛选、特征叠加,最终得到能够待识别文字的纹理特征层,实现对目标图片中文字的准确定位。
附图说明
图1是本发明实施例的一种文本版面分析方法的流程示意图;
图2是一实施例中图1步骤S103的流程示意图;
图3是另一实施例中图1步骤S103的流程示意图;
图4是本发明实施例的一种文本版面分析方法的应用示意图;
图5是本发明实施例的一种文本版面分析装置的结构示意图。
具体实施方式
如背景技术所言,现有技术中对图片中的文本内容识别时,识别效果较差。
目前常见的识别方案一般包含文字定位和识别两部分,现有的文本定位方法分两大类,基于锚(Anchors)的定位和基于分割的定位,基于锚的缺点是感受野会限制检测内容的长短,基于分割的一般需要耗时的后处理。现有的文本识别方法分两大主流,基于时序分类(Connectionist temporal classification,简称CTC)的和基于注意力(Attention)的。对于没有任何版面要求的文本,这些检测和识别方法都可以得到期望的识别效果。但是对于固定版面格式的文本,例如身份证,营业执照、增值税***等,这些需要在做一个版面分析和版面还原,不然识别出来的都是一堆无序的无效文字。目前常见的版面分析是基于关键字的匹配,这种方法对于检测模型和识别模型的准确率要求很高。还有一种版面分析是基于传统图片处理,比如腐蚀膨胀,连通域的分析,此种方法对背景变化有很低的鲁棒性。
为解决上述问题,本发明实施例提供了一种文本版面分析方法、装置、计算机设备和存储介质。文本版面分析方法包括:获取目标图片;对所述目标图片进行版面区域分割,得到若干个分割区域;根据所述目标图片的纹理特征识别所述目标图片的文字区域;将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;输出各个分割区域的文字内容。
通过该方法,能够有效提高对图片中文字识别的准确性,尤其是对文本内容位置随机或者印刷歪的图图片。
请参见图1,图1提供了本发明一实施例中文本版面分析方法的流程示意图;该文本版面分析方法具体可以包括下述步骤S101至S105。
步骤S101,获取目标图片。
目标图片为包含待识别文字的图片,可以为文字的扫描图片或基于打印得到的文字的图片等等,目标图片可以为真彩图片(也即,RGB图片)。待识别文字为目标图片中的文字部分。本发明实施例用于对图片中的文本进行版面分析,终端先获取待分析的目标图片,继续执行下述步骤。
步骤S102,对所述目标图片进行版面区域分割,得到若干个分割区域。
按照目标图片中的排版和/或文字格式和/或图片的背景颜色等特征对目标图片进行版面区域的分割,将目标图片分割为若干个区域,即分割区域。版面区域分割得到的分割区域的数量至少为1个。
可选的,若目标图片中存在印刷字体为斜体印刷歪等原因造成的字体方向差异,可在版面区域分割时将这些字体识别为一个单独的版面区域,以提高识别的准确性。
可选的,对目标图片进行版面区域分割时,可利用大数据建立版面区域分割的模型,该模型以大量的图片作为训练样本,具有能够自动识别输入的图片中包含的分割区域,并对该图片进行区域分割的功能。通过大数据训练的版面区域分割的模型,能够根据丰富的训练样本,准确地识别各输入图片中包含的分割区域,提高对图片进行版面区域分割的准确性。
步骤S103,根据所述目标图片的纹理特征识别所述目标图片的文字区域。
目标图片的纹理特征与目标图片中包含的文字相对应,用于识别出目标图片中的文字所在的区域,即文字区域。可对目标图片进行卷积运算,以识别目标图片中的纹理特征,从而获取该目标图片的文字区域,对于包含文字内容的目标图片,识别得到的文字区域的数量为一个或多个。另外,当无法从目标图片中识别出文字区域时,可判定该目标图片不包含文字内容,生成识别出错的信息,以使得技术人员对该目标图片进行二次识别或对应的错误排查。
可选的,对目标图片文字区域的识别结果为目标图片中包含的若干行文字所在的矩形区域。
步骤S104,将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域。
将步骤S102中得到的若干个分割区域和步骤S103中得到的文字区域进行匹配,从而得到每一不同版面对应的分割区域中包含的文字所在的文字区域。当目标图片文字区域的识别结果为目标图片中包含的若干行文字所在的矩形区域时,则每一不同版面对应的分割区域包含多行文字对应的矩形区域。每一分割区域中可包含一个或多个文字区域。
步骤S105,对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容。
根据OCR识别等识别方式,对目标图片分割得到的每一分割区域中的文字进行识别,得到每一分割区域中文字区域所包含的文字内容。
步骤S106,输出各个分割区域的文字内容。
分别将各个分割区域中识别出的文字内容输出,作为该分割区域对应版面的文字识别结果。通过图1所述的文本版面分析方法,对目标图片按照版面进行分割、并定位目标图片中文字的位置以得到文字区域,从而获取目标图片的多个版面中的文字区域,对各个版面的文字区域进行内容识别,从而能够准确地定位到图片中文字的位置,并结合版面的背景及字体格式等对各个版面中的文字进行针对性识别,从而能够有效提高对图片中文字识别的准确性。
本实施例中,基于图片的文字识别的版面分析还原问题,对于表格、营业执照、身份证、尤其对于印刷倾斜的文本版面还原效果更有效。
在一个实施例中,对每一分割区域包含的文字区域进行内容识别时,属于同一分割区域的文字区域被一并传输至文本识别模型进行识别。
文本识别模型为用于识别图片中包含的文字的模型,可以为通过大数据训练得到的模型,如神经网络模型;文本识别模型可采用自然语言处理(Natural LanguageProcessing,检测NLP)技术中各种适当的模型。
将每一分割区域中包含的文字区域传输至文本识别模型中,对文字区域中的文字内容进行识别,得到每一该分割区域中包含的文字内容,从而得到该分割区域中包含的文字内容。采用大数据训练或神经网络等文本识别模型对各个分割区域中的文字区域进行准确地内容识别。
可选的,所述对每一分割区域包含的文字区域进行内容识别,包括:对每一分割区域中包含的各个文字区域分别进行内容识别,得到该文字区域的文字内容;将各个文字区域的文字内容进行拼接,得到该分割区域的文字内容。
在对每一分割区域中包含的多个文字区域分别进行内容识别之后,还可将各个文字区域识别得到的文字内容进行拼接,得到每一分割区域对应的版面的全部文字内容。
可选的,根据各个文字区域在分割区域中的相对位置,对该文字区域识别得到的文字内容进行拼接。
可选的,图1中步骤S102中对所述目标图片进行版面区域分割,可包括:根据语义分割技术对所述目标图片进行版面区域分割。
其中,图片的语义分割(semantic segmentation),即对图片中的像素点进行分类以从图片中得到聚类的像素区域。可根据语义分割技术、对大量图片样本训练得到语义分割模型执行步骤S102。作为一个非限制性的例子,语义分割模型可通过实例分割模型MaskR-CNN模型框架训练得到。
在一个实施例中,请参见图2,图1中的步骤S103所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,可以包括以下步骤:
步骤S201,将所述目标图片通过多个卷积核进行卷积运算,以从所述目标图片提取文字对应的若干个纹理特征层。
纹理特征与目标图片中包含的文字分布相对应,对目标图片中的像素通过多个不同卷积核进行卷积运算,可得到目标图片对应的若干个纹理特征层。
步骤S202,为所述若干个纹理特征层中部分或全部的纹理特征层分别分配多个不同感受野的锚点区域。
为步骤S202中得到的若干个纹理特征层分配不同感受野的锚点区域,使感受野能够与检测内容相匹配。
可选的,可对得到的所有的纹理特征层分别分配锚点区域;也可从其中挑选识别效果较好的几层作为识别对象,以减少设备的计算量,提高识别效率。
步骤S203,对所述分配的锚点区域进行回归,得到所述目标图片的文字区域。
根据步骤S203中分配的锚点区域进行文本区域检测,可对这些锚点区域对应的检测结果进行回归运算,以得到待识别文字在目标图片中的位置所述在区域,也即文字区域。其中,可通过非极大值抑制(Non-maximumsuppression,NMS)算法来对锚点区域的检测结果进行回归计算。
本实施例中,通过多个不同卷积核对目标图片进行卷积运输,以得到该目标图片不同特征维度的纹理特征层,根据设定的分配方案为每一纹理特征层分配不同感受野的锚点区域,以适应对此纹理特征层中的特征分布情况,提高对目标图片中文字区域识别结果的准确性。
在一个实施例中,请参见图3,图1中的步骤S103所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,还可以包括以下步骤:
步骤S301,通过将所述目标图片输入纹理提取模型中,得到所述目标图片不同特征维度的若干个纹理特征层,所述纹理提取模型是根据历史图片中的纹理特征进行分析得到的、用以提取输入的图片中的纹理特征层的模型。
其中,纹理特征与图片中的文字分布相对应,特征维度为对图片中文字所在区域进行识别的维度。
纹理提取模型是以历史图片中为训练样本、根据样本中文字部分和非文字部分,训练出用于获取输入的图片基于不同特征维度的纹理特征层的模型。其中,当特征维度与图片的像素值对应时,纹理提取模型可以采用现有的卷积神经网络模型(如MobileNetv2、SqueezeNet、ShuffleNet等),对目标图片的像素通过多个不同卷积核进行卷积处理,以得到目标图片对应的若干个纹理特征层。识别终端获取目标图片后,将目标图片通过一个纹理提取模型,以获取此目标图片的若干个纹理特征层。例如若纹理提取模型为MobileNetv2时,可获取19层纹理特征层。
步骤S302,从所述若干个纹理特征层中筛选出基础纹理特征层。
基础纹理特征层为若干个纹理特征层中对于文字定位效果最好的一层或者数层。在获取若干个纹理特征层后,并非对所有的纹理特征层都执行下一步的操作,而是先根据识别需求来对其进行筛选,仅保留对于文字定位效果最好的基础纹理特征层。可选的,可对若干的历史图片识别后得到的每一历史图片的多个纹理特征层进行筛选,以从其中获取文字定位效果较好的几层作为基础纹理特征层。
例如,当纹理提取模型为MobileNetv2时,可从MobileNetv2识别得到的19个纹理特征层中筛选出第3层、第7层、第14层和第19层作为基础纹理特征层。
步骤S303,将所述基础纹理特征层进行特征叠加,得到所述目标图片的文字特征层。
在得到上述的基础纹理特征层之后,若基础纹理特征层不止一个,需要对基础纹理特征层中的特征进行叠加,得到表征待识别文字在目标图片中的位置的纹理特征层。当基础纹理特征层对应目标图片经过几个不同卷积核得到的卷积层,可对基础纹理特征层进行像素插值,获取几个基础纹理特征层的高维度像素图片,实现对基础纹理特征层的优化。
另外,当基础纹理特征层为一个时,则直接将获取的基础纹理特征层作为所目标图片的文字特征层。
步骤S304,根据所述文字特征层获取所述目标图片的文字区域。
在得到待识别文字的纹理特征层,即可根据该层中的特征分布情况,如像素中的待识别文字对应的特征像素分布,获取待识别文字在目标图片中的位置。
本实施例中采用纹理提取模型,根据特征维度不同的,输出目标图片的若干个纹理特征层,降低了模型训练时训练样本的数量,减少数据处理的压力;且根据对纹理特征层的筛选、特征叠加,最终得到能够待识别文字的纹理特征层,实现对目标图片中文字的准确定位。
可选的,所述文字区域为目标图片中包含的每行文字对应的区域。
纹理提取模型输出的目标图片中包含的文字区域为每行文字在该图片中的位置,可为每行文字所在的矩形区域。
可选的,输出的各个分割区域的文字内容为字符串。
即以字符串的格式输出目标图片中各个版面的文字识别结果。
在一个实施例中,请参见图4,图4为一种文本版面分析方法的应用示意图;该应用实例中,终端对文本版面的分析具体可包括下述步骤:
步骤1,输入RGB图片;
步骤2,把步骤1中的图片输入语义分割模型401进行版面区域分割;
步骤3,把步骤1中的图片输入纹理提取模型402进行文本行定位;
步骤4,把步骤2和步骤3的结果进行区域对比,并对步骤3中的结果进行聚类,得到每一版面区域包含的文字区域;
步骤5,把步骤4中聚类好的文本行放入文本识别模型403进行识别;
步骤6,把识别结果拼接成一个字符串返回。
请参见图5,图5提供了本发明实施例的一种文本版面分析装置,所述装置包括:
图片获取模块501,用于获取目标图片。
版面分割模块502,用于对所述目标图片进行版面区域分割,得到若干个分割区域。
区域识别模块503,用于根据所述目标图片的纹理特征识别所述目标图片的文字区域。
版面分析模块504,用于将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域。
内容识别模块505,用于对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容。
输出模块506,用于输出各个分割区域的文字内容。
在一个实施例中,上述内容识别模块505对每一分割区域包含的文字区域进行内容识别时,属于同一分割区域的文字区域被一并传输至文本识别模型进行识别。
在一个实施例中,所述内容识别模块505包括:
区域内容识别单元,用于对每一分割区域中包含的各个文字区域分别进行内容识别,得到该文字区域的文字内容。
拼接单元,用于将各个文字区域的文字内容进行拼接,得到该分割区域的文字内容。
在一个实施例中,所述区域识别模块103可包括:
纹理特征层提取单元,用于将所述目标图片通过多个卷积核进行卷积运算,以从所述目标图片提取文字对应的若干个纹理特征层。
锚点区域分配单元,用于为所述若干个纹理特征层中部分或全部的纹理特征层分别分配多个不同感受野的锚点区域。
第一文字区域获取单元,用于对所述分配的锚点区域进行回归,得到所述目标图片的文字区域。
在一个实施例中,所述区域识别模块103可包括:
模型分析单元,用于通过将所述目标图片输入纹理提取模型中,得到所述目标图片不同特征维度的若干个纹理特征层,所述纹理提取模型是根据历史图片中的纹理特征进行分析得到的、用以提取输入的图片中的纹理特征层的模型。
基础纹理特征层筛选单元,用于从所述若干个纹理特征层中筛选出基础纹理特征层。
特征叠加单元,用于将所述基础纹理特征层进行特征叠加,得到所述目标图片的文字特征层。
第二文字区域获取单元,用于根据所述文字特征层获取所述目标图片的文字区域。
可选的,上述第一文字区域获取单元和第二文字区域获取单元中得到的文字区域为目标图片中包含的每行文字对应的区域。
可选的,上述输出模块506中输出的各个分割区域的文字内容为字符串。
关于上述文本版面分析装置的工作原理、工作方式的更多内容,可以参照上述图1至图4中文本版面分析方法的相关描述,这里不再赘述。
进一步地,本发明实施例还公开一种计算机设备,包括存储器和处理器,存储器上存储有能够在处理器上运行的计算机指令,处理器运行计算机指令时执行上述图1至图4所示实施例中的文本版面分析方法技术方案。
进一步地,本发明实施例还公开一种存储介质,其上存储有计算机指令,计算机指令运行时执行上述图1至图4所示实施例中的文本版面分析方法技术方案。优选地,存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。存储介质可以包括ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种文本版面分析方法,其特征在于,所述方法包括:
获取目标图片;
对所述目标图片进行版面区域分割,得到若干个分割区域;
根据所述目标图片的纹理特征识别所述目标图片的文字区域;
将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;
对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;
输出各个分割区域的文字内容。
2.根据权利要求1所述的方法,其特征在于,对每一分割区域包含的文字区域进行内容识别时,属于同一分割区域的文字区域被一并传输至文本识别模型进行识别。
3.根据权利要求1所述的方法,其特征在于,所述对每一分割区域包含的文字区域进行内容识别,包括:
对每一分割区域中包含的各个文字区域分别进行内容识别,得到该文字区域的文字内容;
将各个文字区域的文字内容进行拼接,得到该分割区域的文字内容。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,包括:
将所述目标图片通过多个卷积核进行卷积运算,以从所述目标图片提取文字对应的若干个纹理特征层;
为所述若干个纹理特征层中部分或全部的纹理特征层分别分配多个不同感受野的锚点区域;
对所述分配的锚点区域进行回归,得到所述目标图片的文字区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标图片的纹理特征识别所述目标图片的文字区域,包括:
通过将所述目标图片输入纹理提取模型中,得到所述目标图片不同特征维度的若干个纹理特征层,所述纹理提取模型是根据历史图片中的纹理特征进行分析得到的、用以提取输入的图片中的纹理特征层的模型;
从所述若干个纹理特征层中筛选出基础纹理特征层;
将所述基础纹理特征层进行特征叠加,得到所述目标图片的文字特征层;
根据所述文字特征层获取所述目标图片的文字区域。
6.根据权利要求1所述的方法,其特征在于,所述文字区域为目标图片中包含的每行文字对应的区域。
7.根据权利要求1所述的方法,其特征在于,输出的各个分割区域的文字内容为字符串。
8.一种文本版面分析装置,其特征在于,所述装置包括:
图片获取模块,用于获取目标图片;
版面分割模块,用于对所述目标图片进行版面区域分割,得到若干个分割区域;
区域识别模块,用于根据所述目标图片的纹理特征识别所述目标图片的文字区域;
版面分析模块,用于将所述目标图片中的文字区域与所述若干个分割区域进行匹配,以得到各个分割区域包含的文字区域;
内容识别模块,用于对每一分割区域包含的文字区域进行内容识别,得到该分割区域的文字内容;
输出模块,用于输出各个分割区域的文字内容。
9.一种计算机设备,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至7任一项所述方法的步骤。
CN202010219551.2A 2020-03-25 2020-03-25 文本版面分析方法、装置、计算机设备和存储介质 Active CN111340037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219551.2A CN111340037B (zh) 2020-03-25 2020-03-25 文本版面分析方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219551.2A CN111340037B (zh) 2020-03-25 2020-03-25 文本版面分析方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111340037A true CN111340037A (zh) 2020-06-26
CN111340037B CN111340037B (zh) 2022-08-19

Family

ID=71184450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219551.2A Active CN111340037B (zh) 2020-03-25 2020-03-25 文本版面分析方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111340037B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016438A (zh) * 2020-08-26 2020-12-01 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及***
CN112560767A (zh) * 2020-12-24 2021-03-26 南方电网深圳数字电网研究院有限公司 文档签名识别方法、装置及计算机可读存储介质
CN113094509A (zh) * 2021-06-08 2021-07-09 明品云(北京)数据科技有限公司 文本信息提取方法、***、设备及介质
WO2021174786A1 (zh) * 2020-07-28 2021-09-10 平安科技(深圳)有限公司 训练样本制作方法、装置、计算机设备及可读存储介质
WO2022012121A1 (zh) * 2020-07-13 2022-01-20 上海肇观电子科技有限公司 版面分析方法、阅读辅助设备、电路和介质
US11367296B2 (en) 2020-07-13 2022-06-21 NextVPU (Shanghai) Co., Ltd. Layout analysis
US11501550B2 (en) 2020-11-24 2022-11-15 International Business Machines Corporation Optical character recognition segmentation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593642A (zh) * 2012-08-16 2014-02-19 阿里巴巴集团控股有限公司 一种卡信息获取方法和***
US20150055866A1 (en) * 2012-05-25 2015-02-26 Mark Joseph Cummins Optical character recognition by iterative re-segmentation of text images using high-level cues
CN104809677A (zh) * 2015-05-13 2015-07-29 江苏黄金屋教育咨询有限公司 基于统计和分析知识点掌握情况的自动阅卷方法
CN105701490A (zh) * 2016-02-24 2016-06-22 上海海事大学 一种基于图像熵的集装箱箱号自适应定位方法
CN109389061A (zh) * 2018-09-26 2019-02-26 苏州友教习亦教育科技有限公司 试卷识别方法和***
CN109409377A (zh) * 2018-12-03 2019-03-01 龙马智芯(珠海横琴)科技有限公司 图像中文字的检测方法及装置
CN109919146A (zh) * 2019-02-02 2019-06-21 上海兑观信息科技技术有限公司 图片文字识别方法、装置及平台
CN110004664A (zh) * 2019-04-28 2019-07-12 深圳和而泰家居在线网络科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
CN110880000A (zh) * 2019-11-27 2020-03-13 上海智臻智能网络科技股份有限公司 图片文字定位方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150055866A1 (en) * 2012-05-25 2015-02-26 Mark Joseph Cummins Optical character recognition by iterative re-segmentation of text images using high-level cues
CN103593642A (zh) * 2012-08-16 2014-02-19 阿里巴巴集团控股有限公司 一种卡信息获取方法和***
CN104809677A (zh) * 2015-05-13 2015-07-29 江苏黄金屋教育咨询有限公司 基于统计和分析知识点掌握情况的自动阅卷方法
CN105701490A (zh) * 2016-02-24 2016-06-22 上海海事大学 一种基于图像熵的集装箱箱号自适应定位方法
CN109389061A (zh) * 2018-09-26 2019-02-26 苏州友教习亦教育科技有限公司 试卷识别方法和***
CN109409377A (zh) * 2018-12-03 2019-03-01 龙马智芯(珠海横琴)科技有限公司 图像中文字的检测方法及装置
CN109919146A (zh) * 2019-02-02 2019-06-21 上海兑观信息科技技术有限公司 图片文字识别方法、装置及平台
CN110004664A (zh) * 2019-04-28 2019-07-12 深圳和而泰家居在线网络科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
CN110880000A (zh) * 2019-11-27 2020-03-13 上海智臻智能网络科技股份有限公司 图片文字定位方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏宏喜等: "一种基于连通域的蒙古文文档图像版面分析方法", 《内蒙古大学学报(自然科学版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012121A1 (zh) * 2020-07-13 2022-01-20 上海肇观电子科技有限公司 版面分析方法、阅读辅助设备、电路和介质
US11367296B2 (en) 2020-07-13 2022-06-21 NextVPU (Shanghai) Co., Ltd. Layout analysis
WO2021174786A1 (zh) * 2020-07-28 2021-09-10 平安科技(深圳)有限公司 训练样本制作方法、装置、计算机设备及可读存储介质
CN112016438A (zh) * 2020-08-26 2020-12-01 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及***
US11501550B2 (en) 2020-11-24 2022-11-15 International Business Machines Corporation Optical character recognition segmentation
CN112560767A (zh) * 2020-12-24 2021-03-26 南方电网深圳数字电网研究院有限公司 文档签名识别方法、装置及计算机可读存储介质
CN113094509A (zh) * 2021-06-08 2021-07-09 明品云(北京)数据科技有限公司 文本信息提取方法、***、设备及介质

Also Published As

Publication number Publication date
CN111340037B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN111340037B (zh) 文本版面分析方法、装置、计算机设备和存储介质
US10846553B2 (en) Recognizing typewritten and handwritten characters using end-to-end deep learning
CN110210413B (zh) 一种基于深度学习的多学科试卷内容检测与识别***及方法
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
WO2019237549A1 (zh) 验证码识别方法、装置、计算机设备及存储介质
US8442319B2 (en) System and method for classifying connected groups of foreground pixels in scanned document images according to the type of marking
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
US9070035B2 (en) Document processing apparatus, document processing method and scanner
Antonacopoulos et al. Icdar 2013 competition on historical newspaper layout analysis (hnla 2013)
CN109784342B (zh) 一种基于深度学习模型的ocr识别方法及终端
CN110705233B (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN109635805B (zh) 图像文本定位方法及装置、图像文本识别方法及装置
CN110880000B (zh) 图片文字定位方法、装置、计算机设备和存储介质
CN110942004A (zh) 基于神经网络模型的手写识别方法、装置及电子设备
JP7244223B2 (ja) 電子文書における強調テキストの識別
US20150235097A1 (en) Segmentation of an Input by Cut Point Classification
US20030012438A1 (en) Multiple size reductions for image segmentation
JP2021179848A (ja) 画像処理システム、画像処理方法、及びプログラム
CN114663904A (zh) 一种pdf文档布局检测方法、装置、设备及介质
CN112801084A (zh) 图像处理方法及装置、电子设备和存储介质
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN113673294A (zh) 文献关键信息的提取方法、装置、计算机设备和存储介质
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN116030469A (zh) 一种处理方法、装置、设备和计算机可读存储介质
CN116524503A (zh) 多行文本行提取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant