CN109886077B - 图像识别方法、装置、计算机设备和存储介质 - Google Patents
图像识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109886077B CN109886077B CN201811625431.1A CN201811625431A CN109886077B CN 109886077 B CN109886077 B CN 109886077B CN 201811625431 A CN201811625431 A CN 201811625431A CN 109886077 B CN109886077 B CN 109886077B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- detection model
- inputting
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及一种图像识别方法、***、计算机设备和存储介质。所述方法包括：首先识别出原始图像中的目标图像，去除了原始图像中其他对识别结果的影响，之后对目标图像中的字段域和字符框同时检测，并基于该字段域和字符框的检测结果进行字段识别和字符识别，该方法可以克服在进行图像识别时，使用单一的识别手段得到的识别结果不准确的技术问题。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种图像识别方法、装置、计算机设备和存储介质。
背景技术
在出行、金融、保险和车辆等行业的业务中，经常会需要录入用户的驾驶证信息。随着计算机视觉的迅速发展，驾驶证信息录入也从以往的人工操作转变为自动识别，自动识别可以极大压缩了驾驶证信息录入时间，同时还可以减小出错概率。
然而，传统的驾驶证图像识别存在识别精度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像识别精度的图像识别方法、装置、计算机设备和存储介质。
一种图像识别方法，所述方法包括：
将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；
将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；
根据所述字段识别结果和所述字符识别结果得到图像识别结果。
作为一种可选地实施方式，所述图像检测模型包括第一图像检测模型和第二图像检测模型，所述将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像，包括：
将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；
根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；
将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；
根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到目标图像。
作为一种可选地实施方式，所述将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像包括：
将所述原始图像输入第一图像检测模型，通过所述第一图像检测模型中的特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图；
根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
作为一种可选地实施方式，所述第二图像检测模型包括：特征提取网络以及与所述特征提取网络连接的输出层，其中，所述特征提取网络包括ResNet网络，和/或，ResNet-inception混合网络。
作为一种可选地实施方式，若所述第二图像检测模型的特征提取层包括ResNet网络，则所述将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标包括：通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标；和/或，
若所述第二图像检测模型的特征提取层包括ResNet-inception混合网络，则所述将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标包括：通过所述ResNet-inception混合网络的ResNet block和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
作为一种可选地实施方式，所述文本初始检测模型包含：EAST模型以及与所述EAST模型的特征提取网络连接的字段域识别神经网络，其中，所述字段域识别神经网络用于基于所述EAST模型的特征提取网络的输出结果，进行字段域识别。
作为一种可选地实施方式，所述将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框，包括：
将所述目标图像输入文本初始检测模型，所述文本初始检测模型中的EAST模型的特征提取网络对输入的所述目标图像进行特征提取，得到所述目标图像的特征图；
将所述目标图像的特征图输入所述EAST模型的特征融合层，得到融合后的特征图，并将所述融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框；
将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域。
作为一种可选地实施方式，所述将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域检测结果，包括：
根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据；
将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
作为一种可选地实施方式，则所述将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框，包括：
将所述目标图像输入文本初始检测模型，输出所述目标图像中的初始字段域和初始字符框；
根据所述目标图像中各字段域与对应的字符框之间存在固定位置关系，对所述初始字段域和初始字符框进行修正得到所述目标图像中的字段域和字符框。
作为一种可选地实施方式，将所述字段域输入字段识别模型，得到所述目标图像的字段识别结果，包括：
将得到的所述目标图像中的字段域输入字段识别模型，所述字段识别模型通过增加注意力机制的卷积循环神经网络对所述目标图像中的字段域进行处理，得到所述目标图像的字段识别结果。
作为一种可选地实施方式，所述将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果，包括：
将得到的所述目标图像中的字符框输入字符识别模型，所述字符识别模型的空间变换网络对所述目标图像中的字符框进行空间变换，得到空间变换结果；
所述字符识别模型的分类网络对所述空间变换结果进行处理得到分类结果；
所述字符识别模型的输出层基于所述分类结果，输出所述目标图像的字符识别结果。
作为一种可选地实施方式，所述方法还包括：
基于图像检测的目标任务，构建所述图像检测模型的各网络层；
基于字段域和字符框检测的目标任务，构建所述文本初始检测模型的各网络层；
基于字段识别的目标任务，构建所述字段识别模型的各网络层；
基于字符识别的目标任务，构建所述字符识别模型的各网络层；
训练所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层，得到图像检测模型，文本初始检测模型，字段识别模型以及字符识别模型。
作为一种可选地实施方式，所述训练所述构建的图像检测模型各网络层，文本初始检测模型各网络层，字段识别模型各网络层以及字符识别模型的各网络层，得到图像检测模型，文本初始检测模型，字段识别模型以及字符识别模型，包括：
获取多个训练图像，并基于所述多个训练图像构建第一训练样本；
将所述第一训练样本输入所述构建的图像检测模型，得到第一训练结果，并根据所述第一训练结果得到第二训练样本；
将所述第二训练样本输入所述构建的文本初始检测模型，得到第二训练结果，并根据所述第二训练结果得到第三训练样本；
将所述第三训练样本分别输入所述构建的字段识别模型以及字符识别模型，得到第三训练结果；
迭代执行所述将所述第一训练样本输入所述构建的图像检测模型至所述得到第三训练结果的各个步骤，直至所述构建的图像检测模型的各网络层、文本初始检测模型的各网络层、字段识别模型的各网络层以及字符识别模型的各网络层收敛。
一种图像识别装置，所述装置包括：
图像检测模块，用于将获取的原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
文本初始检测模块，用于将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
字段识别模块，用于将所述字段域输入字段识别模型，得到所述目标图像的字段识别结果；
字符识别模块，用于将所述字符框输入字符识别模型，得到所述目标图像的字符识别结果；
结果生成模块，用于根据所述字段识别结果和所述字符识别结果得到图像的识别结果。
一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；
将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；
根据所述字段识别结果和所述字符识别结果得到图像识别结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；
将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；
根据所述字段识别结果和所述字符识别结果得到图像识别结果。
上述图像识别方法、装置、计算机设备和存储介质，首先识别出原始图像中的目标图像，去除了原始图像中其他对识别结果的影响，之后对目标图像中的字段域和字符框同时检测，并基于该字段域和字符框的检测结果进行字段识别和字符识别，该方法可以克服在进行图像识别时，使用单一的识别手段得到的识别结果不准确的技术问题。
附图说明
图1为一个实施例中图像识别方法的应用环境图；
图2为一个实施例中图像识别方法的流程示意图；
图3为一个实施例中获取目标图像的步骤的流程示意图；
图4为另一个实施例中进行字段域和字符框检测的流程示意图；
图5为一个实施例中图像识别方法补充步骤的流程示意图；
图6为一个实施例中得到目标图像中的初始字段域和初始字符框的流程示意图；
图7为一个实施例中图像识别方法补充步骤的流程示意图；
图8为一个实施例中训练构建的模型的步骤的流程示意图；
图9为一个实施例中一个合成的驾驶证图像；
图10为一个实施例中图像识别装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像的识别方法，可以应用于如图1所示的应用环境中。其中，处理器100、图像采集装置200以及终端设备300之间相互连接。该图像采集装置200用于原始图像的采集，处理器100用于处理该原始图像，实现预设的目标任务，终端设备300用于用户输入控制命令，实现人机交互。具体地，用户可以基于自身需求通过终端设备300输入控制命令，该控制命令可以被发送至图像采集装置200或处理器100，图像采集装置200或处理器100可以基于该控制命令执行相应的操作，例如实现图像采集的操作或者图像处理的操作。
可选地，该控制命令可以为图像采集控制命令，用于控制图像采集装置200采集原始图像。该原始图像可以为包含驾驶证采集图像，身份证采集图像，护照采集图像或者准考证采集图像等等。可选地，用户通过终端设备300输入控制命令可以为图像处理控制命令，用以控制处理器执行相应的操作，对原始图像进行处理。进一步地，该控制命令还可以为其他控制命令，例如输出图像的控制命令、删除当前图像的控制命令等等。该删除当前的图像的控制命令可以被用于在图像采集装置采集的当前图像若不符合用户的期望时，通过终端设备输入删除当前图像的控制命令以删除当前图像。
可选地，该处理器100、图像采集装置200和终端设备300可以被配置为一体式终端，例如，各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等等。可选地，该处理器100可以被配置为独立设备，此时，处理器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可选地，该独立设置的处理器可以被设置在云端。可选地，该图像采集装置200也可以被配置为独立设备，例如可以为车载摄像头等等。
可选地，该处理器100可以用以执行神经网络算法，以实现相应的神经网络的目标任务。可选地，该神经网络算法存储于存储器中，该存储器还可以存储待处理的数据，例如图像采集装置采集的待处理的图像，例如驾驶证图像、护照图像、身份证图像等等待处理的数据。处理器对该待处理的数据进行处理时，首先从存储器中读取该神经网络算法，之后运行该算法对待处理的数据进行处理，实现预设的目标任务。该目标任务可以是图像的识别，例如：人像识别、目标检测或者文本识别等等。
需要说明的是，在上述应用场景中若处理器100需要执行的操作需要占用资源比较多，需运行的算法的数据运算量比较大，或者需要较快的运算效率时，可以考虑将处理器100配置为设置在云端的服务器。相反，在处理器需执行的操作占用的资源较少或者需运行的算法的数据运算量较小，则可以将个人计算机，智能手机等设备中的处理器配置为上述应用场景中的处理器。同理，上述应用场景中的处理器100、图像采集装置200以及终端设备300的具体配置可以基于实际需求和现有设备的配置进行设置，在此本申请不做限定。
在一个实施例中，如图2所示，提供了一种图像识别方法，以该方法应用于图1中的应用环境为例进行说明，包括以下步骤：
步骤S210，将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像。
其中，原始图像为图像采集设备获取到的未进行修正、裁剪的图像，该原始图像中可能包含目标图像和其他内容，该其他内容可以为原始图像中除目标图像以外的所有内容。例如：采集的原始图像驾驶证图像(目标图片)和采集该驾驶证图像的背景图像(其他内容)。目标图像为包含用户期望内容的图像。具体地，在获取原始图像后，将获取的原始图像输入图像检测模型，处理器100首先运行图像检测模型的相关神经网络算法对原始图像进行处理得到输出结果，之后处理器100根据所述图像检测模型的输出结果得到目标图像。
可选地，该原始图像可以通过图像采集装置200获取。可选地，图像采集装置200在接收到图像采集控制命令后，基于该图像采集控制命令对应获取原始图像。可选地，用户可以通过终端设备300输入该图像采集控制命令。可选地，在获取原始图像后，可以通过终端设备300将该原始图像进行输出，用户可以通过输入的存储当前图像的控制命令、删除当前图像的控制命令或者处理图像的控制命令，实现对图像进行存储、删除或者处理的操作。
可选地，图像检测模型的输出结果可以为目标图像的轮廓检测结果，或者目标图像的区域热图等等。处理器100可以基于该输出结果去除原始图像中除目标图像以外的内容，得到目标图像。根据该输出结果对原始图像进行修正可以有效的修正图像中的倾斜角度，可以降低后续步骤由于倾斜对的识别结果的影响，提高识别准确率。
步骤S220，将目标图像输入文本初始检测模型，得到目标图像中的字段域和字符框。
具体地，将目标图像输入文本初始检测模型，处理器100运行文本初始检测模型的相关神经网络算法，处理该目标图像得到目标图像中的字段域和字符框。该文本初始检测模型可以基于输入的目标图像，输出目标图像中的字段域和字符框。可选地，该文本初始检测模型还可以输出检测到的字段域的顶点，并根据输出的顶点确定检测的字段域的位置。可选地，在某些字段域数目固定的目标图像的检测过程中，该文本初始检测模型还可以输出检测到的字段域的顶点数目，此时，可以基于该顶点数目与字段域数目的对应关系，确定是否检测出目标图像中全部的字段域，或者判断检测出的字段域是否准确。例如：驾驶证图像中字段域的总数目为固定数值，此时文本初始检测模型输出的检测到的字段域的顶点数目为：字段域总数*4。
需要说明的是，若步骤S210得到的目标图片的格式与步骤S220中文本初始检测模型的输入数据的格式要求不一致，此时，需要根据文本初始检测模型的输入数据的格式要求对目标图片进行格式转换，以使文本初始检测模型可以对输入的目标图片进行神经网络运算，得到目标图像中的字段域和字符框。
步骤S230，将得到的所述目标图像中的字段域输入字段识别模型，得到目标图像的字段识别结果。
具体地，将得到的所述目标图像中的字段域输入字段识别模型，处理器100运行字段识别模型的相关神经网络算法对输入的字段域进行处理，得到目标图像的字段识别结果。可选地，该字段识别模型包含注意力机制的神经网络。该网络可以更加快速有效的进行字段识别。
需要说明的是，若步骤S220得到的字段域的格式与步骤S230中字段识别模型的输入数据的格式要求不一致，此时，需要根据字段识别模型的输入数据的格式要求对字段域进行格式转换(例如编译)，以使字段识别模型可以对输入的字段域进行神经网络运算，得到目标图像中的字段识别结果。
步骤S240，将得到的所述目标图像中的字符框输入字符识别模型，得到目标图像的字符识别结果。
具体地，将字符输入字符识别模型，处理器100运行字符识别模型的相关神经网络算法对输入的字符进行处理，得到目标图像的字符识别结果。可选地，该字符识别模型可以包含空间变换网络和分类网络，所述空间变换网络的输出为所述分类网络的输入。该模型通过空间变换网络增加了神经网络的宽度，使字符识别结果更加准确。
需要说明的是，若步骤S220得到的字符框的格式与步骤S240中字符识别模型的输入数据的格式要求不一致，此时，需要根据字符识别模型的输入数据的格式要求对字符框进行格式转换(例如编译)，以使字符识别模型可以对输入的字符框进行神经网络运算，得到目标图像中的字符识别结果。
步骤S250：根据字段识别结果和字符识别结果得到图像识别结果。
具体地，处理器100根据字段识别结果和字符识别结果得到图像识别结果。可选地，处理器100可以目标图像中各位置上内容的类型，确定目标图像的各个字段域使用字符识别结果还是字段识别结果组成图像识别结果。例如：在目标图像为驾驶证图像时，可以使用字符识别结果作为驾驶证持证人姓名这一字段域的识别结果，可以使用字段识别结果作为驾驶证持证人出生日期这一字段域的识别结果。可选地，处理器100还可以综合目标图像中各位置上内容的字符识别结果和字段识别结果，最终得到图像识别结果。
上述图像识别方法中，首先识别出原始图像中的目标图像，去除了原始图像中其他对识别结果的影响，之后对目标图像中的字段域和字符框同时检测，并基于该字段域和字符框的检测结果进行字段识别和字符识别，该方法可以克服在进行图像识别时，使用单一的识别手段得到的识别结果不准确的技术问题。
在其中一个实施例中，上述实施例中的图像检测模型包括第一图像检测模型和第二图像检测模型，此时，如图3所示，步骤210，包括：
步骤211，将原始图像输入第一图像检测模型，得到原始图像的特征图。
具体地，将原始图像输入第一图像检测模型，处理器100运行该第一图像检测模型的相关神经网络算法对原始图像进行处理，输出原始的特征图。可选地，该第一图像检测模型可以包含用于特征提取的神经网络，例如特征金字塔网络(feature pyramid network，FNP)。FPN可以通过简单的网络连接改变，解决目标检测中的多尺度问题，其可以在基本不增加原有模型计算量情况下，大幅度提升了较小目标检测的性能。
步骤212，根据原始图像的特征图对原始图像进行修正，得到初始处理图像。
具体地，处理器100根据原始图像的特征图对原始图像进行修正，得到初始处理图像。可选地，处理器100基于第一图像检测模型输出的特征图旋转以修正原始图像，得到初始处理图像。可选地，还可以对原始图像的特征图进行裁剪操作，以去除原始图像的特征图包含除目标内容以外的其他内容，得到初始处理图像。进一步地，处理器100也可以根据设置对得到的初始处理图像进行清晰度、亮度的调整。根据该特征图对原始图像进行修正可以有效的修正图像中的倾斜角度，可以降低后续步骤由于倾斜对的识别结果的影响，提高识别准确率。
步骤213，将初始处理图像输入第二图像检测模型，得到初始处理图像中目标区域的顶点坐标。
具体地，将初始处理图像输入第二图像检测模型，处理器100运行该第二图像检测模型的相关神经网络算法对初始处理图像进行处理，输出初始处理图像中目标区域的顶点坐标。
可选地，该第二图像检测模型可以包含特征提取网络以及与所述特征提取网络连接的输出层。该特征提取网络可以包含交替连接的多个卷积层和多个池化层，用于对初始处理图像进行特征提取，该输出层用于基于特征提取网络输出的特征提取结果输出初始处理图像中目标区域的顶点坐标。
可选地，该特征提取网络可以包括：ResNet(残差网络)，和/或，ResNet-inception混合网络。该ResNet包含多个ResNet block(残差块)，该ResNet-inception混合网络包括多个ResNet block和inception block(inception块)。其中，ResNet为在深度神经网络(Deep Neural Network,DNN)的间隔的网络层之间增加跳跃连接得到的神经网络结构。跳跃连接之间的网络层构成一个ResNet block。ResNets有助于解决深度神经网络DNN的梯度消失和梯度***问题，可以保证在训练更深网络的同时，又能拥有良好的性能。其中，Inception网络包含多个Inception block。Inception block可以并行计算同一输入映射上的多个不同变换，并将它们的结果都连接成一个单一输出。这可以有效的减少在增加神经网络(例如卷积神经网络，CNN)的宽度时，过拟合和自由参数增加的问题。
步骤214，根据初始处理图像中目标区域的顶点坐标对初始处理图像进行修正，得到目标图像。
具体地，处理器100根据初始处理图像中目标区域的顶点坐标对初始处理图像进行修正，得到目标图像。可选地，可以通过旋转进行初始处理图像的修正。可选地，还可以对初始处理图像进行裁剪操作，以去除初始处理图像包含除目标内容以外的其他内容，得到目标图像。进一步地，处理器100也可以根据设置对得到的目标图像进行清晰度、亮度的调整。根据该初始处理图像中目标区域的顶点坐标对初始处理图像进行修正可以有效的修正图像中的倾斜角度，可以降低后续步骤由于倾斜对的识别结果的影响，提高识别准确率。
本实施例提出的获取原始图像中目标图像的方法，得到的目标图像更加精确。
在其中一个实施例中，步骤S211包括：将所述原始图像输入第一图像检测模型，通过所述第一图像检测模型中的特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图。步骤S212包括：根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
本实施例中选择使用原始图像中目标区域的热图和倾斜角度图作为原始图像的特征图，可以更加有效精细的处理原始图片，得到初始处理图像。
在其中一个实施例中，第二图像检测模型的特征提取网络包含ResNet网络，此时，此时，步骤S213包括：通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
本实施例中的第二图像检测模型应用ResNet网络有助于解决深度神经网络DNN的梯度消失和梯度***问题，可以保证在训练更深网络，同时又能拥有良好的性能。
在另一个可选地实施例中，第二图像检测模型的特征提取层包括ResNet-inception混合网络，此时，步骤S213包括：通过所述ResNet-inception混合网络的ResNetblock和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
本实施例中的第二图像检测模型既应用ResNets网络解决深度神经网络DNN的梯度消失和梯度***问题，保证模型拥有良好的性能，同时可以有效的减少在增加神经网络(例如卷积神经网络，CNN)的宽度时，过拟合和自由参数增加的问题。
在其中一个实施例中，进行字段域和字符框识别的文本初始检测模型包含：EAST(Efficient and Accuracy Scene Text detection，高效准确的场景文件检测模型)模型和与EAST模型的特征提取网络连接的字段域识别神经网络。该字段域识别神经网络用于基于所述EAST模型的特征提取网络的输出结果，进行字段域识别。可选地，该字段域识别神经网络可以包含卷基层和全连接层。例如该多层神经网络可以包含多个卷积层和一个全连接层。可选地，可以先编码EAST的FNP的输出结果，之后再将编码结果输入后续的多层神经网络，得到目标图像的字段域识别结果。可选地，该文本初始检测模型除了可以基于输入的目标图像输出识别出的字符框和字段域外，还可以输出目标图像中的字段域的数量。字段域的数量可以用于模型输出结果的校验与调整。
在其中一个实施例中，如图4所示，文本初始检测模型包含：EAST模型以及字段域识别神经网络时，步骤S220，包括：
S221a：将目标图像输入文本初始检测模型，该文本初始检测模型中的EAST模型的特征提取网络对输入的目标图像进行特征提取，得到目标图像的特征图。
S222a：将目标图像的特征图输入EAST模型的特征融合层，得到融合后的特征图，并将该融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框。
S223a：将目标图像的特征图输入与EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域。
本实施例提出的文本初始检测模型可以同时对目标图像的字符框和字段域的进行识别，且字段域的识别利用了字符框原有模型(EAST模型)的特征提取结果，无需进行两次的特征提取，大大的提高了目标图像中字符框和字段域的检测效率。
在其中一个实施例中，如图5所示，步骤S223a，包括：
S2231a：根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据。
S2232a：将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
本实施例的方法，基于字段域识别神经网络的输入数据的格式要求编码目标图像的特征图，可以使在构建的字段域识别神经网络要求的输入数据与得到的目标图像的特征图的格式不匹配时，使用该构建的字段域识别神经网络，增加了该字段域识别神经网络的通用性。
在其中一个可选地实施例中，如图6所示，步骤S220，包括：
步骤S221b：将目标图像输入文本初始检测模型，输出目标图像中的初始字段域和初始字符框。
具体地，将目标图像输入文本初始检测模型，处理器100运行该字段域和字符框检测模的相关神经网络算法对目标图像进行处理，输出目标图像中的初始字段域和初始字符框。
步骤S222b：根据目标图像中各字段域与对应的字符框之间存在固定位置关系，对初始字段域和初始字符框进行修正得到所述目标图像中的字段域和字符框。
具体地，若目标图像中各字段域与对应的字符框之间存在固定位置关系，对初始字段域和初始字符框进行修正得到字段域和字符框。在某些特殊的目标检测，例如驾驶证图像检测，护照图像检测等场景下，这些图像的字段域与字符框本身存在隐含的固定位置关系，处理器可以基于这些固定的位置关系对检测出的字符框和/或字段域进行修正，以得到更理想的字符识别模型和/或字段识别模型的输入数据。例如可以修正驾证图像中某些倾斜的。
上述实施例得到的字段域与字符框作为字符识别模型和/或字段识别模型的输入数据时，可以获得更加准确的字符和/或字段识别结果。
在其中一个实施例中，步骤S230包括：将得到的目标图像中的字段域输入字段识别模型，字段识别模型通过增加注意力机制的卷积循环神经网络(CRNN，convoltionalrecurrent neural network)对目标图像中的字段域进行处理，得到目标图像的字段识别结果。其中，CRNN包括前半部分是卷积层和后半部分是循环神经网络。
本实施的方法通过在卷积循环神经网络增加注意力机制，可以更有效的得到目标图像的字段识别结果。
在其中一个实施例中，步骤S240包括：将得到的目标图像中的字符框输入字符识别模型，字符识别模型的空间变换网络对目标图像中的字符框进行空间变换，得到空间变换结果；字符识别模型的分类网络对空间变换结果进行处理得到分类结果；字符识别模型的输出层基于分类结果，输出目标图像的字符识别结果。
本实施的方法通过空间变换网络，可以在得到的字符框识别结果稀疏时，准确有效的识别目标图像的字符。
在其中一个实施例中，如图7所示，在步骤S210之前还包括：
步骤S260，基于图像检测的目标任务，构建所述图像检测模型的各网络层。
步骤S270，基于字段域和字符框检测的目标任务，构建所述文本初始检测模型的各网络层。
步骤S280，基于字段识别的目标任务，构建所述字段识别模型的各网络层，基于字符识别的目标任务，构建所述字符识别模型的各网络层。
步骤S290，训练所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层，得到图像检测模型，文本初始检测模型，字段识别模型以及字符识别模型。
具体地，首先基于最终的目标任务图像的识别划分多个目标任务，该多个目标任务可以包括：图像检测、字段域和字符框检测、字段识别以及字符识别。之后，基于各个目标任务构建神经网络模型，得到各个神经网络模型的神经网络层，即完成神经网络模型的神经网络构建。最后，训练构建的各个网络模型，使其神经网络收敛。
本实施例的目标任务设置合理，因此得到的各个神经网络模型的数据处理效率高，得到的图像识别结果准确。
在其中一个实施例中，如图8所示，上述步骤S290，包括：
步骤S291，获取多个训练图像，并基于多个训练图像构建第一训练样本。可选地，可以人工合成多个训练图像，如图9所示为一个合成的驾驶证图像的示例，其可以被作为训练图像。可选地，可以有目的根据构建的各个神经网络模型的训练有针对的进行训练图像的合成。在合成训练图像的过程中还可以基于合成的训练图像的图像类型进行大数据分析，根据大数据的分析结果有目标的进行训练图像的合成。需要说明的是，再合成训练图像时，应尽量合成包含多个特征的图像。例如可以统计合成的训练图像中包含的特征，并针对各个特征进行统计分析，基于统计分析结果进行训练图像的合成。
步骤S292，将所述第一训练样本输入所述构建的图像检测模型，得到第一训练结果，并根据所述第一训练结果得到第二训练样本。
步骤S293，将所述第二训练样本输入所述构建的文本初始检测模型，得到第二训练结果，并根据所述第二训练结果得到第三训练样本。
步骤S294，将所述第三训练样本分别输入所述构建的字段识别模型以及字符识别模型，得到第三训练结果。
步骤S295，迭代执行步骤S292-S294，直至构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层收敛。
本实施的模型训练使用的合成的训练图像，可以有效的加速神经网络模型的各神经网络层的收敛，提高训练效率。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种图像识别装置，包括：
图像检测模块101，用于将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像。
文本初始检测模块102，用于将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框。
字段识别模块103，用于将所述字段域输入字段识别模型，得到所述目标图像的字段识别结果。
字符识别模块104，用于将所述字符框输入字符识别模型，得到所述目标图像的字符识别结果。
结果生成模块105，用于根据所述字段识别结果和所述字符识别结果得到图像的识别结果。
在其中一个实施例中，目标图像检测模块101，具体用于将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到目标图像。
在其中一个实施例中，在上述实施例中的图像检测模型包括第一图像检测模型和第二图像检测模型时，目标图像检测模块101，具体用于将所述原始图像输入第一图像检测模型，通过所述第一图像检测模型中的特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图；根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
在其中一个实施例中，目标图像检测模块101，具体用于通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标；和/或，通过所述ResNet-inception混合网络的ResNet block和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
在其中一个实施例中，文本初始检测模块102，具体用于将所述目标图像输入文本初始检测模型，所述文本初始检测模型中的EAST模型的特征提取网络对输入的所述目标图像进行特征提取，得到所述目标图像的特征图；将所述目标图像的特征图输入所述EAST模型的特征融合层，得到融合后的特征图，并将所述融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框；将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域。
在其中一个实施例中，文本初始检测模块102，具体用于根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据；将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
在其中一个实施例中，文本初始检测模块102，具体用于将所述目标图像输入文本初始检测模型，输出所述目标图像中的初始字段域和初始字符框；根据所述目标图像中各字段域与对应的字符框之间存在固定位置关系，对所述初始字段域和初始字符框进行修正得到所述目标图像中的字段域和字符框。
在其中一个实施例中，字段识别模块103，具体用于将得到的所述目标图像中的字段域输入字段识别模型，所述字段识别模型通过增加注意力机制的卷积循环神经网络对所述目标图像中的字段域进行处理，得到所述目标图像的字段识别结果。
在其中一个实施例中，字符识别模块104，具体用于将得到的所述目标图像中的字符框输入字符识别模型，所述字符识别模型的空间变换网络对所述目标图像中的字符框进行空间变换，得到空间变换结果；所述字符识别模型的分类网络对所述空间变换结果进行处理得到分类结果；所述字符识别模型的输出层基于所述分类结果，输出所述目标图像的字符识别结果。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定，在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；根据所述字段识别结果和所述字符识别结果得到图像识别结果。
在一个实施例中，在上述实施例中的图像检测模型包括第一图像检测模型和第二图像检测模型时，处理器执行计算机程序时具体实现以下步骤：将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到目标图像。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将所述原始图像输入第一图像检测模型，通过所述第一图像检测模型中的特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图；根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标；和/或，通过所述ResNet-inception混合网络的ResNet block和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将所述目标图像输入文本初始检测模型，所述文本初始检测模型中的EAST模型的特征提取网络对输入的所述目标图像进行特征提取，得到所述目标图像的特征图；将所述目标图像的特征图输入所述EAST模型的特征融合层，得到融合后的特征图，并将所述融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框；将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据；将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将所述目标图像输入文本初始检测模型，输出所述目标图像中的初始字段域和初始字符框；根据所述目标图像中各字段域与对应的字符框之间存在固定位置关系，对所述初始字段域和初始字符框进行修正得到所述目标图像中的字段域和字符框。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将得到的所述目标图像中的字段域输入字段识别模型，所述字段识别模型通过增加注意力机制的卷积循环神经网络对所述目标图像中的字段域进行处理，得到所述目标图像的字段识别结果。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将得到的所述目标图像中的字符框输入字符识别模型，所述字符识别模型的空间变换网络对所述目标图像中的字符框进行空间变换，得到空间变换结果；所述字符识别模型的分类网络对所述空间变换结果进行处理得到分类结果；所述字符识别模型的输出层基于所述分类结果，输出所述目标图像的字符识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：训练所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层，得到图像检测模型，文本初始检测模型，字段识别模型以及字符识别模型；其中，所述图像检测模型基于图像检测的目标任务构建，所述文本初始检测模型基于字段域和字符框检测的目标任务构建，所述字段识别模型基于字段识别的目标任务构建，所述字符识别模型基于字符识别的目标任务构建。
在一个实施例中，处理器执行计算机程序时具体实现以下步骤：将所述第一训练样本输入所述构建的图像检测模型，得到第一训练结果，并根据所述第一训练结果得到第二训练样本；将所述第二训练样本输入所述构建的文本初始检测模型，得到第二训练结果，并根据所述第二训练结果得到第三训练样本；将所述第三训练样本分别输入所述构建的字段识别模型以及字符识别模型，得到第三训练结果；迭代执行所述将所述第一训练样本输入所述构建的图像检测模型至所述得到第三训练结果的各个步骤，直至所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层收敛。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；根据所述字段识别结果和所述字符识别结果得到图像识别结果。
在一个实施例中，在上述实施例中的图像检测模型包括第一图像检测模型和第二图像检测模型时，计算机程序被处理器执行时具体实现以下步骤：将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到目标图像。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将所述原始图像输入第一图像检测模型，所述第一图像检测模型通过特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图；根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标；和/或，通过所述ResNet-inception混合网络的ResNet block和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将所述目标图像输入文本初始检测模型，所述文本初始检测模型中的EAST模型的特征提取网络对输入的所述目标图像进行特征提取，得到所述目标图像的特征图；将所述目标图像的特征图输入所述EAST模型的特征融合层，得到融合后的特征图，并将所述融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框；将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据；将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将所述目标图像输入文本初始检测模型，输出所述目标图像中的初始字段域和初始字符框；根据所述目标图像中各字段域与对应的字符框之间存在固定位置关系，对所述初始字段域和初始字符框进行修正得到所述目标图像中的字段域和字符框。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将得到的所述目标图像中的字段域输入字段识别模型，所述字段识别模型通过增加注意力机制的卷积循环神经网络对所述目标图像中的字段域进行处理，得到所述目标图像的字段识别结果。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将得到的所述目标图像中的字符框输入字符识别模型，所述字符识别模型的空间变换网络对所述目标图像中的字符框进行空间变换，得到空间变换结果；所述字符识别模型的分类网络对所述空间变换结果进行处理得到分类结果；所述字符识别模型的输出层基于所述分类结果，输出所述目标图像的字符识别结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：训练所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层，得到图像检测模型，文本初始检测模型，字段识别模型以及字符识别模型；其中，所述图像检测模型基于图像检测的目标任务构建，所述文本初始检测模型基于字段域和字符框检测的目标任务构建，所述字段识别模型基于字段识别的目标任务构建，所述字符识别模型基于字符识别的目标任务构建。
在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：将所述第一训练样本输入所述构建的图像检测模型，得到第一训练结果，并根据所述第一训练结果得到第二训练样本；将所述第二训练样本输入所述构建的文本初始检测模型，得到第二训练结果，并根据所述第二训练结果得到第三训练样本；将所述第三训练样本分别输入所述构建的字段识别模型以及字符识别模型，得到第三训练结果；迭代执行所述将所述第一训练样本输入所述构建的图像检测模型至所述得到第三训练结果的各个步骤，直至所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层收敛。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像识别方法，其特征在于，所述方法包括：
将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
将得到的所述目标图像中的字段域输入字段识别模型，得到所述目标图像的字段识别结果；
将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果；
根据所述字段识别结果和所述字符识别结果得到图像识别结果；
所述图像检测模型包括第一图像检测模型和第二图像检测模型，所述将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像，包括：
将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；
根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；
将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；
根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像包括：
将所述原始图像输入所述第一图像检测模型，通过所述第一图像检测模型中的特征金字塔网络对所述原始图像进行特征提取，得到所述原始图像中目标区域的热图和倾斜角度图；
根据所述原始图像中目标区域的热图和倾斜角度图对所述原始图像进行修正，得到初始处理图像。
3.根据权利要求1所述的方法，其特征在于，所述第二图像检测模型包括：特征提取网络以及与所述特征提取网络连接的输出层，其中，所述特征提取网络包括ResNet网络，和/或，ResNet-inception混合网络。
4.根据权利要求1所述的方法，其特征在于，
若所述第二图像检测模型的特征提取层包括ResNet网络，则所述将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标，包括：
通过所述ResNet网络的ResNet block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标；和/或，
若所述第二图像检测模型的特征提取层包括ResNet-inception混合网络，则所述将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标包括：
通过所述ResNet-inception混合网络的ResNet block和inception block进行特征提取，得到特征提取结果，并将所述特征提取结果输入所述第二图像检测模型的输出层，输出初始处理图像中目标区域的顶点坐标。
5.根据权利要求1所述的方法，其特征在于，所述文本初始检测模型包含：EAST模型以及与所述EAST模型的特征提取网络连接的字段域识别神经网络；其中，所述字段域识别神经网络用于基于所述EAST模型的特征提取网络的输出结果，进行字段域识别。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框，包括：
将所述目标图像输入文本初始检测模型，所述文本初始检测模型中的EAST模型的特征提取网络对输入的所述目标图像进行特征提取，得到所述目标图像的特征图；
将所述目标图像的特征图输入所述EAST模型的特征融合层，得到融合后的特征图，并将所述融合后的特征图输入所述EAST模型的输出层，得到所述目标图像中的字符框；
将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域检测结果。
7.根据权利要求6所述的方法，其特征在于，所述将所述目标图像的特征图输入与所述EAST模型的特征提取网络连接的字段域识别神经网络，输出所述目标图片的字段域检测结果，包括：
根据所述字段域识别神经网络的输入数据的格式要求，对所述将所述目标图像的特征图进行编码，得到编码数据；
将所述编码数据输入字段域识别神经网络，输出所述目标图片的字段域检测结果。
8.根据权利要求1所述的方法，其特征在于，则所述将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框，包括：
将所述目标图像输入文本初始检测模型，输出所述目标图像中的初始字段域和初始字符框；
根据所述目标图像中各字段域与对应的字符框之间存在固定位置关系，对所述初始字段域和初始字符框进行修正得到字段域和字符框。
9.根据权利要求1所述的方法，其特征在于，将所述字段域输入字段识别模型，得到所述目标图像的字段识别结果，包括：
将得到的所述目标图像中的字段域输入字段识别模型，所述字段识别模型通过增加注意力机制的卷积循环神经网络对所述目标图像中的字段域进行处理，得到所述目标图像的字段识别结果。
10.根据权利要求1所述的方法，其特征在于，所述将得到的所述目标图像中的字符框输入字符识别模型，得到所述目标图像的字符识别结果，包括：
将得到的所述目标图像中的字符框输入字符识别模型，所述字符识别模型的空间变换网络对所述目标图像中的字符框进行空间变换，得到空间变换结果；
所述字符识别模型的分类网络对所述空间变换结果进行处理得到分类结果；
所述字符识别模型的输出层基于所述分类结果，输出所述目标图像的字符识别结果。
11.根据权利要求1-10任一所述的方法，其特征在于，所述方法还包括：
基于图像检测的目标任务，构建所述图像检测模型的各网络层；
基于字段域和字符框检测的目标任务，构建所述文本初始检测模型的各网络层；
基于字段识别的目标任务，构建所述字段识别模型的各网络层；
基于字符识别的目标任务，构建所述字符识别模型的各网络层；
训练所述构建的图像检测模型的各网络层、文本初始检测模型的各网络层、字段识别模型的各网络层以及字符识别模型的各网络层，得到所述图像检测模型、所述文本初始检测模型、所述字段识别模型以及所述字符识别模型。
12.根据权利要求11所述的方法，其特征在于，所述训练所述构建的图像检测模型的各网络层，文本初始检测模型的各网络层，字段识别模型的各网络层以及字符识别模型的各网络层，得到所述图像检测模型，所述文本初始检测模型，所述字段识别模型以及所述字符识别模型，包括：
获取多个训练图像，并基于所述多个训练图像构建第一训练样本；
将所述第一训练样本输入所述构建的图像检测模型，得到第一训练结果，并根据所述第一训练结果得到第二训练样本；
将所述第二训练样本输入所述构建的文本初始检测模型，得到第二训练结果，并根据所述第二训练结果得到第三训练样本；
将所述第三训练样本分别输入所述构建的字段识别模型以及字符识别模型，得到第三训练结果；
迭代执行所述将所述第一训练样本输入所述构建的图像检测模型至所述得到第三训练结果的各个步骤，直至所述构建的图像检测模型的各网络层、所述文本初始检测模型的各网络层、所述字段识别模型的各网络层以及所述字符识别模型的各网络层收敛。
13.一种图像识别装置，其特征在于，所述装置包括：
图像检测模块，用于将获取的原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像；
文本初始检测模块，用于将所述目标图像输入文本初始检测模型，得到所述目标图像中的字段域和字符框；
字段识别模块，用于将所述字段域输入字段识别模型，得到所述目标图像的字段识别结果；
字符识别模块，用于将所述字符框输入字符识别模型，得到所述目标图像的字符识别结果；
结果生成模块，用于根据所述字段识别结果和所述字符识别结果得到图像的识别结果；
所述图像检测模型包括第一图像检测模型和第二图像检测模型，所述将原始图像输入图像检测模型，并根据所述图像检测模型的输出结果得到目标图像，包括：
将所述原始图像输入第一图像检测模型，得到所述原始图像的特征图；
根据所述原始图像的特征图对所述原始图像进行修正，得到初始处理图像；
将所述初始处理图像输入第二图像检测模型，得到所述初始处理图像中目标区域的顶点坐标；
根据所述初始处理图像中目标区域的顶点坐标对所述初始处理图像进行修正，得到所述目标图像。
14.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625431.1A CN109886077B (zh) | 2018-12-28 | 2018-12-28 | 图像识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625431.1A CN109886077B (zh) | 2018-12-28 | 2018-12-28 | 图像识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886077A CN109886077A (zh) | 2019-06-14 |
| CN109886077B true CN109886077B (zh) | 2021-07-09 |
Family
ID=66925305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811625431.1A Active CN109886077B (zh) | 2018-12-28 | 2018-12-28 | 图像识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886077B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659573B (zh) * | 2019-08-22 | 2021-03-09 | 北京捷通华声科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN110675399A (zh) * | 2019-10-28 | 2020-01-10 | 上海悦易网络信息技术有限公司 | 屏幕外观瑕疵检测方法及设备 |
| CN110827246A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 电子设备边框外观瑕疵检测方法及设备 |
| CN110827249A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 电子设备背板外观瑕疵检测方法及设备 |
| CN110796647A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种电子设备屏幕区域瑕疵检测方法与设备 |
| CN111242120B (zh) * | 2020-01-03 | 2022-07-29 | 中国科学技术大学 | 文字检测方法及*** |
| CN111275046B (zh) * | 2020-01-10 | 2024-04-16 | 鼎富智能科技有限公司 | 一种字符图像识别方法、装置、电子设备及存储介质 |
| CN111444908B (zh) * | 2020-03-25 | 2024-02-02 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、终端和存储介质 |
| CN111626294A (zh) * | 2020-05-27 | 2020-09-04 | 北京微智信业科技有限公司 | 一种基于自然语言语义分析的文本识别方法 |
| CN111783755B (zh) * | 2020-09-04 | 2021-01-05 | 中国科学院自动化研究所 | 基于空间变换信息传递的人体关键点检测方法与*** |
| CN113673527B (zh) * | 2021-07-28 | 2023-08-08 | 成都恒创新星科技有限公司 | 一种车牌识别方法及*** |
| CN115527209A (zh) * | 2022-09-22 | 2022-12-27 | 宁波港信息通信有限公司 | 用于岸桥箱号识别的方法、装置、***和计算机设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9501707B2 (en) * | 2015-04-16 | 2016-11-22 | Xerox Corporation | Method and system for bootstrapping an OCR engine for license plate recognition |
| CN105654072B (zh) * | 2016-03-24 | 2019-03-01 | 哈尔滨工业大学 | 一种低分辨率医疗票据图像的文字自动提取和识别***与方法 |
| CN107273897A (zh) * | 2017-07-04 | 2017-10-20 | 华中科技大学 | 一种基于深度学习的文字识别方法 |
| CN107766809B (zh) * | 2017-10-09 | 2020-05-19 | 平安科技（深圳）有限公司 | 电子装置、票据信息识别方法和计算机可读存储介质 |
| CN108875722A (zh) * | 2017-12-27 | 2018-11-23 | 北京旷视科技有限公司 | 字符识别与识别模型训练方法、装置和***及存储介质 |
| CN108229474B (zh) * | 2017-12-29 | 2019-10-01 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| CN108446621A (zh) * | 2018-03-14 | 2018-08-24 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN108564035B (zh) * | 2018-04-13 | 2020-09-25 | 杭州睿琪软件有限公司 | 识别单据上记载的信息的方法及*** |
| CN108921166A (zh) * | 2018-06-22 | 2018-11-30 | 深源恒际科技有限公司 | 基于深度神经网络的医疗票据类文本检测识别方法及*** |
-
2018
- 2018-12-28 CN CN201811625431.1A patent/CN109886077B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886077A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886077B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN110135406B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN110517278B (zh) | 图像分割和图像分割网络的训练方法、装置和计算机设备 | |
| CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN110427852B (zh) | 文字识别方法、装置、计算机设备和存储介质 | |
| CN111191568B (zh) | 翻拍图像识别方法、装置、设备及介质 | |
| CN110634153A (zh) | 目标跟踪模板更新方法、装置、计算机设备和存储介质 | |
| CN110866491A (zh) | 目标检索方法、装置、计算机可读存储介质和计算机设备 | |
| CN113435594B (zh) | 安防检测模型训练方法、装置、设备及存储介质 | |
| CN111275685A (zh) | 身份证件的翻拍图像识别方法、装置、设备及介质 | |
| CN113496150B (zh) | 密集目标检测方法、装置、存储介质及计算机设备 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
| CN111553268A (zh) | 车辆部件识别方法、装置、计算机设备和存储介质 | |
| CN110766077A (zh) | 证据链图像中特写图筛选方法、装置和设备 | |
| CN111860582B (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
| CN111666931A (zh) | 基于混合卷积文字图像识别方法、装置、设备及存储介质 | |
| CN110222752B (zh) | 图像处理方法、***、计算机设备、存储介质和芯片 | |
| CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN111178162B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN111191062B (zh) | 图片处理方法、装置、计算机设备和存储介质 | |
| CN112614199A (zh) | 语义分割图像转换方法、装置、计算机设备和存储介质 | |
| CN113435384A (zh) | 中低分辨率光学遥感图像的目标检测方法、装置及设备 | |
| CN111583168A (zh) | 图像合成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |