CN113591831A - 一种基于深度学习的字体识别方法、***及存储介质 - Google Patents

Abstract

本发明提供一种基于深度学习的字体识别方法、***及存储介质，所述识别方法包括：获得含有目标字体的分割图像；对所述分割图像进行含有注意力机制的超分辨率重构，得到超分辨率字体图像，该方法可自文档、特别是自然场景或其他具有噪声干扰情形下的文档中获得高清晰的字体图像，并得到准确的分类识别结果。

Description

一种基于深度学习的字体识别方法、***及存储介质

技术领域

本发明涉及计算机视觉处理的技术领域，尤其涉及基于深度学习的计算机视觉图像处理的技术领域。

背景技术

近些年来，光学字符识别(OCR)取得了相当大的进展，与此同时，字体的识别尤其是中文字体识别(CCRF)也得到了更多的关注；对于文档图像处理而言，文字字体的变化可能会对文字识别(OCR)的精度产生影响，而字体信息也会对文本的布局分析和理解产生影响，例如，利用文字的字体信息，可以帮助文档重建***恢复文档内容和字符样式。但在实际的字体识别中，常存在字体种类多，字体变形多等情况(如相同字体存在加粗，倾斜等多种情况)，这给字体识别带来了极大的挑战。

目前字体识别方法主要针对英文或者***这种字母脚本的字体识别，如通过统计黑色像素的分布的多少来对字母字体进行分类，但这种方法忽略了相同字体的不同文字的形态区别，如相同字体的不同文字间的粗细之分，因此最终的识别结果并不是很好；或如通过小波变换或者全局纹理分析的方式提取字体相应的特征，然后通过计算欧式距离确定字体的类别，但这些方法均为针对英文或者***文这类字母文字开发的字体识别方法，对中文字体的识别并不适用。

众所周知，汉字的数量多，形态各异，且不同字的轮廓和灰度不规则且变化很大，这都给中文字体识别任务带来了极大的挑战。目前，中文字体识别方法主要还是利用机器学习的方法，先提取相应的特征，然后通过SVM或者决策树的方式进行最终的分类，但目前基于深度学习的字体识别方法对于自然场景下的文档图像并不友好，无法处理自然场景下文档存在的多种问题带来的影响，如自然场景下文档图像往往存在各种各样的噪声；自然场景下的文本图像的单个字体较小，而深度学习的特征提取的过程往往需要多重下采样来获取图像丰富的语义信息，因此小图片是需要放大到一定程度再进行特征提取的，但是图片放大的过程必然伴随着像素值的损失，这会极大的破坏字体的纹理特征等。

发明内容

本发明的目的在于克服现有技术中的缺点，提供一种基于深度学习的中文字体识别的新方法，该方法可自文档、特别是自然场景或其他具有噪声干扰情形下的文档中获得高清晰的字体图像，并得到准确的分类识别结果。

本发明的目的还在于提供上述识别方法的一种高效实现***及其存储介质。

本发明首先提供了以下技术方案：

一种基于深度学习的字体识别方法，其包括：获得含有目标字体的分割图像；对所述分割图像进行含有注意力机制的超分辨率重构，得到超分辨率字体图像。

该技术方案在字体识别之前对其进行了超分辨率重构，可充分解决自然场景下，文档图像的字体占比较小、分辨率较低，如果直接将切割出来的单个文字进行分类识别，会影响最终的分类结果的技术问题，且通过注意力机制的引入，可充分消除自然场景下文档中的噪声干扰，获得特征显著的待识别图像，提高最终分类精度。

进一步的，所述的字体识别方法还包括：通过所述超分辨率字体图像、及所述分割图像和/或其放大图像进行字体识别。

可以理解的是，该进一步的技术方案实际包括：通过所述超分辨率字体图像、及所述分割图像进行字体识别；通过所述超分辨率字体图像、及所述分割图像的放大图像进行字体识别；通过所述超分辨率字体图像、及所述分割图像、及所述分割图像的放大图像进行字体识别。

该进一步的技术方案，相对于直接使用所述分割图像或所述超分辨率字体图像进行识别的技术手段，可提高最终分类识别效果。

进一步的，所述放大图像通过对所述分割图像的插值获得。

其中，所述插值可如双线性插值，其可得到重构效果较佳的重构图像。

进一步的，所述注意力机制中使用的注意力图像为将所述分割图像进行归一化处理后取反得到的图像。

进一步的，所述归一化处理包括：将所述分割图像中每个像素的灰度值归一化至0到1的范围内。

发明人意外地发现，在文档图像中，文字区域为主要关注对应，背景区域要需要更少的关注，而文字所在的区域为黑色，其他区域即为背景的白色，即越黑的地方越需要关注，越白的地方越少关注，因此在上述两种进一步的技术方案中，将图像归一化或更具体的归一化至(0，1)的范围后，得到任一点灰度为I的图像,用通过1-I的逐像素相减，可得到所述注意力图像(Attention Map)，该注意力图像十分适合文字图像的处理，且获取方便、计算量小。

进一步的，所述超分辨率重构包括：

将所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像与经其处理后获得的注意力图像进行融合，得到融合图像；对所述融合图像进行一到多次下采样特征提取，得到一到多个特征图；

将所述一到多个特征图分别进行注意力分配，得到其分别含注意力权重的特征图；

将所述含注意力权重的特征图进行一到多次双线性上采样提取，得到一到多个上采样图；

将所述上采样图与所述注意力图像进行乘法融合，得到第一融合图像；

将所述第一融合图像与所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像进行加法融合，得到超分辨率重构图像，即所述超分辨率字体图像。

该进一步的技术方案可充分解决将单个字体图像经过如双线性插值等方式放大后产生的纹理结构破坏、细节损失等的问题，充分恢复文字的纹理结果，同时更好的关注文字部分而不是无关的背景部分，提高分类精准度。

进一步的，所述分割图像的获得包括：

对原始文档图像进行前景、背景分离的二值化处理，得到目标区域可识别的第一预处理图像；

对所述第一预处理图像进行增强处理，得到第二预处理图像；

对所述第二预处理图像进行目标提取和目标位置标定，得到最终预处理图像；

通过投影分割方法对所述最终预处理图像进行分割，得到所述分割图像。

该进一步的技术方案可得到准确的分割图像。

本发明进一步提供了上述检测方法的一种实现***，其包括超分辨率重构模块，该重构模块包括如下的重构模型：该模型包括1个特征融合单元，5个下采样单元，4个上采样单元，4个含注意力机制的跳层连接及1个最终上采样单元，其中，所述特征融合单元包括2个分别供所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像、及由所述分割图像得到的注意力图像进行输入的输入层，及1个对两个输入层的图像进行融合的融合层；所述5个下采样单元分别包括依次相连的2个卷积层和1个ReLU激活层，且其中前4个下采样单元还分别包括1个与ReLU激活层相连的最大池化层；所述4个上采样单元分别包含依次相连的1个上采样层及2个卷积层；所述4个含注意力机制的跳层连接位于所述前4个下采样单元和所述4个上采样单元之间，分别与该前4个下采样单元、该4个上采样单元、及所述特征融合层中的供注意力图像输入的输入层相连，其连接操作包括：将所述注意力图调整到对应下采样单元得到的特征图的尺寸大小后与之相乘，得到带有注意力机制的特征图，并将带有注意力机制的特征图与对应的上采样层进行拼接得到不同层的特征融合图像；所述最终上采样单元包括依次相连的1个上采样层、2个卷积层、另1个上采样层和另1个卷积层，即总共包括2个上采样层和3个卷积层，其中第1个上采样层与所述4个上采样单元中的最后1个上采样单元、及所述特征融合单元中的两个输入层分别相连。

该进一步的技术方案中，重构模型基于Unet神经网络构建，可从不同深度层提取多级特征、保留丰富的纹理信息，并使用多尺度上下文信息合成高质量的图像，其中，下卷积单元部分或即编码(Encoder)部分，可使用如VGG16的体系结构，上卷积单元部分或即解码(Decoder)部分使用卷积加双线性上采样的方式替代了传统的反卷积操作，可减少棋盘伪影，且在输入和跳层连接中引入了相应的注意力机制，提高了最终的超分辨率效果。

进一步的，所述的***还包括字体识别模块，该字体识别模块包括由mobilenetv3网络形成的分类器，且其具有供所述超分辨率字体图像、及所述分割图像和/或其放大图像同时或分别进行输入的输入层。

该进一步的技术方案选择较为成熟、且轻量级网络mobilenetv3作为本发明的识别模型，其采用深度可分离卷积，可大大减少参数的计算量，同时其引入了轻量级注意力模型(SE)，可提高分类的精准度，保证该模型能够在精度上与经典的分类器模型resnet,densenet相差很小的情况下，具有极高的精简性，使其能直接在移动端进行部署。

此外，进一步的，通过同时将原始分割图像或其经过如双线性插值等方式获得的放大图片和经过超分辨率模块得到的重构图片一起输入到所述字体识别模块中，可提高最终的分类效果。

本发明进一步提供了一种存储介质，其存储有实现上述任一检测方案的算法结构，和/或存储有上述任一***的任一或全部模块。

附图说明

图1为本发明的一种具体的整体识别流程图；

图2为本发明的一种具体的超分辨率重构流程图；

图3为本发明的一种具体的超分辨率模型结构示意图；

图4为本发明的一种具体的字体识别流程示意图；

图5为本发明的一种具体的字体识别模型结构示意图。

具体实施方式

下面结合附图和具体实施方式进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。

根据本发明的技术方案，一种具体的识别方法包括如图1所示的流程，如下：

S1对原始文档图像进行预处理，获得包含目标文字的预处理图像；

更具体的，其可包括：

S11获得原始文档图像的灰度图，通过二值化及取反过程，进一步得到目标区域可识别的第一预处理图像；

S12对所述第一预处理图像进行如膨胀、腐蚀、开运算等的形态学操作和/或对其进行双边滤波，得到目标增强后的第二预处理图像；

S13通过如正定框等框定方式自所述第二预处理图像中提取出目标文字并确定其所在位置，然后根据这个位置从原图中截取相应位置的图片，即得到最终预处理图像；

S2自所述预处理图像中获得分割后的文字图像，并进行放大及归一化的重构前处理，得到重构前文字图像；

更具体的，所述分割可通过投影分割算法得到；

所述重构前处理可包括：

通过双线性插值对分割后文字图像进行扩展，得到放大后的文字图像；

对放大后的文字图像进行归一化处理，获得其灰度值归一化到(0，1)内的图片矩阵I；

S3对所述重构前文字图像进行超分辨率重构，得到高分辨率的文字图像；

更具体的，参照图2，所述重构可通过以下过程实现：

S31用1减去由S2得到的归一化的图片矩阵I得到注意力图矩阵Attention_I；

S33将图片矩阵I和注意力图矩阵Attention_I在通道维度进行拼接,并输入到超分辨率模型中，得到特征图矩阵Feature_I；

S34将特征图矩阵Feature_I和注意力图矩阵Attention_I进行点乘运算，得到第一融合图矩阵Fusion1_I

S35将第一融合图矩阵Fusion1_I和图片矩阵I进行对应位置元素相加运算，得到第二融合图矩阵Fusion2_I

S36将第二融合图矩阵Fusion2_I经过超分辨率模型的最终上采样提取，得到超分辨图片。

进一步的，上述重构过程可通过如下的重构模型实现：

参照图3，该超分辨率重构模型包含一个改进的Unet网络和一个最终上采样单元，其中，所述改进的Unet网络包含1个特征融合单元，5个下采样单元，4个上采样单元，4个含注意力机制的跳层连接，其中，特征融合单元包括供所述放大和归一化处理后的图像I进行输入，及供所述注意力图像进行输入的2个输入层，及1个对两个输入层的图像进行融合的融合层；所述5个下采样单元分别包含2个卷积层，1个ReLU层，且其中前4个下采样单元还分别包括1个与ReLU层相连的最大池化层；所述4个上采样单元分别包含依次相连的1个上采样层及2个卷积层；所述跳层连接位于所述前4个下采样单元和所述4个上采样单元之间，分别与该前4个下采样单元、该4个上采样单元、及所述特征融合层中注意力图像输入层相连，其连接操作为：将所述注意力图调整到对应下采样单元得到的特征图的尺寸大小后与之相乘，得到带有注意力机制的特征图，并将带有注意力机制的特征图与对应的上采样层拼接起来以达到不同层的特征进行融合的效果；所述最终上采样单元依次包含1个上采样层、2个卷积层、另一个上采样层和另一个卷积层，即总共包含2个上采样层和3个卷积层，其中第一个上采样层与所述4个上采样单元中的最后一个上采样单元、及所述特征融合单元中的两个输入层分别相连。

在一些更具体的优选实施例中，所述5个下采样单元的卷积层的卷积核数量依次为：16、32、64、128、256，卷积核均为3，步长均为1；4个上采样单元的上采样层的上采样放大比率为2；4个上采样单元的卷积层的卷积核的数量依次为256、128、64、32，卷积核均为3，步长均为1；最终上采样单元的上采样放大比率为2、其中3个卷积层的卷积核数量依次为8、4、1，卷积核的大小均为3，步长均为1。

S4对所得高分辨率的文字图像进行分类识别，得到识别结果；

更具体的，其中所述识别可采用如附图4所示的流程，包括：将放大图像及经过超分辨率重构的图像同时作为输入，通过识别模型进行字体识别，获得识别结果，该放大图像即将所述分割后的文字图像通过如双线性插值等方法获得的放大图像。

更具体的，参照图5，其中所述识别模型可选择mobilenetv3分类器。

在更具体的一些实施中，该识别模型可采用Adam优化算法，优选以多元交叉熵为损失函数，优选初始学习率为lr＝0.003。进一步的，为提高模型的泛化能力，优选通过余弦退火策略优化超参数lr，和/或通过5折交叉验证的方式进行训练，即将数据集均分为五份，每一次训练从中随机选取3份为训练集，剩余的两份为验证集，且取验证集上损失函数最小的时候的模型参数为最佳参数并保存。

在更具体的一些实施例中，本发明通过扫描仪进行扫描得到的文本文档图像作为输入的原始图像，对原始图像进行上述预处理的基本三个步骤后，去除了基本的噪声干扰，为后续的操作提供了更高质量的图像，其后通过检测单个字符分割图像以及重构操作后，对字体的识别精度更高、适应性更强。在识别过程中，通过双线性插值与超分辨率模型的结合使用，很好地保留了文字图像的细节信息，例如不同字体之间具有的略微笔锋、横竖等宽等细节信息，通过这些信息能够区别开相似字体，但是属于不同的字体类型。

在与其他现有技术在公开字体数据集上的识别准确率进行比较时，现有技术中的LFE、DeepFont、AlexNet对应最优的准确率约在60.69％、72.93％、91.05％，本发明能够在现有图片数据集上实现95％左右的识别正确率，识别的准确度也更高。

以上仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护。

Claims (10)

1.一种基于深度学习的字体识别方法，其特征在于，其包括：

获得含有目标字体的分割图像；对所述分割图像进行含有注意力机制的超分辨率重构，得到超分辨率字体图像。

2.根据权利要求1所述的字体识别方法，其特征在于，其还包括：

通过所述超分辨率字体图像、及所述分割图像和/或其放大图像进行字体识别。

3.根据权利要求2所述的字体识别方法，其特征在于，所述放大图像通过对所述分割图像的插值获得。

4.根据权利要求1所述的字体识别方法，其特征在于，所述注意力机制中使用的注意力图像为将所述分割图像进行归一化处理后取反得到的图像。

5.根据权利要求4所述的字体识别方法，其特征在于，所述归一化处理包括：将所述分割图像中每个像素的灰度值归一化至0到1的范围内。

6.根据权利要求1所述的字体识别方法，其特征在于，所述超分辨率重构包括：

将所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像与经其处理后获得的注意力图像进行融合，得到融合图像；对所述融合图像进行一到多次下采样特征提取，得到一到多个下采样特征图；

将所述一到多个下采样特征图分别进行注意力分配，得到其分别含注意力权重的下采样特征图；

将所述一到多个下采样特征图进行一到多次上采样提取，并与对应层的含注意力权重的特征图在通道维度进行拼接，得到一到多个上采样特征图；

将所述上采样特征图与所述注意力图像进行乘法融合，得到第一融合图像；

将所述第一融合图像与所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像进行加法融合，得到第二融合图像；

将所述第二融合图像进行最终上采样提取，得到超分辨率重构图像，即所述超分辨率字体图像。

7.根据权利要求1所述的字体识别方法，其特征在于，所述分割图像的获得包括：

对原始文档图像进行前景、背景分离的二值化处理，得到目标区域可识别的第一预处理图像；

对所述第一预处理图像进行增强处理，得到第二预处理图像；

对所述第二预处理图像进行目标提取和目标位置标定，得到最终预处理图像；

通过投影分割方法对所述最终预处理图像进行分割，得到所述分割图像。

8.权利要求1-7中任一项所述的检测方法的实现***，其特征在于，其包括超分辨率重构模块，该重构模块包括如下的重构模型：

该模型包括1个特征融合单元，5个下采样单元，4个上采样单元，4个含注意力机制的跳层连接及1个最终上采样单元，其中，所述特征融合单元包括2个分别供所述分割图像和/或所述分割图像的放大和/或归一化处理后的图像、及由所述分割图像得到的注意力图像进行输入的输入层，及1个对两个输入层的图像进行融合的融合层；所述5个下采样单元分别包括依次相连的2个卷积层和1个ReLU激活层，且其中前4个下采样单元还分别包括1个与ReLU激活层相连的最大池化层；所述4个上采样单元分别包含依次相连的1个上采样层及2个卷积层；所述4个含注意力机制的跳层连接位于所述前4个下采样单元和所述4个上采样单元之间，分别与该前4个下采样单元、该4个上采样单元、及所述特征融合层中的供注意力图像输入的输入层相连，其连接操作包括：将所述注意力图调整到对应下采样单元得到的特征图的尺寸大小后与之相乘，得到带有注意力机制的特征图，并将带有注意力机制的特征图与对应的上采样层进行拼接得到不同层的特征融合图像；所述最终上采样单元包括依次相连的1个上采样层、2个卷积层、另1个上采样层和另1个卷积层，即总共包括2个上采样层和3个卷积层，其中第1个上采样层与所述4个上采样单元中的最后1个上采样单元、及所述特征融合单元中的两个输入层分别相连。

9.根据权利要求8所述的***，其特征在于，其还包括字体识别模块，该字体识别模块包括由mobilenetv3网络形成的分类器，且其具有供所述超分辨率字体图像、及所述分割图像和/或其放大图像同时或分别进行输入的输入层。

10.一种存储介质，其存储有实现权利要求1-7中任一项所述的识别方法的算法结构和/或其存储有权利要求8或9所述的***的任一或全部模块。

Images