CN110263877A

CN110263877A - 场景文字检测方法

Info

Publication number: CN110263877A
Application number: CN201910567794.2A
Authority: CN
Inventors: 张勇东; 王裕鑫; 谢洪涛; 李岩
Original assignee: Beijing Academy Of Chinese Studies; University of Science and Technology of China USTC
Current assignee: Beijing Academy Of Chinese Studies; University of Science and Technology of China USTC
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2019-09-20
Anticipated expiration: 2039-06-27
Also published as: CN110263877B

Abstract

本发明公开了一种场景文字检测方法，包括：利用神经网络对输入图像进行特征提取，并对提取的特征图进行上采样操作，得到不同尺寸的特征图；以最大尺寸的特征图为标准，将其余尺寸的特征图映射为与最大尺寸的特征图相同的尺寸；将映射到相同尺寸的特征图进行尺度信息的融合，得到融合后的特征图，这一融合操作能够使不同尺寸的文字在融合后的特征图中统一激活；对融合后的特征图进行文字框的回归和分类操作，得到场景文字检测结果。上述方法能够从根本上提升特征图的质量，从而提升场景文字检测的性能。

Description

场景文字检测方法

技术领域

本发明涉及文字识别技术领域，尤其涉及一种场景文字检测方法。

背景技术

自然场景文字检测与识别是一种通用的文字识别技术，已成为近年来计算机视觉与文档分析领域的热点研究方向，其被广泛应用于车牌识别、无人驾驶、人机交互等领域。

由于自然场景中的文字检测与识别面临背景复杂、分辨率低下、字体多变等困难，导致传统的文字检测与识别技术无法应用到自然场景的文字检测与识别中。文字检测技术作为识别的基础，具有重大的研究意义。

近年来，随着深度学习技术在目标检测领域的发展，通用的目标检测技术在场景文字检测中达到了比较好的效果。深度学习运用于自然场景文字检测成为了一种趋势。但是由于这些方法包含较繁琐的后处理步骤和文字检测本身的多样性，导致检测的速度和精度还有待提升。

发明内容

本发明的目的是提供一种场景文字检测方法，能够提升文字检测的召回率。

本发明的目的是通过以下技术方案实现的：

一种场景文字检测方法，包括：

利用神经网络对输入图像进行特征提取，并对提取的特征图进行上采样操作，得到不同尺寸的特征图；

以最大尺寸的特征图为标准，将其余尺寸的特征图映射为与最大尺寸的特征图相同的尺寸；

将映射到相同尺寸的特征图进行不同尺度信息的融合，这一融合操作能够使不同尺度的文字特征在融合后的统一尺寸的特征图中得到统一的激活；

对融合后的特征图进行文字框的回归和分类操作，得到场景文字检测结果。

由上述本发明提供的技术方案可以看出，通过尺寸映射操作可以统一特征图的尺寸，通过建立尺度关系能够传递特征图的尺度信息，由于不同尺寸的特征图对不同尺度的文字具有更好地表达(小尺寸的特征图能够更好地检测大目标而丢失小目标的细节，大尺寸的特征图则相反)，从而能够使不同尺度的文字在特征图中实现更加统一地激活，从根本上提升特征图的质量，从而提升场景文字检测的性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种场景文字检测方法的示意图；

图2为本发明实施例提供的尺寸映射的示意图；

图3为本发明实施例提供的双向卷积操作的示意图；

图4为本发明实施例提供的特征聚合操作的示意图；

图5为本发明实施例提供的场景文字检测结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种场景文字检测方法，首先，将提取的不同尺寸的特征图映射到统一的尺寸。然后，在特征图中建立尺度关系模块实现不同尺度的特征传递。由于这些特征图对不同尺度的文字具有更好的表达(小尺寸的特征图能够更好地检测大目标而丢失对小目标的细节检测，大尺寸的特征图则相反)，该操作能够使不同尺度的文字在特征图中实现更加统一地激活，从根本上提升特征图的质量。另外，本文发明实施例还提出了一种新的损失函数Recall Loss，它通过对增加对弱检测的文字实例在损失函数中损失项的权重，使网络更加关注没有检测到的文字区域，从而有效地提升文字检测的召回率。

如图1所示，为本发明实施例提供的一种场景文字检测方法示意图，主要包括：

1、利用神经网络对输入图像进行特征提取，并对提取的特征图进行上采样操作，得到不同尺寸的特征图。

本发明实施例中，通过连续的上采样模块对提取的特征图进行上采样操作。在上采样过程中，将当前的特征图和相同尺寸的浅层特征图进行级联操作。

示例性的，通过本步骤可以得到四种不同尺寸的特征图。

图1示例性的给出了实现本方法的网络框架。主网络中去掉ResNet50网络后面的全连接层，并将该网络嵌入本文的框架进行特征提取操作。之后加入了4层额外的卷积层(F1,F2,F3,F4)进行上采样操作。在上采样过程中，将和当前特征图相同尺寸的浅层特征图进行级联。图1中的符号符号分别表示级联操作、上采样模块。

值得注意的是，不同尺寸的特征图数量可以根据实际情况来设定。

2、以最大尺寸的特征图为标准，将其余尺寸的特征图映射为与最大尺寸的特征图相同的尺寸。

本步骤是将其余尺寸的特征图映射为与最大尺寸特征图相同的尺寸，使特征图的尺寸统一，该操作可以通过尺寸映射模块来实现。

还以图1所示的示例进行介绍，图1所示的示例中F4中的特征图为最大尺寸特征图，将小尺寸的卷积层F1，F2，F3中的特征图输入尺寸映射模块，输出和F4相同尺寸的特征图。如图2所示，首先，通过通道匹配层改变输入特征图的通道数到指定大小；然后，由尺寸映射层通过压缩特征图的通道数实现特征图尺寸的扩大，实现将不同尺寸的特征图映射到相同的尺寸。输入特征图的维度为C_i×H_i×W_i(i＝1,2,3)，输出的维度为在本示例中，分别对F1,F2,F3取m＝8,4,2。其中C、H、W分别表示特征图的通道数、高度和宽度，m表示变化比例。

3、将映射到相同尺寸的特征图进行不同尺度信息的融合，这一融合操作能够使不同尺度的文字特征在融合后的统一尺寸的特征图中得到更统一的激活。

本步骤通过在不同的特征图中建立尺度关系模块传递相关的尺度信息，以提升特征图的质量；主要分为双向卷积操作和特征聚合操作两个部分。

如图3所示的双向卷积操作，主要通过两个方向的连续卷积操作对包含不同尺度信息的特征图单向传递；同时运用注意力机制(相乘操作)控制前层的尺度信息的传递；

如图4所示，通过特征聚合操作将双向卷积的特征图融合在一起，得到融合后的特征图。

4、对融合后的特征图进行文字框的回归和分类操作，得到场景文字检测结果。

本步骤输出尺寸为原图四分之一大小的六通道特征图，分别如下：

a.单通道的文字评分图，对应每个像素属于文字的概率。

b.四通道的文本框尺寸图，对应每个相似点到四条边框的距离。

c.单通道的文本框旋转角度图，对应每个像素点所属文本框所旋转的角度。

将得到的文本框进行非极大化抑制(NMS)后得到最终的预测结果。

本发明实施例中，训练过程，可以采用随机梯度下降法(SGD)进行端到端的训练，整体损失函数为：

L＝L_cls+λ_regL_reg

上式中，L_cls为分类损失，L_reg为回归损失，λ_reg为平衡参数。

本发明实施例中提出了一种新的损失函数Recall Loss，它通过增加弱检测的文字实例在损失函数中的损失项所占的权重，使网络更加关注没有检测到的文字区域，实现提升召回率(Recall)的目的。在本文提出的方法中，将Recall Loss和Dice Loss结合用于分类任务

基于此，分类损失L_cls为：

L_cls＝λ_RRL+λ_DL_Dice

IoU＝S∩G/S∪G

其中，RL代表Recall Loss(召回损失)，L_Dice代表Dice Loss(交并比损失)，λ_R与λ_D均代表平衡参数，G代表对应的标签框区域，η₁、η₂代表平衡参数，p代表预测该像素为文字的概率大小，y代表该像素对应的标签，S代表预测的单通道文字评分图中的每个连通域，IoU代表交集比上并集的值，β表示阈值，α表示增加的权重，e为常数。

回归损失L_reg表示为：

L_reg＝L_loc+L_θ

L_θ＝1-cos(θ′-θ^*)

其中，P代表预测的文字框，G代表对应的标签文字框，θ′代表预测的角度，θ^*代表真实角度，L_θ代表角度的损失。

下面示例性的给出一些训练时所设定的参数，开始训练时，选择学习率为0.0001，每经过10k次训练学习率下降为原来的0.94倍，直到模型收敛时停止训练。

在测试阶段，在得到场景文字检测结果后加入非极大化抑制操作，对重复检测的文字框使用非极大化抑制进行筛选，得到最终的检测结果。图5示例性的给出了四个不同的场景文字检测结果，需要说明的是，图5仅仅是一个场景文字检测的示例，其主要用来说明本发明的方案对于较大或较小的场景文字都能够准确检测，其余不够清晰的部分不影响本发明的实现。

为了验证本发明上述方案的性能，还进行了相关实验。

实验相关的数据集：

ICDAR2015：该数据集是用于检测不同尺度，模糊度，分辨率的多方向文本的数据集。它包含1000个训练图像和500个测试图像。标签是每个文字框的4个定点的坐标。

MSRA-TD500：该数据集是用于检测任意方向和多语言长文本行的数据集。它包含300张用于训练的图像和200张测试图像。标签是文本框左上角定点的位置、文本框的长宽和旋转角度。

HUST：具有和MSRA-TD500相同的标注方法，总共含有400张图片。由于MSRA-TD500数据过少，本文将该数据集加入MSRA-TD00数据的训练集中。

实验结果表明，本发明上述方法在场景文字检测中达到了先进的性能，在ICDAR2015和MSRA-TD500数据集上召回率、准确率、F值分别为79.6％、83.2％、81.4％，FPS为8.8和71.2％、87.6％、78.5％，FPS为13.3。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种场景文字检测方法，其特征在于，包括：

2.根据权利要求1所述的一种场景文字检测方法，其特征在于，通过连续的上采样模块对提取的特征图进行上采样操作；在上采样过程中，将当前的特征图和相同尺寸的浅层特征图进行级联操作。

3.根据权利要求1所述的一种场景文字检测方法，其特征在于，所述将其余尺寸的特征图映射为与最大尺寸的特征图相同的尺寸包括：

通过通道匹配层改变输入特征图的通道数到指定大小；

由尺寸映射层通过压缩特征图的通道数实现尺寸的扩大，从而将输入特征图的尺寸映射为最大尺寸的特征图相同的尺寸。

4.根据权利要求1所述的一种场景文字检测方法，其特征在于，所述将映射到相同尺寸的特征图进行不同尺度信息的融合包括：

通过两个方向的连续卷积操作对包含不同尺度信息的特征图进行叠加；同时运用注意力机制控制前层的尺度信息的传递；

再通过特征聚合操作将叠加结果与注意力机制操作结果聚合。

5.根据权利要求1所述的一种场景文字检测方法，其特征在于，在训练阶段，采用随机梯度下降法进行端到端的训练，整体损失函数为：

L＝L_cls+λ_regL_reg

6.根据权利要求5所述的一种场景文字检测方法，其特征在于，

分类损失L_cls表示为：

L_cls＝λ_RRL+λ_DL_Dice

IoU＝S∩G/S∪G

回归损失L_reg表示为：

L_reg＝L_loc+L_θ

L_θ＝1-cos(θ′-θ^*)

其中，RL代表召回损失，L_Dice代表交并比损失，λ_R与λ_D均代表平衡参数，η₁、η₂代表平衡参数，p代表预测当前像素为文字的概率大小，y代表当前像素对应的标签，S代表预测的单通道文字评分图中的每个连通域，IoU代表交集比上并集的值，β表示阈值，α表示增加的权重，e为常数；P代表预测的文字框，G代表对应的标签文字框，θ′代表预测的角度，θ^*代表真实角度，L_θ代表角度的损失。

7.根据权利要求1所述的一种场景文字检测方法，其特征在于，在测试阶段，在得到场景文字检测结果后加入非极大化抑制操作，对重复检测的文字框进行筛选，得到最终的检测结果。