CN106934386A - 一种基于自启发式策略的自然场景文字检测方法及*** - Google Patents

Abstract

本发明公开了一种基于自启发式策略的自然场景文字检测方法及***，建立两层级联滤波机制以判断文字区域与背景区域，考虑到文字区域在灰度自然场景图像中存在暗底浅字或者浅底暗字两种模式，对文字区域对比度类型进行判断以将灰度自然场景图像中的文字区域的对比度统一为暗底浅字模式；将两层级联滤波处理后判断为文字的结果视为种子文字，针对每一个种子文字构建自启发式搜索策略在其邻近区域，采用训练好的深度神经网络以滑动检测窗口的方式检测漏检文字以提高文字检测召回率，最后将相邻文字以单词为单元分割开来。本发明所公开的自然场景文字检测方法及***对实现自然场景文字语义自动化理解具有很高的实用价值。

Description

一种基于自启发式策略的自然场景文字检测方法及***

技术领域

本发明属于图像识别领域，特别涉及一种基于自启发式策略的自然场景文字检测方法及***。

背景技术

文字作为一种极其重要的信息载体在人类文明进程中发挥着极大的促进作用，作为人类语言的可视化载体，文字广泛存在于人类社会的各个方面。近年来，随着计算机视觉技术的快速发展，人类设法使得计算机能够模拟人类的视觉理解机制，对所捕获的图像进行分析并自主理解图像内容、从而获取图像中的重要线索；自然场景中包括了各种场景内容，文字作为一种重要的场景内容具有抽象的描述能力与高度的概括能力。对图像中的文字进行检测与识别将有助于理解图像内容，并获取重要的信息线索。近年来，自然场景文字检测已成为了计算机视觉与模式识别领域中的一个重要研究内容。该技术旨在从所捕获的自然场景图像中自动检测文字区域，从而为后续文字识别与语义理解提供技术支持。该技术在自然场景图像理解、视障人辅助阅读、机器人自主导航、海量视频检索、以及便携式设备文字检测与翻译等方面有着广泛的应用前景。

自然场景文字检测是实现后续文字识别与语义理解的第一步，是整个文字识别***中的重要组成部分，该技术性能的好坏将直接影响到整个***识别率的高低。尽管传统的光学字符识别技术(Optical Character Recognition，OCR)已日趋成熟，然而该技术对自然场景文字检测与识别的性能却远未达到实用水平。自然场景图像中的复杂背景、文字字体种类、字体大小、字体排列方向、字体颜色、光照条件以及拍摄角度等因素影响直接导致了难以鲁棒地检测自然场景文字。

基于自然场景文字检测技术的广泛应用前景以及其重要的理论研究价值，该技术引起了国内外学者的广泛关注，文档分析与识别国际会议(International Conference onDocument Analysis and Recognition，ICDAR)定期举行自然场景文字检测竞赛，评估现有技术水平并分析其优劣性。目前，自然场景文字检测方法主要沿用三条技术路线：基于连通组件分析的自然场景文字检测方法、基于纹理特征的自然场景文字检测方法、以及基于连通组件与纹理特征的自然场景文字检测方法。

基于连通组件分析的自然场景文字检测方法，其核心内容是设计快速、有效的连通组件分析器。该方法能快速地实施文字检测，但在处理背景复杂、噪声干扰、光照变化以及颜色多变等情况时缺乏鲁棒性。基于纹理特征的自然场景文字检测方法通常以滑动检测窗口的方式多尺度遍历图像，从而影响了文字检测效率，但该方法能较好地应对复杂背景中的自然场景文字检测问题；基于连通组件与纹理特征的自然场景文字检测方法，该方法通常首先对连通组件进行分析以获得文字候选区域，然后利用文字候选区域的纹理特征采用训练好的分类器进行判别处理，该方法相对于单纯地采用连通组件分析的自然场景文字检测方法更能有效地解决复杂自然场景中的文字检测问题，相对于单纯地采用纹理特征的自然场景文字检测方法在检测效率上有所提高。如前述分析可知，诸多方面因素的影响导致了该技术距实用水平有较大的差距。考虑到自然场景文字检测问题的特殊性与复杂性，如何快速、准确地在复杂自然场景中检测文字是噩待解决的技术难题。

发明内容

本发明提供了一种基于自启发式策略的自然场景文字检测方法及***，其目的在于，克服现有技术中自然场景中文字检测的检测率不高以及复杂度较高的问题。

一种基于自启发式策略的自然场景文字检测方法，包括以下步骤：

步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；

步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；

步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；

步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；

考虑到文字区域在灰度自然场景图像中表现出暗底浅字或者浅底暗字两种模式，根据连通组件结构特点分别在所述两幅二值化图像中对具有相同空间坐标位置的图像区域中的文字对比度类型进行判断，根据判断结果将所述对应的二幅二值图像融合成为一幅二值图像，从而实现将二值图像中的文字统一为前景，非文字区域则为背景；得到融合二值图像后，大大降低了后续过程的计算量；

步骤5：召回漏检文字区域；

步骤5.1：将步骤4处理后的文字视为种子文字；

步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；

步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：

1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；

2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；

3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；

4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；

将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；

步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；

所述启发式搜索策略确定的检测窗口如下：

其中，X_window、Y_window、W_window、H_window分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，X_seed、Y_seed、W_seed、H_seed分别表示种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度；I_W、I_H分别表示输入图像的宽度与高度，k_Wx、k_Ww、k_Wh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，k_Wx、k_Ww、k_Wh、θ的取值是通过采用经验取值的方式而获得；

构建自启发式搜索策略来检测漏检文字，通过利用种子文字的信息来设定检测窗口的大小与位置，从而可以减少文字候选区域的搜索区域，进而提高了检测效率。

采用训练好的深度神经网络对检测窗口下的待处理文字候选区域进行分类，进而减少虚警并提高了本发明的文字检测召回率能力。

步骤6：以步骤4中的融合二值图像的文字区域和经步骤5召回的文字区域作为最终的真实文字，在最终的真实文字中，将符合一定条件的相邻文字形成文字行；

步骤7：对经所述步骤6处理后所得到的所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于所设置的间距阈值，则表明所述相邻文字同属于一个单词，反之则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割。

进一步地，在两幅二值化图像中对具有相同空间坐标位置的图像区域进行文字前景和伪文字前景的判断，步骤如下：

步骤4.1：统计所述两幅二值化图像中所有连通组件中大于所设定的笔画宽度阈值的边缘像素数目；

步骤4.2：对于每一个连通组件，若经步骤4.1统计得到的符合设定条件边缘像素数目超过设定的像素数目阈值，则判断该连通组件为文字前景，反之则为背景；

对每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计过程如下：

步骤4.1.1：采用Canny算子对连通组件进行边缘提取，依据所提取的边缘像素依次统计连通组件的平均笔画宽度，并基于平均笔画宽度设置间隔阈值；

步骤4.1.2：分别沿着水平方向、垂直方向、45度斜对角方向、145度反斜对角方向在所述两幅二值化图像中设置扫描线，并提取扫描线上的边缘像素；

所述扫描线包括3条水平方向扫描线、3条垂直方向扫描线、1条45度斜对角方向扫描线以及1条145度反斜对角方向扫描线；

位于3条水平方向扫描线上的像素依次设定为I_E(round(I_{_h}/4),j)、I_E(round(I_{_h}/2),j)、I_E(round(3×I_{_h}/4),j)，j∈[1,I_{_w}]；

位于3条垂直方向扫描线上的像素依次设定为I_E(i,round(I_{_w}/4))、I_E(i,round(I_{_w}/2))、I_E(i,round(3×I_{_w}/4))，i∈[1,I_{_h}]；

位于45度斜对角方向扫描线上的像素依次设定为I_E(1,I_{_w})、I_E(max(1,round(I_{_h}-j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},1)，j∈[1,I_{_w}]；

位于145度反斜对角方向扫描线上的像素依次设定为I_E(1,1)、I_E(max(1,round(j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},I_{_w})，j∈[1,I_{_w}]；

其中，I_E表示提取的边缘图像,i、j分别表示边缘图像中像素的横坐标、纵坐标，I_{_h}、I_{_w}分别表示提取的边缘图像的高和宽，round()为取整函数，max()表示为取最大值函数；

步骤4.1.3：若同一扫描线上的相邻像素之间的距离大于设定的笔画宽度阈值，即：

Dist(I_E(i,j),I_E(m,n))>γ×S_{wt_ave}

则将符合设定条件的边缘像素数目加1，否则，对下一对相邻像素进行判断，直到所有扫描线上所有相邻像素全部判断完毕，完成每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计；

其中，I_E(i,j)、I_E(m,n)为沿着所述某个方向扫描线上的两相邻的边缘像素，S_{wt_ave}为当前连通组件的平均笔画宽度，Dist()为计算沿着某一条扫描线上的相邻像素之间距离的函数；γ为笔画宽度阈值权重系数，通过经验取值的方式而获得。

进一步地，对步骤4中得到的融合二值图像中的文字候选区域，结合上下文信息，利用训练好的深度神经网络对其进行分类处理，将分类为伪文字区域的文字候选区域予以剔除后，再用于步骤6形成文字行，具体过程如下：

步骤A：以文字候选区域为中心设置当前文字候选区域的影响区域A_roi：

A_roi＝[max(1,round(i-H_Seed/λ_h)),max(1,round(j-λ_h×W_Seed)),......

min(I_{mg_w},round(λ_w×W_Seed)),min(I_{mg_h},round(λ_h×H_Seed))]

其中，max(1,round(i-H_Seed/λ_h))、max(1,round(j-λ_h×W_Seed))分别表示影响区域A_roi在融合二值图像中的左顶点横坐标与左顶点纵坐标；min(I_{mg_w},round(λ_w×W_Seed))、min(I_{mg_h},round(λ_h×H_Seed))分别表示影响区域A_roi的宽度与高度；I_{mg_w}、I_{mg_h}表示融合二值图像的宽度与高度，i、j分别表示文字候选区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，H_Seed、W_Seed分别表示文字候选区域的高度与宽度；λ_h、λ_w均为影响区域权重系数，通过经验取值的方式而获得；

步骤B：将所述影响区域中的所有文字候选区域作为待分类目标依次输入已预先训练好的深度神经网络中进行识别，将输出的识别结果视为待分类的文字候选区域的置信度值，记为该文字候选区域的初始分类置信度值；

步骤C：设置分类置信度评价函数，利用分类置信度评价函数值作为文字候选区域的最终分类置信度值；

所述分类置信度评价函数如下述：

其中，C_char(O(k))和C_final(O(k))分别表示文字候选区域O(k)的初始分类置信度值和最终分类置信度值；O(k)表示融合二值图像中的第k个文字候选区域，N(i)表示文字候选区域O(k)所对应的影响区域中的第i个相邻文字候选区域，N为文字候选区域O(k)所对应的影响区域中除文字候选区域O(k)以外的文字候选区域总数目；D(N(i)，O(k))、H_char(N(i),O(k))T_char(N(i),O(k))依次表示文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的上下文置信度权值、高度相似度和颜色相似度；C_α、C_β、C_γ分别为邻近文字候选区域N(i)的置信度权重系数、文字候选区域O(k)与其邻近文字候选区域N(i)之间的高度相似度权重系数以及颜色相似度权重系数，通过对训练样本进行学习而获得；

P_H(O(k))、P_S(O(k))、P_I(O(k))分别表示文字候选区域O(k)的色度直方图、色饱和度直方图以及亮度直方图；P_H(N(i))、P_S(N(i))、P_I(N(i))分别表示文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的色度直方图、色饱和度直方图以及亮度直方图；

H(O(k))、H(N(i))分别表示文字候选区域O(k)以及文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的高度；C_distance(N(i),O(k))表示文字候选区域O(k)与所对应的影响区域中的文字候选区域N(i)之间的中心距离；A_diagonal(O(k))表示文字候选区域O(k)所对应的影响区域的对角线长度，abs()表示取绝对值函数；

步骤D：设置分类置信度阈值C_threshod，将融合二值图像中的每一个文字候选区域的最终分类置信度值与设置的分类置信度阈值按以下公式进行判断，并将分别满足下述条件的文字候选区域视为真实文字或者伪文字；

其中，分类置信度阈值C_threshod通过对训练样本进行学习而获得。

利用了深度神经网络对文字候选区域进行了分类处理，与此同时，还引入待处理文字候选区域与其相邻文字候选区域之间的上下文信息，从而能有效地处理复杂自然场景情况，进而增强了文字候选区域分类结果的鲁棒性。

进一步地，所述步骤6形成文字行时，采用基于同一文字行内的文字的高度、笔画宽度、颜色、文字排列方向、相邻文字间间隔具有关联的视觉上下文信息，采用模拟“蛇”进食后成长的自然规律，将符合一定条件的相邻文字形成文字行，具体步骤如下：

从融合二值图像中任意选取一个真实文字作为初始贪吃蛇，初始贪吃蛇选取符合设定的相似性合并条件的真实文字，在其周围区域不断地合并文字并成长，直至无符合所述条件的真实文字的出现；

相似性合并条件如下：

所述相似性包括颜色相似度、高度相似度、笔画宽度相似度、文字排列方向相似度以及相邻文字间间隔；

其中，分别为和F(k)之间的颜色相似度、高度相似度和笔画宽度相似度；

表示“贪吃蛇”与第k-1个真实文字F(k-1)的倾斜角与表示“贪吃蛇”与图像中真实文字F(k)的倾斜角之间的差值；

表示“贪吃蛇”与第k-1个真实文字F(k-1)的间隔距离，为“贪吃蛇”与其相邻的第k-1个真实文字F(k-1)间隔距离阈值；表示“贪吃蛇”与第k个真实文字F(k)的间隔距离，为“贪吃蛇”与其相邻的第k个真实文字F(k)间隔距离阈值；

“初始贪吃蛇”记为初始贪吃蛇第一次进食后所生长得到的“贪吃蛇”记为所述“初始贪吃蛇”第k次进食后所生长得到的“贪吃蛇”记为

笔画宽度相似度：

文字排列方向相似度：

相邻文字间间隔：

其中，F(k)表示第k个真实文字，表示所选定的“初始贪吃蛇”，表示“初始贪吃蛇”在合并k-1个真实文字后生长得到的“贪吃蛇”；

T_{char_Threshod}为颜色相似度阈值，H_{char_Threshod}为高度相似度阈值；

C_{swc_Threshod}为笔画宽度相似度阈值，C_swc(F(k))、分别表示第k个真实文字F(k)的平均笔画宽度与“贪吃蛇”的平均笔画宽度；

表示“贪吃蛇”与第k-1个真实文字F(k-1)之间的倾斜角，D_{angle_Threshod}为文字排列方向相似度阈值；

C_Ycenter(F(k-1))、C_Ycenter(F(k))分别表示“贪吃蛇”的中心区域的纵坐标、“贪吃蛇”的中心区域的纵坐标、第k-1个真实文字F(k-1)的纵坐标、第k个真实文字F(k)的纵坐标，C_Xcenter(F(k-1))、C_Xcenter(F(k))分别表示“贪吃蛇”的中心区域的横坐标、“贪吃蛇”的中心区域的横坐标、第k-1个真实文字F(k-1)的中心区域的横坐标、第k个真实文字F(k)的中心区域的横坐标；

I_{_min}为最小间隔距离，I_{_α}为间隔距离权重系数，C_RtBmY(F(k-1))、C_RtBmY(F(k))分别表示“贪吃蛇”的中心区域右下顶点的纵坐标、“贪吃蛇”的中心区域右下顶点的纵坐标、第k-1个真实文字F(k-1)右下顶点的纵坐标、第k个真实文字F(k)右下顶点的纵坐标；abs()为取绝对值函数，arctan()为反正切函数，max()和min()分别为取最大值和取最小值函数，T_{char_Threshod}、H_{char_Threshod}、C_{swc_Threshod}、D_{angle_Threshod}、I_{_min}、I_{_α}的取值是通过采用经验取值的方式得到。

模拟“蛇”进食后成长的自然规律设计文字行生长算法，通过不断更新文字行信息来生成新的文字行，从而提高了文字行生成过程中的自适应性。

进一步地，对经所述步骤6提取的文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于单词间距阈值，则表明所述相邻文字同属于一个单词，反之，则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割；

步骤7.1：按以下公式计算每一个文字行中相邻文字的平均间隔距离C_interval(O_C(k))：

C_interval(O_C(k))＝abs(C_RtBmY(O_C(k))-C_RtBmY(O_C(k-1)))+abs(C_RtBmX(O_C(k))-C_RtBmX(O_C(k-1)))

其中，O_C(k)表示当前文字行中的第k个文字，O_C(k-1)表示当前文字行中的第k-1个文字，C_interval(O_C(k))表示当前文字行中的文字O_C(k)与其相邻的文字O_C(k-1)之间的间隔距离；

C_RtBmY(O_C(k))、C_RtBmX(O_C(k))分别表示当前文字行中的第k个文字O_C(k)的右下顶点纵坐标与右下顶点横坐标，C_RtBmY(O_C(k-1))、C_RtBmX(O_C(k-1))分别表示当前文字行中的第k-1个文字O_C(k-1)的右下顶点纵坐标与右下顶点横坐标，A_interval表示当前文字行中的所有相邻文字之间平均间距；

步骤7.2：依据文字行中相邻文字的平均间隔距离判断文字行中的相邻文字是否属于同一个单词：

其中，α_{_threshod}为平均间隔距离权重，所述距离权重α_{_threshod}的取值是通过对训练样本的学习而得到；

步骤7.3：将属于同一单词的文字分割为一个整体，完成对每个文字行中的单词划分。

进一步地，所述步骤2中进行二值化处理的过程如下：

步骤2.1：采用Niblack方法对灰度自然场景图像进行局部二值化处理得到初始二值化结果；

步骤2.2：建立能量函数并对所述能量函数采用图割方法求解其全局最优解以修正所述二值化初始结果，其中，所构建的能量函数公式为：

E(f|I,n)＝E_local(f|I,n)+E_smooth(f|I)

其中，E_local(f|I,n)用来评价灰度自然场景图像的最终二值化结果与初始二值化结果之间的差异；

E_local(f|I,n)＝∑_p(i)e_local(p(i))

其中，e_local(p(i))表示像素p(i)的平滑度，E_smooth(f|I)根据相邻像素的相似度来评价平滑程度；

E_smooth(f|I)＝λ∑_{(p(i),p(j))∈M}e_smooth(p(i),p(j))

其中，I表示灰度自然场景图像，和分别表示灰度自然场景图像中像素的最终二值化结果和初始二值化结果；p(i)、p(j)表示灰度自然场景图像中的第i个像素和第j个像素，N_t表示灰度自然场景图像中的像素数目，表示灰度自然场景图像进行拉普拉斯变换并取绝对值后的归一化值，M表示邻域数，x表示像素坐标位置，c表示RGB颜色，σ_g和σ_c表示归一化常数，λ表示平滑系数，M、σ_g、σ_c、λ是采用经验取值的方式获得。

进一步地，根据彩色自然场景图像中的文字先验信息设置文字区域判决条件，对文字初步候选区域进行筛选，将不符合文字区域判决条件的文字初步候选区域剔除；文字区域判决条件为：

(T_hw＝max(H(x_i),W(x_i)))∈[T_{hw_min},α×max(I_width,I_height)]

(R_hw＝max(H(x_i)/W(x_i),W(x_i)/H(x_i)))<R_{hw_max}

A(x_i)∈(A_{_min},β×(I_width×I_height))

其中，x_i表示第i个连通组件，连通组件x_i的高度、宽度分别标记为H(x_i)、W(x_i)，连通组件x_i的高度、宽度两者之间的最大值标记为T_hw，I_width、I_height为灰度自然场景图像的宽度与高度，其最小阈值为T_{hw_min}，最大阈值占图像宽度、高度的最大值的比例为α；

R_hw为连通组件x_i的宽高比和高宽比的最大值，R_{hw_max}为最大阈值；

A(x_i)为连通组件x_i的面积，最小阈值为A_{_min}，最大阈值占图像面积的比例为β，α、β、T_{hw_min}、R_{hw_max}、A_{_min}是通过对训练样本进行学习而获得。

一种基于自启发式策略的自然场景文字检测***，包括：

图像采集和预处理模块：采集待检测图像，并将采集的彩色自然场景图像转换为灰度自然场景图像；

二值处理模块：对经过图像预处理后的灰度自然场景图像进行二值化处理以得到对应的二值图像，标记所述二值图像中的所有连通组件，并将各连通组件最小外接矩形所包含的区域视为文字初步候选区域；

融合模块：对灰度自然场景图像分别进行正面、反面二值化处理后，基于连通组件对图像区域中的文字对比度类型进行判断，将二值图像中的文字统一为前景，非文字区域统一为背景，得到融合二值图像；

漏检文字召回模块：将融合二值图像中所有的文字候选区域视为种子文字，根据种子文字的大小、倾斜度、以及相邻文字间隔距离信息构建自启发式搜索策略，结合所述训练好的深度神经网络采用滑动检测窗口的方式在种子文字的附近区域召回漏检文字；

文字行生成模块：对经过前述步骤处理后保留下来的所有真实文字进行分析，将符合一定条件的相邻文字形成文字行；

单词为单元分割模块，对所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于单词间距阈值，则表明所述相邻文字属于同一个单词，反之，则将所述相邻文字分割开，以实现所述文字行中以单词为单元的文字分割；

所述漏检文字召回模块采用上述的方法进行漏检文字召回处理。

进一步地，所述文字行生成模块采用基于同一文字行内的文字的高度、笔画宽度、颜色、文字排列方向、相邻文字间间隔具有关联的视觉上下文信息，采用模拟“蛇”进食后成长的自然规律，将符合一定条件的相邻文字形成文字行；

具体过程为采用上述的方法实现。

进一步地，还包括文字候选区域筛选模块，分为文字候选区域初次筛选模块和文字候选区域深度筛选模块；

所述文字候选区域初次筛选模块：根据彩色自然场景图像中的文字先验信息设置文字区域判决条件，对图像中的每一个文字候选区域进行分析，将符合所述文字区域判决条件的文字候选区域予以保留，反之则作为伪文字区域予以剔除；

所述文字候选区域深度筛选模块：对经融合模块处理后的融合二值图像中所有的文字候选区域，结合文字上下文信息，利用训练好的深度神经网络进行进一步分类处理，将判断为伪文字的文字候选区域予以剔除，反之，则视为真实文字区域予以保留。

有益效果

本发明提供了一种基于自启发式策略的自然场景文字检测方法及***，综合运用了连通组件分析与纹理特征分类方法对自然场景图像中的文字区域进行检测，该方案能有效地从自然场景图像中检测出文字区域，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1.通过引入对所述两幅二值化图像中具有相同空间坐标位置的图像区域中的文字对比度类型进行判断，根据判断结果将所述对应的二幅二值图像融合成为一幅二值图像，从而实现将二值图像中的文字统一为前景，非文字区域则为背景，进而减少后续计算量，克服现有技术中分别实施正面、反面二值化处理导致出现大量的虚警。

2.本技术方案将通过连通组件分析以及深度神经网络判别处理后得到的所有文字视为种子文字。根据种子文字的大小、倾斜度、以及相邻文字间隔距离信息构建自启发式搜索策略，结合所述训练好的深度神经网络采用滑动检测窗口的方式在种子文字的周边区域重新检测漏检文字，将分类置信度最高、且分类置信度大于一定阈值的文字候选区域视为真实文字，并将其添加至种子文字列表，进而提高了文字检测召回率；本发明构建自启发式搜索策略来检测漏检文字，通过利用种子文字的信息来设定检测窗口的大小与位置，从而可以减少文字候选区域的搜索区域，进而提高了检测效率。另外，在此基础上，采用训练好的深度神经网络对检测窗口下的待处理文字候选区域进行分类，进而减少虚警并提高了本发明的文字检测召回率。

3.采取多轮融合的方式，在每一轮融合过程中，任意选取一个文字作为“初始贪吃蛇”，然后利用“初始贪吃蛇”与其相邻文字之间的视觉上下文信息，模拟“蛇”进食后成长的自然规律，设计一种“贪吃蛇”算法，将符合一定条件的相邻文字形成文字行。本技术方案设计“贪吃蛇”算法来形成文字行，在形成文字行的过程中不断地更新融合条件，从而增强了文字行形成过程中的自适应性，进而提高了本发明的文字行生成结果的鲁棒性。

本发明为自然场景文字识别***提供良好的文字检测结果，进而能有效地提高自然场景文字识别***的识别性能，对加快实现自然场景文字语义理解与分析的自动化与智能化具有很高的实用价值，且在机器人自主导航、便携式设备自然场景文字翻译、海量视频检索、视障人辅助阅读等方面有广泛的应用前景。

附图说明

图1为本发明所述方法的流程示意图。

具体实施方式

下面将结合附图和实施例对本发明做进一步地说明。

如图1所示，一种基于自启发式策略的自然场景文字检测方法，具体包括以下步骤：

步骤1：将输入的彩色自然场景图像转换为灰度自然场景图像；

在本发明实施例中，输入彩色自然场景图像的分辨率为1280×960，本发明实施例所采用的彩色图像转换灰度自然场景图像的公式为：

I_gray(i,j)＝0.2989×I_R(i,j)+0.5870×I_G(i,j)+0.1140×I_B(i,j)

其中，I_R(i,j)表示彩色自然场景图像中坐标位置为(i,j)像素点的红色分量值，I_G(i,j)表示彩色自然场景图像中坐标位置为(i,j)像素点的绿色分量值，I_B(i,j)表示彩色自然场景图像中坐标位置为(i,j)像素点的蓝色分量值，I_gray(i,j)表示彩色自然场景图像中坐标位置为(i,j)像素点转换后所对应的灰度值。

步骤2：根据文字笔画之间具有连通性的特点，通过检测图像中的连通组件的方式来获得文字候选区域；通过采用图割方法对所述灰度自然场景图像进行二值化处理以获得连通组件，具体过程如下：

步骤2.1：首先采用Niblack方法对所述灰度自然场景图像进行局部二值化处理得到二值化初始结果，本发明实施例中所选择的局部窗口尺寸为10×10；

步骤2.2：由于文字边缘区域中的像素灰度对比度较高，对所述该图像区域进行二值化处理时能获得更加准确的二值化结果；此外，根据同一文字区域内相邻笔画之间也往往具有相似的灰度值、颜色等特点；基于上述两种原因，建立能量函数并对所述能量函数采用graphcut方法求解其全局最优解以修正所述二值化初始结果，本发明实施例所构建的所述能量函数为：

E(f|I,n)＝E_local(f|I,n)+E_smooth(f|I)

其中，E_local(f|I,n)用来评价经过所述步骤1处理后所得到的灰度自然场景图像的最终二值化结果与所述二值化初始结果之间的差异；

E_local(f|I,n)＝∑_p(i)e_local(p(i))

其中，e_local(p(i))表示像素p(i)的平滑度，E_smooth(f|I)根据相邻像素的相似度来评价平滑程度；

E_smooth(f|I)＝λ∑_{(p(i),p(j))∈M}e_smooth(p(i),p(j))

其中，I表示经过所述步骤1处理后所得到的灰度自然场景图像，表示所述步骤1处理后所得到的灰度自然场景图像中像素的二值化结果，表示所述二值图像的初始标签，p(i)、p(j)表示所述步骤1处理后所得到的灰度自然场景图像中的第i个像素和第j个像素，N_t表示所述步骤1处理后所得到的灰度自然场景图像中的像素数目，表示所述步骤1处理后所得到的灰度自然场景图像进行拉普拉斯变换并取绝对值后的归一化值，M表示邻域数，x表示像素坐标位置，c表示RGB颜色，σ_g和σ_c表示归一化常数，λ表示平滑系数；在本发明实施例中，取M＝8,σ_g＝12,σ_c＝0.02,λ＝2；

步骤2.3：对所述灰度自然场景图像按照浅底暗字与暗底浅字两种模式分别进行二值化处理，对处理后得到的所述二值图像中的所有连通组件进行标记，并将各连通组件最小外接矩形区域视为文字初步候选区域。

本发明实施例对图像进行二值化处理时，具体实施方法是：首先对灰度自然场景图像按照上述方法进行二值化处理以获得对应的二值图像，然后对灰度自然场景图像进行灰度值反转变换以获得反转后的灰度自然场景图像，进而对所述反转后的灰度自然场景图像进行上述二值化处理获得相应的二值图像。

步骤3：根据文字在图像中的先验知识，基于所述步骤2处理后所获得的连通组件进行分析，分别从连通组件的高度、宽度、宽高比、高宽比以及连通组件面积等方面进行判断，进而快速地剔除伪文字区域，本发明实施例设置的文字区域判决条件具体包括：

(T_hw＝max(H(x_i),W(x_i)))∈[T_{hw_min},α×max(I_width,I_height)]

其中，x_i表示第i个连通组件，所述连通组件x_i的高度、宽度分别标记为H(x_i)、W(x_i)，所述高度、宽度的最大值标记为T_hw，I_width、I_height为所述灰度自然场景图像的宽度与高度，其最小阈值为T_{hw_min}，最大阈值占图像宽度、高度的最大值的比例为α，在本发明实施例中，取T_{hw_min}＝10、α＝0.9；

(R_hw＝max(H(x_i)/W(x_i),W(x_i)/H(x_i)))<R_{hw_max}

其中，R_hw为所述连通组件x_i的宽高比和高宽比的最大值，R_{hw_max}为最大阈值；在本发明实施例中，取R_{hw_max}＝0.85；

A(x_i)∈(A_{_min},λ×(I_width×I_height))

其中，A(x_i)为所述连通组件x_i的面积，最小阈值为A_{_min}，最大阈值占图像面积的比例为β；在本发明实施例中，取A_{_min}＝50、β＝0.65；

步骤4：考虑到文字区域在灰度自然场景图像中表现出暗底浅字或者浅底暗字两种模式，为了获得以文字为前景的二值化图像，因此需要对灰度自然场景图像分别进行正面、反面二值化处理；事实上，在进行正面、反面二值化处理时将引入大量的虚警，从而对后续文字检测结果产生不良影响。为了减少虚警，本发明实施例在所述二幅二值化图像中首先根据空间坐标位置定义同一个图像区域，然后对该图像区域中的连通组件进行分析，统计所述连通组件中大于所设定的笔画宽度阈值的边缘像素数目，最后根据所述距离大于一定阈值的像素数目进行文字区域类型的判断。

本发明实施例所采取的具体操作方法如下述：

步骤4.1：统计所述两幅二值化图像中所有连通组件中大于所设定的笔画宽度阈值的边缘像素数目；

对于每一个连通组件，若其边缘图像中沿所述各扫描线上的相邻像素之间的距离大于一定阈值的像素数目超过预先设定的像素数目阈值，则判断该连通组件为文字，反之则为背景；相应地，该连通组件所在的图像区域为所述暗底浅字或者浅底暗字类型。

步骤4.2：对于每一个连通组件，若经步骤4.1统计得到的符合设定条件边缘像素数目超过设定的像素数目阈值，则判断该连通组件为文字前景，反之则为背景；

对每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计过程如下：

步骤4.1.1：采用Canny算子对连通组件进行边缘提取，依据所提取的边缘像素依次统计连通组件的平均笔画宽度，并基于平均笔画宽度设置间隔阈值；

步骤4.1.2：分别沿着水平方向、垂直方向、45度斜对角方向、145度反斜对角方向在所述两幅二值化图像中设置扫描线，并提取扫描线上的边缘像素；

所述扫描线包括3条水平方向扫描线、3条垂直方向扫描线、1条45度斜对角方向扫描线以及1条145度反斜对角方向扫描线；

位于3条水平方向扫描线上的像素依次设定为I_E(round(I_{_h}/4),j)、I_E(round(I_{_h}/2),j)、I_E(round(3×I_{_h}/4),j)，j∈[1,I_{_w}]；

位于3条垂直方向扫描线上的像素依次设定为I_E(i,round(I_{_w}/4))、I_E(i,round(I_{_w}/2))、I_E(i,round(3×I_{_w}/4))，i∈[1,I_{_h}]；

位于45度斜对角方向扫描线上的像素依次设定为I_E(1,I_{_w})、I_E(max(1,round(I_{_h}-j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},1)，j∈[1,I_{_w}]；

位于145度反斜对角方向扫描线上的像素依次设定为I_E(1,1)、I_E(max(1,round(j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},I_{_w})，j∈[1,I_{_w}]；

其中，I_E表示提取的边缘图像,i、j分别表示边缘图像中像素的横坐标、纵坐标，I_{_h}、I_{_w}分别表示提取的边缘图像的高和宽，round()为取整函数，max()表示为取最大值函数；

步骤4.1.3：若同一扫描线上的相邻像素之间的距离大于设定的笔画宽度阈值，即：

Dist(I_E(i,j),I_E(m,n))>γ×S_{wt_ave}

则将符合设定条件的边缘像素数目加1，否则，对下一对相邻像素进行判断，直到所有扫描线上所有相邻像素全部判断完毕，完成每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计；

其中，I_E(i,j)、I_E(m,n)为沿着所述某个方向扫描线上的两相邻的边缘像素，S_{wt_ave}为当前连通组件的平均笔画宽度，Dist()为计算沿着某一条扫描线上的相邻像素之间距离的函数；γ为笔画宽度阈值权重系数，通过经验取值的方式而获得，在本发明实施例中γ＝0.45；

通过将连通组件中距离大于一定阈值的边缘像素数目与所设定的像素数目阈值进行比较，从而实现对图像区域对比度类型的判断，进而降低虚警。

步骤5：考虑到采用连通组件分析方法很难有效地甄别文字区域与背景区域，因此本发明实施例利用所述深度神经网络对前述步骤处理后所保留的文字候选区域进行进一步的判别，具体处理过程主要包括下述子步骤：

步骤5.1首先以所述文字候选区域为中心设置所述文字候选区域的影响区域，本发明实施例中，所述文字影响区域按照以下方式进行设置；

A_roi＝[max(1,round(i-H_Seed/λ_h)),max(1,round(j-λ_h×W_Seed)),......

min(I_{mg_w},round(λ_w×W_Seed)),min(I_{mg_h},round(λ_h×H_Seed))]

其中，max(1,round(i-H_Seed/λ_h))、max(1,round(j-λ_h×W_Seed))分别表示所述文字候选区域的影响区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，

min(I_{mg_w},round(λ_w×W_Seed)),min(I_{mg_h},round(λ_h×H_Seed))分别表示所述文字候选区域的影响区域的宽度与高度，I_{mg_w}、I_{mg_h}表示所述二值图像的宽度与高度，i、j分别表示所述文字候选区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，H_Seed、W_Seed分别表示所述文字候选区域的高度与宽度，max(),min(),round()分别表示所述取最大值函数、取最小值函数以及取整数函数，λ_h、λ_w均为权重系数，在本发明实施例中，λ_h＝2、λ_w＝5；

步骤5.2本发明实施例将所述影响区域中的所有文字候选区域作为待分类目标依次送入到预先已训练好的深度神经网络进行识别，并输出每一个文字候选区域的置信度值，记为该文字候选区域的初始分类置信度值；考虑到相邻自然场景文字之间具有特定的视觉上下文信息，本发明实施例对所述二值图像中的每一个待分类文字候选区域，综合利用该文字候选区域其初始分类置信度值，以及所述该文字候选区域与其影响区域内的其他相邻文字候选区域之间的相似性信息，设置一个分类置信度评价函数，将所述分类置信度评价函数值作为该文字候选区域的最终分类置信度值，本发明实施例所定义的最终分类置信度评价函数如下述：

其中，O(k)表示图像中的第k个文字候选区域，N(i)表示文字候选区域O(k)所对应的影响区域中的第i个相邻文字候选区域，N为文字候选区域O(k)所对应的影响区域中除文字候选区域O(k)以外的文字候选区域总数目，C_char(O(k))表示采用所述深度神经网络对所述文字候选区域O(k)进行分类评价时所输出的初始置信度值，C_char(N(i))表示采用所述深度神经网络对所述文字候选区域N(i)进行分类评价时所输出的初始置信度值，C_final(O(k))表示引入所述文字候选区域O(k)与其影响区域内其它相邻文字候选区域之间的相似性信息后所获得的最终分类置信度值，D(N(i),O(k))表示所述文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的上下文置信度权值，H_char(N(i),O(k))表示所述文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的高度相似度，T_char(N(i),O(k))表示所述文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的颜色相似度，P_H(O(k))、P_S(O(k))、P_I(O(k))分别表示文字候选区域O(k)的色度直方图、色饱和度直方图以及亮度直方图，P_H(N(i))、P_S(N(i))、P_I(N(i))分别表示所述文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的色度直方图、色饱和度直方图以及亮度直方图，H(O(k))、H(N(i))分别表示所述文字候选区域O(k)以及文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的高度，C_distance(N(i),O(k))表示所述文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的中心距离，A_diagonal(O(k))表示所述文字候选区域O(k)所对应的影响区域的对角线长度，abs()表示取绝对值函数，max()、min()函数的定义如前所述，函数功能分别表示取最大值和取最小值，C_α、C_β、C_γ分别为邻近文字候选区域N(i)的置信度权重系数、文字候选区域O(k)与其邻近文字候选区域N(i)之间的高度相似度权重系数以及颜色相似度权重系数，本发明实施例中，C_α＝0.5、C_β＝0.25、C_γ＝0.25；

步骤5.3为了有效地分类真实文字与伪文字，本发明实施例设置分类置信度阈值，将图像中的每一个文字候选区域分别通过前述步骤处理，将得到的所述文字分类最终置信度与所述分类置信度阈值按照下述判断公式进行比较；

其中，C_threshod为所述分类置信度阈值，本发明实施例中，C_threshod＝0.25。

利用了深度神经网络对文字候选区域进行了分类处理，与此同时，还引入待处理文字候选区域与其相邻文字候选区域之间的上下文信息，从而能有效地处理复杂自然场景情况，进而增强了文字候选区域分类结果的鲁棒性。

步骤6：为了重新检测前述步骤处理后的漏检文字，采用一种基于种子文字的自启发式文字检测策略，采用所述深度神经网络按照所述自启发式文字检测策略以多尺度滑动窗口的方式进行检测，以期提高文字检测召回率。所述处理过程主要包括以下几个子步骤：

步骤6.1将步骤5处理后所得到的文字视为种子文字，并基于所述种子文字按照步骤5.1所述方式设置其相应的影响区域；

步骤6.2根据种子文字的大小、倾斜度、以及相邻文字间隔距离先验信息，设计一种基于种子文字的自启发式文字检测策略，所述自启发式文字检测策略具体描述如下：

其中，X_window、Y_window、W_window、H_window分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，X_seed、Y_seed、W_seed、H_seed分别表示所述种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度，I_W、I_H分别表示输入图像的宽度与高度，k_Wx、k_Ww、k_Wh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，在本发明实施例中，k_WX∈[-3,-2,-1,0,1,2,3]、k_Ww∈[-0.2,-0.1,0,0,1,0.2]、

k_Wh∈[-0.15,-0.1,0,0,1,0.15]、θ∈[0,10,...,350,360]；

步骤6.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：

1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值，本发明实施例中：文字区域分类置信度高阈值取值为0.75，文字区域分类置信度低阈值取值为0.15；

2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除；

3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字；

4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；

将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字；反之，则该文字候选区域为伪文字区域，予以剔除；

步骤6.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤6.3继续识别下一个种子文字对应的检测窗口区域；

依据已检测得到的文字区域设置自启发式文字检测策略，可以减少文字候选区域搜索区域，进而提高文字检测效率；在此基础上，结合深度神经网络实施对漏检文字进行重新检测，从而提高了文字检测召回率。

对步骤5与步骤6中所述深度神经网络进行训练时，首先基于人工标注的文字与非文字构建训练数据库，然后对卷积神经网络进行训练，在本发明实施例中，训练得到的卷积神经网络共包含了4个隐含层，共计1000个隐含层节点，输出层节点为63个；

步骤7：为了将前述步骤处理后所得到的文字形成文字行，本发明实施例对经过所述步骤2至步骤6处理后保留下来的所有真实文字区域进行分析。本发明实施例考虑到同一个文字行内的文字的高度、笔画宽度、颜色、文字排列方向、相邻文字间隔等方面具有特定的视觉上下文信息，模拟“蛇”进食后成长的自然规律，设计一种“贪吃蛇”算法将符合一定条件的相邻文字形成文字行，所述方法主要包括下述子步骤：

从融合二值图像中任意选取一个真实文字作为初始贪吃蛇，初始贪吃蛇选取符合设定的相似性合并条件的真实文字，在其周围区域不断地合并文字并成长，直至无符合所述条件的真实文字的出现；

相似性合并条件如下：

所述相似性包括颜色相似度、高度相似度、笔画宽度相似度、文字排列方向相似度以及相邻文字间间隔；

其中，分别为和F(k)之间的颜色相似度、高度相似度和笔画宽度相似度；

表示“贪吃蛇”与第k-1个真实文字F(k-1)的倾斜角与表示“贪吃蛇”与图像中真实文字F(k)的倾斜角之间的差值；

表示“贪吃蛇”与第k-1个真实文字F(k-1)的间隔距离，为“贪吃蛇”与其相邻的第k-1个真实文字F(k-1)间隔距离阈值；表示“贪吃蛇”与第k个真实文字F(k)的间隔距离，为“贪吃蛇”与其相邻的第k个真实文字F(k)间隔距离阈值；

“初始贪吃蛇”记为初始贪吃蛇第一次进食后所生长得到的“贪吃蛇”记为所述“初始贪吃蛇”第k次进食后所生长得到的“贪吃蛇”记为

笔画宽度相似度：

文字排列方向相似度：

相邻文字间间隔：

其中，F(k)表示第k个真实文字，表示所选定的“初始贪吃蛇”，表示“初始贪吃蛇”在合并k-1个真实文字后生长得到的“贪吃蛇”；

T_{char_Threshod}为颜色相似度阈值，H_{char_Threshod}为高度相似度阈值；

C_{swc_Threshod}为笔画宽度相似度阈值，C_swc(F(k))、分别表示第k个真实文字F(k)的平均笔画宽度与“贪吃蛇”的平均笔画宽度；

表示“贪吃蛇”与第k-1个真实文字F(k-1)之间的倾斜角，D_{angle_Threshod}为文字排列方向相似度阈值；

C_Ycenter(F(k-1))、C_Ycenter(F(k))分别表示“贪吃蛇”的中心区域的纵坐标、“贪吃蛇”的中心区域的纵坐标、第k-1个真实文字F(k-1)的纵坐标、第k个真实文字F(k)的纵坐标，C_Xcenter(F(k-1))、C_Xcenter(F(k))分别表示“贪吃蛇”的中心区域的横坐标、“贪吃蛇”的中心区域的横坐标、第k-1个真实文字F(k-1)的中心区域的横坐标、第k个真实文字F(k)的中心区域的横坐标；

I_{_min}为最小间隔距离，I_{_α}为间隔距离权重系数；C_RtBmY(F(k-1))、C_RtBmY(F(k))分别表示“贪吃蛇”的中心区域右下顶点的纵坐标、“贪吃蛇”的中心区域右下顶点的纵坐标、第k-1个真实文字F(k-1)右下顶点的纵坐标、第k个真实文字F(k)右下顶点的纵坐标；abs()为取绝对值函数，arctan()为反正切函数，max()和min()分别为取最大值和取最小值函数，T_{char_Threshod}、H_{char_Threshod}、C_{swc_Threshod}、D_{angle_Threshod}、I_{_min}、I_{_α}的取值是通过采用经验取值的方式得到；在本发明实施例中，T_{char_Threshod}＝0.65，H_{char_Threshod}＝0.7，C_{swc_Threshod}＝0.55，D_{angle_Threshod}＝10o，I_{_min}＝2，I_{_α}＝1.5；

模拟“蛇”进食后成长的自然规律设计文字行生长算法，通过不断更新文字行信息来生成新的文字行，从而提高了文字行生成过程中的自适应性。

步骤8：为了获得以单词为单元的检测结果，本发明实施例对经所述步骤7处理后所得到的所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于单词间距阈值，则表明所述相邻文字属于同一个单词，反之，则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割，本发明实施例所采用的处理方法主要包括下述子步骤：

步骤8.1计算所述文字行中相邻文字的平均间隔距离，本发明实施例所采用的计算方法如下述：

C_interval(O_C(k))＝abs(C_RtBmY(O_C(k))-C_RtBmY(O_C(k-1)))+abs(C_RtBmX(O_C(k))-C_RtBmX(O_C(k_-1)))

其中，O_C(k)表示文字行中的第k个文字，O_C(k-1)表示文字行中的第k-1个文字，C_interval(O_C(k))表示文字行中的文字O_C(k)与其相邻的文字O_C(k-1)之间的间隔距离，C_RtBmY(O_C(k))、C_RtBmX(O_C(k))分别表示所述文字行中的文字O_C(k)的右下顶点纵坐标与右下顶点横坐标，C_RtBmY(O_C(k-1))、C_RtBmX(O_C(k-1))分别表示所述文字行中的文字O_C(k-1)的右下顶点纵坐标与右下顶点横坐标，A_interval表示文字行中的相邻文字之间平均间距。

步骤8.2判断文字行中的相邻文字属于同一个单词还是不同的单词，本发明实施例所采用的判断方法如下述：

其中，α_{_threshod}为平均间隔距离权重，在本发明实施例中，α_{_threshod}＝0.75；

上述步骤8完成后，将按照以单词为分割单元的原则，将文字从自然场景图像中分割出来并输出结果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自启发式策略的自然场景文字检测方法，其特征在于，包括以下步骤：

步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；

步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；

步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；

步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；

步骤5：召回漏检文字区域；

步骤5.1：将步骤4处理后的文字视为种子文字；

步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；

步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：

1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；

2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；

3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；

4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；

将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；

步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；

所述启发式搜索策略确定的检测窗口如下：

其中，X_window、Y_window、W_window、H_window分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，X_seed、Y_seed、W_seed、H_seed分别表示种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度；I_W、I_H分别表示输入图像的宽度与高度，k_Wx、k_Ww、k_Wh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，k_Wx、k_Ww、k_Wh、θ的取值是通过采用经验取值的方式而获得；

步骤6：以步骤4中的融合二值图像的文字区域和经步骤5召回的文字区域作为最终的真实文字，在最终的真实文字中，将符合一定条件的相邻文字形成文字行；

步骤7：对经所述步骤6处理后所得到的所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于所设置的间距阈值，则表明所述相邻文字同属于一个单词，反之则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割。

2.根据权利要求1所述的方法，其特征在于，在两幅二值化图像中对具有相同空间坐标位置的图像区域进行文字前景和伪文字前景的判断，步骤如下：

步骤4.1：统计所述两幅二值化图像中所有连通组件中大于所设定的笔画宽度阈值的边缘像素数目；

步骤4.2：对于每一个连通组件，若经步骤4.1统计得到的符合设定条件边缘像素数目超过设定的像素数目阈值，则判断该连通组件为文字前景，反之则为背景；

对每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计过程如下：

步骤4.1.1：采用Canny算子对连通组件进行边缘提取，依据所提取的边缘像素依次统计连通组件的平均笔画宽度，并基于平均笔画宽度设置间隔阈值；

步骤4.1.2：分别沿着水平方向、垂直方向、45度斜对角方向、145度反斜对角方向在所述两幅二值化图像中设置扫描线，并提取扫描线上的边缘像素；

所述扫描线包括3条水平方向扫描线、3条垂直方向扫描线、1条45度斜对角方向扫描线以及1条145度反斜对角方向扫描线；

位于3条水平方向扫描线上的像素依次设定为I_E(round(I_{_h}/4),j)、I_E(round(I_{_h}/2),j)、I_E(round(3×I_{_h}/4),j)，j∈[1,I_{_w}]；

位于3条垂直方向扫描线上的像素依次设定为I_E(i,round(I_{_w}/4))、I_E(i,round(I_{_w}/2))、I_E(i,round(3×I_{_w}/4))，i∈[1,I_{_}h]；

位于45度斜对角方向扫描线上的像素依次设定为I_E(1,I_{_w})、I_E(max(1,round(I_{_h}-j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},1)，j∈[1,I_{_w}]；

位于145度反斜对角方向扫描线上的像素依次设定为I_E(1,1)、I_E(max(1,round(j×(I_{_h}/I_{_w}))),j)、I_E(I_{_h},I_{_w})，j∈[1,I_{_w}]；

其中，I_E表示提取的边缘图像,i、j分别表示边缘图像中像素的横坐标、纵坐标，I_{_h}、I_{_w}分别表示提取的边缘图像的高和宽，round()为取整函数，max()表示为取最大值函数；

步骤4.1.3：若同一扫描线上的相邻像素之间的距离大于设定的笔画宽度阈值，即：

Dist(I_E(i,j),I_E(m,n))>γ×S_{wt_ave}

则将符合设定条件的边缘像素数目加1，否则，对下一对相邻像素进行判断，直到所有扫描线上所有相邻像素全部判断完毕，完成每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计；

其中，I_E(i,j)、I_E(m,n)为沿着所述某个方向扫描线上的两相邻的边缘像素，S_{wt_ave}为当前连通组件的平均笔画宽度，Dist()为计算沿着某一条扫描线上的相邻像素之间距离的函数；γ为笔画宽度阈值权重系数，通过经验取值的方式而获得。

3.根据权利要求2所述的方法，其特征在于，对步骤4中得到的融合二值图像中的文字候选区域，结合上下文信息，利用训练好的深度神经网络对其进行分类处理，将分类为伪文字区域的文字候选区域予以剔除后，再用于步骤6形成文字行，具体过程如下：

步骤A:以文字候选区域为中心设置当前文字候选区域的影响区域A_roi：

A_roi＝[max(1,round(i-H_Seed/λ_h)),max(1,round(j-λ_h×W_Seed)),......

min(I_{mg_w},round(λ_w×W_Seed)),min(I_{mg_h},round(λ_h×H_Seed))]

其中，max(1,round(i-H_Seed/λ_h))、max(1,round(j-λ_h×W_Seed))分别表示影响区域A_roi在融合二值图像中的左顶点横坐标与左顶点纵坐标；min(I_{mg_w},round(λ_w×W_Seed))、min(I_{mg_h},round(λ_h×H_Seed))分别表示影响区域A_roi的宽度与高度；I_{mg_w}、I_{mg_h}表示融合二值图像的宽度与高度，i、j分别表示文字候选区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，H_Seed、W_Seed分别表示文字候选区域的高度与宽度；λ_h、λ_w均为影响区域权重系数，通过经验取值的方式而获得；

步骤B：将所述影响区域中的所有文字候选区域作为待分类目标依次输入已预先训练好的深度神经网络中进行识别，将输出的识别结果视为待分类的文字候选区域的置信度值，记为该文字候选区域的初始分类置信度值；

步骤C：设置分类置信度评价函数，利用分类置信度评价函数值作为文字候选区域的最终分类置信度值；

所述分类置信度评价函数如下述：

其中，C_char(O(k))和C_final(O(k))分别表示文字候选区域O(k)的初始分类置信度值和最终分类置信度值；O(k)表示融合二值图像中的第k个文字候选区域，N(i)表示文字候选区域O(k)所对应的影响区域中的第i个相邻文字候选区域，N为文字候选区域O(k)所对应的影响区域中除文字候选区域O(k)以外的文字候选区域总数目；D(N(i)，O(k))、H_char(N(i),O(k))T_char(N(i),O(k))依次表示文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的上下文置信度权值、高度相似度和颜色相似度；C_α、C_β、C_γ分别为邻近文字候选区域N(i)的置信度权重系数、文字候选区域O(k)与其邻近文字候选区域N(i)之间的高度相似度权重系数以及颜色相似度权重系数，通过对训练样本进行学习而获得；

P_H(O(k))、P_S(O(k))、P_I(O(k))分别表示文字候选区域O(k)的色度直方图、色饱和度直方图以及亮度直方图；P_H(N(i))、P_S(N(i))、P_I(N(i))分别表示文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的色度直方图、色饱和度直方图以及亮度直方图；

H(O(k))、H(N(i))分别表示文字候选区域O(k)以及文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的高度；C_distance(N(i),O(k))表示文字候选区域O(k)与所对应的影响区域中的文字候选区域N(i)之间的中心距离；A_diagonal(O(k))表示文字候选区域O(k)所对应的影响区域的对角线长度，abs()表示取绝对值函数；

步骤D：设置分类置信度阈值C_threshod，将融合二值图像中的每一个文字候选区域的最终分类置信度值与设置的分类置信度阈值按以下公式进行判断，并将分别满足下述条件的文字候选区域视为真实文字或者伪文字；

其中，分类置信度阈值C_threshod通过对训练样本进行学习而获得。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤6形成文字行时，采用基于同一文字行内的文字的高度、笔画宽度、颜色、文字排列方向、相邻文字间间隔具有关联的视觉上下文信息，采用模拟“蛇”进食后成长的自然规律，将符合一定条件的相邻文字形成文字行，具体步骤如下：

从融合二值图像中任意选取一个真实文字作为初始贪吃蛇，初始贪吃蛇选取符合设定的相似性合并条件的真实文字，在其周围区域不断地合并文字并成长，直至无符合所述条件的真实文字的出现；

相似性合并条件如下：

所述相似性包括颜色相似度、高度相似度、笔画宽度相似度、文字排列方向相似度以及相邻文字间间隔；

其中，分别为和F(k)之间的颜色相似度、高度相似度和笔画宽度相似度；

F(k))表示“贪吃蛇”与第k-1个真实文字F(k-1)的倾斜角与表示“贪吃蛇”与图像中真实文字F(k)的倾斜角之间的差值；

表示“贪吃蛇”与第k-1个真实文字F(k-1)的间隔距离，为“贪吃蛇”与其相邻的第k-1个真实文字F(k-1)间隔距离阈值；

表示“贪吃蛇”与第k个真实文字F(k)的间隔距离，为“贪吃蛇”与其相邻的第k个真实文字F(k)间隔距离阈值；

“初始贪吃蛇”记为初始贪吃蛇第一次进食后所生长得到的“贪吃蛇”记为所述“初始贪吃蛇”第k次进食后所生长得到的“贪吃蛇”记为

笔画宽度相似度：

文字排列方向相似度：

相邻文字间间隔：

其中，F(k)表示第k个真实文字，表示所选定的“初始贪吃蛇”，表示“初始贪吃蛇”在合并k-1个真实文字后生长得到的“贪吃蛇”；

T_{char_Threshod}为颜色相似度阈值，H_{char_Threshod}为高度相似度阈值；C_{swc_Threshod}为笔画宽度相似度阈值，C_swc(F(k))、分别表示第k个真实文字F(k)的平均笔画宽度与“贪吃蛇”的平均笔画宽度；

表示“贪吃蛇”与第k-1个真实文字F(k-1)之间的倾斜角，D_{angle_Threshod}为文字排列方向相似度阈值；

C_Ycenter(F(k-1))、C_Ycenter(F(k))分别表示“贪吃蛇”的中心区域的纵坐标、“贪吃蛇”的中心区域的纵坐标、第k-1个真实文字F(k-1)的纵坐标、第k个真实文字F(k)的纵坐标，C_Xcenter(F(k-1))、C_Xcenter(F(k))分别表示“贪吃蛇”的中心区域的横坐标、“贪吃蛇”的中心区域的横坐标、第k-1个真实文字F(k-1)的中心区域的横坐标、第k个真实文字F(k)的中心区域的横坐标；

I_{_min}为最小间隔距离，I_{_α}为间隔距离权重系数；C_RtBmY(F(k-1))、C_RtBmY(F(k))分别表示“贪吃蛇”的中心区域右下顶点的纵坐标、“贪吃蛇”的中心区域右下顶点的纵坐标、第k-1个真实文字F(k-1)右下顶点的纵坐标、第k个真实文字F(k)右下顶点的纵坐标；abs()为取绝对值函数，arctan()为反正切函数，max()和min()分别为取最大值和取最小值函数，T_{char_Threshod}、H_{char_Threshod}、C_{swc_Threshod}、D_{angle_Threshod}、I_{_min}、I_{_α}的取值是通过采用经验取值的方式得到。

5.根据权利要求4所述的方法，其特征在于，对经所述步骤6提取的文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于单词间距阈值，则表明所述相邻文字同属于一个单词，反之，则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割；

步骤7.1：按以下公式计算每一个文字行中相邻文字的平均间隔距离C_interval(O_C(k))：

C_interval(O_C(k))＝abs(C_RtBmY(O_C(k))-C_RtBmY(O_C(k-1)))+abs(C_RtBmX(O_C(k))-C_RtBmX(O_C(k-1)))

其中，O_C(k)表示当前文字行中的第k个文字，O_C(k-1)表示当前文字行中的第k-1个文字，C_interval(O_C(k))表示当前文字行中的文字O_C(k)与其相邻的文字O_C(k-1)之间的间隔距离；

C_RtBmY(O_C(k))、C_RtBmX(O_C(k))分别表示当前文字行中的第k个文字O_C(k)的右下顶点纵坐标与右下顶点横坐标，C_RtBmY(O_C(k-1))、C_RtBmX(O_C(k-1))分别表示当前文字行中的第k-1个文字O_C(k-1)的右下顶点纵坐标与右下顶点横坐标，A_interval表示当前文字行中的所有相邻文字之间平均间距；

步骤7.2：依据文字行中相邻文字的平均间隔距离判断文字行中的相邻文字是否属于同一个单词：

其中，α_{_threshod}为平均间隔距离权重，所述距离权重α_{_threshod}的取值是通过对训练样本的学习而得到；

步骤7.3：将属于同一单词的文字分割为一个整体，完成对每个文字行中的单词划分。

6.根据权利要求5所述的方法，其特征在于，所述步骤2中进行二值化处理的过程如下：

步骤2.1：采用Niblack方法对灰度自然场景图像进行局部二值化处理得到初始二值化结果；

步骤2.2：建立能量函数并对所述能量函数采用图割方法求解其全局最优解以修正所述二值化初始结果，其中，所构建的能量函数公式为：

E(f|I,n)＝E_local(f|I,n)+E_smooth(f|I)

其中，E_local(f|I,n)用来评价灰度自然场景图像的最终二值化结果与初始二值化结果之间的差异；

E_local(f|I,n)＝∑_p(i)e_local(p(i))

其中，e_local(p(i))表示像素p(i)的平滑度，E_smooth(f|I)根据相邻像素的相似度来评价平滑程度；

E_smooth(f|I)＝λ∑_{(p(i),p(j))∈M}e_smooth(p(i),p(j))

其中，I表示灰度自然场景图像，和分别表示灰度自然场景图像中像素的最终二值化结果和初始二值化结果；p(i)、p(j)表示灰度自然场景图像中的第i个像素和第j个像素，N_t表示灰度自然场景图像中的像素数目，表示灰度自然场景图像进行拉普拉斯变换并取绝对值后的归一化值，M表示邻域数，x表示像素坐标位置，c表示RGB颜色，σ_g和σ_c表示归一化常数，λ表示平滑系数，M、σ_g、σ_c、λ是采用经验取值的方式获得。

7.根据权利要求6所述的方法，其特征在于，根据彩色自然场景图像中的文字先验信息设置文字区域判决条件，对文字初步候选区域进行筛选，将不符合文字区域判决条件的文字初步候选区域剔除；文字区域判决条件为：

(T_hw＝max(H(x_i),W(x_i)))∈[T_{hw_min},α×max(I_width,I_height)]

(R_hw＝max(H(x_i)/W(x_i),W(x_i)/H(x_i)))<R_{hw_max}

A(x_i)∈(A_{_min},β×(I_width×I_height))

其中，x_i表示第i个连通组件，连通组件x_i的高度、宽度分别标记为H(x_i)、W(x_i)，连通组件x_i的高度、宽度两者之间的最大值标记为T_hw，I_width、I_height为灰度自然场景图像的宽度与高度，其最小阈值为T_{hw_min}，最大阈值占图像宽度、高度的最大值的比例为α；

R_hw为连通组件x_i的宽高比和高宽比的最大值，R_{hw_max}为最大阈值；

A(x_i)为连通组件x_i的面积，最小阈值为A_{_min}，最大阈值占图像面积的比例为β，α、β、T_{hw_min}、R_{hw_max}、A_{_min}是通过对训练样本进行学习而获得。

8.一种基于自启发式策略的自然场景文字检测***，其特征在于，包括：

图像采集和预处理模块：采集待检测图像，并将采集的彩色自然场景图像转换为灰度自然场景图像；

二值处理模块：对经过图像预处理后的灰度自然场景图像进行二值化处理以得到对应的二值图像，标记所述二值图像中的所有连通组件，并将各连通组件最小外接矩形所包含的区域视为文字初步候选区域；

融合模块：对灰度自然场景图像分别进行正面、反面二值化处理后，基于连通组件对图像区域中的文字对比度类型进行判断，将二值图像中的文字统一为前景，非文字区域统一为背景，得到融合二值图像；

漏检文字召回模块：将融合二值图像中所有的文字候选区域视为种子文字，根据种子文字的大小、倾斜度、以及相邻文字间隔距离信息构建自启发式搜索策略，结合所述训练好的深度神经网络采用滑动检测窗口的方式在种子文字的附近区域召回漏检文字；

文字行生成模块：对经过前述步骤处理后保留下来的所有真实文字进行分析，将符合一定条件的相邻文字形成文字行；

单词为单元分割模块，对所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于单词间距阈值，则表明所述相邻文字属于同一个单词，反之，则将所述相邻文字分割开，以实现所述文字行中以单词为单元的文字分割；

所述漏检文字召回模块采用权利要求1-3任一项所述的方法进行漏检文字召回处理。

9.根据权利要求8所述的***，其特征在于，所述文字行生成模块采用基于同一文字行内的文字的高度、笔画宽度、颜色、文字排列方向、相邻文字间间隔具有关联的视觉上下文信息，采用模拟“蛇”进食后成长的自然规律，将符合一定条件的相邻文字形成文字行；

具体过程为采用权利要求4所述的方法实现。

10.根据权利要求9所述的***，其特征在于，还包括文字候选区域筛选模块，分为文字候选区域初次筛选模块和文字候选区域深度筛选模块；

所述文字候选区域初次筛选模块：根据彩色自然场景图像中的文字先验信息设置文字区域判决条件，对图像中的每一个文字候选区域进行分析，将符合所述文字区域判决条件的文字候选区域予以保留，反之则作为伪文字区域予以剔除；

所述文字候选区域深度筛选模块：对经融合模块处理后的融合二值图像中所有的文字候选区域，结合文字上下文信息，利用训练好的深度神经网络进行进一步分类处理，将判断为伪文字的文字候选区域予以剔除，反之，则视为真实文字区域予以保留。