CN102332097A - 一种基于图割的复杂背景文本图像分割方法 - Google Patents

Abstract

本发明公开了一种基于图割的复杂背景文本图像分割方法，其包括步骤：1)将原始文本块图像粗分为子图；2)通过估计每个子图的极性，最终决定整个文本块图像的极性；3)根据文本块图像的极性，结合字符笔画的固有特征，自动提供一些置信度较高的前景背景点作为图割的硬约束；4)对子图施加相应的软约束，用图割将硬约束传播到整个子图，进而分割子图；5)将分割的子图合并获得整体的文本分割图像。本发明方法采用分-合的技术，具有局部空间自适应性，从而可以应对背景不均匀的复杂背景文本块图像；同时，本方法自动为图割提供硬约束，结合软约束将硬约束扩展到整幅子图，因此对背景复杂的文本图像可以取得较好的分割效果。

Description

一种基于图割的复杂背景文本图像分割方法

技术领域

本发明涉及模式识别与机器视觉领域中的文本图像分割技术领域，具体地是一种基于图割的复杂背景文本图像分割方法。

背景技术

随着数码相机、摄像头、超高速扫描仪等图像获取设备的广泛应用，图像中的信息越来越引起人们的关注，然而计算机理解图像的内容，目前还很困难。图像中嵌入的文字能够提供一些人们所要的重要信息，对理解图像中的内容有着重要的帮助。让计算机像人类一样识别图像中的文字，即文字的自动检测识别***，近年来越来越引起了人们的关注，它对于图像和视频的存储、分类、理解及检索等来说具有极其重要的意义，有着广泛的应用前景和商业价值。在许多情况下，图像中的场景文字甚至成为图像最主要、最关键的信息，因此很多研究者致力于研究图像中文本块的检测方法研究，然而由于图像中的文本块往往具有非常复杂的背景，比如光照、文字大小，分辨率等，将检测到的文本块直接送入传统的OCR识别引擎，其识别效果非常差，因此，文本块的分割技术，是连接文本检测与识别的重要技术，对于整个***的良好性能不可或缺。

现在的大部分文本块分割方法可以大致归为两类：统计阈值方法及机器学习方法。其中统计阈值方法根据图像的灰度或者颜色的统计特性计算出全局阈值或者局部阈值来对文本图像就行分割，此类方法对于传统的扫描文档或者是背景较为简单的文本块分割效果可以，然而当文字和背景具有相近的亮度时，将无法很好得分割。机器学习的方法包括无监督的颜色聚类，各种模型学习方法。当文字及背景具有相近的颜色时，颜色聚类的方法将失效；如果能够学习出合适的模型，模型选择方法可以得到满意的效果，然而学习出一种可以分割任何复杂背景的文本块的模型很难实现。

统计阈值方法没有充分利用文字笔画的结构特性，而学习合适模型所需要的大量训练样本又很难获取。其实文字也是一种特殊的目标，因此可以采用各种各样的目标分割方法。其中交互式目标分割越来越受到人们欢迎，在此方面图割技术得到广泛应用。传统的交互式目标分割需要用户给出一些标签，然而考虑文字的固有特性，可以为图割自动给出一些标签，从而实现用图割对文字进行分割。

发明内容

本发明的目的是提供一种基于图割的复杂背景文本图像分割方法，采用分-合技术，本方法具有局部空间自适应性，因此可以处理背景不均匀的复杂背景文本图像；同时，根据文字笔画的固有特征，自动为图割给出一些标签作为硬约束，结合软约束将这些硬约束扩散到整个子图进而分割子图。分割后的子图经合并形成整体的文本分割图像。

为达到上述目的，本发明的技术解决方案如下：

一种基于图割的复杂背景文本图像分割方法，其特征在于，包括以下步骤：

步骤1，将原始文本块图像粗分为若干个子图；

步骤2，通过判断每个子图的极性，确定整个文本块图像的极性；

步骤3，根据文本块图像的极性，结合字符笔画的固有特征，自动为图割提供一些置信度较高的前景点和背景点作为图割的硬约束；

步骤4，根据获得的硬约束，对子图施加相应的软约束，用图割将硬约束传播到整个子图，进而得到子图的最优分割；

步骤5，将得到的最优分割的子图合并得到整体的文本分割图像。

本发明采用分-合技术，首先将文本图像粗略划分为子图，再对子图进行操作，因此本方法具有局部空间自适应性，可以处理背景不均匀的复杂背景文本图像；同时，根据文字笔画的固有特征，本方法自动为图割给出一些标签作为硬约束，结合软约束将这些硬约束扩散到整个子图进而分割子图。本方法对复杂背景的文本图像具有很好的分割效果。

附图说明

图1是本发明提出的一种基于图割的复杂背景文本图像分割方法的流程图。

图2是本发明中将文本图像划分为子图的结果示意图。

图3是本发明中硬约束获取准则及结果示意图。

图4是根据本发明实施例的文本图像分割结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明所述方法的实施例流程图，参照图1，本发明提出的一种基于图割的复杂背景文本图像分割方法具体包括以下步骤：

步骤1，将原始文本块图像粗分为若干个子图；

首先，输入一副原始文本块图像，求取原始文本块图像的边缘图像，然后，对边缘图像进行连通域分析，根据字符连通域的一些特征，找到一些其特性符合字符特性的连通域子图，作为“种子”子图，依据这些“种子”子图将原始文本块图像粗分为若干个子图。

其中，找到“种子”子图之后依据“种子”子图对原始文本图像进行粗分时，因为此步的分割要保证信息的完整性，因此除了种子子图区域以外的所有区域都要被考虑，这里对于种子子图区域以外的所有区域部分采用强制分割，以确保所有文字都会分割在子图当中。

对输入的原始文本块图像进行粗分割后得到的子图如图2所示。

步骤2，通过判断分割出的每个子图的极性，最终确定整个文本块图像的极性；

首先，对每个子图用传统的方法进行初始二值化，统计子图文字的笔画宽度Stroke_width_origin，并统计初始二值化后的子图膨胀及腐蚀后文字的笔画宽度Stroke_width_dilate和Stroke_width_erode，根据以下的规则判断子图的极性，即如果膨胀后文字笔画变宽、腐蚀后笔画变细，则子图的极性，即前景，为1，反之为0：

其中，Foreground为子图前景，白色代表子图极性为1(黑底白字)，反之亦然；膨胀和腐蚀采用相同的模板，同时，为了确保笔画宽度统计的客观性，即对所有极性的子图均能适应，优选地，笔画宽度需在边缘图像上进行统计，即，首先对二值化后的子图求取边缘图像，然后再在边缘图像上统计笔画宽度。

然后，统计各个子图的极性，投票决定整个文本块图像的极性。

统计各个子图的极性，投票决定整个文本块图像的极性，具体为：如果某一文本块图像中极性为1的子图数量大于极性为0的子图数量，则该文本块图像的极性为1。

当该文本块图像的极性确定为1后，认为该文本块图像所包含的所有子图的极性均为1。

步骤3，根据整个文本块图像的极性，结合字符笔画的固有特征，为图割自动提供一些置信度较高的前景点和背景点作为图割的硬约束；

首先，考虑字符笔画所具有的特征：1)同一个字的笔画一般具有相同的笔画宽度；2)同一段笔画一般具有相同的颜色或者亮度；3)为了便于人们阅读，笔画附近的点的颜色一般与笔画的颜色或者亮度不同。根据以上特征，分别水平、垂直扫描各个子图，得到对应于每个子图的亮度变化波形图。

然后，根据亮度变化波形图及文本块图像的极性确定候选前景及背景点。比如，如果文本块图像的极性为1，即前景为1，其波峰的宽度应该在1到7(像素)之间，则选取符合一定条件的波峰作为候选笔画即前景，波谷则作为候选背景，反之，如果文本块图像的极性为0，即前景为0，则选取符合以上宽度的波谷作为候选前景，波峰则作为候选背景。优选地，选择波峰的亮度在波峰平均亮度之上的笔画为候选笔画，即前景，其余的则为候选背景。

最后，对这些候选笔画即前景及候选背景进行聚类，取离聚类中心点较近的前景、背景点作为图割的硬约束点。

这是因为，离聚类中心越近，则其属于前景或者背景的可能性越大，即其置信度越高。

图3所示为根据文本块图像的极性结合文字的固有特征，为子图获得置信度较高的前景及背景像素点的示意图。图3中最左边的图像为原始图像，中间的图像示例性的给出通过水平扫描左边原始图像所得到的四行亮度变化图，由于该文本块图像的极性为1，所以选用黑色箭头标注的波峰所对应于原图中的点为相应的候选前景，其余的则为候选背景，依据此原则自动获取候选前景及背景点，然后再经过聚类挑选出置信度较高的前景及背景点作为硬约束，如图3最右边图像所示，其中白色表示置信度较高的前景点，黑色表示置信度较高的背景点，图像中的其余像素用灰色表示。

步骤4，根据获得的硬约束，并对步骤1中粗分得到的各个子图，施加相应的软约束，用图割来将这些硬约束传播到整个子图，进而得到子图的最优分割；

首先，根据步骤3得到的硬约束，为图割设定软约束。假设子图的所有像素点为“图”的节点，每个节点的相邻8个像素为图的邻域，用P来表示节点的集合，用L＝{L₁，L₂，...L_p...}表示每个节点的分割标签，如果为前景，L_p＝1，反之则为0。用损失函数E(L)表示图割的软约束，包括区域损失R(L)及边界损失B(L)两部分，如下式所示：

                 E(L)＝λR(L)+B(L)，

其中，λ反映了R(L)与B(L)之间的比重关系； $R\left(L\right)=\underset{p\∈P}{\mathrm{\Σ}}{R}_p\left(L_p\right),$ p为图中的某一节点； $B\left(L\right)=\underset{\{p,q\}\∈N}{\mathrm{\Σ}}{B}_{\{p,q\}}*\mathrm{\δ}(L_p,L_q),$ p、q为图中相邻的两点；N为相邻像素点的集合，B_{p，q}为相邻两点的边界损失；δ(L_p，L_q)为冲击函数，当p、q具有相同标签时为1，其余情况均为0： $\mathrm{\δ}(L_p,L_q)=\left\{\begin{array}{cc}1& \mathrm{if}{L}_p\≠L_q\\ 0& \mathrm{otherwise}.\end{array}\right..$

区域损失是将某个像素划分为前景或者背景所带来的损失，每个像素的区域损失R_p(L_p)包括两部分损失，R_p(L_p)＝R_p(0)+R_p(1)，其中R_p(1)是将此像素分类为前景的损失，R_p(0)是将此像素划分为背景的损失，因此可以规定：如果像素的颜色接近于前景的颜色，则前景损失R_p(1)应该较小，而背景损失R_p(0)应该较大。

区域损失的具体计算方法如下：

1)将步骤3中得到的前景背景点分别聚类，假设分别聚为n类和m类，前景点聚类中心为Center{fore}_n，背景点聚类中心为Center{back}_m；

2)对于某个像素点p，计算此点到每个聚类中心的距离

和

3)那么，R_p(1)和R_p(0)可以定义如下；

$R_p\left(1\right)=\min \left\{\mathrm{Dist}{\left\{\mathrm{fore}\right\}}_k^p\right\},$ k＝1，2，...n

$R_p\left(0\right)=\min \left\{\mathrm{Dist}{\left\{\mathrm{back}\right\}}_k^p\right\},$ k＝1，2，...m.

边界损失B(L)是相邻像素不连续导致的损失，即对相邻像素不连续的惩罚，也就是说，相邻像素如果特征相似，则应该B_{p，q}较大，反之则小。

B(L)可以设置为相邻像素点p，q之间距离的递减函数，这里B(L)采用如下函数：

$B_{\{p,q\}}=\exp (-\frac{{({\mathrm{color}}_p-{\mathrm{color}}_q)}^2}{2{\mathrm{\σ}}^2}),$

其中，color_p，color_q分别为像素点p，q的R、G、B颜色特征，σ为尺度因子，设为0.25。

然后，使用最大流/最小割算法来找到满足硬约束的最好分割方法。即，使用最大流/最小割算法对于整个文本块图像得到在硬约束下使得如上损失函数E(L)(软约束)最小的子图分割结果，即为子图的最优分割结果。

也就是说，用图割将步骤3得到的硬约束，通过步骤4中定义的软约束(边界损失及区域损失)扩散到整个子图，即解出损失函数的最小解，得到文本块图像的最小割结果。

步骤5，将得到的最优分割的子图合并得到整体的文本分割图像。

将得到的最优分割的子图合并，即将分割出的白底黑字的子图拼接在黑底上，合并成最终的二值分割图像，即文本分割图像。

根据硬约束，结合软约束，用图割分割子图，然后将最优分割得到的子图合并后的结果如图4所示。图4上面一副图片是原始输入的文本块图像，下面一副则为用图割分割子图，然后将最优分割得到的子图合并后得到的整体的文本分割图像。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于图割的复杂背景文本图像分割方法，其特征在于，包括以下步骤：

步骤1，将原始文本块图像粗分为若干个子图；

步骤2，通过判断每个子图的极性，确定整个文本块图像的极性；

步骤3，根据文本块图像的极性，结合字符笔画的固有特征，自动为图割提供一些置信度较高的前景点和背景点作为图割的硬约束；

步骤4，根据获得的硬约束，对子图施加相应的软约束，用图割将硬约束传播到整个子图，进而得到子图的最优分割；

步骤5，将得到的最优分割的子图合并得到整体的文本分割图像。

2.如权利要求1所述的方法，其特征在于，所述步骤1具体为：

求取原始文本块图像的边缘图像，对边缘图像进行连通域分析得到“种子”子图，依据所述“种子”子图将原始文本块图像粗分为若干个子图。

3.如权利要求2所述的方法，其特征在于，依据“种子”子图将原始文本块图像粗分为若干个子图时，为保证信息的完整性，对于“种子”子图区域以外的所有区域部分采用强制分割，以确保所有文字都会分割在子图中。

4.如权利要求1所述的方法，其特征在于，所述步骤2中判断子图的极性具体为：

对每个子图进行初始二值化，统计子图文字的笔画宽度，以及子图膨胀及腐蚀后文字的笔画宽度，如果子图膨胀后文字的笔画变宽、腐蚀后笔画变细，则该子图的极性为1，反之为0。

5.如权利要求1所述的方法，其特征在于，所述步骤2中确定整个文本块图像的极性具体为：

根据子图的极性，通过投票决定整个文本块图像的极性。

6.如权利要求1所述的方法，其特征在于，所述步骤3具体包括：

根据字符笔画所具有的特征，分别水平、垂直扫描各个子图，得到对应于每个子图的亮度变化波形图；

根据亮度变化波形图及文本块图像的极性确定候选前景点及背景点；

对候选前景点及背景点进行聚类，取离聚类中心点较近的前景、背景点作为图割的硬约束点。

7.如权利要求1所述的方法，其特征在于，所述步骤4中的软约束为图割的损失函数，所述损失函数E(L)包括区域损失R(L)和边界损失B(L)：

                 E(L)＝λR(L)+B(L)，

其中，λ为R(L)与B(L)之间的比重关系。

8.如权利要求7所述的方法，其特征在于，区域损失R(L)是将某个像素划分为前景或者背景所带来的损失：

$R\left(L\right)=\underset{p\∈P}{\mathrm{\Σ}}{R}_p\left(L_p\right),$

其中，p为图中的某一节点；L_p为节点p的分割标签；每个像素的区域损失R_p(L_p)包括两部分：

                      R_p(L_p)＝R_p(0)+R_p(1)，

其中，R_p(1)是将此像素划分为前景的损失，R_p(0)是将此像素划分为背景的损失。

9.如权利要求7所述的方法，其特征在于，边界损失B(L)是相邻像素不连续导致的损失：

$B\left(L\right)=\underset{\{p,q\}\∈N}{\mathrm{\Σ}}{B}_{\{p,q\}}*\mathrm{\δ}(L_p,L_q),$

其中，p、q为图中相邻的两点，N为相邻像素点的集合，B_{p，q}为相邻两点的边界损失，δ(L_p，L_q)为冲击函数。

10.如权利要求1所述的方法，其特征在于，所述步骤4中用图割将硬约束传播到整个子图，进而得到子图的最优分割具体为：使用最大流/最小割算法得到在步骤3的硬约束下使得软约束最小的子图分割结果，即为子图的最优分割结果。

Images