CN102842119A - 一种基于抠像和边缘增强的快速文本图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于抠像技术与边缘增强的快速文本图像超分辨率方法。它包括以下步骤：采用基于引导滤波的抠像技术将低分辨率文本图像分为前景色、背景色及前景透明度三个组成部分；分别使用快速插值方法与基于边缘增强的插值方法对低分辨率文本图像的前景色及背景色部分和前景透明度部分进行超分辨率；利用超分辨率后的前景色、背景色及前景透明度部分重构出高分辨率文本图像。本发明能够快速有效的提高超分辨率后的文本图像质量，改善文本图像的视觉效果，能解决低分辨率文本图像或视频在高分辨率电子设备上的显示和打印等问题，具有非常重要的实际应用价值。

Description

一种基于抠像和边缘增强的快速文本图像超分辨率方法

技术领域

本发明涉及一种文本图像超分辨率方法，更具体的说是一种基于抠像与边缘增强的文本图像超分辨率方法。

背景技术

文本图像超分辨率是图像超分辨率研究的一个分支，图像超分辨率方法一般来说可以分为三类：基于样本学习的方法、基于重构的方法和基于插值的方法。基于样本学习的方法通过学习高分辨率图像块/参数和低分辨率图像块/参数之间的对应关系来解决超分辨率问题，这类方法需要消耗相当长的时间来进行样本训练，而且样本图像的选取对超分结果的影响很大。基于重构的方法通过最小化原始低分辨率图像与由高分辨率图像下采样构成的低分辨率图像之间的误差来迭代出最终的高分辨率图像，这种方法不需要进行训练，但不能保证算法收敛的最终高分辨率图像具有理想视觉效果^[3]。相比这些方法，图像插值方法如双线性插值和双三次插值简单快速，因此获得更加广泛的应用。但是简单的插值方法会造成图像边缘模糊和边缘锯齿。因此，最近出现了一些基于边缘的插值方法^[4-5]，这类方法在进行插值的过程中，尽量保证图像边缘的清晰和连续，因此能一定程度上解决图像边缘的模糊和锯齿问题。但是，与简单的插值方法相比，这类方法的计算消耗过高，很难满足一些实际应用需求，比如低分辨率文本图像或视频在高分辨率显示器上显示的等。Q. Shan等人提出基于迭代的上采样和去模糊的快速超分辨率方法^[6]，但是这种方法容易在去模糊过程中丢失图像纹理或在图像边缘处出现人造痕迹，并且该算法的快速实现需建立在GPU加速的基础上。

发明内容

为解决文本图像超分辨率方法速度和效果上存在的上述问题，本发明提供了一种基于抠像和边缘增强的快速文本图像超分辨率方法。本发明提出的算法速度快而且能在放大文本图像的同时有效保证文本图像边缘的清晰度。

本发明解决上述问题的技术方案包括以下步骤：

1）对低分辨率文本图像进行二值化，得到低分辨率文本图像的二值图像。

2）用低分辨率文本图像及其二值图像作为输入，采用基于引导滤波的抠像算法得到文本图像的前景透明度图像；

3）根据原文本图像和步骤2）得到的前景透明度图像估计前景色和背景色；

4）对低分辨率文本图像的前景色以及背景色部分采用插值算法进行超分辨率处理；

5）对低分辨率文本图像的前景透明度部分采用边缘增强插值算法进行超分辨率处理；

6）将经过超分辨率处理后的前景色、背景色以及前景透明度组合得到最终的高分辨率文本图像；

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤1）采用大津法来选取文本图像二值化的阈值。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤2）中将低分辨率文本图像作为引导文本图像，对低分辨率文本图像的二值化图像进行引导滤波从而得到抠像结果，即低分辨率文本图像的前景透明度。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤3）中利用引导滤波算法对局部线性模型的解，前景透明度作为引导，把原图像为输入，得到前景色和背景色。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤3）中采用图像形态学处理中的膨胀腐蚀算法得到前景色和背景色。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤4）中采用先插值再进行边缘增强与先进行边缘增强再插值相结合的文本图像插值方法。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述的步骤5）中采用双三次插值方法。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤5）中采用双线性插值方法。

上述的基于抠像与边缘增强的快速文本图像超分辨率方法中，所述步骤5）中采用最近邻插值方法。

由于采用上述技术方案，本发明的技术效果在于：本发明采用基于抠像技术和边缘增强的文本图像超分辨率方法有效提高了放大后文本图像的清晰度，同时算法的速度很快，因此，可以用于解决低分率文本图像或视频在高分辨率显示器和打印机上的显示和打印等问题，对文本图像的后续处理及其在电子设备上的应用具有重要理论意义和应用价值。

附图说明

图1为本发明的流程图。

图2为不同超分辨率方法的文本图像超分辨率结果比较。

具体实施方式

参见图1，图1 为本发明的流程图。输入为低分辨率的灰度或彩色文本图像，输出为高分辨率的灰度或彩色文本图像。本发明具体实施步骤如下：

1．采用基于引导滤波的抠像技术将低分辨率文本图像分为低分辨率前景色F^L、低分辨率背景色B^L以及低分辨率前景透明度Q^L三个部分。其具体步骤为：

1) 对低分辨率文本图像I^L进行二值化得到二值文本图像A。二值化的阈值TH采用大津法来选取。

$A(x,y)=\left\{\begin{array}{cc}1& I^L(x,y)>\mathrm{TH}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

2) 如公式（2）所示，以原文本图像I^L  为引导文本图像，对得到的二值文本图像A进行基于引导滤波的抠像，得到低分辨文本图像的前景透明度部分Q^L。

Q^L=GD(A,I^L)（2）

其中I^L是为参考文本图像（低分辨率灰度文本图像，如果文本图像为彩色文本图像则通过计算三个颜色通道的平均值将其转换为灰度文本图像）, A 是待滤波的步骤1）得到的低分辨率二值化文本图像，引导滤波输出结果为低分辨率文本图像的前景透明度部分 Q^L.

引导滤波的具体实施细节如下：首先采用线性回归法计算如公式（3）所示代价函数的封闭解a_k与b_k（如公式（4）、（5） 所示）。

$E(a_k,b_k)=\underset{i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}({(a_k{i}_i^L+b_k-A_i)}^2+\mathrm{\ϵ}{a}_k^2)---\left(3\right)$

$a_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{I}_i^L{S}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{S}}_k}{{\mathrm{\δ}}_k^2+\mathrm{\ϵ}}---\left(4\right)$

$b_k={\stackrel{\‾}{S}}_k-a_k{\mathrm{\μ}}_k---\left(5\right)$

其中ω_k是指以第 k 个像素为中心的半径为r的方形窗口，|ω| 表示该窗口内像素的个数，μ_k和

分别代表引导文本图像以第 k 个像素为中心的窗口ω_k内像素的均值和方差，

表示待滤波文本图像以第k 个像素为中心的窗口ω_k内像素的均值，ε为常数（在本方明中, 窗口半径r=2,ε=0.1³）。然后根据式（6）计算滤波器的输出：

$Q_i^L={\stackrel{\‾}{a}}_i{I}_i^L+{\stackrel{\‾}{b}}_i---\left(6\right)$

其中 ${\stackrel{\‾}{a}}_i=\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{k\∈{\mathrm{\ω}}_i}{a}_k$ ， ${\stackrel{\‾}{b}}_i=\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{k\∈{\mathrm{\ω}}_i}{b}_k$ 。

3)计算出文本图像的前景透明度Q^L后，我们提出两种不同的方法来估计文本图像前景色和背景色：

方法一：根据前景透明度Q^L与原文本图像I^L计算前景图像I_f与背景图像I_b，然后对二者进行腐蚀膨胀得到相应的前景色F^L和背景色B^L。

$B^L=I_b\⊕H---\left(8\right)$

其中表示腐蚀操作，

表示膨胀操作，I_f=I^LQ^L，I_b=I^L(1-Q^L)，H是一个的方形结构元素：

$H=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]---\left(9\right)$

方法二：对于Q^L值很大（大于0.9）的像素，其前景色直接用原文本图像像素值替代，对于Q^L值很小（小于0.1）的像素，其背景色直接用原文本图像像素值替代，而对于Q^L值位于 [0.1-0.9] 区间内的像素，其前景色与背景色根据公式（10）所示的代价函数的封闭解（如公式（11）,(12)所示）求取。

$E((F^L-B^L),B^L)=\underset{w_k}{\mathrm{\Σ}}[{((F^L-B^L)q^L+B^L-I^L)}^2+\mathrm{\ϵ}{(F^L-B^L)}^2]---\left(10\right)$

$F_k^L-B_k^L=\frac{1}{\left|w_i\right|}{\mathrm{\Σ}}_{k\∈{\mathrm{\ω}}_i}\frac{\frac{1}{\left|w_k\right|}{\mathrm{\Σ}}_{j\∈w_k}{q}_j^L{I}_j^L-{\mathrm{\η}}_k{\stackrel{\‾}{I^L}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}---\left(11\right)$

$B_k^L=\frac{1}{\left|w_i\right|}{\mathrm{\Σ}}_{k{\∈w}_i}{\stackrel{\‾}{I^L}}_k-X_k{\mathrm{\η}}_k---\left(12\right)$

其中

，w_k是以第 k 个像素为中心的3×3的方形窗口，|w| 表示该窗口内像素的个数，η_k和

分别代表前景透明度文本图像Q^L以第 k个像素为中心的窗口w_k内像素的均值和方差。

2．采用快速插值方法对步骤1得到的前景色F^L和背景色B^L分别进行超分辨率得到高分辨率的前景色F^H和背景色B^H。这里所说的快速插值方法主要是指最近邻插值，双线性插值和双三次插值等快速数值算法。最近邻插值认为待插值点的灰度值等于距离最近的已知点的灰度值；双线性插值利用待插值位置周围四个已知点的灰度值做两个方向上线性插值；双三次插值方法利用待插值位置周围16个点的灰度值做三次插值，不仅考虑到4个直接相邻点的灰度影响，而且考虑各邻点间灰度值变化率的影响。

3．采用边缘增强的插值方法对文本图像的边缘Q^L进行超分辨率得到超分后的边缘文本图像Q^H，具体实施步骤如下：

$Q_1^H=\mathrm{Enhance}\left(\mathrm{Bicubic}\left(Q^L\right)\right)---\left(13\right)$

$Q_2^H=\mathrm{Bicubic}\left(\mathrm{Enhance}\left(Q^L\right)\right)---\left(14\right)$

$Q^H=(1-\mathrm{\λ})Q_1^H+\mathrm{\λ}{Q}_2^H---\left(15\right)$

其中λ的取值范围是[0,1]，在本发明λ的默认值设为0.5，Bicubic()表示双三次插值，Enhance()是文本图像增强操作，它可以用下式表示：

Enhance(I)=I-I*○                  （16）

其中I表示待增强文本图像，*表示卷积运算，○表示如下所示的卷积核：

4．将高分辨率的前景色F^H，背景色B^H及前景透明度部分Q^H按如下方式进行组合：

I^H(x,y)=Q^H(x,y)F^H(x,y)+(1-Q^H(x,y))B^H(x,y)      （18）

其中(x,y)为像素坐标，I^H为最终的文本图像超分辨率结果。

本发明所提出的方法与基于双三次插值与基于稀疏表示的文本图像超分辨率方法进行了比较。附图2中左起第一列为是低分辨率文本图像，第二列为使用双三次插值法获得的高分辨率文本图像，第三列是基于稀疏表示的超分辨率方法得到的高分辨率文本图像，最后一列为采用本发明方法获得的高分辨率文本图像。可以看出本发明与基于稀疏表示的方法都能在放大文本图像的同时有效提升文本图像的清晰度，但双三次插值与基于稀疏表示的方法都会造成文本图像边缘不同程度的模糊。

表1列出了不同算法的计算时间比较,表中所有时间都是用MATLAB在CPU主频为2.8GHz的电脑上的运行时间。可以看出，尽管基于稀疏表示的算法能获得与本算法相当的超分辨率效果，其计算速度很慢，处理一幅256×256的彩色文本图像需要815 秒，然而本发明提出的方法要快很多，处理一幅256×256的彩色文本图像仅需要0.186秒，此外本算法的C++程序处理一幅256×256彩色文本图像的速度能够达到0.047秒，因此本发明具有重要的实用价值。

表1不同超分辨率算法的运行时间比较

Claims (9)

1.一种基于抠像和边缘增强的快速文本图像超分辨率方法，包括以下具体步骤：

1）对低分辨率文本图像进行二值化，得到低分辨率文本图像的二值图像。

2）用低分辨率文本图像及其二值图像作为输入，采用基于引导滤波的抠像算法得到文本图像的前景透明度图像；

3）根据原文本图像和步骤2）得到的前景透明度图像估计前景色和背景色；

4）对低分辨率文本图像的前景色以及背景色部分采用插值算法进行超分辨率处理；

5）对低分辨率文本图像的前景透明度部分采用边缘增强插值算法进行超分辨率处理；

6）将经过超分辨率处理后的前景色、背景色以及前景透明度组合得到最终的高分辨率文本图像；

2.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤1）采用大津法来选取文本图像二值化的阈值。

3.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤2）将低分辨率文本图像作为引导文本图像，对低分辨率文本图像的二值化图像进行引导滤波从而得到抠像结果，即低分辨率文本图像的前景透明度。

4.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤3）中利用引导滤波算法对局部线性模型的解，前景透明度作为引导，把原图像为输入，得到前景色和背景色。

5.根据权利要求4所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤3）中采用图像形态学处理中的膨胀腐蚀算法得到前景色和背景色。

6.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤4）中采用先插值再进行边缘增强与先进行边缘增强再插值相结合的文本图像插值方法。

7.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤5）中的采用双三次插值方法。

8.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤5）中采用双线性插值方法。

9.根据权利要求1所述的基于抠像与边缘增强的快速文本图像超分辨率方法，所述的步骤5）中采用最近邻插值方法。

Images