CN102930277A - 一种基于识别反馈的字符图像验证码识别方法 - Google Patents

Abstract

一种基于识别反馈的图像验证码识别方法。其特征该方法主要包括步骤：先将原始彩色图像转换成灰度图像，并进行二值化处理，得到二值化图像数据；接着对所述二值化图像进行修补，去除图像边缘毛刺，填补中心空白，并完成断裂笔画的连接，得到修补图像；再对所述修补图像去除背景以及干扰点或线，得到无噪图像；并对无噪图像进行细化，得到单一像素的细化图像；然后对细化图像进行切分，得到仅含单个字符的单字符图像；最后对单字符图像进行归一化并识别其中的字符。本发明可对含有各种类型的噪音、字符存在粘连、倾斜、旋转及变形等现象的字符图像验证码设计相应的算法进行处理，完成高效率和高精度的识别。本发明可应用于自动化程序中验证码识别。

Description

一种基于识别反馈的字符图像验证码识别方法

技术领域

本发明涉及一种验证码识别方法，特别是涉及一种基于识别反馈的图像验证码识别方法。

背景技术

验证码设计的基本准则是减少硬人工智能的问题，即一个问题如果不能用计算机程序解决，则可以用作验证码。目前验证码的实现方式包括字符图像、语音识别、动态图像等，其中字符图像由于体积小、易传输等优点，是使用最为广泛的一种。使用验证码可防止他人对网站进行批量注册、重复发贴、暴力密码破解、垃圾邮件的群发，然而验证码也阻碍了测试人员使用软件对网站的自动化测试、信息的快速发布、交易的自动化进行等操作。

在过去的数十年，研究者们提出了很多验证码识别方法，这些方法可分为：基于模板匹配的方法，基于字符结构的方法和机器学习方法。

模板匹配方法采用预先设计好的模板匹配图像中的字符，相对比较简单，实现起来容易，然而这种方法无法处理存在噪音，字符位置和大小不固定的验证码。

基于字符结构的方法根据字符各自的结构特点作为识别特征，自定义不同的识别算法，然而无法处理字符粘连、变形等情况。

机器学习方法通过提取特征，训练分类器，可实现字符的高效识别。

字符图像验证码识别的主要问题是验证码中包含有各种类型的噪音，字符存在粘连、倾斜、旋转、变形，这些现象影响了识别的准确率。

发明内容

本发明的目的是要提供一种基于识别反馈的字符图像验证码识别方法，克服自动化程序中验证码识别方法对于复杂字符图像验证码存在噪音、字符粘连、倾斜、旋转、变形等无法识别的缺陷，通过对字符图像验证码的识别，实现自动化程序的顺利工作，提高人们的工作效率。

为了达到上述的目的本发明是这样实现的: 本发明的一种基于识别反馈的字符图像验证码识别方法的操作步骤如下：

（1）将字符图片加载到内存中，获取每个像素的颜色，颜色采用RGB形式表示，分别代表该颜色的红色、绿色、蓝色分量；

（2）二值化

将彩色图像转换成灰度图像，且采用如下的灰度变换公式，

Y=0.299R+0.587G+0.114B

且采用阈值将灰度图像转换成二值图像，阈值的选取采用大津法且为OSTU，即选择使得两类样本间方差最大的灰度值作为阈值，二值化中阈值的选取方法为：

设w  ₀ 为前景像素所占图像总像素的比例, 令u ₀ 为所有前景像素的平均灰度, 设w ₁ 为背景点数所占图像总像素的比例, 令u ₁ 为所有背景像素的平均灰度, 则图像的所有像素的平均灰度为u = w ₀  u ₀  + w ₁ u ₁  . 在进行程序运算时, t 的取值可从图像的最小灰度值到图像的最大灰度值依次遍历, 当t 取某值时, 类间方差公式b= w ₀  (u ₀  - u) ² + w ₁ (u ₁  - u) ²  能取得最大, 此时t 即为二值化的阈值； 

（3）修补

采用如下的模板对图像进行修复，以去除边缘毛刺并填补空白

0 0 0             0 0 ?             0 0 0            ? 1 ?             ? 1 ?

0 1 0              0 1 1             0 1 1             1 0 1             1 0 1

0 0 0               0 0 1             0 0 ?            ? 1 ?             0 0 1

模板T1       模板T2       模板T3       模板T4          模板T5

其中0代表背景像素点，1代表前景像素点，？可为背景或前景象素点，模板T1-T3将中心前景像素点变为背景像素点，模板T4和T5将中心背景像素点变为前景像素点，且每个模板依次顺时针旋转90度、180度和270度，形成新的模板，并依次作用于原始图像；

（4）去噪音

针对不同的噪音类型采用相应的去噪音方法，包括：

连通域滤波：对相邻的前景像素点进行扩张，获得连通域，去除连通域面积小于一定临界值的区域，

高斯滤波：设f(i,j)表示图像(i,j)处像素点的灰度，经过如下变换获得滤波后的图像：

      

超级曲线滤波：检测图像中存在的连续光滑长曲线并进行过滤，采用Dijkstra算法，且为迪杰斯特拉算法寻找图中任意两个顶点间的最短路径，从而确定曲线，选择长度大于图像宽度80%的曲线作为超级曲线，并去掉曲线上垂直像素游程长度小于平均笔画宽度的像素点，从而去除超级曲线；

（5）细化

对图像中的线条从边缘到中心层层剥离，得到仅含单像素宽线条的图像，算法过程为：

1） 考虑以边界点为中心的8 邻域, 记中心点为p1, 其邻域的8 个点顺时针绕中心点分别记为p2, p3, . . . , p9，首先标记同时满足下列条件的边界点：

a）1< N( p1)<7

b）S( p1) = 1

c）p2 * p4!* p6= 0

d）p4 * p6 *p8= 0

其中N( p1) 是p1 的非零邻点的个数, S( p1)是以p2, p3, . . . , p9 为序时这些点的值从0 到1变化的次数，当对所有边界点都检验完毕后, 将所有标记了的点除去；

2） 同步骤1）, 仅将前面条件c）改为p2*! p4 * p8= 0; 条件d）改为条件p2* p6*p8= 0，同样当对所有边界点都检验完毕后, 将所有标记了的点除去，以上两步操作构成一次迭代，直至没有点再满足标记条件，则算法终止；

（6）字符分割

对细化后的图像进行切分，使得每个子图仅含有单个字符，首先确定细化后图像中的候选切分点，然后采用动态规划算法寻找从起点到终点的一条最优路径，优化的准则为所有子图中字符识别的概率之和；

（7）识别

对分割后的字符，采用识别模块进行字符识别，识别模块采用支持向量机作为分类器；

（8）分类器

选择一些字符图片作为训练样本，通过特征提取进行向量化，采用支持向量机构建分类器，其中提取的特征包括图像的：

粗网格特征：将图片均分成4*4网格，统计每个网格内黑像素占整个子网格的百分比，得到16维特征；

交截特征：在水平和垂直方向选择10像素、20像素、30像素三条线，统计图片前景与这些线的交点个数，得到6维特征；

骨架特征：统计图片前景点中端点、三叉点、四叉点的数量，得到3维特征；

投影特征：将图片分成4个区域，这4个区域由十二条边组成，统计图片前景点在这些边上的投影个数，得到12维特征；

首个前景点位置：沿水平、垂直、左右倾斜八个方向由外向内，统计首个前景点位置的坐标，得到8维特征；

***特征：将图片按照行列4等分，依次沿四个方向由外向内扫描，记录每行第一次遇到前景点像素时形成的非字符部分的面积，得到4维特征，沿四个方向扫描，共得到16维特征；

Zernike矩特征: 计算图片的重复率为m的n阶Zernike矩：

取Z00-Z33，共16维作为特征。

本发明提供了一种基于识别反馈的字符图像验证码识别方法， 主要包括步骤：先将原始彩色图像转换成灰度图像，并进行二值化处理，得到二值化图像数据；接着对所述二值化图像进行修补，去除图像边缘毛刺，填补中心空白，并完成断裂笔画的连接，得到修补图像；再对所述修补图像去除背景以及干扰点或线，得到无噪图像；并对无噪图像进行细化，得到单一像素的细化图像；然后对细化图像进行切分，得到仅含单个字符的单字符图像；最后对单字符图像进行归一化并识别其中的字符。

本发明的一种基于识别反馈的字符图像验证码识别方法具有如下特点：

1、本发明的一种基于识别反馈的字符图像验证码识别方法在进行二值化且采用了OSTU法动态确定。

2、本发明的一种基于识别反馈的字符图像验证码识别方法在去除图像噪声时，去噪方法可去除背景噪声、高斯噪声、曲线噪声。

3、本发明的一种基于识别反馈的字符图像验证码识别方法在识别时，识别模块是自己训练出来的。

4、本发明的一种基于识别反馈的字符图像验证码识别方法还包括修补、细化、切分3个步骤，尤其是切分步骤中将切分和识别融合起来，结合动态规划算法可保证找到全局最优解。

总而言之，本发明可对含有各种类型的噪音、字符存在粘连、倾斜、旋转及变形等现象的字符图像验证码设计相应的算法进行处理，完成高效率和高精度的识别。

附图说明

本发明的具体结构由以下的实施例及其附图给出。

图１是本发明的一种基于识别反馈的字符图像验证码识别方法的流程示意图。

图2是本发明的一种基于识别反馈的字符图像验证码识别方法的验证码图像示意图。

图3是本发明的一种基于识别反馈的字符图像验证码识别方法的二值化处理后的验证码图像示意图。

图4是本发明的一种基于识别反馈的字符图像验证码识别方法的修补后的验证码图像示意图。

图5是本发明的一种基于识别反馈的字符图像验证码识别方法的去噪后的验证码图像示意图。

图6是本发明的一种基于识别反馈的字符图像验证码识别方法的细化后的验证码图像示意图。

图7是本发明的一种基于识别反馈的字符图像验证码识别方法的字符分割后的验证码图像示意图。

具体实施方式

以下将结合附图对本发明的一种基于识别反馈的字符图像验证码识别方法作进一步的详细描述。

参照图1、图2、图3、图4、图5、图6和图7，该发明的一种基于识别反馈的字符图像验证码识别方法包括如下操作步骤：

（1）将字符图片加载到内存中，获取每个像素的颜色，颜色采用RGB形式表示，分别代表该颜色的红色、绿色、蓝色分量,图像如图2所示;

（2）二值化

将彩色图像转换成灰度图像，且采用如下的灰度变换公式，

Y=0.299R+0.587G+0.114B

采用阈值将灰度图像转换成二值图像，阈值的选取采用大津法且为OSTU，即选择使得两类样本间方差最大的灰度值作为阈值，二值化中阈值的选取方法为：

设w  ₀ 为前景像素所占图像总像素的比例, 令u ₀ 为所有前景像素的平均灰度, 设w ₁ 为背景点数所占图像总像素的比例, 令u ₁ 为所有背景像素的平均灰度, 则图像的所有像素的平均灰度为u = w ₀  u ₀  + w ₁ u ₁  . 在进行程序运算时, t 的取值可从图像的最小灰度值到图像的最大灰度值依次遍历, 当t 取某值时, 类间方差公式b= w ₀  (u ₀  - u) ² + w ₁ (u ₁  - u) ²  能取得最大, 此时t 即为二值化的阈值,二值化后的图像如图3所示;

（3）修补

采用如下的模板对图像进行修复，以去除边缘毛刺并填补空白

0 0 0             0 0 ?             0 0 0            ? 1 ?             ? 1 ?

0 1 0             0 1 1               0 1 1            1 0 1              1 0 1

0 0 0             0 0 1               0 0 ?            ? 1 ?             0 0 1

模板T1       模板T2       模板T3       模板T4          模板T5

其中0代表背景像素点，1代表前景像素点，？可为背景或前景象素点，模板T1-T3将中心前景像素点变为背景像素点，模板T4和T5将中心背景像素点变为前景像素点，且每个模板依次顺时针旋转90度、180度和270度，形成新的模板，并依次作用于原始图像，修补后的图像如图4所示；

（4）去噪音

针对不同的噪音类型采用相应的去噪音方法，包括：

连通域滤波：对相邻的前景像素点进行扩张，获得连通域，去除连通域面积小于一定临界值的区域，

高斯滤波：设f(i,j)表示图像(i,j)处像素点的灰度，经过如下变换获得滤波后的图像：

      

超级曲线滤波：检测图像中存在的连续光滑长曲线并进行过滤，采用Dijkstra(迪杰斯特拉)算法寻找图中任意两个顶点间的最短路径，从而确定曲线，选择长度大于图像宽度80%的曲线作为超级曲线，并去掉曲线上垂直像素游程长度小于平均笔画宽度的像素点，从而去除超级曲线，去噪后的图像如图5所示；

（5）细化

对图像中的线条从边缘到中心层层剥离，得到仅含单像素宽线条的图像，算法过程为：

1） 考虑以边界点为中心的8 邻域, 记中心点为p1, 其邻域的8 个点顺时针绕中心点分别记为p2, p3, . . . , p9，首先标记同时满足下列条件的边界点：

a）1< N( p1)<7

b）S( p1) = 1

c）p2 * p4!* p6= 0

d）p4 * p6 *p8= 0

其中N( p1) 是p1 的非零邻点的个数, S( p1)是以p2, p3, . . . , p9 为序时这些点的值从0 到1变化的次数，当对所有边界点都检验完毕后, 将所有标记了的点除去；

2） 同步骤1）, 仅将前面条件c）改为p2*! p4 * p8= 0; 条件d）改为条件p2* p6*p8= 0，同样当对所有边界点都检验完毕后, 将所有标记了的点除去，以上两步操作构成一次迭代，直至没有点再满足标记条件，则算法终止，细化后的图像如图6所示；

（6）字符分割

对细化后的图像进行切分，使得每个子图仅含有单个字符，首先确定细化后图像中的候选切分点，然后采用动态规划算法寻找从起点到终点的一条最优路径，优化的准则为所有子图中字符识别的概率之和，分割后的图像如图7所示；

（7）识别

对分割后的字符，采用识别模块进行字符识别，识别模块采用支持向量机作为分类器；

（8）分类器

选择一些字符图片作为训练样本，通过特征提取进行向量化，采用支持向量机构建分类器，其中提取的特征包括图像的：

粗网格特征：将图片均分成4*4网格，统计每个网格内黑像素占整个子网格的百分比，得到16维特征；

交截特征：在水平和垂直方向选择10像素、20像素、30像素三条线，统计图片前景与这些线的交点个数，得到6维特征；

骨架特征：统计图片前景点中端点、三叉点、四叉点的数量，得到3维特征；

投影特征：将图片分成4个区域，这4个区域由十二条边组成，统计图片前景点在这些边上的投影个数，得到12维特征；

首个前景点位置：沿水平、垂直、左右倾斜八个方向由外向内，统计首个前景点位置的坐标，得到8维特征；

***特征：将图片按照行列4等分，依次沿四个方向由外向内扫描，记录每行第一次遇到前景点像素时形成的非字符部分的面积，得到4维特征，沿四个方向扫描，共得到16维特征；

Zernike矩特征: 计算图片的重复率为m的n阶Zernike矩：

取Z00-Z33，共16维作为特征。

Claims (1)

1.一种基于识别反馈的字符图像验证码识别方法，其特征在于该方法的操作步骤如下：

（1）将字符图片加载到内存中，获取每个像素的颜色，颜色采用RGB形式表示，分别代表该颜色的红色、绿色、蓝色分量；

（2）二值化

将彩色图像转换成灰度图像，且采用如下的灰度变换公式，

Y=0.299R+0.587G+0.114B

采用阈值将灰度图像转换成二值图像，阈值的选取采用大津法且为OSTU，即选择使得两类样本间方差最大的灰度值作为阈值，二值化中阈值的选取方法为：

设w  ₀ 为前景像素所占图像总像素的比例, 令u ₀ 为所有前景像素的平均灰度, 设w ₁ 为背景点数所占图像总像素的比例, 令u ₁ 为所有背景像素的平均灰度, 则图像的所有像素的平均灰度为u = w ₀  u ₀  + w ₁ u ₁  . 在进行程序运算时, t 的取值可从图像的最小灰度值到图像的最大灰度值依次遍历, 当t 取某值时, 类间方差公式b= w ₀  (u ₀  - u) ² + w ₁ (u ₁  - u) ²  能取得最大, 此时t 即为二值化的阈值； 

（3）修补

采用如下的模板对图像进行修复，以去除边缘毛刺并填补空白

0 0 0            0 0 ?            0 0 0            ? 1 ?             ? 1 ?

0 1 0            0 1 1             0 1 1            1 0 1            1 0 1

0 0 0            0 0 1            0 0 ?            ? 1 ?             0 0 1

模板T1       模板T2       模板T3       模板T4          模板T5

其中0代表背景像素点，1代表前景像素点，？可为背景或前景象素点，模板T1-T3将中心前景像素点变为背景像素点，模板T4和T5将中心背景像素点变为前景像素点，且每个模板依次顺时针旋转90度、180度和270度，形成新的模板，并依次作用于原始图像；

（4）去噪音

针对不同的噪音类型采用相应的去噪音方法，包括：

连通域滤波：对相邻的前景像素点进行扩张，获得连通域，去除连通域面积小于一定临界值的区域，

高斯滤波：设f(i,j)表示图像(i,j)处像素点的灰度，经过如下变换获得滤波后的图像：

      

超级曲线滤波：检测图像中存在的连续光滑长曲线并进行过滤，采用Dijkstra算法且为迪杰斯特拉算法寻找图中任意两个顶点间的最短路径，从而确定曲线，选择长度大于图像宽度80%的曲线作为超级曲线，并去掉曲线上垂直像素游程长度小于平均笔画宽度的像素点，从而去除超级曲线；

（5）细化

对图像中的线条从边缘到中心层层剥离，得到仅含单像素宽线条的图像，算法过程为：

1） 考虑以边界点为中心的8 邻域, 记中心点为p1, 其邻域的8 个点顺时针绕中心点分别记为p2, p3, . . . , p9，首先标记同时满足下列条件的边界点：

a）1< N( p1)<7

b）S( p1) = 1

c）p2 * p4!* p6= 0

d）p4 * p6 *p8= 0

其中N( p1) 是p1 的非零邻点的个数, S( p1)是以p2, p3, . . . , p9 为序时这些点的值从0 到1变化的次数，当对所有边界点都检验完毕后, 将所有标记了的点除去；

2） 同步骤1）, 仅将前面条件c）改为p2*! p4 * p8= 0; 条件d）改为条件p2* p6*p8= 0，同样当对所有边界点都检验完毕后, 将所有标记了的点除去，以上两步操作构成一次迭代，直至没有点再满足标记条件，则算法终止；

（6）字符分割

对细化后的图像进行切分，使得每个子图仅含有单个字符，首先确定细化后图像中的候选切分点，然后采用动态规划算法寻找从起点到终点的一条最优路径，优化的准则为所有子图中字符识别的概率之和；

（7）识别

对分割后的字符，采用识别模块进行字符识别，识别模块采用支持向量机作为分类器；

（8）分类器

选择一些字符图片作为训练样本，通过特征提取进行向量化，采用支持向量机构建分类器，其中提取的特征包括图像的：

粗网格特征：将图片均分成4*4网格，统计每个网格内黑像素占整个子网格的百分比，得到16维特征；

交截特征：在水平和垂直方向选择10像素、20像素、30像素三条线，统计图片前景与这些线的交点个数，得到6维特征；

骨架特征：统计图片前景点中端点、三叉点、四叉点的数量，得到3维特征；

投影特征：将图片分成4个区域，这4个区域由十二条边组成，统计图片前景点在这些边上的投影个数，得到12维特征；

首个前景点位置：沿水平、垂直、左右倾斜八个方向由外向内，统计首个前景点位置的坐标，得到8维特征；

***特征：将图片按照行列4等分，依次沿四个方向由外向内扫描，记录每行第一次遇到前景点像素时形成的非字符部分的面积，得到4维特征，沿四个方向扫描，共得到16维特征；

Zernike矩特征: 计算图片的重复率为m的n阶Zernike矩：

取Z00-Z33，共16维作为特征。

Images