CN113159045A - 一种结合图像预处理与卷积神经网络的验证码识别方法 - Google Patents

Abstract

本发明公开了一种结合图像预处理与卷积神经网络的验证码识别方法，具体包括以下步骤：步骤1：构建验证码数据集；步骤2：图像预处理；步骤3：卷积神经网络模型设计；步骤4：模型训练与测试。本发明是将图像预处理与卷积神经网络相结合的混合验证码识别改进方法，首先使用python程序自动生成验证码数据集，再将验证码图像进行灰度化、二值化、去噪、分割等图像预处理，通过Tensorf l ow深度学习框架建立卷积神经网络模型，最后将分割得到的单个字符送入模型训练识别。图像处理技术和卷积神经网络结合的方法比单一使用卷积神经网络有效提高了混合验证码的识别准确率。

Description

一种结合图像预处理与卷积神经网络的验证码识别方法

技术领域

本发明涉及深度学习和字符验证码识别领域，更具体地，涉及一种结合图像预处理与卷积神经网络的验证码识别方法。

背景技术

随着计算机科学技术的不断发展，目标检测、目标跟踪和目标识别技术已经成为机器学习领域研究中的热门方向。近年来，计算机硬件的不断提高使得卷积神经网络在行人检测、语音识别、人脸识别、验证码识别等目标检测与识别方面已经取得了巨大成就。验证码能够对人类和计算机进行自动区分，为了抵抗自动化程序对网站的非法侵害、防止网站重要信息泄露，越来越多的网站开始使用验证码。单一使用卷积神经网络虽然对噪声较少的验证码图片识别准确率较高，但是在验证码图片噪点较多、较复杂时，识别效果不太显著。

发明内容

本发明提供一种结合图像预处理与卷积神经网络的验证码识别方法，解决了当前混合验证码识别采用传统识别方法需要手动提取特征，且在验证码背景复杂时，单一使用卷积神经网络识别准确率不高的问题。

为了达到上述目的，本发明的技术方案如下：

一种结合图像预处理与卷积神经网络的验证码识别方法，包括以下步骤：

步骤1：构建验证码数据集，使用python自动程序生成验证码数据库。

步骤2：图像预处理，主要目的是去除图像中可能会造成干扰的信息，将对图像分析过程中有用的信息保留下来，这样不仅可以加强信息的可检索性，也可以最大程度的改善图片信息的质量从而增强最后的识别准确率。具体包括以下步骤：

步骤2.1：灰度化，如公式(1)所示，将某一像素点三个分量值中的加权值当作灰度图中的像素值，根据经验，人类的眼睛对绿色和蓝色的敏感度最高，因此，B的值是最小的，G的值是最大的。

Gray＝0.11B+0.59G+0.3R (1)

在编程时使用函数：

jiaquangray＝0.30*img[i,j][0]+0.59*img[i,j][1]+0.11*img[i,j][2]

在Python中，使用上述方法将RGB分量重新加权，以获得适当的灰色图像。其中i、j分别为图片中的高度和宽度，(i,j)表示图片中某点的像素值。

步骤2.2：二值化，通过设定阈值的方法，将图像中的所有像素点分为大于设定阈值的像素群与小于设定阈值的像素群对图像进行二值化，使用动态阈值法：Otsu’s算法(最大类间方差阈值化)，用全局的思想对图像进行处理，在Python-opencv中实现自适应阈值的语句如下：

thresh＝cv2.threshold(gray,0,255,cv2.THRESH_BINARY|cv2.THRESH_OTSU)

函数中总共有四个参数，第一个参数为待处理的原图像；第二个为初始的阈值0，算法会自动寻找最合适的阈值；第三个参数为当像素点大于动态阈值时对像素点即将赋予的新值；第四个参数在这里选择的是大津算法和赋值方法。该算法会自动找到最优的阈值后作为结果返回，另一个返回的结果就是最后处理完成的图像。

步骤2.3：去噪，采用中值滤波方法，中值滤波是一种非线性的处理方法，在去除噪点的同时可以兼顾到图像边缘信息的保留。中值滤波是先选取一个奇数点窗口，在原始图片上进行滑动扫描，将这个窗口内的像素值按照降序或是升序的方式进行排列，将像素点的值替换成窗口排列的中值，最后得到的就是去噪完成的图片。在OpenCV中使用以下语句对图片进行去噪处理，实现中值滤波。

dst＝cv2.medianBlur(src,ksize)

在函数中，src指的是待处理的原图像，ksize指的是核尺寸。

步骤2.4：图像分割，采用灰度投影法。其原理就是对图像进行灰度投影统计，对图像进行水平和竖直方向的投影，统计原图像在垂直和平行于该方向上黑色像素点个数，将统计和作为每个水平或竖直位置上的函数值，然后画出每个水平或竖直位置上的柱状图。基于图像投影的切割就是将图像映射成这种特征后，用这种特征判定图像的切割位置，用以下语句对图像进行分割：

src＝I(ix1:iy1,jx1:jy1)

其中src表示的是分割后的图片结果，l表示的是将要进行分割的目标图片，ix1和iy1分别表示在x轴和y轴上分割的起始坐标值，jx1和jy1分别表示在x轴和y轴上分割的截止坐标值。

步骤3：卷积神经网络模型设计，网络结构由卷积层、池化层和全连接层堆叠而成，各网络层的输入输出关系如以下步骤所示：

步骤3.1：卷积层，网络第一层中卷积层的输入是经过预处理后尺寸大小为20×20×1的原始图像，用尺寸大小为5×5、深度为20，步长为1的卷积核对这层的输入进行卷积运算，padding方式为same，输出尺寸为20×20。卷积层总共有5×5×1×20+20＝520个参数，其中20为偏置项参数个数，卷积层的参数个数只和过滤器的尺寸、深度以及当前层节点矩阵的深度有关。由于下一层节点矩阵有20×20×20＝8000个节点，每个节点和5×5＝25个当前层节点相连，所以本层卷积层中总共有8000×(25+1)＝208000个连接。

步骤3.2：池化层，输入为第一层卷积层的输出尺寸20×20的特征向量，采用核尺寸为2×2，深度为2的池化核对输入进行最大池化。输出为10×10×20。

步骤3.3：卷积层，输入是10×10×20的向量，用尺寸大小为5×5、深度为50，步长为1的卷积核对这层的输入进行卷积运算，padding方式为same，则输出为10×10×50，本层有5×5×20×50+50＝25050个参数，总共有10×10×50×(25+1)＝130000个连接。

步骤3.4：第四层为池化层，采用核尺寸为2×2，深度为2的池化核对输入进行最大池化，输出为5×5×50。

步骤3.5：第五层为全连接层，本层输入为5×5×50矩阵，将其拉直为一个长度为5×5×50的向量，本层的输出节点个数为500，所以总共有5×5×50×500+500＝625500个参数。

步骤3.6：第六层为输出层，输入为500，输出为字符类别：36，总共有500×36+36＝18036参数。

步骤4：模型训练测试，损失函数为交叉熵损失函数，优化算法为Adam。在训练时将数据的批量个数设置为64，总共迭代2400次对该网络进行训练。

与现有技术相比，本发明的有益效果如下：

(1)本发明方法在卷积神经网络训练前首先对验证码图片进行图像预处理，使得输入到网络模型中的图片对训练结果的影响变小，同时不会对模型造成太大的参数消耗，提高了单一使用卷积神经网络方法的准确率不高的问题。

(2)构建卷积神经网络模型，其中卷积层和池化层能够结合起来对图像特征进行自主提取，克服了传统的验证码识别算法中需要手动提取图像特征的缺点，提高了字符验证码的识别准确率，增强了网络模型的鲁棒性。

附图说明

图1为本发明方法的***框架示意图；

图2为本发明方法的部分验证码示意图；

图3为本发明方法的仿真实验结果图；

图4为本发明方法的卷积神经网络结构模型图；

图5为本发明方法的测试结果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附和实施例对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种结合图像预处理与卷积神经网络的验证码识别方法，该方法的具体步骤如下：

(1)首先构建如图2所示的验证码样本库，由10个数字和26个字母混合组成。

(2)其次选择合适的方法对验证码图像分别进行灰度化、二值化、去噪和分割等预处理提高图片质量，结果如图3所示。

(3)再设计卷积神经网络模型，如图4所示。具体包括两个卷积层、两个池化层、一个全连接层和一个softmax层，各个网络层神经元使用relu激活函数进行非线性转换，使用softmax函数对输出层进行输出分类，对每个卷积层输入的图片像素点周围补0，其中P为1使得输入输出尺寸相同。

(4)将通过图像预处理后的图像送入到设计的卷积神经网络模型中进行训练，得到训练好的模型，再使用测试集对模型的优越性进行测试，识别结果如图5所示。

图1是验证码识别方法的***框架示意图。采用图像处理与卷积神经网络结合的方法，首先为了提高图片质量对验证码图片先进行图像处理，再将图片中的所有字符分割成与字符数相对于的单个图片，每个图片上只包含了一个完整的字符信息，对这些单个图片进行分类标记，设计卷积神经网络模型，对这个模型进行训练，然后将单个图片送入到这个模型之中得到识别结果。

图2是验证码识别方法的部分验证码示意图。通过python程序中的Captcha验证码生成库自动生成，图片像素为20×20，由26个字母和10个数字随机混合组成，为增加验证码复杂程度图片上含有噪点干扰、字符有旋转形变，验证码数据库中共包含591769张样本图片，使用7：3的形式将数据库分为训练集和测试集。

图3是验证码识别方法的图像预处理的仿真实验结果图。图(a)为灰度化结果，能够将彩色图像转变为灰度图像，减少了图像中的参数量；图(b)为二值化结果，能够使图片达到“非黑即白”的效果；图(c)为去噪结果，能够去除图片中的噪点，增大信噪比，加强相关信息的可检索性，改善图片信息提高图片质量；图(d)为字符分割后字符2文件夹下归类标记的所有单个字符。

图4是验证码识别方法的卷积神经网络结构模型图。将验证码图像通过卷积、池化、卷积、池化、全连接层进行特征提取，然后对特征经过softmax层进行分类。在每个网络层神经元的激活函数都使用relu函数进行非线性转换。

图5是验证码识别方法的测试结果图。将验证码测试图像送入到训练好的卷积神经网络模型中进行测试，得到识别结果，在迭代2400次训练后，模型识别准确率为99.97％，损失率为0.12％。通过对python自动生成的验证码样本进行图像预处理、构建混合验证码卷积神经网络进行识别测试等仿真实验，使用图像预处理与卷积神经网络相结合的方法与单一使用卷积神经网络相比识别准确率有了显著的提高，不仅避免了传统识别方法中手动提取特征的复杂性，而且解决了在混合验证码图片背景复杂时识别率不高的问题。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换，都应涵盖在本发明的包含范围之内。

Claims (5)

1.一种结合图像预处理与卷积神经网络的验证码识别方法，其特征在于：

具体包括以下步骤：

步骤1：构建验证码数据集，使用python自动程序生成验证码数据库；

步骤2：图像预处理，去除图像中可能会造成干扰的信息；

步骤3：设计卷积神经网络模型，卷积神经网络模型的网络结构由卷积层、池化层和全连接层堆叠而成；

步骤4：模型训练测试，损失函数为交叉熵损失函数，优化算法为Adam；在训练时将数据的批量个数设置为64，总共迭代2400次对该网络进行训练。

2.根据权利要求1所述结合图像预处理与卷积神经网络的验证码识别方法，其特征在于，所述步骤1的验证码数据库通过python程序中的Captcha验证码生成库自动生成，图片像素为20×20，由26个字母和10个数字随机混合组成，图片上含有噪点干扰、字符有旋转形变，使用7：3的形式将验证码数据库分为训练集和测试集。

3.根据权利要求1或2所述结合图像预处理与卷积神经网络的验证码识别方法，其特征在于，所述步骤2具体包括：首先对验证码图像进行灰度化，将原始的彩色图像处理成灰度图像；然后对图片二值化，确定分类阈值将图像上像素点的256级灰度值置为0或255，使图片达到“非黑即白”的效果；最后再通过去噪技术去除图片中的噪点，增大信噪比，加强相关信息的可检索性，改善图片信息提高图片质量。

4.根据权利要求3所述结合图像预处理与卷积神经网络的验证码识别方法，其特征在于，所述步骤3的卷积神经网络模型包括两个卷积层、两个池化层、一个全连接层和一个softmax层，各个网络层神经元使用relu激活函数进行非线性转换，使用softmax函数对输出层进行输出分类，对每个卷积层输入的图片像素点周围补0，其中P为1使得输入输出尺寸相同。

5.根据权利要求4所述结合图像预处理与卷积神经网络的验证码识别方法，其特征在于，所述步骤4中在对模型进行训练之前首先要进行编译，使用的损失函数是多类的对数损失"categorical crossentropy"、metric设置为："accuracy"的列表用来评估模型在训练和测试时的性能指标以及自适应的optimizer：由AdaGrad和RMSProp这两个算法组合得到的自适应学习率优化算法Adam进行优化模型，它们都能根据变化着的参数自动更新步长和学习率，能够更好的利用梯度稀疏部分的信息；调整网络参数，对混合验证码方法进行仿真，评估验证码的识别率和损失率，验证算法的可行性。

Images