CN111310508B - 一种二维码识别方法 - Google Patents

Abstract

本发明公开了一种二维码识别方法，根据实际识别需要，选择不同背景中的QR二维码并添加不同模糊长度和模糊角度的运动模糊，设计并制作了基于运动模糊的二维码数据集。其次，采用基于生成对抗网络的图像去运动模糊算法，并采用基于特征金字塔的图像特征提取网络提取图像的特征映射，通过设计新的GAN损失函数使得基于生成对抗网络的图像去模糊算法训练速度更快，鲁棒性更高，可以提供非常高效的图像去模糊效果。设计一种基于自适应阈值的图像二值化算法和一系列基于图像处理的算法，更好地提取图像边缘区域和校正图像。本发明能够应用于不同背景的二维码识别环境中。

Description

一种二维码识别方法

技术领域

本发明涉及机器人图像处理领域，具体为一种二维码识别方法。

背景技术

近年来，随着科技的高速发展，二维码作为新兴的自动识别技术中的一种，凭借其在识别速度、存储容量、纠错能力等方面的诸多优点，越来越多的被应用于许多行业和领域，如共享单车、移动支付、仓储调度、机器人定位导航和社交软件等，极大的方便了人们的日常生活。

近年来，得益于深度学习的快速发展，研究者们提出了许多基于卷积神经网络网络的图像处理算法，这些算法通过对于大规模的训练样本的迭代训练来完成所给的任务。相比于传统的算法，基于卷积神经网络的算法表现出了更好的性能和更高的鲁棒性，因此很快形成了人工智能领域新的研究热点。

运动模糊在二维码识别过程中非常容易发生。图像去模糊问题是一个典型的不适定问题，或者可以称为逆问题，因此处理起来难度较大，尤其是对边缘、纹理等细节信息的刻画更具难度。传统方法首先通过其他手段获得关于模糊核的信息，然后根据模糊核重建出清晰图像，而在通常情况下，模糊函数是未知的，因此使用传统方法会有很大的局限性，不足以解决实际生活中由各种复杂因素引起的图像运动模糊问题。Kupyn等人在IEEEconference on Computer Vision and Pattern Recognition提出使用条件生成对抗网络(Conditional Generative Adversarial Network)对图像进行去模糊，在网络结构更为简化的基础上，取得了更快的运行速度。实验证明，这种图像去模糊算法可以得到更出色的图像去模糊效果，足以证明深度学习算法在图像去模糊问题上的确具有优异表现。然而，经过相关技术检索发现，目前尚无满足在较强运动模糊的情况下针对二维码的识别方法。

发明内容

以下给出一个或多个方面的主要概述以应对这些方面的基本理解。此概述不能将所有的构想进行详述，其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

针对由于二维码图像存在运动模糊而无法准确识别的情况，采用基于生成对抗网络的去运动模糊算法和传统图像处理算法相结合的二维码识别新方法，能够在二维码图像受运动模糊影响较大时仍能准确解码和识别，提高了二维码识别的鲁棒性，有效解决了现有二维码识别方法中存在的问题。

本发明提供一种二维码识别方法，包含以下步骤：

步骤1：设计并制作了基于运动模糊的QR二维码数据集，用于图像去运动模糊算法的训练和测试，其中包括以下步骤：

步骤1.1：设计基于运动模糊的QR二维码数据集，根据实际人机交互场景选择二维码所在的背景、二维码所包含信息、二维码与摄像头距离。

步骤1.2：在选定背景下使用kinect摄像机采集二维码图像信息，并加入不同模糊长度和模糊角度的运动模糊，完成运动模糊QR二维码数据集的制作。

步骤2：构建基于生成对抗网络的图像去运动模糊算法，使用基于运动模糊的QR二维码数据集进行训练以获得参数权重，在图像模糊核未知的情况下仍能获得去运动模糊效果；

步骤2.1：在基于生成对抗网络的图像去运动模糊算法中，采用基于特征金字塔的图像特征提取网络，使得提取到的特征映射包含更多语义信息并保证质量；

步骤2.2：在基于生成对抗网络的图像去运动模糊算法中，采用当前最新的恢复模型满足对于图像增强的需求，达到高质量的图像去模糊效果；

步骤2.3：通过设计GAN损失函数，基于生成对抗网络的图像去模糊算法训练速度更快，鲁棒性更高。

步骤3：针对二维码图像可能存在的局部区域强度不均包含基于自适应阈值处理的图像二值化算法，将图像分为高强度和低强度区域并实现图像二值化；针对二维码图像边缘检测和几何校正问题，首先应用形态学的膨胀方法获取目标区域的边缘，通过canny算子提取目标区域的边界，然后通过Hough变换得到边界所在直线，最后通过双线性插值运算校正二维码图像。其中包含以下步骤：

步骤3.1：确定具有尺寸S×S的移动窗口内的矩形R上的像素值R_s的总和，使得窗口尺寸取决于图像的宽度W，可能的最大窗口宽度是W的1/64，在图像二值化的步骤中，如果每个像素的值满足所给的阈值表达式，则将每个像素设置为黑色；否则被设置为白色。

步骤3.2：为提高图像二值化算法的性能，将图像分为高强度和低强度两个区域；计算矩形R中的像素总和以得到局部阈值，然后与整个图像的平均值进行比较；在不同强度的区域中，阈值的计算方法不同。

步骤3.3：在图像二值化之后，基于计算机形态学的膨胀操作，得到二维码图像的边缘区域；基于canny算子对边缘区域进行检测，然后基于改进的Hough变换求出边缘所在直线的斜率和旋转角度，最后基于双线性插值法对图像进行旋转校正，并完成二维码的识别。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明中的二维码识别方法流程图。

图2是本发明中的基于生成对抗网络的图像去运动模糊算法示意图。

图3和图4是本发明中图像去运动模糊算法训练过程中的损失函数数值变化。

图5是本发明在所建立的运动模糊二维码数据集上的处理效果图。

图6是本发明给出的二维码图像边缘检测和几何校正算法处理结果图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和具体例子对本发明的实施方式作进一步的介绍。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

一种二维码识别新方法如图1所示：

步骤1：使用MATLAB软件构建基于Zxing数据包的QR二维码图像。

步骤2：根据实际人机交互场景选择二维码所在的背景，二维码所包含信息、二维码与摄像头距离，并使用kinect摄像机采集二维码图像信息。

步骤3：使用MATLAB软件向二维码图像加入运动模糊。其中，模糊长度L为6～10(每个像素单位选取一个长度)，模糊角度θ是10°～180°(每10°选取一个角度)，完成运动模糊二维码数据集的制作。使用二维码解码App进行验证，所构建的运动模糊二维码图像均不可以直接解码。

步骤4：构建了基于生成对抗网络的图像去运动模糊算法，算法流程图如图2所示。基于该算法，首先设计了基于特征金字塔的图像特征提取网络，包括自下而上和自上而下的路径。自下而上的路径是用于特征提取的卷积网络，在从下往上的过程中空间分辨率被下采样。但是可以提取和压缩更多的语义特征信息。另一方面，通过自上往下的路径，补充了图像的高分辨率细节。

步骤4.1：图像特征提取网络由一个特征金字塔骨干网络组成，通过图像特征提取网络，从二维码图像中获取五个不同尺度的特征映射，然后对这些特征映射进行卷积和池化，得到不同的特征。

步骤4.2：将提取的特征上采样到输入大小的1/4并级联成一个张量，包含不同级别的语义信息。

步骤4.3：在图像特征提取网络的最后添加一个上采样层和一个卷积层来恢复清晰图像和去伪影，同时引入了从输入到输出的跳跃连接以学习输入和真实值之间的残差。

步骤5：因为基于特征金字塔的图像特征提取网络具有即插即用的优良属性，这里使用MobileNet-V2网络作为图像增强的骨干网络。使用该网络可以减少网络结构的复杂度，降低模型的参数规模，提升网络训练的速度，通过该骨干网络可以得到高效的图像去模糊效果。

步骤6：对于生成对抗网络的判别器，这里使用了判断全局和判断局部的判别器，通过计算Wasserstein距离：

来设计得到判别器新的损失函数，其中P_γ表示生成分布，P_g表示真实分布，Π(P_γ,P_g)表示P_γ和P_g组合起来的所有联合分布的集合，E_(x,y)～γ[||x-y||]表示联合分布γ下样本对距离的期望值。新的GAN损失函数表达式如下所示：

D_Loss函数:

G_Loss函数:L_G＝0.5×L_p+0.005*L_X+0.011*L_adv

其中D(x)表示判别器，G(z)表示生成器，L_p表示均方误差，L_X表示感知损失，L_adv包括全局和局部的判别器损失。通过训练，可以快速高质量的去除非均匀分布的运动模糊。

步骤7：使用公开数据集GoPro在Python环境中对所提出的基于生成对抗网络的图像去运动模糊算法进行训练，主要训练参数为：Batch size＝1，Optimizer＝Adam，Learning rate＝0.0001。在训练过程中，D_Loss和G_Loss函数的数值变化如图3和图4所示，大约经过200epoch的迭代训练后，损失函数的数值变化趋于稳定。

步骤8：因为二维码主要以深浅颜色的模块作为信息的二进制编码，解码程序需要将这些模块转换成对应的二进制信息流才能获得其中编码的信息，因此需要对去模糊后的二维码图像进行二值化，本发明包含了基于自适应阈值处理的图像二值化算法。

步骤8.1：积分图像是一种可以用来加速图像区域计算的方法，其数学模型为：

这里I(a,b)表示积分值，i(a,b)表示任意点(a,b)的像素强度。

步骤8.2：积分图像可以通过I(a,b)＝f(a,b)+I(a-1,b)+I(a,b-1)-I(a-1,b-1)进行快速计算，这里f(a,b)表示图像的像素强度，I(a,b)表示原始灰度图像的位置。

步骤8.3：确定具有尺寸S×S的移动窗口内的矩形R上的像素值R_s的总和，使得窗口尺寸取决于图像的宽度W，可能的最大窗口宽度是W的1/64。其中R_s＝I(a₂,b₂)-I(a₁,b₂)-I(a₂,b₁)+I(a₁,b₁)，此时

步骤8.4：矩形R上的像素数量C＝(a₂-a₁)×(b₂-b₁)。

步骤8.5：在图像二值化的步骤中，如果每个像素的值满足所给的阈值表达式，则将每个像素设置为黑色；否则则被设置为白色。局部阈值通过i(a,b)×C≤R_s×(1-T)计算，T表示所占的百分比。

步骤8.6：为了提高图像二值化算法的性能，可以将图像分为高强度和低强度两个区域。在不同强度的区域中，阈值的计算方法有所不同。其中在高强度区域中，阈值计算的公式如下所示：

R_s＝C×(M+sd)

R'_s×(1-T)＜i'(a,b)×C

其中M表示图像的平均像素，sd表示图像像素的标准差，i'(a,b)表示点(a,b)的像素值。

步骤8.7：在低强度区域中，阈值计算的公式如下所示：

R_s≥C×i(a,b)

其中i(a,b)表示点(a,b)的像素值。

图5所示为本方法在所构建的QR二维码运动模糊数据集上的运行结果。

步骤9：在图像二值化之后，首先基于计算机形态学的膨胀操作，得到二维码图像的边缘区域。其次，基于传统的canny算子对边缘区域进行检测，然后基于改进的Hough变换求出边缘所在直线的斜率和旋转角度，最后基于双线性插值法对图像进行旋转校正，并完成二维码的识别，实验结果如图6所示。

步骤9.1：基于计算机图形学的膨胀操作，得到二维码图像的边缘区域，膨胀操作的数学公式为：

步骤9.2：基于传统的canny算子对二维码图像进行边缘检测。

步骤9.3：基于改进的Hough变换标识出二维码图像提取最长的直线段，检测出起止端点，利用直线端点坐标值计算出其斜率和旋转角度，对应方程如下：

ρ′＝x cos θ′+y sin θ′

其中假设平面坐标系上有几个点，过这几个点的直线组成了一个直线系，它们分别对应于极坐标系上的一条正弦曲线，这些正弦曲线共同的交点坐标即为(ρ',θ')。

步骤9.4：基于双线性插值算法并利用最长直线的斜率和旋转角度，对二维码图像进行旋转校正，然后进行二维码的识别。

本方法的优点在于可以识别受到运动模糊影响而无法解码的二维码图像，本方法所提出的算法具有较高的鲁棒性，可实现不同背景下受运动模糊影响的二维码图像的准确解码和识别。

为了使得本方法的解释更简单化，已上述的图文描述为一系列步骤，但是应该理解并理会，这些方法不受操作的次序所限制，因为按照一个或多个步骤进行实施，一些动作可按不同的顺序发生，但本领域技术人员可以理解其动作发生的原理。

尽管已对本发明说明性的具体实施方式逐步进行了描述，以便于本技术领域的技术人员能够进行领会，但是本发明不仅限于具体实施方式的范围，本领域技术人员可以在权利要求的范围内做出各种变形或修改，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内。

Claims (3)

1.一种二维码识别方法，其特征在于：该方法包括：

步骤1：设计并制作基于运动模糊的QR二维码数据集，用于图像去运动模糊算法的训练和测试；

步骤2：构建基于生成对抗网络的图像去运动模糊算法，使用基于运动模糊的QR二维码数据集进行训练以获得参数权重，在未知模糊核的情况下仍能获得去运动模糊效果；

步骤3：针对二维码图像可能存在的局部区域强度不均包含基于自适应阈值处理的图像二值化算法，将图像分为高强度和低强度区域并实现图像二值化；针对二维码图像边缘检测和几何校正问题，首先应用形态学的膨胀方法获取目标区域的边缘，通过canny算子提取目标区域的边界，然后通过Hough变换得到边界所在直线，最后通过双线性插值运算校正二维码图像；

在步骤2中，包括以下步骤：

步骤2.1：在基于生成对抗网络的图像去运动模糊算法中，采用基于特征金字塔的图像特征提取网络，使得提取到的特征映射包含更多语义信息并保证质量；

步骤2.2：在基于生成对抗网络的图像去运动模糊算法中，采用当前最新的恢复模型满足对于图像增强的需求，达到高质量的图像去模糊效果；

步骤2.3：通过设计GAN损失函数，基于生成对抗网络的图像去模糊算法训练速度更快，鲁棒性更高。

2.根据权利要求1所述的一种二维码识别方法，其核心在于：

在步骤1中，包括以下步骤：

步骤1.1：设计基于运动模糊的QR二维码数据集，根据实际人机交互场景选择二维码数据集的背景、二维码所包含信息、二维码与摄像头距离；

步骤1.2：在选定背景下使用kinect摄像机采集图像信息，并加入不同模糊长度和模糊角度的运动模糊，完成运动模糊的QR二维码数据集的设计及制作。

3.根据权利要求1所述的一种二维码识别方法，其核心在于：

步骤3中，包含以下步骤：

步骤3.1：确定具有尺寸S×S的移动窗口内的矩形R上的像素值R_s的总和，使得窗口尺寸取决于图像的宽度W，可能的最大窗口宽度是W的1/64，在图像二值化的步骤中，如果每个像素的值满足所给的阈值表达式，则将每个像素设置为黑色；否则被设置为白色；

步骤3.2：为提高图像二值化算法的性能，将图像分为高强度和低强度两个区域；计算矩形R中的像素总和以得到局部阈值，然后与整个图像的平均值进行比较；在不同强度的区域中，阈值的计算方法不同；

步骤3.3：在图像二值化之后，基于计算机形态学的膨胀操作，得到二维码图像的边缘区域；基于canny算子对边缘区域进行检测，然后基于改进的Hough变换求出边缘所在直线的斜率和旋转角度，最后基于双线性插值法对图像进行旋转校正，并完成二维码的识别。

Images