CN107203990B - 一种基于模板匹配与图像质量评估的标贴破损检测方法 - Google Patents

Abstract

本发明公开了一种基于模板匹配与图像质量评估的标贴破损检测方法。对于待检测图像和其模板图像，通过一系列预处理手段准确提取标贴区域的二值化图像和灰度图像，利用仿射变换校正可能存在的因角度偏差而造成的形状扭曲，利用模板匹配实现无损图像与待检测图像的位置匹配，最后通过二值化图像的差分图像获得可能的缺陷区域，并利用结构相似形和感知哈希值相结合的图像质量评估方法有效检测出真正的缺陷区域，实现破损缺陷的准确定位。其创新点在于利用简单高效的预处理手段提取ROI区域，再利用图像质量评估算法计算图像相似度，保证检测的准确性和高效性。

Description

一种基于模板匹配与图像质量评估的标贴破损检测方法

技术领域

本发明涉及机器视觉与视频图像处理技术领域，具体为一种基于模板匹配与图像质量 评估的标贴破损检测方法。

背景技术

传统瓶体标贴瑕疵检测多以人工检测的方法完成灌装产品生产线后端检测工作，存 在效率低、成本高、稳定性与可靠性差等问题，这与大规模工业化生产极不协调。基于机器视觉的图像检测算法具有很好的发展前景，利能够自动进行标贴缺陷检测，有效解 决这一问题。

就目前国内外研究现状来说，常用于标贴缺陷的算法有基于图像滤波的方法、基于 边缘提取的方法、基于深度学习的方法等。但这些方法通常对图像拍摄有着较为严格的条件，操作环境也较为复杂，同时在处理速度上也不理想，大多在实际工业应用中都有 一定的限制。

本发明提出一种基于模板匹配与图像质量评估的标贴破损检测方法。通过一系列预 处理手段准确提取标贴区域的二值化图像和灰度图像，利用仿射变换校正可能存在的因 角度偏差而造成形状扭曲，利用模板匹配实现无损图像与待检测图像的位置匹配，最后通过二值化图像的差分图像获得可能的缺陷区域，并利用结构相似性和感知哈希值相结合的图像质量评估方法有效检测出真正的缺陷区域，实现破损缺陷的准确定位。

发明内容

本发明要解决的问题是：现有瓶体标签破损缺陷检测***依赖人工检测，效率低下 且稳定性差；现有的各种基于机器视觉的标贴破损缺陷检测方法往往对图像拍摄有着较 为严格的条件，操作环境也较为复杂。本发明提出一种基于模板匹配和图像质量评估的标贴破损缺陷方法，不仅容许瓶体摆放角度有一定范围内的偏差，且处理速度快，同时 对微小的翘起缺陷也能够准确检出。

本发明的技术方案为：一种基于模板匹配与图像质量评估的标贴破损检测方法，用 于瓶体表面标贴检测，以标贴的无损图像为模板，采集待检测标贴图像后，对两者提取标贴区域的二值化图像和灰度图像，利用仿射变换校正因拍摄角度偏差而造成形状扭曲，利用模板匹配实现无损图像与待检测图像的位置匹配，最后通过二值化图像的差分图像获得疑似缺陷区域，在此基础上利用结构相似性和感知哈希值相结合的图像质量评估方法检测出确定缺陷区域，实现破损缺陷的准确定位。

本发明包括以下步骤：

步骤一、图像采集，利用红外光源采集瓶体标贴图像，采集到的原始红外图像为灰度图，记采集到的无损模板图像为F_m(x,y)，待检测标贴图像为F_o(x,y)，其中下标m表示 无损标贴模板图像，下标o表示待检测标贴图像；

步骤二、对步骤一获得的初始图像F_m(x,y)与F_o(x,y)进行二值化处理，并通过形态学 腐蚀操作去除非标贴区域的光斑，获得无损标贴二值化图像B_m(x,y)与待测标贴二值化图 B_o(x,y)；

步骤三、利用步骤二中获得的二值化图像B_m(x,y)与B_o(x,y)，通过取其最小外接矩形 获得标贴所在矩形区域的二值化图像RB_m(x,y)与RB_o(x,y)，并利用位置信息取出初始灰度图像中对应的标贴所在矩形区域图像，记为R_m(x,y)与R_o(x,y)；

步骤四、对步骤三中获得的待检测标贴区域的二值化图像RB_o(x,y)和灰度图像R_o(x,y) 进行形状校正，并将校正后图像与相应的无损标贴模板图像进行模板匹配，模板匹配采 用归一化平方差匹配方式，获得大小一致的标贴矩形区域灰度图像与标贴矩形区域二值 化图像，模板图像尺寸处理后灰度图记为M_m(x,y)，二值化图像记为MB_m(x,y)，待测图像处理后灰度图记为M_o(x,y)，二值化图像记为MB_o(x,y)；

步骤五、对步骤四中获得的校正后标贴矩形区域二值化图像MB_m(x,y)与MB_o(x,y)进 行差分操作，利用形态学处理去除干扰，获得差分图像D(x,y)，差分图像D(x,y)包含多个联通区域，对每个联通区域取最小外接矩形，并在校正后标贴矩形区域灰度图像 M_m(x,y)与M_o(x,y)中分别取出对应的灰度图像S_mi(x,y)与S_oi(x,y)，对其进行基于图像质量 评估的相似度计算，超出设定阈值即判定该联通区域为缺陷区域，其中下标i表示当前处 理的联通区域的序号。

步骤一具体为：在低亮度环境中利用CCD相机采集图像，光源选择为红外光源，分别从瓶体左右两侧进行打光，打光方向与瓶体标贴所在平面夹角均为45度；相机摄像头 的中轴线方向与瓶体标贴所在平面的法向同向，偏差不超过10度，且标贴区域位于相机 拍摄范围的中心区域，采集到无破损模板图F_m(x,y)与待检测图F_o(x,y)。

步骤四中，对步骤三中获得的待检测标贴区域的二值化图像RB_o(x,y)和灰度图像R_o(x,y)，利用仿射变换分别进行基于模板图像的形状校正：利用FAST角点检测提取模板图和待测图特征点，用BRIEF算法进行二进制描述，然后匹配特征点，并剔除误匹配点， 计算出描述模板图和待测图之间仿射变换矩阵，利用该矩阵计算出校正图像。

步骤五中基于图像质量评估的相似度计算为：利用结构相似性SSIM与感知hash值相结合的方式，对对应的模板图与待检测图进行计算，两项指标中有一项超过阈值即可 判定两张图相似度较小，即有缺陷存在，具体判定方法如下：

X、Y分别表示待检测图像及其对应的模板图像，result表示最终判定结果，1表示当 前图像有缺陷，0表示无缺陷；s为结构相似度阈值，p为感知hash阈值。

本发明提出一种基于模板匹配与图像质量评估的标贴破损检测方法，既满足实时性 又具有较高正确率，且容许瓶体摆放角度有一定范围内的偏差。其创新点在于：本发明采用先用简单高效的预处理手段提取标签ROI区域，再利用图像质量评估算法计算待检 测图像与其对应模板图像的相似度，以此判断缺陷是否存在。这样既可以保证检测的准 确性，又能极大地提高了检测效率。

附图说明

图1为本发明方法的流程框图。

图2与图3为本发明方法中破损标贴检测结果展示，其中图2为标贴破损缺陷，图3为标贴翘起缺陷。两组图中，(a1)(b1)为无损模板图像，(a2)(b2)为有损标贴原始图像，(a3)(b3)为对应的标贴所在矩形区域原始图像，(a4)(b4)为检测结果图像。

具体实施方式

为进一步了解本发明的内容，下面结合附图和实施例对本发明作详细描述。

本发明提供了一种新的瓶体表面标贴破损缺陷检测方法，能够快速、有效的实现瓶 体标贴破损缺陷的自动化检测。本发明方法主要包括图像采集、图像预处理、ROI区域提取、图像质量评估四个部分。

如图1所示，本发明提出的一种基于模板匹配与图像质量评估的标贴破损检测方法， 通过一系列预处理手段准确提取标贴区域的二值化图像和灰度图像，利用仿射变换校正 可能存在的因角度偏差而造成形状扭曲，利用模板匹配实现无损图像与待检测图像的位 置匹配，最后通过二值化图像的差分图像获得可能的缺陷区域，并利用结构相似性和感知哈希值相结合的图像质量评估方法有效检测出真正的缺陷区域，实现破损缺陷的准确定位。

下面对本实施例的具体实现方法进行详细介绍：

1、图像采集：

在低亮度环境中利用红外光源采集瓶体标贴图像，采集到的原始红外图像为灰度图， 记无损模板图为F_m(x,y)，待检测图为F_o(x,y)，其中下标m表示无损标贴模板图像，下标o表示待检测标贴图像。

具体为利用CCD相机采集图像，光源选择为红外光源，分别从瓶体标贴的左右两侧进行打光，与瓶体标贴所在平面夹角均为45度，本发明针对的是平面标贴，如图2、3 中所示，可能有微小弧度但是可忽略，处理时按平面处理；相机摄像头的中轴线方向与 瓶体标贴所在平面的法向同向，实际应用中容忍一定的角度偏差，但需保证待测标贴平 面的法向与相机中轴线夹角不超过10度，且标贴区域位于相机拍摄范围的中心区域，采 集到无破损模板图F_m(x,y)与待检测图F_o(x,y)。

2、图像预处理：

图像预处理包含多个步骤，通过一系列操作最终获取位置对应、尺寸一致的待检测 图像和模板图像的标贴图像，包括灰度图像和二值化图像。其具体步骤如下：

(1)对初始灰度图像F_m(x,y)与F_o(x,y)进行二值化处理，并通过形态学腐蚀操作去除瓶 体表面非标贴区域可能出现的一些细长条状光斑干扰，这些光斑通常由瓶体形状凸起造 成，获得无损标贴二值化图像B_m(x,y)与待检测标贴二值化图像B_o(x,y)；

(2)取二值化图像B_m(x,y)与B_o(x,y)最小外接矩形，获得标贴所在矩形区域的二值化图 像RB_m(x,y)与RB_o(x,y)，并利用其位置信息取出初始灰度图像中对应的标贴所在矩形区 域图像，记为R_m(x,y)与R_o(x,y)；

(3)对待检测标贴区域的二值化图像RB_o(x,y)和灰度图像R_o(x,y)进行形状校正，具体操 作为利用FAST角点检测提取模板图和待测图特征点，用BRIEF算法进行二进制描述， 然后匹配特征点，并剔除误匹配点，计算出描述模板图和待测图之间仿射变换矩阵，利用该矩阵即可计算出校正图像。

图像校正后，将待测图像的校正后图像分别与其相应的模板图像进行模板匹配，模 板匹配采用归一化平方差匹配方式，获得大小一致的标贴矩形区域灰度图像与标贴矩形 区域二值化图像，模板图像处理后灰度图记为M_m(x,y)，二值化图像记为MB_m(x,y)，待 测图像处理后灰度图记为M_o(x,y)，二值化图像记为MB_o(x,y)。对模板图像的处理是因为 需两图尺寸相同，实际应用中可能出现待测标贴比模板标贴大一些的情况，如标贴翘起 情况，此时模板图需要增大尺寸，增加区域像素点取值为0。

3、ROI区域提取：

ROI区域即为可能存在破损缺陷的区域。对获得的校正后标贴矩形区域二值化图形 MB_m(x,y)与MB_o(x,y)进行差分操作，并对获得的差分图像进行形态学腐蚀处理去除干扰， 获得差分图像D(x,y)。差分图像D(x,y)可能包含多个联通区域，对每个联通区域取最小 外接矩形，即为ROI区域。在校正后标贴矩形区域灰度图像M_m(x,y)与M_o(x,y)中分别取出对应的灰度图像S_mi(x,y)与S_oi(x,y)，下标i表示当前处理的联通区域的序号。

4、图像质量评估：

对灰度图像S_mi(x,y)与S_oi(x,y)进行图像质量评估，利用计算相似度的方法，超出阈值 即可判定该联通区域为缺陷区域。

图像相似度计算具体算法为：利用结构相似性SSIM与感知hash值相结合的方式，对对应的模板图与待检测图进行计算，两项指标中有一项超过阈值即可判定两张图相似度较小，即有缺陷存在。具体阈值设定因检测对象不同而有所不同，可根据实际需要通 过正负样本设定。具体判定方法如下：

X、Y分别表示待检测图像及其对应的模板图像。其中，result表示最终判定结果，1表 示当前图像有缺陷，0表示无缺陷；s为结构相似度阈值，p为感知hash阈值。

相似度计算方法具体如下。

(1)结构相似性SSIM从亮度、对比度和结构三方面衡量图像相似性，具体计算方法为：

SSIM(X,Y)＝l(X,Y)*c(X,Y)*s(X,Y) (2)

其中：

X、Y表示待计算相似度的两张图像，其中μ_X、μ_Y分别表示图像X、Y的均值，σ_X、 σ_Y分别表示图像X、Y的方差，σ_XY表示图像X与Y的协方差；C₁、C₂、C₃为常数，取 C₁＝(K₁*L)²，C₂＝(K₂*L)²，C₃＝σ_XY ²/2，取K₁＝0.01，K₂＝0.03，L＝255。

SSIM取值范围为[0,1]，值越小，表示相似度越低，即图像在存在缺陷的可能性越大。

(2)感知hash值从人眼感官上衡量图像相似度。为了去除图像冗余信息提高检测效 率以及有效避免可能存在的直方图均衡等引起的干扰，具体采用基于DCT的phash计算方法，其具体计算方法为：

对两张图像分别计算其指纹：将图像尺寸缩小至32*32；计算图片的DCT变换，得到32*32的DCT系数矩阵；只要保留左上角8*8矩阵，该部分为图像低频信息；计算矩 阵中数值均值；8*8DCT矩阵，高于均值的设为1，小于均值的设为0，获得该图像的指 纹；

计算两张图像指纹的汉明距离，即为phash值。哈希值越大表示两图差距越大，相似 度越低，即图像存在缺陷的可能性越大。

图2与图3为本发明实施效果图，其中图2为标贴破损缺陷，图3为标贴翘起缺陷。两组图中，(a1)(b1)为无损模板图像，(a2)(b2)为有损标贴原始图像，(a3)(b3)为对应的标贴所在矩形区域原始图像，(a4)(b4)为检测结果图像。由图可看出，本发明所提出的标贴破损缺陷检测方法能够有效检出图像破损缺陷和角度较小的翘起缺陷，效果良好。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示 的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术 方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.一种基于模板匹配与图像质量评估的标贴破损检测方法，用于瓶体表面标贴检测，其特征是以标贴的无损图像为模板，采集待检测标贴图像后，对两者提取标贴区域的二值化图像和灰度图像，利用仿射变换校正因拍摄角度偏差而造成形状扭曲，利用模板匹配实现无损图像与待检测图像的位置匹配，最后通过二值化图像的差分图像获得疑似缺陷区域，在此基础上利用结构相似性和感知哈希值相结合的图像质量评估方法检测出确定缺陷区域，实现破损缺陷的准确定位；

包括以下步骤：

步骤一、图像采集，利用红外光源采集瓶体标贴图像，采集到的原始红外图像为灰度图，记采集到的无损模板图像为F_m(x,y)，待检测标贴图像为F_o(x,y)，其中下标m表示无损标贴模板图像，下标o表示待检测标贴图像；

步骤二、对步骤一获得的初始图像F_m(x,y)与F_o(x,y)进行二值化处理，并通过形态学腐蚀操作去除非标贴区域的光斑，获得无损标贴二值化图像B_m(x,y)与待测标贴二值化图B_o(x,y)；

步骤三、利用步骤二中获得的二值化图像B_m(x,y)与B_o(x,y)，通过取其最小外接矩形获得标贴所在矩形区域的二值化图像RB_m(x,y)与RB_o(x,y)，并利用位置信息取出初始灰度图像中对应的标贴所在矩形区域图像，记为R_m(x,y)与R_o(x,y)；

步骤四、对步骤三中获得的待检测标贴区域的二值化图像RB_o(x,y)和灰度图像R_o(x,y)进行形状校正，并将校正后图像与相应的无损标贴模板图像进行模板匹配，模板匹配采用归一化平方差匹配方式，获得大小一致的标贴矩形区域灰度图像与标贴矩形区域二值化图像，模板图像尺寸处理后灰度图记为M_m(x,y)，二值化图像记为MB_m(x,y)，待测图像处理后灰度图记为M_o(x,y)，二值化图像记为MB_o(x,y)；

步骤五、对步骤四中获得的校正后标贴矩形区域二值化图像MB_m(x,y)与MB_o(x,y)进行差分操作，利用形态学处理去除干扰，获得差分图像D(x,y)，差分图像D(x,y)包含多个联通区域，对每个联通区域取最小外接矩形，并在校正后标贴矩形区域灰度图像M_m(x,y)与M_o(x,y)中分别取出对应的灰度图像S_mi(x,y)与S_oi(x,y)，对其进行基于图像质量评估的相似度计算，超出设定阈值即判定该联通区域为缺陷区域，其中下标i表示当前处理的联通区域的序号。

2.根据权利要求1所述基于模板匹配与图像质量评估的标贴破损检测方法，其特征是步骤一具体为：在低亮度环境中利用CCD相机采集图像，光源选择为红外光源，分别从瓶体标贴的左右两侧进行打光，打光方向与瓶体标贴所在平面夹角均为45度；相机摄像头的中轴线方向与瓶体标贴所在平面的法向同向，偏差不超过10度，且标贴区域位于相机拍摄范围的中心区域，采集到无破损模板图F_m(x,y)与待检测图F_o(x,y)。

3.根据权利要求1所述基于模板匹配与图像质量评估的标贴破损检测方法，其特征是步骤四中，对步骤三中获得的待检测标贴区域的二值化图像RB_o(x,y)和灰度图像R_o(x,y)，利用仿射变换分别进行基于模板图像的形状校正：利用FAST角点检测提取模板图和待测图特征点，用BRIEF算法进行二进制描述，然后匹配特征点，并剔除误匹配点，计算出描述模板图和待测图之间仿射变换矩阵，利用该矩阵计算出校正图像。

4.根据权利要求1所述的基于模板匹配与图像质量评估的标贴破损检测方法，其特征是步骤五中基于图像质量评估的相似度计算为：利用结构相似性SSIM与感知hash值相结合的方式，对对应的模板图与待检测图进行计算，两项指标中有一项超过阈值即能够判定有缺陷存在，具体判定方法如下：

X、Y分别表示待检测图像及其对应的模板图像，result表示最终判定结果，1表示当前图像有缺陷，0表示无缺陷；s为结构相似度阈值，p为感知hash阈值。

Images