CN109884070B - 一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，包括如下步骤：建立药片模板并保存模板参数；获取待检测图像并进行图像预处理操作；初步定位待检测图像中的所有正常药片；最后进行模板匹配和缺陷类型检测。本发明克服了铝铝泡罩反光特性导致的误检和漏检问题，不仅实现了药片检测的自动化，还能精确地检测出不同形状的药片的缺损、缺粒、多粒等异常情形，提高了流水线包装的检测精度和速度，保证了药片的质量和企业的生产效率。

Description

一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法

技术领域

本发明属于泡罩包装缺陷检测技术领域，具体涉及一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法。

背景技术

泡罩包装是当今制药行业应用最为广泛、发展最快的软包装材料之一，常见的包装方式有两种：铝塑泡罩包装和铝铝泡罩包装。二者都是在基板上用铝箔层封装，不同之处在于铝塑泡罩的基板是塑料材质而铝铝泡罩的基板是铝质的。铝箔具有优良的遮光性和防潮性，能有效地保护被包装的药品，在药品包装上广泛应用。药片作为医药产业的重要组成部分，其质量优劣直接关系到患者的生命健康和制药企业的品牌形象，而在加工制造和泡罩包装的过程中，药片可能出现缺损、缺粒、多粒、异物等问题，因此实现药片缺陷的自动检测和不合格产品的精确剔除至关重要。

实际生产中的药片缺陷检测工作一般具有重复性、连续性和高精度要求等特点。目前常用的检测方法如下：1)人工剔除法，需要工人时刻监测传送带上的包装药板，发现不合格产品即予以剔除。由于人工剔除法劳动强度大，检测效率低，对工人要求较高，工人在疲劳状态下容易出现产品漏检或误检的情况；2)质量称重法，借助高精度的重量测量仪器对药品进行质量称重，并和正常药品的质量作比较，判断是否有异常情况出现。该方法比较简单，但是易受工业环境和测量精度的影响，而且无法检测出缺粒和多粒同时存在使得总质量不变的异常情况；3)基于机器视觉的图像处理方法，通过工业CCD相机采集药片板的图像，并传给工控机进行图像处理，识别药片图像中的缺陷并进行剔除。

基于机器视觉的图像处理方法有很好的适应性，可以用机器代替人力，有效减轻工人的劳动强度，实现药片缺陷的快速自动检测及药片质量的准确判定，因此在市场上被企业广泛采用。对于铝塑泡罩包装缺陷检测，因其基板是透明的塑料，采用底部放置光源、顶部相机拍照的方式采集图像，得到的药片图像背景纯净，用图像处理算法进行缺陷检测相对容易。而对于铝铝泡罩包装缺陷检测，因铝箔不具有透光性，只能采用侧面放置光源、顶部相机拍照的方式采集图像，而且铝箔基板具有一定的反光性，拍照得到的图像存在局部高亮、光照不均、杂质干扰等问题，导致容易出现误检或漏检的情况，使得药品质量存在风险。因此，研究精准实时的铝铝泡罩包装药片缺陷检测方法是机器视觉领域的关键问题。

发明内容

本发明的目的在于提供一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，旨在弥补现有检测技术的不足，解决铝质基板的易反光特性导致容易误检和漏检的问题，实现对不同形状、不同大小的药片的通用性和实时性检测。

为实现上述目的，本发明的技术方案具体包括以下步骤：

步骤1，给定一张完全正常的模板药片图像，药片的形状不限，对模板药片图像进行预处理，计算模板中每粒药片的中心点坐标以及模板图像二值化之后每粒药片的连通域面积，并保存所有的模板参数；

步骤2，给定一张待检测的同类型的药片图像，对图像进行裁剪、二值化等图像预处理操作，得到二值图；

步骤3，对二值图进行连通域提取，计算每个连通域的面积、中心点坐标、最小外接矩形的边框坐标、紧致度等参数，实现正常药片的初步定位；

步骤4，将初步定位的药片与模板中的药片进行匹配，匹配上的认为是正常药片，对于匹配不上的药片则根据其在模板中的位置截取每粒药片的切片，通过特征分类来识别出缺损、缺粒、多粒的情况，最后对有缺陷的药片进行标记。

进一步的的，所述步骤1中对模板药片图像进行预处理的具体实现方式如下，

步骤1.1，将大小为m₀×n₀的彩色模板药片图像R₀转为灰度图像G₀，在灰度图像G₀上截取药片板大小的区域作为感兴趣区域，得到大小为m×n的药片板图像I₀；

步骤1.2，求取药片板图像I₀的均值μ，图像I₀减去均值之后得到图像I₁，通过大津法求图像I₁的分割阈值η，对图像I₁的每一个像素进行判断，大于η的置为255，小于η的置为0，得到药片为白色、基板为黑色的二值图像I₂；

步骤1.3，对二值图像I₂进行形态学开运算(先腐蚀后膨胀)操作，得到开运算后的结果图I₃。

进一步的，步骤1中获得模板药片图像中所有的模板参数的具体实现方式如下，

步骤1.4，对图像I₃进行连通域分析，计算图像中所有连通域的中心点坐标及面积信息，设定面积阈值η₂，排除面积小于阈值η₂的连通域，剩下的连通域为正常药片；最后得到模板药片图像的总药片数d，每个药片的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_d,y_d)}以及连通域面积{S₁,S₂,...,S_i,...,S_d}，其中i为模板药片图像中连通域的序号，求取药片面积的最大值S_max和最小值S_min，保存所有的模板参数以供后续检测时调用。

进一步的，所述步骤3中，对步骤2中的二值图像I进行连通域分析，得到每个连通域的面积、中心点坐标以及最小外接矩形的边框坐标，其中边框坐标可以表示为{x_L,y_L,w,h}，其中(x_L,y_L)表示最小外接矩形的左上角顶点坐标，w和h分别表示矩形的宽和高。

进一步的的，步骤3中计算每个连通域的紧致度，其计算公式如下：

其中j表示待检测图像中连通域的序号，S_j表示第j个连通域的面积，w_j和h_j表示第j个连通域最小外接矩形的宽和高，w_j×h_j表示最小外接矩形的面积，c_j即为所求的的紧致度参数，取值范围为(0,1]。

进一步的，步骤3中实现正常药片的初步定位的具体实现方式如下，

设定紧致度阈值T，结合模板的面积阈值S_max和S_min对所有的连通域进行筛选，满足条件(S_min≤S_j≤S_max且c_j≥T)的连通域判为可能正常的药片，将这些符合条件的连通域的中心点坐标保存到一个集合中；

计算集合中每两个连通域中心点之间的距离，若距离小于设定的阈值则判为多粒，将这两个连通域从集合中删除，剩下的即为待检测图像中完全正常的药片。

进一步的，所述步骤4的具体实现方式如下，

步骤4.1，将步骤3中得到的完全正常药片与模板中的药片进行匹配，求每粒药片两两之间的距离，设定距离阈值η₄，若模板中的药片与待检测图像中某一粒药片的中心点距离小于阈值η₄，则认为匹配成功，反之认为匹配失败；记录匹配失败的药片数N_count以及该药片在模板中的中心点坐标；

步骤4.2，若N_count＝0，表明待检测图像R是一幅正常的图像，药片板没有出现异常情况；若N_count不为0，表明待检测图像R中对应位置上的药片可能存在缺损、缺粒、多粒的情形；

步骤4.3，针对N_count不为0的情形，以匹配失败的药片的中心点坐标为中心，在待检测图像上截取k×k大小的切片，对切片进行二值化并求取二值图像中最大连通域的面积S_patch，如果S_patch＜S_min，判为缺损或缺粒，如果S_patch＞S_max，判为多粒的情形，反之则为初始定位漏掉的正常药片；

步骤4.4，在待检测图像上标记出步骤4.3中检测出的缺损、缺粒、多粒等问题的药片位置，并发送剔除指令给药机设备后续的PLC装置。

与现有的铝铝泡罩包装药片缺陷检测技术相比，本发明具有以下优点和有益效果：

(1)本发明设计了一种基于机器视觉的图像处理方法代替人工剔除的方法，不仅实现了药片检测的自动化，使得药品质量更有保障，而且极大地提高了检测精度和速度。

(2)本发明设计的算法适用于不同形状、不同大小的药片，是一种通用性的铝铝泡罩包装药片缺陷检测方法。

(3)本发明提取的面积、紧致度等特征可以有效减少铝铝泡罩反光特性带来的影响，精确地检测出药片缺损、缺粒、多粒等异常情形，具有计算量小、处理速度快、简单有效的特点。

附图说明

图1为本发明的总体流程框图。

图2为定位待检测图像中正常药片的流程图。

具体实施方式

为了更清楚的阐述本发明的目的、技术方案和有益效果，下面结合附图和实施例进一步说明。应当理解，本发明不应限于实施例公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

如图1所示，本发明公开了一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，具体实施时的步骤如下：

步骤1，建立药片模板并保存模板参数：

步骤1.1，将大小为m₀×n₀的彩色模板图像R₀转为灰度图像G₀，由于相机采集图片的时候会将放置药片板的底板也拍进去，为了减少底板对检测的影响，在灰度图像G₀上截取药片板大小的区域作为感兴趣区域，得到大小为m×n的药片板图像I₀；

步骤1.2，求取药片板图像I₀的均值μ，图像I₀减去均值之后得到图像I₁，减均值操作可以克服铝箔材质的反光特征导致药片板图像光照不均的问题。通过大津法求图像I₁的分割阈值η，对图像I₁的每一个像素进行判断，大于η的置为255，小于η的置为0，得到药片为白色、基板为黑色的二值图像I₂，注意此时原图像R₀中的局部高亮部分也可能为白色；

步骤1.3，对二值图像I₂进行形态学开运算(先腐蚀后膨胀)操作，排除药片板上一些杂质的干扰，断开药片与铝质基板上高亮部分的连接，平滑药片的轮廓，得到开运算后的结果图I₃；

步骤1.4，对图像I₃进行连通域分析，计算图像中所有连通域的中心点坐标及面积信息，设定面积阈值η₂，排除面积小于阈值η₂的连通域(即去除铝质基板上药片周围的局部高亮部分)，剩下的连通域为正常药片。最后得到模板图像的总药片数d，每个药片的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_d,y_d)}以及连通域面积{S₁,S₂,...,S_i,...,S_d}，其中i为模板图像中连通域的序号。求取药片面积的最大值S_max和最小值S_min，保存所有的模板参数以供后续检测时调用；

步骤2，获取待检测图像并进行图像预处理操作：

给定一张与模板药片同类型的待检测图像R，对图像R进行与步骤1.1～步骤1.3一致的图像预处理操作，包括彩色图像转灰度图像、裁剪、去均值之后进行二值分割和形态学开运算操作，得到二值图像I；

步骤3，如图2所示，初步定位待检测图像中的正常药片的流程如下：

步骤3.1，对二值图像I进行连通域分析，得到每个连通域的面积、中心点坐标以及最小外接矩形的边框坐标，其中边框坐标可以表示为{x_L,y_L,w,h}，其中(x_L,y_L)表示最小外接矩形的左上角顶点坐标，w和h分别表示矩形的宽和高。

步骤3.2，计算每个连通域的紧致度，其计算公式如下：

其中j表示待检测图像中连通域的序号，S_j表示第j个连通域的面积，w_j和h_j表示第j个连通域最小外接矩形的宽和高，w_j×h_j表示最小外接矩形的面积，c_j即为所求的的紧致度参数，取值范围为(0,1]。由于药片周围的高亮部分通常是不规则的弧形或长条形，求出来的紧致度通常比较小，而药片通常为圆形或椭圆形，求出来的紧致度接近于1，因此紧致度的大小可以用来区分正常药片和药片周围的高亮部分。

步骤3.3，设定紧致度阈值T(在本实施例中设T＝0.6)，结合模板的面积阈值S_max和S_min对所有的连通域进行筛选，满足条件(S_min≤S_j≤S_max且c_j≥T)的连通域判为可能正常的药片，将这些符合条件的连通域的中心点坐标保存到一个集合中；

步骤3.4，考虑加工制造过程中可能出现的多粒情形(即两个或两个以上的药片放在一个药片槽里)，步骤3.3中符合条件的药片中就可能包含多粒的情形。计算集合中每两个连通域中心点之间的距离，若距离小于设定的阈值则判为多粒，将这两个连通域从步骤3.3的集合中删除，剩下的即为待检测图像中完全正常的药片。设b表示待检测图像中完全正常的药片个数，它们的中心点坐标可表示为

其中j为待检测图像中药片的序号；

步骤4，模板匹配和缺陷类型检测：

步骤4.1，由于流水线上同种类型的药片在每一板药中的位置相对固定，所以待检测图像中的正常药片位置与模板中对应的药片位置基本一致。将步骤3.4中得到的完全正常药片

与模板中的药片{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_d,y_d)}进行匹配，计算每粒药片两两之间的距离，得到大小为d×b距离矩阵P，表达式如下：

其中1≤i≤d,1≤j≤b

式中d表示模板中的药片个数，b表示待检测图像中正常药片的个数(b≤d)，p_ij表示模板中第i个药片与待检测图像中第j个药片中心点之间的距离，计算公式如下：

设定距离阈值η₄(在本实施例中设η₄等于模板图像第一粒药片最小外接矩形的宽度)，计算距离矩阵P每一行的最小值，比较最小值与距离阈值的大小。假设第i行的最小值为p_ia，1≤a≤b，若p_ia＜η₄，则表明模板中第i个药片与待检测图像中第a个药片匹配成功，反之匹配失败。匹配失败表明待检测图像R对应模板中第i个位置上的药片可能有缺陷，记录此时匹配失败的药片在模板中的序号i和匹配失败总药片数N_count；

步骤4.2，若N_count＝0，表明待检测图像R是一幅正常的图像，药片板没有出现异常情况；若N_count不为0，表明待检测图像R中对应位置上的药片可能存在缺损、缺粒、多粒的情形；

步骤4.3，针对N_count不为0的情形，以匹配失败的药片在模板的中心点坐标(x_i,y_i)为中心，在待检测图像上截取k×k大小的切片，对切片进行二值化并求取二值图像中最大连通域的面积S_patch，如果S_patch＜S_min，判为缺损或缺粒，如果S_patch＞S_max，判为多粒的情形，反之则为初始定位漏掉的正常药片。

步骤4.4，在待检测图像上用红框画出步骤4.3中检测出的缺损、缺粒、多粒等问题的药片，并发送剔除指令给药机设备后续的PLC装置。

本发明设计的方法克服了铝质基板的易反光特性导致容易误检和漏检的问题，可以对不同形状、不同大小的药片进行检测，具有一定的通用性，而且提高了铝铝泡罩包装药片缺陷检测方法的精度和实时性。

上述的具体实施例只是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，其特征在于，包括如下步骤：

步骤1，建立模板药片图像，对模板药片图像进行预处理，获得模板药片图像中所有的模板参数；

步骤2，给定一张与模板药片同类型的待检测图像，对待检测图像预处理，得到二值图像；

步骤3，对二值图像进行连通域提取，计算每个连通域的面积、中心点坐标、最小外接矩形的边框坐标、紧致度参数，实现正常药片的初步定位；具体实现方式如下，

步骤3中计算每个连通域的紧致度，其计算公式如下：

其中j表示待检测图像中连通域的序号，S_j表示第j个连通域的面积，w_j和h_j表示第j个连通域最小外接矩形的宽和高，w_j×h_j表示最小外接矩形的面积，c_j即为所求的紧致度参数，取值范围为(0,1]；

设定紧致度阈值T，结合模板的面积阈值S_max和S_min对所有的连通域进行筛选，S_max和S_min分别为模板药片面积的最大值和最小值，满足条件S_min≤S_j≤S_max且c_j≥T的连通域判为可能正常的药片，其中，j表示待检测图像中连通域的序号，c_j表示第j个连通域的紧致度参数，将这些符合条件的连通域的中心点坐标保存到一个集合中；

计算集合中每两个连通域中心点之间的距离，若距离小于设定的阈值则判为多粒，将这两个连通域从集合中删除，剩下的即为待检测图像中完全正常的药片；

步骤4，将初步定位的药片与模板药片图像中的药片进行匹配，匹配上的认为是正常药片，对于匹配不上的药片则根据其在模板药片图像中的位置截取每粒药片的切片，通过特征分类来识别出缺损、缺粒、多粒的情况，最后对有缺陷的药片进行标记。

2.如权利要求1所述的一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，其特征在于：所述步骤1中对模板药片图像进行预处理的具体实现方式如下，

步骤1.1，将大小为m₀×n₀的彩色模板药片图像R₀转为灰度图像G₀，在灰度图像G₀上截取药片板大小的区域作为感兴趣区域，得到大小为m×n的药片板图像I₀；

步骤1.2，求取药片板图像I₀的均值μ，图像I₀减去均值之后得到图像I₁，通过大津法求图像I₁的分割阈值η，对图像I₁的每一个像素进行判断，大于η的置为255，小于η的置为0，得到药片为白色、基板为黑色的二值图像I₂；

步骤1.3，对二值图像I₂进行形态学开运算操作，即先腐蚀后膨胀，得到开运算后的结果图I₃。

3.如权利要求2所述的一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，其特征在于：步骤1中获得模板药片图像中所有的模板参数的具体实现方式如下，

步骤1.4，对图像I₃进行连通域分析，计算图像中所有连通域的中心点坐标及面积信息，设定面积阈值η₂，排除面积小于阈值η₂的连通域，剩下的连通域为正常药片；最后得到模板药片图像的总药片数d，每个药片的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_d,y_d)}以及连通域面积{S₁,S₂,...,S_i,...,S_d}，其中i为模板药片图像中连通域的序号，求取药片面积的最大值S_max和最小值S_min，保存所有的模板参数以供后续检测时调用。

4.如权利要求1所述的一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，其特征在于：所述步骤3中，对步骤2中的二值图像I进行连通域分析，得到每个连通域的面积、中心点坐标以及最小外接矩形的边框坐标，其中边框坐标可以表示为{x_L,y_L,w,h}，其中(x_L,y_L)表示最小外接矩形的左上角顶点坐标，w和h分别表示矩形的宽和高。

5.如权利要求1所述的一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法，其特征在于：所述步骤4的具体实现方式如下，

步骤4.1，将步骤3中得到的完全正常药片与模板中的药片进行匹配，求每粒药片两两之间的距离，设定距离阈值η₄，若模板中的药片与待检测图像中某一粒药片的中心点距离小于阈值η₄，则认为匹配成功，反之认为匹配失败；记录匹配失败的药片数N_count以及该药片在模板中的中心点坐标；

步骤4.2，若N_count＝0，表明待检测图像R是一幅正常的图像，药片板没有出现异常情况；若N_count不为0，表明待检测图像R中对应位置上的药片可能存在缺损、缺粒、多粒的情形；

步骤4.3，针对N_count不为0的情形，以匹配失败的药片的中心点坐标为中心，在待检测图像上截取k×k大小的切片，对切片进行二值化并求取二值图像中最大连通域的面积S_patch，如果S_patch＜S_min，判为缺损或缺粒，如果S_patch＞S_max，判为多粒的情形，反之则为初始定位漏掉的正常药片；

步骤4.4，在待检测图像上标记出步骤4.3中检测出的缺损、缺粒、多粒等问题的药片位置，并发送剔除指令给药机设备后续的PLC装置。

Images