CN104537671B - 一种基于机器视觉的香烟滤棒在线计数和质量检测方法 - Google Patents

一种基于机器视觉的香烟滤棒在线计数和质量检测方法 Download PDF

Info

Publication number
CN104537671B
CN104537671B CN201510001104.9A CN201510001104A CN104537671B CN 104537671 B CN104537671 B CN 104537671B CN 201510001104 A CN201510001104 A CN 201510001104A CN 104537671 B CN104537671 B CN 104537671B
Authority
CN
China
Prior art keywords
mrow
matching
filter stick
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510001104.9A
Other languages
English (en)
Other versions
CN104537671A (zh
Inventor
张辉
吴成中
师统
阮峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201510001104.9A priority Critical patent/CN104537671B/zh
Publication of CN104537671A publication Critical patent/CN104537671A/zh
Application granted granted Critical
Publication of CN104537671B publication Critical patent/CN104537671B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于机器视觉的香烟滤棒在线计数和质量检测方法，通过利用内拟合圆、外拟合圆限定匹配区域，不仅减小了图像处理区域的大小，提高单次匹配的时间，而且增加了匹配的鲁棒性，包容了过滤棒轻微挤压变形、外形失真等状况，增强了匹配精度；另外，算法中除了主要采用模板匹配方法外，还增加了面积分割等方法，作为过滤棒数目检测的修正补充方法，弥补了模板匹配算法无法覆盖到的区域，即受挤压严重变形的过滤棒的数目检测；最后，通过模板匹配滤棒检出数目和面积分割滤棒检出数目的比例结果，计算出整箱过滤棒的合格率。计数准确度高，重复性、稳定性好，高速、实时在线检测，彻底解决了香烟滤棒过装量造成的诸多弊端。

Description

一种基于机器视觉的香烟滤棒在线计数和质量检测方法
技术领域
本发明涉及一种基于机器视觉的香烟滤棒在线计数和质量检测方法。
背景技术
香烟滤棒是一种用于阻止香烟燃烧过程中产生的煤焦油、尼古丁等有害成分进入人体的过滤层，其可有效降低吸烟产生的要害成分进入人体。目前，香烟滤棒的需求量非常巨大，各烟草集团都设有子专门的公司生产，并直接供给香烟制造公司使用。香烟滤棒交付时常用单箱装量为4000支的纸箱包装，但是，由于滤棒比较柔软，受挤压易发生形变，导致装载时，装量超过正常量，多大4200支。
在香烟过滤嘴装箱过程中常见的三种情况如图1所示，图1(a)为标准装箱生成的标准圆形图像，图1(b)为过量装箱生成的椭圆形图像，图1(c)为欠装箱伸长的孔洞、倾倒图像；其中，图1(b)和图1(c)对应的香烟滤棒装量超标或过少给制造企业和使用企业都带来了诸多不良的影响：(1)增加成本，超过装量的部分无盈利，白白亏损；(2)滤棒质量得不到保证，多装载的滤棒被挤进箱体内，滤棒间产生挤压，导致变形，影响香烟质量；(3)装量过少不达标，甚至直接无法用于生产，造成整批报废。因此，香烟滤棒生产企业多采用人工点数的方法进行质量控制，但人工需求多、点数速度慢、准确度不高、已产生疲劳昏厥感，无法实现在线实时清点。
发明内容
本发明提出了一种基于机器视觉的过滤嘴滤棒在线计数和质量检测方法，其解决的主要问题在于(1)箱体宽度比较大，采用单一线扫描相机易产生图像模糊和畸变，影响过滤棒的特征提取；(2)过滤棒与过滤棒之间紧密接触，图像中联在一起，造成过滤棒计数误差；(3)滤棒受挤压变形，形状多样，匹配识别难度大的问题。
一种基于机器视觉的香烟滤棒在线计数和质量检测方法，包括以下步骤：
步骤1：利用线扫描相机采集香烟滤棒的装箱图像；
步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；
步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；
步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1′]；
其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域，利用每根香烟滤棒的匹配成功率数组，观测匹配情况；
步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得Nblobs个剩余连通域；
步骤6：计算出每个剩余连通域的面积
其中，为搜寻到的第i个剩余连通域的面积；
步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，
其中，Sone为单个非标准香烟滤棒成像面积设定值，δi为第i个剩余连通域包含过滤棒的个数；
步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；
步骤9：将香烟滤棒第一次匹配成功的数量N1′与总数N求商，计算滤棒的装箱质量系数
以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。
对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：
所述装箱图像完整性判断过程如下：
步骤1)：装箱图像二值化；
利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：
其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；
2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；
3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；
保证了连通域Region0中单行或单列像素连续，无间断；
4)获得孔洞填充连通域Region0’的行宽和列宽；
通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；
5)计算箱体的行列宽度比，并判断装箱图像的完整性：
其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。
所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：
连通域Region0包含了箱体成像和过滤嘴成像两部分，而后续算法则以计算过滤嘴数目和圆形度分析为主，因此，首先需要将包装箱边缘从Region0中消除，进一步缩小感兴趣区域，分割后的区域为Region1；
步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；
步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域Region2；
目的是尽可能的削减包装箱成像的影响；
步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。
region3与Region1相比，几乎将纸箱区域全部消除；
对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：
其中，T3为感兴趣区域最小灰度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。
所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：
步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；
步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；
步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。
所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：
步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；
步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x0,y0)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S0[W,H]，S0[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；
模板匹配过程如下：
①令过滤嘴模板圆形模板Model(x0,y0)的圆心为O(x0,y0)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(xα,yα,α)为多个滤棒连通域上经过模板圆心的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，从1开始取值，Nl＝{1,2,3...36}，即模板所在区域与三十六根直线得到交点的集合M(xα,yα,α)；
②分别以圆心为O(x0,y0)，r-d和r+d为半径绘制阈值圆C1、C2，则两阈值圆C1、C2与直线L(α)相交，记阈值圆C1与L(α)相交处像素的灰度值集合分为C1(xα,yα,α)，记阈值圆C2与L(α)相交处像素的灰度值集合分别为C2(xα,yα,α)，d为设定距离；
③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值Dα：
归一化的目的是消除背景亮度变化对边缘的影响；
④按以下公式进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，基于③中得到的归一化亮度梯度值Dα计算出该匹配中心处的模板匹配度γ；
⑤据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γT，则匹配成功，否则，匹配失败，γT为匹配成功设定阈值；
⑥将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S0[W,H]中。
对第一次匹配成功的数量为N1’的香烟滤棒所在连通域，进行匹配度计算后，对各像素点的匹配度形成的匹配度矩阵S0[W,H]，进行重叠区域分析，消除匹配重复区域，进行第二次匹配，得到香烟滤棒的准确匹配数量N1，滤棒的装箱质量系数
具体步骤如下：
①以匹配矩阵S[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；
②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；
若连通域的面积大小在[0.7ST,1.3ST]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；ST单支香烟滤棒截面成像面积的大小；
面积超过1.3ST的连通区域是由于两个连通区域连接造成的，实验证明，该两连通连接面积大小范围为1.3ST～2.0ST。而面积小于0.7ST的连通域往往是光照不均匀引入的干扰，必须被滤除。
③计算第二次成功匹配的连通域F的重心WF(xF,yF)，重心的计算公式为(xi,yi)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；
④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。
至此，基于模板匹配的过滤棒搜索结束，在第二次匹配中，成功搜寻出N1个香烟滤棒，但是，并不是所有的过滤棒均能够成功匹配，极少数被挤压变形的香烟滤棒，其模板匹配度较低，在匹配过程中被滤除，故无法通过模板匹配的方法来实现。
有益效果
本发明针对香烟滤棒图像灰阶变化不大，相互之间拼联严重等难题，提出了一种基于模板匹配的图像处理算法，其利用内拟合圆、外拟合圆限定匹配区域，不仅减小了图像处理区域的大小，提高单次匹配的时间，而且增加了匹配的鲁棒性，包容了过滤棒轻微挤压变形、外形失真等状况，增强了匹配精度；另外，算法中除了主要采用模板匹配方法外，还增加了面积分割等方法，作为过滤棒数目检测的修正补充方法，弥补了模板匹配算法无法覆盖到的区域，即受挤压严重变形的过滤棒的数目检测；最后，通过模板匹配滤棒检出数目和面积分割滤棒检出数目的比例结果，计算出整箱过滤棒的合格率。以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。
与现有人工方法相比，该检测算法具有检测精度高、速度快、重复性好等优势，满足现有生产线实时在线检测的需求，稳定可靠。
该算法与现有halcon、visionpro等专业图像软件中相关模板匹配方法比较，速度相当，但算法中采用了过滤棒间粘连区无法寻找边缘的修正，匹配的鲁棒性、精度更高。
附图说明
图1香烟过滤嘴装箱常见三种情况，其中，图1(a)为标准装箱—标准圆形，图1(b)为过量装箱—椭圆形，图1(c)为欠装箱—孔洞、倾倒；
图2基于线扫描相机的视觉解决方案的结构示意图；
图3线扫描相机捕捉到的实物图像；
图4过滤棒计数图像处理算法流程图；
图5限定区域的快速模板匹配算法；
图6经模板匹配后，匹配成功的过滤棒区域；
图7模板匹配成功连通域；
图8未匹配成功区域；
图9通过面积法获得的单过滤棒区域；
图10通过面积法获得的多滤棒粘连区域。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
如图2所示，为本发明基于线扫描相机的视觉解决方案的结构示意图，其中，相机采用分辨率为4650dpi的线扫描相机，保证了过滤棒细节的高清成像，增加匹配度；镜头为C口Computar镜头，物距为50cm，大物距可以保证线扫中部和两边的成像焦距偏差不大，清晰度一直性好；光源采用CCS高亮聚光线光源，亮度在30000LUX左右，高亮度可以减少曝光时间，提高图像采集速度。
如图4所示，一种基于机器视觉的香烟滤棒在线计数和质量检测方法，包括以下步骤：
步骤1：利用线扫描相机采集香烟滤棒的装箱图像，如图3所示，为线扫描相机捕捉到的实物图像；
通过线扫描相机采集一帧大幅面图像Image0，图像的宽度W＝4650，图像的高度H＝9216；为保证采集图像中的特征长宽比与实际的长宽比相同，图像采集之前，需要匹配线扫描相机的帧速率与传输带稳定运动的速度，传送带的速度为0.35m/s，保证图像中特征的长宽比与实际物体特征一致；
步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；
步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；
步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1′]；
其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域，如图7所示；利用每根香烟滤棒的匹配成功率数组，观测匹配情况；
步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，如图8所示；对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得Nblobs个剩余连通域；
步骤6：计算出每个剩余连通域的面积
其中，为搜寻到的第i个剩余连通域的面积；
步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，
其中，Sone为单个非标准香烟滤棒成像面积设定值，δi为第i个剩余连通域包含过滤棒的个数；
利用面积计算对未成功匹配的滤棒连通域中所包含的滤棒进行判定，得到未成功匹配的滤棒连通域中包含过滤棒的数目，如图9所示；其他则为多滤棒粘连区域，如图10所示；
步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；
步骤9：将香烟滤棒第一次匹配成功的数量N1′与总数N求商，计算滤棒的装箱质量系数
以质量系数的大小判定香烟滤棒的装箱质量，质量系数越大，则装箱质量越高。
对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：
所述装箱图像完整性判断过程如下：
步骤1)：装箱图像二值化；
利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：
其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；
2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；
3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；
保证了连通域Region0中单行或单列像素连续，无间断；
4)获得孔洞填充连通域Region0’的行宽和列宽；
通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；
5)计算箱体的行列宽度比，并判断装箱图像的完整性：
其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。
所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：
连通域Region0包含了箱体成像和过滤嘴成像两部分，而后续算法则以计算过滤嘴数目和圆形度分析为主，因此，首先需要将包装箱边缘从Region0中消除，进一步缩小感兴趣区域，分割后的区域为Region1；
步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；
步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域Region2；
目的是尽可能的削减包装箱成像的影响；
步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。
region3与Region1相比，几乎将纸箱区域全部消除；
对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：
其中，T3为感兴趣区域最小灰度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。
所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：
步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；
步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；
步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。
所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：
步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；
步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x0,y0)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S0[W,H]，S0[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；
如图5所示，模板匹配过程如下：
①令过滤嘴模板圆形模板Model(x0,y0)的圆心为O(x0,y0)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(xα,yα,α)为多个滤棒连通域上经过模板圆心的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，Nl＝{1,2,3...36}，即模板所在区域与三十六根直线得到交点的集合M(xα,yα,α)；
②分别以圆心为O(x0,y0)，r-d和r+d为半径绘制阈值圆C1、C2，则两阈值圆C1、C2与直线L(α)相交，记阈值圆C1与L(α)相交处像素的灰度值集合分为C1(xα,yα,α)，记阈值圆C2与L(α)相交处像素的灰度值集合分别为C2(xα,yα,α)，d为设定距离；
③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值Dα：
归一化的目的是消除背景亮度变化对边缘的影响；
④利用归一化亮度梯度值Dα进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，基于③中得到的归一化亮度梯度值Dα计算出该匹配中心处的模板匹配度γ；
⑤据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γT，则匹配成功，否则，匹配失败，γT为匹配成功设定阈值；
⑥将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S0[W,H]中。
如图6所示，为经模板匹配后，匹配成功的过滤棒区域，但是在匹配结果中，存在重复区域，即单个滤棒区域可能被多次成功匹配。因此，需对匹配矩阵S0[W,H]进行重叠区域分析，消除匹配重复区域，进行第二次匹配，具体步骤如下：
①以匹配矩阵S0[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；
②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；
若连通域的面积大小在[0.7ST,1.3ST]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；ST单支香烟滤棒截面成像面积的大小；
面积超过1.3ST的连通区域是由于两个连通区域连接造成的，实验证明，该两连通连接面积大小范围为1.3ST～2.0ST。而面积小于0.7ST的连通域往往是光照不均匀引入的干扰，必须被滤除。
③计算第二次成功匹配的连通域F的重心WF(xF,yF)，重心的计算公式为(xi,yi)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；
④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。
至此，基于模板匹配的过滤棒搜索结束，在第二次匹配中，成功搜寻出N1个香烟滤棒，但是，并不是所有的过滤棒均能够成功匹配，极少数被挤压变形的香烟滤棒，其模板匹配度较低，在匹配过程中被滤除，故无法通过模板匹配的方法来实现。
采用模板匹配得到的N1个香烟滤棒与从未成功匹配的香烟滤棒区域中找到的香烟滤棒数目N2之和作为当前装箱图像中包含所有过滤棒的总数，提高了计数的精确度。

Claims (6)

1.一种基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，包括以下步骤：
步骤1：利用线扫描相机采集香烟滤棒的装箱图像；
步骤2：从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域；
步骤3：对香烟滤棒成像区域进行形态学开操作，获得多个滤棒连通域；
步骤4：采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配，统计匹配度大于设定匹配值S1的连通域个数N1′，并将N1′作为香烟滤棒第一次匹配成功的数量，记录匹配度数组S[N1′]；
其中，匹配度大于设定匹配值S1的连通域为成功匹配的滤棒连通域；
步骤5：将步骤4中已经成功匹配的滤棒连通域从步骤3获得的多个滤棒连通域中去除，获得未成功匹配的滤棒连通域，对所有未成功匹配的滤棒连通域进行形态学开操作后，搜索连通域，获得Nblobs个剩余连通域；
步骤6：计算出每个剩余连通域的面积
其中，为搜寻到的第i个剩余连通域的面积；
步骤7：根据步骤6搜寻到的每个剩余连通域的面积大小，按照下面公式计算未成功匹配的滤棒连通域中包含过滤棒的数目N2，
其中，Sone为单个非标准香烟滤棒成像面积设定值，δi为第i个剩余连通域包含过滤棒的个数；
步骤8：计算当前装箱图像中包含所有过滤棒的总数N＝N1′+N2；
步骤9：将香烟滤棒第一次匹配成功的数量N1′与总数N求商，计算滤棒的装箱质量系数
所述步骤4中采用标准滤棒模板依次对步骤3获得的多个滤棒连通域进行模板匹配的具体过程如下：
步骤1)：采用绘图软件，绘制过滤嘴圆形模板，其中，过滤嘴圆形模板的半径大小等于图像中标准滤棒的半径大小；
步骤2)：设Pixel_2(x,y)为多个滤棒连通域形成的区域图像中的任一像素的灰度值，以Pixel_2(x,y)为匹配中心O(x0,y0)，对多个滤棒连通域形成的区域图像中的每个像素点进行如下模板匹配，得到匹配矩阵S0[W,H]，S0[W,H]中记录每个像素点的匹配结果，W和H均为整数，分别表示多个滤棒连通域形成的区域图像的宽和高；
模板匹配过程如下：
①令过滤嘴模板圆形模板Model(x0,y0)的圆心为O(x0,y0)，过滤嘴模板圆形模板的边缘半径为r，将过滤嘴模板依次扫描步骤3获得的多个滤棒连通域，P(xα,yα,α)为多个滤棒连通域上经过模板圆心的直线L(α)与模板边缘的交点，其中，α＝10°·Nl，Nl为整数，表示第Nl根直线，从1开始取值，Nl＝{1,2,3...36}，得到交点的集合M(xα,yα,α)；
②分别以圆心为O(x0,y0)，r-d和r+d为半径绘制阈值圆C1、C2，则两阈值圆C1、C2与直线L(α)相交，记阈值圆C1与L(α)相交处像素的灰度值集合分为C1(xα,yα,α)，记阈值圆C2与L(α)相交处像素的灰度值集合分别为C2(xα,yα,α)，d为设定距离；
③按照下面的公式计算直线L(α)上的三点的归一化亮度梯度值Dα：
④进行匹配度计算，按照逐行逐列对待匹配的多个滤棒连通域进行轮循，匹配中心为当前像素点，基于③中得到的归一化亮度梯度值Dα计算出该匹配中心处的模板匹配度γ；
⑤据匹配度γ的大小，判断匹配中心处的模板匹配是否成功，若γ≥γT，则匹配成功，否则，匹配失败，γT为匹配成功设定阈值；
⑥将每个像素点的模板匹配度作为匹配矩阵中的元素按照像素点所在的行和列的顺序对应存储于匹配矩阵S0[W,H]中。
2.根据权利要求1所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对步骤1获得的装箱图像进行完整性判断，若装箱图像不完整，则重新获得下一幅装箱图像，否则进入步骤2：
所述装箱图像完整性判断过程如下：
步骤1)：装箱图像二值化；
利用二值化第一设定阈值T1，从装箱图像中分离出包装箱体部分，得到的二值图像Image1为：
<mrow> <mi>Im</mi> <mi> </mi> <mi>a</mi> <mi>g</mi> <mi>e</mi> <mn>1</mn> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>255</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <mi>T</mi> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>T</mi> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，G(x,y)为装箱图像中坐标为(x,y)像素点的灰度值；
2)采用连通域搜寻方法，搜寻二值图像中所有的连通域，并计算每个连通域的面积，选出连通域面积最大的连通域Region0；
3)删除连通域Region0中的孔洞，即将连通域Region0中灰度值为0的所有像素的灰度值改为255，获得孔洞填充连通域Region0’；
4)获得孔洞填充连通域Region0’的行宽和列宽；
通过逐行扫描的方法，得到孔洞填充连通域Region0’的行宽数组R[n]，n表示孔洞填充连通域Region0’的行数；通过逐列扫描的方法，得到孔洞填充连通域Region0’的列宽数组C[m]，m表示孔洞填充连通域Region0’的列数；然后，对数组R[n]、C[m]进行排序得到数组R’[n]、C’[m]，并将两个数组R’[n]、C’[m]的中值分别作为箱体的行、列宽度，即r＝R’[n/2]，c＝C’[m/2]；
5)计算箱体的行列宽度比，并判断装箱图像的完整性：
其中，Result＝1，则装箱图像完整，Rmin为最小比例设定阈值，Rmax为最大比例设定阈值；Result＝0，则装箱不完整。
3.根据权利要求2所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，所述步骤2从装箱图像中提取香烟滤棒成像区域，去除包装箱成像区域的具体过程如下：
步骤1)：对孔洞填充连通域Region0’进行二值化操作，二值化第二设定阈值为T2，其中，二值化后像素值为255的像素区域记为Region1；
步骤2)：对Region1进行形态学腐蚀操作，腐蚀的结构元素为3*3矩形，得到感兴趣区域Region2；
步骤3)：用3*3的矩形对Region2进行膨胀操作，得到感兴趣区域region3，即为香烟滤棒成像区域。
4.根据权利要求3所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对香烟滤棒成像区域按照以下公式对感兴趣区间段[T3,T4]的像素值进行拉伸，对处理结果影响关系不大的区间段[0，T3]、[T4,255]的像素进行压缩，进行尺度变换，增加图像的区分尺度，得到增强图像Image2：
<mrow> <mi>Im</mi> <mi> </mi> <mi>a</mi> <mi>g</mi> <mi>e</mi> <mn>2</mn> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mn>3</mn> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> <mrow> <mi>T</mi> <mn>4</mn> <mo>-</mo> <mi>T</mi> <mn>3</mn> </mrow> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>T</mi> <mn>3</mn> <mo>&lt;</mo> <mi>r</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mn>3</mn> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>T</mi> <mn>4</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mn>3</mn> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mi>T</mi> <mn>3</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>255</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mn>3</mn> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <mi>T</mi> <mn>4</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，T3为感兴趣区域最小灰度值设定值，T4感兴趣区域最大灰度值设定值，(x,y)为像素坐标，region3(x,y)为香烟滤棒成像区域中坐标为(x,y)的像素灰度值。
5.根据权利要求1-4任一项所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，所述步骤3中对香烟滤棒成像区域进行形态学开操作的具体步骤如下：
步骤1)：对香烟滤棒成像区域进行二值化的区域记为Region4，其中，二值化第三设定阈值为T5；
步骤2)：对Region4进行腐蚀操作，腐蚀的结构元素大小为2*2的矩形；
步骤3)：对腐蚀后的区域再进行膨胀操作，膨胀的结构元素大小为2*2的矩形，得到开操作后的多个滤棒连通域，即感兴趣区域Region5。
6.根据权利要求5所述的基于机器视觉的香烟滤棒在线计数和质量检测方法，其特征在于，对第一次匹配成功的数量为N1’的香烟滤棒所在连通域，进行匹配度计算后，对各像素点的匹配度形成的匹配度矩阵S0[W,H]进行重叠区域分析，消除匹配重复区域，进行第二次匹配，得到香烟滤棒的准确匹配数量N1，滤棒的装箱质量系数
具体步骤如下：
①以匹配矩阵S0[W,H]中的元素作为二维匹配图像的灰度值，得到二维匹配图像，对二维匹配图像进行连通域搜寻，得到二维匹配图像中多个连通域集合ξ，并计算二维匹配图像中每个连通域的面积；
②依据二维匹配图像中每个连通域的面积大小，判断连通域是否为第二次成功匹配的连通域；
若连通域的面积大小在[0.7ST,1.3ST]区间中，则当前连通域为与模板成功匹配，即为香烟滤棒区域；否则，认为当前连通域为与模板匹配失败的连通域，即为非香烟滤棒区域；ST单支香烟滤棒截面成像面积的大小；
③计算第二次成功匹配的连通域F的重心WF(xF,yF)，重心的计算公式为(xi,yi)为第二次成功匹配的连通域中像素点坐标，m为成功匹配的连通域F的像素点个数；
④统计第二次匹配成功的连通域个数为N1，当前装箱图像中包含所有过滤棒的总数N＝N1+N2。
CN201510001104.9A 2015-01-04 2015-01-04 一种基于机器视觉的香烟滤棒在线计数和质量检测方法 Expired - Fee Related CN104537671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510001104.9A CN104537671B (zh) 2015-01-04 2015-01-04 一种基于机器视觉的香烟滤棒在线计数和质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510001104.9A CN104537671B (zh) 2015-01-04 2015-01-04 一种基于机器视觉的香烟滤棒在线计数和质量检测方法

Publications (2)

Publication Number Publication Date
CN104537671A CN104537671A (zh) 2015-04-22
CN104537671B true CN104537671B (zh) 2017-12-29

Family

ID=52853190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510001104.9A Expired - Fee Related CN104537671B (zh) 2015-01-04 2015-01-04 一种基于机器视觉的香烟滤棒在线计数和质量检测方法

Country Status (1)

Country Link
CN (1) CN104537671B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529551B (zh) * 2016-11-02 2020-01-17 南通大学 面向包装行业的类圆对象智能识别计数检测方法
CN106803259B (zh) * 2017-01-19 2019-07-05 电子科技大学 一种流水作业平台烟条自动视觉检测与计数方法
CN109685978A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种自动上货***及自动售货机
EP3476228B1 (en) * 2017-10-25 2020-07-22 International Tobacco Machinery Poland Sp. z o.o. Method and apparatus for filling transport containers with rod-like articles of tabacco industry
CN110539934A (zh) * 2018-05-28 2019-12-06 东莞市华鸣自动化科技有限公司 物料计数装置
CN109115775B (zh) * 2018-08-08 2021-05-07 长沙理工大学 一种基于机器视觉的槟榔等级检测方法
CN109741303B (zh) * 2018-12-25 2020-09-01 浙江中烟工业有限责任公司 一种基于图像采集和识别的滤棒计数方法和装置
CN110120054A (zh) * 2019-05-15 2019-08-13 深圳铂石空间科技有限公司 基于图像处理的自动计数方法及装置、介质、电子设备
CN110807354B (zh) * 2019-09-09 2024-02-20 杭州朗阳科技有限公司 一种工业流水线产品计数方法
CN113870168A (zh) * 2020-06-11 2021-12-31 三赢科技（深圳）有限公司 物料计数方法、***、计算机装置及存储介质
CN111862122A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于深度学习的瓦楞纸板堆叠层数计数方法
CN112066879B (zh) * 2020-09-11 2021-11-19 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法
CN113280748A (zh) * 2021-05-19 2021-08-20 梅州珠江啤酒有限公司 一种烛式过滤机滤棒检测方法
ES2944786A1 (es) * 2021-12-23 2023-06-23 Dulcesa S L U Metodo y sistema para contar productos de alimentacion horneables
CN116993701B (zh) * 2023-08-08 2024-07-12 无锡秉杰机械有限公司 电池片的图像处理与计数方法、***和数片机
CN117152415B (zh) * 2023-09-01 2024-04-23 北京奥乘智能技术有限公司 药品包装的标记物检测方法、装置、设备及存储介质
CN117746272A (zh) * 2024-02-21 2024-03-22 西安迈远科技有限公司 一种基于无人机的水资源数据采集处理方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1280541A (zh) * 1997-12-02 2001-01-17 福克有限公司 检测完整的卷烟组及被填料的卷烟的方法
CN1741040A (zh) * 2005-09-20 2006-03-01 华中科技大学 一种基于模板匹配的烟支批量计数方法及其装置
CN101949819A (zh) * 2010-09-16 2011-01-19 北京优纳科技有限公司 一种基于图像识别的细胞计数方法
EP2649890A1 (en) * 2011-03-25 2013-10-16 Japan Tobacco Inc. Cigarette inspection device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1280541A (zh) * 1997-12-02 2001-01-17 福克有限公司 检测完整的卷烟组及被填料的卷烟的方法
CN1741040A (zh) * 2005-09-20 2006-03-01 华中科技大学 一种基于模板匹配的烟支批量计数方法及其装置
CN101949819A (zh) * 2010-09-16 2011-01-19 北京优纳科技有限公司 一种基于图像识别的细胞计数方法
EP2649890A1 (en) * 2011-03-25 2013-10-16 Japan Tobacco Inc. Cigarette inspection device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于图像处理的棒材计数测量***的设计与实现;侯维岩 等;《仪器仪表学报》;20130531;第34卷(第5期);第1103-1104页 *
基于图像连通区域面积的成捆棒材自动计数方法;黄玲 等;《工矿自动化》;20120531(第5期);第77-79页 *

Also Published As

Publication number Publication date
CN104537671A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
CN104537671B (zh) 一种基于机器视觉的香烟滤棒在线计数和质量检测方法
EP4280153A1 (en) Defect detection method, apparatus and system
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
US9892504B2 (en) Image inspection method and inspection region setting method
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
KR101065219B1 (ko) 소고기 등급 자동판정 방법 및 그 시스템
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及***
CN106897994A (zh) 一种基于分层图像的pcb板缺陷检测***和方法
CN107478657A (zh) 基于机器视觉的不锈钢表面缺陷检测方法
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及***
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和***
CN103698009B (zh) 一种基于线扫描高光谱成像的多光谱图像获取方法和***
CN111724354B (zh) 一种基于图像处理的多株小麦穗长与小穗数的测量方法
CN114881987B (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN114170165A (zh) 一种芯片表面缺陷检测方法和装置
CN113012105A (zh) 基于图像处理的纱线毛羽检测评级方法
CN104574398B (zh) 一种基于线扫描相机的装箱香烟滤棒计数***
CN117274251B (zh) 基于图像数据的药品生产过程中药片质量检测方法
CN112101060B (zh) 基于平移不变性和小区域模板匹配的二维码定位方法
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化***及方法
CN117173107A (zh) 产品缺陷检测方法、装置、设备、***和可读存储介质
CN116934685A (zh) 基于Focal模块和可变形卷积的钢材表面缺陷检测算法
CN110111317A (zh) 一种基于机器人智能末端的点胶质量视觉检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171229

Termination date: 20200104