CN103593667A - 基于集合连通性原理的图像异物快速识别方法 - Google Patents

Abstract

本发明公开了一种基于集合连通性原理的图像异物快速识别方法，属于基于机器视觉的图像识别领域，其适用于自动化生产线上的快速运动产品中异物的自动识别。本发明解决了当前检测***不能实时检测高速生产线产品异常的问题，生产线主要包括PVC产品、包装印刷产品和半导体产品等。本发明基于集合连通性原理，定义了图像内像素之间距离、集合之间距离和集合之间连通性，并给出了相应的计算公式，以此为理论发明了逐行处理线阵相机输出数据的图像异物快速识别方法。本发明的数据处理速率达到750M/S，并且异物定位准确。本发明可广泛应用于PVC生产、食品/药品包装印刷检测和半导体行业。

Description

基于集合连通性原理的图像异物快速识别方法

技术领域

本发明涉及一种基于机器视觉的快速图像识别领域，尤其涉及一种基于集合连通性原理的快速图像识别方法，特别是图像异物快速检测方法，其适用于自动化生产线上的快速运动产品中异物的自动识别。

背景技术

现代工业生产线在高速运行时，生产出的产品经常会出现瑕疵、不准确等质量问题。如高速印刷机出现的污点和套印不准确，高速PVC生产线上出现的蚊虫、金属丝、头发等异物，药品灌装过程中药液会出现玻璃碎屑、铝屑、橡皮屑、毛发等可见异物，等等。这些质量问题如不及时发现，不仅会降低产品信誉，甚至可能威胁到用户生命。对这类生产线产品的传统的检测方法是依靠人工目视，检查挑除废品。但人工检测速度慢、效率低，而且容易疲劳，漏检率较高。为获得高可靠的检测效果，同时减少成本损耗、节约人力，依据机器视觉原理的在线检测***可以解决上述问题。

例如，图1示出了1800mm宽、速度0～200m/min的PVC(聚氯乙烯)生产线，产品颜色为淡兰色的透明材料，需要对透明PVC产品中0.3*0.3mm²以上的异物(蚊虫、金属丝、头发等)进行实时识别检测。分析发现，如果要满足对上述生产线产品中异物进行实时检测的要求，相机必须采用行分辨率8k、纵向行频18kHz的CCD线阵相机，检测的异物图像面积为大于60*60个像素的连续深色噪点块，检测***的图像输出数据率为144MB/s。

基于机器视觉的在线检测***，通过计算机检测产品图像中的异常，达到自动检测的目的。目前对图像异物检测算法，都使用成熟专业机器视觉软件HALCON和NI VISIOIN BUILDER中的图像分析算法，如膨胀、腐蚀、Sobel边缘检测、亚像素边缘检测、直方图、几何变换、形态学、几何特征匹配等。现有图像识别算法存在以下不足：

(a)上述算法虽然有较好的检测效果，但算法复杂、计算速度慢，不能满足高速运动生产线的实时异常检测需求。即现存算法在普通计算机上，不能达到图像输出数据率为144MB/s的处理速度。

(b)上述算法都是以一副图像为处理单元，不能以逐行方式进行识别处理，即识别处理有较大的滞后性，也不适于识别运动产品的在线识别。

因此，如何能够更优地解决实时快速异物识别，已经成为亟待解决的重要问题。

发明内容

本发明的目的在于克服上述技术问题的缺陷，解决当前检测***不能实时检测高速生产线产品异常的问题，所述生产线主要包括PVC产品、包装印刷产品和半导体产品等。本发明基于集合连通性原理，定义了图像内像素之间距离、集合之间距离和集合之间连通性，并给出了相应的计算公式，以此为理论发明了逐行处理线阵相机输出数据的图像异物快速识别方法。

根据本发明的具体实施例，提供一种基于集合连通性原理的图像异常识别快速方法，其特征在于包括以下步骤：

步骤1)定义像素与像素之间的距离：

像素p(x₁,y₁)和p(x₂,y₂)的距离表示为

$d(t_1,t_2)=\left\{\begin{array}{cc}0,& \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T\\ \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中：T是一个门限值，t＝N_x*y+x，N_x为图像每行包含的像素数，x和y分别表示该像素的横坐标和纵坐标；

步骤2)定义像素集合与像素集合之间的距离：

集合P{p(t₁),p(t₂),L,p(t_n)}和集合P′{p(t′₁),p(t′₂),L,p(t′_m)}之间的距离定义为

d(p',p)=min(d(t_i，t′_j)),i=1,…,n;j=1,…,m    (2)

步骤3)给出了像素集合联通性原理和判别方法；当d(P′,P)=0则集合P和P'是连通的，否则就是分离的若集合E可以分成两个分离的集合则称之为分离集，否则称其为连通集；

步骤4)给出判断图像内一个集合为噪点集合P的判据：噪点集合为连通集，且集合面积大于一个给定的阈值；

步骤5)根据步骤4)的判别方法进行逐行识别处理。

根据本发明的优选实施例，其中所述步骤5)的逐行识别处理进一步包括：对一行图像判断像素与潜在噪点集合的连通性，剔除不连通的像素，合并连通像素到潜在噪点集；若潜在噪点集若面积大于给定阈值，则识别为真正的噪点集合。

根据本发明的优选实施例，其中步骤2)中像素集合与像素集合之间的距离可重新定义为：

定义2’：

$d(P,P^{\&prime;})=\left\{\begin{array}{cc}0,& \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\}<\mathrm{MAXD}\\ \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\},& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

这里

和

分别对应P和P'的重心的横纵坐标,MAXD为集合之间连通性判据阈值。

根据本发明的优选实施例，其中在识别逐行输入的图像时，行集合与其他集合之间特殊的距离计算公式：

$d_{\mathrm{line}}(P,P_{\mathrm{line}})=\left\{\begin{array}{cc}0,& |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|<\mathrm{MAXD}\\ |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|,& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

其中P_line为该行构成的集合，y_line为该行的纵坐标。

本发明还提供了一种基于集合连通性判断的图像异物在线识别方法，以输入的一行图像为一个处理单元，快速的处理高速线扫相机输入的图像数据，实时检测出图像中出现的异物，并记录异物的重心坐标和面积，其特征在于其中一行图像的处理过程包括以下步骤：

步骤1a)从第一个像素开始扫描，找出该行内连续3个以上像素值小于FIXHD的子集，并计算该子集重心坐标，其中FIXHD取值为150；

步骤2a)把该子集与疑似噪点集合链表中的疑似噪点集合逐个进行连通性分析，即判断当前子集与链表中哪一个集合是连通的；

步骤3a)剔除链表中面积小于阈值RGAREA，且与当前子集不连通的潜在噪点集合；

步骤4a)如果该子集与链表中任何潜在噪点集合都不连通，则把该子集作为一个新的潜在噪点集合***到链表中。

根据本发明的优选实施例，其中步骤1a)中计算行和列坐标的公式为：

$\stackrel{\&OverBar;}{x}=\frac{\mathrm{\&Sigma;}{x}_i}{M},$ x_i<FIXHD    (5)

$\stackrel{\&OverBar;}{y}=\frac{\mathrm{\&Sigma;}{y}_i}{M},$ y_i<FIXHD    (6)

其中：M为当前子集中符合要求像素的个数。

根据本发明的优选实施例，其中步骤2a)中

集合连通性测度为两个集合重心之间的距离，如果两个集合是连通的，则满足以下公式

$\max (\mathrm{abs}(p->{\stackrel{\&OverBar;}{x}}_m-\stackrel{\&OverBar;}{x}),$ $\mathrm{abs}(p->{\stackrel{\&OverBar;}{y}}_m-\stackrel{\&OverBar;}{y}))<\mathrm{MAXD}---\left(7\right)$

根据本发明的优选实施例，其中

和

为链表中第m个疑似噪点集合重心坐标，在这里MAXD取值为30；

如果当前子集重心与链表中第m个潜在噪点集合重心小于MAXD，即认为该子集与第m个疑似噪点集合是连通的，否则是不连通的；

在判断当前子集与第m个潜在噪点集合是连通的之后，把当前子集与第m个潜在噪点集合进行融合，并更新第m个潜在噪点集合的重心坐标和面积。

根据本发明的优选实施例，其中步骤3a)中剔除潜在噪点集合的条件为：

$\mathrm{abs}(\stackrel{\&OverBar;}{y}-p->{\stackrel{\&OverBar;}{y}}_m)>2*\mathrm{MAXD},$ 且p->pCnts_m<RGAREA    (8)

其中p->pCnts_m为第m个潜在噪点集合的面积，即集合内像素个数。

本发明针对该高速PVC生产线的实时异物识别需求，基于集合连通性原理发明了一个快速的异物检测算法。算法具有算法简单、执行速度快、检测精确有效、内存要求低等特征，并且通过在线参数设置，可以任意设定被检测异物的大小和色差信息。本发明的数据处理速率达到750M/S，并且异物定位准确。该算法通用性强，可以广泛地应用于PVC生产、食品/药品包装印刷检测和半导体行业。

虽然在下文中将结合一些示例性实施及使用方法来描述本发明，但本领域技术人员应当理解，并不旨在将本发明限制于这些实施例。反之，旨在覆盖包含在所附的权利要求书所定义的本发明的精神与范围内的所有替代品、修正及等效物。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

图1是现有技术中高速PVC生产线示意图；

图2示出了潜在噪点集合链表的示意图；

图3示出了本发明图像异物快速识别方法的原理图；

图4示出了本发明图像异物快速识别方法的详细原理图；

图5示出了一行图像连通性分析控制流程图；

图6示出了一个噪点集合与链表内噪点集合之间连通性识别流程图；

图7示出了识别算法测试结果显示。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细描述。需要注意的是，根据本发明的基于集合连通性原理的图像异物快速识别方法的具体实施方式仅仅作为举例，但本发明不限于该具体实施方式。

下面结合附图，对本发明作详细的阐述。

图3和图4示出了本发明图像异物快速识别方法的基本原理。根据本发明，首先用公式定义图像内像素之间和集合之间的距离。接下来，定义图像集合连通性原理，给出图像内一个集合成为噪点集合的判据。最后，对一行图像判断像素与潜在噪点集合的连通性，剔除不连通的像素，合并连通像素到潜在噪点集；潜在噪点集若面积大于给定阈值，则将其识别为真正的噪点集合。

集合连通性原理

定义1：像素p(x₁，y₁)和p(x₂,y₂)的距离表示为

$d(t_1,t_2)=\left\{\begin{array}{cc}0,& \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T\\ \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

c其中：T是一个门限值，t＝N_x*y+x，N_x为图像每行包含的像素数，x和y分别表示该像素的横坐标和纵坐标。

定义2：集合P{p(t₁),p(t₂),L,p(t_n)}和集合P′{p(t′₁),p(t′₂),L,p(t′_m)}之间的距离定义为

d(p',p)=min(d(t_i,t′_j)),i=1,…,n;j=1,…,m    (2)

定义3：(集合连通性原理)当d(P′,P)=0则集合P和P′是连通的，否则就是分离的。若集合E可以分成两个分离的集合则称之为分离集，否则称其为连通集。

根据上述定义，我们判定的噪点集合P都应该是连通集，并且其面积|P|应该大于某一个阈值RGAREA。|P|是集合P的势，即集合中元素的个数，也就是噪点集合包含的像素个数。噪点集合中的元素都应该是值小于阈值FIXHD的像素。如果已知特定图像，可以采用二值划分法，将图像中所有值大于FIXHD的像素组成一个集合，并采用递归算法将其划分为若干个两两分离的连通集，再考察每个连通集的势，把面积大于RGAREA的噪点集合作为异物进行识别。但在上述过程中，计算两个集合的距离的算法复杂度太大，也不适合需要边扫描边识别的需求。若集合|P|=m集合和|P′|＝n，则求d(P,P')的时间复杂度为O(mn)。但对于分布较为稀疏的噪点集合，可以在保持集合连通性判断效果不变的条件下，通过重新定义集合距离的方式减少计算复杂度。新的集合距离公式定义为：

定义2’：

$d(P,P^{\&prime;})=\left\{\begin{array}{cc}0,& \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\}<\mathrm{MAXD}\\ \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\},& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

这里

和

分别对应P和P'的重心的横纵坐标,MAXD为集合之间连通性判据阈值。

在识别逐行输入的图像时，我们还定义了行集合与其他集合之间特殊的距离计算公式。特别的，在判断扫描行和已知的潜在噪点集合之间的距离时，使用的判定也要变化一下，我们特殊的定义一下这种情况下扫描行与集合的距离为，

定义2’’:

$d_{\mathrm{line}}(P,P_{\mathrm{line}})=\left\{\begin{array}{cc}0,& |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|<\mathrm{MAXD}\\ |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|,& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

其中P_line为该行构成的集合，y_line为该行的纵坐标。

采用定义2’’则后，计算集合距离的时间复杂度降低到O(m+n)。

算法过程和程序实现

在程序实现过程中潜在噪点集合P使用一维链表表示，链表节点为值小于FIXHD的潜在噪点像素的集合，作为节点的潜在噪点集合之间是不连通的，图2为存储潜在噪点集合的链表示意图。

潜在噪点集合(链表的节点)数据结构为

基于集合连通性判断的图像异物在线检测技术，以输入的一行图像为一个处理单元，快速的处理高速线扫相机输入的图像数据，实时检测出图像中出现的异物，并记录异物的重心坐标和面积。实现程序逐行进行图像处理，处理一行图像的算法流程为：

从第一个像素开始扫描，找出该行内连续3个以上像素值小于FIXHD的子集(FIXHD在这里取150)，并计算该子集重心坐标，计算行和列坐标的公式为

$\stackrel{\&OverBar;}{x}=\frac{\mathrm{\&Sigma;}{x}_i}{M},$ x_i<FIXHD    (5)

$\stackrel{\&OverBar;}{y}=\frac{\mathrm{\&Sigma;}{y}_i}{M},$ y_i<FIXHD    (6)

其中：M为当前子集中符合要求像素的个数。

把该子集与疑似噪点集合链表中的疑似噪点集合逐个进行连通性分析，即判断当前子集与链表中哪一个集合是连通的。集合连通性测度为两个集合重心之间的距离，如果两个集合是连通的，则满足以下公式

$\max (\mathrm{abs}(p->{\stackrel{\&OverBar;}{x}}_m-\stackrel{\&OverBar;}{x}),$ $\mathrm{abs}(p->{\stackrel{\&OverBar;}{y}}_m-\stackrel{\&OverBar;}{y}))<\mathrm{MAXD}---\left(7\right)$

其中：

和

为链表中第m个疑似噪点集合重心坐标，在这里MAXD取值为30。即如果当前子集重心与链表中第m个潜在噪点集合重心小于MAXD，即认为该子集与第m个疑似噪点集合是连通的，否则是不连通的。在判断当前子集与第m个潜在噪点集合是连通的后，把当前子集与第m个潜在噪点集合进行融合，并更新第m个潜在噪点集合的重心坐标和面积。

剔除链表中面积小于阈值RGAREA，且与当前子集不连通的潜在噪点集合。剔除潜在噪点集合的条件为

$\mathrm{abs}(\stackrel{\&OverBar;}{y}-p->{\stackrel{\&OverBar;}{y}}_m)>2*\mathrm{MAXD},$ 且p->pCnts_m<RGAREA    (8)

其中p->pCnts_m为第m个潜在噪点集合的面积(集合内像素个数)。

如果该子集与链表中任何潜在噪点集合都不连通，则把该子集作为一个新的潜在噪点集合***到链表中。

一行图像的处理方法流程如图5和图6所示。具体流程在图5和图6中已经详细说明，此处不再详细赘述。

实例应用和执行时间分析

识别算法程序采用C语言控制台编程，程序输入采用模拟光栅扫描过程。测试图像为一个PVC生产线生产的一个次品照片，照片中有3个需要识别出的异物(大于0.3*0.3mm²)，有数十个色度较浅(像素值大于FIXHD)和尺寸较小的异物，如图7a所示。程序采用边识别边用红色矩形框定位异物位置的方式，识别结果如图7b所示。结果证明本发明的检测方法能够准确地定位异物。

图7a测试图像为2400*2048的8位灰度图像，识别程序完成该图像处理的时间为6ms，识别***处理图像数据的速率为750MB/s，完全满足PVC生产线检测***的图像输出数据率144MB/s的需求。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于集合连通性原理的图像异常识别快速方法，其特征在于包括以下步骤：

步骤1)定义像素与像素之间的距离：

像素p(x₁,y₁)和p(x₂,y₂)的距离表示为

$d(t_1,t_2)=\left\{\begin{array}{cc}0,& \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T\\ \max \left(\right|x_1-x_2|,|y_1-y_2\left|\right)<T,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中：T是一个门限值，t＝N_x*y+x，N_x为图像每行包含的像素数，x和y分别表示该像素的横坐标和纵坐标；

步骤2)定义像素集合与像素集合之间的距离：

集合P{p(t₁),p(t₂),L,p(t_n)}和集合P'{p(t′₁),p(t′₂),L,p(t′_m)}之间的距离定义为

d(p',p)=min(d(t_i,t′_j)),i=1,…,n;j=1,…,m    (2)

步骤3)给出了像素集合联通性原理和判别方法；当d(P′,P)=0则集合P和P'是连通的，否则就是分离的若集合E可以分成两个分离的集合则称之为分离集，否则称其为连通集；

步骤4)给出判断图像内一个集合为噪点集合P的判据：噪点集合为连通集，且集合面积大于一个给定的阈值；

步骤5)根据步骤4)的判别方法进行逐行识别处理。

2.根据权利要求1的方法，其中所述步骤5)的逐行识别处理进一步包括：

对一行图像判断像素与潜在噪点集合的连通性，剔除不连通的像素，合并连通像素到潜在噪点集；若潜在噪点集若面积大于给定阈值，则识别为真正的噪点集合。

3.根据权利要求1的方法，其中：

步骤2)中像素集合与像素集合之间的距离可重新定义为：

定义2’：

$d(P,P^{\&prime;})=\left\{\begin{array}{cc}0,& \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\}<\mathrm{MAXD}\\ \min \left\{\right|\stackrel{\&OverBar;}{x}-{\stackrel{\&OverBar;}{x}}^{\&prime;}|,|\stackrel{\&OverBar;}{y}-{\stackrel{\&OverBar;}{y}}^{\&prime;}\left|\right\},& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

这里

和

分别对应P和P'的重心的横纵坐标,MAXD为集合之间连通性判据阈值。

4.根据权利要求3的方法，其中在识别逐行输入的图像时，行集合与其他集合之间特殊的距离计算公式：

$d_{\mathrm{line}}(P,P_{\mathrm{line}})=\left\{\begin{array}{cc}0,& |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|<\mathrm{MAXD}\\ |\stackrel{\&OverBar;}{y}-y_{\mathrm{line}}|,& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

其中P_line为该行构成的集合，y_line为该行的纵坐标。

5.一种基于集合连通性判断的图像异物在线识别方法，以输入的一行图像为一个处理单元，快速的处理高速线扫相机输入的图像数据，实时检测出图像中出现的异物，并记录异物的重心坐标和面积，其特征在于其中一行图像的处理过程包括以下步骤：

步骤1a)从第一个像素开始扫描，找出该行内连续3个以上像素值小于FIXHD的子集，并计算该子集重心坐标，其中FIXHD取值为150；

步骤2a)把该子集与疑似噪点集合链表中的疑似噪点集合逐个进行连通性分析，即判断当前子集与链表中哪一个集合是连通的；

步骤3a)剔除链表中面积小于阈值RGAREA，且与当前子集不连通的潜在噪点集合；

步骤4a)如果该子集与链表中任何潜在噪点集合都不连通，则把该子集作为一个新的潜在噪点集合***到链表中。

6.根据权利要求5的方法，其中步骤1a)中计算行和列坐标的公式为：

$\stackrel{\&OverBar;}{x}=\frac{\mathrm{\&Sigma;}{x}_i}{M},$ x_i<FIXHD(5)

$\stackrel{\&OverBar;}{y}=\frac{\mathrm{\&Sigma;}{y}_i}{M},$ y_i<FIXHD(6)

其中：M为当前子集中符合要求像素的个数。

7.根据权利要求5的方法，其中步骤2a)中

集合连通性测度为两个集合重心之间的距离，如果两个集合是连通的，则满足以下公式

$\max (\mathrm{abs}(p->{\stackrel{\&OverBar;}{x}}_m-\stackrel{\&OverBar;}{x}),$ $\mathrm{abs}(p->{\stackrel{\&OverBar;}{y}}_m-\stackrel{\&OverBar;}{y}))<\mathrm{MAXD}---\left(7\right).$

8.根据权利要求7的方法，其中：

和为链表中第m个疑似噪点集合重心坐标，在这里MAXD取值为30；

如果当前子集重心与链表中第m个潜在噪点集合重心小于MAXD，即认为该子集与第m个疑似噪点集合是连通的，否则是不连通的；

在判断当前子集与第m个潜在噪点集合是连通的之后，把当前子集与第m个潜在噪点集合进行融合，并更新第m个潜在噪点集合的重心坐标和面积。

9.根据权利要求5的方法，其中步骤3a)中剔除潜在噪点集合的条件为：

$\mathrm{abs}(\stackrel{\&OverBar;}{y}-p->{\stackrel{\&OverBar;}{y}}_m)>2*\mathrm{MAXD},$ 且p->pCnts_m<RGAREA    (8)

其中p->pCnts_m为第m个潜在噪点集合的面积，即集合内像素个数。

Images