CN106373140A - 一种基于单目视觉的透明及半透明液体杂质检测方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的透明及半透明液体杂质检测方法，包括：输入视频，选取连续三帧图像，通过截取液体容器的部分特征区域作为参考样本计算出相关匹配矩阵，寻找矩阵中的最大值也就是匹配最相似所在位置；对于半透明的液体容器，在灰度图上进行阈值分割得到液体容器的前景区域；对于透明容器利用边缘轮廓的封闭性，在中心选取种子点进行生长得到前景区域；对获得的前景区域模板进行填充操作，获取完整的前景区域模板；得到相应前景区域；不同帧数相减得到差异图，对获取的差异图进行局部二值化处理，分别得到时刻的二值图像，标记二值图的连通域，推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

Description

一种基于单目视觉的透明及半透明液体杂质检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于单目视觉的透明及半透明液体杂质检测方法。

背景技术

在我国酒水饮料有着巨大的市场和极高的增长率，但酒水饮料生产线的自动化水平亟待提高，尤其在检测环节，主要以人工为主。在酒水饮料的检测环节，其中检查异物是否存在是重中之重，但目前主要的途径是用人眼去检测，主要方式是在白炽光的照射下旋转外装瓶，判断是否有沉淀物或者悬浮物等，但人眼检测存在效率低、精度低以及漏检率高等缺点，所以一种准确有效的液体杂质检测***对于酒水饮料的安全生产有着重大的意义。

目前已有的方法都是在获得的连续序列图像的基础上，捕捉容器边缘后拟合检测区域，在区域内对多帧序列图像中运动对象建立目标链进行跟踪。因为需要拟合区域，对于不规则形状的容器来说计算量大，并且不易实现，并且，现有的方法都是在建立目标链的基础上进行判断，这需要处理分析大量的图像数据，对检测的效率有很大的影响。相对于拟合区域，该方法直接利用光源透过半透明区域时强度衰减的特性进行分割，具有较高的分割精度和效率。在目标的判断上面，该方法只需要利用三帧图像目标的运动轨迹进行判断，不需要对每帧图像的目标进行跟踪，极大地提高了运行效率。

发明内容

本发明的目的在于提供一种基于单目视觉的透明及半透明液体杂质检测方法，旨在解决酒水饮料等液体容器生产过程中杂质检测的问题。

本发明是这样实现的，一种基于单目视觉的透明及半透明液体杂质检测方 法，所述基于单目视觉的透明及半透明液体杂质检测方法包括：

步骤一，输入一段视频，选取连续三帧图像，计算出相关匹配矩阵，寻找矩阵中的最大值也就是匹配最相似所在的位置；

步骤二，对于半透明的液体容器，可以通过阈值来分割液体容器，获取液体容器区域的前景模板，由此可以精确捕捉液体容器所在的位置，把检测的范围限定到液体容器内；对获得的前景区域模板进行填充操作，获取完整的前景区域模板；

步骤三，得到相应前景区域；不同帧数相减得到差异图，对获取的差异图连通域进行局部二值化处理，分别得到时刻的二值图像，标记二值图的连通域，获取连通域质心，以质心来代表目标所在的位置，推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

进一步，所述输入一段视频，选取间隔帧数为d的连续三帧图像，分别为I_t-d、I_t、I_t+d；以I_t作为基准，在水平方向上人工截取液体容器的一部分，作为匹配的模板T，分别在I_t-d以及I_t+d上通过标准平方差匹配公式计算出相关匹配矩阵R，寻找R中的最大值也就是匹配最相似所在的位置，通过得到位置信息将I_t-d和I_t+d中液体容器所在的位置移动到I_t中液体容器所在的位置。其中，

$R(x,y)=\frac{{\mathrm{\Σ}}_{x^{,},y^{,}}{\left(T\right(x^{,},y^{,})-I(x+x^{,},y+y^{,}\left)\right)}^2}{{\mathrm{\Σ}}_{x^{,},y^{,}}T{\left(x^{,},y^{,}\right)}^2\·{\mathrm{\Σ}}_{x^{,},y^{,}}I\left(x+x^{,},y+y^{,}\right)}.$

进一步，在I_t上提取液体容器前景，对于半透明的液体容器，将图像转化从HSV图像，根据实际情况，对于半透明的液体容器，直接通过阈值来分割液体容器，获取液体容器区域的前景模板；对于透明容器选取中心一块区域，在该区域中选取灰度值最大的点作为种子点p_t，以方向dir＝{{-1,-1},{0,-1},{1,-1},{1,0},{1,1},{0,1},{-1,1},{-1,0}}作为种子的生长方向，在满足一定的灰度阈值条件下生长,阈值范围在前景和背景灰度值之间选取，以刚好生长到酒瓶边缘为基准，获得区域的前景模板。对获得的前景区 域模板进行填充操作，获取完整的前景区域模板Ω_t。

进一步，所述分别用I_t-d、I_t和I_t+d与Ω_i相乘得到相应前景区域I′_t-d、I′_t和I′_t+d；然后不同帧数相减得到四幅差异图dif_t-d，dif_t1，dif_t2，dif_t+d其中dif_t-d＝I′_t-I′_t-d，dif_t1＝I′_t-d-I′_t，dif_t2＝I′_t+d-I′_t，dif_t+d＝I′_t-I′_t+d。

进一步，对获取的差异图进行局部二值化处理，具体方式为取大小为blockSize×blockSize的领域，其阈值大小为该领域的均值减去自定义的常量C,在该领域内大于得到的阈值的灰度值设为255，反之则为0。这样分别得到在t-d,t,t+d时刻的二值图像I_b,t-d、I_b,t和I_b,t+d。其中

I_b,t-d＝adaptiveThreshold(dif_t-d)，I_b,t＝adaptiveThreshold(dif_t1+dif_t2)，

I_b,t+d＝adaptiveThreshold(dif_t+d)。其中，adaptiveThreshold是局部二值化。

进一步，标记二值图I_b,t-d，I_b,t和I_b,t+d的连通域，其分别在t-d,t,t+d时刻连通域的面积为s_t-d,s_t和s_t+d以及重心为p_t-d，p_t和p_t+d，如果s_t小于某一阈值则该点为噪声点，排除该点在面积s_t符合要求的情况下，对不同时刻的质心位置进行判断，判断标准为并且其中，和 连通域质心矢量，由此推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

本发明提供的基于单目视觉的透明及半透明液体杂质检测方法，在多帧图像中对液体目标运动轨迹进行判断，根据液体容器表面污痕保持静止，气泡垂直向上，杂质向下或者斜向运动等运动特征，从而能有效区别液体容器表面污痕、液体气泡以及杂质等目标，在实例中对于1280*1024分辨率的样本视频能够达到每秒5帧的处理效果。相对于一般的检测方法，该方法利用目标灰度和运动等多尺度特征，能够有效的降低虚警率。同时，在具体实施过程中，对液体容器不同时刻重复检测，有效的避免了漏景。

附图说明

图1是本发明实施例提供的基于单目视觉的透明及半透明液体杂质检测方法流程图。

图2是本发明实施例提供的实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于单目视觉的透明及半透明液体杂质检测方法包括以下步骤：

S101：输入一段视频，选取连续三帧图像，通过截取液体容器的部分特征区域作为参考样本计算出相关匹配矩阵，寻找矩阵中的最大值也就是匹配最相似所在的位置；

S102：对于半透明的液体容器，直接通过阈值来分割液体容器，获取液体容器区域的前景模板；对获得的前景区域模板进行填充操作，获取完整的前景区域模板；

S103：得到相应前景区域；不同帧数相减得到差异图，对获取的差异图进行局部二值化处理，分别得到时刻的二值图像，标记二值图的连通域，推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

下面结合图2及具体实施例对本发明的应用原理作进一步的描述。

实施例1：

本发明实施例的基于单目视觉的透明及半透明液体杂质检测方法包括以下步骤：

(1)输入一段视频，选取间隔帧数为d的连续三帧图像，分别为I_t-d、I_t、I_t+d。

(2)以I_t作为基准，在水平方向上人工截取液体容器的一部分，作为匹配的模板T。分别在I_t-d以及I_t+d上通过计算出相关匹配矩阵R，寻找R中的最大值也就是匹配最相似所在的位置。通过得到位置信息将I_t-d和I_t+d中液体容器所在的位置移动到I_t中液体容器所在的位置。其中， $R(x,y)=\frac{{\mathrm{\Σ}}_{x^{,},y^{,}}{\left(T\right(x^{,},y^{,})-I(x+x^{,},y+y^{,}\left)\right)}^2}{{\mathrm{\Σ}}_{x^{,},y^{,}}T{\left(x^{,},y^{,}\right)}^2\·{\mathrm{\Σ}}_{x^{,},y^{,}}I\left(x+x^{,},y+y^{,}\right)}.$

(3)在I_t上提取液体容器前景。对于半透明的液体容器，可以直接通过阈值来分割液体容器，获取液体容器区域的前景模板；以海之蓝为例，由于其蓝色酒瓶对光源有一定的衰减，所以其灰度值小于周围其他区域，在设定相关的阈值后可以有效的分割酒瓶。对于透明的液体容器则采用种子生长的方法。以天之蓝白色透明下半部分为例，选取酒瓶中心一块区域，在该区域中选取灰度值最大的点作为种子点p_t，以方向dir＝{{-1,-1},{0,-1},{1,-1},{1,0},{1,1},{0,1},{-1,1},{-1,0}}作为种子的生长方向，在满足一定的灰度阈值条件下生长，获得酒瓶区域的前景模板。对获得的前景区域模板进行填充操作，获取完整的前景区域模板Ω_t。

(4)分别用I_t-d、I_t和I_t+d与Ω_i相乘得到相应前景区域I′_t-d、I′_t和I′_t+d。然后不同帧数相减得到四幅差异图dif_t-d，dif_t1，dif_t2，dif_t+d其中dif_t-d＝I′_t-I′_t-d，dif_t1＝I′_t-d-I′_t，dif_t2＝I′_t+d-I′_t，dif_t+d＝I′_t-I′_t+d。

(5)对获取的差异图进行局部二值化处理，分别得到在t-d,t,t+d时刻的二值图像I_b,t-d、I_b,t和I_b,t+d。其中I_b,t-d＝adaptiveThreshold(dif_t-d)，I_b,t＝adaptiveThreshold(dif_t1+dif_t2)，I_b,t+d＝adaptiveThreshold(dif_t+d)。其中，adaptiveThreshold是局部二值化。

(6)标记二值图I_b,t-d，I_b,t和I_b,t+d的连通域。其分别在t-d,t,t+d时刻连通域的面积为s_t-d,s_t和s_t+d以及重心为p_t-d，p_t和p_t+d。如果s_t小于某一阈值则该点为噪声点，排除该点在面积s_t符合要求的情况下，对不同时刻的质心位置进行 判断，判断标准为并且其中，和连通域质心矢量，由此可以推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

实施例2：

本发明实施例的基于单目视觉的透明及半透明液体杂质检测方法包括以下步骤：

(1)输入帧率大小为30的天之蓝翻转重置之后的小段视频，从中选取连续的并且帧数间隔为10的3帧I_t1、I_t2、I_t3作为测试样本，在实际条件下帧率大小和帧数间隔大小可以根据实际环境调整。

(2)以I_t2为基准，对I_t1和I_t3进行配准，即把I_t1、I_t2、I_t3的酒瓶放在同一个位置上。

(3)在图I_t2中提取酒瓶白色下半部分的前景模板Ω_t，以Ω_t为基础提取I_t1和I_t3的前景区域。

(4)以帧差的方式的到相应的差异图dif_t1，dif_t2，dif_t3，对差异图进行局部二值化处理，方法使用OpenCV库函数void adaptiveThreshold(InputArray src,OutputArraydst,double maxValue,int adaptiveMethod,int thresholdType,int blockSize,doubleC)，adaptiveMethod为自适应局部均值，blockSize局部块大小99，C大小为20。到相应的二值图像I_b1、I_b2和I_b3。

(5)分别标记I_b1、I_b2和I_b3的连通区域，计算出连通域的面积以及相应的质心p_t1，p_t2和p_t3。在I_b2中选取阈值大于1的连通域作为当前可能的杂质点。

(6)判断杂质的运动轨迹，并且其中，和连通域质心矢量，如果以I_b2连通域质心p_t2作为坐标中心，那么I_b1和I_b2连通域的质心p_t1和p_t3分别发布在一三象限或者二四象限(包括坐标轴)，并且距离p_t2的距离差的距对值小于5。

实施例3

本发明实施例的基于单目视觉的透明及半透明液体杂质检测方法包括以下步骤：

(1)输入帧率大小为30的海之蓝翻转重置之后的小段视频，从中选取连续的并且帧数间隔为10的3帧I_t1、I_t2、I_t3作为测试样本，在实际条件下帧率大小和帧数间隔大小可以根据实际环境调整。

(2)天之蓝步骤(2)相同

(3)以拍摄无酒瓶白色光板I_s作为背景，以I_s-I_t2通过的方式获得海之蓝的前景模板Ω_t，以Ω_t为基础提取I_t1和I_t3的前景区域。

(4)天之蓝步骤(4)-步骤(6)。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，所述基于单目视觉的透明及半透明液体杂质检测方法包括：

步骤一，输入一段视频，选取连续三帧图像，通过截取液体容器的部分特征区域作为参考样本计算出相关匹配矩阵，寻找矩阵中的最大值也就是匹配最相似所在的位置；

步骤二，对于半透明的液体容器，直接通过阈值大小来分割液体容器，获取液体容器区域的前景模板；对获得的前景区域模板进行填充操作，获取完整的前景区域模板；

步骤三，得到相应前景区域；不同帧数相减得到差异图，对获取的差异图进行局部二值化处理，分别得到时刻的二值图像，标记二值图的连通域，推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。

2.如权利要求1所述的基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，所述输入一段视频，选取间隔帧数为d的连续三帧图像，分别为I_t-d、I_t、I_t+d；以I_t作为基准，在水平方向上人工截取液体容器的一部分，作为匹配的模板T，分别在I_t-d以及I_t+d上通过计算出相关匹配矩阵R，寻找R中的最大值也就是匹配最相似所在的位置，通过得到位置信息将I_t-d和I_t+d中液体容器所在的位置移动到I_t中液体容器所在的位置，其中，

$R(x,y)=\frac{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{\left(T\right(x^{\′},y^{\′})-I(x+x^{\′},y+y^{\′}\left)\right)}^2}{{\mathrm{\Σ}}_{x^{\′},y^{\′}}T{\left(x^{\′},y^{\′}\right)}^2\·{\mathrm{\Σ}}_{x^{\′},y^{\′}}I\left(x+x^{\′},y+y^{\′}\right)}.$

3.如权利要求1所述的基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，在I_t上提取液体容器前景，对于半透明的液体容器，直接通过阈值分割液体容器，获取液体容器区域的前景模板；对于透明液体容器，选取中心一块区域，在该区域中选取灰度值最大的点作为种子点p_t，以方向dir＝{{-1,-1},{0,-1},{1,-1},{1,0},{1,1},{0,1},{-1,1},{-1,0}}作为种子的生长方向，在满足一定的灰度阈值条件下生长，获得区域的前景模板，对获得的前景区域模板进行填充操作，获取完整的前景区域模板Ω_t。

4.如权利要求1所述的基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，所述分别用I_t-d、I_t和I_t+d与Ω_i相乘得到相应前景区域I′_t-d、I_t′和I′_t+d；然后不同帧数相减得到四幅差异图dif_t-d，dif_t1，dif_t2，dif_t+d其中dif_t-d＝I_t′-I′_t-d，dif_t1＝I′_t-d-I_t′，dif_t2＝I′_t+d-I_t′，dif_t+d＝I_t′-I′_t+d。

5.如权利要求1所述的基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，对获取的差异图进行局部二值化处理，分别得到在t-d,t,t+d时刻的二值图像I_b,t-d、I_b,t和I_b,t+d；其中I_b,t-d＝adaptiveThreshold(dif_t-d)，I_b,t＝adaptiveThreshold(dif_t1+dif_t2)，I_b,t+d＝adaptiveThreshold(dif_t+d)；其中，adaptiveThreshold是局部二值化。

6.如权利要求1所述的基于单目视觉的透明及半透明液体杂质检测方法，其特征在于，标记二值图I_b,t-d，I_b,t和I_b,t+d的连通域，其分别在t-d,t,t+d时刻连通域的面积为s_t-d,s_t和s_t+d以及重心为p_t-d，p_t和p_t+d，如果s_t小于某一阈值则该点为噪声点，排除该点在面积s_t符合要求的情况下，对不同时刻的质心位置进行判断，判断标准为并且其中，和连通域质心矢量，由此推断在极短时间以内该点的运动轨迹近似一条直线，从而判断该点属于酒瓶中的杂质。