CN112893007A - 一种基于机器视觉的点胶***及其点胶方法 - Google Patents

Abstract

本发明公开一种基于机器视觉的点胶***，包括点胶输送线、放置于点胶输送线上的用于承载待点胶产品的点胶平台、布置于点胶输送线上方的点胶机械手和飞拍相机，以及安装于点胶机械手上的点胶枪，还包括人机操作界面、控制板卡设置模块、标定模块、图像处理模块、标准模板制作模块、轨迹绘画模块、模板匹配模块。该点胶***设有飞拍相机，可对产品进行定位，进而通过点胶机械手驱动点胶枪实现自动化点胶，自动化程度高、点胶效率高，同时，还提供一种点胶方法，该方法通过对采集的产品图像进行预处理，进而可提高依据该图像制作的标准轮廓模板的精度，进而在模板匹配时，可降低匹配定位的误差，提高点胶精度。

Description

一种基于机器视觉的点胶***及其点胶方法

技术领域

本发明涉及点胶技术领域，尤其涉及一种基于机器视觉的点胶***及其点胶方法。

背景技术

在音响制造业领域，喇叭在制作生产中，需要对其进行点胶，而现有的常规对其点胶的方式主要采用人工或人工操作简单的机械完成，自动化程度不高、点胶效率低，且部分胶水会腐蚀手皮表面，且味道难闻，会对工人造成干扰，影响其正常工作，同时人工点胶精度较差，产品不合格率较高。

发明内容

本发明的目的是提供一种基于机器视觉的点胶***，该点胶***设有飞拍相机，可对产品进行定位，进而通过点胶机械手驱动点胶枪实现自动化点胶，自动化程度高、点胶效率高，同时，还提供一种点胶方法，该方法通过对采集的产品图像进行预处理，进而可提高依据该图像制作的标准轮廓模板的精度，进而在模板匹配时，可降低匹配定位的误差，提高点胶精度，对不同类型的产品点胶时，通过人机操作界面更改***控制参数及相应的标准轮廓模板即可，操作简单方便。

为实现上述目的，采用以下技术方案：

一种基于机器视觉的点胶***，包括点胶输送线、放置于点胶输送线上的用于承载待点胶产品的点胶平台、布置于点胶输送线上方的点胶机械手和飞拍相机，以及安装于点胶机械手上的点胶枪，还包括

人机操作界面：用于实现人机交互；

控制板卡设置模块：用于设置该***的控制参数；

标定模块：用于对点胶输送线和飞拍相机进行标定；

图像处理模块：用于对飞拍相机采集的产品图像信息进行预处理；

标准模板制作模块：用于依据图像处理模块处理后的产品图像信息，制作标准轮廓模板；

轨迹绘画模块：用于在标准轮廓模板上绘画点胶轨迹；

模板匹配模块：用于将标准轮廓模板与对应的待点胶产品进行匹配，以便点胶枪对产品点胶。

进一步地，所述图像处理模块包括对比度处理单元、平滑处理单元、同态滤波处理单元。

为实现上述目的，还提供一种基于机器视觉的点胶方法，包括以下步骤：

S1：通过控制板卡设置模块设置***的控制参数，以使得飞拍相机能飞拍定位待点胶的产品；

S2：对点胶输送线进行标定；

S3：对飞拍相机进行标定；

S4：采集产品的图像信息并对其进行预处理；

S5：基于S4预处理后的产品图像信息，制作标准轮廓模板，并在标准轮廓模板上绘画点胶轨迹；

S6：将S5制作的标准轮廓模板与待点胶产品进行匹配，并依据点胶轨迹通过点胶枪对其点胶。

进一步地，所述S2包括以下步骤：

S21：在点胶输送线静止时，将点胶枪移动至位于点胶输送线上的标定板的十字中心点的上方，进而获取第一定位点坐标；

S22：开启点胶输送线运转，在预设时间间隔内驱动标定板移动一定距离，随后将点胶枪移动至标定板的十字中心点的上方，进而获取第二定位点坐标；

S23：依据第一定位点坐标、第二定位点坐标以及预设时间间隔，计算点胶输送线的运转速率并保存。

进一步地，所述S3包括以下步骤：

S31：设置机械手坐标系及相机坐标系，并写出两者的关系等式：

其中，

表示机械手坐标，

R为相机旋转角度，M为相机的位移量；

S32：获取标定板中多个标定点在机械手坐标系下的坐标以及该标定点对应在相机坐标系下的坐标，并带入S31中的关系等式，进而求解方程，完成标定。

进一步地，所述S4包括以下步骤：

S41：通过飞拍相机采集待点胶产品的图像信息；

S42：对采集的图像信息通过灰度值线性变换的方法进行对比度增强处理；

S43：对采集的图像信息进行平滑处理；

S44：对采集的图像信息进行同态滤波处理。

进一步地，所述S42包括以下步骤：

S421：写出图像处理前的图像灰度值与处理后图像灰度值之间的关系等式：

g(m,n)＝T[f(m,n)]，

其中，f(m,n)表示图像处理前，g(m,n)表示图像处理后，T[]表示两者之间的灰度变换关系；

S422：设定f(m,n)∈[a,b]，g(m,n)∈[c,d]，将S421中的关系等式转换为：

g(m,n)＝c+k[f(m,n)-a]，

其中

S423：通过改变[a,b]和[c,d]的取值范围，实现对图像的对比度处理。

进一步地，所述S5包括以下步骤：

S51：通过人机操作界面对S4预处理后的产品图像进行缩放，并勾勒出产品轮廓；

S52：选择轨迹类型，并对应产品的点胶部位在产品轮廓图像上点出若干相应的点，进而拟合成点胶轨迹。

进一步地，所述S6具体包括以下步骤：

S61：采集待点胶产品的图像并基于模板匹配算法将其与标准轮廓模板进行匹配；

S62：依据点胶轨迹对待点胶产品进行定位并控制点胶枪对其点胶。

采用上述方案，本发明的有益效果是：

该点胶***设有飞拍相机，可对产品进行定位，进而通过点胶机械手驱动点胶枪实现自动化点胶，自动化程度高、点胶效率高，同时，还提供一种点胶方法，该方法通过对采集的产品图像进行预处理，进而可提高依据该图像制作的标准轮廓模板的精度，进而在模板匹配时，可降低匹配定位的误差，提高点胶精度，对不同类型的产品点胶时，通过人机操作界面更改***控制参数及相应的标准轮廓模板即可，操作简单方便。

附图说明

图1为本发明的点胶***的原理性框图；

图2为本发明的点胶方法的流程性框图；

其中，附图标识说明：

1—人机操作界面； 2—控制板卡设置模块；

3—标定模块： 4—图像处理模块；

5—标准模板制作模块； 6—轨迹绘画模块；

7—模板匹配模块； 41—对比度处理单元；

42—平滑处理单元； 43—同态滤波处理单元。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

参照图1所示，本发明提供一种基于机器视觉的点胶***，包括点胶输送线、放置于点胶输送线上的用于承载待点胶产品的点胶平台、布置于点胶输送线上方的点胶机械手和飞拍相机，以及安装于点胶机械手上的点胶枪，还包括

人机操作界面1：用于实现人机交互；

控制板卡设置模块2：用于设置该***的控制参数；

标定模块3：用于对点胶输送线和飞拍相机进行标定；

图像处理模块4：用于对飞拍相机采集的产品图像信息进行预处理；

标准模板制作模块5：用于依据图像处理模块4处理后的产品图像信息，制作标准轮廓模板；

轨迹绘画模块6：用于在标准轮廓模板上绘画点胶轨迹；

模板匹配模块7：用于将标准轮廓模板与对应的待点胶产品进行匹配，以便点胶枪对产品点胶。

其中，所述图像处理模块4包括对比度处理单元41、平滑处理单元42、同态滤波处理单元43。

继续参照图2所示，还提供一种基于机器视觉的点胶方法，包括以下步骤：

S1：通过控制板卡设置模块2设置***的控制参数，以使得飞拍相机能飞拍定位待点胶的产品；

S2：对点胶输送线进行标定；

S3：对飞拍相机进行标定；

S4：采集产品的图像信息并对其进行预处理；

S5：基于S4预处理后的产品图像信息，制作标准轮廓模板，并在标准轮廓模板上绘画点胶轨迹；

S6：将S5制作的标准轮廓模板与待点胶产品进行匹配，并依据点胶轨迹通过点胶枪对其点胶。

其中，所述S2包括以下步骤：

S21：在点胶输送线静止时，将点胶枪移动至位于点胶输送线上的标定板的十字中心点的上方，进而获取第一定位点坐标；

S22：开启点胶输送线运转，在预设时间间隔内驱动标定板移动一定距离，随后将点胶枪移动至标定板的十字中心点的上方，进而获取第二定位点坐标；

S23：依据第一定位点坐标、第二定位点坐标以及预设时间间隔，计算点胶输送线的运转速率并保存。

所述S3包括以下步骤：

S31：设置机械手坐标系及相机坐标系，并写出两者的关系等式：

其中，

表示机械手坐标，

R为相机旋转角度，M为相机的位移量；

S32：获取标定板中多个标定点在机械手坐标系下的坐标以及该标定点对应在相机坐标系下的坐标，并带入S31中的关系等式，进而求解方程，完成标定。

所述S4包括以下步骤：

S41：通过飞拍相机采集待点胶产品的图像信息；

S42：对采集的图像信息通过灰度值线性变换的方法进行对比度增强处理；

S43：对采集的图像信息进行平滑处理；

S44：对采集的图像信息进行同态滤波处理。

所述S42包括以下步骤：

S421：写出图像处理前的图像灰度值与处理后图像灰度值之间的关系等式：

g(m,n)＝T[f(m,n)]，

其中，f(m,n)表示图像处理前，g(m,n)表示图像处理后，T[]表示两者之间的灰度变换关系；

S422：设定f(m,n)∈[a,b]，g(m,n)∈[c,d]，将S421中的关系等式转换为：

g(m,n)＝c+k[f(m,n)-a]，

其中

S423：通过改变[a,b]和[c,d]的取值范围，实现对图像的对比度处理。

所述S5包括以下步骤：

S51：通过人机操作界面1对S4预处理后的产品图像进行缩放，并勾勒出产品轮廓；

S52：选择轨迹类型，并对应产品的点胶部位在产品轮廓图像上点出若干相应的点，进而拟合成点胶轨迹。

所述S6具体包括以下步骤：

S61：采集待点胶产品的图像并基于模板匹配算法将其与标准轮廓模板进行匹配；

S62：依据点胶轨迹对待点胶产品进行定位并控制点胶枪对其点胶。

本发明工作原理：

继续参照图1至2所示，本发明提供了一种基于机器视觉的点胶方法和一种应用该方法的点胶***，点胶***中的点胶输送线可为输送皮带，用于传输待点胶产品，点胶机械手可包括三轴移载机构(X轴、Y轴、Z轴)，可驱动点胶枪在立体空间内移动至产品的点胶部位上方，以便点胶枪进行点胶；可通过人机操作界面1进行人机交互，通过控制板卡设置模块2依据不同的产品类型设置***的控制参数，包括飞拍相机的高度、点胶机械手的位置调整、点胶枪中的点胶气缸的参数调整，以及每一出料点的点胶延时调整等，进而适应不同类型产品的点胶，泛用性强；在具体点胶工作前，需要先通过标定模块3对点胶输送线和飞拍相机进行标定，以确保点胶精度；标定完成后，就可以通过标准模板制作模块5制作不同类型产品的标准轮廓模板并保存，在对不同产品点胶时，更换与之相对应的标准轮廓模板即可，简单方便；在标准轮廓模板制作完成后，通过轨迹绘画模块6在模板上绘画点胶轨迹，在经模板匹配模块7将两者匹配成功后，依据该点胶轨迹就可以控制点胶枪对产品自动点胶，点胶效率高。

点胶方法具体包括：

首先依据待点胶产品的类型，通过控制板卡设置模块2设置***相应的控制参数，以使得飞拍相机能飞拍定位待点胶的产品；随后需要对点胶输送线和飞拍相机进行标定，在对点胶输送线进行标定时，可首先将点胶输送线静止，放上标定板，将点胶枪移动到这个标定板的十字中心点的正上方对准，进而获取第一定位点坐标；随后，设置时间间隔，开启点胶输送线运转，在预设时间间隔内驱动标定板移动一定距离，随后将点胶枪移动至标定板的十字中心点的上方，进而获取第二定位点坐标，进而通过第一定位点坐标、第二定位点坐标以及预设时间间隔，即可计算点胶输送线的运转速率(编码器速率)并保存，完成点胶输送线的标定。

随后对飞拍相机进行标定，目的是为了得到机械手坐标系(移载点胶枪的点胶机械手)与相机坐标系之间的关系，进而可将采集的图像中的点位坐标依据该关系得到机械手实际的坐标，即给机械手装上眼睛，进而知道其所处的位置，具体如下：

其中，

表示机械手坐标，R为相机旋转角度，M为相机的位移量，可以将其进一步地转换为：

这样即可通过选取标定板中多个标定点在机械手坐标系下的坐标以及对应在相机坐标系下的坐标，并带入上式，进而求解方程，完成标定，由上面的式子可知，最少需要3个点位坐标才可以求出标定的矩阵。

标定完成后，就可以对采集的产品图像信息进行预处理，以便提高标准轮廓模板的制作精度，图像预处理包含了对比度增强处理、平滑处理和同态滤波处理，可改善图像视觉效果，提高图像清晰度，将图像转换成一种更适合机器分析处理的形式；其中，采用图像灰度值变换的方法，即改变灰度值，以改变图像灰度动态范围，增强图像对比度，设

g(m,n)＝T[f(m,n)]，

其中，f(m,n)表示图像处理前，g(m,n)表示图像处理后，T[]表示两者之间的灰度变换关系；

而原图像f(m,n)∈[a,b]，线性变换后g(m,n)∈[c,d]，则上述关系等式可变换为：

g(m,n)＝c+k[f(m,n)-a]，

其中

k称为变换函数的斜率，根据[a,b]和[c,d]取值大小可对图像增强产生不同的效果：扩展或缩小动态范围，改变取值区间，反转或取反等效果，其中：

若

即k>1，则结果会使图像灰度取值的动态范围展宽，这样就可以改善曝光不足的缺陷，充分利用图像显示设备的动态范围；

若

即0<k<1，则变换后图像动态范围变窄；

若k＝1,即d-c＝b-a，则变换后灰度动态范围不变，但灰度取值区间会随a和c的大小而平移；

若k<0，即对于b>a，有d>c，则变换后图像灰度会反转，即原亮变暗，原暗变亮。

随后，对图像进行平滑处理，图像中的噪声以孤立点的形式出现，这些点对应像素数较少，而图像则是由像素数较多，面积较大的块构成，对窗口内(标记为W)采集到的所有像素灰度值进行排序，取排序中间值作为窗口中心点像素灰度值，则：

g(m,n)＝med{f(m-i,n-j),(i,j)∈W}，

通过平滑处理对干扰脉冲和点噪声有良好的抑制作用，对图像边缘能较好的保持非线性图像增强。

最后对图像进行同态滤波处理，图像是由光源的照度分量(照度场)r(m,n)和目标场的反射分量i(m,n)组成，即

f(m,n)＝i(m,n)·r(m,n)，从f(m,n)中把i(m,n)和r(m,n)分开，并分别采取压缩低频，提升高频的方法，达到减弱照度分量，增强反射分量，使图像清晰的目的。

图像进行预处理后，即会得到高清的处理后的图像，即可在该图像的基础上完成标准轮廓模板的制作，具体地：可首先通过人机操作界面1将图像缩放至合适大小，并选定产品的轮廓特征区域，并将中间的杂乱轮廓删除，将产品轮廓提取，随后，选择轨迹类型：如圆、椭圆等，按照产品点胶部位画4个以上点确定一个路径，路径可根据实际需求拟合成圆形路径、椭圆形或多边形路径，以适应不同类型的产品；模板制作完成后，就可以依据该模板与待点胶产品进行匹配，当匹配成功后，即可通过点胶枪按照预设的点胶轨迹对其点胶，模板匹配采用模板匹配算法对其匹配，该算法相似度量考虑的是模板内像素的梯度向量，并通过计算梯度向量的内积总和最小值确定最佳匹配位置，其相似度量S为：

将其进行归一化处理，即为：

以上公式中S为得分值，r、c分别为X、Y方向的渐变量，T为模板，t是清晰模板图像,其中i＝1…n，n是模板(T)数据集中的元素数，u＝1…搜索图像中的行数，v＝1…搜索图像中的列数；由于梯度向量进行了归一化，该相似度量将返回一个小于等于1的值；当S＝1时，说明模板和产品图像之间一一对应；当产品图像中的目标物体的50％被遮挡时，该相似度将不超过0.5，因此，可以选择一个直观的阈值来决定具体匹配对象；当S的值大于所设置的最低相似度值，那么模板匹配成功；模板匹配上后，使用鲁棒的拟合算法得到的点胶轨迹，定位对应需要的点胶的产品真实边界，控制点胶枪按点胶轨迹进行点胶，点胶精度高。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器视觉的点胶***，包括点胶输送线、放置于点胶输送线上的用于承载待点胶产品的点胶平台、布置于点胶输送线上方的点胶机械手和飞拍相机，以及安装于点胶机械手上的点胶枪，其特征在于，还包括

人机操作界面：用于实现人机交互；

控制板卡设置模块：用于设置该***的控制参数；

标定模块：用于对点胶输送线和飞拍相机进行标定；

图像处理模块：用于对飞拍相机采集的产品图像信息进行预处理；

标准模板制作模块：用于依据图像处理模块处理后的产品图像信息，制作标准轮廓模板；

轨迹绘画模块：用于在标准轮廓模板上绘画点胶轨迹；

模板匹配模块：用于将标准轮廓模板与对应的待点胶产品进行匹配，以便点胶枪对产品点胶。

2.根据权利要求1所述的基于机器视觉的点胶***，其特征在于，所述图像处理模块包括对比度处理单元、平滑处理单元、同态滤波处理单元。

3.一种基于机器视觉的点胶方法，其特征在于，包括以下步骤：

S1：通过控制板卡设置模块设置***的控制参数，以使得飞拍相机能飞拍定位待点胶的产品；

S2：对点胶输送线进行标定；

S3：对飞拍相机进行标定；

S4：采集产品的图像信息并对其进行预处理；

S5：基于S4预处理后的产品图像信息，制作标准轮廓模板，并在标准轮廓模板上绘画点胶轨迹；

S6：将S5制作的标准轮廓模板与待点胶产品进行匹配，并依据点胶轨迹通过点胶枪对其点胶。

4.根据权利要求3所述的基于机器视觉的点胶方法，其特征在于，所述S2包括以下步骤：

S21：在点胶输送线静止时，将点胶枪移动至位于点胶输送线上的标定板的十字中心点的上方，进而获取第一定位点坐标；

S22：开启点胶输送线运转，在预设时间间隔内驱动标定板移动一定距离，随后将点胶枪移动至标定板的十字中心点的上方，进而获取第二定位点坐标；

S23：依据第一定位点坐标、第二定位点坐标以及预设时间间隔，计算点胶输送线的运转速率并保存。

5.根据权利要求3所述的基于机器视觉的点胶方法，其特征在于，所述S3包括以下步骤：

S31：设置机械手坐标系及相机坐标系，并写出两者的关系等式：

其中，

表示机械手坐标，

R为相机旋转角度，M为相机的位移量；

S32：获取标定板中多个标定点在机械手坐标系下的坐标以及该标定点对应在相机坐标系下的坐标，并带入S31中的关系等式，进而求解方程，完成标定。

6.根据权利要求3所述的基于机器视觉的点胶方法，其特征在于，所述S4包括以下步骤：

S41：通过飞拍相机采集待点胶产品的图像信息；

S42：对采集的图像信息通过灰度值线性变换的方法进行对比度增强处理；

S43：对采集的图像信息进行平滑处理；

S44：对采集的图像信息进行同态滤波处理。

7.根据权利要求6所述的基于机器视觉的点胶方法，其特征在于，所述S42包括以下步骤：

S421：写出图像处理前的图像灰度值与处理后图像灰度值之间的关系等式：

g(m,n)＝T[f(m,n)]，

其中，f(m,n)表示图像处理前，g(m,n)表示图像处理后，T[]表示两者之间的灰度变换关系；

S422：设定f(m,n)∈[a,b]，g(m,n)∈[c,d]，将S421中的关系等式转换为：

g(m,n)＝c+k[f(m,n)-a]，

其中

S423：通过改变[a,b]和[c,d]的取值范围，实现对图像的对比度处理。

8.根据权利要求3所述的基于机器视觉的点胶方法，其特征在于，所述S5包括以下步骤：

S51：通过人机操作界面对S4预处理后的产品图像进行缩放，并勾勒出产品轮廓；

S52：选择轨迹类型，并对应产品的点胶部位在产品轮廓图像上点出若干相应的点，进而拟合成点胶轨迹。

9.根据权利要求3所述的基于机器视觉的点胶方法，其特征在于，所述S6具体包括以下步骤：

S61：采集待点胶产品的图像并基于模板匹配算法将其与标准轮廓模板进行匹配；

S62：依据点胶轨迹对待点胶产品进行定位并控制点胶枪对其点胶。

Images