CN114851206B - 基于视觉引导机械臂抓取炉具的方法 - Google Patents

Abstract

本发明公开一种基于视觉引导机械臂抓取炉具的方法，包括以下步骤：制作炉具工件的匹配模板；图像预处理，包括图像矫正、消除噪声，为后续处理提供高质量图像；通过匹配算法计算得出炉具工件的坐标参数；利用手眼标定参数通过多次测量计算补偿量计算出机械臂抓取位姿。本发明针对可靠、快速和精确的机械臂抓取工作，通过搭建相机光源***，利用相机的高精度，获得了物体的高精度三维信息。为了精确计算炉具的姿态，对二维图像进行滤波处理，然后采用匹配算法对场景和模型进行精确匹配。炉具位姿可以通过坐标系变换确定,以便机器人正确地抓取炉具。该***能够在各种角度及各种距离的物体中以准确位姿抓取炉具，可靠、快速和精确的完成机械臂抓取工作。

Description

基于视觉引导机械臂抓取炉具的方法

技术领域

本发明涉及机械臂抓取控制技术领域，特别是涉及一种基于视觉引导机械臂抓取炉具的方法。

背景技术

工业生产过程中，如冲压、重复装配、焊接、喷漆等工作中，由于工作环境恶劣、劳动性质单一且技术含量低，导致很多人不愿意从事该类工作。企业迫切希望能够使用机械臂代替人工作业，降低工人劳动强度，提高产品生产质量，实现自动化生产。机械臂在现在工业领域得到广泛的应用，如分拣、搬运、装配等。但传统机械臂采用离线编程方式，将机械臂提前规划好运动路线及工作动作，不具备实时调整功能，只能进行简单动作，不能满足实际生产需求。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于视觉引导机械臂抓取炉具的方法，通过视觉引导使得机械臂在日常工作中能够更智能化，能够感知工作环境的变化做出相应的调整，提高企业的自动化生产水平，推动劳动密集型企业自动化智能化改造进程。

为实现本发明的目的所采用的技术方案是：

一种基于视觉引导机械臂抓取炉具的方法，包括：

S1.根据不同炉具设计制作不同的抓取模板；

S2.对采集得到的图像预处理，确定炉具件是否存在，对包含炉具的炉具图像进行ROI区域定位；

S3.将抓取模板与预处理后的炉具图像输入至检测算法中匹配处理，匹配成功后，输出匹配结果；

S4.将匹配结果发送给机械臂，所述机械臂根据输出的匹配结果对炉具进行抓取。

其中，步骤S2中，对包含炉具的炉具图像进行ROI区域定位，包括：

通过颜色空间转换，增强炉具图像边缘特征；对现场环境对拍摄产生的椒盐噪声预处理，进行消噪；对消完噪的炉具图像进行ROI分割，定位兴趣区。

其中，步骤S3中，将所述抓取模板与预处理后的炉具图像输入至检测算法中匹配处理，由所述检测算法对预处理定位后的炉具图像与抓取模板进行匹配，经过仿射变换以及最小二成法约束，得到匹配后炉具件的坐标。

其中，所述仿射变换采用如下的旋转矩阵进行，得到匹配后炉具件坐标：

其中，x，y为抓取模板坐标值，x′，y′为匹配后炉具件的坐标，θ为匹配后炉具件与抓取模板间的旋转角度。

其中，步骤S4中，所述机械臂根据输出的匹配结果对炉具进行抓取包括：

所述机械臂根据匹配后炉具件的坐标、炉具件与抓取模板间的旋转角度以及高度差调整其位姿，调整位姿完成后对待抓取炉具件进行抓取。

本发明通过使用视觉算法引导机械臂进行工作，可根据实时的工作环境进行调整工作状态，如抓取坐标的改变以及角度的变化，使得机械臂在实际工作中能够更加智能化；能提高机械臂在实际工作中的抓取精度，更好应对工作环境的变化，可应用于装配、上料等工业自动化领域，以提高现有生产线的性能。

附图说明

图1是本发明视觉引导机械臂抓取炉具的方法的流程图；

图2a-图2b是本发明得模板匹配方法匹配结果与传统匹配方法得匹配结果对比图；

图3a-图3b是本发明使用空间转换边缘匹配结果与普通图像匹配边缘结果对比图；

图4四个角点在图上位置示意图。

图5a-图5b是本发明视觉检测***与机械臂的实物示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明将视觉引导***与机械臂抓取***相结合，对炉具件进行快速定位，提高抓取精度，可以应对炉具件的位姿发生变化。

本发明能够在各种角度及各种距离的物体中以准确位姿抓取炉具，可靠、快速和精确的完成机械臂抓取工作。

本发明的基于视觉引导机械臂抓取炉具的方法，包括以下步骤：

制作适应炉具工件的所需要的匹配模板；

对通过机器视觉获取的炉具件的图像预处理，包括图像矫正、消除噪声，为后续处理提供高质量图像；

通过模板匹配算法计算得出炉具工件的坐标参数等；

利用手眼标定参数通过多次测量计算补偿量，计算出机械臂抓取位姿。

本发明针对可靠、快速和精确的机械臂抓取工作，通过搭建相机光源***，利用相机的高精度，获得物体(炉具体)的高精度三维信息，用于确定炉具件的位姿，然后利用标定参数通过多次测量计算补偿量，从而可以实现根据计算获得的炉具件的位姿，计算出机械臂抓取位姿，从而实现炉具件进行快速定位，提高抓取精度。

为了精确计算炉具的姿态，对获取的炉具的二维图像进行滤波处理，然后采用匹配算法对场景和模型进行精确匹配。

其中，炉具的位姿可以通过坐标系变换确定,以便机器人能正确地抓取炉具。

具体的，如图1所示，本发明实施例的基于视觉引导机械臂抓取炉具的方法，采取以下步骤进行：

步骤S1：制作抓取模板；

步骤S1具体为：

针对不同的种类、不同样式的炉具抓取件进行分割，对分割后的采集图制作匹配用的抓取模板，这样可以提升算法在匹配过程中的精度与鲁棒性，提高算法在不同的场景，不同产品线的使用中都能够有很好的匹配效果及精度，如图2a所示，示出民传统模板匹配方法，在边缘部分存在匹配偏差，图2b为本发明所用的模板匹配方法，在传统匹配容易出现偏差的边缘部分本发明的匹配方法能够很好的进行匹配，能够较大程度提高匹配的精度与检测的正确率。

步骤S2：对采集的图像消噪、区域定位、记录坐标以及高度数据。

步骤S2具体为：

对采集图像首先进行初步的检测，判断是否存在待抓取炉具件，如果未存在炉具工件则拍摄下一张图。

如果存在待抓取炉具件，则对拍摄的炉具件图像进行预处理操作，为降低环境的影响，通过颜色空间转换，增强炉具图像边缘特征。对现场环境对拍摄产生的椒盐噪声进行预处理，对消完噪的图像进行ROI区域分割，定位兴趣区，提高下一步骤的匹配成功率，图3a所示为普通图像匹配边缘结果，图3b为空间转换边缘匹配结果，能够较大程度提高匹配的精度与检测的正确率。

步骤S3：将分割好的图像输入到匹配函数中，通过匹配计算得出待抓取炉具件的坐标与相对于模板的旋转角度或是变化角度；

所述步骤S3具体为：

将经过步骤S2预处理的图像输入至检测函数\匹配函数中，在相应的检测函数\匹配函数中使用本发明的匹配算法/检测算法，通过模板对待匹配图的ROI区域进行搜索匹配，通过对待匹配图的ROI区域进行边缘梯度的计算；

其中计算边缘梯度的y，x两个方向算子分别为算子A与算子B，I为消噪后图像，G_Mag为待匹配图的ROI区域的梯度值，T_mag为模板图的梯度值，其中梯度值的计算如下式：

通过上式的算子计算搜索区域的边缘梯度得出待匹配区域的边缘，通过与模板的边缘进行匹配。根据匹配公式得出区域所匹配的效果，根据Score值判断匹配的结果是否符合要求，其中匹配计算方法如下式所示：

T_x＝B*T

T_y＝A*T

G_x＝B*I

G_y＝A*I

其中T_x、T_y为模板图像分别在x，y方向的梯度值；G_x、G_y分别为待匹配图像分别在x，y方向的梯度值；n为模板图中所有梯度值的数量；Score值为区域内匹配的得分，得分越高匹配效果越好。

最终得分会与设定的阈值相比较，大于设定的阈值说明匹配完成；小于设定的阈值说明匹配效果不佳，则通过金字塔层级上下采样改变待匹配图像的尺寸重新进行匹配，金字塔层级上下采样，计算待匹配图像边缘与模板边缘间的比例关系自适应地放缩在长宽两个方向的比例，进行一定的比例放缩调整，如下式所示：

其中，W_r，H_r为长宽两个方向变换后尺寸；σ_w，σ_h长宽变换系数；T₁…T₄为四个角点特征点的方向向量余弦值，其中角点特征图如图4所示。

通过金字塔层级进行比例调整，重新计算匹配值Score，当Score值大于设定阈值时匹配结束。

记录匹配后的炉具件的二维坐标(x,y)，经过仿射变换，计算当前炉具件的与抓取模板间的旋转角度θ或是变化角度θ，记录(x，y|θ,H)，H为步骤S2中所记录的匹配后的炉具件的高度与模板高度间的差值(即机器视觉的相机距离炉具件的距离，也就是机械臂抓手距离炉具件的距离，即)机械臂抓手需要移动的距离，将坐标值、旋转角度或是变化角度与高度差值发送至机械臂。

步骤S4：将步骤S3的检测结果输出；

其中，步骤S4具体为：

将经过S3检测待抓取炉具件的位姿((x，y|θ,H))输出给机械臂，机械臂根据坐标值、旋转角度或是变化角度与高度差进行调整其位姿，调整完成后对待抓取炉具件进行精确抓取。

实际应用中，利用机器视觉引导机械臂抓取工作还是有很大得挑战，尤其在工厂工作环境中本身会有一定的复杂型，尤其存在一些不规则产品部件、工件的晃动等，这对图1中步骤S2的图像采集与预处理带来一定难度，进而直接影响检测结果的准确率。

本发明实施例的基于视觉引导机械臂抓取炉具的方法，与传统的模板匹配相比，本发明的模板匹配的精度更高，效果更好，提高后续的差分精度，减少结果的误判率，有效提高了识别的准确率、鲁棒性和易用性。

传统匹配方法主要是基于灰度匹配和基于特征匹配，而基于灰度匹配对于现场的采集环境有比较高的要求及精度难以达到工业要求，基于特征匹配效果最好，但是算法复杂，耗时长，难以实现实时性。如图2a所示,使用传统的匹配方法，可见在边缘部分会出现较大的匹配误差，这使得检测结果出现错误，准确率降低，图2b所示为本发明所使用的匹配方法，在边缘部分也能够有较好的匹配效果，提高后续的检测准确率，减少在实际的工业生产中的损失。

本发明可用于炉具的自动化生产线中。目前该类生产公司主要使用叉车或人力进行搬运储存，由于该类产品的尺寸不等，叉车在搬运时需要人工进行调节叉车卡钳，一般叉车又没有防滑装置，在工厂搬运的过程中存在一定的危险性；工人在搬运过程中，炉具的重量相对较大，需要几人配合搬卸，同样会存在一定的危险。而本发明基于视觉引导机械臂抓取炉具的方法能够自动实现机械臂的搬运，减少工人与炉具件的直接操作，保障工人工作的安全性以及减少工件的中转时间，提高工作效率。

本发明可以对快速且炉具件定位不稳定的生产线实现自动化抓取，降低了机械臂在工作中对环境的要求，降低企业的使用成本且提高了实用性，有效提高了生产效率以及降低机械臂抓取失败的概率，可以应用到各种炉具件抓取的生产线中。

本发明不仅可以应用在炉具的自动化生产线中，还可应用各类生产线的搬运中，具有一定的普遍性。因使用视觉引导机械臂工作，对产品的机械定位要求不同于只使用机械臂工作，当只使用机械臂工作时，生产线上对产品的机械定位要求较高，否则机械臂无法工作；而本发明使用视觉引导机械臂工作，在生产线上产品可以有一定的冗余量，不影响机械臂的正常搬运工作。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.基于视觉引导机械臂抓取炉具的方法，其特征在于，包括：

S1.根据不同炉具设计制作不同的抓取模板；

S2.对采集得到的图像预处理，确定炉具件是否存在，对包含炉具的炉具图像进行ROI区域定位；

S3.将抓取模板与预处理后的炉具图像输入至检测算法中匹配处理，匹配成功后，输出匹配结果；包括：

通过模板对待匹配图的ROI区域进行搜索匹配，对待匹配图的ROI区域进行边缘梯度值以及模板图的梯度值的计算，根据计算的区域内匹配的得分与设定的阈值相比，判断匹配的结果是否符合要求；

，

，

，

，

，

，

，

，

，

其中、/>为模板图像分别在/>，/>方向的梯度值；/>、/>分别为待匹配图像分别在/>，方向的梯度值；/>为模板图中所有梯度值的数量；/>与/>为计算边缘梯度的/>，/>两个方向的算子，/>为消噪后图像，/>为待匹配图的ROI区域的梯度值，/>为模板图的梯度值；

若得分低于设定的阈值，则通过金字塔层级上下采样改变待匹配图像的尺寸，计算待匹配图像边缘与模板边缘间的比例关系,自适应地放缩在长宽两个方向的比例，进行一定的比例放缩调整，重新计算得分/>；得分 />大于设定的阈值时匹配结束；进行一定的比例调整如下式所示：

，

，

其中，，/>为长宽两个方向变换后尺寸；/>，/>为长宽变换系数；/>为四个角点特征点的方向向量余弦值；

匹配成功后，记录匹配后的炉具件的二维坐标，经过仿射变换，计算当前炉具件的与抓取模板间的旋转角度或变化角度，记录匹配后的炉具件的高度与模板高度间的差值，将坐标值、旋转角度或变化角度与高度差值作为匹配结果发送至机械臂；

S4.所述机械臂根据匹配后炉具件的坐标、炉具件与抓取模板间的旋转角度或变化角度，以及匹配后的炉具件的高度与模板高度间的高度差值调整其位姿，调整位姿完成后对待抓取炉具件进行抓取。

2.根据权利要求1所述基于视觉引导机械臂抓取炉具的方法，其特征在于，步骤S2中，对包含炉具的炉具图像进行ROI区域定位，包括：

通过颜色空间转换，增强炉具图像边缘特征；对现场环境对拍摄产生的椒盐噪声预处理，进行消噪；对消完噪的炉具图像进行ROI分割，定位兴趣区。

3.根据权利要求1所述基于视觉引导机械臂抓取炉具的方法，其特征在于，所述仿射变换采用如下的旋转矩阵进行，得到匹配后炉具件坐标：

，

其中，，/>为抓取模板坐标值，/>，/>为匹配后炉具件的坐标，/>为匹配后炉具件与抓取模板间的旋转角度。