CN108381549A - 一种双目视觉引导机器人快速抓取方法、装置及存储介质 - Google Patents

Abstract

本发明实施例公开了一种双目视觉引导机器人快速抓取方法、装置及存储介质，包括对左右相机进行校正后，对左视图采用基于边缘轮廓的匹配算法获得目标点坐标位置;针对所述目标点坐标位置，通过自适应权重匹配算法求出其在右视图上匹配结果，并获得视差值；将所述视差值结果转换为深度信息；根据所述深度信息计算输出目标抓取点的空间坐标，引导机器人完成快速定位抓取动作。本发明实施例还公开了一种用于双目视觉引导机器人快速抓取的装置及存储介质。采用本发明，可减小光线的干扰，并可相对传统的双目视觉立体定位算法速度快3~6倍，且在水平方向精度高达0.1mm，竖直方向精度高达1mm内，特别适用于Scara机器人抓取精度要求。

Description

一种双目视觉引导机器人快速抓取方法、装置及存储介质

技术领域

本发明涉及一种机器视觉处理方法，尤其涉及一种双目视觉引导机器人快速抓取方法、装置及存储介质。

背景技术

双目立体视觉技术通过模拟人类双眼的处理方式，具有获取待测物体深度信息的能力，进而能够获得被测物体的空间位置信息，同时又具有无损测量及实时测量的优点，在各行各业得到了广泛的应用。双目立体视觉技术在保证非接触性、实时性等优点的同时能够精确地获得目标点的空间位置信息。其可应用于三维高精度伺服控制、高精度空间定位以及高精度三维测量等方面。零件的加工定位精度直接影响着零件的加工精度，而对于精密零件定位精度有可能直接影响加工零件是否可用，同时针对精密超精密零件的加工定位往往要求非接触的特点，基于双目立体视觉的精密零件的精确定位方法应运而生。

传统双目视觉引导机器人抓取，匹配定位速度慢，往往需要1～2s以上才能完成定位，整个抓取动作周期通常超过4s以上，难以突破抓取效率。

发明内容

本发明实施例所要解决的技术问题在于，提供一种双目视觉引导机器人快速抓取方法、装置及存储介质。可快速识别抓取目标的深度信息，并快速进行工件抓取。

为了解决上述技术问题，本发明实施例提供了一种双目视觉引导机器人快速抓取方法，包括以下步骤：

步骤1：对左右相机进行校正后，对左视图采用基于边缘轮廓的匹配算法获得目标点坐标位置；

步骤2：针对所述目标点坐标位置，通过自适应权重匹配算法求出其在右视图上匹配结果，并获得视差值；

步骤3：将所述视差值结果转换为深度信息；

步骤4：根据所述深度信息计算输出目标抓取点的空间坐标，引导机器人完成快速定位抓取动作。

进一步地，所述步骤1还包括以下步骤：

采用Canny算法查找目标物体轮廓边缘；

保存轮廓数据，将边缘轮廓上各坐标点的x,y方向和梯度信息保存为模板模型，并将所述各坐标点重新排列为以重心坐标为起点的点集。

更进一步地，所述步骤1还包括以下步骤：

使用相似性度量将所述模板模型与所有位置处的搜索图像进行比较。

更进一步地，所述步骤2还包括以下步骤：

采用自适应权重的双目立体匹配算法搜索右视图中的对应所述目标点的匹配点，以所述匹配点与所述目标点进行计算视差值。

更进一步地，所述步骤3具体包括：

通过以下公式进行计算深度信息：

其中，Z为深度信息，f为相机焦距，T为左右相机的基线距离，d是视差值。

相应地，本发明实施例还提供了一种用于双目视觉引导机器人快速抓取的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

相应地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

实施本发明实施例，具有如下有益效果：本发明采用基于边缘轮廓的匹配算法，受环境光线干扰影响小，且立体匹配速度比传统双目视觉立体定位算法速度快3～6倍，且在水平方向精度高达0.1mm，竖直方向精度高达1mm内，特别适用于Scara机器人抓取精度要求。

附图说明

图1是本发明方法的整体流程结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参照图1所示的流程图。

本发明实施例的一种双目视觉引导机器人快速抓取方法通过以下步骤进行。

在开始前对双目相机的左右相机分别进行预处理，读取相机标定内参，对左右图像进行极线校正。

在经过校正的左相机的左视图内创造目标感兴趣区域(ROI)

第一步，基于边缘模板的创建

1.采用Canny算法查找目标物体轮廓边缘。

Step1:用高斯滤波器平滑图像

公式：

G(x，y)＝f(x，y)*H(x，y)

Step2:用一阶偏导的有限差分来计算图像梯度，方向公式

图像梯度Magnitude

图像方向Direction

Step3:做非最大值抑制

在每一点上，邻域的中心象素M与沿着梯度线的两个象素相比。

如果M的梯度值不比沿梯度线的两个相邻象素梯度值大，则令M＝0。

——假设上一步骤得到的梯度图为G(x,y)；对G(x,y)进行初始化：N(x,y)＝G(x,y)。

——在梯度和反梯度方向上各找n个像素点。若G(x,y)不是这些点中的最大点，则将N(x,y)置为0，否则保持N(x,y)不变。

Step4:双线性阈值

减少假边缘段数量的典型方法是对N[i,j]使用一个阈值。将低于阈值的所有值赋零值。

采用双阈值算法方法，双阈值算法对非极大值抑制图象作用两个阈值T1和T2，且2T1≈T2，从而可以得到两个阈值边缘图象N1[i,j]和N2[i，j]。由于N2[i，j]使用高阈值得到，因而含有很少的假边缘，但有间断(不闭合)。双阈值法要在N2[i，j]中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N1[i,j]的8邻点位置寻找可以连接到轮廓上的边缘，这样，算法不断地在N1[i,j]中收集边缘，直到将N2[i,j]连接起来为止。

2.保存轮廓数据

将边缘轮廓上各坐标点的x,y方向和梯度信息保存为模板模型。这些坐标将被重新排列成以重心坐标作为起点的点集。

第二步，单视图中查找模板获取目标对象位置

1.模型相似性度量及优化加速策略

设轮廓模板点集为：

其在x，y方向的梯度设为：

其中i为模板轮廓的像素数据序列。

求取待查找图像的梯度为：

其中u为待查找图像的行坐标row，v为待查找图像的行坐标column。

在匹配过程中，应该使用相似性度量将模板模型与所有位置处的搜索图像进行比较。相似性测度背后的思想是将模板图像梯度向量的所有归一化点求和，并在模型数据集中的所有点上搜索图像。结果将在搜索图像中的每个点上生成一个得分值。公式如下：

如果模板模型和搜索图像之间存在完美匹配，则此函数将返回分数1。分数对应于搜索图像中可见对象的部分，如果对象不在搜索图像中，分数将为0。

优选的是，为了加快搜索速度。当找到相似性度量时，为相似性度量设置一个最小分数(Smin)，则不需要评估模板模型中的所有点。

为了***分特定点J的得分S(u,v)，必须找到部分和Sm。则点m处的Sm可以定义如下：

显然，这个和的结果小于或等于1.所以当满足以下条件时即可停止计算：

Sm＞S^min-1+m/n

另一个快速搜索的标准是:任何一点的局部得分都应该大于最小得分。即：

Sm＞S^min*m/n

当使用这个条件时，匹配效率将会非常快。

如果检查目标对象有部分边缘缺失，则局部求和值结果将会很低，这样该对象将被视为匹配不成功。则通过用另一个标准方式来改善这种情况：采用一个相对安全的停止搜索标准来检查模板模型的第一部分，剩下的用另一个更严格的标准S^minm/n，即用户可以指定一个贪婪参数(g)，设定其中一部分模板模型用高标准来检查。如果g＝1，模板模型中的所有点都用高标准检查，如果g＝0，所有点将仅用安全标准检查。按照以下步骤来制定这个程序。

上述局部分数的计算收敛停止标准：

这种基于边缘的目标匹配方法具有几个优点：

(1)匹配效率高于基于灰度的模板匹配算法(2～3倍左右)。

(2)对于非线性光照变化是不变的，因为所有梯度矢量都被归一化。由于在边缘滤波上没有分割，所以它将显示真正的不变性，以防止任意的照明变化。

(3)当物体部分可见或与其他物体混合时，这种相似性度量是稳健的。

2.输出查找匹配获得结果的点集

M_L＝{(x，y)|x＝arg max_x(Sm_(x，y))，y＝arg max_y(Sm_(x，y))}

第三步，双目立体匹配，计算物料抓取点高度信息。

1.双目立体匹配算法——自适应权重算法(AW算法)

利用模板匹配搜索到物料的中心点作为左视图搜索点，采用自适应权重的双目立体匹配算法搜索右视图中的对应匹配点。仅仅计算该点相对右视图的视差值，即可获得该点的深度信息。大幅降低了搜索匹配计算量，提升了算法效率。

在极线校正后的左视图中，以上一步骤基于边缘的模板匹配算法查找匹配到的目标中心像素点p为中心建立一个相关窗口，假设q是该窗口内的某一点，w(p，q)为p,q两点的互相关权重。

w(p，q)的计算方法：

其中，Δc_pq表示p、q两点在色度空间的欧拉距离，Δg_pq表示p、q两点在几何空间的欧拉距离，γ_c,γ_p表示控制空间距离权重与颜色距离权重系数。其中Δc_pq和Δg_pq的计算如下：

同样在右视图中相同坐标位置处建立同样大小的一个相关窗口，在视差搜索范围内将窗口按单个像素步长左移，移动距离设为d。然后同时计算左右图像中两窗口的相似程度，左右视图中窗口的相似性计算方法为：

,其中(p_L∈M_L)。

p_L表示左视图在上述步骤中经过模板匹配获得的目标对象中心像素点，q_L表示该左视图在p_L为中心的窗口内其余像素点，p_L-d表示右视图窗口的中心像素点，q_L-d表示该右视图窗口的其余像素点，W_L，W_L-d分别表示以匹配点为中心的支持窗，e(q_L，q_L-d)表示p_L，p_L-d两点的匹配代价。

当窗口移到某个位置时左右图像两相关窗口的相似度最高，那么两窗口的中心像素则认为是匹配成功。此时根据WTA赢者通吃准则(Winner-Take-All)，获得视差值结果d_LAW。

d_LAW(p_L，d)＝arg min_d(Cost(p_L，p_L-d))

自适应权重的匹配算法在匹配窗的代价函数聚合的过程中，综合考虑了色彩空间的欧拉距离以及像素图像空间的欧拉距离，当某一个距离参数较大时，这个像素点的权重就会成指数速度下降，在代价函数聚合的步骤中所占的比例就会变得很小。与传统局部立体匹配算法相比，自适应权重的匹配算法的匹配精度更高，误匹配率更低，甚至在边缘处视差也有较好的处理效果，视差图平滑性较好。而显然***的稳定性和准确度是引导Scara机器人完成抓取动作的关键。

2.计算目标深度信息

根据上一步获得立体匹配的视差值，计算目标的深度信息。

深度Z计算公式：

Z为像素深度信息，f为相机焦距，T为双目相机的基线距离，d是前述步骤计算得到的中心像素视差值。

第四步，坐标换算，输出抓取点三维空间坐标，引导机器人完成抓取。

本发明实施例还提供了一种用于双目视觉引导机器人快速抓取的装置，可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种用于双目视觉引导机器人快速抓取的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种用于双目视觉引导机器人快速抓取的装置，并不构成对一种用于双目视觉引导机器人快速抓取的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种用于双目视觉引导机器人快速抓取的装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种用于双目视觉引导机器人快速抓取的装置的控制中心，利用各种接口和线路连接整个一种用于双目视觉引导机器人快速抓取的装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种用于双目视觉引导机器人快速抓取的装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述一种用于双目视觉引导机器人快速抓取的装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

发明实施例具有如下优点：

1)先通过Canny算法计算图像边缘梯度，采用基于边缘轮廓的匹配算法获取匹配目标的二维位置，在此基础上针对目标匹配中心点做自适应权重立体匹配算法(AW)并获得视差值，通过坐标转换关系换算成三维空间坐标完成快速定位任务。

2)本发明的优点在于，只需要针对一个点进行搜索匹配即获得目标抓取点的深度信息，大幅缩小了图像双目匹配搜索范围。而传统算法需要先针对整幅图所有像素点做搜索匹配求得整幅视差图，再进一步分析提取目标抓取点的深度信息。显然本发明的效率要远远高于传统算法。尤其在高分辨率场合下，效果更明显，是实现快速立体定位的关键。

3)本发明拥有二维空间基于视觉图像匹配搜索的高精准度特点，水平定位精度远高于其他传统三维匹配算法(如三角激光法等)。

4)本发明通过将基于轮廓匹配的方法和双目视觉计算深度的方法相结合，不但具有二维图像高精度定位优势，还优化了双目视觉匹配效率，实现了目标工件的快速立体定位。特别适合引导Scara机器人完成空间抓取任务。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种双目视觉引导机器人快速抓取方法，其特征在于，包括以下步骤：

步骤1：对左右相机进行校正后，对左视图采用基于边缘轮廓的匹配算法获得目标点坐标位置；

步骤2：针对所述目标点坐标位置，通过自适应权重匹配算法求出其在右视图上匹配结果，并获得视差值；

步骤3：将所述视差值结果转换为深度信息；

步骤4：根据所述深度信息计算输出目标抓取点的空间坐标，引导机器人完成快速定位抓取动作。

2.根据权利要求1所述的双目视觉引导机器人快速抓取方法，其特征在于，所述步骤1还包括以下步骤：

采用Canny算法查找目标物体轮廓边缘；

保存轮廓数据，将边缘轮廓上各坐标点的x,y方向和梯度信息保存为模板模型，并将所述各坐标点重新排列为以重心坐标为起点的点集。

3.根据权利要求2所述的双目视觉引导机器人快速抓取方法，其特征在于，所述步骤1还包括以下步骤：

使用相似性度量将所述模板模型与所有位置处的搜索图像进行比较。

4.根据权利要求1～3任一项所述的双目视觉引导机器人快速抓取方法，其特征在于，所述步骤2还包括以下步骤：

采用自适应权重的双目立体匹配算法搜索右视图中的对应所述目标点的匹配点，以所述匹配点与所述目标点进行计算视差值。

5.根据权利要求4所述的双目视觉引导机器人快速抓取方法，其特征在于，所述步骤3具体包括：

通过以下公式进行计算深度信息：

其中，Z为深度信息，f为相机焦距，T为左右相机的基线距离，d是视差值。

6.一种用于双目视觉引导机器人快速抓取的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或5所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或5所述方法的步骤。