CN104915957A - 一种提高工业机器人三维视觉识别精度的匹配矫正方法 - Google Patents

Abstract

本发明公开了一种提高工业机器人三维视觉识别精度的匹配矫正方法，包括如下步骤：(a)建立视觉引导的机器人***；(b)零件位置的检测及调整；(c)零件的检测及更换；(d)图像的获取和转化；(e)摄像头畸变处理；(f)摄像机标定；(g)对图像灰度化处理；(h)图像预处理；(i)边缘特征提取；(j)边缘特征匹配及矫正。本发明对图像进行特征点匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度。

Description

一种提高工业机器人三维视觉识别精度的匹配矫正方法

技术领域

本发明属于机器人三维视觉***技术领域，具体涉及一种提高工业机器人三维视觉识别精度的匹配矫正方法。

背景技术

工业机器人是一种对生产条件和生产环境适应性和灵活性很强的柔性自动化设备。特别适用于多品种、变批量的柔性生产。它对稳定提高产品品质、提高生产效率和改善劳动条件起着非常重要的作用。由于机器人是一种能适应产品迅速更新换代的柔性自动化设备，所以它的应用大大缩短了新产品的换产周期，从而提高了产品的市场竞争力。在当代工业技术革命中，工业生产日益趋向柔性自动化方向发展，工业机器人技术已成为现代工业技术革命中一个重要组成部分，许多国家都已将机器人技术列入高技术发展计划。工业机器人技术的发展必将对社会经济和生产力的发展产生更加深远的影响。

工业机器人是FMS加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流***中必不可少的设备，主要用于物料、零件的装卸、分捡和贮运。目前全世界有数以百万的各中类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，不过这些应用都是基于先精确的示教后运行，而且工作环境都是预先安排好的，所以机器人能成功地抓取物体。但是我们知道很多情况下特别是流水线的场合零件的位姿常常是不固定的，实际目标物体的位姿和理想目标物***姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人***应用领域、灵活性和主动性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接近觉、触觉和力觉具有重大的作用，机器人视觉被认为是机器人最重要的感觉能力。视觉是人类观察世界和认知世界的重要手段。据统计表明，人类从外界获取的信息，80％以上都是来自视觉，这表明人类视觉功能的重要性，以及人类对视觉信息有非常高的利用率。人类长久以来都梦想赋予工业机器人视觉功能，机器人视觉是模拟人类视觉在机器人上的体现。

如今的高端工业机器人视觉正朝三维技术发展，通过对产品三维信息的识别可以得到更加完整的空间信息以提高识别的准确率。这种三维视觉技术的基础是建立产品的三维模型，双目视觉是现在常用的三维建模方法之一。它主要采用两个标定好的摄像头，从不同的角度对产品拍摄二维图像，然后利用特征点匹配法，将产品上的同一个点分别在两幅图像中的影像点配对，从而建立三维点云与最终的三维模型。这种三维建模的方法很依赖于产品位置、产品形状标准化、特征点匹配的精度，然而现有的特征点匹配法的精度不够高，经常会产生误匹配的情况，严重影响后续的三维建模的精度。

发明内容

本发明提供了一种提高工业机器人三维视觉识别精度的匹配矫正方法，将零件准确地调整到扫描位置，严格控制零件的形状轮廓，对获取的同一零件的两张不同角度的图像进行特征点一一匹配，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度。

本发明采用如下技术方案：

一种提高工业机器人三维视觉识别精度的匹配矫正方法，其特征在于包括如下步骤：

(a)建立视觉引导的机器人***：

采用上、下两层的独立结构***，上层结构***控制获取、处理外界信息，作出决策，并对下层结构***发送控制信息，上层结构***采用机器人控制器，下层结构***接受上层结构***的控制信息，对电机的进行控制操作，电机驱动连接机器人本体，再将末端操作器固定到机器人的机械臂上，接着将传感器固定在处于直角坐标上的末端操作器上，将零件放置在工作台面上；

(b)零件位置的检测及调整：

采用检测模块检测放置在工作台面上的零件，记录零件所处的位置，根据扫描***的路径，通过分析模块分析出对比标准图像的位置与零件所处的位置的错位量，通过位置补正***调整零件在工作台面上的位置，使得零件处于扫描***的扫描面范围中；

(c)零件的检测及更换：

确定零件处于扫描面范围中后，轮廓识别***以合格的零件的轮廓信息为基准，排查处于工作台面上的零件，获得零件的相识度，将处于工作台面上的不合格零件更换成新的零件；

(d)图像的获取和转化:

将扫描***以恒定的运动速度沿平行于扫描面的方向前进，扫描***扫过零件表面，调整扫描***角度，扫描***再次扫过零件表面，通过信号采集模块获取两张同一物体不同角度的图像，将获取的图像经过转化模块分割成由相邻像素组成的许多水平线，将每个像素的亮暗程度用一个整数值来表示，图像被表示为一个整数矩阵，转化为数字化图像；

(e)摄像头畸变处理：

通过视觉畸变处理模块测算出摄像头畸变实际像素坐标和理想像素坐标，通过实际像素坐标和理想像素坐标测算出镜头畸变系数向量，通过镜头畸变系数向量排查出畸变类型，为后期摄像机标定工作做好准备；

(f)摄像机标定：

确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间的映射关系，将摄像头坐标系下的三维测量坐标转换为机器人处理模块坐标系下的三维坐标；

(g)对图像灰度化处理；

(h)图像预处理：

图像预处理采用图像增强和图像平滑方式处理图像中的噪声信号，提高图像的清晰度，保证后续边缘特征提取的操作顺利进行；

(i)边缘特征提取：

进过预处理后的两张同一物体不同角度的图像，采用SURF算法模块，在20*20大小的像素区域范围内，分成4*4个子区域，在每个子区域用相对主方向的水平和垂直方向的Harr小波响应之和以及响应的绝对值之和来确定，最终形成64维特征描述向量，对两张同一物体不同角度的图像进行特征点提取，接着运用特征点匹配的方法将两张图像的特征点一一匹配；

(j)边缘特征匹配及矫正：

针对其中一张图像作为参考图像，根据其特征点对其进行三角剖分，获得该图像的三角剖分图，根据参考图像的三角剖分图，对另一张图像进行特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘和正常的比例，判断出错误的匹配点，删除错误的匹配点所对应的特征点对，删除异常边缘，在检测的异常边缘的基础上检测并消除误匹配点对，计算一个特征点所连接的异常边缘的数量与其连接的总边缘的数量的比值，出现比值大于一定的阈值，将其对应的特征点对删除，完成边缘特征匹配及矫正。

本发明由于采用了上述技术方案，具有以下有益效果：

本发明先通过分析模块分析出对比标准图像的位置与零件所处的位置的错位量，通过位置补正***将零件准确地调整到扫描位置，接着轮廓识别***以合格的零件的轮廓信息为基准，严格控制零件的形状轮廓，然后对获取的同一物体的两张不同角度的图像进行特征点一一匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度，这样使得在工业机器人工作之前，通过工业机器人三维视觉实时地采集零件的位置信息并处理相关图像信息，准确地对零件进行识别和定位，确定所需的零件的位置和方向，从而工业机器人可以准确抓取零件，工业机器人通过三维视觉了解工作环境的变化，相应地调整动作，保证任务的正常完成，提高生产的柔性和自动化程度。

附图说明

下面结合附图对本发明作进一步说明：

图1为本发明一种提高工业机器人三维视觉识别精度的匹配矫正方法的结构框图；

图2为本发明中建立视觉引导的机器人***的结构示意图；

图3为本发明中参考图像的三角剖分图；

图4为本发明中正常图像的三角剖分图；

图5为本发明中异常图像的三角剖分图。

图中，1-机器人控制器；2-电机；3-机器人本体；4-机械臂；5-末端操作器；6-传感器；7-零件；8-工作台面；9-位置补正***；10-特征点；11-边缘。

具体实施方式

在工业流水线的场合，零件的位姿常常是不固定的，实际目标物体的位姿和理想目标物***姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人***应用领域、灵活性和主动性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，由此本发明提供了一种提高工业机器人三维视觉识别精度的匹配矫正方法，如图1所示，其提高了特征点匹配的准确度，提高了三维建模的精度，工业机器人通过三维视觉了解工作环境的变化，相应地调整动作，保证任务的正常完成，提高生产的柔性和自动化程度。

本施工方法包括如下步骤：

(a)建立视觉引导的机器人***：

如图2所示，采用了上下两层的独立结构***，上层结构***主要用来控制外界信息的获取、处理，作出决策，并对下层结构***发送控制信息，上层结构***采用机器人控制器1，上层结构***所设计的平台采用工业级设计，工作性能稳定；下层结构***通过接受上层结构***的控制信息，完成对电机2的控制操作，使得机器人本体3产生需要运动状态。对于运动控制方面，采用两轮差动的控制方式，电机2驱动连接机器人本体3，分别由独立的电机2来驱动左轮和右轮前进和后退，从而使机器人本体3产生直线或者曲线的运动方式，再加一个万向轮起到辅助支撑的作用，再将机器人的末端操作器5固定到机器人的机械臂4上，接着在处于直角坐标上的机器人末端操作器5上安装传感器6，将零件7放置在工作台面8上，传感器6上的扫描***朝向零件7，传感器6的视觉信息被后期工作使用，得到三维信息，后期可根据具体场合的需要，配置其他的传感器，具有良好的可扩展能力。在建立视觉引导的机器人***中，机器人本体3的结构性能参数如表1：

表1

(b)零件位置的检测及调整：

采用检测模块检测放置在工作台面上的零件7，记录零件7所处的位置，根据扫描***的路径范围，通过分析模块分析出对比标准图像的位置与零件所处的位置的错位量，通过位置补正***9横向左右微移零件7，调整零件7在工作台面8上的位置，使得零件7处于扫描***的扫描面范围中，使得扫描***能准确地捕捉到工业流水线上的零件的信息，为后期三维视觉识别的匹配矫正提供可靠的图像资源。

(c)零件的检测及更换：

确定零件7处于扫描面范围中后，轮廓识别***以合格的零件的轮廓信息为基准，排查处于工作台面8上的零件7，获得零件7的相识度，一般轮廓识别***中轮廓显示的是绿色，则说明该零件是合格的零件；轮廓识别***中轮廓显示的是红色，则说明该零件是不合格的零件。技术人员根据轮廓识别***，应及时将处于工作台面上的不合格零件更换成新的零件，一般在工业流水线上设置两台轮廓识别***，两台轮廓识别***间距控制在6-15m，每台轮廓识别***一般需要2-3名技术人员进行操作。

(d)图像的获取和转化：

三维视觉***强调精度和速度，所以需要图像采集模块及时、准确地提供清晰的图像，这样才能使得图像处理模块在比较短的时间内得出正确的结果，由此可知图像采集部分的性能会直接影响到整个三维视觉的性能。在建立视觉引导的机器人***中，将扫描***以恒定的运动速度沿平行于扫描面的方向前进，扫描***扫过零件的表面，调整扫描***角度，扫描***再次扫过零件的表面，通过信号采集模块获取两张同一物体不同角度的图像。在自然情况下，图像并不能直接由处理模块分析。因为处理模块只能处理数字而不是图片，所以所获取两张同一物体不同角度的图像在用处理模块进行处理前需要转化为数字形式，图像转化为数字形式的方法为将获取两张同一物体不同角度的图像经过采样划分为图像像素区域，将图像转化为数字化图像，最常见的划分方案是方形采样网格，图像被分割成由相邻像素组成的许多水平线，经过采样后的图像还不是数字图像，因为这些像素上的灰度值仍是一个连续量，必须进行量化，所谓量化就是将每个像素的亮暗程度用一个整数值来表示，即像素的灰度离散化，完成上述转化后，图像被表示为一个整数矩阵，这样才能将采集模块获取的图像转化为数字化图像。

(e)摄像头畸变处理：

由于制造、安装、工艺等原因，摄像机镜头存在着各种畸变，为了提高摄像机标定的精度，在摄像机标定的时候必须考虑成像镜头的畸变。通过视觉畸变处理模块测算出摄像头畸变实际像素坐标和理想像素坐标，通过实际像素坐标和理想像素坐标测算出镜头畸变系数向量，通过镜头畸变系数向量排查出畸变类型，为后期摄像机标定工作做好准备。一般畸变类型主要包括：

1、径向畸变：光学镜头径向曲率的变化是引起径向变形的主要原因。这种变形会引起图像点沿径向移动，离中心点越远，其变形量越大。正的径向变形量会引起点向远离图像中心的方向移动，其比例系数增大；负的径向变形量会引起点向靠近图像中心的方向移动，其比例系数减小。

2、偏心畸变：由于装配误差，组成光学***的多个光学镜头的光轴不可能完全共线，从而引起偏心变形，这种变形是由径向变形分量和切向变形分量共同构成。

3、薄棱镜畸变：薄棱镜变形是指由光学镜头制造误差和成像敏感阵列制造误差引起的图像变形，这种变形是由径向变形分量和切向变形分量共同构成。

(f)摄像机标定：

对数字化图像进行预处理之前需要进行摄像机标定，充分考虑成像镜头的畸变后，确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间的映射关系，得到摄像机模型。在视觉引导的机器人***中传感器测量的数据是以传感器自身坐标为基础的，因而测量数据要转换为机器人坐标下表示。摄像机采集到数据后，找出图像亮斑中心像素位置，像素位置n与目标物体在摄像机坐标下的坐标P_摄像机(x，y，z)存在以下关系：

x＝Lsin(θ)；y＝Lcos(θ)；z＝常数

式中x，y,z表示在摄像机坐标系下被测零件7的三维坐标；L表示扫描转镜中心到物体与激光束交点的距离；θ表示激光束偏离之间位置角度。机器人处理模块中的坐标系的零件7位置和摄像头下的坐标系的零件7位置之间的关系为：

P_机器人(x₁，y₂，z₃)＝A₀A₁P_摄像机(x，y，z)

式中A₀表示末端操作器5关于机器人坐标原点的变换矩阵；A₁表示传感器6在末端操作器5上的安装矩阵。经过摄像机标定，可将摄像头坐标系下的三维测量坐标转换为机器人处理模块坐标系下的三维坐标，确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间的映射关系。

(g)对图像灰度化处理：

采集模块获取的图像是彩色图像，而我们知道彩色图像色彩丰富，包含信息量大，图像处理速度慢，考虑到算法没有使用彩色和识别***的实时性要求，对彩色图像灰度化处理是必须的。灰度化就是使彩色的R、G、B分量值相等的过程，因此灰度图像中的每一个像素的R、G、B分量值是相等的，而彩色图像的每一个像素的R、G、B分量值是不相等的，所以显示出红绿蓝等各种颜色，灰度图像则没有这种差异，有的只是亮度上的不同。灰度化处理的方法主要有以下三种：最大值法、平均值法和加权值法。

(h)图像预处理：

图像采集所得到的图像往往含有较多噪声，所以必须经过预处理，除去大量的噪声信号，使图像更清晰。图像预处理采用图像增强和图像平滑方式处理图像中的噪声信号,图像预处理技术主要是提高图像数据中的信噪比、进行背景的抑制等，目的是减轻后续处理部分的数据处理压力，以满足图像处理***的实时性要求，而且预处理的好坏直接影响到后面的特征提取，边缘特征匹配及矫正的操作。

图像增强可以提高图像的视觉效果，也有利于进一步的自动处理。图像增强可以指减少图像中的噪声，也可以指强调或抑制图像中的某些细节。图像增强的主要方法有：基于点运算的方法、基于空间运算的方法、基于频域运算的方法。

图像平滑的主要目的是为了消除噪声。噪声并不限于人眼所能看见的失真和变形，有些噪声只有在进行图像处理才能被发现。图像的噪声往往跟信号交织在一起，如果平滑的不当，就会使图像本身的细节变得模糊不清。图像平滑主要包括：领域平均法、维纳滤波、中值滤波法。

(i)边缘特征提取：

进过预处理后的两张同一物体不同角度的图像，采用SURF算法模块，在20*20大小的像素区域范围内，分成4*4个子区域，在每个子区域用相对主方向的水平和垂直方向的Harr小波响应之和以及响应的绝对值之和来确定，最终形成64维特征描述向量，这样对两张同一物体不同角度的图像进行特征点10提取，接着运用特征点匹配的方法将两张图像的特征点10进行一一匹配。

(j)边缘特征匹配及矫正：

如图3所示，针对其中一张图像作为参考图像，根据其特征点10对其进行三角剖分，获得该图像的三角剖分图，根据参考图像的三角剖分图，对另一张图像进行特征点10连接，形成边缘11。图4显示的是正常图像的三角剖分图，该图中没有任何边缘交叉，因此没有异常边缘；图5显示的是异常图像的三角剖分图，该图中存在边缘交叉，因此有异常边缘。当判定出异常边缘后，进一步根据每一个特征点的异常边缘和正常的比例，判断出错误的匹配点，删除错误的匹配点所对应的特征点对，删除异常边缘，在检测的异常边缘的基础上检测并消除误匹配点对，计算一个特征点所连接的异常边缘的数量与其连接的总边缘的数量的比值，出现比值大于一定的阈值，将其对应的特征点对删除，这样完成边缘特征匹配及矫正。

本发明先通过分析模块分析出对比标准图像的位置与零件所处的位置的错位量，通过位置补正***将零件准确地调整到扫描位置，接着轮廓识别***以合格的零件的轮廓信息为基准，严格控制零件的形状轮廓，然后对获取的同一物体的两张不同角度的图像进行特征点一一匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度，这样使得在工业机器人工作之前，通过工业机器人三维视觉实时地采集零件的位置信息并处理相关图像信息，准确地对零件进行识别和定位，确定所需的零件的位置和方向，从而工业机器人可以准确抓取零件，工业机器人通过三维视觉了解工作环境的变化，相应地调整动作，保证任务的正常完成，提高生产的柔性和自动化程度。

以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所作出地简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。

Claims (1)

1.一种提高工业机器人三维视觉识别精度的匹配矫正方法，其特征在于包括如下步骤：

(a)建立视觉引导的机器人***：

采用上、下两层的独立结构***，上层结构***控制获取、处理外界信息，作出决策，并对下层结构***发送控制信息，上层结构***采用机器人控制器，下层结构***接受上层结构***的控制信息，对电机的进行控制操作，电机驱动连接机器人本体，再将末端操作器固定到机器人的机械臂上，接着将传感器固定在处于直角坐标上的末端操作器上，将零件放置在工作台面上；

(b)零件位置的检测及调整：

采用检测模块检测放置在工作台面上的零件，记录零件所处的位置，根据扫描***的路径，通过分析模块分析出对比标准图像的位置与零件所处的位置的错位量，通过位置补正***调整零件在工作台面上的位置，使得零件处于扫描***的扫描面范围中；

(c)零件的检测及更换：

确定零件处于扫描面范围中后，轮廓识别***以合格的零件的轮廓信息为基准，排查处于工作台面上的零件，获得零件的相识度，将处于工作台面上的不合格零件更换成新的零件；

(d)图像的获取和转化：

将扫描***以恒定的运动速度沿平行于扫描面的方向前进，扫描***扫过零件表面，调整扫描***角度，扫描***再次扫过零件表面，通过信号采集模块获取两张同一物体不同角度的图像，将获取的图像经过转化模块分割成由相邻像素组成的许多水平线，将每个像素的亮暗程度用一个整数值来表示，图像被表示为一个整数矩阵，转化为数字化图像；

(e)摄像头畸变处理：

通过视觉畸变处理模块测算出摄像头畸变实际像素坐标和理想像素坐标，通过实际像素坐标和理想像素坐标测算出镜头畸变系数向量，通过镜头畸变系数向量排查出畸变类型，为后期摄像机标定工作做好准备；

(f)摄像机标定：

确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间的映射关系，将摄像头坐标系下的三维测量坐标转换为机器人处理模块坐标系下的三维坐标；

(g)对图像灰度化处理；

(h)图像预处理：

图像预处理采用图像增强和图像平滑方式处理图像中的噪声信号，提高图像的清晰度，保证后续边缘特征提取的操作顺利进行；

(i)边缘特征提取：

进过预处理后的两张同一物体不同角度的图像，采用SURF算法模块，在20*20大小的像素区域范围内，分成4*4个子区域，在每个子区域用相对主方向的水平和垂直方向的Harr小波响应之和以及响应的绝对值之和来确定，最终形成64维特征描述向量，对两张同一物体不同角度的图像进行特征点提取，接着运用特征点匹配的方法将两张图像的特征点一一匹配；

(j)边缘特征匹配及矫正：

针对其中一张图像作为参考图像，根据其特征点对其进行三角剖分，获得该图像的三角剖分图，根据参考图像的三角剖分图，对另一张图像进行特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘和正常的比例，判断出错误的匹配点，删除错误的匹配点所对应的特征点对，删除异常边缘，在检测的异常边缘的基础上检测并消除误匹配点对，计算一个特征点所连接的异常边缘的数量与其连接的总边缘的数量的比值，出现比值大于一定的阈值，将其对应的特征点对删除，完成边缘特征匹配及矫正。