CN104463108A - 一种单目实时目标识别及位姿测量方法 - Google Patents

Abstract

本发明公开了一种单目实时目标识别及位姿测量方法，包括：获得各个目标物体特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库；选择要识别的目标，从目标数据库中提取目标的特征点数据及目标信息；摄像机提取实时场景，对提取的实时场景进行图像预处理，提取实时场景特征点，获得实时图像的特征点数据；将目标数据库中目标图像的特征点与实时场景特征点进行匹配；由匹配特征点数据，计算得到单应矩阵，完成目标的识别；完成目标的姿态测量、位置确定。本发明利用ORB算法的速度优势，以单个摄像机作为传感手段，实现了对运动目标的实时识别和位姿测量。

Description

一种单目实时目标识别及位姿测量方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种单目实时目标识别、姿态测量及位置确定方法。

背景技术

智能机器人为了实现对物体的感知，必须具有物体识别能力，并且具有对物体姿态识别的能力。从复杂场景中识别目标物体，像人类抓取物体一样，根据物体的姿态选择合适的抓取方式，是智能机器人的一个基本功能。因此设计一种视觉定位***，不但能准确地识别出目标物体，并能判断出其姿态，具有十分广阔的应用前景。

基于视觉的目标识别的研究关键是目标的特征表示方法，表示方法不仅要唯一的描述出一个目标，并且要对同一目标在不同场景下的特征表示具有共性，这样才能有效的识别目标。运用基于局部特征的方法来识别目标是当前目标识别领域中的主流方法。由局部特征形成的特征描述子对旋转、噪声、尺度变换和仿射变换都有一定的鲁棒性。在诸多的局部图像特征描述子中，SIFT、SURF应用较为广泛。它们具有较高的匹配能力，并且当图像发生平移、旋转和仿射变换、光照变换等情况，都具有较高的匹配精度和鲁棒性。虽然SIFT、SURF算法具有以上众多优点，但由于其运算较为复杂，存在速度问题，尤其当特征点较多时，实时性差，不能满足实际应用的要求。ORB特征点(Oriented FAST and Rotated BRIEF)是一种局部不变特征，建立在著名的FAST特征检测和BRIEF特征描述子基础上。与传统的SIFT、SURF算法相比，速度上有很大提升，在性能上只下降了很少，适用于对速度要求较高的场合。

目前基于视觉定位的主要方法包括单目视觉定位和双目视觉定位。双目视觉定位***复杂度高，立体匹配算法计算量大。而现有的单目视觉定位***，大多需要在目标物体上设置特征靶标，建立目标坐标系，预先设定好被测特征点在目标坐标系下的坐标值，再根据经典摄像机小孔成像原理，根据三个或三个以上不在同一条直线上被测特征点在摄像机坐标系与目标坐标系下的坐标值，解算出摄像机坐标系与目标坐标系的相对转换关系，完成了被测目标相对于摄像机坐标系的空间三维姿态。(原野.基于单目视觉的三维姿态测量方法与***实现[D].哈尔滨工业大学，2011)。这类方法需要预先设置特征靶标，***复杂度较高。

发明内容

为解决现有技术存在的不足，本发明公开了一种单目实时目标识别及位姿测量方法，该方法利用了ORB算法的速度优势，以单个摄像机作为传感手段，实现了对规则体(具有平坦表面的物体，如长方体)目标的实时识别、姿态测量及位置确定。

为实现上述目的，本发明的具体方案如下：

一种单目实时目标识别及位姿测量方法，包括以下步骤：

步骤一：获得各个目标的物体特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库；

步骤三：选择要识别的目标，从目标数据库中提取目标的特征点数据及目标信息；

步骤四：提取实时场景，对提取的实时场景进行图像预处理，提取实时场景特征点，获得实时图像的特征点数据；

步骤五：将要识别的目标数据库中目标图像的特征点与实时场景特征点进行匹配；

步骤六：由匹配特征点数据，计算得到单应矩阵，利用求得的单应矩阵将目标数据库中目标四个顶点的图像坐标映射得到场景图像中四个顶点的图像坐标，连接四个顶点，完成目标的识别；

步骤七：利用求得的场景图像中四个顶点的图像坐标和目标数据库中目标四个顶点的三维世界坐标构成二维和三维匹配点对，并结合摄像机模型参数，使用PnP算法得到目标的三个旋转角和三个方向的位移向量共6个自由度信息，得到的位移向量只是比例值并不是实际值，与目标数据库中的三维坐标结合可以得到实际值，从而完成目标的姿态测量及位置确定。

所述步骤一中目标的图像事先获取，提取特征点数据和坐标信息，保存在目标数据库中。

所述步骤一中，三维世界坐标由对目标物体的实际测量而得，以目标平面为XY平面，目标平面的中心为原点。图像坐标即为顶点在图像中的像素位置。

所述步骤一中获得各个目标的物体特征点数据及步骤四中获得实时图像的特征点数据均是通过改进的ORB算法提取特征点的方式获得的。

所述改进的ORB算法为利用AGAST特征点检测算法替代FAST特征点检测算法，完成对ORB算法的改进。

所述步骤四中对提取的实时场景进行图像预处理，具体为对每一帧视频图像采用自适应的图像增强算法，去除图像获取过程中由于多变的外界环境造成图像对比度偏低、灰度值偏暗及灰度动态范围收缩问题引起的图像质量的退化。步骤四中利用摄像机提取实时场景。

所述步骤五中，将数据库中目标图像的特征点与实时场景特征点进行匹配时，使用汉明距离(hamming distance)计算特征点数据间的相似性，以近邻距离与次近邻距离的比值T来确定可能正确的匹配，只有当T<0.8时，才认为最近邻距离对应的特征点为匹配点。并且采用对称性匹配的策略，先在场景图像特征点数据中寻找目标图像特征点的最优匹配点，再反过来在目标图像特征点数据中寻找场景图像特征点的最优匹配点。

所述步骤六中，单应矩阵是根据匹配特征点数据使用随机抽样一致性算法计算得到的。

所述步骤七中完成目标的姿态测量之前还需要对摄像机进行标定，得到摄像机的模型参数。

本发明的有益效果：

本发明利用ORB算法的速度优势，以单个摄像机作为传感手段，实现了对规则体(具有平坦表面的物体，如长方体)目标的实时识别及位姿测量。本发明采用速度快的ORB算法提取特征点，对每一帧视频进行特征点的匹配，无需对特征点进行跟踪，就能实现对运动物体实时识别、姿态测量及位置确定，从而降低了算法和***复杂度，并提高了结果的准确性。

附图说明

图1本发明的实现流程框图。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1所示，本发明首先利用改进的ORB算法获得目标物体特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库；然后对摄像机进行标定,获得摄像机模型参数；选择要识别的目标，摄像机提取实时场景ORB特征点,将数据库中目标图像的特征点与实时场景特征点进行匹配,经过随机抽样一致性检测去除误匹配得到稳定的单应矩阵(Homography)，由单应矩阵和数据库中目标平面四个顶点的图像坐标求得场景中目标四个顶点的图像坐标，连接四个顶点从而标记出目标，最后利用求得的场景图像中四个顶点的图像坐标和目标数据库中目标四个顶点的三维世界坐标构成二维和三维匹配点对，并结合摄像机模型参数，使用PnP算法得到目标的三个旋转角和三个方向的位移向量共6个自由度信息，从而完成实时识别、姿态测量及位置确定。

本发明方法包括如下具体步骤：

1、针对ORB算法存在的不足，在其特征点检测阶段，利用速度更快、性能更好的AGAST特征点检测算法替代FAST特征点检测算法，完成对ORB算法的改进。

2、拍摄目标物体的正面图像，利用改进的ORB算法获得特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库。

具体为：拍摄要识别目标物体的正面图像(例如长方体的一个表面)，利用改进的ORB算法获得特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库；三维世界坐标由对目标物体的实际测量而得，以目标平面为XY平面，目标平面的中心为原点。图像坐标即为顶点在图像中的像素位置；

3、对摄像机进行标定，得到摄像机的模型参数。

4、选择要识别的目标，从数据库中提取目标的特征点数据及目标信息。

5、摄像机提取实时场景，对每一帧视频图像采用自适应的图像增强算法，去除图像获取过程中由于多变的外界环境造成图像对比度偏低、灰度值偏暗及灰度动态范围收缩等问题引起的图像质量的退化。

6、采用改进的ORB算法提取特征点,获得实时图像的特征点数据。

7、将数据库中目标图像的特征点与实时场景特征点进行匹配。使用汉明距离(hammingdistance)计算特征点数据间的相似性，以近邻距离与次近邻距离的比值T来确定可能正确的匹配，只有当T<0.8时，才认为最近邻距离对应的特征点为匹配点。并且采用对称性匹配的策略，先在场景图像特征点数据中寻找目标图像特征点的最优匹配点，再反过来在目标图像特征点数据中寻找场景图像特征点的最优匹配点，被接受的匹配点，必须是各自的最优匹配点。

8、由匹配特征点数据，使用随机抽样一致性算法(RANSAC)计算得到单应矩阵(Homography)。

9、利用求得的单应矩阵将库中目标四个顶点的图像坐标映射得到场景图像中四个顶点的图像坐标，连接四个顶点，完成目标的识别。

10、如式(1)所示只要有足够多的二维与三维匹配点对，就能求得目标相对于摄像机的位姿。利用求得的场景图像中四个顶点的图像坐标和数据库中目标四个顶点的三维世界坐标构成二维和三维匹配点对，并结合摄像机模型参数，使用PnP算法得到目标的三个旋转角和三个方向的位移向量共6个自由度信息，从而完成目标的姿态测量及位置确定。

$s\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cc}R& T\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(1\right)$

其中:(X,Y,Z)^T为三维世界坐标，(u,v)^T为与之对应的二维图像坐标。f_x,f_y,c_x,c_y为标定出的摄像机模型参数。R,T为世界坐标系到摄像机坐标系的旋转和平移矩阵。

PnP算法只需要知道4对或更多二维坐标和三维坐标匹配点对，代入就能求出姿态，opencv中有现成的函数供调用。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种单目实时目标识别及位姿测量方法，其特征是，包括以下步骤：

步骤一：获得各个目标的物体特征点数据，与目标平面四个顶点的三维世界坐标和图像坐标一起存入目标数据库；

步骤三：选择要识别的目标，从目标数据库中提取目标的特征点数据及目标信息；

步骤四：提取实时场景，对提取的实时场景进行图像预处理，提取实时场景特征点，获得实时图像的特征点数据；

步骤五：将要识别的目标数据库中目标图像的特征点与实时场景特征点进行匹配；

步骤六：由匹配特征点数据，计算得到单应矩阵，利用求得的单应矩阵将目标数据库中目标四个顶点的图像坐标映射得到场景图像中四个顶点的图像坐标，连接四个顶点，完成目标的识别；

步骤七：利用求得的场景图像中四个顶点的图像坐标和目标数据库中目标四个顶点的三维世界坐标构成二维和三维匹配点对，并结合摄像机模型参数，使用PnP算法得到目标的三个旋转角和三个方向的位移向量共6个自由度信息，从而完成目标实时识别、姿态测量及位置确定。

2.如权利要求1所述的一种单目实时目标识别及位姿测量方法，其特征是，所述步骤一中获得各个目标的物体特征点数据及步骤四中获得实时图像的特征点数据均是通过改进的ORB算法提取特征点的方式获得的。

3.如权利要求2所述的一种单目实时目标识别及位姿测量方法，其特征是，所述改进的ORB算法为利用AGAST特征点检测算法替代FAST特征点检测算法，完成对ORB算法的改进。

4.如权利要求1所述的一种单目实时目标识别及位姿测量方法，其特征是，所述步骤四中对提取的实时场景进行图像预处理，具体为对每一帧视频图像采用自适应的图像增强算法，去除图像获取过程中由于多变的外界环境造成图像对比度偏低、灰度值偏暗及灰度动态范围收缩问题引起的图像质量的退化。

5.如权利要求1所述的一种单目实时目标识别及位姿测量方法，其特征是，所述步骤五中，将数据库中目标图像的特征点与实时场景特征点进行匹配时，使用汉明距离计算特征点数据间的相似性，以近邻距离与次近邻距离的比值T来确定可能正确的匹配，只有当T<0.8时，才认为最近邻距离对应的特征点为匹配点。

6.如权利要求1所述的一种单目实时目标识别及位姿测量方法，其特征是，所述步骤六中，单应矩阵是根据匹配特征点数据使用随机抽样一致性算法计算得到的。

7.如权利要求1所述的一种单目实时目标识别及位姿测量方法，其特征是，所述步骤七中完成目标的姿态测量之前还需要对摄像机进行标定，得到摄像机的模型参数。