CN104766309A - 一种平面特征点导航定位方法与装置 - Google Patents

Abstract

本发明公开了一种平面特征点导航定位方法与装置。该方法首先在工作台上放置平面靶标，建立坐标系，在靶标上选取标定点进行相机的标定；对拍摄的图片进行畸变校正，选择感兴趣的矩形区域进行透视变换，得到标准化的图；选择感兴趣的特征点，保存选取的点的坐标，并完成非接触式的视觉测量；其次根据图像的SIFT特征计算两幅图像之间的变换矩阵，以此计算选取的点在另一幅图像中的匹配点，然后将匹配点重投影到世界坐标系获取其真实位置坐标，实现测量与定位导航功能。本发明还公开了一种平面特征点导航定位装置，结合本发明提出的方法与装置实现平面特征点的导航定位具有操作简单、灵活，测量准确、定位导航精度高，适用范围广的特点。

Description

一种平面特征点导航定位方法与装置

技术领域

本发明是一种平面特征点导航定位方法与装置，属于计算机视觉与图像处理领域。

背景技术

特征点的导航定位一直是摄影测量与计算机视觉领域研究的重点内容，它是三维重建、目标识别、机器人定位与导航、工业检测等应用需要解决的关键技术问题。特别地，有些应用场景需要用不同的相机对同一个物体成像，有的应用场景需要用同样的相机对相似的(不同的)物体成像，然后求取所成图像中的匹配；有的场景综合前面两种情况，需要用不同的相机对相似的(不同的)图像成像，然后求取所成图像中的匹配，并定位匹配点，进行相应的控制操作，例如控制机械臂移动到对应的匹配点、控制相机对对应的匹配点精确成像等。其中，前两种场景是第三种场景的特殊情况(第一种是第三种保持成像物体不变，第二种是第三种保持成像设备不变)，所以针对这样的应用场景只需讨论第三种情景。在实际成像过程中，一方面由于成像设备和成像物体都有可能不同，所成图像可能存在噪声、畸变，甚至部分信息的损失；另一方面，由于成像***与目标的距离和方位的原因，使得成像时不是正投影，导致所成的像发生透视而不再是正视图，这对于图像的特征提取、识别等后续处理非常不利，有时希望将图像校正成正投影的形式，就需要利用透视变换；另外，为了得到平面物体的几何尺寸视觉测量也是***的关键技术之一。

发明内容

技术问题：为解决上述技术问题，本发明提供一种平面特征点导航定位方法与装置。

技术方案：利用包含图像重要信息的特征点来确定图像间的变换关系是解决此问题的一种有效方法。本发明提出的平面特征点导航定位方法，主要包括两个大的方面：一、图像标准化与特征点的选择、测量；二、特征点的匹配与导航定位。

图像标准化与特征点的选择、测量部分包括：

(1)根据张正友标定方法完成相机的标定，获取相机的内、外参数；

(2)获取标定后的相机所拍摄的图像；

(3)对拍摄的图像进行畸变校正；

(4)选择校正后的图像中的感兴趣矩形区域，对选取的矩形区域进行透视变换，使其成为正投影的图像，并称之为标准化后的图像；

(5)对标准化后的图像，选取其中的感兴趣的特征点，保存选取的特征点在标准化图像上的坐标；

(6)根据选取的特征点的图像坐标与标定获得的内外参数计算选取的特征点对应的世界坐标，实现导航与测量。

其中，(1)-(3)称为预处理。 

特征点的导航定位部分包括：

(1)对获取的图像预处理(如特征点选择部分)；

(2)提取两幅相似图像的SIFT特征点并计算两幅图像之间的变换矩阵H；

(3)用选取的特征点与计算出的变换矩阵求取相似图像上的对应特征点；

(4)将计算出的特征点图像坐标重投影到世界坐标系中，实现特征点的定位导航与测量。

有益效果：从上述技术方案可以看出，本发明提出的特征点导航定位方法具有以下有益效果：

(1)标定方法简单易行，只要保持相机与工作台位置相对固定，只需一次***标定即可；

(2)对获取的图像进行校正、透视变换等得到标准化的图像，去除了由于噪声、畸变等引起的图像变形、失真，便于特征点的选择，也更符合人们的直观感受；

(3)特征点的选择(包括位置与数量)可以根据需要进行选择，有更大的灵活性与普适性；

(4)将特征点的图像坐标重投影到世界坐标系，实现导航与测量，结果准确，精度高；

(5)SIFT特征对旋转、尺度、缩放和亮度变化保持不变，对视角变化，仿 射变换和噪声也保持一定程度的稳定性，另外对部分信息缺失的图像仍可实现匹配，因此使用SIFT特征作为图像的匹配特征效率高，计算出的变换矩阵结果准确，相应的定位导航精度也较高。

附图说明

图1为本发明的图像标准化与特征点的选择、测量流程图。

图2为本发明的计算转换参数及实现测量的流程图。

图3为本发明的坐标系建立图。

图4为本发明的矩形框设计图。

图5为本发明的二维图像的透视变换图。

图6为本发明的特征点的导航定位流程图。

图7为本发明的SIFT图像匹配步骤图。

图8导航定位装置示意图

具体实施方式

为了更加详细地说明本发明的目的、技术方案及所实现的功能，以下结合具体实施例，并参照附图，对本发明进一步说明。

本发明主要包含两个大的方面的内容：一、图像标准化与特征点的选择、测量；二、特征点的匹配与导航定位。

第一部分流程框图如图1，包括如下步骤：

S1：根据张正友标定方法完成相机的标定，获取相机的内、外参数；

S2：获取标定后的相机所拍摄的图像；

S3：对拍摄的图像进行畸变校正；

S4：选择校正后的图像中的感兴趣矩形区域，对选取的矩形区域进行透视变换，使其成为正投影的图像，并称之为标准化后的图像；

S5：对标准化后的图像，选取其中的感兴趣的特征点，保存选取的特征点在标准化图像上的坐标；

S6：根据选取的特征点的图像坐标与标定获得的内外参数计算选取的特征点对应的世界坐标，实现导航与测量。

其中，为了得到相机的内外参数以及实现对图像的校正、测量等工作，本发明提出了一种基于单目视觉的平面特征点非接触式测量方法。该方法首先在被测量平面上放置平面靶标，并在平面靶标上选取特殊的特征点作为标定点进行相机 的标定，从而得到从图像坐标系到世界坐标系转换的必要参数。得到了转换参数，就可以根据相机成像原理对图像进行校正并可以将图像上的特征点投影到世界坐标系，得到其在世界坐标系对应的坐标，进而完成测量等工作。

图2为本发明实施例中计算转换参数及实现测量的流程图。其中，包括如下步骤：

S1：固定相机与工作台的位置，将平面靶标放置在工作台上，建立相应的坐标系；

S2：用相机拍摄工作台上的平面靶标，并获取靶标中标定点在图像中的坐标(u_i，v_i)；

S3：统计标定点对应的世界坐标值，并计算图像坐标系与世界坐标系之间的转换参数H，完成相机的标定；

S4：根据获取的参数，对目标物体的图像进行校正，对校正后的图像选择其中感兴趣的特征点，计算其在世界坐标系中的对应坐标。

S5：根据计算出的世界坐标系中的坐标实现测量与控制导航功能。

其中，如图3所示，坐标系的建立过程如下：

(1)图像坐标系CUV：取图像左上角为坐标系的原点C，U轴正方向为水

平向右，V轴正方向垂直向下；

(2)世界坐标系O_WX_WY_WZ_W：选取工作台所在平面为平面O_WX_WY_W,Z_W轴

正方向为垂直工作台平面向下。世界坐标系的原点可以为靶标平面上的

任一点，如果靶标是用黑白相间的棋盘格组成，原点可以为棋盘格的任

意角点，本实施例中原点取为棋盘格左下第一个内棋盘格的左下角点。

标定点在图像坐标系中的坐标通过BoofCV中的类FactoryPlanarCalibrationTarget下的函数detectorChessboard(ConfigChessboard config)获得；由于平面靶标中棋盘格的边长已知，标定点对应的世界坐标可以通过数方格数得到。

转换参数H的求取是通过取N个图像坐标(构成矩阵A)和世界坐标(构成矩阵B)均已知的标定点，组成矩阵方程B*H＝A，求解方程并通过优化得到。

得到H后，如果知道某一特征点在图像上的齐次坐标(u,v,1)，其对应的世界坐标(X,Y,Z,W)可以通过[X,Y,Z,W]^T＝H^-1*[u,v,1]^T获得。由于特征点是在平面O_WX_WY_W上，其Z坐标为0，对应的世界坐标(X，Y)为(X/W,Y/W)。得到任意两点的世界坐标(x₁,y₁)(x₂,y₂)后，两点之间的测量通过两点之间的欧式距离由公式L＝√(x₁-x₂)²+(y₁-y₂)²得到。

为了得到正投影的图像，需要对图像进行透视变换。本发明提出的方法不需要知道相机的内外参数信息，只需要知道图像上一个矩形的四个顶点坐标，即可 完成校正，减少了计算量。有的图像中可能没有矩形，因此也无法获得矩形的四个顶点坐标，为了对任意的图像都能进行校正，本发明还提出了一种类似于相框的矩形框作为辅助设备，矩形框如图4。

二维图像的透视变换实际上是一个平面上的点P(c，y)以中心点O为中心，投影到另一个平面上的点P’(x，y)，如图5所示。一个二维图像经过透视变换成另一个二维图像的过程可以表示为：

$u=\frac{\mathrm{ax}+\mathrm{by}+c}{\mathrm{mx}+\mathrm{ly}+1},v=\frac{\mathrm{dx}+\mathrm{ey}+f}{\mathrm{mx}+\mathrm{ly}+1}$

其中，(x，y)是畸变图像上的坐标，(u，v)是正视图的图像坐标，a，b，c，d，e，f，m，l，是透视变换参数。由于透视变换是一个平面到另一个平面的变换关系，不同的正视图尺寸确定了一组平行于物面的平行平面，校正时也会得到不同的变换参数，这使得透视变换校正具有很大的灵活性。正因如此，本发明中将图像校正到实际的尺寸，即先通过视觉测量矩形的长宽，根据矩形的长宽进行透视变换。

第二部分流程框图如图6，包括如下步骤：

S1：对获取的图像预处理(如第一部分)；

S2：提取两幅相似图像的SIFT特征点并计算两幅图像之间的变换矩阵H；

S3：用选取的特征点与计算出的变换矩阵求取相似图像上的对应特征点；

S4：将计算出的特征点图像坐标重投影到世界坐标系中，实现特征点的定位导航与测量。

SIFT(Scale Invariant Feature Transform)方法是Lowe在2004年提出的一种局部不变特征点提取方法。它是图像的局部特征，对尺度、缩放、旋转以及亮度保持不变，对仿射变换、视角变化和噪声也保持一定的稳定性。SIFT算法是在图像尺度空间内，通过将极值点作为匹配的候选关键点，并提取极值点的方向参数，组成关键点的描述符的一种算法。如图7，使用SIFT算法实现图像匹配主要有如下步骤：

S1：构建尺度空间，检测极值点，获得尺度不变性；

S2：特征点过滤并进行精确定位，剔除不稳定的特征点；

S3：在特征点处提取特征描述符并为特征点分配方向值；

S4：生成特征描述子，组成特征点的128维特征向量； 

S5：计算特征点特征向量之间的欧式距离，作为两幅图像特征点的相似性度量；具体为：取一张图的某个关键点，通过遍历找到另一张图中的距离最近的两个关 键点。在这两个关键点中，如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点。

S6：运用RANSAC方法进行特征匹配，计算最佳匹配的图像转换单应矩阵H。

得到两幅相似(或相同)图像之间的转换单应H之后，对于在第一部分保存的选择出来的特征点就可以计算其在此图像上的对应点坐标，得到对应点后利用第一部分提到的方法将此点重投影到世界坐标系中，获得此点对应的世界坐标系下的实际位置坐标，即可实现测量与导航定位。

本发明还提出了一种平面特征点的导航定位装置。装置示意图如图8所示，图中下面的部分为本发明实施例中提到的平面工作台，工作台上面固定着导轨；上面的部分为相机固定支架，支架上固定着用于导航的相机。

Claims (7)

1.一种平面特征点导航定位方法，其特征在于该方法主要由两大部分组成：一、图像标准化与特征点的选择、测量；二、特征点的匹配与导航定位；所述第一部分包括：在工作台上放置平面靶标，建立坐标系，在靶标上选取标定点进行相机的标定，获取相机的内、外参数；对拍摄的图片进行畸变校正，选择感兴趣的矩形区域进行透视变换，得到标准化的图像；选择感兴趣的特征点，保存选取的点的坐标，并完成非接触式的视觉测量实现导航；所述第二部分还包括提取图像的SIFT特征点，计算两幅图像之间的变换关系矩阵；根据第一部分中选取的特征点及计算出的变换关系矩阵计算特征点在另一幅图像中的匹配点；将得到的匹配点重投影到世界坐标系中得到特征点的实际位置坐标，实现测量与定位导航功能。

2.根据权利要求1所述的平面特征点导航定位方法，其特征在于相机参数是通过在被测工作台上放置平面靶标，建立相应的坐标系，然后提取靶标上的标定点得到从图像坐标系到世界坐标系转换的必要参数，完成相机的标定获得的。

3.根据权利要求1所述的平面特征点导航定位方法，其特征在于对图像进行去畸变，选择感兴趣的矩形区域进行透视变换得到标准化的图像，完成图像的标准化。

4.根据权利要求1所述的平面特征点导航定位方法，其特征在于在图像上选择感兴趣的特征点，保存选取的特征点的坐标，并根据标定结果将特征点重投影到世界坐标系下得到特征点的实际位置坐标完成导航，根据特征点之间的欧式距离进行特征点之间的测量。

5.根据权利要求1所述的平面特征点导航定位方法，其特征在于图像的匹配通过提取相似图像中的SIFT特征点，以特征向量的欧几里得距离作为相似度量，计算两幅图像之间的变换单应矩阵。

6.根据权利要求1所述的平面特征点导航定位方法，其特征在于根据选取的特征点及计算出的变换关系矩阵计算特征点在另一幅图像中的匹配点；将得到的匹配点重投影到世界坐标系中得到特征点的实际位置坐标，实现测量与定位导航功能。

7.一种平面特征点导航定位装置，包括：

1)放置待测物体的平面工作台；

2)固定相机的支架与相机的固定位置；

3)辅助提取感兴趣区域的矩形框。