CN113240740A - 基于相位引导双目视觉密集标记点匹配的姿态测量方法 - Google Patents

Abstract

本发明涉及基于双目视觉的天线姿态测量领域，特别涉及一种基于相位引导双目视觉密集标记点匹配的姿态测量方法，步骤包括：S1，使用双目相机采集被测物的左右图像，分别提取标记点；S2，由左图像标记点的图像坐标和双目相机的***参数，根据极线几何原理，计算得到左图像标记点在右图像中的待匹配同名点集合；S3，获取左右图像中各标记点的相位值；然后计算右图像中的待匹配同名点集合中各点与左图像标记点的相位差，最小相位差对应标记点为无歧义匹配点；S4，基于无歧义匹配点进行坐标优化，得到与左图像标记点相位等值的最佳匹配点；S5，基于最佳匹配点计算三维坐标和旋转姿态。解决了极线匹配出现多匹配问题，提高真正同名点坐标提取精度。

Description

基于相位引导双目视觉密集标记点匹配的姿态测量方法

技术领域

本发明涉及基于双目视觉的天线姿态测量领域，特别涉及一种基于相位引导双目视觉密集标记点匹配的姿态测量方法。

背景技术

姿态测量可以用于卫星抓取定位、卫星天线的姿态角测量、登月车导航及天线姿态分析、火箭发动机尾喷管的非接触测量、风洞中飞行器视觉姿态测量等领域。目前视觉成像***通常采用特征点实现姿态测量，对单个特征点依赖性强，因此存在鲁棒性差的缺点。采用双目视觉立体匹配并根据三角测量原理获取目标的部分三维点集数据，利用特征点三维坐标相对视觉***的姿态求解，保证了较高的测量鲁棒性，并可扩展用于解决其他非合作目标的相对姿态估计问题。基于圆或角点等合作目标的双目特征高精度提取以及唯一性同名点匹配是双目视觉姿态测量成功与否的关键。

标记点一般分为两类：一类外形有较多特征且各不相同，称之为编码标记点，而另一类则外形单一，称之为非编码标记点。Galo M采用手动在图像上点取标记点中心，然后进行双目视觉匹配实现卫星天线标记的姿态测量。但是该方法的标记点中心只能达到像素级精度，必然影响三维点的重建精度，费事费力且不能实现自动化。Richard Hartley在《Multiple view geometry in computer vision》中详细的讲解了极线几何和双目视觉的基础理论，并通过多图极线约束的匹配方法在匹配非编码标记点时不断得到重视。Zhang等提出一种基于参考点的匹配方法，以编码标记点为参考点，计算非编码标记点的相容性等参数，实现非编码标记的匹配，该方法计算复杂，速度较慢，且对编码标记有依赖。Guo等提出了基于松弛法的匹配技术，该方法需要标记点至少出现在多张图片上，对于仅出现在两张图片上的标记点失效。

国内外在双目视觉特征点匹配方面已经进行了大量的研究，但是当标记特征点数量较多、具有较整齐的模式分布时，基于极线的同名点匹配极易出现匹配错误，造成姿态计算失败，如图1所示，根据多视图几何双目视觉同名点匹配原理，左图像的某一特征点在右图像中相应同名点在对应的极线上。如图1的左图(a)所示，空间点P对应的像点m和m′，则根据双目视觉***极线几何原理可知左图像点m在右图像的同名点一定在对应极线l′_m上，但是当特征标记点集布设量较大且规则时，如图1的右图(b)所示，P点和N点位于同一极平面上，两点的对应极线相同，左图像点m在右图像的对应极线l′上有m′和n′，因此，在极线上搜索匹配点会出现歧义匹配，另外因图像畸变、透视投影和图像噪声也同样会造成更多的极线匹配错误点。

发明内容

本发明的目的在于克服现有技术中所存在的当特征标记点集布设量较大且规则时极线搜索匹配点会出现歧义匹配的问题，和因图像畸变、透视投影和图像噪声也同样会造成更多的极线匹配错误点的问题，提供一种基于相位引导双目视觉密集标记点匹配的姿态测量方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于相位引导双目视觉密集标记点匹配的姿态测量方法，包括以下步骤：

S1，使用双目相机采集被测物的左图像和右图像，对左图像和右图像分别提取标记点；

S2，由左图像标记点的图像坐标和双目相机的***参数，根据极线几何原理，计算得到左图像标记点在右图像中的待匹配同名点集合；

S3，获取左图像和右图像中各标记点的相位值；然后计算右图像中的待匹配同名点集合中各点与左图像标记点的相位差，相位差最小的点为无歧义匹配点；

S4，基于所述无歧义匹配点进行坐标优化，得到与左图像标记点相位等值的最佳匹配点；

S5，基于所述最佳匹配点计算求得被测物的三维坐标和旋转姿态。

采用上述方法所带来的有益效果是，当标记点集布设量较大且规则时，通过极线搜索寻找到待匹配同名点集合，继而在待匹配同名点集合中基于相位值寻找到无歧义匹配点并进行坐标优化，寻找到精确的左图像标记点的最佳匹配点，解决了现有技术在标记点集布设量较大且规则时会匹配错误和因图像畸变、透视投影、图像噪声影响造成更多的极线匹配错误点的问题。

进一步的，所述获取左图像和右图像中各标记点的相位值具体包括以下步骤：

S31，获取被测物的双目条纹调整图像；

S32，对所述双目条纹调整图像进行傅立叶变换、频域窗口基频滤波、逆傅立叶变换和相位展开，得到左图像和右图像中各标记点的相位值。

进一步的，步骤S4中，所述基于所述无歧义匹配点进行坐标优化的具体方法为，以右图像中的所述无歧义匹配点为中心点，选择n×n个点构成的窗口，在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点

作为本发明的一种优选方案，所述在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点的具体方法为，遍历所述窗口中n×n个点的相位值，其中，所述相位值与左图像标记点相位值相等的点为最佳匹配点；

作为本发明的一种优选方案，所述在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点的具体方法为，计算窗口中n×n个点的相位值与左图像标记点相位值之间的相关度，当所述相关度最大时，对应的点为最佳匹配点。

作为本发明的一种优选方案，n的取值为大于或等于3的整数。

进一步的，步骤S1所述提取标记点的方法为，针对标记点类型进行基于椭圆边界拟合的圆心提取，获得标记点图像坐标。

进一步的，S5的具体步骤包括：

S51，根据左图像标记点和右图像中最佳匹配点，以及双目相机的***参数，由共线方程计算被测物的三维坐标，所述共线方程为：

其中，r₁～r₉为所述双目相机的***参数中旋转矩阵R的元素，所述旋转矩阵R为3×3的正交矩阵；t_x、t_x和t_z是平移向量T的元素，f_μ是所述双目相机的***参数中图像宽度方向上焦距，f_v是高度方向上的焦距；u₀、v₀为相机像平面中心坐标；

S52，由所述三维坐标计算出基于初始位置的被测物的旋转姿态，所述被测物的旋转姿态由以下公式求得：

P_0i＝P_ni×R_n+T_n

其中，P_0i为初始位置的标记点欧式三维坐标值，n为姿态测量的次数，i为标记点的个数，R和T分别为第n次测量时被测物相对于初始位置的旋转矩阵和平移向量，所述旋转矩阵和平移向量表征被测物的旋转姿态。

进一步的，预先对双目相机的***参数做校准和标定，包括以下步骤：

步骤一，使用双目相机拍摄靶标，对拍摄图像中的特征点进行坐标提取，得到靶标特征点图像坐标p(u,v)；

步骤二，由靶标特征点物理坐标P(X,Y,Z)和所述靶标特征点图像坐标p(u,v)，根据视觉成像数学模型公式计算得到所述双目相机的***参数。

基于本发明的相同构思，还提出了一种基于相位引导双目视觉密集标记点匹配的姿态测量装置，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项所述的方法。

与现有技术相比，本发明的有益效果：

1、当标记点集布设量较大且规则时，通过极线搜索寻找到待匹配同名点集合，继而在待匹配同名点集合中基于相位值寻找到无歧义匹配点并进行坐标优化，寻找到精确的左图像标记点的最佳匹配点，解决了现有技术在标记点集布设量较大且规则时会匹配错误和因图像畸变、透视投影、图像噪声影响造成更多的极线匹配错误点的问题；

2、由于基于椭圆边界拟合的圆心提取的方法从图像处理的角度来说左右两个圆的中心提取都存在误差，所以左右图像同名点对应物体表面的圆心并不是完全的相同，因此计算出的极线也会存在一定误差，本发明基于相位高精度编码的特性，提高真正同名点的坐标提取精度，从而提高了位姿测量精度；另一方面，利用窗口相位数据搜索，相比于整幅图像搜索来说大大减少了计算量。

附图说明

图1为基于极线的双目视觉特征同名点产生歧义匹配问题的原理示意图；

图2为基于相位引导双目视觉密集标记点匹配的姿态测量方法流程图；

图3为实施例1的标记点提取和匹配点集合；

图4为实施例1的相位信息计算及特征点相位映射过程示意图；

图5为实施例1的基于相位等值搜索的标记点匹配结果图；

图6为实施例2双目相机的左右相机分别拍摄到的规律圆心特征点；

图7为实施例2左图像的圆心坐标提取；

图8为实施例2基于极线的双目视觉特征同名点匹配图的左图像；

图9为实施例2基于极线的双目视觉特征同名点匹配图的右图像；

图10为实施例2左右图像的标记点相位图；

图11为实施例2的660个圆心的三维坐标计算结果分布图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

由于现有技术在极线上搜索匹配点会出现歧义匹配，如图1所示，P点和N点位于同一极平面上，两点的对应极线相同，左图像点m在右图像的对应极线l′上有m′和n′，(另外因图像畸变、透视投影和图像噪声也同样会造成更多的极线匹配错误点)，本实施例提供了一种基于相位引导双目视觉密集标记点匹配的姿态测量方法，如图2所示，具体包括以下步骤：

S101，先对双目相机***参数进行校准与标定，方法如下：

采用张正友提出的二维平面靶标算法对双目视觉***中摄像机的内参数和左右相机之间的相对位姿关系进行计算，完成***结构参量的测量和保存；

所采用标定板为20×20＝400个角点的棋盘格靶标，然后使用双目相机拍摄靶标，对每幅拍摄图像中棋盘格角点进行坐标提取，记其棋盘格角点的图像坐标为p(u,v)，并结合已知的棋盘格物理坐标P(X,Y,Z)，利用如下视觉成像数学模型公式即可完成相机内参数标定，

标定的内参数有图像宽度方向上焦距f_μ、高度方向上的焦距f_v、照相装置主点坐标(u₀,v₀)，λ为任意常数。R和T分别是世界坐标系转换到摄像机坐标系的旋转矩阵和平移向量，它们共同组成摄像机的外部参数；其中T的分量为(t_x,t_y,t_z)；矩阵R为3×3的正交矩阵，T的元素为(r₁,…,r₉)。

S102，使用标定好的双目相机***采集被测物的左图像和右图像，对左图像和右图像分别进行基于椭圆边界拟合的圆心提取标记点，从而对拍摄的左右图像分别获得各标记点图像坐标p(u,v)，并保存；本实施例中被测物为天线；

如图3所示，图3中(a)图为基于极线的双目视觉***左图像的标记点提取位置。

S103，由左图像标记点的图像坐标和双目相机的***参数，根据极线几何原理，计算得到左图像标记点在右图像中的待匹配同名点集合；

如图3所示，图3中(b)图为根据极线几何原理对图3中(a)图的5个标记点计算出对应右图像中的匹配点集合；其中红色实线为左图像中5个标记点所对应的右图像的极线；

可以看出，左图像中的标记点3和标记点4所对应的右图像的极线极为接近，左图像中的标记点5和标记点1所对应的右图像的极线重合，因此，仅仅依靠极线无法找到左图像中标记点对应的同名点。

S104，获取左图像和右图像中各标记点的相位值；然后计算右图像中的待匹配同名点集合中各点与左图像标记点的相位差，相位差最小的点为无歧义匹配点；

其中获取左图像和右图像中各标记点的相位值的方法为，如图4所示，在进行被测物即天线的姿态测量时，获取对天线拍摄的双目条纹调整图像，然后对双目条纹调整图像进行图像处理、傅立叶变换、频域窗口基频滤波、逆傅立叶变换、截断相位获取和相位展开等步骤，获得双目相机***拍摄天线表面的截断相位和展开相位，得到左图像和右图像中各标记点的相位值记为

S105，基于所述无歧义匹配点进行坐标优化，得到与左图像标记点相位等值的最佳匹配点；具体方法为：

以右图像中的无歧义匹配点为中心点，选择n×n个点构成的窗口，在窗口中计算并搜索与左图像标记点相位等值的最佳匹配点；其中n的取值基于双目相机的***参数和投影条纹的密集程度选取，并且为不小于3的正整数，n在本实施例中基于双目相机的***参数和投影条纹的密集程度设置为5；

其中在窗口中计算并搜索与左图像标记点相位等值的最佳匹配点的具体方法为，遍历窗口中n×n个点的相位值，其中，所述相位值与左图像标记点相位值相等的点为最佳匹配点；或者计算窗口中n×n个点的相位值与左图像标记点相位值之间的相关度，当所述相关度最大时，对应的点为最佳匹配点；

匹配结果如图5所示。

本步骤基于相位筛选无歧义匹配点所带来的技术效果为，当标记点集布设量较大且规则时，通过极线搜索寻找到待匹配同名点集合，继而在待匹配同名点集合中基于相位值寻找到无歧义匹配点并进行坐标优化，寻找到精确的左图像标记点的最佳匹配点，解决了现有技术在标记点集布设量较大且规则时会匹配错误和因图像畸变、透视投影、图像噪声影响造成更多的极线匹配错误点的问题。

由于基于椭圆边界拟合的圆心提取的方法从图像处理的角度来说左右两个圆的中心提取都存在误差，所以左右图像同名点对应物体表面的圆心并不是完全的相同，因此计算出的极线也会存在一定误差，本步骤基于相位高精度编码的特性，提高真正同名点的坐标提取精度，从而提高了位姿测量精度，另外利用窗口相位数据搜索，相比于整幅图像搜索来说大大减少了计算量。

S106，基于所述最佳匹配点计算求得被测物的三维坐标和旋转姿态，具体步骤包括：

根据左图像标记点和右图像中最佳匹配点，以及双目相机的***参数，由共线方程计算被测物的三维坐标，所述共线方程为：

其中，r₁～r₉为所述双目相机的***参数中旋转矩阵R的元素，所述旋转矩阵R为3×3的正交矩阵；t_x、t_x和t_z是平移向量T的元素，f_μ是所述双目相机的***参数中图像宽度方向上焦距，f_v是高度方向上的焦距；u₀、v₀为相机像平面中心坐标；

然后，由所述三维坐标计算出基于初始位置的被测物的旋转姿态，所述被测物的旋转姿态由以下公式求得：

P_0i＝P_ni×R_n+T_n

其中，n为姿态测量的次数，i为标记点的个数，P_0i为初始位置的标记点欧式三维坐标值，P_ni则对应为第n次测量时的标记点三维坐标，R和T分别为第n次测量时被测物相对于初始位置的旋转矩阵和平移向量，所述旋转矩阵和平移向量表征被测物的旋转姿态。

实施例2

由于现有技术对规则排列的特征点仅依靠极线匹配最易于造成错误匹配，因此本实施例中，将标记点粘贴为比较规律的行列分布，然后使用实施例1所述的方法，使用实施例1标定的双目相机***拍摄到的左右相机标记点如图6所示。

S201，对拍摄的左右图像分别进行基于椭圆边界拟合的圆心提取，包括二值化、区域选择、边缘检测、椭圆中心定位等，拍摄图像的660个标记点均成功提取，其中左图像的标记点提取结果如图7所示。

S202，在左图像的标记点中随机选取20个，在右图像中寻找同名点，通过极线搜索的方式进行同名点匹配必然会造成匹配失败的现象。如图8所示，选择左图像的其中20个标记点进行示例说明，其匹配结果如图9所示，出现了很多错误匹配结果。

S203，由提取的左图像标记点的图像坐标和双目相机的***参数，根据极线几何原理，计算得到左图像标记点在右图像中的待匹配同名点集合以后，获取左图像和右图像中各标记点的相位值，如图10所示。

S204，然后计算右图像中的待匹配同名点集合中各点与左图像标记点的相位差，找到相位差最小的点为无歧义匹配点，基于所述无歧义匹配点进行坐标优化，得到与左图像标记点相位等值的最佳匹配点。

为了验证660个最佳匹配点的匹配正确性，将最佳匹配点集通过共线方程计算出其对应的空间三维点坐标，如果660个特征点同名坐标匹配正确，则计算的三维坐标为物体表面圆特征的实际空间分布，所有特征点在同一个平面且规则网状分布，其三维点坐标如图11所示，可见最佳匹配点均为正确的匹配点，匹配结果符合预期。

实施例3

基于相位引导双目视觉密集标记点匹配的姿态测量装置，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，包括以下步骤：

S1，使用双目相机采集被测物的左图像和右图像，对左图像和右图像分别提取标记点；

S2，由左图像标记点的图像坐标和双目相机的***参数，根据极线几何原理，计算得到左图像标记点在右图像中的待匹配同名点集合；

S3，获取左图像和右图像中各标记点的相位值；然后计算右图像中的待匹配同名点集合中各点与左图像标记点的相位差，相位差最小的点为无歧义匹配点；

S4，基于所述无歧义匹配点进行坐标优化，得到与左图像标记点相位等值的最佳匹配点；

S5，基于所述最佳匹配点计算求得被测物的三维坐标和旋转姿态。

2.如权利要求1所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，步骤S3中，所述获取左图像和右图像中各标记点的相位值具体包括以下步骤：

S31，获取被测物的双目条纹调整图像；

S32，对所述双目条纹调整图像进行傅立叶变换、频域窗口基频滤波、逆傅立叶变换和相位展开，得到左图像和右图像中各标记点的相位值。

3.如权利要求1所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，步骤S4中，所述基于所述无歧义匹配点进行坐标优化的具体方法为，以右图像中的所述无歧义匹配点为中心点，选择n×n个点构成的窗口，在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点。

4.如权利要求3所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，所述在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点的具体方法为，遍历所述窗口中n×n个点的相位值，其中，所述相位值与左图像标记点相位值相等的点为最佳匹配点。

5.如权利要求3所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，所述在所述窗口中计算并搜索与左图像标记点相位等值的最佳匹配点的具体方法为，计算窗口中n×n个点的相位值与左图像标记点相位值之间的相关度，当所述相关度最大时，对应的点为最佳匹配点。

6.如权利要求3所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，n的取值为大于或等于3的整数。

7.如权利要求1所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，步骤S1所述提取标记点的方法为，针对标记点类型进行基于椭圆边界拟合的圆心提取，获得标记点图像坐标。

8.如权利要求1所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，步骤S5的具体步骤包括：

S51，根据左图像标记点和右图像中最佳匹配点，以及双目相机的***参数，由共线方程计算被测物的三维坐标，所述共线方程为：

其中，r₁～r₉为所述双目相机的***参数中旋转矩阵R的元素，所述旋转矩阵R为3×3的正交矩阵；t_x、t_x和t_z是平移向量T的元素，f_μ是所述双目相机的***参数中图像宽度方向上焦距，f_v是高度方向上的焦距；u₀、v₀为相机像平面中心坐标；

S52，由所述三维坐标计算出基于初始位置的被测物的旋转姿态，所述被测物的旋转姿态由以下公式求得：

P_0i＝P_ni×R_n+T_n

其中，P_0i为初始位置的标记点欧式三维坐标值，n为姿态测量的次数，i为标记点的个数；R和T分别为第n次测量时被测物相对于初始位置的旋转矩阵和平移向量，所述旋转矩阵和平移向量表征被测物的旋转姿态。

9.如权利要求1～8任一项所述的基于相位引导双目视觉密集标记点匹配的姿态测量方法，其特征在于，在步骤S1之前，还预先对双目相机的***参数做校准和标定，包括以下步骤：

步骤一，使用双目相机拍摄靶标，对拍摄图像中的特征点进行坐标提取，得到靶标特征点图像坐标p(u,v)；

步骤二，由靶标特征点物理坐标P(X,Y,Z)和所述靶标特征点图像坐标p(u,v)，根据视觉成像数学模型公式计算得到所述双目相机的***参数。

10.基于相位引导双目视觉密集标记点匹配的姿态测量装置，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-9任一项所述的方法。

Images