CN109522935B - 一种对双目视觉测量***的标定结果进行评价的方法 - Google Patents

Abstract

本发明公开了一种对双目视觉测量***的标定结果进行评价的方法，利用标定得出的内外参及标定板上标记点在左右图像中的像点坐标，计算标定点在相机坐标系下的三维坐标，再将此三维坐标转换到世界坐标系得到标记点的空间坐标测量值，计算该空间坐标测量值与标记点的实际坐标值之间的欧式距离，对拍摄得到的不同标定位姿下的标定板中的多个标记点，求取欧式距离的均值，并判断标定结果是否正确；本方法对双目视觉测量***进行标定结果精度评价，评价方式更为合理；本发明方法还对基础矩阵进行评价，为后续双目***的匹配过程提供保障，本发明对双目视觉检测***的标定精度评价准确，具有广泛的实用性。

Description

一种对双目视觉测量***的标定结果进行评价的方法

技术领域

本发明涉及机器视觉检测领域，具体涉及一种对双目视觉测量***的标定 结果进行评价的方法。

背景技术

双目视觉测量***是利用两个摄像机从不同角度对目标物体拍照进行图像 采集，并在三维空间中重构目标的三维信息，以实现物体形貌的检测，在视觉 测量领域有着广泛的应用，而双目视觉测量***的标定过程是测量中不可或缺 的环节，如张氏标定法，使用平面标定板进行标定，标定结果的精度很大程度 上决定了后续测量的精度，因此，在双目视觉测量***标定完成后，需要验证、 评价标定结果的精度是否满足测量要求。

目前现有的评价方法为反向投影误差分析法，该方法将标定板上的标记点 三维坐标通过标定获取的转换矩阵转换为图像平面上的二维坐标，然后计算测 量点和理想点之间的距离，此种评价方法在二维图像上计算，主要是对内外参 数的评价。

发明内容

本发明针对双目视觉测量***，提出一种新的标定精度评价方法，本方法 在三维空间内计算测量点和理想点之间的距离，评价方式更为合理；同时，对 于双目结构的测量***，大多数匹配算法都需借助外极线约束，基础矩阵计算 的准确性决定极线计算是否准确，本发明方法还对基础矩阵进行评价，为后续 双目***的匹配过程提供保障。本发明对双目视觉检测***的标定精度评价更 为准确，具有广泛的实用性。

技术方案如下：

一种对双目视觉测量***的标定结果进行评价的方法，标定结果包含：

左相机内参数矩阵

右相机内参数矩阵

其中，f_xl，f_yl为左相机x轴和y轴方向的尺度因子，(u_0l，v_0l)为主点坐 标；f_xr，f_yr为右相机x轴和y轴方向的尺度因子，(u_0r，v_0r)为主点坐标；

右相机坐标系到左相机坐标系的旋转矩阵

平移矩阵T_c＝ [t₁t₂ t₃]^T；左相机坐标系到右相机坐标系的旋转矩阵

平 移矩阵

不同标定位姿下，标定板中各个标记点在世界坐标系下的坐标(X_ij，Y_ij， Z_ij)，i＝1，2，3…m，m是标定位姿的个数；j＝1，2，3…n，n为标定板中标记 点的数目；

左相机坐标系或右相机坐标系与世界坐标系的转换关系[R_wi T_wi]，i＝1，2， 3…m；

对上述标定结果按照如下步骤进行评价：

步骤1，计算标定板图像中各个标记点分别在左相机图像坐标系和右相机图 像坐标系下的二维坐标；

其中，单个标记点在左、右相机图像坐标系下的二维坐标记为：

其中：下标l代表左相机获取 的图像，下标r代表右相机获取的图像，下标p代表p点；

步骤2，分别计算单个标记点在左相机坐标系的三维坐标

其中，

步骤3，将步骤2中计算出的标记点在左相机坐标系下的三维坐标

转换到世界坐标系，得到其空间三维坐标p_j′＝ [x_j y_j z_j]^T：

步骤4，计算步骤3中得出的标记点空间三维坐标p_j′＝[x_j y_j z_j]^T与标 定结果中对应标记点在世界坐标系下的坐标(X_ij，Y_ij，Z_ij)之间的欧式距离d_ij；

步骤5，对于基于标定板与相机不同相对位置处获得的标定板图像重复步骤 1～步骤4，计算评价参数e_p；

其中w为如上计算中用到的所有标定板图像中的标记点数量的总和；

当e_p小于预设的阈值K时，则标定结果准确，反之，标定结果不准确。

进一步，当利用右相机坐标系与世界坐标系之间的关系时，将步骤2替换 为步骤2)，步骤3替换为步骤3)；

步骤2)、计算单个标记点在右相机坐标系的三维坐标

其中，

步骤3)，将步骤2)中计算出的标记点在右相机坐标系下的三维坐标

转换到世界坐标系，得到其空间三维坐标p_j′＝ [x_j y_j z_j]^T：

进一步，对基础矩阵的评价方法，步骤如下：

根据标定结果，计算基础矩阵F：

F＝A_r ^-TEA_l ^-1

对于左相机图像坐标系中标记点的坐标

计算其极线I：

I＝Fp_jl

其中E是本征矩阵，E＝T_c×R_c；

计算右相机图像中与之对应的同名点

到极线I的距 离h，当h小于设定阈值s时，则基础矩阵F的计算准确，反之，基础矩阵F的 计算错误。

上述对基础矩阵的评价方法，也可以采用如下步骤：

根据标定结果，计算基础矩阵F：

F＝A_l ^-TEA_r ^-1

对于右相机图像坐标系中标记点的坐标

计算其对应极线 I：

I＝Fp_jr

其中E是本征矩阵，

计算左相机图像坐标系中与之对应的同名点

到极线I的距离h，当h小于设定阈值s时，则基础矩阵F的计算准确，反之，基础矩阵 F的计算错误。

其中，基本矩阵体现了两视图几何的内在射影几何关系，基本矩阵只依赖 于摄像机的内参和外参；

本征矩阵反映了空间点的像点在不同视角相机下相机坐标系之间的关系， 包含了物理空间中两个相机的旋转、平移信息。

进一步，步骤1中标定板图像为标定过程中获取的图像或利用标定后的左、 右相机获得的图像。

进一步，所述标定位姿包括双目视觉***拍摄标定板的位置、角度；

优选，所述步骤5基于标定板与相机不同相对位置处获得的标定图像的数 目为10～30。

进一步，所述标定结果为张氏标定方法得到的标定结果，标定板是以同心 圆为特征的平面标定板。

本发明方法能够评价双目视觉测量***标定出的内外参数和基础矩阵，相 比于传统的反向投影评价标定结果的方法，本发明方法是在三维空间内计算标 记点的测量值与理论值的偏差，评价更为准确，同时，本发明可判断通过基础 矩阵求解的极线是否准确，为后续同名点匹配及三维测量提供参考。

具体实施方式

以下结合具体实施方式对本发明的技术方案进行详细描述。

将双目视觉测量***位置固定，根据相机焦距，设置多个标定位姿，拍摄 不同标定位姿处的以圆为特征的平面标定板图像并存储；单个标定板中包含695 个圆特征；

在本发明的一个实施例中，左、右相机焦距为40mm，设置不同标定位姿如 下：

在工作距900mm处，将正对双目视觉测量***的标定板分别：向上倾斜 30°、向下倾斜30°、向左倾斜30°、向右倾斜30°，作为位姿8～位姿11； 双目视觉测量***对应拍摄这四组不同倾斜角度的标定位姿的标定板图像；

在工作距900mm处，将正对双目视觉测量***的标定板顺时针旋转90°， 再分别向上倾斜30°、向下倾斜30°、向左倾斜30°、向右倾斜30°，作为 位姿12～位姿15；

利用张氏标定方法得到的标定结果如下：

左相机内参数矩阵

右相机内参数矩阵

右相机坐标系到左相机坐标系的旋转矩阵

平移矩阵T_c＝ [t₁t₂ t₃]^T；

不同标定位姿下，标定板中各个标记点在世界坐标系下的坐标(X_ij，Y_ij， Z_ij)，i＝1，2，3…m，m是标定位姿的个数；j＝1，2，3…n，n为标定板中标记 点的数目；

左相机坐标系或右相机坐标系与世界坐标系的转换关系[R_wiT_wi]，i＝1，2， 3…m；

对上述标定结果按照如下步骤进行评价：

步骤1，计算位姿1的标定板图像中各个标记点分别在左相机图像坐标系和 右相机图像坐标系下的二维坐标；

其中，单个标记点在左、右相机图像坐标系下的二维坐标记为：

其中：下标l代表左相机获取 的图像，下标r代表右相机获取的图像，下标p代表p点；

步骤2，分别计算单个标记点在左相机坐标系的三维坐标

其中，

步骤3，将步骤2中计算出的标记点在左相机坐标系下的三维坐标

转换到世界坐标系，得到其空间三维坐标p_j′＝ [x_j y_j z_j]^T：

步骤2、3中也可以计算标记点在右相机坐标系下的三维坐标

并将p_j转换到世界坐标系；

步骤4，计算步骤3中得出的标记点空间三维坐标p_j′＝[x_j y_j z_j]^T与标 定结果中对应标记点在世界坐标系下的坐标(X_ij，Y_ij，Z_ij)之间的欧式距离d_ij；

步骤5，对于位姿2～位姿13中每个位姿下存储的标定板图像，依次重复步 骤1～步骤4，计算评价参数e_p；

其中w为如上计算中用到的所有标定板图像中的标记点数量的总和；

当e_p小于预设的阈值K时，则标定结果准确，反之，标定结果不准确。

依据计算得出的单个位姿下各个标记点的欧式距离d_ij的均值，绘制折 线图，d_ij的均值计算结果如下表：

	位姿1	位姿2	位姿3	位姿4	位姿5	位姿6	位姿7	位姿8
									d<sub>ij</sub>的均值	0.014	0.016	0.016	0.016	0.015	0.018	0.018	0.014
	位姿9	位姿10	位姿11	位姿12	位姿13	位姿14	位姿15
									d<sub>ij</sub>的均值	0.013	0.014	0.016	0.018	0.019	0.016	0.015

同时，对双目视觉测量***匹配过程中的基础矩阵的进行评价，步骤如下：

根据标定结果，计算基础矩阵F：

F＝Ａ_r ^-TEＡ_l ^-1

对于左相机图像坐标系中标记点的坐标

计算极线I：

I＝Fp_jl

其中E是本征矩阵，E＝T'×R'；

计算右相机图像坐标系中与之对应的同名点

到极线I的距离h，当h小于设定阈值s时，则基础矩阵F的计算准确，反之，基础矩阵 F的计算错误。

依据单个位姿下各个标记点算得出的h值绘制折线图，h计算结果如 下表：

	位姿1	位姿2	位姿3	位姿4	位姿5	位姿6	位姿7	位姿8
									h值	0.033	0.039	0.034	0.031	0.039	0.022	0.030	0.028
	位姿9	位姿10	位姿11	位姿12	位姿13	位姿14	位姿15
									h值	0.028	0.038	0.033	0.038	0.033	0.052	0.030

为了方便解释和精确限定所附权利要求，术语“上”、“下”、“左”和“右”是特 征位置的示例性实施方式的描述。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。 前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精 确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方 案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的 其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式 和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (5)

1.一种对双目视觉测量***的标定结果进行评价的方法，标定结果包含：

左相机内参数矩阵

右相机内参数矩阵

其中，f_xl，f_yl为左相机x轴和y轴方向的尺度因子，(u_0l，v_0l)为主点坐标；f_xr，f_yr为右相机x轴和y轴方向的尺度因子，(u_0r，v_0r)为主点坐标；

右相机坐标系到左相机坐标系的旋转矩阵

平移矩阵T_c＝[t₁ t₂ t₃]^T；左相机坐标系到右相机坐标系的旋转矩阵

平移矩阵T`<sub>c</sub>＝[t`₁t`<sub>2</sub> t`₃]^T；

不同标定位姿下，标定板中各个标记点在世界坐标系下的坐标(X_ij，Y_ij，Z_ij)，i＝1，2，3…m，m是标定位姿的个数；j＝1，2，3…n，n为标定板中标记点的数目；

左相机坐标系或右相机坐标系与世界坐标系的转换关系[R_wi T_wi]，i＝1，2，3…m；

其特征在于，对上述标定结果按照如下步骤进行评价：

步骤1，计算标定板图像中各个标记点分别在左相机图像坐标系和右相机图像坐标系下的二维坐标；

其中，单个标记点在左、右相机图像坐标系下的二维坐标记为：

其中：下标l代表左相机获取的图像，下标r代表右相机获取的图像，下标p代表p点；

步骤2，分别计算单个标记点在左相机坐标系的三维坐标

其中，

步骤3，将步骤2中计算出的标记点在左相机坐标系下的三维坐标

转换到世界坐标系，得到其空间三维坐标p_j′＝[x_j y_j z_j]^T：

步骤4，计算步骤3中得出的标记点空间三维坐标p_j′＝[x_j y_j z_j]^T与标定结果中对应标记点在世界坐标系下的坐标(X_ij，Y_ij，Z_ij)之间的欧式距离d_ij；

步骤5，对于基于标定板与相机不同相对位置处获得的标定板图像重复步骤1～步骤4，计算评价参数e_p；

其中w为如上计算中用到的所有标定板图像中的标记点数量的总和；

当e_p小于预设的阈值K时，则标定结果准确，反之，标定结果不准确；

根据标定结果，计算基础矩阵F：

F＝A_r ^-TEA_l ^-1

对于左相机图像坐标系中标记点的坐标

计算其极线I：

I＝Fp_jl

其中E是本征矩阵，E＝T_c×R_c；

计算右相机图像坐标系中与之对应的同名点

到极线I的距离h，当h小于设定阈值s时，则基础矩阵F的计算准确，反之，基础矩阵F的计算错误；

或者，根据标定结果，计算基础矩阵F：

F＝A_l ^-TEA_r ^-1

对于右相机图像坐标系中标记点的坐标

计算其对应极线I：

I＝Fp_jr

其中E是本征矩阵，E＝T`<sub>c</sub>×R`_c；

计算左相机图像坐标系中与之对应的同名点

到极线I的距离h，当h小于设定阈值s时，则基础矩阵F的计算准确，反之，基础矩阵F的计算错误。

2.如权利要求1所述对双目视觉测量***的标定结果进行评价的方法，其特征在于：步骤2替换为步骤2)，步骤3替换为步骤3)，

步骤2)、计算单个标记点在右相机坐标系的三维坐标

其中，

步骤3)，将步骤2)中计算出的标记点在右相机坐标系下的三维坐标

转换到世界坐标系，得到其空间三维坐标p_j′＝[x_j y_j z_j]^T：

3.如权利要求1或2所述对双目视觉测量***的标定结果进行评价的方法，其特征在于：步骤1中标定板图像为标定过程中获取的图像或利用标定后的左、右相机获得的图像。

4.如权利要求1或2所述对双目视觉测量***的标定结果进行评价的方法，其特征在于：所述步骤5基于标定板与相机不同相对位置处获得的标定图像数目为10～30。

5.如权利要求1或2所述对双目视觉测量***的标定结果进行评价的方法，其特征在于：所述标定结果为张氏标定方法得到的标定结果，标定板是以同心圆为特征的平面标定板。