CN113048888A

CN113048888A - 基于双目视觉的远距离三维位移测量方法及***

Info

Publication number: CN113048888A
Application number: CN202110245685.6A
Authority: CN
Inventors: 王云泽
Original assignee: Hangzhou Hypertrum Technology Co ltd
Current assignee: Hangzhou Hypertrum Technology Co ltd
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2021-06-29

Abstract

本发明提出了一种基于双目视觉的远距离三维位移测量方法及***。该方法为：在待测物的待测点位上固定设置标记块，用两台相机从不同角度拍摄标记块；初始时，两台相机分别采集标记块的图像，获取标记块在两幅图像上共同可见顶点的初始像素坐标，得到任意两个顶点之间的像素坐标偏移量，根据两个顶点的实际空间相对位置，结合这两个顶点在两幅图像上的像素偏移量，通过多组点对数据得到像素偏移量与实际空间相对距离之间的关系矩阵；测量时，两台相机分别采集标记块的图像，获取各顶点的像素坐标，然后与初始像素坐标比较，得到标记块在两幅图像上的像素位移量，结合上述关系矩阵，得到标记块的实际空间位移量。该方法不需要标定相机的内外参数，测量精度高。

Description

基于双目视觉的远距离三维位移测量方法及***

技术领域

本发明涉及测量领域，具体涉及一种基于双目视觉的远距离三维位移测量方法及***。

背景技术

目前，基于视觉图像的位移测量装置，主要分为单目测量和双目测量两种。单目测量可用于一维测量和二维测量，三维测量精度较差，而双目测量主要是用于近距离的三维位移测量。

当前基于双目的三维测量方法基本都需要通过标定得到相机的内外参，然后通过目标在图像上的像素坐标反推得到三维坐标，根据三维坐标的变化从而计算位移。但是某些场景下，标定往往比较困难且标定精度难以保证，而且像素定位精度往往对结果影响很大。另外通过精密位移滑台实现的双目，室外部署困难，同时由于基线长度有限，难以实现远距离小位移测量。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于双目视觉的远距离三维位移测量方法及***。

为了实现本发明的上述目的，本发明提供了一种基于双目视觉的远距离三维位移测量方法，包括以下步骤：

在待测物的待测点位上固定设置标记块，并用两台相机分别从不同角度对标记块进行图像采集，标记块上至少有4个非共面的顶点需同时出现在两台相机的视场内；

以标记块上的一个顶点为原点，建立世界坐标系；相机坐标系固定在相机上，以相机光轴方向为z轴,建立每台相机的相机坐标系；

初始时，两台相机分别采集标记块的图像，获取标记块在两台相机上共同可见的顶点的初始像素坐标，得到任意两个所述顶点之间的像素坐标偏移量，根据所述两个顶点的实际空间相对位置，结合所述两个顶点在两台相机所采集的图像上的像素偏移量，通过多组点对数据得到像素偏移量与实际空间相对距离之间的关系矩阵；

测量时，两台相机分别采集标记块的图像，获取各顶点的像素坐标，得到测量时各顶点相对初始时在图像中的像素位移量，以任意一个顶点的像素位移量作为标记块在图像上的像素位移量，或者，将部分或全部顶点的像素位移量求均值作为标记块在图像上的像素位移量；

根据标记块在图像上的像素位移量以及像素偏移量与实际空间相对距离之间的关系矩阵得到测量时标记块的实际位移量，即为待测点位的位移。

该方法实现基于双目的远距离三维位移测量，不需要标定相机的内外参数，简化了双目三维位移测量,测量精度高，且降低了传统现场施工难度以及测量成本。

该方法的优选方案：像素偏移量与实际空间相对距离之间的关系矩阵计算方法为：

根据两台相机采集到的n个同时可见且不共面的顶点的像素坐标，建立两台相机各自所采集的图像中所述n个顶点中任意两个顶点的像素距离差矩阵W以及所述任意两个顶点的实际距离差矩阵T：

其中，

Δu_lk＝u_li-u_lj，Δv_lk＝v_li-v_lj，Δu_rk＝u_ri-u_rj，Δv_rk＝v_ri-v_rj，Δx_k＝x_i-x_j，Δy_k＝y_i-y_j，Δz_k＝z_i-z_j，所述i和j为n个顶点中的任意两点，1≤k≤m，(u_li-u_lj，v_li-v_lj)和(u_ri-u_rj，v_ri-v_rj)为相机所采集两幅图像中顶点i与顶点j之间的像素距离差，(x_i-x_j,y_i-y_j,z_i-z_j)是顶点i与顶点j在世界坐标系下的实际距离差；

将矩阵W从m×4维矩阵作PCA降维降至m×3维矩阵，计算得到降维矩阵Q,降维后的矩阵W用W′表示，W′＝WQ；

计算J_K＝min_K{||W′K-T||²}＝min_K{‖WQK-T‖²}最小时的参数矩阵K，得到K＝(Q^TW^TWQ)^-1Q^TW^TT，即为像素偏移量与实际空间相对距离之间的关系矩阵。

待测物实际位移量

其中，(Δu_l，Δv_l)为第一相机采集的图像上的标记块的像素位移，(Δu_r，Δv_r)为第二相机采集的图像上的标记块的像素位移。这使得该方法计算简单，不需要标定相机的内外参数，精度高，可实现远距离三维小位移测量。

该方法的优选方案：所述标记块为立方体，该立方体上的至少4个非共面的顶点需同时出现在每个相机的视场内。

该方法的优选方案：建立矩阵W和矩阵T时，每两两顶点之间的连线不平行。这避免了重复的计算。

该方法的优选方案：建立矩阵W和矩阵T时，所有选取的两两顶点之间的连线不共面。这进一步确保了是进行的三维位移测量。

该方法的优选方案在待测点位上固定设置标记块，采用两台定焦工业相机对标记块进行远距离三维位移测量。从多个待测点对待测物进行三维位移测量，准确度更高。

本申请还提出了一种基于双目视觉的远距离三维位移测量***，其包括两台相机、标记块和控制模块，所述标记块固定设置于待测物上，所述控制模块与相机连接，控制相机对待测物进行双目成像，并按上述的远距离三维位移测量方法计算待测物的实际位移量。

本发明的有益效果是：本发明不需要标定相机的内外参数，简化了双目三维位移测量，通过标记块上各个点的三维位置关系，快速得到了像素偏移量与实际空间相对距离之间的关系矩阵，且在计算过程中通过PCA降维使像素位移量特征更加稳定，远距离三维位移测量精度更高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是误差分析曲面图；

图2是误差分析曲线；

图3是远距离三维位移测量***的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种基于双目视觉的远距离三维位移测量方法，包括以下步骤：

在待测物的待测点位上固定设置标记块，即认为待测物与标记块之间是相对静止的，并用两台相机分别从不同角度对标记块进行图像采集，本实施例中相机与标记块的距离优选但不限于为30m左右，标记块上至少有4个非共面的顶点需同时出现在两台相机的视场内。

在设置相机时，根据实际测量距离，选好定焦相机，为了保证测量精度，最好使得标记块所在深度，在图像上的一个像素小于0.5mm。标记块优选但不限于为立方体，立方体上的至少4个非共面的顶点需同时出现在每个相机的视场内。

将标记块上的一个顶点为原点，建立世界坐标系，获得标记块上其它顶点的世界坐标。最终求得的位移是世界坐标系下的位移。当标记块为立方体时，以立方体的一个顶点为原点，和顶点相连的三条棱边分别为x,y,z轴，建立世界坐标系，获得立方体上其它顶点的世界坐标。

相机坐标系固定在相机上，以相机光轴方向为坐标系z轴方向,相机光心为坐标系原点。

在检测周期的初始时，两台相机分别采集标记块的图像，获取标记块在两台相机上共同可见的顶点的初始像素坐标，得到任意两个所述顶点之间的像素坐标偏移量，根据所述两个顶点的实际空间相对位置，结合所述两个顶点在两台相机所采集的图像上的像素偏移量，通过多组点对数据得到像素偏移量与实际空间相对距离之间的关系矩阵。

在测量时，两台相机分别采集标记块的图像，获取各顶点的像素坐标，得到测量时各顶点相对初始时在图像中的像素位移量。由于是远距离小位移测量且标记块尺寸较小，所以可认为标记块各顶点的像素位移量大小一致。因此，以任意一个顶点的像素位移量作为标记块在图像上的像素位移量。为了提高像素位移量的计算精度，也可将部分或所有顶点的像素位移求平均作为标记块在图像上的像素位移量。

然后根据标记块在图像上的像素位移量以及像素偏移量与实际空间相对距离之间的关系矩阵得到测量时标记块的实际位移量，即为待测点位的位移。

具体地，假设点P在世界坐标系下的坐标为(x,y,z)，在相机坐标系下的坐标为(x_c,y_c,z_c)，世界坐标系到相机坐标系的变换矩阵为M，则有

根据相机小孔成像模型可以得到点P在图像上的像素坐标(u,v)为：

其中，f_x,f_y,u_o,v_o是相机内参。

令

则：

当点P发生了位移时，测量时图像中的点与其世界坐标、相机坐标的关系为：

其中(Δu,Δv)为点P在图像上的位移量，(Δx,Δy,Δz)为点P在世界坐标系下的位移量，(δx,δy,δz)为点P在相机坐标系下的位移量。

由于是远距离测量，

所以假定位移前后保持z_c不变，则z_c≈z_c+δz≈L，L为沿相机光轴方向的测量距离。这里体现了远距离三维小位移测量。

则根据

得到

即

当世界坐标系与待测物已指定，系数A,B,C,E,F,G只与相机的内参以及固定的位置和姿态相关，不随外界环境所改变，可认为是常量。当布设了两台相机则有两组参数分别为A_l,B_l,C_l,E_l,F_l,G_l和A_r,B_r,C_r,E_r,F_r,G_r。

对两台相机的所采集图像上的点的像素位移量列四组方程：

转换为矩阵形式：

其中，(Δu_l,Δv_l)为第一相机采集图像上的点的像素位移量，L_l为第一相机沿相机光轴方向的测量距离，A_l,B_l,C_l,E_l,F_l,G_l均为根据第一相机内参得到的常系数；(Δu_r,Δv_r)为第二相机采集图像上的点的像素位移量，L_r为第二相机沿相机光轴方向的测量距离，A_r,B_r,C_r,E_r,F_r,G_r均为根据第二相机内参得到的常系数，可见(Δu_l,Δv_l,Δu_r,Δv_r)线性相关，可由(Δx,Δy,Δz)线性表示。这里通过假设远距离小位移测量，从而得到像素位移量与实际三维位移量之间存在线性关系，从而简化了三维位移计算流程。

因此，建立(Δu_l,Δv_l,Δu_r,Δv_r)与(Δx,Δy,Δz)之间的线性关系，可求得待测物的三维位移。建立方法如下：

建立像素偏移量与实际空间相对距离之间的关系矩阵：

其中，

另外，Δu_lk＝u_li-u_lj，Δv_lk＝v_li-v_lj，Δu_rk＝u_ri-u_rj，Δv_rk＝v_ri-v_rj，Δx_k＝x_i-x_j，Δy_k＝y_i-y_j，Δz_k＝z_i-z_j，所述i和j为n个顶点中的任意两点，k为m组数据中的某一组，1≤k≤m，(u_li-u_lj，v_li-v_lj)和(u_ri-u_rj，v_ri-v_rj)为相机所采集两幅图像中顶点i与顶点j之间的像素距离差，而(x_i-x_j,y_i-y_j,z_i-z_j)是顶点i与顶点j在世界坐标系下的实际距离差；

以获取第一组数据为例，若标记块的边长为a，选择的两个标记块顶点的世界坐标分别为(a,0,a)和(a,a,0)，两个顶点在第一相机所拍摄的图上的像素坐标分别为(u_li,v_li)和(u_lj,v_lj)，在第二相机上所拍摄的图上的像素坐标分别为(u_ri,v_ri)和(u_rj,v_rj)，则有

其它组数据获取方法类似。

通过最小二乘法求得使J_K＝min_K{||W′K-T||²}＝min_K{‖WQK-T‖²}最小时的参数矩阵K，得到K＝(Q^TW^TWQ)^-1Q^TW^TT。

待测物的实际位移量

其中，(Δu_l，Δv_l)为第一相机采集的图像上的标记块的像素位移，(Δu_r，Δv_r)为第二相机采集的图像上的标记块的像素位移。

本实施例的优选方案，可在所述待测物上设置多个待测点位，在每个待测点位上均固定设置标记块，采用两个PTZ工业相机对每个标记块进行远距离三维位移测量。根据所有待测点位的位置确定相机的固定位置，并为每个待测点位设置相机预置点。这里的固定位置至少满足相机能对所有的待测点位进行拍摄，当调取预置点时，相机能在预置点对该预置点对应的待测点位进行拍摄，这里可以通过工控机调取预置点，控制相机在预置点拍摄，预置点包括拍摄角度、曝光度、焦距等。

本实施例的优选方案，在建立矩阵W和矩阵T时，每两两顶点之间的连线不平行。

本实施例的另一优选方案，在建立矩阵W和矩阵T时，所有选取的两两顶点之间的连线不共面。

本实施例的测量精度可达到毫米级，接下来对测量精度进行分析：

当标记块采用边长为100mm的立方体，相机的图像分辨率为3840*2160，标记块距离相机30m，两台相机与标记块的连线成30°角，相机在30m外的水平视场为1.92m(即每个像素0.5mm)时，进行仿真误差分析。

得到的结果如图1和图2所示，误差主要受两个因素影响，分别是标记块顶点像素坐标定位精度和实际位移量大小。当像素定位偏差为0，实际位移量在100mm以内时，位移计算偏差的均值小于0.3mm；当位移大小为50mm，标记块顶点定位偏差小于2个像素时，位移计算偏差的均值小于2.5mm。

所以标记块顶点像素坐标的定位精度是影响位移测量精度的最主要因素。为了进一步提高位移测量精度，可以通过加大焦距或者提高图像分辨率的方式来实现。

如图3所示，本发明还提出了一种基于双目视觉的远距离三维位移测量***，其包括两台相机2、标记块1和控制模块4，所述标记块1固设于待测物上，所述控制模块4与相机2连接。待测物上可设置多个待测点，每个待测点均固设一个标记块1。这里可设置交换机3，每个所述相机2与交换机3连接，所述交换机3与控制模块4连接。控制模块4控制相机2对待测物进行双目成像，并按上述的远距离三维位移测量方法计算待测物的实际位移量。这里的相机2可采用PTZ相机代替，为每个标记块1设置相机预置点，实现多点位移测量。控制模块4调取预置点，控制PTZ相机在预置点对标记块1拍摄，预置点包括拍摄角度、曝光度、焦距等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims

1.一种基于双目视觉的远距离三维位移测量方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于双目视觉的远距离三维位移测量方法，其特征在于，像素偏移量与实际空间相对距离之间的关系矩阵计算方法为：

其中，

计算J_K＝min_K{||W′K-T||²}＝min_K{||WQK-T||²}最小时的参数矩阵K，得到K＝(Q^TW^TWQ)^- ¹Q^TW^TT，即为像素偏移量与实际空间相对距离之间的关系矩阵。

3.根据权利要求2所述的基于双目视觉的远距离三维位移测量方法，其特征在于，待测物实际位移量

4.根据权利要求2所述的基于双目视觉的远距离三维位移测量方法，其特征在于，建立矩阵W和矩阵T时，每两两顶点之间的连线不平行。

5.根据权利要求2所述的基于双目视觉的远距离三维位移测量方法，其特征在于，建立矩阵W和矩阵T时，所有选取的两两顶点之间的连线不共面。

6.根据权利要求1所述的基于双目视觉的远距离三维位移测量方法，其特征在于，在待测点位上固定设置标记块，采用两台定焦工业相机对标记块进行远距离三维位移测量。

7.根据权利要求1所述的基于双目视觉的远距离三维位移测量方法，其特征在于，所述标记块为立方体，该立方体上的至少4个非共面的顶点需同时出现在每个相机的视场内。

8.一种基于双目视觉的远距离三维位移测量***，其特征在于，包括两台相机、标记块和控制模块，所述标记块固定设置于待测物上，所述控制模块与相机连接，控制相机对待测物进行双目成像，并按权利要求1-7任一项所述的远距离三维位移测量方法计算待测物的实际位移量。

9.根据权利要求8所述的基于双目视觉的远距离三维位移测量***，其特征在于，还包括交换机，每个所述相机与交换机连接，所述交换机与控制模块连接。