CN112419427A - 用于提高飞行时间相机精度的方法 - Google Patents

Abstract

一种用于提高飞行时间相机的精度的方法，采用实时获得场景三维成像的飞行时间相机,所述相机发射经过调制的近红外光信号，通过计算发射光信号到目标物体的时间或相位与返回光信号回到传感器的时间或相位之间的差值，以高帧率同时获取幅值图像和深度图像，从而应用到三维重建、医疗技术等计算机视觉场景，并通过对飞行时间相机进行深度补偿和进一步通过结合高分辨率相机对飞行时间图像特征点位置校正，实现对飞行时间精度的提升。

Description

用于提高飞行时间相机精度的方法

技术领域

本发明一般涉及飞行时间(Time of flight，ToF)相机，并且更具体地，涉及用于提高ToF相机精度的方法，属于相机仪器的测量和标定领域。

与飞行时间图像相比，本发明能够减少ToF的深度误差，并且能够对ToF图像特征点位置进行校正，进而提高ToF相机的精度。

背景技术

随着当今科技的进步和工业水平的发展，许多行业对三维信息的需求越来越高，三维信息被广泛应用工业生产和生活的各个角落。在工业生产领域，随着自动化程度的加强，在零件的故障检测、产品的自动分拣、物流配送的路径规划等场景，三维信息的获取的是必不可少的。在如今非常火热的自动驾驶领域，汽车周围空间的三维信息的获取是最开始也是最重要的步骤之一。而在日常生活领域，现在的智能手机的人脸识别模块往往是通过配备了能够获取三维信息的深度传感器来实现人脸识别功能的。

而基于飞行时间(ToF)原理的ToF相机是一种主动测量的3D相机，它具有体积小巧、帧率高、无需扫描、不依赖于外界光照等特点。ToF相机能够发射经过调制的近红外光信号，通过计算发射光信号到目标物体的时间(相位)与返回光信号回到传感器的时间(相位)，通过计算它们之间的差值，ToF相机能够以高帧率同时获取幅值图像(灰度图像)和深度图像，从而能够用于三维重建、医疗技术等计算机视觉场景。现如今ToF相机有着很高的研究价值和应用场景，2020款最新款的华为mate系列手机和苹果ipadpro系列平板都配备了具有ToF技术的深度传感器来用于人脸识别和虚拟现实等应用。

但是，ToF深度相机获得深度数据容易受到随机误差和***误差等的影响，存在深度缺失、偏移、畸变等问题。ToF相机受到的误差来源包括温度、场景物体的反射率、相机与场景之间的距离、积分时间，相机与拍摄物体之前的相对运动等。其中比较重要且影响大的误差是与距离相关的误差，又叫做摆动误差，这种误差往往是由于ToF相机理想的正弦波信号与实际的观测到的信号的波形不一致产生的误差。这种误差是ToF相机最重要的误差之一。除此之外，ToF相机提供的图像分辨率远远低于现在提供二维信息的普通相机图像分辨率。这就造成了ToF图像上呈现出来的是空间中场景的模糊表达，这对空间中关键信息的定位是一个挑战，因此对ToF图像上关键点(特征点)位置的校正是一个需要解决的问题。

发明内容

基于上述所提出的问题，本发明了提供了一种飞行时间相机的精度提高方法，该方法通过(1)搭建了相机的标定的平台；(2)通过拟合了距离-误差函数模型来实现对ToF深度图像逐像素的误差补偿；(3)结合一个高分辨率相机，通过两个相机的相对位姿关系，在高分辨图像中寻找更精确的特征点位置，再反投影到ToF图像上，从而校正了ToF图像的特征点位置。通过我们方法能够实现对ToF图像深度、特征点像素位置这个三个方向的校正，从而提高了受到相机分辨率限制的ToF精度。

为了实现上述问题，本发明采用如下技术方案：

一种用于提高飞行时间相机精度的方案，该方法主要包括：

搭建一个相机的标定平台，包括一台ToF相机、一台高分辨率相机以及一个棋盘格标定板和一个平坦的平面；

利用标定平台进行ToF和高分辨相机的立体标定，获得ToF相机的内外参数矩阵和高分辨相机的内外参数矩阵以及高分辨率相机相对于ToF相机的相对位姿，用于后序的步骤；

使用单个ToF相机拍摄不同距离下的平坦平面的深度图像，在每个位置同时拍摄多幅图像(多于30幅)，用于减少深度图像的随机噪声，获得每个位置优化后的深度图；

将每个位置优化后的深度图利用最小二乘方法拟合为理想平面作为当前位置ToF捕获平面的地面真实值(ground truth)，获得每个位置下的径向距离-误差数据；

将获得的每个像素在一组距离下的深度-误差数据拟合为自变量为径向距离，因变量为径向误差的二次多项式，用于补偿其它获得深度图像的误差；

利用ToF相机获得的幅值图像用于检测ToF图像亚像素特征点的位置，然后将其在深度图像中进行定位，获得该亚像素周围的四个像素和其对应的深度值，然后利用已经获得内外参数和相对位姿将ToF四个像素点及其深度值变换到高分辨率图像中；

同时在高分辨率图像中对应区域检测特征点，由于高分辨图像拥有对目标场景更清晰的表达，所以与幅值图像获得的特征点进行比较，此时获得亚像素特征点是更精确的特征。然后使用一种距离加权的方法，利用投影到高分辨图像中四个像素点获得高分辨图像中亚像素的深度值。

将高分辨率图像中获得每个校正后的特征点及其深度值变换到ToF相机坐标系下和图像坐标系下从而能获得更精确地的点云和深度图像。

进一步的说，标定平台的具体设置包括：

ToF相机和高分辨相机通过硬件触发线进行连接(软件触发也可以，根据相机SDK的不同选择不同的方案)，以保证ToF和高分辨率相机的同步采集，将两相机以能获得最大相同视场的方式进行固定，然后拍摄不同角度放置的棋盘格，用于拍摄进行立体标定的图像。

进一步的对于标定平台中ToF相机和高分辨相机的内外参数与畸变校正，具体包括：

ToF相机的光路模型与高分辨率相机的光路相同，都具有相同的小孔成像模型，对于ToF相机和高分辨率相机的内外参数的标定，我们采取基于单应性变化的标定方式，然后利用SVD方法获得高分辨相机相对于ToF相机的位姿。

空间中一点a[X_w,Y_w,Z_w]与彩色相机像素坐标[x,y]和ToF像素坐标[m,n]坐标变换，如下所示：

其中K_t和K_c分别表示ToF相机和高分辨率相机的内参矩阵，[R_t T_t]和[R_c T_c]分别表示ToF相机和高分辨相机的外参矩阵。

高分辨率相机到ToF相机之间的相对位姿可以通过如下的矩阵变换获得：

[R_t2c T_t2c]＝[R_c T_c],R_t T_t]^-1

由于镜头设计、加工误差的存在，实际的相机模型(ToF和高分辨相机)不是理想的小孔成像模型，考虑镜头畸变的影响，令[u_p,v_p]代表理想点的像素坐标,[u_d,v_d]代表畸变点(实际点)的像素坐标，则:

其中，

r²＝x²+y²,k₁，k₂和p₁，p₂分别为径向畸变系数和切向畸变系数。

将ToF相机与高分辨相机之间固定，通过多次改变靶标平面与相机对相对位置，得到多个用于立体标定的单应性越说，即可算出每个相机的内外参的初值以高分辨相机相对于ToF相机的相对位姿。在得到每个相机内外参的初值后，由于镜头畸变的存在，需要对各个相机的内外参以及畸变系数进行优化。

进一步的对随机误差的校正，包括：

在同一位置拍摄多幅(大于等于30)深度图像，然后计算获得每个像素点深度平均值u和标准差σ，则优化后的深度图像的每个像素点深度值D(x,y)被计算为：

其中，D_i(x,y)表示第i幅图像的深度值，D(x,y)表示去除随机误差后每个像素点的深度值，(D_i(x,y)-μ)∈,-3σ,3σ]表示去除离群点。

进一步的，拟合逐像素的不同距离深度-误差函数，包括：

来自n个不同距离的深度图像的逐像素距离残差Δd_k(x,y){k＝1,2,...,n}拟合为二次多项式。因此，针对深度图像的每个像素建立距离误差模型。如下方程式所示：

f(d)＝a₂d²+a₁d+a₀

其中d表示每个像素的沿射线方向的深度，a_i{i＝0,1,2}分别表示计算出的多项式系数。f(d)是沿射线方向的估计深度误差。

进一步的，对结合高分辨相机校正ToF图像特征点的方式，具体包括：

步骤1：校准ToF和高分辨率相机对。ToF相机和高分辨率相机安装在平台上并保持固定。低分辨率ToF相机和高分辨率相机同时捕获相对姿势不同的棋盘。

步骤2：将像素从ToF图像投影到高分辨率图像上。如附图说明中图1所示，ToF摄像机和高分辨率摄像机同时捕获对象。并且分别获得低分辨率的ToF图像和高分辨率的彩色图像。首先，确定在ToF图像中检测到的子像素特征点p_tm及其周围的四个像素p_ti{i＝1,2,3,4}。根据像素和深度值，我们可以在ToF相机坐标中计算相应的空间点P_ti{i＝1,2,3,4}。然后，通过相对于ToF相机坐标的高分辨率相机姿态，将四个空间点转换为相应的点P_ci{i＝1,2,3,4}，并且相应的像素p_ci{i＝1,2,3,4}为通过高分辨率相机的针孔成像模型获得，如下所示：

P_ci＝[R_t2c|t_t2c]P_ti

s·p_ci＝K_cP_ci

其中,R_t2c|t_t2c]是外参矩阵，s是比例因子，K_c是高分辨率相机的内参矩阵。

然后，通过搜索p_ci{i＝1,2,3,4}区域中的相似特征，我们可以获得子像素p_cm，该子像素是高分辨率图像中比ToF图像中p_tm更准确的特征点位置估计。

步骤3：特征点位置校正。在步骤2之后，根据像素p_ci及其深度值D(p_ci)，提出一种基于像素距离加权的算法来计算子像素p_cm的深度值：

其中D(p_ci){i＝1,2,3,4}是像素p_ci的深度值。‖p_cm-p_ci‖与p_ci到p_cm的像素距离成反比，代表p_ci深度值与p_cm值的权重。

因此，我们获得的结果是在高分辨率图像中具有正确深度值的准确特征点位置。最后，将具有深度值D(p_cm)的精确特征点p_cm＝,u_cm v_cm]^T转换为ToF相机坐标中的精确3D点

和深度图像中的子像素

其中s表示任意比例，,X_cm Y_cm Z_cm]是高分辨率相机坐标中的空间点，Z_cm＝D(p_cm)，K_t是ToF相机的内部参数，R_t2c和t_t2c是从ToF相机坐标到高分辨率相机坐标的旋转和平移矩阵。

经由以上的技术方案可知，针对高误差，低分辨率的ToF成像问题，我们的方案不需要精密的测量复杂的测量仪器作为辅助，而是提出了结合常见的高分辨相机以及并提出简单有效的算法来解决这个问题，我们的方法通过对ToF深度图像进行逐像素的深度补偿并且结合了一个高分辨相机进行特征点位置校正，进而实现了ToF图像的精度提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1为本发明提供的一种飞行时间相机精度提高方法的总体流程示意图；

附图2为通过逐像素深度补偿校正飞行时间相机误差的流程示意图；

附图3为结合高分辨率相机进一步校正飞行时间相机图像特征点的流程示意图；

附图4为特征点校正方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实例公开了一种飞行时间相机精度提高的总体流程方法，如附图1，该方法包括：

S1:用户利用飞行时间相机拍摄不同相对位置下的多幅棋盘格图像(包括幅值图和深度图)；

S2：利用幅值图像进行基于角点的ToF相机标定，计算获得内部参数矩阵和畸变系数(用于ToF图像的畸变矫正)；

S3：使用一个平坦的平面,ToF相机相对于平面以不同距离拍摄多组深度图像，利用步骤S2获得的畸变系数，对深度图像进行校正；

S4:使用提出的深度补偿方法计算获得每个像素的深度-误差函数，用于深度误差的减小；

S5：将ToF相机与高分辨相机固定在一起，以保证最大视场重叠的方式固定，两个相机以硬件触发的方式连接，保证同步采集；

S6：进行ToF和高分辨率相机的立体标定，获得两个相机的内外参数和相对位姿关系；

S7：在已经进行深度补偿的ToF图像的基础上，进行特征点位置的校正，以获得更高精度ToF图像。

进一步的，本发明公开了一种如例图1所示的深度补偿方法，如例图2所示：

S1：利用飞行时间相机对平面场景进行拍摄，在每个位置连续获得多幅图像，拍摄不同距离下的一组深度图像；

S2：通过对每个位置下连续拍摄的多幅深度图像的每个像素点进行基于高斯噪声的深度图像的随机噪声去除，获得优化后的深度图像；

S3：由深度图像像素点的相位值计算获得每个像素点沿径向方向的距离值，同时将每个距离下的深度图像拟合成为空间平面作为ground truth；

S4：通过计算每个位置下拍摄的深度图像与拟合后的空间平面的每个像素点在径向方向的误差，获得了一组深度-误差数据；

S5：使用多项式函数拟合深度-误差数据，获得每个像素点的深度-误差模型，进而可以用于实际拍摄的深度图像的每个像素点的误差补偿。

进一步的，本发明公开了一种如例图1所示的结合高分辨率相机的飞行时间相机特征点方法，如例图3所示：

S1：将飞行时间相机和高分辨率相机共同固定在标定平台上，通过对飞行时间(ToF)相机和高分辨率相机进行联合标定获得每个相机内参矩阵以及高分辨率相机相对于飞行时间相机的相对位姿关系；

S2：利用飞行时间相机拍摄的幅值图提取亚像素特征点，并确定其所处的周围的四个像素位置，然后再同时拍摄获得深度图中定位像素点及其深度值；

S3：利用高分辨率相机相对于飞行时间相机的相对位姿关系，将深度图像中像素点及深度值投影到高分辨率图像中；

S4：在纹理特征更加丰富的高分辨率彩色图中寻找与幅值图对应区域对应的更加精确的特征点；

S5：利用像素距离加权的方法计算获得该点的深度值；

S6：将优化后的特征点利用相对位姿关系反投影到深度图像中获得在深度图中更精确的特征点位置。

进一步的，本发明公开了一种飞行时间相机和高分辨率相机的位姿与像素点对应关系，如例图4所示：

S1：坐标系,X_t Y_t Z_t]和,X_c Y_c Z_c]分别表示飞行时间相机和高分辨率相机的坐标系，它们同时拍摄同一个目标对象；

S2：目标对象中的特征点m在拍摄得到的深度图像的对应亚像素点是p_tm，它所处的像素区域是p_ti{i＝1,2,3,4}；

S3：利用计算得到高分辨相机相对与飞行时间相机的相对位姿关系，将飞行时间相机的像素点投影到高分辨率的对应像素点p_cm组成的区域中；

S4：在高分辨率相机的对应像素区域中，寻找与深度图像中对应区域相似的更精确的特征点p_cm；

S5：将优化后的p_cm反向投影到飞行时间相机的深度图像中获得

即为更精确的特征点位置。

Claims (3)

1.一种用于提高飞行时间相机的精度的方法，其特征在于，采用实时获得场景三维成像的飞行时间相机,所述相机发射经过调制的近红外光信号，通过计算发射光信号到目标物体的时间或相位与返回光信号回到传感器的时间或相位之间的差值，以高帧率同时获取幅值图像和深度图像，从而三维重建、医疗技术等计算机视觉场景，并通过对飞行时间相机进行深度补偿和进一步通过结合高分辨率相机对飞行时间图像特征点位置校正，实现对飞行时间精度的提升。

2.根据权利要求1所述的用于提高飞行时间相机的精度的方法，其特征在于，所述飞行时间相机的深度补偿方法，包括利用飞行时间相机对平面场景进行拍摄，在每个位置连续获得多幅图像，拍摄不同距离下的一组深度图像，通过对每个位置下连续拍摄的多幅深度图像的每个像素点进行基于高斯噪声的深度图像的随机噪声去除，获得优化后的深度图像，由深度图像像素点的相位值计算获得每个像素点沿径向方向的距离值，同时将每个距离下的深度图像拟合成为空间平面作为地面真实值，通过计算每个位置下拍摄的深度图像与拟合后的空间平面的每个像素点在径向方向的误差，获得了一组深度-误差数据，使用多项式函数拟合深度-误差数据，获得每个像素点的深度-误差模型，进而用于实际拍摄的深度图像的每个像素点的误差补偿。

3.根据权利要求2所述用于提高飞行时间相机的精度的方法，其特征在于，所述结合高分辨相机对飞行时间图像进行特征点位置校正的方法为，将飞行时间相机和高分辨率相机共同固定在标定平台上，通过对飞行时间相机和高分辨率相机进行联合标定获得每个相机内参矩阵以及高分辨率相机相对于飞行时间相机的相对位姿关系，利用飞行时间相机拍摄的幅值图提取亚像素特征点，并确定其所处的周围的四个像素位置，然后再同时拍摄获得深度图中定位像素点及其深度值，利用高分辨率相机相对于飞行时间相机的相对位姿关系，将深度图像中像素点及深度值投影到高分辨率图像中，在纹理特征更加丰富的高分辨率彩色图中寻找与幅值图对应区域对应的更加精确的特征点，利用像素距离加权的方法计算获得该点的深度值，将优化后的特征点利用相对位姿关系反投影到深度图像中获得在深度图中更精确的特征点位置。

Images