CN110209997A

CN110209997A - 基于三维特征点的深度相机自动标定算法

Info

Publication number: CN110209997A
Application number: CN201910495112.1A
Authority: CN
Inventors: 陈光柱; 李冬冬; 李春江
Original assignee: Chengdu Univeristy of Technology
Current assignee: Chengdu Univeristy of Technology
Priority date: 2019-06-10
Filing date: 2019-06-10
Publication date: 2019-09-06

Abstract

本发明提出了一种基于三维特征点的深度相机自动标定算法，该标定算法用到两幅深度图像和对应的三维特征像素点即可一次性完成深度相机的标定工作。首先，根据已知的三维空间中的特征像素点坐标和深度图像中对应点的坐标以及原始误差偏移量，将深度相机测量模型与经典相机标定模型相结合得到深度相机的基本标定模型；然后，通过深度相机的内参约束条件求出相机内参数初始值，并根据内参初始值求出外参数；最后，优化所建立的深度图像误差控制函数以得到深度相机的最优参数。本发明的标定算法，简化了深度相机传统标定模型，克服了经典标定受光照条件和场景不确定性等影响的缺点，精确获得了相机内外参数，且对深度图像边缘畸变有较好修复效果，具有操作简单、标定精度高、实用性和鲁棒性好等优点。

Description

基于三维特征点的深度相机自动标定算法

技术领域

本发明属于机器视觉标定技术领域，涉及一种深度相机标定算法，尤其是涉及一种基于三维特征点的深度相机自动标定算法

背景技术

随着科学技术的发展与进步，在人工智能技术遍及各大领域的今天，机器视觉已不再是一个陌生的名词。由于机器视觉***具有精度高、效率高、实用性好、安全可靠、成本低等诸多优点，许多行业对深度视觉的需求越来越突出，无论是在科研机构还是在企业生产中它都占据着举足轻重的地位。例如在工业制造领域中，视觉检测、规划路径、跟踪定位等；在生活中，人脸识别技术、AR技术、全息投影技术等，人们将越来越离不开深度视觉，而这一切实现的前提是对3D深度相机进行了了精确标定。

尽管许多3D深度相机在出厂时已经被标定过，但标定的参数并不精确，而相机标定的好坏直接影响整个生产制造过程中整体性能的优劣。在现有技术中，有较成熟的相机标定算法，例如张正友经典标定法、Tasi两步法(对比文献：[1]Zhang Z.A flexible newtechnique for camera calibration[C].Pattern Analysis and MachineIntelligence.IEEE Transactions on 2000,22(11):1330-1334；[2]Tsai R.A versatilecamera calibration technique for high-accuracy 3D machine vision metrologyusing off-the-shelf TV cameras and lenses[C]Robotics and Automation.IEEE,Journal of 31987,(4):323-344.)。但这些方法只能适用于普通的光学相机，且有易受环境影响，标定步骤繁杂，费时费力，标定成本高，求解过程复杂等缺点。深度相机成像方式复杂多样，以至于国内外学者对于深度相机标定算法的研究并不深入，他们的算法大都结构复杂，标定精度低，耗时且耗力。

现如今，人工智能深入到各行各业，3D深度相机也逐渐进入人们的生活，实现深度相机标定的简洁化、快速化、精确化、通用化成为亟待解决的问题。因此，提出一种新的具有操作简单、成本低、鲁棒性好、响应速度快的深度相机自动标定算法是十分必要的，对机器视觉领域的发展和相关技术的研究都具有十分重要的意义。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供一种基于三维特征点的深度相机自动标定算法，提出了深度相机标定的简洁模型，引入了深度相机内参几何约束条件，建立了深度相机投影畸变控制函数，非线性优化了深度相机参数最终得到可靠结果。该算法只需要两幅深度图像和已知的三维特征像素点坐标即可完成深度相机标定工作，可适用于变照明条件等特殊场合。

本发明所采用的技术方案包括以下步骤：

(1)采用深度相机，在不同位置以不同姿态对精确的立方体标定块进行多次拍摄，获取两幅较准确的深度图像。

所述步骤(1)中只需要获取两幅深度图，获取的两幅深度图像应保证有特征明显的三维特征像素点，并且特征像素点应有对应的原始误差偏移量。

(2)利用ORB(Oriented FAST and Rotated BRIEF)算法提取深度图像中三维特征像素点信息，

一幅图到4组特征像素点坐标和三维空间点的坐标，然后将特征像素点的深度测量模型与经典相机标定模型相结合形成深度相机的基本标定模型；所述步骤(2)具体包括：

首先，利用ORB(Oriented FAST and Rotated BRIEF)算法分别提取两幅深度图像的4个三维特征像素点，这4个特征像素点一般设为立方体标定块的角点，并且特征像素点应有明显的原始误差偏移量；然后将这4个特征像素点分别与对应的三维空间点进行匹配得到特征像素点坐标和三维空间点的坐标；并根据经典相机标定模型，如下式：

在经典相机标定模型基础之上引入一个原始深度偏移量d_k，如下式：

然后，以[u v d_k 1]^T构成一个射影空间坐标。以视差图构建的射影空间坐标与空间点坐标[X_w Y_w Z_w 1]^T的关系符合图像之间的单应关系，由此得到深度相机坐标系到像素坐标系的矩阵变换：

其中，λ＝Z_d，Z_d表示深度相机坐标系中Z方向的坐标分量，内参为A’：

最后，联合世界坐标系到深度相机坐标系的转换矩阵可得出世界坐标系到像素坐标系的变换模型如：

单应矩阵表示为H：

(3)将步骤二中获得的特征点像素坐标和已知的三维特征点坐标作为已知量代入所建立的深度相机标定模型中，根据建立的内参约束条件求解出内参数和外参数；所述步骤(3)具体包括：

首先，根据旋转矩阵r₁,r₂,r₃的性质建立得到深度相机内参约束条件：

求解出A′^-TA′^-1：

定义一个4维矩阵B：

其中，B₁₂＝B₂₁＝B₁₃＝B₃₁＝B₂₃＝B₃₂＝0

然后，将单应矩阵H写成列向量的形式，则它的第i列向量可表示为h_i＝[h_1i h_2ih_3i h_4i]^T，由内参基本约束条件得：

化简上式后得：

采用SVD分解的方法求解该方程组得到矩阵B。

其次，对B进行Cholesky逆分解：

将A’转化为上三角矩阵：

根据B＝A′^-TA′^-1＝(A′A′^T)^-1,得出B^-1＝A′A′^T,且：

根据B^-1＝A′EA^′T＝A′CC^TA′^T,则B^-1＝II^T,得出：

可得出矩阵I的最后一列元素：

同理：

得到矩阵I第三列、第二列、第一列元素：

I被求解出来，由于A’＝IC^-1,由此深度相机内参矩阵A’的初始值就被求解出来。

最后，求解外参。单应矩阵H和内参A’均被求出后，根据内参约束条件可以得到：

由上式可得：

(4)建立并利用Levenberg-Marquardt算法非线性优化深度图像的畸变控制函数，通过最小化投影误差函数得到最优的深度相机参数。所述步骤(4)具体包括：对于n幅图上有m点，利用Levenberg-Marquardt算法非线性优化重投影误差代价函数：

其中，是三维空间点在深度图像中的实际投影坐标，是三维空间点在第i幅图中的投影，A’是内参矩阵，k₁，k₂，p₁，p₂是畸变系数。

有益效果：本发明设计的基于三维特征点的深度相机自动标定算法，只需要用到两幅深度图像和已知的三维特征像素点，避免了光照条件带来的影响，降低了标定成本。本发明所提算法是经融合得到，简化了标定过程，提高了标定精度。与传统标定算法相比，本算法具有操作简单、适应性强、成本低、响应速度快、鲁棒性好等优点。

附图说明

图1：深度相机和三维标定块示意图；

图2：算法总体步骤流程图；

图3：深度相机标定模型推导过程图；

图4：深度相机内外参数求解过程图。

具体实施方式

下面结合附图1至附图4，对本发明作进一步详述。

参考附图3，本发明的所提及的深度相机标定模型，首先根据经典相机标定模型，如下式：

然后在经典相机标定模型基础之上引入一个原始深度偏移量d_k，如下式：

并且，以[u v d_k 1]^T构成一个射影空间坐标。以视差图构建的射影空间坐标与空间点坐标[X_w Y_w Z_w 1]^T的关系符合图像之间的单应关系，由此得到深度相机坐标系到像素坐标系的矩阵变换：

最后联合世界坐标系到深度相机坐标系的转换矩阵可得出世界坐标系到像素坐标系的变换模型如：

参考附图1、附图3和附图4，深度相机内外参数求解优化过程包括：

(1)根据旋转矩阵r₁,r₂,r₃的性质建立得到深度相机内参约束条件：

(2)求解出A′^-TA′^-1：

定义一个4维矩阵B：

将单应矩阵H写成列向量的形式，则它的第i列向量可表示为为h_i＝[h_1i h_2i h_3ih_4i]^T，由内参基本约束条件得：

化简上式后得：

采用SVD分解的方法求解该方程组得到矩阵B。

(3)对B进行Cholesky逆分解得到内参矩阵A’：

将A’转化为上三角矩阵：

根据B＝A′^-TA′^-1＝(A′A′^T)^-1,得出B^-1＝A′A′^T,且：

根据B^-1＝A′EA′^T＝A′CC^TA′^T,则B^-1＝II^T,通过观察发现：

可得出矩阵I的最后一列元素：

同理：

得到矩阵I第三列、第二列、第一列元素：

I就被求解出来，由于A’＝IC^-1,由此深度相机内参矩阵A’的初始值就被求解出来。

(4)求解外参。单应矩阵H和内参A’均被求出后，根据内参约束条件可以得到：

由上式可得：

(5)建立并利用Levenberg-Marquardt算法非线性优化深度图像的畸变控制函数，通过最小化投影误差函数得到最优的深度相机参数。对于n幅图上有m点，利用Levenberg-Marquardt算法非线性优化重投影误差代价函数：

经过对比试验表明，本文提出的标定算法与张氏经典标定算法相比，所求出的焦距相对误差小于0.005，主点坐标相对误差小于0.03，且对深度图像边缘部分畸变有较好修复效果。具有较好的实用性和鲁棒性，达到了深度相机自动、快速标定的目的。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于三维特征点的深度相机自动标定算法，其特征在于，包括以下步骤：

步骤一：用深度相机在不同位置以不同姿态对立方体标定块进行多次拍摄，获取两幅深度图像，两幅深度图像应保证有特征明显的三维特征像素点，并且特征像素点应有对应的原始误差偏移量；

步骤二：首先利用ORB(Oriented FAST and Rotated BRIEF)算法分别提取两幅深度图像的4个三维特征像素点，这4个特征像素点一般设为立方体标定块的角点，并且特征像素点应有明显的原始误差偏移量；然后将这4个特征像素点分别与对应的三维空间点进行匹配得到特征像素点坐标和三维空间点的坐标；

步骤三：将深度相机测量模型与经典相机标定模型相结合形成深度相机的标定模型；

步骤四：将步骤二中获得的特征像素点坐标和已知的三维空间点坐标作为已知量代入步骤三所建立的深度相机标定模型中，根据建立的深度相机内参约束条件求解出深度相机的内参数和外参数；

步骤五：建立深度图像的畸变控制函数，并利用Levenberg-Marquardt算法对其进行非线性优化，通过最小化投影误差函数得到最优的深度相机的内参数和外参数。

2.根据权利要求1所述的一种基于三维特征点的深度相机自动标定算法，其特征在于：所述步骤三具体包括：

(1)引入经典相机标定模型，如下式：

其中f_u＝f/d_x，f_v＝f/d_y，f_u，f_v分别表示图像u轴和v轴上的尺度因子，f是相机焦距，d_x、d_y分别是像素在x、y轴方向上的物理尺寸，(u₀,v₀)是主点坐标，R和t是相机的外部参数。

(2)在经典相机标定模型基础之上引入一个带有原始深度偏移量d_k的深度相机测量模型，如下：

其中，C₁＝1/bf,C₀＝1/Z₀，Z_d是深度相机到物平面的距离，Z₀是相机到参考平面的距离，b是深度相机的基线距离。

(3)以[u v d_k 1]^T构成一个射影空间坐标。以视差图构建的射影空间坐标与空间点坐标[X_w Y_w Z_w 1]^T的关系符合图像之间的单应关系，由此得到深度相机坐标系到像素坐标系的矩阵变换：

(4)联合世界坐标系到深度相机坐标系的转换矩阵可得出世界坐标系到像素坐标系的变换模型如：

单应矩阵表示为H：

矩阵H中有16个未知参数(4个未知内部参数和12个未知外部参数)。为了求解矩阵，需要4个世界坐标系到像素坐标系的变换方程，即4个不相关点的坐标。

3.根据权利要求1所述的一种基于三维特征点的深度相机自动标定算法，其特征在于：所述步骤四具体包括：

(1)根据旋转矩阵R的的性质，可通过其列向量r₁,r₂,r₃建立得到深度相机内参约束条件：

(2)采用SVD分解的方法求解上述方程组得到A′^-TA′^-1：

V_ij是一个关于H的4×7矩阵，并且是一个已知值。同时，向量b中有7个未知参数，为了求解b，需要2个H矩阵，即2幅深度图像。

(3)求解内参矩阵A’。

首先，将A’右乘一个初等矩阵C转化为上三角矩阵：

对B进行Cholesky逆分解，得到矩阵I的第四列、第三列、第二列、第一列元素：

然后，I被求解出来，由于A’＝IC^-1，由此深度相机内参矩阵A’的初始值被求解出来。