CN109615661A - 光场相机内参数标定装置及方法 - Google Patents

Abstract

本发明提供了一种光场相机内参数标定装置及方法，将光场相机固定在电控平移台上，运动控制器控制电控平移台，带动光场相机平移不同位置；将标定板置于光场相机主透镜前方，并固定在角度旋转台上，运动控制器控制角度旋转台，带动标定板旋转不同角度；通过旋转标定板或者移动光场相机拍摄不同姿态下的标定板，并确定多组标定板上的点和与其对应的像点，采用线性初始化计算光场相机内参数和相应姿态下的外参数，最后建立代价函数，迭代求得最优解。本发明能够更加灵活、精准地标定光场相机内参数。

Description

光场相机内参数标定装置及方法

技术领域

本发明涉及计算机视觉、计算机摄像学和光学工程领域，具体涉及一种基于标定板的光场相机内参数标定模型和方法。

背景技术

光场成像理论的兴起是计算机摄影学领域的一大重要革新，它突破了传统成像技术的种种局限。光场相机通过记录空间中光线的位置和角度信息，减少了拍摄信息的 流失，可根据需求进行后期处理得到任意深度下的聚焦图像。然而，相机参数标定的 精确性一定程度上制约着光场相机性能的发展。精确的标定结果对后期重聚焦图像分 辨率的提升和成像质量的改善意义重大。

2013年，Johannsen等人提出了光场相机内参数标定的方法，通过计算相邻微透镜图像之间的视差重建三维点，继而利用非线性优化方法求得最优解。然而，该方法 不适用于微透镜的几何中心与光心不重合的情况。同年，Dansereau等人建立了一种将 光场相机的像素解码成光线的模型和具有12个参数的投影变换矩阵的方法，但是该方 法利用了传统相机内参标定进行光场相机的内参数初始化操作，且存在解码矩阵参数 冗余问题。

发明内容

为了克服现有技术的不足，本发明提供一种光场相机内参数标定装置及方法，能够更加灵活、精准地标定光场相机内参数。

本发明解决其技术问题所采用的技术方案是：一种光场相机内参数标定装置，包括光场相机、标定板、电控平移台、运动控制器以及角度旋转台。将光场相机固定在 电控平移台上，运动控制器控制电控平移台，带动光场相机平移不同位置；将标定板 置于光场相机主透镜前方，并固定在角度旋转台上，运动控制器控制角度旋转台，带 动标定板旋转不同角度。

本发明还提供一种光场相机内参数标定，包括以下步骤：

1)建立双平行平面模型TPP坐标系，对光场相机采集到的光线进行描述，继而建立基于TPP坐标系的投影变换，变换矩阵中包含需要标定的7个光场相机内参数

2)给定一组初始光场相机内参数建立模板平面上 的点和其像点之间的单应性映射H，并求其解，得到光场相机内参矩阵P，由每幅图 像的单应性矩阵H和内参矩阵P求得每幅图像的外部参数；

3)对所有参数进行非线性优化，具体如下：

3.1)处理镜头的一阶和二阶径向畸变；

3.2)移动光场相机或者旋转标定板，拍摄不同姿态下的标定板，得到n幅图像， 并假设每个标定点的坐标都有独立同分布的噪声；X_w,i为真实场景中第i幅图像的先验 点，其中x_i,j是三维场景中第i个物点在第j幅图像上的像点坐标矢量；通过最小化所 有测量值x_i,j与其估计值的重投影误差，得到最优解。

本发明的有益效果是：通过旋转标定板或者移动光场相机拍摄不同姿态下的标定板，并确定多组标定板上的点和与其对应的像点，采用线性初始化计算光场相机内参 数和相应姿态下的外参数，最后建立代价函数，迭代求得最优解。相比之前的光场相 机内参数标定方法，本发明抵消了主透镜的折射作用，并将成像***简化为具有7个参 数的双平行平面模型，更加符合光路传播和成像原理，在提高内参数标定精确度的基 础上，于一定程度上解决了解码矩阵参数冗余问题。另外，本发明在光场相机和标定 板的运动参数未知的情况下即可进行内参数的标定，因此具有较好的灵活性。

附图说明

图1是光场相机内部结构示意图。

图2是双平行平面坐标系***。

图3是光场相机中微透镜阵列位置校正示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明一方面提出一种光场相机内参数标定装置，包括：光场相机、标定板、电 控平移台、运动控制器、以及角度旋转台。将标定板置于光场相机主透镜前方一定距 离处，并将其固定在角度旋转台上，其中，标定板和计算机终端之间通过串口连接控 制，由终端控制标定板，使其旋转不同角度，用于拍摄不同姿态的标定板。将光场相 机固定在电控平移台上。其中，运动控制器一端连接到计算机终端，另一端连接到电 控平移台。最后通过计算机控制光场相机的平移，用于拍摄不同姿态的标定板。

本发明另一方面提出一种基于双平行平面模型(Two-parallel-plane Model,TPP)的 内参标定方法，计算光场相机的内部参数。主要环节包括：基于TPP坐标系***建立的投影变换、线性初始化中光场相机内参数以及外参数的求解、非线性优化中代价函 数的建立以及最优解的求解方法。所述方法包含以下步骤：

S1、基于TPP坐标系***建立的投影变换。首先建立TPP坐标系，对光场相机采 集到的光线进行描述，继而建立基于TPP坐标系***的投影变换，变换矩阵中包含需 要标定的7个光场相机内参数

S2、线性初始化

给定一组初始光场相机内参数通过建立模板平面上 的点和其像点之间的单应性映射H，并求其解，继而得到光场相机内参矩阵P，最后 由每幅图像的单应性矩阵H和内参矩阵P就可以求得每幅图像的外部参数。

S3、非线性优化

以上所得到的光场相机的内参数矩阵和每幅图像对应的外参数矩阵都只是一个粗 糙解，没有具体的物理意义，本发明通过最小化重投影等方法对所有参数进行非线性优化。

S3.1、处理径向畸变

由于透镜的结构特点，使大多数摄像机在成像过程中或多或少会存在镜头畸变，而其中对成像模型影响最明显的是径向畸变。本发明考虑镜头的一阶和二阶径向畸变。

S3.2、建立代价函数

通过移动光场相机或者旋转标定板，拍摄不同姿态下的标定板，可得到n幅图像，并假设每个标定点的坐标都有独立同分布的噪声。X_w,i为真实场景中第i幅图像的先验 点，其中x_i,j是三维场景中第i个物点在第j幅图像上的像点坐标矢量。通过最小化所 有测量值x_i,j与其估计值的重投影误差，从而得到最优解。

S3.3、迭代求得最优解

利用Levenberg-Marquardt算法来求得步骤S3.2中代价函数的极小值，其初始估计可利用步骤S2中线性求解的结果。很明显可以看出，计算顺序依次是投影矩阵、内 部参数、外部参数，最后进行非线性优化。

本发明的实施例提供一种用于光场相机内参数的装置，包括光场相机，标定板，角度旋转台，电控平移台和运动控制器。将标定板固定于角度旋转台上，置于光场相 机主透镜前方1m内，其中，标定板和计算机终端之间通过串口连接控制。旋转不同 角度，拍摄不同姿态的标定板。将光场相机固定于电控平移台，其中，运动控制器一 端连接到计算机终端，另一端连接到电控平移台。最后通过计算机控制光场相机的平 移，用于拍摄不同姿态的标定板。

本发明采用自制光场相机，由Gige相机改造而成。本发明采用的光场相机结构 如图1所示，光线进入光场相机后依次通过主透镜、微透镜，最终到达传感器。CCD 传感器104像元大小为9μm*9μm，总像元数为2672*4008。相机内部微透镜103正六 边形排布，单个微透镜直径d＝0.3mm，焦距f₀＝2.726μm。Nikon AF Nikkor主透镜 101焦距F＝50mm，通光孔径直径D＝5.609～6.723mm。

本发明采用的标定板为在白纸上打印的点阵，有10*10个角点，单元格的大小为2cm*2cm。

本发明实施例提出的光场相机内参数标定方法，包括以下步骤：

S1、基于TPP坐标系***建立的投影变换

S1.1、建立TPP坐标系，对光场相机采集到的光线进行描述

本发明采用TPP模型对光场相机采集到的光线进行描述，具体方法如下：定义一TPP坐标系，如图2，其中x-y平面和u-v平面互相平行，两平面中心均在两平面法 向量z轴上，且距离为f，r＝(x,y,u,v,f)^T表示一条过点(x,y,0)^T和点(u,v,f)^T的光线。 由光线r通过点(X,Y,Z)^T，可以得到：

当至少存在两条光线r_i和r_j，且时，(X,Y,Z)^T可解。

S1.2、建立基于TPP坐标系***的投影变换

将r＝(x,y,u,v,f)^T替换为r'＝(k_xx,k_yy,k_uu+u₀,k_vv+v₀,f')^T，得到交点(X',Y',Z')^T， 它满足：

其中，为变换矩阵P的相关参数，s为比例因子。为使光线集{r'}交于点(X',Y',Z')^T，须满足k_u/k_x＝k_v/k_y。

S2、线性初始化

S2.1、旋转标定板或者移动光场相机拍摄九个不同姿态的标定板。

S2.2、确定多组标定板上的点和与其对应的像点。

S2.3、校正像点

考虑到光场相机中微透镜阵列的位置不准，如图3，具体实施中须对找到的像点进行校正，方法如下：

定义微透镜阵列光心301为(x_g,y_g,z_g)^T，微透镜直径为d_m，则有：

其中，R_mla∈SO(3)，(x_m,y_m,L)^T为微透镜阵列参考平面与主透镜之间的偏移量。 因此，微透镜图像的几何中心302(x_g',y_g')^T计算如下：

利用公式3和公式4，具有8个自由度的单应性映射可对图像数据进行预处理， 使得微透镜阵列所在平面与主透镜所在平面平行。

S2.4、建立标定板平面上的点和其像点之间的单应性映射H

给定任意将虚拟光线(x,y,i,j,1)^T解码为经过点 (k_x'x,k_y'y,0^T)和点(k_u'i+u₀',k_v'j+v₀',f')^T的光线。在这里，本发明假设k'_x＝k'_y＝k'_xy， 中的参数也符合上述假设。待校正的三维点X_d与真实场景中的点X_w转换关系如下：

其中，r_i表示旋转矩阵R的第i列向量。

这样，在标定板平面上的点和其像点之间建立了一个单应性映射H：

S2.5、求解光场相机内参矩阵P

假设标定板所在平面落在在世界坐标系的Z_w＝0平面上，第i个先验点表示为 X_w,i＝(X_w,i,Y_w,i,1)^T，结合公式1、公式5可得：

其中，M_i为2m_i×4的矩阵，包含X_w,i的m_i条从原始数据解码的光线。为H按列 拉直后的12×1的矩阵。h_i＝(h_1i,h_2i,h_3i,h_4i)^T表示单应性矩阵H的第i列向量，由旋转矩阵 R的正交性和一致性可得：

其中，用表示P^-TP^-1，可得：

用六维向量q＝(q₁₁,q₁₃,q₂₃,q₃₃,q₃₄,q₄₄)^T表示对称矩阵Q，则有：

利用公式11可得到非零解q＝(q₁₁,q₁₃,q₂₃,q₃₃,q₃₄,q₄₄)^T，引入比例因子λ(λq＝q)，继而得到所有参数的解：

S2.6、求解每幅图像的外部参数

由给定的一组初始内参数可得真实场景中的内参 数根据单应性矩阵H和内参矩 阵P，计算第i副原始图像的外参数R_i，t_i：

S3、非线性优化

S3.1、处理径向畸变

由于透镜的光学特性和微透镜的加工误差，光线不可避免会产生畸变。在这里考虑光场相机在两个TPP坐标系中的径向畸变：

其中，(x_c,y_c)^T，(u_c,v_c)^T为两平面起点的畸变弥补值，(x^d,y^d)^T，为畸变点，参数s_i和t_i为畸变尺度因子。

S3.2、建立代价函数

以上所得到的光场相机的内参数矩阵和每幅图像对应的外参数矩阵都再只是一个粗糙解，没有具体的物理意义，可以通过最小化重投影对所有参数进行非线性优化。 在这里假定有n幅关于模板平面的图像，那么可建立代价函数：

其中x_i,j表示在成像坐标系中先验点X_w,i在第j副图像上的像点坐标矢量投影，p_i为先验点X_w,i的总投影数。R_i是第i幅图像的旋转矩阵，t_i是第i幅图像的平移向量。

S3.3、迭代求得最优解

使得代价函数最小的R_i、t_i、X_w,i就是该问题的最优解，对公式15采用Levenberg-Marquardt算法来求其极小值，其初始估计可利用步骤S2中线性求解的结 果。很明显可以看出，计算顺序依次是投影矩阵、内部参数、外部参数，最后进行非 线性优化。

Claims (2)

1.一种光场相机内参数标定装置，包括光场相机、标定板、电控平移台、运动控制器以及角度旋转台，其特征在于：将光场相机固定在电控平移台上，运动控制器控制电控平移台，带动光场相机平移不同位置；将标定板置于光场相机主透镜前方，并固定在角度旋转台上，运动控制器控制角度旋转台，带动标定板旋转不同角度。

2.一种利用权利要求1所述装置的光场相机内参数标定方法，其特征在于包括下述步骤：

1)建立双平行平面模型TPP坐标系，对光场相机采集到的光线进行描述，继而建立基于TPP坐标系的投影变换，变换矩阵中包含需要标定的7个光场相机内参数

2)给定一组初始光场相机内参数建立模板平面上的点和其像点之间的单应性映射H，并求其解，得到光场相机内参矩阵P，由每幅图像的单应性矩阵H和内参矩阵P求得每幅图像的外部参数；

3)对所有参数进行非线性优化，具体如下：

3.1)处理镜头的一阶和二阶径向畸变；

3.2)移动光场相机或者旋转标定板，拍摄不同姿态下的标定板，得到n幅图像，并假设每个标定点的坐标都有独立同分布的噪声；X_w,i为真实场景中第i幅图像的先验点，其中x_i,j是三维场景中第i个物点在第j幅图像上的像点坐标矢量；通过最小化所有测量值x_i,j与其估计值的重投影误差，得到最优解。