CN105488810B - 一种聚焦光场相机内外参数标定方法 - Google Patents

Abstract

本发明公开了一种聚焦光场相机内外参数标定法，包括如下步骤：使用聚焦光场相机拍摄并保存标定板图像；记录标定板图像上的各角点的像点以及对应的微透镜中心在图像坐标系下的坐标，以及角点在世界坐标系下的坐标；计算各虚拟像点在图像坐标系下的坐标；建立标定板上角点与虚拟像点的标定模型，基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵和外部参数；根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离，微透镜阵列与CCD的距离以及虚拟像面与微透镜阵列的距离。与现有技术相比，本发明能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这一目的。

Description

一种聚焦光场相机内外参数标定方法

技术领域

本发明属于光场相机标定技术领域，具体涉及一种聚焦光场相机的内外参数标定方法。

背景技术

光场相机，基本机构和原理不同于传统相机，置一个微透镜阵列于主镜头和探测器之间，每个微透镜接收经主透镜进入的光线后，然后将不同方向的光线聚焦到微透镜下的不同位置的像素。这样，传感器所有像素被M×N的微透镜阵列划分为M×N个子图像，子图像中每个像素都对应着某个特定方向的光线，代表着目标某位置的成像。通过微透镜的划分，探测器同时记录了二维的强度信息和二维的方向信息，构成光场的四维数据。相机不仅能够记录投射到相机探测器上光线的强度信息，还能够分辨光线的方向，从而实现四维光场的记录。虚拟焦平面是相机探测器(CCD)关于光场相机的整个成像***在物空间的共轭面。虚拟焦平面关于主透镜成像***有一个共轭面，由于没有成像探测器记录这一像，称作虚拟像面，虚拟像面关于微透镜阵列也有一个共轭面，即相机的CCD。虚拟光源点，经过这两个成像单元，最后在CCD上成像。光场相机可根据微透镜与CCD的位置关系分为传统光场相机和聚焦光场相机，传统光场相机中微透镜阵列与CCD的距离等于微透镜的焦距，聚焦光场相机中该距离不等于微透镜的焦距。

要根据光场相机拍摄的原始图像，确定各光线的空间方向及位置，获取被拍摄目标的三维信息，需要通过标定技术确定光场相机的内外参数。传统的相机标定方法如直接线性变换方法(DLT变换)和径向一致约束法(RAC)。标定过程中需要运用到精密加工的标定模块，标定模块可以是一维、二维和三维的，通过标定模块上已知的三维坐标点与其图像对应点之间的对应关系，可以计算出相机的内部和外部参数，估计相机参数的精度较高，可以使用任意的相机模型来进行标定。目前光场相机标定研究较少，Yunsu Bok提出了基于传统相机标定方法的光场相机的标定方法，该标定法使用标定模块原始图像中的线性特征来进行标定。然而，对于聚焦光场相机，光场原始图像有可识别特征点，这些特征点可直接用于聚焦光场相机的标定，因此不需要使用线性特征。同时，由于聚焦光场相机与传统光场相机的结构差异，Yunsu Bok提出了基于传统相机标定方法不能进一步计算所有聚焦光场相机内部参数，包括主透镜(主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离S_v以及微透镜阵列与虚拟像面的距离l_m，因而该方法不能用于聚焦光场相机的标定。Ole Johannsen提出基于传统相机标定方法的聚焦光场相机的标定方法。该标定法使用标定模块原始图像，建立了基于小孔相机模型的标定模块上已知三维坐标点与其图像对应点之间的对应关系，通过序列二次规划(SQP)算法优化目标函数来求解该模型，从而计算出相机的内部和外部参数，然而该方法优化求解时需要较为精确的初始值，否则容易出现局部最优解。

发明内容

发明目的：针对已有的标定技术无法精确获得聚焦光场相机的全部内外参数，为了能够计算光线的空间方向及位置或被拍摄目标的空间三维信息，本发明提出了一种聚焦光场相机内外参数标定方法。

基本思路：聚焦光场相机拍摄标定板(印有国际象棋棋盘图案的平板)的图像，将聚焦光场相机主透镜和各微透镜近视为薄透镜，先根据微透镜成像原理，将光场相机原始图像上已知的像点(棋盘图案角点)转化成虚拟像面上虚拟像点，再根据主透镜成像原理，建立虚拟像点与标定板上对应角点之间的数学模型，该模型可利用张正友相机标定算法进行求解，获得待标定的外部参数和相机部分内部参数，再利用聚焦光场相机F数匹配这一特性，进一步计算出相机的全部内部参数。

一种聚焦光场相机内外参数标定法，其特征在于，包括如下步骤：

步骤一、在图像上定义图像坐标系U-O-V，每一像素的坐标分别是该像素在数组中的列数和行数，(u，v)是以像素为单位的图像坐标系坐标；固定聚焦光场相机，转动标定板，改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并保存n张(n≥3，通常为4-6)标定板图像；记录标定板图像上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐标系下的坐标；

该步骤一在图像上定义图像坐标系U-O-V，O点称为相机光心，X轴和Y轴与图像的X轴与Y轴平行，Z轴为相机的光轴，它与图像平面垂直，由点O与X，Y，Z轴组成的直角坐标系为相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。标定板使用棋盘格图案，为保证标定板图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板图案，将标定板和光场相机置于光学平台上，二者相距一定距离，调整标定板的位置，使得光场相机能够拍摄到全部标定板的图像。变换标定板和光场相机的相对放置角度，拍摄并保存若干张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像)。记录标定板图像上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐标系下的坐标。

步骤二、计算各虚拟像点m’在图像坐标系下的坐标：

式中，l_m是微透镜阵列与CCD的距离，S_v是虚拟像面与微透镜阵列的距离，(M_u，M_v)是微透镜中心在图像坐标系下的坐标；

将微透镜等效成小孔模型，两个像点过微透镜中心的成像光线交于虚拟像点处，根据微透镜的放大率β_m计算公式，利用步骤一得到的两像点在图像坐标系下的u坐标u₁、u₂，微透镜中心在图像坐标系下的u坐标M_u1、M_u2计算虚拟像点m’在图像坐标系下的坐标：

式中，(u,v)和(M_u，M_v)分别是像点m及其对应微透镜中心在图像坐标系下的坐标。

步骤三、建立标定板上角点M与虚拟像点m’的标定模型：

基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参数[R t]，其中[R t]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，是各虚拟像点m’在图像坐标系下的坐标[u,v,1]^T，是对应角点M在世界坐标系下的坐标[X_w,Y_w,1]^T；

将主透镜简化成小孔模型，则角点m与虚拟像点m’的对应关系可由下式确定，

引入单应性矩阵H，上式进一步简化为：

其中，

其中，

式中s是比例系数，A是聚焦光场相机主透镜成像的物像(M-m’)转换矩阵，[R，t]是世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(u₀，v₀)是主透镜的光心点在图像坐标系下的坐标。L是主透镜与微透镜阵列之间的距离。dx和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角(两图像坐标轴夹角与直角之差)。是各虚拟像点m’在图像坐标系下的坐标[u,v,1]^T，是对应角点M在世界坐标系下的坐标[X_w,Y_w,1]^T。基于张正友标定法求解得到单应性矩阵H，内部参数矩阵A和外部参数矩阵[R，t]。

步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离L，微透镜阵列与CCD的距离S_v以及虚拟像面与微透镜阵列的距离l_m；

利用步骤三中得到的α，即(L-S_v)/dx和步骤二得到的β_m(l_m/S_v)，进一步计算聚焦光场相机其他内部参数(相机内部各部件相对位置参数)，即主透镜(主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离l_m以及虚拟像面与微透镜阵列的距离S_v，需要增加约束条件。根据聚焦光场相机主透镜和微透镜的F相等，即主透镜的像方出瞳孔径的直径D，微透镜阵列上各微透镜的直径d，主透镜(主面)与微透镜阵列的距离L以及虚拟像面与微透镜阵列的距离l_m满足，

最终可得：

有益效果：本发明具有如下优点：

(1)能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这一目的；

(2)基于张正友传统标定法实现的标定技术，具有较好的鲁棒性、实用性和较高的精度。

附图说明

图1是聚焦光场相机标定装置图；

图3是像点-虚拟像点变换原理图；

图2是聚焦光场相机标定模型原理图；

图4是聚焦光场相机F数匹配原理图；

其中，1—标定板、2—光场相机、3—计算机、4—主透镜、5—微透镜阵列、6—探测面(CCD)、7—固定夹、8—调整架、9—支架、10—光学平台、11—角点、12—虚拟像点、13—微透镜中心点、14—像点、15—光线、16—虚拟像面、17—光阑、18—宏像素。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种聚焦光场相机内外参数标定法，包括如下步骤：

步骤一、在图像上定义图像坐标系U-O-V，每一像素的坐标分别是该像素在数组中的列数和行数，(u，v)是以像素为单位的图像坐标系坐标。O点称为相机光心，X轴和Y轴与图像的X轴与Y轴平行，Z轴为相机的光轴，它与图像平面垂直，由点O与X，Y，Z轴组成的直角坐标系为相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。聚焦光场相机标定装置如图1所示，标定板1使用棋盘格图案，为保证标定板1图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板，待标定的聚焦光场相机2为Raytrix公司型号R29的光场相机，相机CCD 6分辨率为4384(H)×6576(V)，各像素尺寸为5.5×5.5μm，用支架9和调整架8将标定板1和光场相机2置于光学平台10上，二者相距一定距离，调整标定板1的位置，使得光场相机2能够拍摄到全部标定板1的图像。标定板1通过光场相机2的主透镜4和微透镜阵列5组成的成像***，在CCD 6上成像，固定聚焦光场相机，转动标定板，改变标定板1平面相对于相机2探测面的夹角，通过相计算机3控制相机2拍摄并保存若干张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像)，数字重聚焦图像无法适用于该标定方法。将标定板原始图像导入图像处理软件(如Matlab)，记录标定板图像上的各角点(M)的像点(m)14以及对应的微透镜中心在图像坐标系下的坐标，以及角点(M)11在世界坐标系下的坐标，为了便于步骤二中放大率β_m的计算，每个角点(M)11记录两个对应的像点(m)14。

步骤二、像点(m)14与虚拟像点(m’)12的变换原理如图2所示，两个微透镜对虚拟像点(m’)12分别成像得到两个像点(m)14，虚拟像面16与微透镜阵列5的距离是S_v，微透镜阵列5与CCD 6的距离是l_m。将微透镜等效成小孔模型，两个像点(m)14过微透镜中心13的成像光线15交于虚拟像点(m’)12处。根据微透镜的放大率β_m计算公式(1)，利用步骤一得到的两像点(m)14在图像坐标系下的u坐标u₁、u₂，微透镜中心13在图像坐标系下的u坐标M_u1、M_u2可利用式(2)计算虚拟像点(m’)12图像坐标系下的坐标：

式中，(u,v)和(M_u，M_v)分别是像点(m)14及其对应微透镜中心13在图像坐标系下的坐标。

步骤三、聚焦光场相机标定模型原理如图3所示，角点(M)11关于主透镜4的虚拟像点为(m’)12，虚拟像点(m’)12关于微透镜5的像点为(m)14。将主透镜4简化成小孔模型，则角点(M)11与虚拟像点(m’)12的对应关系可由式(3)确定，引入单应性矩阵H，式(3)进一步简化为式(4)。

其中，

其中，

式中s是比例系数，A是聚焦光场相机主透镜4成像的物像(M-m’)转换矩阵，[R，t]世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(u₀，v₀)是主透镜4的光心点在图像坐标系下的坐标。L是主透镜4与微透镜阵列5之间的距离。dx和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。是各虚拟像点m’在图像坐标系下的坐标[u,v,1]^T，是对应角点M在世界坐标系下的坐标[X_w,Y_w,1]^T。认为虚拟像点m’12的坐标包含了均值为0协方差为的高斯噪声，可以通Levenberg-Marquardt优化算法最小化式(8)所示的目标函数，求解齐次线性方程组(10)(解为L_M ^TL_M的最小特征值对应的特征向量)获得优化的初值，从而得到单应性矩阵H的最大似然估计值。

其中，

L_Mh_x＝0 (10)

其中，

H是角点M 11和虚拟像点m’12之间的单应性矩阵，H＝A[R，t]，是单应性矩阵H的第i行向量，m’_i和M_i分别是第i个虚拟像点m’12在图像坐标系下的坐标(u,v)和角点M 11在世界坐标系下的坐标(X_w,Y_w)。

令单应性矩阵H＝[h₁,h₂,h₃]，坐标变换矩阵[R，t]中的旋转变换矩阵R＝[r₁,r₂,r₃]，根据式(3)，可得

[h₁ h₂ h₃]＝λA[r₁ r₂ t] (13)

式中λ是任意系数，根据r₁，r₂的正交性可得

令

将B表示成列向量b，

b＝[B₁₁,B₁₂,B₂₂,B₁₃,B₂₃,B₃₃]^T (17)

令H的第i列向量为[h_i1，h_i2，h_i3]^T，可得

其中，

V_ij＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i2h_j3,h_i3h_j3]^T (19)

联立式(14)和式(15)，可得

拍摄的张标定板图像数量为n(n≥3)，可获得n个如式(20)所示的齐次线性方程，联立这些方程，可得

Vb＝0 (21)

求解齐次线性方程组(21)(解为V^TV的最小特征值对应的特征向量)得到列向量b，再根据式(22-27)计算出A，即内部参数v₀，u₀，λ，α，β，γ。

v₀＝(B₁₂B₁₃-B₁₁B₂₃)/(B₁₁B₂₂-B₁₂ ²) (22)

λ＝B₃₃-[B₁₃ ²+v₀(B₁₂B₁₃-B₁₁B₂₃)]/B₁₁ (23)

γ＝-B₁₂α²β/λ (26)

γ＝γv₀/β-B₁₃α²/λ (27)

根据式(28-31)得聚焦光场相机外部参数(相机坐标系与世界坐标系的坐标转换矩阵[R，t])。

r₁＝λA^-1h₁ (28)

r₂＝λA^-1h₂ (29)

r₃＝r₁×r₂ (30)

t＝λA^-1h₃ (31)

步骤四、利用步骤三中得到的α，即(L-S_v)/dx和步骤二得到的β_m(l_m/S_v)，进一步计算聚焦光场相机其他内部参数(相机内部各部件相对位置参数)，即主透镜4(主面)与微透镜阵列5的距离L，微透镜阵列5与CCD 6的距离S_v以及虚拟像面16与微透镜阵列5的距离l_m，需要增加约束条件。如图4所示，为保证各微透镜所覆盖的子图像18(宏像素)不相互重叠，光阑17必须限制能到达每个微透镜的光线15不超过宏像素18的区域，同时要求探测器(CCD)6的像素能够得到最大程度利用，因此主透镜4和微透镜的F数相等，即主透镜4的像方出瞳孔径的直径D，微透镜阵列5上各微透镜的直径d，主透镜4(主面)与微透镜阵列5的距离L以及虚拟像面16与微透镜阵列5的距离l_m满足，

联立式(1)和式(6)，可得

S_v＝l_m/β_m (34)

L＝S_v+αdx (35)。

Claims (4)

1.一种聚焦光场相机内外参数标定方法，其特征在于，包括如下步骤：

步骤一、在图像上定义图像坐标系U-O-V，每一像素的坐标分别是该像素在数组中的列数和行数，(u，v)是以像素为单位的图像坐标系坐标；固定聚焦光场相机，转动标定板，改变标定板平面相对于相机探测面的夹角，从不同角度拍摄n张标定板图像；记录标定板图像上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐标系下的坐标，其中n≥3；

步骤二、计算各虚拟像点m’在图像坐标系下的坐标：

式中，l_m是微透镜阵列与CCD的距离，S_v是虚拟像面与微透镜阵列的距离，(M_u，M_v)是微透镜中心在图像坐标系下的坐标；

步骤三、建立标定板上角点M与虚拟像点m’的标定模型：

基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参数[R，t]，其中[R，t]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，是各虚拟像点m’在图像坐标系下的坐标[u,v,1]^T，是对应角点M在世界坐标系下的坐标[X_w,Y_w,1]^T；

步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离L，微透镜阵列与CCD的距离l_m以及虚拟像面与微透镜阵列的距离S_v。

2.根据权利要求1所述的聚焦光场相机内外参数标定方法，其特征在于，所述步骤四的聚焦光场相机F数匹配这一特性为：

聚焦光场相机主透镜与微透镜的F数满足

式中，D和d分别是主透镜出瞳的直径和微透镜的直径。

3.根据权利要求2所述的聚焦光场相机内外参数标定方法，其特征在于，所述聚焦光场相机主透镜物像转换矩阵A为：

其中，

式中，(u₀，v₀)是主透镜的光心点在图像坐标系下的坐标，L是主透镜与微透镜阵列之间的距离，dx和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。

4.根据权利要求1所述的聚焦光场相机内外参数标定方法，其特征在于，所述n＝4-6。