CN106296661A - 一种适用于光场相机的标定预处理方法 - Google Patents

Abstract

本发明公开一种适用于光场相机的标定预处理方法，所述方法包括如下步骤：S1：白图像预处理，得到每个微透镜下的子图像；S2：给定一张棋盘格图像，将棋盘格图像与步骤S1预处理后的白图像相与，获得指定微透镜下的子图像；S3：对步骤S2得到的每一个子图像进行角点检测。在白图像处理中，首先利用光晕法确定微透镜的中心点位置，然后通过线性拟合，子图像重心点，周围微透镜中心点等手段优化微透镜的中心点位置。在角点检测中，采用霍夫线检测，然后计算出角点的位置，再通过自定义的一个指标不断迭代优化角点，得到更精确的坐标位置。

Description

一种适用于光场相机的标定预处理方法

技术领域

本发明属于相机标定领域，特别是涉及到光场相机标定过程中的一种预处理方法。

背景技术

近几年，相机家族中迎来一名新兴成员——手持式光场相机。从原理上，它颠覆了传统相机采集光线的方式，传统相机对场景中某一点所有方向的光线积分，而光场相机(下文中出现的光场相机指的就是手持式光场相机)对场景中某一点的各个方向的光线积分。从功能上，它改变了现有传统相机的拍照方式，传统相机一般是先聚焦再拍照，而光场相机可以先拍照再聚焦。从应用前景上，它可以与目前最为火热的虚拟现实、增强现实相结合，为它们提供硬件支持。

尽管光场相机具有很多优点，但是它不像传统相机那样具有一个很成熟的标定方法。目前很多关于光场相机标定的方法都是针对Lytro相机，比如说2013年在CVPR(计算视觉与模式识别会议)上发表的基于4D光场模型，在真实场景与传感器记录的数据之间建立联系的标定方法，同年在ICCV上Cho提出了一种从频域角度分析的数据预处理方法，之后Bok又提出了使用线特征标定。以上这些研究都是针对光场相机1.0展开，光场相机1.0是指传感器到微透镜阵列的距离等于微透镜焦距的光场相机，而光场相机2.0指的是传感器到微透镜阵列的距离不等于微透镜焦距的光场相机。由于光场相机1.0的每个微透镜下的子图像是场景中某个点的各个方向的积分，只是描述了角度信息，所以它的子图像几乎是看不出真实场景的纹理信息；相反光场相机2.0的子图像适度地减少了角度信息，同时增加了位置信息。这一原理性的不同，导致了针对光场相机1.0提出的在标定方法中所用到的一些预处理手段不适用于光场相机2.0，因此有必要对光场相机2.0提出一种切实可行且有效的标定预处理方法。

光场相机标定方法预处理主要有两个步骤。第一步，对白图像进行处理， 获取微透镜中心点，并且对白图像进行旋转和平移校正。目前获取微透镜中心点的主流手段是光晕法。第二步，角点检测。光场相机2.0的成像原理使得棋盘格角点检测成为可能，但是子图像含有角度信息，又使得它不同于传统相机棋盘格角点检测方法。

发明内容

本发明的目的是提出一种适用于光场相机的标定预处理方法，解决针对光场相机1.0提出的标定方法中所用到的一些预处理手段不适用于光场相机2.0的标定问题。

为达到上述目的，本发明采用了以下技术方案：

一种适用于光场相机的标定预处理方法，其特征在于，包括如下步骤：

S1：白图像预处理，得到每个微透镜下的子图像；

S2：给定一张棋盘格图像，将棋盘格图像与步骤S1预处理后的白图像相与，获得指定微透镜下的子图像；

S3：对步骤S2得到的每一个子图像进行角点检测。

优选地，步骤S1包括如下步骤：

S11：对白图像进行圆盘滤波；

S12：利用形态学上求取极大值的方法寻找到白图像中所有的局部极大值点，即微透镜中心点；

S13：对步骤S12找到的微透镜中心点做水平和垂直的线性拟合，校正那些不在直线上的中心点；

S14：利用形态学重构的方法进一步重构出每个微透镜下的子图像，并求取该子图像的重心，用重心点去校正微透镜的中心点位置。

进一步优选地，步骤S14包括如下步骤：

S141：首先利用一个正方形方框圈出一个微透镜下的子图像；然后采用形态学重构的方法重构出微透镜下的子图像；

S142：找到步骤S141获得的子图像的轮廓，对获取到的轮廓进行预估判断，选取规则如下式：

C_*＝argmin_C∈I|C-π·Dist_centers|

其中I是找到的所有轮廓的集合；

利用最佳轮廓C_*计算出子图像的重心位置，并用这个重心点去修正微透镜重心点；

S143：计算每个微透镜与周围微透镜之间的中心点距离，记为{D_i,j},i表示该微透镜的序列号，j表示该微透镜周围微透镜的序列号；再计算出{D_i,j}的标准差Stdev_i,j，如果该标准差大于一个阈值thre1，则把这个微透镜作为候选异常微透镜；去掉{D_i,j}中最大最小值，再次计算标准差Stdev′_i,j，如果标准差仍大于一个阈值thre2，则把这个微透镜标记为异常微透镜；

S144：计算周围微透镜中心点的均值利用这个均值进一步校正微透镜的中心点位置。

优选地，步骤S3包括如下步骤：

S31：对每个微透镜下的子图像做线检测；

S32：将检测出来的直线进行分类，并求取直线的交点作为候选角点；

S33：剔除掉候选角点中距离较近的角点；

S34：对角点进行优化。

进一步优选地，步骤S31包括如下步骤：

S311：对子图像做canny边缘检测，去掉微透镜边缘，使得子图像中的边缘仅为棋盘格的边缘；

S312：使用霍夫线检测检测出子图像中的所有直线。

进一步优选地，步骤S32包括如下步骤：

S321：依据直线的倾斜角将直线分为两类，记为{L_A,L_B}，再对每一类直线进行密度聚类，结果记为{L_Ai},{L_Bj}。对每一类直线求出直线参数的均值，记为

S322：计算两类分别来自{L_Ai}和{L_Bj}的直线之间的交点，计算公式如下所示：

$x=\frac{r_1{\mathrm{sin\θ}}_2-r_2{\mathrm{sin\θ}}_1}{\mathrm{\Δ}}$

$y=\frac{r_2{\mathrm{cos\θ}}_1-r_1{\mathrm{cos\θ}}_2}{\mathrm{\Δ}}$

其中Δ＝cosθ₁sinθ₂-cosθ₂sinθ₁。

进一步优选地，步骤S33剔除掉候选角点中距离较近的角点的准则是：如果一个交点a到交点b的距离小于一个阈值，则把这两个交点都作为候选删除交点；如果交点a到其他交点的距离都大于这一阈值，则把a从候选删除交点中移除，否则删除交点a，对交点b进行同样操作。

进一步优选地，步骤S34包括如下步骤：

S341：沿着方框求一阶梯度，并对一阶梯度值求和，记为称为一阶梯度和，然后计算出方框的周长peri_q；其中q表示要计算的方框，grad_i表示沿着方框的第i+1个像素与第i个像素的差分；

S342：将角点定义为：

$corner={\mathrm{argmax}}_q\frac{\underset{q}{\Σ}{\mathrm{grad}}_i}{{\mathrm{peri}}_q};$

S343：不断迭代减小方框周长peri_q，就能提高角点的精确度。

更进一步优选地，所述一阶梯度和与所述方框的周长peri_q无关，只和位置有关，包含角点的方框的一阶梯度和最大，即：

∑_dgrad_i＝∑_agrad_i>∑_bgrad_i>∑_cgrad_i。

本发明的优点及有益效果是：

1、提出了一种微透镜中心点位置优化的方法；

2、能够很好地标记出有破损的微透镜，具有较强的鲁棒性；

3、提出了用线检测的方法做光场相机2.0的角点检测；

4、提出了一种类似于旋度的算子优化检测出的角点。

附图说明

图1为本发明的基本流程图图；

图2为本发明实施例利用子图像局部极大值标出的微透镜中心点示意图；

图3为本发明实施例利用线性拟合矫正之后的微透镜中心点示意图；

图4为本发明实施例经过重心优化之后的微透镜中心点示意图；

图5为本发明实施例利用一个正方形方框圈出一个微透镜下的子图像示意图；

图6为本发明实施例利用形态学重构分离出单个微透镜下的子图像示意图；

图7为本发明实施例角点优化示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

请参考图1。本发明提出的一种适用于光场相机的标定预处理方法，包括如下步骤：

S1：白图像预处理，得到每个微透镜下的子图像。

首先对白图像进行圆盘滤波，然后利用形态学上求取极大值的方法寻找到白图像中所有的局部极大值点，如附图2所示，黑色标记点表示为微透镜的中心点。由图2可知，位于同一行或同一列的中心点并不在一条直线上，这与微透镜阵列按直线排列不符合。因此，需要对这些中心点按行和按列分别进行水平和垂直的直线拟合，拟合的结果如附图3所示。同时也可以计算出临近两个微透镜中心点近似距离，记为Dist_centers。

光晕法要求入射光线垂直入射薄透镜，这时最亮点才是薄透镜的中心点。但是除了靠近主透镜光轴的微透镜，其余微透镜的入射光线并不满足这一假设，导致最亮点和微透镜中心点有两三个像素的偏差。此时用最亮点去估计微透镜中心点不是很妥当，有必要利用其他手段对中心点的位置优化。其步骤如下：

1)利用一个正方形方框圈出一个微透镜下的子图像，如附图5所示，由于该方框中还包含了其他子图像的一些信息，此处采用形态学重构的方法重构出给微透镜下的子图像，如附图6所示。

2)找到子图像的轮廓，对获取到的轮廓进行预估判断，选取规则如下式：

C_*＝argmin_C∈I|C-π·Dist_centers| (1)

其中I是找到的所有轮廓的集合。利用最佳轮廓C_*计算出子图像的重心位置，并用这个重心点去修正微透镜重心点。

3)计算每个微透镜与周围微透镜之间的中心点距离，记为{D_i,j},i表示该微透镜的序列号，j表示该微透镜周围微透镜的序列号。再计算出{D_i,j}的标准差Stdev_i,j，如果该标准差大于一个阈值thre1，则把这个微透镜作为候选异常微透镜。去掉{D_i,j}中最大最小值，再次计算标准差Stdev′_i,j，如果标准差仍大于一个阈值thre2，则把这个微透镜标记为异常微透镜。

4)计算周围微透镜中心点的均值利用这个均值进一步校正微透镜的中心点位置。

最后经过优化之后的中心点如附图4所示。

S2：给定一张棋盘格图像，将棋盘格图像与步骤S1预处理后的白图像相与，获得指定微透镜下的子图像。

S3：对步骤S2得到的每一个子图像进行角点检测。

通过白图像处理步骤，可以得到每个微透镜下的子图像。给定一张棋盘格图像，可以利用棋盘格图像与白图像相与，获得指定微透镜下的子图像。然后对每一个子图像进行处理，包括以下几个环节：

1)对子图像做canny边缘检测，去掉微透镜边缘，使得子图像中的边缘仅为棋盘格的边缘。

2)使用霍夫线检测检测出子图像中的所有直线，然后依据直线的倾斜角将直线分为两类，记为{L_A,L_B}，再对每一类直线进行密度聚类，结果记为{L_Ai},{L_Bj}。对每一类直线求出直线参数的均值，记为

3)计算两类分别来自{L_Ai}和{L_Bj}的直线之间的交点，计算公式如下所示：

$x=\frac{r_1{\mathrm{sin\θ}}_2-r_2{\mathrm{sin\θ}}_1}{\mathrm{\Δ}}$

$y=\frac{r_2{\mathrm{cos\θ}}_1-r_1{\mathrm{cos\θ}}_2}{\mathrm{\Δ}}---\left(2\right)$

其中Δ＝cosθ₁sinθ₂-cosθ₂sinθ₁。然后对这些交点筛选，判断准则是，如果一个交点a到交点b的距离小于一个阈值，则把这两个交点都作为候选删除交点，如果交点a到其他交点的距离都大于这一阈值，则把a从候选删除交点中移除，否则删除交点a，对交点b进行同样操作。

4)角点优化。如附图7所示，沿着方框求一阶梯度，并对一阶梯度值求和，记为称为一阶梯度和，然后计算出方框的周长peri_q。其中q表示要计算的方框，grad_i表示沿着方框的第i+1个像素与第i个像素的差分。可知：

∑_dgrad_i＝∑_agrad_i>∑_bgrad_i>∑_cgrad_i

上式说明在一定条件下，一阶梯度和与方框的周长peri_q无关，只和位置有关，包含角点的方框的一阶梯度和最大。将角点定义为：

$corner={\mathrm{argmax}}_q\frac{\underset{q}{\Σ}{\mathrm{grad}}_i}{{\mathrm{peri}}_q}---\left(3\right)$

由此可知，只需不断迭代减小方框周长peri_q就能提高角点的精确度。

以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (9)

1.一种适用于光场相机的标定预处理方法，其特征在于，包括如下步骤：

S1：白图像预处理，得到每个微透镜下的子图像；

S2：给定一张棋盘格图像，将棋盘格图像与步骤S1预处理后的白图像相与，获得指定微透镜下的子图像；

S3：对步骤S2得到的每一个子图像进行角点检测。

2.根据权利要求1所述的适用于光场相机的标定预处理方法，其特征在于，步骤S1包括如下步骤：

S11：对白图像进行圆盘滤波；

S12：利用形态学上求取极大值的方法寻找到白图像中所有的局部极大值点，即微透镜中心点；

S13：对步骤S12找到的微透镜中心点做水平和垂直的线性拟合，校正那些不在直线上的中心点；

S14：利用形态学重构的方法进一步重构出每个微透镜下的子图像，并求取该子图像的重心，用重心点去校正微透镜的中心点位置。

3.根据权利要求2所述的适用于光场相机的标定预处理方法，其特征在于，步骤S14包括如下步骤：

S141：首先利用一个正方形方框圈出一个微透镜下的子图像；然后采用形态学重构的方法重构出微透镜下的子图像；

S142：找到步骤S141获得的子图像的轮廓，对获取到的轮廓进行预估判断，选取规则如下式：

C_*＝argmin_C∈I|C-π·Dist_centers|

其中I是找到的所有轮廓的集合；

利用最佳轮廓C_*计算出子图像的重心位置，并用这个重心点去修正微透镜重心点；

S143：计算每个微透镜与周围微透镜之间的中心点距离，记为{D_i,j},i表示该微透镜的序列号，j表示该微透镜周围微透镜的序列号；再计算出{D_i,j}的标准差Stdev_i,j，如果该标准差大于一个阈值thre1，则把这个微透镜作为候选异常微透镜；去掉{D_i,j}中最大最小值，再次计算标准差Stdevi′_i，j，如果标准差仍大于一个阈值thre2，则把这个微透镜标记为异常微透镜；

S144：计算周围微透镜中心点的均值利用这个均值进一步校正微透镜的中心点位置。

4.根据权利要求1所述的适用于光场相机的标定预处理方法，其特征在于，步骤S3包括如下步骤：

S31：对每个微透镜下的子图像做线检测；

S32：将检测出来的直线进行分类，并求取直线的交点作为候选角点；

S33：剔除掉候选角点中距离较近的角点；

S34：对角点进行优化。

5.根据权利要求4所述的适用于光场相机的标定预处理方法，其特征在于，步骤S31包括如下步骤：

S311：对子图像做canny边缘检测，去掉微透镜边缘，使得子图像中的边缘仅为棋盘格的边缘；

S312：使用霍夫线检测检测出子图像中的所有直线。

6.根据权利要求4所述的适用于光场相机的标定预处理方法，其特征在于，步骤S32包括如下步骤：

S321：依据直线的倾斜角将直线分为两类，记为{L_A,L_B}，再对每一类直线进行密度聚类，结果记为{L_Ai},{L_Bj}；对每一类直线求出直线参数的均值，记为

S322：计算两类分别来自{L_Ai}和{L_Bj}的直线之间的交点，计算公式如下所示：

$x=\frac{r_1{\mathrm{sin\θ}}_2-r_2{\mathrm{sin\θ}}_1}{\mathrm{\Δ}}$

$y=\frac{r_2{\mathrm{cos\θ}}_1-r_1{\mathrm{cos\θ}}_2}{\mathrm{\Δ}}$

其中Δ＝cosθ₁sinθ₂-cosθ₂sinθ₁。

7.根据权利要求4所述的适用于光场相机的标定预处理方法，其特征在于，步骤S33剔除掉候选角点中距离较近的角点的准则是：如果一个交点a到交点b的距离小于一个阈值，则把这两个交点都作为候选删除交点；如果交点a到其他交点的距离都大于这一阈值，则把a从候选删除交点中移除，否则删除交点a，对交点b进行同样操作。

8.根据权利要求4所述的适用于光场相机的标定预处理方法，其特征在于，步骤S34包括如下步骤：

S341：沿着方框求一阶梯度，并对一阶梯度值求和，记为称为一阶梯度和，然后计算出方框的周长peri_q；其中q表示要计算的方框，grad_i表示沿着方框的第i+1个像素与第i个像素的差分；

S342：将角点定义为：

$corner={\mathrm{argmax}}_q\frac{\underset{q}{\Σ}{\mathrm{grad}}_i}{{\mathrm{peri}}_q};$

S343：不断迭代减小方框周长peri_q，就能提高角点的精确度。

9.根据权利要求8所述的适用于光场相机的标定预处理方法，其特征在于，所述一阶梯度和与所述方框的周长peri_q无关，只和位置有关，包含角点的方框的一阶梯度和最大，即：

∑_dgrad_i＝∑_agrad_i>∑_bgrad_i>∑_cgrad_i。