CN110084749B - 一种焦距非一致的光场图像的拼接方法 - Google Patents

Abstract

本发明公开了一种焦距非一致的光场图像的拼接方法，包括：输入待拼接的光场数据，得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签，并依据焦距一致性匹配标签合成焦距一致图像；分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选，得到特征点和匹配特征点对；根据匹配特征点对预测全局单应性变换矩阵，并建立局部映射的权值矩阵，再预测最优单应性变换矩阵；根据最优单应性变换矩阵映射中心子孔径图像，并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵，映射4D光场，得到光场拼接结果。本发明解决了焦距不一致时的光场之间的拼接问题，实现了精确的光场拼接方法。

Description

一种焦距非一致的光场图像的拼接方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种焦距非一致的光场图像的拼接方法。

背景技术

近年来，光场成像技术蓬勃发展，其作为计算机视觉与数字图像处理领域中一项关键技术，通过在主透镜和传感器中间加入一个微透镜阵列，通过单次拍摄同时记录光线的强度信息和角度信息，引起了学术界和业界的极大兴趣。尤其是随着光学传感器的分辨率的上升和光场相机技术的成熟以及市场化，光场成像技术的实用价值变得越来越高。相比于传统的数码相机，基于微透镜阵列的光场相机优势在于在记录场景空间位置信息的同时，也保存了光线的方向信息，因此可以被广泛应用于虚拟视觉、3D可视化、工业成像等领域。然而，受光学结构的限制，光场相机的光场视场角小。在光学结构设计中，如果没有要求，光场缝合在扩大视场角方面起着重要作用，以扩大其应用范围。然而，当捕获多个光场时，每个光场的焦距可能不同，即以下所述的焦距不一致，导致光场中相应深度处的焦距不一致，降低了特征匹配和光场配准的精度，降低了光场拼接的质量。

现有的光场拼接方法通过特征匹配和单应性矩阵映射的方法进行光场配准，通过构造配准后光场重叠区域的能量损失函数来寻找光场的最优缝合线，实现光场融合；其可以实现视差较小的光场拼接，但是针对视差较大的光场数据，其拼接效果较差。

另外一种方法是利用结合视差容忍的图像拼接方法来减小视差对拼接结果带来的影响，这种方式能在一定程度上解决视差所带来的错位和重影效果，但是针对景深变化剧烈的场景，其拼接效果并不优秀；且单独对光场相应子孔径图像进行图像拼接会引入整个光场在空间域和角度域不一致的问题。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种焦距非一致的光场图像的拼接方法，解决了焦距不一致时的光场之间的拼接问题，实现了精确的光场拼接方法。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种焦距非一致的光场图像的拼接方法，包括以下步骤：

A1：输入待拼接的光场数据，进行解码和预处理得到光场子孔径图像，根据光场子孔径图像得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签，并依据焦距一致性匹配标签合成焦距一致图像；

A2：分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选，得到特征点和匹配特征点对；

A3：根据匹配特征点对预测全局单应性变换矩阵，并根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵，再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵；

A4：根据最优单应性变换矩阵映射中心子孔径图像，并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵，依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵，映射4D光场，得到光场拼接结果。

优选地，步骤A1中根据光场子孔径图像得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配具体包括：将光场子孔径图像进行重聚焦得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配具体包括散焦分析步骤和光场焦栈中预匹配步骤。

优选地，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签具体包括以下步骤：

根据散焦分析，在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签：

其中，

是第i个光场第k深度层的初始焦距一致性匹配标签；N_k是第k深度层所包含的像素数目；/>

是第i个光场第k深度层的焦距一致性匹配标签，/>

是焦距一致性匹配标签/>

下的散焦分析值；

对光场焦栈中每一深度层的预匹配为：

其中，

γ是光场焦栈中的搜索步长；n表示待拼接光场的数量，/>

分别是标签/>

和/>

下的重聚焦图像；/>

是光场焦栈中重聚焦图像/>

和/>

的全局单应性变换矩阵；

根据对光场焦栈中每一深度层的预匹配，得到每个深度层对应的焦距一致性匹配标签

优选地，其中标签

下的重聚焦图像/>

的公式如下：

其中，L_i(u,v,x,y)是光场L_i在子孔径视角(u,v)下的渲染图像；D(x,y)是深度层图；u_N和v_N是视角u和v方向下分别包含的总视角数目。

优选地，步骤A1中依据焦距一致性匹配标签合成的焦距一致图像RGI_i(x,y)为：

/>

其中K是深度层数目，

是标签/>

下的重聚焦图像，/>

是第i个光场第k深度层的焦距一致性匹配标签，D(x,y)是深度层图，n表示待拼接光场的数量。

优选地，步骤A2具体包括：分别对光场子孔径图像和焦距一致图像进行特征点提取和匹配，然后将提取到的特征点构成一个新的集合；再对这个集合依据深度层划分特征点进行分类，对每一类特征点进行特征点筛选，得到特征点和匹配特征点对。

优选地，步骤A3中根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系建立的局部映射的权值矩阵由权值w_i组成，权值w_i为：

其中，α、β是比例系数，η∈[0,1]是权值w_i的最小阈值，(x*,y*)是网格化的光场子孔径图像的中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D是光场图像的深度层图。

优选地，步骤A3中根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵

为：

其中，w_i是权值矩阵，Η是全局单应性变换矩阵，矩阵A∈R^2N×9由矩阵变换0_2N×1＝A×Η得到，N为步骤A2中得到的特征点的数量。

优选地，步骤A4中计算边缘子孔径图像和中心子孔径图像之间的变换矩阵包括：

计算边缘子孔径图像到中心子孔径图像的变换矩阵

为：

计算中心子孔径图像到边缘子孔径图像的变换矩阵

为：

其中d_k是第k深度层对应图像的视差，(u,v)表示边缘子孔径图像的视角，(u_c,v_c)表示中心子孔径图像的视角。

优选地，步骤A4中依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵，映射4D光场采用下式：

其中，

表示边缘子孔径图像到中心子孔径图像的变换矩阵，/>

表示中心子孔径图像到边缘子孔径图像的变换矩阵，/>

表示最优单应性变换矩阵。

与现有技术相比，本发明的有益效果在于：本发明的焦距非一致光场图像的拼接方法，利用了光场可以重聚焦从而改变光场图像焦距的特性，采用在光场焦栈中清晰且焦距一致的深度层合成焦距一致图像来指导采集图像焦距不一致时的拼接；且根据光场边缘子孔径图像和中心子孔径图像之间的变换矩阵和对应中心子孔径图像间的最优单应性变换矩阵来映射整个光场，从而通过合成焦距一致图来指导整个光场的拼接，解决了焦距不一致时的光场间拼接问题，实现了精确的光场拼接。

附图说明

图1是本发明优选实施例的焦距非一致的光场图像的拼接方法的流程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。需要注意的是，在下面的实施过程中所述的光场图像类型，特征提取、匹配、融合以及焦距一致匹配都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图1所示，本发明优选实施例公开了一种焦距非一致的光场图像的拼接方法，包括以下步骤：

A1：根据光场图像得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签；依据焦距一致性匹配标签，合成焦距一致图像；

在本实施例中，以两个光场的拼接为例，L₁(x,y,u,v)为参考光场，L₂(x,y,u,v)为待拼接光场，多个光场的拼接可以使用相同的方法扩展。对输入的光场数据进行解码和预处理，得到光场的子孔径图像方法如下：

S₁(u₀,v₀)＝{L₁(x,y,u,v)|u＝u₀,v＝v₀}

S₂(u₀,v₀)＝{L₂(x,y,u,v)|u＝u₀,v＝v₀}

其中S₁(u₀,v₀)和S₂(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像。

然后，使用光场重聚焦方法得到光场焦栈(也即光场的子孔径图像通过重聚焦得到一系列聚焦位置不同的光场集合，这些集合即为光场焦栈)：

其中，α_i是第i个光场焦栈中对应的标签；L_αi(x,y,u,v)是标签α_i下的光场焦栈(重聚焦光场)。

根据散焦分析，在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签：

其中，

是第i个光场第k深度层的初始焦距一致性匹配标签；N_k是第k深度层所包含的像素数目；/>

是第i个光场第k深度层的焦距一致性匹配标签，/>

是焦距一致性匹配标签/>

下的散焦分析值。

根据初始焦距一致性匹配标签和限定的搜索步长，确定最终焦距一致性匹配标签范围：

其中，γ是光场焦栈中的搜索步长。

每一深度层的预匹配具体为：

其中，

是光场焦栈中重聚焦图像/>

和/>

的全局单应性变换矩阵；L_i(u,v,x,y)是光场L_i在子孔径视角(u,v)下的渲染图像；D(x,y)是深度层图；u_N和v_N是视角u和v方向下分别包含的总视角数目。

依据焦距一致性匹配标签，合成的焦距一致图像具体为：

其中K是深度层数目；

是标签/>

下的重聚焦图像；D(x,y)是深度层图；RGI_i(x,y)是焦距一致图像。

A2：分别对光场子孔径图像和焦距一致图像进行特征点提取，匹配和筛选，得到匹配特征点对；

具体地，分别对光场子孔径图像和焦距一致图像进行SIFT特征点提取和匹配，然后将提取到的特征点构成一个新的集合；之后对这个集合依据深度层划分特征点进行分类，使用连续一致抽样检测(RANSAC)算法进行筛选，剔除离群点，最后合并每一组筛选后的特征点对，得到最终有效的匹配特征点对，即：

Ω_R＝SIFT(RGI₁,RGI₂),Ω_C＝SIFT(CSI₁,CSI₂)

其中，P是一对待筛选的特征点；K是深度层数；D(x,y)是步骤A1中得到的深度层图；RGI₁、RGI₂分别是光场L₁和L₂的焦距一致图像；CSI₁、CSI₂分别是光场L₁和L₂对应的中心子孔径图像；Ω_R为从焦距一致图像中提取的特征点对组成的集合，Ω_C为从中心子孔径图像中提取的特征点对组成的集合，Ω_F为筛选过后的特征点对组成的集合。

A3：根据匹配特征点对，预测全局单应性变换矩阵，并根据特征点与网格化光场中心点的深度关系、特征点与网格化光场中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵，再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵；

其中，根据匹配特征点对，预测全局单应性变换矩阵H为：

p'＝Hp

其中p'和p是特征点对集合Ω_F中的特征点。

将输入的中心子孔径图像分割成大小相等的矩形网格，根据特征点与网格化光场中心点的深度关系、特征点与网格化光场中心点的位置关系、以及光场焦栈一致关系建立的局部映射的权值矩阵由权值w_i组成，权值w_i为：

其中α、β是比例系数，η∈[0,1]是权值w_i的最小阈值，(x*,y*)是网格中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D是光场图像的深度层图。

根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵

为：

其中，w_i是权值矩阵，Η是全局单应性变换矩阵，矩阵A∈R^2N×9由矩阵变换0_2N×1＝A×Η得到，N为步骤A2中得到的特征点的数量。

A4：根据最优单应性变换矩阵映射中心子孔径图像；计算边缘子孔径图像和中心子孔径图像之间的变换矩阵；依据中心子孔径图像的网格单应性矩阵和变换矩阵，映射4D光场，得到光场拼接结果。

计算边缘子孔径图像到中心子孔径图像的变换矩阵

为：

计算中心子孔径图像到边缘子孔径图像的变换矩阵

为：

其中d_k是第k深度层对应图像的视差，(u,v)表示边缘子孔径图像的视角，(u_c,v_c)表示中心子孔径图像的视角。

依据中心子孔径图像的网格单应性矩阵和变换矩阵，映射4D光场：

根据Η_u,v得到光场拼接结果。

本发明优选实施例提出的焦距非一致光场图像的拼接方法，利用了光场可以重聚焦从而改变光场图像焦距的特性，采用在光场焦栈中清晰且焦距一致的深度层合成焦距一致图像来指导采集图像焦距不一致时的拼接；且根据光场边缘子孔径图像和中心子孔径图像之间的变换矩阵和对应中心子孔径图像间的最优单应性变换矩阵来映射整个光场，从而通过合成焦距一致图来指导整个光场的拼接，解决了焦距不一致时的光场间拼接问题，实现了精确的光场拼接。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种焦距非一致的光场图像的拼接方法，其特征在于，包括以下步骤：

A1：输入待拼接的光场数据，进行解码和预处理得到光场子孔径图像，根据光场子孔径图像得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签，并依据焦距一致性匹配标签合成焦距一致图像；

A2：分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选，得到特征点和匹配特征点对；

A3：根据匹配特征点对预测全局单应性变换矩阵，并根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵，再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵；

A4：根据最优单应性变换矩阵映射中心子孔径图像，并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵，依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵，映射4D光场，得到光场拼接结果。

2.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A1中根据光场子孔径图像得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配具体包括：将光场子孔径图像进行重聚焦得到光场焦栈，对光场焦栈中每一深度层进行焦距一致性匹配具体包括散焦分析步骤和光场焦栈中预匹配步骤。

3.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，对光场焦栈中每一深度层进行焦距一致性匹配，得到每个深度层对应的焦距一致性匹配标签具体包括以下步骤：

根据散焦分析，在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签：

其中，

是第i个光场第k深度层的初始焦距一致性匹配标签；N_k是第k深度层所包含的像素数目；/>

是第i个光场第k深度层的焦距一致性匹配标签，/>

是焦距一致性匹配标签/>

下的散焦分析值；

对光场焦栈中每一深度层的预匹配为：

其中，

γ是光场焦栈中的搜索步长；n表示待拼接光场的数量，/>

分别是标签/>

和/>

下的重聚焦图像；/>

是光场焦栈中重聚焦图像/>

和/>

的全局单应性变换矩阵；

根据对光场焦栈中每一深度层的预匹配，得到每个深度层对应的焦距一致性匹配标签

4.根据权利要求3所述的焦距非一致的光场图像的拼接方法，其特征在于，其中标签

下的重聚焦图像/>

的公式如下：

其中，L_i(u,v,x,y)是光场L_i在子孔径视角(u,v)下的渲染图像；D(x,y)是深度层图；u_N和v_N是视角u和v方向下分别包含的总视角数目。

5.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A1中依据焦距一致性匹配标签合成的焦距一致图像RGI_i(x,y)为：

其中K是深度层数目，

是标签/>

下的重聚焦图像，/>

是第i个光场第k深度层的焦距一致性匹配标签，D(x,y)是深度层图，n表示待拼接光场的数量。

6.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A2具体包括：分别对光场子孔径图像和焦距一致图像进行特征点提取和匹配，然后将提取到的特征点构成一个新的集合；再对这个集合依据深度层划分特征点进行分类，对每一类特征点进行特征点筛选，得到特征点和匹配特征点对。

7.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A3中根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系建立的局部映射的权值矩阵由权值w_i组成，权值w_i为：

其中，α、β是比例系数，η∈[0,1]是权值w_i的最小阈值，(x*,y*)是网格化的光场子孔径图像的中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D是光场图像的深度层图。

8.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A3中根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵

为：

其中，w_i是权值矩阵，Η是全局单应性变换矩阵，矩阵A∈R^2N×9由矩阵变换0_2N×1＝A×Η得到，N为步骤A2中得到的特征点的数量。

9.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A4中计算边缘子孔径图像和中心子孔径图像之间的变换矩阵包括：

计算边缘子孔径图像到中心子孔径图像的变换矩阵

为：

计算中心子孔径图像到边缘子孔径图像的变换矩阵

为：/>

其中d_k是第k深度层对应图像的视差，(u,v)表示边缘子孔径图像的视角，(u_c,v_c)表示中心子孔径图像的视角。

10.根据权利要求1所述的焦距非一致的光场图像的拼接方法，其特征在于，步骤A4中依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵，映射4D光场采用下式：

其中，

表示边缘子孔径图像到中心子孔径图像的变换矩阵，/>

表示中心子孔径图像到边缘子孔径图像的变换矩阵，/>

表示最优单应性变换矩阵。/>

Images