CN110213500A - 一种针对多镜头拍摄的宽动态图生成方法 - Google Patents

Abstract

一种针对多镜头拍摄的宽动态图生成方法，包括以下步骤：1)多相机拍照重合区域的标定阶段；2)相机间的动态范围调整；3)基于实际视轴条件下的图像仿真。本发明的针对多镜头拍摄的宽动态图生成方法，在多相机都具有自动曝光功能的前提下，可使用多相机同时成像，产生宽动态的、曝光条件不一致的序列图，可以完美仿真甚至还原实际情况中任意视角拍出的图像。

Description

一种针对多镜头拍摄的宽动态图生成方法

技术领域

本发明涉及相机的成像与图像处理领域。

背景技术

本领域现阶段采用的图像宽动态调整方法主要是HDR(High-Dynamic Range)技术，该技术是通过单摄像头连续拍摄多幅在不同曝光条件下的图像，然后保留每幅图像在同名像素位置处的最清晰信息，使拍摄过程不受光照影响，该技术被广泛地应用在成像与图像处理中。

虽然HDR技术在拍摄过程中，可以消除光照影响，但其问题是：

1)多次曝光形成最终图像的过程更加类似于固定动态范围的过程，只不过消除了光照对压缩动态范围的影响，所以其动态范围是固定的，并没有实质意义上的加宽；

2)以还原拍摄对象为目的的处理方式，使处理后的图像在时域的信息量上最丰富，但造成了空域的信息丢失，即处理后图像与实际视角下的观察图像有较大差异，虽然更清晰了，但更不真实；

3)单个相机在时域与空域的信息处理方式在多相机的条件下是不通用的，尤其是在追求还原真实视角的图像、视频时，多曝光的拍摄方式对硬件要求很高，且会影响实时性，曝光调整过程也会使相机之间的成像效果有较大的差异。

发明内容

为了解决现阶段采用的HDR技术存在的上述问题，本发明提供了一种针对多镜头拍摄的宽动态图生成方法。

本发明为实现上述目的所采用的技术方案是：一种针对多镜头拍摄的宽动态图生成方法，包括以下步骤：

1)多相机拍照重合区域的标定阶段：在相机之间的空间相对位置关系固定的情况下，相机之间拍摄的重合区域通过标定得出，假定共有C个相机，每个相机的拍摄图像为I_i，i∈[1,C]，相邻相机之间的重合区域为R_i,j，j∈[1,C],j≠i，标定方法是：

a)利用空间位置相邻的相机做实景拍摄，提取拍摄图像的RTS不变特征；

b)基于提取特征来做特征匹配，得到匹配的特征点位置描述；

c)基于匹配的位置描述来估算I_j在I_i坐标系下的变换图像I′_j，然后计算R_i,j，这里R_i,j＝I′_j∩I_i，然后记录R_i,j的几何分布信息；

2)相机间的动态范围调整：这里认为每个相机拍摄图像之间存在动态范围的调整因子α_i与β_i，每幅图像调整动态范围的模型简化为I′_i＝α_iI_i+β_i，基于重合区域不一致性最小的目标估计动态范围调整因子，具体方法是：

a)对I_i而言，按照相机空间位置关系，找出与其有重合的图像组{I_i,k}，k∈[1,C],k≠i；

b)对所有图像进行做RGB空间到Lab空间的转换，利用R_i,k与R_k,i的L通道来做线性调整因子估计，假设：

ⅰ、R_i,k＝α_k,iR_k,i+β_k,iE，通过求解矩阵方程，可以求出α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I′_i,k，通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′}；

ⅱ、R_i,j(x,y)＝α_j,i(x,y)R_j,i(x,y)+β_j,i(x,y)，这里R_i,j与R_j,i的宽度与高度分别为M、N，R_i,j(x,y)表示在(x,y)处的亮度值，x∈[1,M]，y∈[1,N]，通过降低分辨率求解超像素级的调整因子，找到调整因子的中值或者统计均值做最终的α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I′_i,k，通过图像组重复调整得到调整后的具有不同动态范围的图像组{I′_i,k}；

c)对所有图像进行a)～b)的调整处理，形成一系列的动态调整后的图像集{I′}；

3)基于实际视轴条件下的图像仿真：

a)在多相机动态范围图集调整完成后，要仿真不同视角下的图像结果，需要根据相机的空间位置与视角计算在图像中的视场位置，假定多相机条件下拍摄的整体视场为F，仿真视角的视场为F′，在仿真视角下的图像为I_F′，仿真图需要的高动态范围图集为{I′_T}；

b)当{I′_T}中空间位置没有重合的图像区域，直接采用原图信息：

c)当{I′_T}中空间位置有重合的图像区域，计算与非重合区域的曝光差异最小的做仿真灰度。

所述步骤1)中，标定过程中使用固定的标定图卡。

所述步骤1)的a)中，特征是SIFT、HARRIS、SURF或者HOG。

所述步骤1)的c)中，记录R_i,j的几何分布信息为最小外接矩形或凸包链码。

所述步骤3)的c)中，还包括行边界处的亮度信息过度，其方法为：

ⅰ、提取重合区域在图像中的边界位置；

ⅱ、基于几何位置分布来做像素权重计算；

ⅲ、计算过度区的灰度I_F′(x,y)＝I_F′S(x,y)[1-ω(x,y)]+I_F′P(x,y)ω(x,y)，I_F′S(x,y)为原曝光条件下的图像灰度，I_F′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。

本发明的针对多镜头拍摄的宽动态图生成方法，在多相机都具有自动曝光功能的前提下，本方法可使用多相机同时成像，产生宽动态的、曝光条件不一致的序列图，可以完美仿真甚至还原实际情况中任意视角拍出的图像，多相机成像的情况包括：全景图拼接、多目视觉、多焦距拍摄等。

附图说明

图1是本发明针对多镜头拍摄的宽动态图生成方法的流程图。

具体实施方式

本发明的针对多镜头拍摄的宽动态图生成方法，在多个拍摄相机相对位置固定的条件下(相机之间是刚体连接、固定)，构建一种多帧图像的处理方式，可以保证多相机拍摄的结果可以达到空域意义上真正的宽动态，可以还原在不同视角下的真实场景。

方法包含不同相机的标定过程、相机间动态范围调整估计以及仿真模拟三个步骤，具体内容如下：

1)多相机拍照重合区域的标定阶段：在相机之间的空间相对位置关系固定的情况下，相机之间拍摄的重合区域是可以通过标定得出的，这里假定共有C个相机，每个相机的拍摄图像为I_i，i∈[1,C]，相邻相机之间的重合区域为R_i,j，j∈[1,C],j≠i，标定过程中可以使用固定的标定图卡，比如棋盘格，但考虑棋盘格需要人工标定，所以建议采用任意固定的场景，可以做自动标定，场景尽量有丰富的、有规律的图像标志信息，具体的标定方法是：

a)利用空间位置相邻的相机做实景拍摄，提取拍摄图像的RTS不变特征，特征可以是SIFT、HARRIS、SURF或者HOG；

b)基于提取特征来做特征匹配，得到匹配的特征点位置描述，特征匹配的方法，可以参考《Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2006:404-417.》。

c)基于匹配的位置描述来估算I_j在I_i坐标系下的变换图像I′_j，然后计算R_i,j，这里R_i,j＝I′_j∩I_i，然后记录R_i,j的几何分布信息，可以是最小外接矩形(粗精度)，也可以是凸包链码(高精度)。估算位置的方法可以参考研究生论文《基于稀疏表示的序列图像配准算法研究》，大连海事大学；凸包、链码参考《数字图像处理》冈萨雷斯。

2)相机间的动态范围调整：这里认为每个相机拍摄图像之间存在动态范围的调整因子α_i与β_i，每幅图像调整动态范围的模型可以简化为I′_i＝α_iI_i+β_i，以8位量化图像为例，原动态范围是[0,255]，调整后的动态范围是[β_i,255α_i]，由于每个相机在拍摄过程中都有自动曝光的调整，因此会造成不同视角下重合区域的高度不一致性，可以基于重合区域不一致性最小的目标估计动态范围调整因子，具体方法是：

a)对I_i而言，按照相机空间位置关系，找出与其有重合的图像组{I_i,k}，k∈[1,C],k≠i；

b)对所有图像进行做RGB空间到Lab空间的转换，利用R_i,k与R_k,i的L通道来做线性调整因子估计，假设：

ⅰ、R_i,k＝α_k,iR_k,i+β_k,iE，通过求解矩阵方程，可以求出α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I′_i,k，通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′}；

ⅱ、R_i,j(x,y)＝α_j,i(x,y)R_j,i(x,y)+β_j,i(x,y)，这里R_i,j与R_j,i的宽度与高度分别为M、N，R_i,j(x,y)表示在(x,y)处的亮度值，x∈[1,M]，y∈[1,N]，α_j,i与β_j,i是像素级的，则将像素级转换为超像素级或者单参数，那么求解矩阵方程时会有求解超定方程引入的较大误差，因此，针对该类问题，可以通过降低分辨率求解超像素级的调整因子，找到调整因子的中值或者统计均值做最终的α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I′_i,k，通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′_i,k}；

c)对所有图像进行a)～b)的调整处理，形成一系列的动态调整后的图像集{I′}；

3)基于实际视轴条件下的图像仿真：

a)在多相机动态范围图集调整完成后，要仿真不同视角下的图像结果，需要根据相机的空间位置与视角计算在图像中的视场位置，假定多相机条件下拍摄的整体视场为F，仿真视角的视场为F′，在仿真视角下的图像为I_F′，仿真图需要的高动态范围图集为{I′_T}；

b)当{I′_T}中空间位置没有重合的图像区域而言，可以直接采用原图信息：

c)当{I′_T}中空间位置有重合的图像区域而言，为了重现实际曝光状态(假定每幅图在拍摄时都有曝光时间参数)，计算与非重合区域的曝光差异最小的做仿真灰度，同时，可以进行边界处的亮度信息过度，具体方式是：

ⅰ、提取重合区域在图像中的边界位置，边界区域即重合区域***的坐标，这些坐标按照顺时针首尾相接则可以完整圈出重合区域，从数学描述上，在该坐标8邻域内，同时存在非重合区域与重合区域的像素；

ⅱ、基于几何位置分布来做像素权重计算，权重是按照几何距离线性插值方法给出的，比如以重合区域的中心处权重定为1，边界处的权重定为0.5，其他位置的权重按照与中心、边界的几何距离线性插值，取值范围是0.5～1，给出重合区域的每个像素权重ω(x,y)；

ⅲ、计算过度区的灰度I_F′(x,y)＝I_F′S(x,y)[1-ω(x,y)]+I_F′P(x,y)ω(x,y)，I_F′S(x,y)为原曝光条件下的图像灰度，I_F′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。

本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (5)

1.一种针对多镜头拍摄的宽动态图生成方法，其特征在于：包括以下步骤：

1)多相机拍照重合区域的标定阶段：在相机之间的空间相对位置关系固定的情况下，相机之间拍摄的重合区域通过标定得出，假定共有C个相机，每个相机的拍摄图像为I_i，i∈[1,C]，相邻相机之间的重合区域为R_i,j，j∈[1,C],j≠i，标定方法是：

a)利用空间位置相邻的相机做实景拍摄，提取拍摄图像的RTS不变特征；

b)基于提取特征来做特征匹配，得到匹配的特征点位置描述；

c)基于匹配的位置描述来估算I_j在I_i坐标系下的变换图像I′_j，然后计算R_i,j，这里R_i,j＝I′_j∩I_i，然后记录R_i,j的几何分布信息；

2)相机间的动态范围调整：这里认为每个相机拍摄图像之间存在动态范围的调整因子α_i与β_i，每幅图像调整动态范围的模型简化为I_i′＝α_iI_i+β_i，基于重合区域不一致性最小的目标估计动态范围调整因子，具体方法是：

a)对I_i而言，按照相机空间位置关系，找出与其有重合的图像组{I_i,k}，k∈[1,C],k≠i；

b)对所有图像进行做RGB空间到Lab空间的转换，利用R_i,k与R_k,i的L通道来做线性调整因子估计，假设：

ⅰ、R_i,k＝α_k,iR_k,i+β_k,iE，通过求解矩阵方程，可以求出α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I_i′_,k，通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′}；

ⅱ、R_i,j(x,y)＝α_j,i(x,y)R_j,i(x,y)+β_j,i(x,y)，这里R_i,j与R_j,i的宽度与高度分别为M、N，R_i,j(x,y)表示在(x,y)处的亮度值，x∈[1,M]，y∈[1,N]，通过降低分辨率求解超像素级的调整因子，找到调整因子的中值或者统计均值做最终的α_k,i与β_k,i，基于该调整因子对图像I_i做整体调整，得到I_i′_,k，通过图像组重复调整得到调整后的具有不同动态范围的图像组{I′_i,k}；

c)对所有图像进行a)～b)的调整处理，形成一系列的动态调整后的图像集{I′}；

3)基于实际视轴条件下的图像仿真：

a)在多相机动态范围图集调整完成后，要仿真不同视角下的图像结果，需要根据相机的空间位置与视角计算在图像中的视场位置，假定多相机条件下拍摄的整体视场为F，仿真视角的视场为F′，在仿真视角下的图像为I_F′，仿真图需要的高动态范围图集为{I′_T}；

b)当{I′_T}中空间位置没有重合的图像区域，直接采用原图信息：

c)当{I′_T}中空间位置有重合的图像区域，计算与非重合区域的曝光差异最小的做仿真灰度。

2.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法，其特征在于：所述步骤1)中，标定过程中使用固定的标定图卡。

3.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法，其特征在于：所述步骤1)的a)中，特征是SIFT、HARRIS、SURF或者HOG。

4.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法，其特征在于：所述步骤1)的c)中，记录R_i,j的几何分布信息为最小外接矩形或凸包链码。

5.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法，其特征在于：所述步骤3)的c)中，还包括行边界处的亮度信息过度，其方法为：

ⅰ、提取重合区域在图像中的边界位置；

ⅱ、基于几何位置分布来做像素权重计算；

ⅲ、计算过度区的灰度I_F′(x,y)＝I_F′S(x,y)[1-ω(x,y)]+I_F′P(x,y)ω(x,y)，I_F′S(x,y)为原曝光条件下的图像灰度，I_F′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。