CN103177432B - 一种用编码孔径相机获取全景图方法 - Google Patents

Abstract

本发明公开了一种用编码孔径相机获取全景图方法。使用本发明能够获取纯远景以及各处都清晰的全焦图。本发明采用编码孔径相机对场景进行拍摄，通过计算可以得到所拍摄图像中各点处点扩散函数的尺寸，利用点扩散函数的尺寸与深度的对应关系，采用反卷积算法，将图片清晰化，将各清晰化的图片进行拼接从而获得全景图。本发明可以减少图片拼接中因场景中存在遮挡物而带来的拼接错误，以及在拼接全景图时避免由于拍摄时的景深不一致带来的图像模糊问题。本发明采用编码相机对场景进行采集，设备要求相对简单，获取优化全景图时无需使用额外的深度获取设备；拍摄过程简单方便，容易实施与推广。

Description

一种用编码孔径相机获取全景图方法

技术领域

本发明涉及全景图拼接方法，具体涉及一种用编码孔径相机获取全景图方法。

背景技术

全景图能够极大地扩展相机的拍摄范围，给人带来视觉的震撼以及身临其境的感觉，是提高人在虚拟环境中沉浸感的一种重要手段。经典的全景图拼接讨论了拼接过程中图像关键点的选择、图像的注册、校准与相互融合等问题，主要的工作是将所获得的照片直接拼接融合在一起，呈现拍摄时获取的原始场景图像，而并未对拼接中全景图存在近景物体时的拼接以及非对焦区域的离焦模糊等问题进行处理。

当前景物体存在于一个完美的场景里时，它会挡住场景的一部分，甚至导致拼接出现问题，令原本完美的场景变得不完美。例如，在高处拍全景图时，周围距离特别近的栏杆可能会出现在镜头中；拍摄的巨幅壁画前，有一些其他景物（如树木、电线杆或者行人）遮住了壁画的一部分；或者所关心的大楼前有运动的物体（如往来飞驰的汽车等），而无法通过拍照获得完全纯净的大楼的全景照片。在这样的场景下拍摄的图片用于全景图拼接时，可能会给拼接带来不好的影响，全景图中多出了若干不希望看到的近景物体，会影响整个全景图的美观；再者由于一些运动前景物***置的变化，可能会使全景图中出现两个或者更多该物体，影响视觉效果；最后图片中出现的近景物体会影响图片匹配时SIFT关键点的匹配导致全景图出现错误，产生所谓的“鬼影”。

同时，目前的大范围全景图拼接大多没有考虑场景中含有近景物体的问题，传统的中心柱状或球状全景图在拍摄时通常将焦距固定在某一距离，由于对象场景通常较远，场景远近物体的离焦量等一些相对变化量很小，此时近景物体在远景物体中的影响可以忽略，而在拍摄距离范围较近场合下，离焦场景图像的模糊问题就会凸显出来。

全景图中一类——多视点全景图经常被用来获取街区等长距离范围的建筑景物等，难免会在拍摄的过程遇到汽车、行人等非关心景物，现有的方法不仅没有对其进行去除，反而将这些前景物体拼接在全景图中。如果需要连续视频图像序列作为输入，来建立远景全景图或对图像进行清晰化处理，相比于用相机获取照片源来说，在设备要求上比较高。即便生成了含有深度信息的全景图或对场景进行了重建，也未对图片中前景对远景的遮挡等问题进行处理。

消去现实是一种能让前景物体从现实中“消失”技术，但大多数的该类***需要多台摄像机或者从一段有变化的视频来获取不同位置的信息。如果只用一台摄像机视频流的消去现实***，只能够对于相对简单的纹理获得较好的效果，无法真正获得前景物体后方的信息。

现今全景图的拼接依然存在一些缺陷：

1.呈现拍摄时获取的原始场景图像时，并未对拼接中全景图存在近景物体时的拼接以及非对焦区域的离焦模糊等问题进行处理。

2.在拍全景图时，周围距离特别近的物体可能会出现在镜头中，再者背景前中距离的物体也可能出现在镜头中，而且这些物体可能是静止的也可能是运动的，从而无法通过拍照获得完全纯净的背景的全景照片。

发明内容

有鉴于此，本发明提供了一种用编码孔径相机获取全景图方法，能够获取纯远景以及各处都清晰的全焦图。

本发明的用编码孔径相机获取全景图方法，包括以下步骤：

步骤1，将编码孔径相机始终对于某一距离对焦，获取目标场景图片，并按照不同尺寸点扩散函数所对应的深度将场景划分为N个深度层，根据所需的深度，将图像的对应区域选出；若所需深度区域为对焦区域，则进行步骤3；若所需深度区域为未对焦区域，则进行步骤2；

步骤2，若所需深度区域为未对焦区域，则根据计算深度层用k层所对应的点扩散函数f_k对由于离焦产生模糊的图像y进行反卷积，得到所需深度区域的清晰图像；其中，f_k为第k个深度层对应的点扩散函数，k=1,2,…,N；y为由于离焦产生模糊的图像，x_k为利用点扩散函数f_k对由于离焦产生模糊的图像y进行反卷积的结果，λ_k为经验参数；

步骤3，在不同的位置或者不同的角度对所需场景进行拍摄，获得所需待拼接照片，重复步骤1或重复步骤1、步骤2，将待拼接照片清晰化，并对所有图片进行全景图的拼接；

步骤4，对于步骤3中获得的全景图，若有部分区域由于信息不足而无法进行拼接时，则再对其进行局部补拍，获得所需待拼接照片，重复步骤1、步骤3或重复步骤1、步骤2、步骤3，将待拼接照片清晰化，与步骤3中获得的全景图进行拼接。

当拍摄场景中存在运动前景时，则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息；后景图片的融合可直接将所有提取的后景图片对齐后按照公式

$B=\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{I}_i{M}_i---\left(1\right)$

直接叠加，其中B表示融合出的背景，I表示原图，M表示图片的背景蒙版，i表示是在该位置该角度拍摄照片的序号，i=1,2,…,T，其中T表示在该位置该角度拍摄照片的最大张数。

有益效果：

本发明的全景图拼接方法可以获得没有遮挡物体的优化的全景图，相比于传统全景图效果更好；本发明可以减少图片拼接中因场景中存在遮挡物而带来的拼接错误，以及在拼接全景图时避免由于拍摄时的景深不一致带来的图像模糊问题。本发明采用编码相机对场景进行采集，设备要求相对简单，获取优化全景图时无需使用额外的深度获取设备；拍摄过程简单方便，容易实施与推广。

附图说明

图1为编码孔径镜头光路示意图。

图2是编码孔径相机在不同深度处的点扩散函数（对焦于1.9m）。

图3为本发明的实施流程图。

图4为静止环境中利用本发明方法获得优化全景图的一个实例。

图5为在有运动对象的环境中利用本发明方法进行同一位置同一角度图片融合的实例。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种用编码孔径相机获取全景图方法，采用编码孔径相机对场景进行拍摄。

传统全景图的拍摄器具通常是普通的单反相机，相机的孔径是圆形或者多边形，其点扩散函数也呈圆形或者相应的多边形，即未对焦物点的像呈圆形或者多边形。这种相机拍摄的照片只能获得场景的二维信息，即图片信息。在普通单反相机镜头的孔径光阑处加入一个带有由二值编码确定透光形状的挡片（即编码孔径），使普通单反相机变成编码孔径相机。编码孔径相机与普通单反相机的差别是其点扩散函数发生了变化，呈与编码类似的形状。当相机固定焦距时，点扩散函数也随不同的拍摄距离（即深度）呈现出不同的尺寸，而不同尺寸的点扩散函数则在图像中表现为不同程度的模糊（与普通单反相机拍摄的离焦模糊效果类似），如图1、图2所示。通过计算可以得到所拍摄图像中各点处点扩散函数的尺寸，利用点扩散函数的尺寸与深度的对应关系，即可计算图像中各点的深度信息。具体说来，是利用一种对点扩散函数尺度敏感的反卷积算法（去模糊算法）对图像进行逐区域的计算，当区域深度与反卷积的点扩散函数尺寸对应时，反卷积的计算结果为清晰的图像；而当区域深度与反卷积的点扩散函数尺寸未对应时，反卷积的计算结果中则会产生振铃效应或者仍然是不清晰的图像。显然，利用各个区域对应深度的点扩散函数进行反卷积即可以获得一幅各处都清晰的图片（全焦图）。

首先对编码孔径相机获取的源图像分别进行处理，在图片中提取出相应区域的深度信息，根据实际应用需要将图片中不同的区域划分为若干不同的距离层（深度层），例如深度层1为2米处的物体，深度层2为3.5米处的物体，深度层3为5米处的物体，等等。在此基础上，选取所需要的特定深度层的图片区域，滤去会导致其拼接不完美甚至拼接错误的近景物体，重新进行图像拼接。对于相机固定对焦拍摄出的图片，由于图片中的物体远近的不同，未对焦的物体会存在一些离焦模糊，结合编码孔径图片中提取的深度以及相应的去模糊算法，即可去除相应的模糊，在远近不同的区域都可以获得较为清晰的图片，从而获得各处都清晰的全景图。

图3为本发明方法实施流程图，所述优化的全景图获取包括以下几个步骤：

步骤1，将编码孔径相机始终对于某一距离对焦，获取目标场景图片，并按照不同尺寸点扩散函数所对应的深度将场景划分为N个可能的深度层，例如深度层1为2米处的物体，深度层2为3.5米处的物体，深度层3为5米处的物体，等等。根据所需的深度，将图像的对应区域选出；由于在全景图拍摄过程中，相机始终对于某一距离对焦，其他距离的像会产生模糊。若所需深度区域为对焦区域，则进行步骤3；若所需深度区域为未对焦区域，则进行步骤2；

步骤2，若所需深度区域为未对焦区域，则根据计算深度层用其所对应的点扩散函数f_k对图像进行反卷积，得到感兴趣区域的清晰图像；其中，f_k为第k个深度层对应的点扩散函数，k=1,2,…,N；y为由于离焦产生模糊的图像，x_k为利用f_k对y进行反卷积的结果，λ_k为经验参数，为了调节e_k在计算中出现的抖动。

步骤3，在不同的位置或者不同的角度对场景其余部分进行拍摄，获得所需待拼接照片，重复步骤1或重复步骤1、步骤2，将待拼接照片清晰化，并对所有图片进行全景图的拼接；

步骤4，对于步骤3中获得的全景图，若有部分区域由于信息不足而无法进行拼接时，则再对其进行局部补拍，获得所需待拼接照片，重复步骤1、步骤3或重复步骤1、步骤2、步骤3，将待拼接照片清晰化，与步骤3中获得的全景图进行拼接。

步骤101，当拍摄场景中存在运动前景时，则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息。由于后景在图像中的投影完全没有差别，后景图片的融合可直接将所有提取的后景图片对齐后按照公式

$B=\underset{i}{\mathrm{\Σ}}{I}_i{M}_i---\left(1\right)$

直接叠加，其中B表示融合出的背景，I表示原图，M表示图片的背景蒙版，i表示是在该位置该角度拍摄照片的序号，i=1,2,…,T，其中T表示在该角度拍摄照片的总张数。融合的结果是得到了该位置该角度上无前景物体的照片，将多幅照片成为一张可用的照片。

图4是静止环境中利用本发明方法获得优化全景图的一个实例。拼接过程主要关心的是后景涂鸦墙。两张利用编码孔径相机拍摄的待拼接图片中的一部分被前景（绿色小灌木）遮挡部分区域。利用步骤1中所描述的方法计算出两幅图的深度层，并获得只含所需要深度层（后景）的两幅图片，获得拼接结果1，小灌木处附近由于遮挡，后景信息缺失。拼接结果1再与其他位置拍摄的两幅相邻图像进行拼接，获得拼接结果2；与拼接结果1比较，被遮挡处的信息补充了一些，但仍有部分区域信息缺失。再进行步骤4，对被遮挡的部分进行局部补拍，与前面的结果进行拼接，得到拼接结果3，此时被遮挡的信息缺失部分已经补全。

图5是在有运动对象的环境中利用本发明方法进行同一位置同一角度图片融合的实例。在该位置该角度利用编码孔径相机拍摄5张照片，前景是运动的人和球，后景是篮球架和其他的景物。获取每张图的深度（前后景）信息后，将每一张图片的后景提取出来；在对齐它们之后取得相同的部分，即可完成同一位置同一角度后景图片融合，获得的结果中不存在运动的前景物体。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种用编码孔径相机获取全景图的方法，其特征在于，包括以下步骤：

步骤1，将编码孔径相机始终对于某一距离对焦，获取目标场景图片，并按照不同尺寸点扩散函数所对应的深度将场景划分为N个深度层，根据所需的深度，将图像的对应区域选出；若所需深度区域为对焦区域，则进行步骤3；若所需深度区域为未对焦区域，则进行步骤2；

步骤2，若所需深度区域为未对焦区域，则根据计算深度层用k层所对应的点扩散函数f_k对由于离焦产生模糊的图像y进行反卷积，得到所需深度区域的清晰图像；其中，f_k为第k个深度层对应的点扩散函数，k＝1,2,…,N；y为由于离焦产生模糊的图像，x_k为利用点扩散函数f_k对由于离焦产生模糊的图像y进行反卷积的结果，λ_k为经验参数；

步骤3，在不同的位置或者不同的角度对所需场景进行拍摄，获得所需待拼接照片，重复步骤1或重复步骤1、步骤2，将待拼接照片清晰化，并对所有图片进行全景图的拼接；

步骤4，对于步骤3中获得的全景图，若有部分区域由于信息不足而无法进行拼接时，则再对其进行局部补拍，获得所需待拼接照片，重复步骤1、步骤3或重复步骤1、步骤2、步骤3，将待拼接照片清晰化，与步骤3中获得的全景图进行拼接。

2.如权利要求1所述的一种用编码孔径相机获取全景图的方法，其特征在于，当拍摄场景中存在运动前景时，则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息；后景图片的融合可直接将所有提取的后景图片对齐后按照公式

$B=\underset{i=1}{\overset{T}{\Σ}}{I}_i{M}_i---\left(1\right)$

直接叠加，其中B表示融合出的背景，I表示原图，M表示图片的背景蒙版，i表示是在该位置该角度拍摄照片的序号，i＝1,2,…,T，其中T表示在该位置该角度拍摄照片的最大张数。