CN102968784B - 一种多视角拍摄进行孔径合成成像方法 - Google Patents

Abstract

本发明公开了一种多视角拍摄进行孔径合成成像方法，属于图像处理技术领域，包括以下几个步骤：步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点；步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；本发明通过多次平面射影变换的方法，准确地对感兴趣目标平面进行透视成像，校正了平面相机阵列的安装误差，提高了感兴趣目标的对比度和清晰度。

Description

一种多视角拍摄进行孔径合成成像方法

技术领域

本发明涉及一种多视角拍摄进行准确孔径合成图像的方法，属于图像处理技术领域。

背景技术

在传统成像***中，相机的景深随对焦距离的增加而增加，随光圈的增加而减小。为了达到某些特殊拍摄效果，如突出表现某一感兴趣的物体，需要采用较小的景深成像***。而相机和目标物体间的距离往往是不能改变的，即对焦距离固定，这种情况下，可以采用大光圈（孔径）的相机获取小景深成像效果。相机的光圈越大就越能更多的记录从不同方向发出的光线。但是相机的光圈不能过大，过大的光圈将使镜头的像差畸变等急剧增加。为了解决这个问题，可以利用普通相机多视角拍摄目标物体，对拍摄得到的图像进行计算合成，达到孔径合成成像的效果。

在这种多视角拍摄的孔径合成成像***中，成像景深范围极小。如果感兴趣的物***于成像***对焦面上，则其合成孔径图像清晰，而处于景深外的物体，由于其弥散斑直径正比于孔径大小，将会离焦虚化，从而达到突出感兴趣目标的目的。这种孔径合成成像***中，一般采用单相机或者相机阵列对目标场景进行多视角拍摄的图像采集。为提高合成孔径图像的清晰度和准确度，需要对每个相机采集的图像进行几何校正，因为拍摄过程中各相机视角存在位置偏差。之后将几何校正之后的图像用于目标图像合成的重采样。

在已有技术中，孔径合成的主要方法是利用平面相机阵列获取多视角图像。假设所有相机的光心都位于同一平面上，利用平面视差法标定相机间的相对位置。根据视差和目标深度及相机间相对位置的关系，对图像进行整像素平移，以抵消目标在不同视角拍摄造成的视差，即将所有图像对焦至目标平面。将所有对焦至目标平面的图像进行叠加和平均，这样位于对焦平面上的物体清晰，而处在对焦平面外的物体由于视差将会虚化弥散，达到突出感兴趣目标的效果。

因此，在现有的多视角拍摄进行孔径合成成像的技术中，存在以下缺点：在实际安装中难以严格达到所有拍摄角度的相机光心位于同一平面；对原始图像序列进行整像素的平移以对焦到感兴趣的平面忽略了其视差存在非整像素的可能性，降低了合成孔径图像的清晰度；对所有对焦后的图像进行叠加平均相当于对原始图像进行低通滤波，损失了目标图像的高频细节信息。

发明内容

本发明的目的是为了解决上述问题，提出一种多视角拍摄进行孔径合成成像方法，提高感兴趣目标图像的对比度和清晰度。

一种多视角拍摄进行孔径合成成像方法，包括以下几个步骤：

步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；

步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点；

步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；

步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；

本发明的优点在于：

（1）本发明通过多次平面射影变换的方法，准确地对感兴趣目标平面进行透视成像，校正了平面相机阵列的安装误差，提高了感兴趣目标的对比度和清晰度。

（2）本发明通过采用对多张图像重采样的方法，尽量保留了感兴趣目标的高频细节信息，进一步提高感兴趣目标的图像清晰度。

附图说明

图1是本发明的具体实施方式提供的多视角成像***示意图；

图2是本发明的具体实施方式提供的多视角拍摄的原始图像序列其中的一张；

图3是本发明的具体实施方式提供的采用现有技术方案的孔径合成图像；

图4是本发明的具体实施方式提供的采用本发明技术方案的孔径合成图像图；

图5是本发明的具体实施方式提供的多视角拍摄进行孔径合成成像算法的流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

一种多视角拍摄进行孔径合成成像方法，流程如图5所示，包括以下几个步骤：

步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；

对不同视角的原始图像序列进行平面射影变换，将所有图像对焦到非感兴趣目标平面∏上，具体为：

$\left[\begin{array}{c}{x}_{\mathrm{\Πi}}\\ y_{\mathrm{\Πi}}\\ 1\end{array}\right]=H_{\mathrm{\ΠI}}\·\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

其中：[x_i y_i 1]^T是相机阵列中第i个相机所获得的包含感兴趣目标场景的原始图像齐次坐标，其坐标单位为像素，H_∏i是该原始图像对焦到非感兴趣平面∏的平面射影矩阵，

[x_∏i y_∏i 1]^T是原始图像坐标，[x_i y_i 1]^T为经平面射影变换H_∏i对应的齐次坐标。H_∏i由第i个相机的视角和对焦到非感兴趣目标平面的视角的相对位置共同决定，计算H_∏i可以采用计算机视觉中的直接线性变换。

取第i张原始图像，将平面射影变换后的坐标[x_∏i y_∏i 1]^T进行双线性重采样，得到该原始图像对焦到非感兴趣目标平面∏的图像I_∏i。

同理对其它原始图像序列进行上述操作，得到对焦到非感兴趣目标平面的图像序列。这一过程采用平面射影变换而非之前技术方法中的平移叠加，对对焦到非感兴趣平面这一过程的图像进行了几何校正，充分考虑了相机阵列个体的空间位置偏差，为下一步精确识别非感兴趣目标像点提供了准确数据。

步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点。

采用方差阈值法判断非感兴趣目标平面∏的坐标在对焦到非感兴趣目标平面∏的图像序列I_pi的坐标[x_oc y_oc 1]^T。则非感兴趣目标平面∏的坐标在第i张原始图像的坐标[x_oci y_oci 1]^T为：

$\left[\begin{array}{c}{x}_{\mathrm{oci}}\\ y_{\mathrm{oci}}\\ 1\end{array}\right]=H_{\mathrm{\Πi}}^{-1}\·\left[\begin{array}{c}{x}_{\mathrm{oc}}\\ y_{\mathrm{oc}}\\ 1\end{array}\right]$

其中：坐标值[x_oci y_oci 1]^T存在不是整数，即整像素的可能性，为了彻底去除非感兴趣目标平面∏的像素，在原图I_i中将坐标[x_oci y_oci 1]^T的邻域整像素全部剔除，即灰度设置为0，生成在原图基础上去除非感兴趣目标平面∏的图像I′_i。

以上描述了非感兴趣目标为单个平面情形灰度图像下的处理过程，当非感兴趣目标为覆盖了一定的深度范围时，判断所有深度非感兴趣平面是否全部去除，如果是，则进入步骤三，否则，返回步骤一，在合成目标图像之前，反复使用步骤一、二，逐次消除各深度平面内的非感兴趣目标；

步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换。

对去除非感兴趣目标的图像I′_i进行平面射影变换，对焦到目标平面上。

$\left[\begin{array}{c}{x}_{\mathrm{obji}}\\ y_{\mathrm{obji}}\\ 1\end{array}\right]=H_{\mathrm{obji}}\·\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]$

其中：H_obji是图像I′_i对焦到目标的平面射影矩阵，[x_obji y_obji 1]^T是图像I′_i坐标[x_i y_i 1]^T经目标平面射影变换对应的齐次坐标。

步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像。

通过上述步骤得到N组去除非感兴趣目标且对焦到目标平面的坐标[x_obj1 y_obj1 1]^T，…[x_obji y_obji 1]^T，…[x_objN y_objN 1]^T，对这N组坐标数据进行双线性重采样，合成对焦到目标平面的图像，最后，得到目标图像，达到准确计算合成孔径的目的。本步骤采用重采样的方法合成目标图像，避免使用叠加平均方法，从而提高合成大孔径图像的目标锐度，本步骤为本发明与目前合成孔径成像算法的最大不同，保留了原图像的细节信息，解决了因为使用叠加平均算法带来的图像不如原始图像序列细节清晰的问题。

当目标物体有一定的深度范围时，判断感兴趣目标物体各个深度平面的目标图像是否全部获取，如果是，得到目标物体在各深度处的合成孔径切片图像，对各切片图像进行图像融合，得到被遮拦目标物体的完整合成大孔径图像；否则，返回步骤三。

实施例：

以平面相机阵列为例，建立孔径合成成像***模型，如图1所示。采用多个安放在平面支架上的相机对场景进行多角度拍摄，则多个相机的光心近似处于同一平面。但是由于安装过程产生的误差以及平面支架自身的平面度误差，实际上多相机的光心并不是在同一个平面上。

图2为多视角拍摄的原始图像序列中的一张，感兴趣目标平面为顺风文件夹，顺风文件夹前方的植物为非感兴趣目标。相机阵列中任何一个相机拍摄的图像景深均比较大，因为单个相机的光圈（孔径）很小。所以原始图像序列中的每一张图像均不能完全看见顺风文件夹。按照步骤1、2所述判断非感兴趣目标植物的像点；按照步骤3所述，去除原始图像序列中的非感兴趣目标像点；按照步骤4所述，将得到的多张去除非感兴趣像点的原始图像进行重采样，合成孔径最终结果如图4。图3为目前常用的孔径合成方法--平移叠加方法合成的的结果图，图4为采用本发明孔径合成的结果图。可见图4的细节部分比图3更加清晰，提高了感兴趣目标平面的对比度和清晰度。本发明同样适用于彩色图像。

Claims (1)

1.一种多视角拍摄进行孔径合成成像方法，其特征在于，包括以下几个步骤：

步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；

对不同视角的原始图像序列进行平面射影变换，将所有图像对焦到非感兴趣目标平面Π上，具体为：

$\left[\begin{array}{c}{x}_{\mathrm{\Πi}}\\ y_{\mathrm{\Πi}}\\ 1\end{array}\right]=H_{\mathrm{\Πi}}\·\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

其中：[x_i y_i 1]^T是相机阵列中第i个相机所获得的包含感兴趣目标场景的原始图像齐次坐标，其坐标单位为像素，H_Πi是原始图像对焦到非感兴趣平面Π的平面射影矩阵，[x_Πi y_Πi 1]^T是原始图像坐标，[x_i y_i 1]^T为经平面射影变换H_Πi对应的齐次坐标；

取第i张原始图像，将平面射影变换后的坐标[x_Πi y_Πi 1]^T进行双线性重采样，得到原始图像对焦到非感兴趣目标平面Π的图像I_Πi；

同理，对其它原始图像序列进行上述操作，得到对焦到非感兴趣目标平面的图像序列；

所述的步骤一中，H_Πi由第i个相机的视角和对焦到非感兴趣目标平面的视角的相对位置共同决定，计算H_Πi采用计算机视觉中的直接线性变换；

步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面Π的像点；

采用方差阈值法判断非感兴趣目标平面Π的坐标在对焦到非感兴趣目标平面Π的图像序列I_pi的坐标[x_oc y_oc 1]^T；则非感兴趣目标平面Π的坐标在第i张原始图像的坐标[x_oci y_oci 1]^T为：

$\left[\begin{array}{c}{x}_{\mathrm{oci}}\\ y_{\mathrm{oci}}\\ 1\end{array}\right]=H_{\mathrm{\Πi}}^{-1}\·\left[\begin{array}{c}{x}_{\mathrm{oc}}\\ y_{\mathrm{oc}}\\ 1\end{array}\right]$

其中：在原图I_i中将坐标[x_oci y_oci 1]^T的邻域整像素全部剔除，即灰度设置为0，生成在原图基础上去除非感兴趣目标平面Π的图像I′_i；

当非感兴趣目标为覆盖了一定的深度范围时，判断所有深度非感兴趣平面是否全部去除，如果是，则进入步骤三，否则，返回步骤一，在合成目标图像之前，反复使用步骤一、二，逐次消除各深度平面内的非感兴趣目标；

步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；

对去除非感兴趣目标的图像I′_i进行平面射影变换，对焦到目标平面上；

$\left[\begin{array}{c}{x}_{\mathrm{obji}}\\ y_{\mathrm{obji}}\\ 1\end{array}\right]=H_{\mathrm{obji}}\·\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]$

其中：H_obji是图像I′_i对焦到目标的平面射影矩阵，[x_obji y_obji 1]^T是图像I′_i坐标[x_i y_i 1]^T经目标平面射影变换对应的齐次坐标；

步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；

通过上述步骤得到N组去除非感兴趣目标且对焦到目标平面的坐标[x_obj1 y_obj1 1]^T，…[x_obji y_obji 1]^T，…x_objN y_objN 1]^T，对这N组坐标数据进行双线性重采样，合成对焦到目标平面的图像，最后，得到目标图像；

当目标物体有一定的深度范围时，判断感兴趣目标物体各个深度平面的目标图像是否全部获取，如果是，得到目标物体在各深度处的合成孔径切片图像，对各切片图像进行图像融合，得到被遮拦目标物体的完整合成大孔径图像；否则，返回步骤三。