CN102917175A - 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法 - Google Patents

Abstract

本发明公开了一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法，用于解决现有的基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法图像分割精度差的技术问题。技术方案是对目标所在深度进行估计，对最近目标合成图像进行分割，在空间逐深度累计透视合成成像。由于以相机阵列采集图像存在视角间的相对视差优化图像分割，使一个需要用户交互的分割算法变为自动化的图像分割；利用立体的多目标分割算法，实现了在有遮挡的情况下的透视分割；避免了计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法，通过深度的估算和图像的预分割，提高了图像分割的精度和稳定性。

Description

基于相机阵列合成孔径成像的遮挡多目标自动抠像方法

技术领域

本发明涉及一种遮挡多目标自动抠像方法，特别是涉及一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法。 

背景技术

目标分割是计算机视觉和模式识别领域一个重要的问题，其在高质量成像和特效领域具有广泛的应用。现有的目标分割算法主要有：基于cut-paste的分割方法与基于matting的抠像方法。 

文献“Natural Video Matting using Camera Array，2006 Siggraph”公开了一种基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法。由于背景和前景的分离，阵列中每个视角图像的相对视差使得能够在背景的不同部分获取前景的物体。在充分纹理化的背景下，在几种不同的背景色彩下获取前景目标从而约束了抠像问题。对每个视角，将色彩值投影到前景目标的深度并从这些值中选取均值和方差统计信息自动生成三分图以及α和F。这是一个高速且自动的方法，巧妙的避免了计算背景的深度和三维重建等难题并且在任意复杂的背景环境下均适用。该方法的另一个优势逐像素运行速率与相机数成比例。这使得该方法非常有效且利于实时的工作性能，此外它可以在CPU或GPU上方便的实现。然而，真实的场景中背景并非具有受控的纹理的特质。同时，其在多目标相互遮挡的条件下，由于出现明显的前景遮挡区域混叠，使得基于色彩的分割方法在很大的程度上失效。 

发明内容

为了克服现有的基于相机阵列在背景纹理复杂的自然场景中计算抠像的方法图像分割精度差的不足，本发明提供一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法。该方法以相机阵列采集图像存在视角间的相对视差优化图像分割，使一个需要用户交互的分割算法变为自动化的图像分割；利用立体的多目标分割算法，可以实现在有遮挡的情况下的透视分割。可以避免计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法，通过深度的估算和图像的预分割，可以提高图像分割的精度。 

本发明解决其技术问题所采用的技术方案是：一种基于相机阵列合成孔径成像 的遮挡多目标自动抠像方法，其特点是包括以下步骤： 

步骤一、输入一组相机阵列拍摄的图像进行成像参数标定，计算不同视角间的单应矩阵变换矩阵H_i。逐视角利用“canny算子”进行边缘检测，然后按照合成孔径计算公式 

逐深度计算边缘二值图像的合成图像。逐个深度统计高亮像素点的个数，其峰值所在的深度为当前据采集***最近的目标所在深度。 

步骤二、通过分析边沿一阶均值图像的特点，将高亮区域集中的部分标记为前景，同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点 

生成相机阵列的均值合成图像和方差合成图像，利用积分图对方差图进行中值滤波，采用双阈值方法，方差低于100视为前景，方差大于1000视为背景，对于图像进行三分。采用连通域分析的方法删除图像中空洞，对不确定的区域进行膨胀运算。然后将经过视差校正的不同视角的边缘二值图像取均值作为输入，利用grow-cut对该深度的图像进行分割。 

步骤三、根据grow-cut的分割信息，投影至逐个视角下对单视角进行可视度分析。使用相同的模型 

$I_i=\left\{\begin{array}{c}{I}_i\→\mathrm{mask}\left(I_i\right)=1\\ 0\→\mathrm{mask}\left(I_i\right)=0\end{array}\right.$

n=length(I_i≠0) 

计算图像的边缘的合成图像，逐深度统计高亮的点个数，迭代上述步骤。直到高亮点小于某一固定阈值。 

所述逐个深度统计高亮像素点的个数，边缘二值图像的未被遮挡的区域合成结果为1，图像中第一次出现的峰值为离采集***最近的聚焦最优深度。 

本发明的有益效果是：由于以相机阵列采集图像存在视角间的相对视差优化图像分割，使一个需要用户交互的分割算法变为自动化的图像分割；利用立体的多目标分 割算法，实现了在有遮挡的情况下的透视分割；避免了计算背景的深度和三维重建难题。这种综合图像色彩信息和图像轮廓结构信息的方法，通过深度的估算和图像的预分割，提高了图像分割的精度和稳定性。通过UCSD/MERL Light Field Repository相机阵列公开数据库和Standford数据库上的测试，深度估计和分割均取得了较好的效果。 

下面结合实施例对本发明作详细说明。  

具体实施方式

本发明方法具体步骤如下： 

1、分割距相机最近邻的目标。 

预估深度： 

输入一组相机阵列拍摄的图像，首先进行成像参数的标定，计算不同视角间的单应矩阵变换矩阵H_i。逐视角利用“canny算子”进行边缘检测，对边缘E_i进行逐深度合成，统计每个深度合成图像E_SA上的高亮的点的个数。利用贪心算法深度最小的极大值所在的深度，以此作为对深度估计的依据。 

由于在没有遮挡的情况下，目标二值化的边缘的合成图像在精确聚焦的区域应当为准确的1，因此采用统计图像中值为1的像素点个数，可以找到较为准确的目标深度估计。 

计算图像的三分图指导图像分割： 

传统的grow-cut算法是需要借助用户的输入，给出一个粗略的分割。这样对于外界输入的依赖，限制了人们对于自动化分割的需求。相机阵列利用了图像之间的相对视差，能够获取同一目标在背景的不同区域的图像。在此数据这个特征上，利用色彩的二阶信息，聚焦深度上的前景目标具有较小的方差值而背景由于属于不同的区域因此具有较大的方差值，使用一个双重阈值100和5000将整个场景分为前景、背景和不确定区域。 

该方法在背景色彩差异较大的时候，体现出了较好的工作效果。然而，在色彩颜色整体区域相似的情况下，这个的分割会导致难以正确的区分真正的前景和背景关系。 此外，在对部分视角被遮挡的区域时，仅对可见的时间求方差和均值。此时，不同基数的视角间的方差和均值的比较将不具备可比性。因此，引入了可以表征图像结构信息的边沿合成图像参与三分图像的工作。通过分析边沿一阶均值图像的特点，将高亮区域集中的部分标记为前景，同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点，从而提供了作为准确的三分图像信息。 

具体过程如下：生成相机阵列的均值合成图像和方差合成图像，利用积分图对方差图进行中值滤波，采用双阈值的方法（方差低于100视为前景和大于1000视为背景）对于图像进行三分。采用连通域分析的方法删除图像中空洞，对不确定的区域进行膨胀运算。然后将经过视差校正的不同视角的边缘二值图像取均值，对高亮的区域（值为1）部分标记为前景，再对边缘图像计算方差图对方差大于某一固定阈值的点标记为背景。 

以此作为输入，利用grow-cut对该深度的图像进行分割。 

2、基于可视度分析的高质量成像方法。 

在对前景目标的合成图像进行分割之后，得到了一张参考视角下的图像掩膜，该掩膜能够有效的去除参考视角下的前景目标。根据不同视角下的映射关系，可以逐视角的产生前景的掩膜。 

传统的合成孔径成像方法虽然具有透视成像的能力，但是该方法将遮挡区域和未被遮挡的有效区域均加入合成计算。这样不可避免的出现成像质量不高的现象。因此，利用掩膜提供的可视度分析的信息修改了传统的成像模型。 

$I_i=\left\{\begin{array}{c}{I}_i\→\mathrm{mask}\left(I_i\right)=1\\ 0\→\mathrm{mask}\left(I_i\right)=0\end{array}\right.$

n=length(I_i≠0) 

同时使用相同的模型计算图像的边缘的合成图像，逐深度统计高亮的点个数，迭代上述步骤。直到高亮点点小于某一固定阈值。算法终止。 

Claims (2)

1.一种基于相机阵列合成孔径成像的遮挡多目标自动抠像方法，其特征在于包括以下步骤：

步骤一、输入一组相机阵列拍摄的图像进行成像参数标定，计算不同视角间的单应矩阵变换矩阵H_i；逐视角利用“canny算子”进行边缘检测，然后按照合成孔径计算公式

逐深度计算边缘二值图像的合成图像；逐个深度统计高亮像素点的个数，其峰值所在的深度为当前据采集***最近的目标所在深度；

步骤二、通过分析边沿一阶均值图像的特点，将高亮区域集中的部分标记为前景，同时对边缘的二阶方差图像上标记方差大于某一阈值的区域为背景点

生成相机阵列的均值合成图像和方差合成图像，利用积分图对方差图进行中值滤波，采用双阈值方法，方差低于100视为前景，方差大于1000视为背景，对于图像进行三分；采用连通域分析的方法删除图像中空洞，对不确定的区域进行膨胀运算；然后将经过视差校正的不同视角的边缘二值图像取均值作为输入，利用grow-cut对该深度的图像进行分割；

步骤三、根据grow-cut的分割信息，投影至逐个视角下对单视角进行可视度分析；使用相同的模型

$I_i=\left\{\begin{array}{c}{I}_i\→\mathrm{mask}\left(I_i\right)=1\\ 0\→\mathrm{mask}\left(I_i\right)=0\end{array}\right.$

n＝length(I_i≠0)

计算图像的边缘的合成图像，逐深度统计高亮的点个数，迭代上述步骤；直到高亮点小于某一固定阈值。

2.根据权利要求1所述的基于相机阵列合成孔径成像的遮挡多目标自动抠像方法，其特征在于：所述逐个深度统计高亮像素点的个数，边缘二值图像的未被遮挡的区域合成结果为1，图像中第一次出现的峰值为离采集***最近的聚焦最优深度。