CN103413302A - 相机阵列动态焦平面估计方法 - Google Patents

Abstract

本发明公开了一种相机阵列动态焦平面估计方法，用于解决现有基于相机阵列合成孔径成像的隐藏目标透视成像方法自动性能差的技术问题。技术方案是将相机阵列自动聚焦和遮挡动目标透视成像分为聚焦和成像两个模块，两个模块无缝地融合在整体算法框架中，通过两模块之间的无缝交互实现自动聚焦和清晰成像；在聚焦模块，采用基于局部和全局约束优化的动态估计最优焦平面估计算法；在成像模块中，采用基于可视度分析的主动合成孔径成像算法。由于该方法通过基于局部和全局约束优化的方法对动目标最优聚焦平面进行估计，进而基于可视度分析有效地在合成图像上去除遮挡物，显著地改善了遮挡动目标合成孔径成像的质量，且自动性能好。

Description

相机阵列动态焦平面估计方法

技术领域

本发明涉及一种相机阵列动态焦平面估计方法。

背景技术

文献“Synthetic Aperture Focusing Using a Shear-Warp Factorization of the ViewingTransform，IEEE Conference on Computer Vision and Pattern Recognition-Workshops,2005,pp.129”公开了一种基于相机阵列合成孔径成像的隐藏目标透视成像方法。该方法在给定成像目标聚焦深度的情况下通过利用单应映射与同调映射将相机阵列***中各视角所拍摄的图像投影至目标所在的聚焦平面。其中单应映射利用各视角图像中的对应特征点进行估计，同调映射根据阵列***中各相机相对位置与目标聚焦深度进行计算。该方法将相机阵列***视作一个具有极宽基线的“合成孔径”，在合成图像上，不在聚焦平面上遮挡物出现较为严重的离焦模糊，从而对遮挡条件下的隐藏目标进行透视成像。然而，该方法主要针对聚焦深度固定的隐藏静目标，对于隐藏动目标而言，需要用户手动修改聚焦深度，自动性能不强。

发明内容

为了克服现有基于相机阵列合成孔径成像的隐藏目标透视成像方法自动性能差的不足，本发明提供一种相机阵列动态焦平面估计方法。该方法将相机阵列自动聚焦和遮挡动目标透视成像分为聚焦和成像两个模块，两个模块无缝地融合在整体算法框架中，通过两模块之间的无缝交互实现自动聚焦和清晰成像；在聚焦模块，采用基于局部和全局约束优化的动态估计最优焦平面估计算法；在成像模块中，采用基于可视度分析的主动合成孔径成像算法。该方法通过基于局部和全局约束优化的方法对动目标最优聚焦平面进行估计，进而基于可视度分析有效地在合成图像上去除遮挡物，可以显著改善遮挡动目标合成孔径成像的质量，且自动性能好。

本发明解决其技术问题所采用的技术方案是：一种相机阵列动态焦平面估计方法，其特点是包括以下步骤：

步骤一、对viewnum个相机中的每一个相机所拍摄的图像序列，利用KLT法计算序列中帧与帧之间的光流特征点并做匹配，设

表示第i个相机t帧到t-1帧的单应，

和

分别表示第t-1帧和第t帧对应的特征点，根据公式(1)所表述的单相机时间序列约束计算各相机相邻帧间的代价E_l(H_t(t-1))，其中权值

的大小表示对应点可见的程度，权值更新方法见步骤五。

$E_l\left(H_{t(t-1)}\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|w_{t-1}^i(x_{t-1}^i-H_{t(t-1)}^i{x}_t^i)\left|\right|}_2---\left(1\right)$

步骤二、选定viewnum个相机中一个相机作为参考相机，设为r，设表示第i个相机与参考相机r之间的单应矩阵，

和分别表示参考相机r与第i个相机之间匹配的特征点。根据公式(2)所表述的多视角空间约束计算各相机与参考相机之间的空间约束

$E_s\left(H_t^r\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|X_t^r-H_t^{\mathrm{ir}}{x}_t^i\left|\right|}_2---\left(2\right)$

步骤三、设

和分别表示参考相机r和第i个相机第t-1帧到第一帧的单应映射矩阵。根据公式(3)所表述的全局闭环约束计算各相机间的闭环约束。

$E_g(H_{t(t-1)};H_t^r)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\left(H_{t-1}^r\right)}^{-1}{H}_{t-1}^i{H}_{t(t-1)}^i-H_{t(t-1)}^r{H}_t^{\mathrm{ir}}\left|\right|}_2---\left(3\right)$

步骤四、定义全局代价函数为

$E_t(H_{t(t-1)};H_t^r)=E_l\left(H_{t(t-1)}\right)+E_s\left(H_t^r\right)+E_g(H_{t(t-1)};H_t^r)---\left(4\right)$

利用最小化式E_l(H_t(t-1))和

分别分别获得H_t(t-1)和的初值，进而通过交换最小二乘算法最小化目标函数

步骤五、对第t帧中viewnum个相机所拍摄图像进行可视度分析。对任两个相机所拍摄的图像利用KLT方法进行两幅图像的光流计算，场景中任一体素对应了

个光流矢量，首先根据光流矢量的幅值进行层次聚类，所得聚类结果为G_si(i＝1,2,…,M)；其次，对每个G_si中所含的各相机所拍摄的像素，利用K-均值方法进行色彩空间上的聚类，所得聚类结果为G_cj(i＝1,2,…,L)，将G_cj中与上一帧合成图像中颜色最相近的一类中的各相机像素点的可视度

定义为1，其他类定义为0。

步骤六、设

为利用单应矩阵

投影的过的第i个相机在第t帧所拍摄的图像，

为

中满足的子图，第t帧合成孔径成像上像素p通过公式(5)进行计算

$I_t^{\mathrm{syn}}\left(p\right)=\left\{\begin{array}{cc}\frac{1}{\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{w}_t^i}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{O}_t^i\left(p\right){\mathrm{\ω}}_t^i\left(p\right)& p\∈O_t^i\\ \frac{1}{n}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{I}_t^i\left(p\right)& \mathrm{otherwise}\end{array}\right.---\left(5\right).$

本发明的有益效果是：该方法将相机阵列自动聚焦和遮挡动目标透视成像分为聚焦和成像两个模块，两个模块无缝地融合在整体算法框架中，通过两模块之间的无缝交互实现自动聚焦和清晰成像；在聚焦模块，采用基于局部和全局约束优化的动态估计最优焦平面估计算法；在成像模块中，采用基于可视度分析的主动合成孔径成像算法。由于该方法通过基于局部和全局约束优化的方法对动目标最优聚焦平面进行估计，进而基于可视度分析有效地在合成图像上去除遮挡物，显著地改善了遮挡动目标合成孔径成像的质量，且自动性能好。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明相机阵列动态焦平面估计方法具体步骤如下：

假定有viewnum个相机，本实施例选取viewnum＝8，并按水平方向排列顺序分别编号为1,2,…,8号相机，选定某个相机为参考相机，选定标准见步骤(4)②。

(1)单相机时间序列约束。

对1-8号相机中的每一个相机所拍摄的到的图像序列，利用KLT法计算序列中帧与帧之间的光流特征点并做匹配。设

表示第i个相机t帧到t-1帧的单应，

和

分别表示第t-1帧和第t帧对应的特征点，则单相机时间序列约束表述如下式：

$E_l\left(H_{t(t-1)}\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|w_{t-1}^i(x_{t-1}^i-H_{t(t-1)}^i{x}_t^i)\left|\right|}_2---\left(1\right)$

其中

的大小表示对应点可见的程度，即可视度。权值更新方法见步骤(2)。

(2)多视角空间约束。

设

表示第i个相机与参考相机r之间的单应矩阵，

和

分别表示参考相机r与第i个相机之间匹配的特征点。则多视角空间约束表述如下式：

$E_s\left(H_t^r\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|x_t^r-H_t^{\mathrm{ir}}{x}_t^i\left|\right|}_2---\left(2\right)$

(3)全局闭环约束。

设

和

分别表示参考相机r和第i个相机第t-1帧到第一帧的单应映射矩阵。根据公式(3)所表述的全局闭环约束计算各相机间的闭环约束。

$E_g(H_{t(t-1)};H_t^r)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\left(H_{t-1}^r\right)}^{-1}{H}_{t-1}^i{H}_{t(t-1)}^i-H_{t(t-1)}^r{H}_t^{\mathrm{ir}}\left|\right|}_2---\left(3\right)$

(4)全局代价函数最小化。

定义全局代价函数为

$E_t(H_{t(t-1)};H_t^r)=E_l\left(H_{t(t-1)}\right)+E_s\left(H_t^r\right)+E_g(H_{t(t-1)};H_t^r)---\left(4\right)$

使用如下的交换最小二乘算法对代价函数进行最小化从而求得各单应投影矩阵。

①通过最小化E_l(H_t(t-1))获得H_t(t-1)的初值H_t(t-1) ⁽⁰⁾；

②选取当前具有最多匹配点的相机作为参考相机，通过最小化

获得

的初值

③通过最小化

计算

的初值；

④计算

${H_{t(t-1)}}^{(k+1)}=\underset{H_{t(t-1)}}{\arg \min }{E}_l\left(H_{t(t-1)}\right)+E_g(H_{t(t-1)};H_t^{r\left(k\right)})$

$H_t^{r(k+1)}=\underset{H_t^r}{\arg \min }{E}_s\left(H_t^r\right)+E_g({H_{t(t-1)}}^{(k+1)};H_t^r)$

${H_{t(t-1)}^r}^{(k+1)}=\underset{H_{t(t-1)}^r}{\arg \min }{E}_g({H_{t(t-1)}}^{(k+1)};H_t^{r(k+1)})$

⑤迭代计算步骤④K次，K为控制迭代次数的参数，本实施例中选取K为5。

(5)光流矢量幅值层次聚类。

对任两个相机所拍摄的图像利用KLT方法进行两幅图像的光流计算，场景中任一体素对应了

个光流矢量，首先根据光流矢量的幅值进行层次聚类，层次聚类的终止阈值为5像素，所得聚类结果为G_si(i＝1,2,…,M)，M为光流矢量聚类类别个数。

(6)色彩聚类。

对每个G_si中所含的各相机所拍摄的像素进行色彩空间上的聚类，色彩相似度量利用RGB空间上的矢量角度，聚类方法采取K均值方法。

①初始聚类中心选择：遍历选择G_si类中的每一个相机作为聚类中心，计算聚类方差，选择方差最小的一组作为初始聚类中心；

②类别数确定：首先将类别数设为1，然后提高类别数至最大元素个数，使用步骤①并计算聚类方差，选择总方差最小的一组为聚类类别个数。

所得聚类结果为G_cj(i＝1,2,…,L)，L为色彩聚类类别个数。

(7)更新可视度。

将G_cj中与上一帧合成图像中颜色最相近的一类中的各相机像素点的可视度

定义为1，其他类定义为0。色彩相似度量利用RGB空间上的矢量角度。当合成图像为序列第一帧时，选取具有最大元素个数的G_cj作为可视集合。

(8)合成孔径成像计算。

设

为利用单应矩阵投影的过的第i个相机在第t帧所拍摄的图像，

为

中满足

的子图，第t帧合成孔径成像上像素p通过下式进行计算

$I_t^{\mathrm{syn}}\left(p\right)=\left\{\begin{array}{cc}\frac{1}{\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{w}_t^i}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{O}_t^i\left(p\right){\mathrm{\ω}}_t^i\left(p\right)& p\∈O_t^i\\ \frac{1}{n}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{I}_t^i\left(p\right)& \mathrm{otherwise}\end{array}\right.---\left(5\right).$

Claims (1)

1.一种相机阵列动态焦平面估计方法，其特征在于包括以下步骤：

步骤一、对viewnum个相机中的每一个相机所拍摄的图像序列，利用KLT法计算序列中帧与帧之间的光流特征点并做匹配，设

表示第i个相机t帧到t-1帧的单应，

和

分别表示第t-1帧和第t帧对应的特征点，根据公式(1)所表述的单相机时间序列约束计算各相机相邻帧间的代价

其中权值

的大小表示对应点可见的程度，权值更新方法见步骤五；

$E_l\left(H_{t(t-1)}\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|w_{t-1}^i(x_{t-1}^i-H_{t(t-1)}^i{x}_t^i)\left|\right|}_2---\left(1\right)$

步骤二、选定viewnum个相机中一个相机作为参考相机，设为r，设

表示第i个相机与参考相机r之间的单应矩阵，

和分别表示参考相机r与第i个相机之间匹配的特征点；根据公式(2)所表述的多视角空间约束计算各相机与参考相机之间的空间约束

$E_s\left(H_t^r\right)=\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{\left|\right|x_t^r-H_t^{\mathrm{ir}}{x}_t^i\left|\right|}_2---\left(2\right)$

步骤三、设

和

分别表示参考相机r和第i个相机第t-1帧到第一帧的单应映射矩阵；根据公式(3)所表述的全局闭环约束计算各相机间的闭环约束；

$E_g(H_{t(t-1)};H_t^r)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|{\left(H_{t-1}^r\right)}^{-1}{H}_{t-1}^i{H}_{t(t-1)}^i-H_{t(t-1)}^r{H}_t^{\mathrm{ir}}\left|\right|}_2---\left(3\right)$

步骤四、定义全局代价函数为

$E_t(H_{t(t-1)};H_t^r)=E_l\left(H_{t(t-1)}\right)+E_s\left(H_t^r\right)+E_g(H_{t(t-1)};H_t^r)---\left(4\right)$ 利用最小化式E_l(H_t(t-1))和分别分别获得H_t(t-1)和

的初值，进而通过交换最小二乘算法最小化目标函数

步骤五、对第t帧中viewnum个相机所拍摄图像进行可视度分析；对任两个相机所拍摄的图像利用KLT方法进行两幅图像的光流计算，场景中任一体素对应了

个光流矢量，首先根据光流矢量的幅值进行层次聚类，所得聚类结果为G_si(i＝1,2,…,M)；其次，对每个G_si中所含的各相机所拍摄的像素，利用K-均值方法进行色彩空间上的聚类，所得聚类结果为G_cj(i＝1,2,…,L)，将G_cj中与上一帧合成图像中颜色最相近的一类中的各相机像素点的可视度

定义为1，其他类定义为0；

步骤六、设

为利用单应矩阵

投影的过的第i个相机在第t帧所拍摄的图像，

为

中满足

的子图，第t帧合成孔径成像上像素p通过公式(5)进行计算

$I_t^{\mathrm{syn}}\left(p\right)=\left\{\begin{array}{cc}\frac{1}{\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{w}_t^i}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{O}_t^i\left(p\right){\mathrm{\ω}}_t^i\left(p\right)& p\∈O_t^i\\ \frac{1}{n}\underset{i=1}{\overset{\mathrm{viewnum}}{\mathrm{\Σ}}}{I}_t^i\left(p\right)& \mathrm{otherwise}\end{array}\right.---\left(5\right).$