CN105741318A - 基于自动目标提取的全聚焦合成孔径成像方法 - Google Patents

Abstract

本发明公开了一种基于自动目标提取的全聚焦合成孔径成像方法，用于解决现有全聚焦合成孔径成像方法成像精度差的技术问题。技术方案是将全聚焦合成孔径成像，看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦区域和聚焦目标的估计，利用目标提取方法最终将目标和估计的非聚焦区域自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，解决利用迭代计算可视像素点错误易于传递而导致精度差的技术问题。本发明充分利用多视角信息，将全聚焦合成孔径成像看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦和聚焦目标的估计，利用目标提取技术最终将目标和背景自然镶嵌，实现了无散焦模糊的全聚焦合成孔径成像，成像精度高。

Description

基于自动目标提取的全聚焦合成孔径成像方法

技术领域

本发明涉及一种全聚焦合成孔径成像方法，特别是涉及一种基于自动目标提取的全聚焦合成孔径成像方法。

背景技术

文献“,All-in-focusSyntheticApertureImaging，ECCV，p1–15，2014”公开了一种全聚焦合成孔径成像方法，用于解决合成孔径成像时因聚焦于某一焦平面，导致非焦平面上物体散焦模糊的问题。该方法基于逐层可视像素标记思想，首先选定某一个相机视角作为参考视角，通过计算各视角对应像素点最大色彩区分度，从而标记当前层无遮挡可视像素，进而用于下一层可视像素的迭代运算。经过逐层反复迭代运算，进而获得整幅图像像素均清晰可视的全聚焦合成孔径图像。当某一像素不同深度各视角色彩相似时，将会影响对该像素可视性的判断，并通过迭代传播，影响各层像素可视性判断的正确性，从而降低最终成像精度。

发明内容

为了克服现有全聚焦合成孔径成像方法成像精度差的不足，本发明提供一种基于自动目标提取的全聚焦合成孔径成像方法。该方法利用多视角信息，将摒弃迭代和最大像素色彩差异用于可视像素计算。将全聚焦合成孔径成像，看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦区域和聚焦目标的估计，利用目标提取方法最终将目标和估计的非聚焦区域自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，解决利用迭代计算可视像素点错误易于传递而导致精度差的技术问题。本发明充分利用多视角信息，将全聚焦合成孔径成像看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦和聚焦目标的估计，利用目标提取技术最终将目标和背景自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，成像精度高。

本发明解决其技术问题所采用的技术方案是：一种基于自动目标提取的全聚焦合成孔径成像方法，其特点是包括以下步骤：

步骤一、利用相机阵列从不同视角同时捕获的信息对非聚焦区域进行重建。通过图像片段从不同视角选取像素值。将非聚焦区域估计问题等价于最优标记问题并通过能量最小化计算，其中标记表示用以重建非聚焦区域的像素的相机序号。

W₁，...W_k，...W_N表示N个相机视角采集的图像，M表示某相机视角采集图像中的像素集，m表示第k个相机采集图像中的像素，m∈M，W_k(m)为其像素值。F＝{f_m}_m∈M表示输出像素标记的集合，表示集合中像素所在图像的相机序号。估计的非聚焦区域由各相机采集图像的像素得到，其中为最小代价标记。

定义标记F的能量函数E(F)，包括数据项和平滑项。

式中，表示临近像素对的集合。D_m(f_m)为像素m分配标记f_m的代价，V_mn(f_m，f_n)为临近像素对(m，n)分配标记f_m，f_n的代价。

计算单像素标记代价D_m(f_m)

$D_m\left(f_m\right)=D_m^S\left(f_m\right)+{\mathrm{\βD}}_m^C\left(f_m\right),---\left(2\right)$

式中，表示色彩稳定项，表示运动边界的连续项。色彩稳定项代价的计算基于与第f_m帧临近各帧中的像素m的像素值W_f(m)。令表示从f₁帧到f₂帧中像素值I_f(m)的平均值，计算

式中，r表示被认为可用于计算色彩稳定项的第f_m帧前后的帧数。

假设第f_m帧为背景图像，其他帧为f。设第f_m帧与第f帧的图像差为当与I_f从匹配度由高变为低时，其梯度较大，因此在第f帧的该区域中背景去除算法需添加一个运动边界。连续项的计算需要该区域的边缘强度。采用较大的运动梯度与较小的强度梯度计算该区域的惩罚，计算

$D_m^C\left(f_m\right)=\frac{1}{N}{\mathrm{\Σ}}_{f=1}^N{\mathrm{\Ω}}_{f_{m}f}\left(m\right),---\left(3\right)$

其中

${\mathrm{\Ω}}_{f_{m}f}\left(m\right)=\frac{{\left|\▿T_{f_{m}f}\left(m\right)\right|}_2^2}{{\left|\▿W_f\left(m\right)\right|}_2^2+{\mathrm{\ϵ}}^2}.---\left(4\right)$

当且仅当第f_m帧的像素m在第f帧中应用运动边界，且第f帧中没有强度边缘时，第f帧的连续项代价较大，ε²为一常数，保证当不存在运动梯度与强度梯度时结果不为0。

应用公式(5)计算对称代价V_mn(f_m，f_n)

$V_{mn}\left(f_m,f_n\right)=\mathrm{\λ}\[\frac{{\left|W_{f_m}\left(m\right)-W_{f_n}\left(m\right)\right|}_2^2+{\left|W_{f_m}\left(n\right)-W_{f_n}\left(n\right)\right|}_2^2}{2\×\left(\#ofcolorplanes\right)}\].---\left(5\right)$

当f_m与f_n匹配良好时，该项包含两幅帧中均可见的背景区域，理想状态为从一帧复制到另一帧。当f_m≠f_n时，若使用连续代价，则需一个复制转换的惩罚。

在包含运动物体的区域，V_mn(f_m，f_n)将较大，反之，若物体暂时静止，则V_mn(f_m，f_n)与均较小。依据连续项代价来避免物体被分割移除。常量β，λ用以改变运动边界的稳定项和连续项以及无缝分割的权重。通过初始化所有标记以及迭代计算，最终得到能量函数E(F)的最小值，并得到对应标记F。

采用上述估计模型，获得一个清晰的非聚焦区域

步骤二、采用基于二值像素标记的合成孔径成像方法，在聚焦到期望平面的结果图像中，每个像素通过从不同视角获取的对应且不受遮挡的像素的平均值求得。假设选取一个连续的平面集，这些平面平行于相机平面，深度在被遮挡目标的深度范围之内。设P_η为平行于相机平面，深度为η的焦平面。

能量函数E(f)包含数据项和平滑项，

E(f)＝E_d+8E_S，(6)

式中，f为标记，能够为每个像素W_k(m)分配一个标记L为0或1，W表示某图像，k表示相机序号，m表示任意像素点。

在一个像素集中，通过计算聚焦深度为η的平面中位于m处对应像素的强度方差得到每个像素的代价，数据项E_d是这些像素代价的加和

$E_d={\mathrm{\Σ}}_{m\∈f}{D}_{F_{\mathrm{\η}}}{D}_{F_{\mathrm{\η}}\left(m\right)}\left(f_{F_{\mathrm{\η}}\left(m\right)}\right),---\left(7\right)$

其中

以及

${\mathrm{minvar}}_{\mathrm{\η}}={\mathrm{argmin}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\left(m\right)\right),---\left(10\right)$

${\mathrm{maxvar}}_{\mathrm{\η}}={\mathrm{argmax}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\left(m\right)\right).---\left(11\right)$

式中，S为合成孔径成像图像。

依据参考图像W_rη中相邻像素的色彩相似性，平滑项E_S基于标准的4邻居***Q得到，

$E_S={\mathrm{\Σ}}_{\{S_{\mathrm{\η}}\left(m\right),S_{\mathrm{\η}}\left(n\right)\}\∈Q}{V}_{S_{\mathrm{\η}}\left(m\right)S_{\mathrm{\η}}n}(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}),---\left(12\right)$

$V_{S_{\mathrm{\η}}\left(m\right),S_{\mathrm{\η}}\left(n\right)}\left(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}\right)=\frac{\left|S_{\mathrm{\η}}\left(m\right)-S_{\mathrm{\η}}\left(n\right)\right|}{255}\×\left|xor\left(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}\right)-0.1\right|.---\left(13\right)$

式中，Q为一标准的4邻居***，S_η(m)，S_η(n)为合成孔径成像图像中相邻的两像素点。

若一个像素m属于遮挡物，因遮挡物不在焦平面上，m将出现在变换后图像中的不同位置，因此，用于计算合成图像的像素集的方差将会较大。相反，若m属于被遮挡物体，因该物***于焦平面上，像素集的方差将会较小。对于平滑项，若相邻像素的色彩相似，则这些像素更有可能属于同一物体。若公式(12)给出一个较小的惩罚结果，则表示它们可能属于遮挡物，反之，结果将较大。

步骤三、利用步骤二的标记结果，每个相机的视角被分为受到遮挡或不受遮挡。当这些图像通过计算平均值进行融合时，只有被标记为不受遮挡的像素被使用。公式(14)的计算除去了来自遮挡物像素的影响，因此，被标记的合成图像将更清晰。

在结果图像中可观察到若干黑色区域，因为在这些区域缺少色彩相似性。为解决该问题，使用估计的背景来填补在合成孔径成像中被标记为黑色的区域。

步骤四、由上述方法计算出之后，使用公式(15)计算模糊系数α。

式中，为待观察的输入图像。A表示的前景，B表示其背景。α_m是像素m的透视系数。应用色彩线性模型，得到 且有

式中，w表示一个尺寸为3×3的窗口，c表示RGB色彩空间的通道。

色彩线性模型通过一个最小化代价函数得到一个关于α，a和b的闭合式解决方案

式中，w_m为一个中心位于像素m的窗口，i为窗口内任意像素，a^c和b可从代价函数中排除，在α中产生一个未知的二次代价。

步骤五、根据透视系数α_m，应用公式(18)计算得到全聚焦合成孔径成像结果。

式中，表示像素m处最终的全聚焦合成孔径成像结果，表示像素m处的被遮挡目标，表示像素m处的非聚焦估计区域。

本发明的有益效果是：该方法利用多视角信息，将摒弃迭代和最大像素色彩差异用于可视像素计算。将全聚焦合成孔径成像，看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦区域和聚焦目标的估计，利用目标提取方法最终将目标和估计的非聚焦区域自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，解决利用迭代计算可视像素点错误易于传递而导致精度差的技术问题。本发明充分利用多视角信息，将全聚焦合成孔径成像看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦和聚焦目标的估计，利用目标提取技术最终将目标和背景自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，成像精度高。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于自动目标提取的全聚焦合成孔径成像方法具体步骤如下：

1、非聚焦区域估计。

利用相机阵列从不同视角同时捕获的信息对非聚焦区域进行重建，方法是通过图像片段从不同视角选取适当的像素值。将非聚焦区域估计问题等价于最优标记问题并通过能量最小化计算，其中标记表示用以重建非聚焦区域的像素的相机序号。

W₁，...W_k，...W_N表示N个相机视角采集的图像，M表示某相机视角采集图像中的像素集，m表示第k个相机采集图像中的像素，k为相机序号，m∈M，W_k(m)为其像素值。F＝{f_m}_m∈M表示输出像素标记的集合，表示集合中像素所在图像的相机序号。估计的非聚焦区域由各相机采集图像的像素得到，其中为最小代价标记。

标记F的能量函数E(F)定义如公式(1)所示，包括数据项和平滑项。

式中，表示临近像素对的集合。D_m(f_m)为像素m分配标记f_m的代价，V_mn(f_m，f_n)为临近像素对(m，n)分配标记f_m，f_n的代价。

应用公式(2)计算单像素标记代价D_m(f_m)

$D_m\left(f_m\right)=D_m^S\left(f_m\right)+{\mathrm{\βD}}_m^C\left(f_m\right),---\left(2\right)$

式中，表示色彩稳定项，表示运动边界的连续项。色彩稳定项代价的计算基于与第f_m帧临近各帧中的像素m的像素值W_f(m)。表示从f₁帧到f₂帧中像素值I_f(m)的平均值，应用公式(3)计算

$D_m^S\left(f_m\right)=\min \left\{{\mathrm{Var}}_{f_{m-r}\mathrm{..}{f}_m}\left(m\right),{\mathrm{Var}}_{f_m\mathrm{..}{f}_{m+r}}\left(m\right)\right\}.---\left(3\right)$

式中，r表示被认为可用于计算色彩稳定项的f_m帧前后的帧数。

假设第f_m帧为背景图像，其他帧为f。设第f_m帧与第f帧的图像差为当与I_f从匹配度由高变为低时，其梯度将较大，因此在第f帧的该区域中背景去除算法需添加一个运动边界。连续项的计算需要该区域的边缘强度。采用较大的运动梯度与较小的强度梯度计算该区域的惩罚，应用公式(3)计算

$D_m^C\left(f_m\right)=\frac{1}{N}{\mathrm{\Σ}}_{f=1}^N{\mathrm{\Ω}}_{f_{m}f}\left(m\right).---\left(3\right)$

其中

${\mathrm{\Ω}}_{f_{m}f}\left(m\right)=\frac{\left|\right|\▿T_{f_{m}f}\left(m\right)|{|}_2^2}{\left|\right|\▿W_f\left(m\right)|{|}_2^2+{\mathrm{\ϵ}}^2}.---\left(4\right)$

式中，为第f帧的连续项代价，当且仅当第f_m帧的像素m在第f帧中应用运动边界，且第f帧中没有强度边缘时，较大，ε²为一常数，保证当不存在运动梯度与强度梯度时结果不为0。

应用公式(5)计算对称代价V_mn(f_m，f_n)。

$V_{mn}\left(f_m,f_n\right)=\mathrm{\λ}\[\frac{{\left|W_{f_m}\left(m\right)-W_{f_n}\left(m\right)\right|}_2^2+{\left|W_{f_m}\left(n\right)-W_{f_n}\left(n\right)\right|}_2^2}{2\×\left(\#ofcolorplanes\right)}\].---\left(5\right)$

当f_m与f_n匹配良好时，该项包含两幅帧中均可见的背景区域，理想状态为从一帧复制到另一帧。当f_m≠f_n时，若使用连续代价，则需一个复制转换的惩罚。

在包含运动物体的区域，V_mn(f_m，f_n)将较大，反之，若物体暂时静止，则V_mn(f_m，f_n）与均较小。依据连续项代价来避免物体被分割移除。常量β，λ用以改变运动边界的稳定项和连续项以及无缝分割的权重。通过初始化所有标记以及迭代计算，最终得到能量函数E(F)的最小值，并得到对应标记F。

采用上述估计模型，可获得一个清晰的非聚焦区域

2、计算被遮挡目标标记。

被遮挡物体采用基于二值像素标记法的合成孔径成像方法进行成像，该方法将焦平面置于被遮挡物体上，能够透视遮挡。关键思路是寻找一个标记f，能够为每个像素W_k(m)，分配一个标记L为0或1，将能量函数E(f)最小化，用以指示该像素是否属于遮挡物。在聚焦到期望平面的结果图像中，每个像素通过从不同视角获取的对应且不受遮挡的像素的平均值求得。

假设选取一个连续的平面集，这些平面平行于相机平面，深度在被遮挡目标的深度范围之内。设P_η为平行于相机平面，深度为η的焦平面。

能量函数E(f)包含数据项和平滑项，

E(f)＝E_d+8E_S，(6)

在一个像素集中，通过计算聚焦深度为η的平面中位于m处对应像素的强度方差得到每个像素的代价，数据项是这些像素代价的加和，

其中

以及

${\mathrm{minvar}}_{\mathrm{\η}}={\mathrm{argmin}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\left(m\right)\right),---\left(10\right)$

${\mathrm{maxvar}}_{\mathrm{\η}}={\mathrm{argmax}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\left(m\right)\right).---\left(11\right)$

式中，S为合成孔径成像图像。

依据参考图像W_rη中相邻像素的色彩相似性，平滑项E_S可基于标准的4邻居***Q得到，

$E_S={\mathrm{\Σ}}_{\{S_{\mathrm{\η}}\left(m\right),S_{\mathrm{\η}}\left(n\right)\}\∈Q}{V}_{S_{\mathrm{\η}}\left(m\right)S_{\mathrm{\η}}n}(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}),---\left(12\right)$

$V_{S_{\mathrm{\η}}\left(m\right),S_{\mathrm{\η}}\left(n\right)}\left(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}\right)=\frac{\left|S_{\mathrm{\η}}\left(m\right)-S_{\mathrm{\η}}\left(n\right)\right|}{255}\×\left|xor\left(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)}\right)-0.1\right|.---\left(13\right)$

式中，Q为一标准的4邻居***，S_η(m)，S_η(n)为合成孔径成像图像中相邻的两像素点。

若一个像素m属于遮挡物，因遮挡物不在焦平面上，m将出现在变换后图像中的不同位置，因此，用于计算合成图像的像素集的方差将会较大。相反，若m属于被遮挡物体，因该物***于焦平面上，像素集的方差将会较小。对于平滑项，若相邻像素的色彩相似，则这些像素更有可能属于同一物体。若公式(12)给出一个较小的惩罚结果，则表示它们可能属于遮挡物，反之，结果将较大。

3、计算被遮挡目标。

基于标记结果，每个相机的视角被分为受到遮挡或不受遮挡。当这些图像通过计算平均值进行融合时，只有被标记为不受遮挡的像素被使用。公式(14)的计算除去了来自遮挡物像素的影响，因此，被标记的合成图像将更清晰。

在结果图像中可观察到若干黑色区域，因为在这些区域缺少色彩相似性。为解决该问题，使用估计的背景来填补在合成孔径成像中被标记为黑色的区域。

4、计算透视系数。

由上述方法计算出之后，需计算模糊系数α。为解决该问题，利用公共图像提取方法计算α。经典的图像提取公式使用中的每一个像素m，使用公式(15)进行计算

式中，为待观察的输入图像。A表示的前景，B表示其背景。α_m是像素m的透视系数。应用色彩线性模型，得到 且有

式中，w表示一个尺寸为3×3的窗口，c表示RGB色彩空间的通道。

色彩线性模型通过一个最小化代价函数可以得到一个关于α，a和b的闭合式解决方案

式中，w_m为一个中心位于像素m的窗口，i为窗口内任意像素，a^c和b可从代价函数中排除，在α中产生一个未知的二次代价。

自动计算得到的三元图可用来标记前景区域、背景区域和不确定区域，而不需要用户提供三元图或标记。首先聚焦到被遮挡物体的深度，然后使用标记方法标记聚焦区域。因只有被遮挡的区域M是感兴趣的，不受遮挡的像素将被去除，然而由于色彩相似性，被遮挡区域附近的像素也将被标记为被遮挡。从估计得到的非聚焦区域去除合成孔径结果成像后得到一个区域，表示为Z对于M和Z之间的重合区域，通过阈值与形态学的方法，最终的标记结果即为隐藏物体的区域，例如，α＝1。隐藏物体之外经过扩大的区域即为确定的背景，α＝0。

5、全聚焦合成孔径成像。

根据透视系数α_m，应用公式(18)可计算得到全聚焦合成孔径成像结果。

式中，表示像素m处最终的全聚焦合成孔径成像结果，表示像素m处的被遮挡目标，表示像素m处的非聚焦估计区域。

通过上述模型，可获得一个非聚焦区域清晰的全聚焦合成孔径成像。

Claims (1)

1.一种基于自动目标提取的全聚焦合成孔径成像方法，其特征在于包括以下步骤：

步骤一、利用相机阵列从不同视角同时捕获的信息对非聚焦区域进行重建；通过图像片段从不同视角选取像素值；将非聚焦区域估计问题等价于最优标记问题并通过能量最小化计算，其中标记表示用以重建非聚焦区域的像素的相机序号；

W₁，...W_k，...W_N表示N个相机视角采集的图像，M表示某相机视角采集图像中的像素集，m表示第k个相机采集图像中的像素，m∈M，W_k(m)为其像素值；F＝{f_m}_m∈M表示输出像素标记的集合，表示集合中像素所在图像的相机序号；估计的非聚焦区域由各相机采集图像的像素得到，其中为最小代价标记；

定义标记F的能量函数E(F),包括数据项和平滑项；

式中，表示临近像素对的集合；D_m(f_m)为像素m分配标记f_m的代价，V_mn(f_m，f_n)为临近像素对(m，n)分配标记f_m，f_n的代价；

计算单像素标记代价D_m(f_m)

$D_m\left(f_m\right)=D_m^S\left(f_m\right)+{\mathrm{\βD}}_m^C\left(f_m\right),---\left(2\right)$

式中，表示色彩稳定项，表示运动边界的连续项；色彩稳定项代价的计算基于与第f_m帧临近各帧中的像素m的像素值W_f(m)；令表示从f₁帧到f₂帧中像素值I_f(m)的平均值，计算

$D_m^S\left(f_m\right)=\min \{{\mathrm{Var}}_{f_{m-r}\mathrm{..}{f}_m}\left(m\right),{\mathrm{Var}}_{f_m\mathrm{..}{f}_{m+r}}\left(m\right)\}.---\left(3\right)$

式中，r表示被认为可用于计算色彩稳定项的第f_m帧前后的帧数；

假设第f_m帧为背景图像，其他帧为f；设第f_m帧与第f帧的图像差为当与I_f从匹配度由高变为低时，其梯度较大，因此在第f帧的该区域中背景去除算法需添加一个运动边界；连续项的计算需要该区域的边缘强度；采用较大的运动梯度与较小的强度梯度计算该区域的惩罚，计算

$D_m^C\left(f_m\right)=\frac{1}{N}{\mathrm{\Σ}}_{f=1}^N{\mathrm{\Ω}}_{f_{m}f}\left(m\right),---\left(3\right)$

其中

${\mathrm{\Ω}}_{f_{m}f}\left(m\right)=\frac{\left|\right|\▿T_{f_{m}f}\left(m\right)|{|}_2^2}{\left|\right|\▿W_f\left(m\right)|{|}_2^2+{\mathrm{\ϵ}}^2}.---\left(4\right)$

当且仅当第f_m帧的像素m在第f帧中应用运动边界，且第f帧中没有强度边缘时，第f帧的连续项代价较大，ε²为一常数，保证当不存在运动梯度与强度梯度时结果不为0；

应用公式(5)计算对称代价V_mn(f_m，f_n)

$V_{mn}(f_m,f_n)=\mathrm{\λ}\[\frac{{|W_{f_m}\left(m\right)-W_{f_n}\left(m\right)|}_2^2+{|W_{f_m}\left(n\right)-W_{f_n}\left(n\right)|}_2^2}{2\×(\#ofcolorplanes)}\].---\left(5\right)$

当f_m与f_n匹配良好时，该项包含两幅帧中均可见的背景区域，理想状态为从一帧复制到另一帧；当f_m≠f_n时，若使用连续代价，则需一个复制转换的惩罚；

在包含运动物体的区域，V_mn(f_m，f_n)将较大，反之，若物体暂时静止，则V_mn(f_m，f_n)与均较小；依据连续项代价来避免物体被分割移除；常量β，λ用以改变运动边界的稳定项和连续项以及无缝分割的权重；通过初始化所有标记以及迭代计算，最终得到能量函数E(F)的最小值，并得到对应标记F；

采用上述估计模型，获得一个清晰的非聚焦区域

步骤二、采用基于二值像素标记的合成孔径成像方法，在聚焦到期望平面的结果图像中，每个像素通过从不同视角获取的对应且不受遮挡的像素的平均值求得；假设选取一个连续的平面集，这些平面平行于相机平面，深度在被遮挡目标的深度范围之内；设P_η为平行于相机平面，深度为η的焦平面；

能量函数E(f)包含数据项和平滑项，

E(f)＝E_d+8E_s，(6)

式中，f为标记，能够为每个像素W_k(m)分配一个标记L为0或1，W表示某图像，k表示相机序号，m表示任意像素点；

在一个像素集中，通过计算聚焦深度为η的平面中位于m处对应像素的强度方差得到每个像素的代价，数据项E_d是这些像素代价的加和

其中

以及

${\mathrm{minvar}}_{\mathrm{\η}}={\mathrm{argmin}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\right(m\left)\right),---\left(10\right)$

${\mathrm{maxvar}}_{\mathrm{\η}}={\mathrm{argmax}}_{m\∈S}\left({\mathrm{var}}_{\mathrm{\η}}\right(m\left)\right).---\left(11\right)$

式中，S为合成孔径成像图像；

依据参考图像W_rη中相邻像素的色彩相似性，平滑项E_s基于标准的4邻居***得到，

$V_{S_{\mathrm{\η}}\left(m\right),S_{\mathrm{\η}}\left(n\right)}(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)})=\frac{|S_{\mathrm{\η}}\left(m\right)-S_{\mathrm{\η}}\left(n\right)|}{255}\×|xor(f_{S_{\mathrm{\η}}\left(m\right)},f_{S_{\mathrm{\η}}\left(n\right)})-0.1|.---\left(13\right)$

式中，为一标准的4邻居***，S_η(m),S_η(n)为合成孔径成像图像中相邻的两像素点；

若一个像素m属于遮挡物，因遮挡物不在焦平面上，m将出现在变换后图像中的不同位置，因此，用于计算合成图像的像素集的方差将会较大；相反，若m属于被遮挡物体，因该物***于焦平面上，像素集的方差将会较小；对于平滑项，若相邻像素的色彩相似，则这些像素更有可能属于同一物体；若公式(12)给出一个较小的惩罚结果，则表示它们可能属于遮挡物，反之，结果将较大；

步骤三、利用步骤二的标记结果，每个相机的视角被分为受到遮挡或不受遮挡；当这些图像通过计算平均值进行融合时，只有被标记为不受遮挡的像素被使用；公式(14)的计算除去了来自遮挡物像素的影响，因此，被标记的合成图像将更清晰；

在结果图像中可观察到若干黑色区域，因为在这些区域缺少色彩相似性；为解决该问题，使用估计的背景来填补在合成孔径成像中被标记为黑色的区域；

步骤四、由上述方法计算出之后，使用公式(15)计算模糊系数α；

式中，为待观察的输入图像；A表示的前景，B表示其背景；α_m是像素m的透视系数；应用色彩线性模型，得到且有

式中，w表示一个尺寸为3×3的窗口，c表示RGB色彩空间的通道；

色彩线性模型通过一个最小化代价函数得到一个关于α，a和b的闭合式解决方案

式中，w_m为一个中心位于像素m的窗口，i为窗口内任意像素，a^c和b可从代价函数中排除，在α中产生一个未知的二次代价；

步骤五、根据透视系数α_m，应用公式(18)计算得到全聚焦合成孔径成像结果；

式中，表示像素m处最终的全聚焦合成孔径成像结果，表示像素m处的被遮挡目标，表示像素m处的非聚焦估计区域。