CN106056629A - 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 - Google Patents

Abstract

本发明提供一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，本发明的重要思想是对运动区域在边缘的约束下进行扩展来增强运动区域检测的结果；本发明使用一种基于马尔可夫随机场框架的方法来检测运动区域，并使用一种基于图像分割的方法对运动区域进行扩展；根据扩展后的运动区域的掩膜图像调整各像素的权重，并将各像素权重应用到最终的曝光融合中，可以有效地解决在高动态范围成像中出现的鬼影问题。

Description

通过运动物体检测和扩展去除鬼影的高动态范围成像方法

技术领域

本发明属于图像处理技术领域，尤其是高动态范围成像(HDRI，High DynamicRange Imaging)领域，是一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法。

背景技术

实际场景的动态范围比大多数的传感器和显示设备可以支持的动态范围更广泛。为了使显示的图像更贴近现实，人们提出了高动态成像(HDRI，High Dynamic RangeImaging)技术，通过将多张不同曝光度的图像进行合成来克服传感器和显示设备的限制。这种合成技术主要分为两种：一种是先生成高动态范围(HDR，High Dynamic Range)图像，然后通过色调映射(Tone Mapping)得到一张低动态范围(LDR，Low-Dynamic Range)图像，另一种是直接将多张不同曝光度的图像合成出LDR图像。本发明属于后者。

多曝光图像合成的一个主要问题是由于场景中物体运动而产生的鬼影，这也是目前多曝光图像融合算法需要关注的主要问题。一个普遍的想法是先检测运动区域，然后在图像合成时将运动区域排除在外，或者分配很小的权重。Li、Gallo、Huang分别使用IMF(强度映射函数Intensity Mapping Function)、RANSAC(随机抽样一致性算法RANdom SampleConsensus)、块匹配(Block Matching)来寻找运动区域。最近，Zhou提出了一种假设背景图像是一个低秩矩阵并计算最优解的方法来检测运动区域，Lee将这种低秩检测方法引入到了高动态范围图像合成中。这些算法尝试先检测运动区域，然后在合成时调整运动区域的权重。然而，准确地检测运动区域是非常困难的，图像中曝光不足或者曝光过度的部分都会对检测结果造成影响。此外，即使运动区域被检测和标记，鬼影仍然会存在于最终的图像中，一个主要的问题就是如果在曝光融合时将运动区域排除在外，那么运动区域边缘两侧的像素在合成时将会有不同的输入值，这会导致合成出的图像会出现与运动区域形状相同的鬼影。由于这些因素，现有的很多算法不能很好地去除鬼影。

发明内容

本发明要解决的问题是：在高动态范围成像中，如果直接使用多曝光融合，那么可能会因为场景中有物体运动而出现“鬼影”现象。而使用现有的鬼影去除算法，最终生成的图像中仍然可能存在鬼影现象。本发明提供一种通过运动物体检测和扩展去除鬼影的高动态范围 成像方法，可以有效地解决在高动态范围成像中出现的鬼影问题。

本发明的技术方案为：本发明一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，包括以下步骤：

(1)运动区域检测：将一组不同曝光度的图像按曝光时间升序排列，计算相机响应函数，并选取一张能够全部参与最终合成的图像作为参考图像，则运动区域的检测就是要找出其他图像中与参考图像不同的区域；

根据相机响应函数将参考图像的曝光度调整为其他图像的曝光度，然后计算其他图像与调整后的参考图像对应的像素点的差值，差值越大则像素点属于运动区域的可能性越大；

建立一个基于马尔可夫随机场的能量函数，将运动区域检测这个标记问题转换为能量最小化问题，并使用图割解决能量最小化问题；得到一个掩膜图像，背景区域被标记为0，运动区域被标记为1；

(2)运动区域扩展：扩展算法需要两个标记区域，一个是hard object，一个是hardbackground，分别记作H_O和H_B区域，这两个区域分别表示必定是物体的区域即运动区域和必定是背景的区域即非运动区域；H_O使用步骤(1)检测到的运动区域代替，H_B使用一种基于图像分割的方法得到；

扩展算法就是将H_O和H_B两个区域扩展，将这两个区域周围像素值与区域内像素值相近的像素扩展进该区域内；扩展算法也是将区域扩展这个标记问题转换为能量最小化问题进行求解；得到扩展后的运动区域的掩膜图像，并由此计算出各个像素的权重；

(3)曝光融合：使用步骤2)中得到的各个像素的权重，进行曝光融合来合成多张不同曝光度的图像，最终得到无鬼影的高动态范围图像。

进一步的，步骤(1)所述根据相机响应函数将参考图像的曝光度调整为其他图像的曝光度，然后计算其他图像与调整后的参考图像对应的像素点的差值，具体如下：

首先将调整后的参考图像划分为low、well、high三个部分来分别对应图像中曝光不足、曝光良好、曝光过度的部分，(2)式展示了这三个部分的定义，ref表示选取的参考图像在图像序列中的索引；

其中：A(i,p)表示第i张图中p像素所属的区域曝光度情况,l表示low,w表示well,h表示high；

然后分别计算在low、well、high区域，其他图像与调整后的参考图像的差值，(3)(4)(5)(6)式展示了差值的计算方法；差值表示图像与调整过的参考图像对应像素之间的差异，也代表了像素属于运动区域的可能性；

D_w(i，p)＝|R(i，p)-I(i，p)| (5)

其中：D(i,p)表示第i张图中p像素与参考帧之间的距离值,D_l(i,p)表示当第i张图中p像素曝光不足时与参考帧之间的距离值,D_w(i,p)表示当第i张图中p像素曝光适当时与参考帧之间的距离值,D_h(i,p)表示当第i张图中p像素曝光过度时与参考帧之间的距离值,I(i,p)表示第i张图像的像素p，R(i,p)表示参考帧被调整为曝光时间T(i)后p像素值。

进一步的，步骤(1)所述建立一个基于马尔可夫随机场的能量函数，将运动区域检测这个标记问题转换为能量最小化问题，并使用图割解决能量最小化问题；得到一个掩膜图像，背景区域被标记为0，运动区域被标记为1；具体步骤如下：

如(7)式展示了步骤(1)所述能量函数的定义，能量函数分为data cost和smoothcost两个部分，data cost表示某个点被归为某个标记时的代价，smooth cost表示某个点与周围点之间标记关系产生的代价；N表示所有相邻像素点的集合，L(p)、L(q)分别表示像素点p和q的标记，标记值为0或1，0代表背景，1代表运动区域；

如(8)式展示了能量函数的smooth cost；

如(9)(10)(11)(12)式展示了步骤(1)所述能量函数的data cost；其中，th是一个阈值参数，σ_l、σ_w、σ_h分别代表第i张图像中low、well、high三个部分的差值的标准差，β是一个能够被调整的参数；

E_D，W＝

L(i，p)G(D(i，p)，βσ_w)(2γ)

+(1-L(i，p))(1-G(D(i，p)，βσ_w))(|D(i，p)-βσ_w|)

(11)

如(13)式展示了函数G的定义：

将能量函数应用在每一张图像上，并使用图割算法求解；使用M表示得到的掩膜图像，M中的每个像素点都被标记为0或者1。

进一步的，步骤(2)所述运动区域扩展，具体步骤如下：

H_O和H_B的计算如(14)式所示：

H_O＝M

H_B＝erode(H′_B)

其中：M表示步骤(1)得到的掩膜图像，B表示被标记为运动区域的像素位置集合，M(p)表示掩膜图像像素p的值，R_s(p)表示R图像经过平滑滤波和分割的图像p像素值，B^C表示B集合的补集,H'_B(p)表示静止区域掩膜图像p像素值，H_B表示经过腐蚀操作的掩膜图像，erode是用于去噪的腐蚀函数；

如(15)式展示了步骤(2)所述能量函数，使用了权重函数W’(i,p,q)将边缘的影响引入到了能量函数中；N是所有相邻像素点的集合，K是一个大到能够保证被H_O或者H_B所标记的区域都会被标记为1或0的值；std(R_f(i))是第i个R_f的标准差，为了计算H_B，先将参考图像转化为灰度图像，然后使用coherence滤波器进行过滤，coherence滤波器将会平滑图像并且增强边缘，之后将处理的结果表示为R_f；当|R_f(i,p)-R_f(i,q)|<σ时，权重函数对亮度相似的像素点很不利，σ由λ控制，能够被看作是权重函数的一个阈值；

E′_D＝L(p)H_B(p)K+(1-L(p))H_O(p)K

通过求解这个能量最小化问题，能够获得一个掩膜图像序列，在掩膜图像中，扩展后的运动区域被标记为1；这些掩膜图像被用于最后的曝光融合中，记做M’。

进一步的，步骤(3)所述曝光融合中，采用如(16)式修改后的权重函数，在M’中被标记为1的像素权重为0，即扩展后的运动区域不参与合成：

其中：C表示对比度，S表示饱和度，S通过RGB通道值的标准差计算，E表示曝光度的好坏，像素值越接近0.5也就是中间值时认为像素的曝光度越好，本发明使用高斯函数来计算E，M’(i,p)表示第i张掩膜图像p像素值。

有益效果：本发明使用一种基于马尔可夫随机场(MRF，Markov Random Filed)框架的方法来检测运动区域，并使用一种基于图像分割的方法对运动区域进行扩展。根据扩展后的运动区域的掩膜图像调整各像素的权重，并将各像素权重应用到最终的曝光融合中，能够有效地去除鬼影。

附图说明

图1为本发明的具体流程。

图2为本发明中运动区域检测和扩展与传统运动区域检测的对比：

(a)中的黑色部分为传统方法得到的运动区域；

(b)中的黑色部分为本发明中检测并扩展的运动区域。

图3为本发明中运动区域检测和扩展的结果：

(a)为多张不同曝光度的图像，按曝光时间升序排列，选取中间图像为参考图像；

(b)为检测到的运动区域；

(c)为扩展后的运动区域的掩膜图像。

图4为本发明与其他现有技术的效果对比。

图4(a)一组多曝光图像；

图4(b)为Mertens算法的结果；

图4(c)为Gallo算法的结果；

图4(d)为Lee算法的结果；

图4(e)本发明的结果。

具体实施方式

下面结合附图对本发明做进一步的说明。

一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，本发明的重要思想是对运动区域在图像中边缘的约束下进行扩展来增强运动物体检测的结果。在说明书附图2中，图2(a)左图中圆的部分被标记为运动区域，右图没有运动区域，当两张图像合成时，左图圆的区域不会参与合成，而整个场景中长方形区域是一个整体，从肉眼来看，长方形区域内图像变化很小，而左图圆区域会使得这个区域与周边在合成操作上存在差异，而长方形区域的整体性会使得这个差异更加明显，易被察觉，也就造成了鬼影。本发明的想法就是对图2(a)左图中的标记进行扩展，获得图2(b)左图中的标记，这样在合成时就可以使得在同一区域内的合成可以做到具有相同的合成源，以去除鬼影。本发明使用一种基于马尔可夫随机场(MRF，Markov Random Filed)框架的方法来检测运动区域，并使用一种基于图像分割的方法对运动区域进行扩展。根据扩展后的运动区域的掩膜图像调整各像素的权重，并将各像素权重应用到最终的曝光融合中。

如图1所示，本发明通过检测和扩展运动区域，在多曝光融合时将扩展后的运动区域的 权重记为0来获得无鬼影的高动态范围图像。步骤如下：

(1)运动区域的检测

我们将一组不同曝光度的图像按曝光时间升序排列。I(i,p)表示第i张图像的像素p，T(i)表示第i张图像的曝光时间。

首先，使用Debevec的方法获得相机响应函数(CRF，Camera Response Function)，文献[1]详细描述了这种方法。(1)式展示了场景辐照度E(p)、曝光时间T(i)和图像像素值I(i,p)之间的关系，其中g是根据文献[1]中的方法计算出的映射函数。

g(I(i，p))＝lnE(p)+lnT(i) (1)

如图3(a)所示，我们选择图像序列中间的图像作为参考图像，参考图像会全部参与最终的合成，所以运动区域的检测就是要找出其他图像中与参考图像不同的区域，我们先将参考图像调整到其他各图像的曝光时间上来减少曝光度不同产生的影响。由于Debevec方法获得的CRF会在两段(也就是极暗或极亮)产生比较大的误差，我们将调整后的参考图像划分为low、well、high三个部分来分别对应图像中曝光不足、曝光良好、曝光过度的部分，在计算其他图像与参考图像的差异时将这三个部分分开讨论。(2)式展示了这三个部分的定义，ref表示选取的参考图像在图像序列中的索引。

其中：l表示low,w表示well,h表示high；

然后我们分别计算在low、well、high区域，其他图像与调整后的参考图像的差值，(3)(4)(5)(6)式展示了差值的计算方法。差值表示图像与调整过的参考图像对应像素之间的差异，也代表了像素属于运动区域的可能性。

D_w(i，p)＝|R(i，p)-I(j，p)| (5)

我们假定运动区域是连续的。我们使用一个基于马尔可夫随机场(MRF，MarkovRandom Filed)的能量函数将运动区域检测这个标记问题转化为能量最小化问题。(7)式展示了这个能量函数的定义，这个能量函数分为data cost和smooth cost两个部分，datacost表示某个点被归为某个标记时的代价，smooth cost表示某个点与周围点之间标记关系产生的代价。N表示所有相邻像素点的集合，L(p)、L(q)分别表示像素点p和q的标记，这个标记值为0(代表背景)或1(代表运动区域)。

(8)式展示了这个能量函数的smooth cost。

我们对low、well、high三个部分的data cost分别进行讨论。

以曝光度小于参考图像的某一图像为例，记该图像为A，参考图像为R，参考图像调整后与A对应的(具有相同曝光度)的图像为R’。

对于well区域，我们假定在非运动区域R’与A是很接近的，也就是R‘与A的差值是比 较小的，当某个区域这个差值很大时，可以认为这个区域是运动区域，我们假定R’与A之间的差值符合以0为平均值的正态分布，因此我们可以用差值的标准差乘上一个系数作为阈值来过滤掉误差，当差值大于阈值时，这个像素更有可能为运动区域，且差值越大，可能性也越大。

对于low区域，由于A的曝光时间要比R短，而low区域在R的曝光时间下已经处于曝光不足的状态，也就意味着，在曝光时间更短的A中，这些区域的值应该是接近0的。考虑到相机本身可能会产生一些噪声，因此加入一个阈值，这个阈值通常是比较小的，当A的值大于这个阈值时认为这个区域更有可能为运动区域，值越大，可能性也越大。

对于high区域，在R的曝光时间下处于过曝，也就意味着这些区域是场景辐照度比较高的区域，准确讲也就是大于等于在R的曝光时间下相机所能接受的最大辐照度，但并不能确定准确的辐照度值，因此，当曝光时间缩短至A时，这些区域有可能低于此时相机接受的最大辐照度，也有可能依旧是过曝。因此，我们简单假定，当A大于某个值时是可以接受的，这个值也就是在R曝光时间下相机所能接受的最大辐照度被调整至A的曝光时间的值。

(9)(10)(11)(12)式展示了data cost的细节。其中，th是一个阈值参数，σ_l、σ_w、σ_h分别代表第i张图像中low、well、high三个部分的差值的标准差，β是一个可以被调整的参数。

E_D，W＝

L(i，p)G(D(i，p)，βσ_w)(2γ)

+(1-L(i，p))(1-G(D(i，p)，βσ_w))(|D(ip)-βσ_w|)

(11)

(13)式展示了函数G的定义。

这个能量最小化问题可以使用图割解决。文献[2]描述了通过图割来解决能量最小化问题的方法。我们把这个能量函数应用在每一张图像上，并使用图割算法求解。我们使用M表示得到的掩膜图像，M中的每个像素点都被标记为0(代表背景)或者1(代表运动区域)。

(2)运动区域扩展

我们将运动区域的掩膜在边缘的约束下进行扩展。本发明的扩展算法基于文献[3]描述的方法。扩展算法需要两个标记区域，一个是hard object，一个是hardbackground，为了方便讨论，分别记作H_O和H_B区域，这两个区域分别表示必定是物体(也就是运动区域)的区域和必定是背景(也就是非运动区域)的区域。算法要做的就是将这两个区域扩展，将这两个区域周围像素值与区域内像素值相近的像素扩展进该区域内。这个问题同样可以通过建立MRF模型进行解决。

H_O可以用步骤(1)检测到的运动区域代替，而H_B不是现成的。为了计算H_B，我们先将参考图像转化为灰度图像，然后使用coherence滤波器进行过滤。coherence滤波器的细节在文献[4]中描述。coherence滤波器将会平滑图像并且增强边缘。我们将处理的结果表示为R_f。然后使用文献[5]所描述的图像分割算法对R_f进行分割，分割结果用R_s表示，R_s包含了每个像素的分割标记。我们将R_s与H_O有交集的区域扩展，这个扩展后的标记是很粗略的，覆盖了我们需要的区域，同时也多扩展了一些我们不需要的区域，我们可以将这个扩展后的标记取反来获得H_B，这个流程获得的H_B会有一些噪点影响我们的算法，我们再做一次腐蚀操作来去噪，这个H_B比起精确的背景区域要小，但已经足够支持我们进行接下来的扩展操作。

H_O和H_B的计算如(14)式所示，erode是用于去噪的腐蚀函数。

H_O＝M

H_B＝erode(H′_B)

运动区域的扩展问题也是一个标记问题，同样可以转化为能量最小化问题求解。(15)式展示了这个能量函数，该函数和运动区域检测部分的函数相似，主要的不同之处在于此处我们使用了权重函数W’(i,p,q)将边缘的影响引入到了能量函数中。N是所有相邻像素点的集合，K是一个大到可以保证被H_O或者H_B所标记的区域都会被标记为1(代表物体)或0(代表背景)的值。std(R_f(i))是第i个R_f的标准差。当|R_f(i,p)-R_f(i,q)|<σ时，权重函数对亮度相似的像素点很不利。σ由λ控制，可以被看作是权重函数的一个阈值。

E′_D＝L(p)H_B(p)K+(1-L(p))H_O(p)K

通过求解这个能量最小化问题，我们可以获得一个掩膜图像序列，在掩膜图像中，扩展后的运动区域被标记为1。这些掩膜图像被用于最后的曝光融合中，记做M’。说明书附图3(b)和(c)展示了运动区域检测和扩展的结果。

(3)曝光融合

本发明使用曝光融合算法来合成多曝光图像。文献[6]描述了曝光融合算法的细节。

为了去除鬼影，我们对曝光融合算法中的权重函数做了修改，(16)式展示了修改后的权重函数，在M’中被标记为1的像素权重为0，即扩展后的运动区域不参与合成。

实验结果：

我们使用以下参数值进行实验：γ＝40,th＝5,β＝1.9,γ’＝10,λ＝50。说明书附图4展示了本发明的实验结果与其他现有技术实验结果的对比。结果表明本发明可以 有效地去除鬼影。

文献：

[1]P.E.Debevec,J.Malik.“从照片中恢复高动态范围辐射图”.ACM SIGGRAPH,2008,p31

[2]Y.Boykov,O.Veksler,R.Zabih.“基于图割的快速近似能量最小化”.IEEE模式分析与机器智能汇刊,vol.23,no.11,pp.1222–1239,2001

[3]Y.Boykov,G.Funka-Lea.“图割与高效的ND图像分割”.国际计算机视觉学报,vol.70,no.2,pp.109–131,2006

[4]D.Kroon,C.Slump.“使用相干滤波增强锥形束CT数据中的下颌管”.2009

[5]P.F.Felzenszwalb,D.P.Huttenlocher.“基于图的高效图像分割”.国际计算机视觉学报,vol.59,no.2,pp.167–181,2004

[6]T.Mertens,J.Kautz,F.Van Reeth.“曝光融合”.第15届IEEE太平洋会议,计算机图形学及应用,2007,pp.382–390。

Claims (5)

1.一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，其特征在于，包括以下步骤：

(1)运动区域检测：将一组不同曝光度的图像按曝光时间升序排列，计算相机响应函数，并选取一张能够全部参与最终合成的图像作为参考图像，则运动区域的检测就是要找出其他图像中与参考图像不同的区域；

根据相机响应函数将参考图像的曝光度调整为其他图像的曝光度，然后计算其他图像与调整后的参考图像对应的像素点的差值，差值越大则像素点属于运动区域的可能性越大；

建立一个基于马尔可夫随机场的能量函数，将运动区域检测这个标记问题转换为能量最小化问题，并使用图割解决能量最小化问题；得到一个掩膜图像，背景区域被标记为0，运动区域被标记为1；

(2)运动区域扩展：扩展算法需要两个标记区域，一个是hard object，一个是hardbackground，分别记作H_O和H_B区域，这两个区域分别表示必定是物体的区域即运动区域和必定是背景的区域即非运动区域；H_O使用步骤(1)检测到的运动区域代替，H_B使用一种基于图像分割的方法得到；

扩展算法就是将H_O和H_B两个区域扩展，将这两个区域周围像素值与区域内像素值相近的像素扩展进该区域内；扩展算法也是将区域扩展这个标记问题转换为能量最小化问题进行求解；得到扩展后的运动区域的掩膜图像，并由此计算出各个像素的权重；

(3)曝光融合：使用步骤2)中得到的各个像素的权重，进行曝光融合来合成多张不同曝光度的图像，最终得到无鬼影的高动态范围图像。

2.根据权利要求1所示的一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，其特征在于，步骤(1)所述根据相机响应函数将参考图像的曝光度调整为其他图像的曝光度，然后计算其他图像与调整后的参考图像对应的像素点的差值，具体如下：

首先将调整后的参考图像划分为low、well、high三个部分来分别对应图像中曝光不足、曝光良好、曝光过度的部分，(2)式展示了这三个部分的定义，ref表示选取的参考图像在图像序列中的索引；

$A(i,p)=\left\{\begin{array}{cc}l,& I(ref,p)\&le;1\\ w,& 1<I(ref,p)<254\\ h,& I(ref,p)\&GreaterEqual;254\end{array}\right.---\left(2\right)$

其中：A(i，p)表示第i张图中p像素所属的区域曝光度情况，l表示low，w表示well，h表示high；

然后分别计算在low、well、high区域，其他图像与调整后的参考图像的差值，(3)(4)(5)(6)式展示了差值的计算方法；差值表示图像与调整过的参考图像对应像素之间的差异，也代表了像素属于运动区域的可能性；

$D(i,P)=\left\{\begin{array}{cc}{D}_l(i,p),& A(i,p)=l\\ D_w(i,p),& A(i,p)=w\\ D_h(i,p),& A(i,p)=h\end{array}\right.---\left(3\right)$

$D_l(i,p)=\left\{\begin{array}{cc}\left|I(i,p)\right|,& i<ref\\ \max \left(I\right(i,p)-R(i,p),0),& i>ref\end{array}\right.---\left(4\right)$

D_w(i、p)＝|R(i，p)－I(i，p)| (5)

$D_h(i,p)=\left\{\begin{array}{cc}\max \left(R\right(i,p)-I(i,p),0),& i<ref\\ |255-I(i,p)|,& i>ref\end{array}\right.---\left(6\right)$

其中：D(i，p)表示第i张图中p像素与参考帧之间的距离值，D_l(i，p)表示当第i张图中p像素曝光不足时与参考帧之间的距离值，D_w(i，p)表示当第i张图中p像素曝光适当时与参考帧之间的距离值，D_h(i，p)表示当第i张图中p像素曝光过度时与参考帧之间的距离值，I(i，p)表示第i张图像的像素p，R(i，p)表示参考帧被调整为曝光时间T(i)后p像素值。

3.根据权利要求2所示的一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，其特征在于，步骤(1)所述建立一个基于马尔可夫随机场的能量函数，将运动区域检测这个标记问题转换为能量最小化问题，并使用图割解决能量最小化问题；得到一个掩膜图像，背景区域被标记为0，运动区域被标记为1；具体步骤如下：

如(7)式展示了步骤(1)所述能量函数的定义，能量函数分为data cost和smooth cost两个部分，data cost表示某个点被归为某个标记时的代价，smooth cost表示某个点与周围点之间标记关系产生的代价；N表示所有相邻像素点的集合，L(p)、L(q)分别表示像素点p和q的标记，标记值为0或1，0代表背景，1代表运动区域；

$E=\underset{p}{\&Sigma;}{E}_D+\mathrm{\&gamma;}\underset{(p,q)\&Element;N}{\&Sigma;}{E}_S\left(L\right(p),L(q\left)\right)---\left(7\right)$

如(8)式展示了能量函数的smooth cost；

$E_S(a,b)=\left\{\begin{array}{cc}0,& a=b\\ 1,& a\&NotEqual;b\end{array}\right.---\left(8\right)$

如(9)(10)(11)(12)式展示了步骤(1)所述能量函数的data cost；其中，th是一个阈值参数，σl、σw、σh分别代表第i张图像中low、well、high三个部分的差值的标准差，β是一个能够被调整的参数；

$E_D(i,p)=\left\{\begin{array}{cc}{E}_{D,L}(i,p),& A(i,p)=l\\ E_{D,W}(i,p),& A(i,p)=w\\ E_{D,H}(i,p),& A(i,p)=h\end{array}\right.---\left(9\right)$

$\begin{array}{c}{E}_{D,L}(i,p)=\\ \left\{\begin{array}{c}L(i,p)G\left(D\right(i,p),th)\left(2\mathrm{\&gamma;}\right)\\ +(1-L(i,p\left)\right)(1-G(D\left(i,p\right),th\left)\right)\\ (2\mathrm{\&gamma;}+|D\left(i,p\right)-th\left|\right),\\ i<ref\\ L(i,p)G\left(D\right(i,p),{\mathrm{\&beta;\&sigma;}}_l)\left(2\mathrm{\&gamma;}\right)\\ +(1-L(i,p\left)\right)(1-G(D\left(i,p\right),{\mathrm{\&beta;\&sigma;}}_l\left)\right)\\ \left(\right|D\left(i,p\right)-{\mathrm{\&beta;\&sigma;}}_l\left|\right),\\ i>ref\end{array}\right.\end{array}---\left(10\right)$

$\begin{array}{c}{E}_{D,W}=\\ L(i,p)G\left(D\right(i,p),{\mathrm{\&beta;\&sigma;}}_w)\left(2\mathrm{\&gamma;}\right)\\ +(1-L(i,p\left)\right)(1-G(D\left(i,p\right),{\mathrm{\&beta;\&sigma;}}_w\left)\right)\left(\right|D\left(i,p\right)-{\mathrm{\&beta;\&sigma;}}_w\left|\right)\end{array}---\left(11\right)$

$\begin{array}{c}{E}_{D,H}(i,p)=\\ \left\{\begin{array}{c}L(i,p)G\left(D\right(i,p),{\mathrm{\&beta;\&sigma;}}_h)\left(2\mathrm{\&gamma;}\right)\\ +(1-L(i,p\left)\right)(1-G(D\left(i,p\right),{\mathrm{\&beta;\&sigma;}}_h\left)\right)\\ \left(\right|D\left(i,p\right)-{\mathrm{\&beta;\&sigma;}}_h\left|\right),\\ i<ref\\ L(i,p)G\left(D\right(i,p),th)\left(2\mathrm{\&gamma;}\right)\\ +(1-L(i,p\left)\right)(1-G(D\left(i,p\right),th\left)\right)\\ (2\mathrm{\&gamma;}+|D\left(i,p\right)-th\left|\right),\\ i>ref\end{array}\right.\end{array}---\left(12\right)$

如(13)式展示了函数G的定义：

$G(x,t)=\left\{\begin{array}{cc}1& x\&le;t\\ 0& x>t\end{array}\right.---\left(13\right);$

将能量函数应用在每一张图像上，并使用图割算法求解；使用M表示得到的掩膜图像，M中的每个像素点都被标记为0或者1。

4.根据权利要求3所示的一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，其特征在于，步骤(2)所述运动区域扩展，具体步骤如下：

H_O和H_B的计算如(14)式所示：

H_O＝M

$B=\left\{l\right|\&Exists;p.M\left(p\right)=1and{R}_s\left(p\right)=l\}$

$H_B^{\&prime;}\left(p\right)=\left\{\begin{array}{cc}1,& R_s\left(p\right)\&Element;B^C\\ 0,& R_s\left(p\right)\&Element;B\end{array}\right.---\left(14\right)$

H_B＝erode(H′_B)

其中：M表示步骤(1)得到的掩膜图像，B表示被标记为运动区域的像素位置集合，M(p)表示掩膜图像像素p的值，R_s(p)表示R图像经过平滑滤波和分割的图像p像素值，B^C表示B集合的补集，H'_B(p)表示静止区域掩膜图像p像素值，H_B表示经过腐蚀操作的掩膜图像，erode是用于去噪的腐蚀函数；

如(15)式展示了步骤(2)所述能量函数，使用了权重函数W’(i，p，q)将边缘的影响引入到了能量函数中；N是所有相邻像素点的集合，K是一个大到能够保证被H_O或者H_B所标记的区域都会被标记为1或0的值；std(R_f(i))是第i个R_f的标准差，为了计算H_B，先将参考图像转化为灰度图像，然后使用coherence滤波器进行过滤，coherence滤波器将会平滑图像并且增强边缘，之后将处理的结果表示为R_f；当|R_f(i，p)-R_f(i，q)|<σ时，权重函数对亮度相似的像素点很不利，σ由λ控制，能够被看作是权重函数的一个阈值；

$E^{\&prime;}=\underset{p}{\&Sigma;}{E}_D^{\&prime;}+{\mathrm{\&gamma;}}^{\&prime;}\underset{(p,q)\&Element;N}{\&Sigma;}{E}_S^{\&prime;}\left(L\right(p),L(q\left)\right)W^{\&prime;}(i,p,q)$

E′_D＝L(p)H_B(p)K+(1-L(p))H_O(p)K

$E_S^{\&prime;}=\left\{\begin{array}{cc}0,& a=b\\ 1,& a\&NotEqual;b\end{array}\right.$

$W^{\&prime;}(i,p,q)=e-\frac{{|R_f(i,p)-R_f(i,q)|}^2}{2{\mathrm{\&sigma;}}^2},\mathrm{\&sigma;}=\mathrm{\&lambda;}std\left(R_f\right(i\left)\right)---\left(15\right)$

通过求解这个能量最小化问题，能够获得一个掩膜图像序列，在掩膜图像中，扩展后的运动区域被标记为1；这些掩膜图像被用于最后的曝光融合中，记做M’。

5.根据权利要求4所示的一种通过运动物体检测和扩展去除鬼影的高动态范围成像方法，其特征在于，步骤(3)所述曝光融合中，采用如(16)式修改后的权重函数，在M’中被标记为1的像素权重为0，即扩展后的运动区域不参与合成：

$\begin{array}{c}W(i,p)={\left(C\right(i,p\left)\right)}^{W_C}\&times;{\left(S\right(i,p\left)\right)}^{W_S}\&times;{\left(E\right(i,p\left)\right)}^{W_E}\\ \&times;(1-M^{\&prime;}(i,p\left)\right)\end{array}---\left(16\right)$

其中：C表示的是对比度，S表示饱和度，S通过RGB通道值的标准差计算，E表示曝光度的好坏，像素值越接近0.5也就是中间值时认为像素的曝光度越好，使用高斯函数来计算E，M’(i，p)表示第i张掩膜图像p像素值。