CN101052100A - 多曝光图像增强方法 - Google Patents

Abstract

一种多曝光图像增强方法，属于图像处理技术领域。本发明对同一场景拍摄一组不同曝光度的图像，依据相机响应曲线性质对图像分块选取信息最丰富的图像块进行拼合，再利用一定的融合函数消除图块间的边缘效应，最终得到大动态范围的增强图像。本发明使得原来局部曝光不足或者曝光过度的图像，经过增强处理后高亮与阴暗处的细节都能良好地呈现，且整体效果比较自然，对噪点控制好，不产生光晕现象。

Description

多曝光图像增强方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，特别是一种多曝光图像增强方法，即利用多曝光获取的同一场景多幅不同曝光度图像进行明暗动态范围增强的方法。

背景技术

人眼所能观察到的实际场景有着非常大的明暗动态范围，光强细节信息很丰富。受到电荷耦合器和模数转换器等的制约，数码相机的动态范围很有限，只能记录有限范围的对比度、亮度和颜色数。当拍摄场景的动态范围超出了照相机的采集范围时，无论如何调整相机曝光度，最终成像总会有曝光过度或者曝光不足的区域，造成高亮处或阴暗处细节的损失。

经对现有技术的文献检索发现，目前针对这一问题，主要有两类解决方法。一类方法，如P.E.Debevec等在《SIGGRAPH 97 Conference Proceedings》(计算机图形学与交互技术国际会议97年会会议录)369至378页上发表的“Recovering high dynamic range radiance maps from photographs”(从照片中恢复高动态范围辐射映射图)，该文中提出一种高动态范围色调映射法，具体方法是利用多幅同一场景不同曝光图像获取高动态范围图像，然后进行色调映射来获取一幅明暗细节丰富的图像，其不足在于计算复杂度高，在色调映射中容易引入源图像中本不存在的细节，受光晕、噪声干扰比较严重。另一类方法如Ardeshir Goshtasby在《Image and Vision Computing》(图像与视觉计算)2005年23卷第6期611至618页上发表的“Fusion of multi-exposureimages”(多曝光图像融合)，该文中提出一种多曝光图像直接融合的方法，具体方法是对源图像进行图像信息量的评估，选择源图像中的信息量最丰富的像素块进行融合，其不足在于现有的评价标准，如信息熵、均方差等，都是基于统计的方法，对图像的一些特性进行了客观的评估，没有很好的考虑场景内容、图像承载媒质和人眼的视觉特性等因素，也没有很好地利用多曝光度的特性，容易造成评判的结果不理想，与视觉感受存在一定的差异。

发明内容

本发明的目的在于克服现有技术的不足与缺陷，提供一种多曝光图像增强方法，使其从同一场景不同曝光图像中提取信息量最丰富的图像块，通过融合得到一幅明暗细节丰富的图像。

本发明是通过以下技术方案实现的，本发明对同一场景拍摄一组不同曝光度的图像，对图像进行分块，利用相机响应函数曲线作为衡量图像信息量的准则，在不同曝光照片中选取信息量最大的像素块合成参考图像，再利用融合函数将不同曝光条件下的信息块全局融合起来，消除参考图像中的块效应，得到最终的融合图像。通过调整图像分块和融合参数大小可获得不同增强效果的融合图像。

所述的相机响应函数，是相机感光器所接收到的场景光照辐射度X与最终成像照片中的像素亮度值B之间的函数关系B＝f(X)。相机响应函数反映的是相机的固有属性，是连续的单调增函数。一般情况下，相机商会给出其相机的响应函数，另外可以通过计算得到。

出于人为需要与客观条件制约，相机响应函数f一般是非线性的，其非线性有利于将丰富的环境辐射度信息压缩映射到一个固定的小范围的可量化的图像亮度值区间上。相机响应函数曲线形状一般两端比较平坦，切线斜率比较小，图像像素值趋于截止或者饱和，这些部分对应的场景光强辐射度信息被较大程度地压缩；而对于中间部分切线斜率比较大，信息压缩比较小，成像后就会包含比较丰富的场景环境光强辐射信息。换言之，图像块平均亮度在相机响应曲线上的对应位置的斜率的大小反映了最终成像信息的多少，因此可以利用相机响应曲线作为像素块信息量的评价依据，对一组不同曝光的图像进行最优像素块选取。

为了处理的方便，对相机响应函数的反函数曲线g取导数，该导数曲线h可以很好地反映曲线g的斜率变化情况。在不同曝光照片中选取信息量最大的像素块合成参考图像的过程如下：

1)设同一场景的N幅已配准的不同曝光度的图像为I_i(i＝1，…，N)，按设定的块大小a×a对I_i进行分块，每幅图像得到P个a×a大小的图块I_i，j(j＝1，…，P)。I_i，j即为第i幅图中第j个图块。对任一位置T∈(1，…，P)的一组图块I_i，T(i＝1，…，N)，计算每一个图块亮度的平均值A_i，T(i＝1，…，N)，从精度考虑，将平均亮度取值范围从整数范围[0，255]映射到浮点数范围[0.00，1.00]。

2)对于每个A_i，j(i＝1，…，N，j＝1，…，P)，求取其在导数曲线h上的相应值t_i，j＝h(A_i，j)。t_i，j越小代表该图块曝光度越好，图块信息越丰富。对每一图块位置T∈(1，…，P)，比较t_i，j，取 $J\left(T\right)=\underset{i}{\min }\left(t_{i,T}\right),(i=1,\·\·\·,N)$ ，得到该位置处最佳曝光图块的图像号J(T)，所对应的图块I_J(T)，T就是位置T所要寻找的最佳曝光的图块。将所有挑选出来的最佳曝光图块I_J(j)，j(j＝1，…，P)合成得到当前参考图像。

为减少合成的参考图像中图块间的不连续性，可以通过以下方法进行最佳曝光的图块的局部调整。

定义图块之间的连续性约束为 $d_j={\mathrm{\Σ}}_{k\∈Q_j}{(A_{k,j}-A_{J\left(j\right),j})}^2,$ (j＝1，…，P)(其中Q_j表示参考图像中第j个图块I_J(j)，j八邻域N₈(j)图块所在的图像组)。d_j越小，说明参考图像中第j个图块I_J(j)，j与其周围图块所在图I_k(k∈Q_j)中对应位置处图块I_k，j(k∈Q_j)之间的亮度越接近，图块之间的连续性越好。

利用计算得到的d_j，在其八邻域中进行比较，当d_j与其八邻域中的d_l(l∈N₈(j))的均值 ${\stackrel{\‾}{d}}_j=\frac{1}{8}\underset{l\∈N_8\left(j\right)}{\mathrm{\Σ}}{d}_l$ 相差大于0.5时，调整该图块所在的图像，并使调整后的d′_j与 d_j相差最小。

所述融合函数，是对上述获得的由最佳曝光图块合成的参考图像进行进一步融合处理，以消除参考图像中图块间的块效应的函数，定义为

$U(x,y)=\underset{j\∈Q(x,y)}{\mathrm{\Σ}}{w}_j(x,y)I_{J\left(j\right)}(x,y)$

其中，U(x，y)表示输出图像在(x，y)位置的最终像素值，Q(x，y)表示包含(x，y)位置的图块及其邻域图块，w_j(x，y)是以第j个图块为中心的(x，y)位置处的权重，I_J(j)(x，y)表示第j个图块对应的最优曝光图像I_J(j)在(x，y)位置的像素值。

关于融合函数中权函数w的选取，首先利用二维高斯函数，按照距离中央像素的远近确定权值，距离越近分配权值越大，

$G_j(x,y)=\exp [-\frac{{(x-x_j)}^2+{(y-y_j)}^2}{{2\mathrm{\σ}}^2}],j=1,...,P$

其中，(x_j，y_j)为第j个图块中心位置，σ是高斯函数的标准差。

其次，按照图块在相机响应反函数导数曲线h上的量值t_J(j)(x，y)大小确定权重，t越小，说明图块曝光越合适，信息量越大，融合时分配权重也越大。构造负指数形式函数

               S_j(x，y)＝exp[-αt_J(j)(x，y)]

其中，t_J(j)(x，y)表示图像I_J(j)在(x，y)处的t的量值，α为经验系数，用以调整t的量阶。最终定义联合权重函数w_j(x，y)为

$w_j(x,y)=\frac{Y_j(x,y)}{\underset{k\∈Q(x,y)}{\mathrm{\Σ}}{Y}_k(x,y)}$

其中，Y_j(x，y)定义为Y_j(x，y)＝S_j(x，y)G_j(x，y)。这样，离开参考图像中所选图块中心距离越近，图像信息越丰富，则分配的权重越大，使得块与块既得到了有效的融合，又保证了最终的合成图像尽可能与最佳图块接近。

本发明提出的多曝光图像增强方案能够有效增强图像细节，并使得图像信息得到较好的保持，高亮处和阴暗处的细节自然一致地呈现在同一幅合成图像中，而且方法简单，图像增强后效果自然，对噪点控制较好，不产生明显的光晕现象。

附图说明

图1多曝光图像增强方法整体框图

图1中，示意多曝光图像增强方法的整体方案流程，主要由2个步骤，一是基于相机响应函数信息测度的最优像素块的选取，二是基于联合权重的加权平均图块融合。

图2照相机响应函数示意图

图2中，示意相机响应函数及其反函数的意义。

图3基于相机响应函数信息测度的最优像素块选取过程方框图

图3中，示意最优像素块的选取过程，依照相机响应函数反函数的导数值信息对图像信息量进行评价，选取最优信息图块，并进行局部优化。

图4基于联合权重的加权平均图块融合过程方框图

图4中，示意图块融合的过程，建立基于信息约束和空间约束的联合权重函数进行图块的融合，消除块效应。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明的一个完整的操作过程如图1所示，第一步获取多曝光图像，设定处理参数。利用照相机手动拍摄模式，三脚架固定拍摄角度，固定光圈大小，连续改变快门速度对同一静态场景进行拍摄。假设获得6幅同一场景不同曝光度的配准图像(用(a)-(f)表示各曝光条件下获得的图像)，照片为640×480像素，设置图块大小16×16，分块后共1200块。

然后如图1中第二步，利用相机响应函数作为信息测度进行最优图块选取。相机响应函数及其反函数的意义如图2所示，表征了相机感光器所接收到的场景光照辐射度与最终成像照片中的像素亮度值之间的函数关系。具体选取过程如图3所示，计算每个图块的平均亮度，对于同一位置的一组不同曝光下的图块，计算得出其在相机响应函数反函数的导数曲线h上的相应值，最小值所对应的图块合成临时参考图像。再利用基于连续性约束d_j对选取结果进行局部优化，得到每个最佳图块所对应的图像。

最后如图1中第三步，对最优图块进行全局融合，具体过程如图4所示。图4示意了1-9这9个像素块的选取结果，比如图块1的最佳曝光度来自图像(b)。那么第5个图块的最终融合结果由其邻域1-9所对应图像的第5图块加权平均得到，其权重w由高斯曲面函数G(取参数σ＝128)与相机辐射测度响应函数信息测度的负指数函数S(取参数α＝100)联合构成。经过上述最优图块选取和融合，就得到了一幅明暗细节丰富的增强图像。

Claims (7)

1.一种多曝光图像增强方法，其特征在于，对同一场景拍摄一组不同曝光度的图像，对图像进行分块，利用相机响应函数曲线作为衡量图像信息量的准则，在不同曝光照片中选取信息量最大的像素块合成参考图像，再利用融合函数将不同曝光条件下的信息块全局融合起来，消除参考图像中的块效应，得到最终的融合图像。

2.根据权利要求1所述的多曝光图像增强方法，其特征是，所述在不同曝光照片中选取信息量最大的像素块合成参考图像，具体如下：

1)设同一场景的N幅已配准的不同曝光度的图像为I_i，i＝1，…，N，按设定的块大小a×a对I_i进行分块，每幅图像得到P个a×a大小的图块I_i，j，I_i，j即为第i幅图中第j个图块；对任一位置T的一组图块I_i，T，计算每一个图块亮度的平均值A_i，T，将平均亮度取值范围从整数范围[0，255]映射到浮点数范围[0.00，1.00]；

2)对于每个A_i，j，求取其在导数曲线h上的相应值t_i，j＝h(A_i，j)，t_i，j越小代表该图块曝光度越好，图块信息越丰富，对每一图块位置T，比较t_i，j，取 $J\left(T\right)=\underset{i}{\min }\left(t_{i,T}\right),$ 得到该位置处最佳曝光图块的图像号J(T)，所对应的图块I_J(T)，T就是位置T所要寻找的最佳曝光的图块；将所有挑选出来的最佳曝光图块I_J(j)，j合成得到当前参考图像，其中j＝1，…，P。

3.根据权利要求2所述的多曝光图像增强方法，其特征是，通过以下方法进行最佳曝光图块的局部调整：

定义图块之间的连续性约束为 ${d_j={\mathrm{\Σ}}_{k\∈Q_j}(A_{k,j}-A_{J\left(j\right),j})}^2,$ 其中Q_J表示参考图像中第j个图块I_J(j)，j八邻域N₈(j)图块所在的图像组；d_j越小，说明参考图像中第j个图块I_J(j)，j与其周围图块所在图中对应位置处图块I_k，j(k∈Q_j)之间的亮度越接近，图块之间的连续性越好；

利用计算得到的d_j，在其八邻域中进行比较，当d_j与其八邻域中的d_l(l∈N₈(j))的均值 ${\stackrel{\‾}{d}}_j=\frac{1}{8}\underset{l\∈N_8\left(j\right)}{\mathrm{\Σ}}{d}_l$ 相差大于0.5时，调整该图块所在的图像，并使调整后的d′_j与 d_j相差最小。

4.根据权利要求1或2所述的多曝光图像增强方法，其特征是，所述融合函数，定义为： $U(x,y)=\underset{j\∈Q(x,y)}{\mathrm{\Σ}}{w}_j(x,y)I_{J\left(j\right)}(x,y),$

其中，U(x，y)表示输出图像在(x，y)位置的最终像素值，Q(x，y)表示包含(x，y)位置的图块及其邻域图块，w_j(x，y)是以第j个图块为中心的(x，y)位置处的权重，I_J(j)(x，y)表示第j个图块对应的最优曝光图像I_J(j)在(x，y)位置的像素值。

5.根据权利要求4所述的多曝光图像增强方法，其特征是，所述融合函数中权函数w的选取，具体如下：

首先利用二维高斯函数，按照距离中央像素的远近确定权值，距离越近分配权值越大

$G_j(x,y)=\exp [-\frac{{(x-x_j)}^2+{(y-y_j)}^2}{2{\mathrm{\σ}}^2}],j=1,...,P$

其中，(x_j，y_j)为第j个图块中心位置，σ是高斯函数的标准差；

其次，按照图块在相机响应反函数导数曲线h上的量值t_J(j)(x，y)大小确定权重，t越小，说明图块曝光越合适，信息量越大，融合时分配权重也越大，构造负指数形式函数S_j(x，y)＝exp[-αt_J(j)(x，y)]，

其中，t_J(j)(x，y)表示图像I_J(j)在(x，y)处的t的量值，α为经验系数，用以调整t的量阶，最终定义联合权重函数w_j(x，y)为

$w_j(x,y)=\frac{Y_j(x,y)}{\underset{k\∈Q(x,y)}{\mathrm{\Σ}}{Y}_k(x,y)}$

其中，Y_j(x，y)定义为Y_j(x，y)＝S_j(x，y)G_j(x，y)。

Images