CN104835130A - 一种多曝光图像融合方法 - Google Patents

Abstract

本发明涉及一种多曝光图像融合方法，利用拉普拉斯金字塔分解对原始图像进行多尺度分解，得到图像的高频图像和低频图像，针对高频图像和低频图像，采用不同的融合机制，最终获得重构图像。由于拉普拉斯分解过程中，每层“降采样”的处理过程，使得低频图像大小远远小于原始图像的大小，这样稀疏表示框架的融合方法的时间复杂度被大大降低了，并且，可以突出特定频带信息，保留更多的原始图像的方向及纹理信息。

Description

一种多曝光图像融合方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种多曝光图像融合方法。

背景技术

近几年，计算机视觉领域中新兴起了计算摄影(Computational Photography)的研究方向，其宗旨是克服成像和显示设备的局限性，用计算技术为视觉世界生成内容丰富、逼真的图像，符合人类视觉***对客观世界的感知。

计算摄影是一个多学科交叉性很强的研究领域，涉及计算机图形学、计算机视觉、图像处理、视觉感知、光学和传统摄影术等技术。其中的多曝光融合研究已成为一个很重要的课题。现有照相及显示器材的动态范围(10²)远低于真实场景的动态范围(10¹⁰)。在高动态范围场景中，用数字照相机拍摄出来的照片或者局部曝光不足或者局部过度曝光，总会造成某些局部细节信息丢失。通过对一组多曝光图像序列进行一定的处理(如利用曝光时间恢复相机响应函数)，可以得到一幅高动态范围图像。但是，由于现有的显示设备是低动态范围的，无法对高动态范围图像直接显示，因此，还需要将得到的高动态范围图像进行动态范围压缩处理才能够在设备上显示出来，这样的处理方式计算量一般很大。多曝光图像融合是针对这一问题所衍生的一个研究方向，同样是根据多曝光图像序列，将来自不同图像的特征融合在一起，能够生成具有细节丰富且对比度高的图像，最终目标是使生成的结果图像在被显示后，人类所获得的感知要和其置身于真实环境中获得的一样，即被观察图像与真实场景不但展现的信息一致，而且给人类带来的视觉感觉也要是一致的。用什么样的特征来描述一幅图像的细节信息，是该领域要解决的关键问题之一。

为了解决这个问题，研究学者提出利用稀疏表示理论来描述图像边缘、方向等显著信息，在稀疏表示框架的基础上，实现多曝光融合。稀疏表示理论最早由Mallat提出，其基本思想是用称之为字典的超完备的冗余函数***取代非冗余的正交基函数，字典中的元素被称为原子，信号由原子的线性组合来表示。其中原子的数目比信号的维数大，由此产生了冗余(称为超完备性)。正是由于这种特性，有很多表示信号的方法，其中具有最少系数(最稀疏)的表示是最简单的，也被认为是最优的一种表示方法。超完备稀疏表示理论能够使得很多图像处理方法的性能得以改进，主要得益于稀疏表示的两点特性：字典的过完备性和表达系数的稀疏性。过完备性保证了字典内容更加丰富，其中超完备字典中的原子不仅可以是傅立叶变换、小波变换，离散余弦变换、脊波(Ridgelet)、曲波(Curvelet)、带波(Bandelet)、轮廓波(Contourlet)等变换的基函数，还可以是这几种变换基的任意组合以适应不同类型的待处理信号。另外，超完备字典还可以根据不同的图像类型以及不同图像处理任务通过样本学习得到。

基于稀疏表示框架的多曝光融合过程，如图1所示，不同曝光的图像序列，经过“滑窗技术”处理并向量化后，构成图像块矩阵，利用训练好的过完备字典，得到相应的稀疏系数表示，最后采用取最大融合规则获得融合后系数，经重构后得到融合结果图像。在该框架中，由于“滑窗技术”依赖图像的大小，目前通用相机获取的图像通常是高分辨率，图像大小一般很大，致使基于该框架的多曝光融合算法时间复杂度较高，从而限制了其应用。

发明内容

为了解决现有技术中存在的问题，本发明提出一种结合多尺度分解和稀疏表示框架的多曝光图像融合方法。利用拉普拉斯金字塔分解，把图像分解为高频图像和低频图像，由于图像的低频信息能够近似模拟原始图像，并继承原始图像的一些属性，如平均亮度及纹理信息，并且相对于原始图像，低频图像的大小大大降低，这样再采用“滑窗技术”进行融合，可以大大降低时间复杂度。针对于高频图像，采用像素点的邻域信息作为衡量标准，它相对于仅根据单一独立像素的简单选择(灰度极值法)或简单加权的方式进行图像融合，更加合理。针对一幅1024×768大小的图像，在原始基于稀疏表示框架的融合的处理过程，需要30多秒的处理时间，而采用本发明提出的多曝光图像融合方法，处理过程需要不到10秒。另外，由于高频信息的处理机制，可以保留更多的边缘信息。

本发明的一种多曝光图像融合方法，其特征在于，包括：多尺度分解步骤，对于两幅图像，对两幅图像进行包括低通滤波、降采样、内插值和带通滤波的拉普拉斯金字塔分解，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔，分别得到两幅图像的低频图像和高频图像；低频图像融合步骤，采用室内室外场景图像的拉普拉斯低频图像作为训练样本，利用字典学***均的方式确定融合后图像在对应区域上的中心点的灰度值，依次求得的各个中心点的灰度值作为融合后的高频图像各个点的像素的灰度值，获得融合后的高频图像；图像重构步骤，经过了上述的低频图像融合和高频图像融合步骤，得到一个融合后的拉普拉斯金字塔，对其进行反变换重构图像，得到两幅图像融合后的图像。

进一步地，本发明的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔时，层数是人工设定的。

进一步地，本发明的多曝光图像融合方法，其特征在于，用N层高斯金字塔的每一层图像减去其上一层图像，对结果进行上采样并作高斯卷积处理，便可得到N-1个差值图像，即为拉普拉斯金字塔的高频图像，N层高斯金字塔的顶层图像为拉普拉斯金字塔的低频图像。

进一步地，本发明的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔时，层数为4，每幅图像可得到3个高频图像，1个低频图像。

附图说明

图1是基于过完备稀疏表示多曝光融合框架的示意图。

图2是基于多尺度分解的图像融合过程的示意图。

图3是本发明技术架构的示意图。

具体实施方式

本发明采用多曝光图像序列构建学习样本，利用字典学习算法K-SVD生成字典矩阵D。稀疏性使得稀疏表示能够更加准确地自适应地选择与待处理信号最相关的原子，增强信号处理方法的自适应能力，这是本发明利用稀疏矩阵来表示图像特征的原因。

另外，人类视觉***对图像特征的刺激存在于不同的尺度上，基于这一思想，产生了频率域的图像融合算法。在融合处理过程中，利用多尺度分解方法把图像分解不同的频率层，融合过程是在各频率层上分别进行的。这样，就可以针对不同频率层的特征与细节，采用不同的融合规则，从而达到了突出特定频带上特征和细节的目的。图像的多尺度分解是对图像进行自底向上的分解，每一层图像都是其前一层图像结果经过某种运算得到的。在基于多尺度分解的图像融合中，基于塔形分解的图像融合算法得到广泛关注，其基本处理方法是：对每一幅输入图像进行金字塔分解，然后，通过融合规则算法进行系数选择并得到融合后的金字塔，最后，对新金字塔进行反变换来重构图像，得到融合结果图像。该过程可用图2表示。

基于以上分析，本发明提出结合稀疏表示框架和多尺度分解的框架实现多曝光融合，利用多尺度分解得到的低频图像近似模拟原始图像，并利用“稀疏度”设计一种加权平均融合规则，实现稀疏表示理论框架的低频图像融合处理，而对于高频图像，利用像素点的邻域信息作为衡量标准的融合策略，可以获取更多图像的边缘和纹理信息。

本发明所提的方法主要由图像多尺度分解步骤、低频图像融合步骤、高频图像融合步骤和图像重构步骤四部分组成。具体如图3所示。本发明为了描述简化，假设输入图像序列只包含一个低曝光图像A和一个高曝光图像B。针对这两幅图像，首先利用拉普拉斯金字塔分解实现图像的尺度分解，分别得到图像A、B的高频图像和低频图像，然后，针对不同的频率图像采用不同的融合方法，下面首先表述拉普拉斯金字塔的处理过程，然后分别表述低频和高频的融合过程。

1.拉普拉斯金字塔

在高斯金字塔的构建过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为了解决这个问题，在高斯金字塔的基础上，提出了拉普拉斯(Laplacian)金字塔。其基本处理方法是：用高斯金字塔的每一层图像减去其上一层图像，对结果进行上采样并作高斯卷积处理，便可得到一系列的差值图像，再加上高斯金字塔的顶层图像，即为Laplacian分解图像。概括地讲，建立图像的Laplacian金字塔形分解有四个基本步骤：低通滤波、降采样、内插值和带通滤波。图像的Laplacian金字塔的各层(顶层除外)均保留和突出了图像的边缘特征信息，该信息对于图像的压缩或进一步的分析、理解和处理有重要意义。

1)Laplacian塔形分解过程：

先将G_l内插放大，得到放大图像使的尺寸与G_l-1的尺寸相同。为了简化书写，同样引入放大算子Expand，公式定义为：

$G_l^{*}=\mathrm{Expand}\left(G_l\right)$

(1)

其中，Expand算子被定义为：

$G_l^{*}(i,j)=4\underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)G_l^{\&prime;}(\frac{i+m}{2},\frac{j+n}{2})(0<l\&le;\mathrm{Num},0\&le;i<C_l,0\&le;j<R_l)$

(2)

(3)

Expand算子是Reduce算子的逆算子，的尺寸与G_l-1的尺寸相同。从公式(1)可以看出，在原有像素间内插的新像素的灰度值是通过对原有像素灰度值的加权平均确定的。因为对G_l-1进行低通滤波才得到G_l，即G_l是模糊化，降采样的G_l-1，所以，所包含的细节信息少于G_l-1。Laplacian金字塔的分解过程定义如下：

(4)

上述式中：Num表示Laplacian金字塔顶层的层号；LP_l表示Laplacian塔形分解的第l层图像；G_l表示高斯塔形分解的第l层图像；由LP₀,LP₁,…,LP_l,…,LP_Num就构成了Laplacian金字塔，除顶层外，它的每一层图像是高斯金字塔本层图像与其高一层图像经放大算子放大后图像的差，即为高频图像，顶层为获得的低频图像。其中，层数是人工设定参数，当设置为4时，表示每幅图像可得到3个高频图像，1个低频图像。1个高频图像通过下面表述的“低频图像融合机制”进行融合，3个高频图像利用“高频图像融合机制”进行融合，然后由下述的金字塔重建过程，即可得到融合结果图像。

2)由Laplacian金字塔重建原图像过程：

由公式(4)可得到Laplacian金字塔的重构公式为：

(5)

上式表明，从Laplacian金字塔的顶层开始逐层由上至下，按照上式进行递推，可以恢复其对应的高斯金字塔，并最终可得到原图像G₀。即将Laplacian金字塔各层图像经过Expand算子逐步内插放大到与原图像一样大，然后再相加，即可精确重建原图像。这表明图像的Laplacian金字塔形分解是图像的完整表示，这是Laplacian金字塔形分解的重要特性之一。

经过上面拉普拉斯金字塔分解后，得到图像的低频图像和高频图像，不同的频带图像，本发明提出利用不同的融合机制，低频图像能够模拟原始图像，为了降低直接在原始图像上进行稀疏表示框架的融合过程的时间复杂度，提出低频图像的稀疏表示融合机制，处理过程如下所述。

2.低频图像融合机制：

在稀疏表示框架中，如何获取学习字典是要解决的关键问题之一。基组合的构建方法是一种操作简单的可行方法。可以选择的基或变换有小波(wavelet)包、带波(bandlet)包等。然而基组合的字典构建方法虽然简单、直观，但是使用该方法得到的过完备字典不具备自适应性。当所构建的字典适合于某类信号的稀疏表示时，对于其他不同类型的信号，却不一定能够保证其表示系数具有良好的稀疏性。因此，在实际应用中，常通过对某类信号的字典学习来构建适合于该类信号的过完备字典。在本发明中，采用多幅典型的室内室外场景图像的拉普拉斯低频图像作为训练样本，利用字典学习算法K-SVD生成字典矩阵D，构建过完备字典。

基于过完备稀疏表示融合算法中通常采用系数绝对值取大的融合规则，也即是稀疏系数向量的l₁范数取大的规则。采用该融合规则得到的融合结果会丢失场景的细节信息。考虑到过完备字典中的原子表达的是一些边缘特征，那么表示系数的稀疏度越低，即非零系数越多，意味着图像块中的显著特征越多，所含信息量越丰富。而当源图像对应的系数向量的稀疏度一致时，选择其l₁范数较大的系数进行融合，即为选择边缘特征数量相同、特征更明显的图像块重构结果图像。本发明分析过完备稀疏表示及稀疏表示系数的特点，设计一种关于稀疏度的融合规则，即通过稀疏度的判断来提取清晰的图像块，设计一种加权平均规则进行融合。考虑到系数的绝对值反应了被表示图像块的局部能量大小，而局部能量较大的则表明其为清晰区域。对于图像块稀疏系数向量，则其l₁范数反映了图像块的活性度，即l₁范数越大，表明其带的信息量就越多。

基于以上分析，利用字典学习算法(例如K-SVD)学习出一个字典矩阵，假设大小为64*512(即512个原子)，通过滑窗技术，将图像A、B各自的低频图像分别分成一系列图像块，图像块大小与用于获得稀疏系数的字典大小保持一致，如字典的维数是64维，那么图像块的大小为8*8。每块重新排序构成64维向量，可看做输入向量，由该输入向量和字典矩阵两部分得到该块在本字典上的稀疏表示，即稀疏向量。

我们设计的融合规则的计算公式如下：

f＝ω^αα+ω^ββ

ω^α＝||α||₁/(||α||₁+||β||₁)

ω^β＝1-ω^α

(6)

其中α、β分别为图像A、B的输入低频图像中的某一相同位置图像块(例如，大小为8*8像素)的稀疏系数向量，f为融合后的待重构稀疏系数，ω^α，ω^β分别为对应的加权因子，||·||₁为表示系数向量的l₁范数，即为稀疏向量元素的绝对值之和。图像A、B的低频图像的所有相同位置图像块利用公式(6)计算后，得到每个相同位置的待重构系数组成的融合后的系数矩阵，系数矩阵和字典矩阵D相乘，最后获得低频的融合灰度图像。

3.高频图像融合机制：

针对拉普拉斯分解后的高频图像，本发明采用以区域能量作为衡量标准，针对某一像素点，采用一定大小的窗口对图像进行滤波，滤波后的像素值代表该点的区域能量，具体步骤：

第一步，对源图像A和B的高频图像，以(m,n)点为中心的邻域窗口区域的能量定义为：

$S_A(m,n)=\underset{u\&Element;U}{\mathrm{\&Sigma;}}\underset{v\&Element;V}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(u,v){\left[A(m+u,n+v)\right]}^2$

$S_B(m,n)=\underset{u\&Element;U}{\mathrm{\&Sigma;}}\underset{v\&Element;V}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(u,v){\left[B(m+u,n+v)\right]}^2$

(7)

其中ω(u,v)表示窗口模板系数，可采用高斯模板。

第二步，计算得到图像A和B之间局部的、归一化的匹配度：

$M_{\mathrm{AB}}(m,n)=\frac{2\underset{u\&Element;U}{\mathrm{\&Sigma;}}\underset{v\&Element;V}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(u,v)A(m+u,n+v)B(m+u,n+v)}{S_A(m,n)+S_B(m,n)}$

(8)

第三步，对于图像A、B对应局部区域，当其之间的匹配度M_AB小于阈值T(一般取0.85)时，说明两图像在该区域上的能量差别较大，此时选择能量大的区域中心像素灰度值作为融合后图像F在对应区域上的中心点的灰度值；反之，当两幅图像在该区域上的能量相近，那么，采用加权平均的方式确定融合后图像在该区域上的中心点的灰度值。上述过程用公式可表示为：

当M_AB(m,n)≤T时：

(9)

当M_AB(m,n)＞T时：

F(m,n)＝w(m,n)A(m,n)+[1-w(m,n)]B(m,n)

(10)

(11)

在上述基于区域能量的融合规则算法中，采用了像素点的邻域信息作为衡量标准，针对高频融合后图像中的某一个像素点的值，当融合的两幅图像在该位置上的值相差很大，就利用大的像素值作为融合后的结果，当两个值相差很小，就利用公式(11)得到各自的融合权重系数，使用加权平均的方法进行融合。利用上述算法，求得了A、B图像的高频图像的相同层的融合后图像F的(m,n)点的像素灰度值，之后利用同样的方式，可以求得图像F各个点的像素灰度值，也即，完成了高频图像融合。它相对于仅根据单一独立像素的简单选择(灰度极值法)或简单加权的方式(权重系数直接给出)进行图像融合，更为合理。

图像重构时，经过了上述的低频融合和高频融合过程，得到一个融合后拉普拉斯金字塔，对其进行如上述公式(5)中的反变换即可重构图像，得到融合结果图像。

以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种多曝光图像融合方法，其特征在于，包括：

多尺度分解步骤，对于两幅图像，对两幅图像进行包括低通滤波、降采样、内插值和带通滤波的拉普拉斯金字塔分解，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔，分别得到两幅图像的低频图像和高频图像； 

低频图像融合步骤，采用室内室外场景图像的拉普拉斯低频图像作为训练样本，利用字典学习算法K-SVD生成字典矩阵，根据字典矩阵将两幅图像各自的低频图像分成多个图像块，根据两幅图像各自相同位置的低频图像块的稀疏系数向量及对应的加权因子，求出两幅图像各自相同位置的低频图像融合后的待重构系数，多个待重构系数组成的融合后的系数矩阵，系数矩阵和字典矩阵相乘，获得融合后的低频图像，其中所述加权因子由稀疏系数向量的范数确定； 

高频图像融合步骤，计算两幅图像的高频图像之间的匹配度，当匹配度小于阈值时，选择能量大的区域中心像素灰度值作为融合后图像在对应区域上的中心点的灰度值，当匹配度不小于阈值时，对高频图像采用加权平均的方式确定融合后图像在对应区域上的中心点的灰度值，依次求得的各个中心点的灰度值作为融合后的高频图像各个点的像素的灰度值，获得融合后的高频图像；

图像重构步骤，经过了上述的低频图像融合和高频图像融合步骤，得到一个融合后的拉普拉斯金字塔，对其进行反变换重构图像，得到两幅图像融合后的图像。

2.一种如权利要求1所述的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔时，层数是人工设定的。

3.一种如权利要求1所述的多曝光图像融合方法，其特征在于，用N层高斯金字塔的每一层图像减去其上一层图像，对结果进行上采样并作高斯卷积处理，便可得到N-1个差值图像，即为拉普拉斯金字塔的高频图像，N层高斯金字塔的顶层图像为拉普拉斯金字塔的低频图像。

4.一种如权利要求1所述的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔时，层数为4，每幅图像可得到3个高频图像，1个低频图像。