CN107945148B - 一种基于mrf区域选择的多曝光度图像融合方法 - Google Patents
一种基于mrf区域选择的多曝光度图像融合方法 Download PDFInfo
- Publication number
- CN107945148B CN107945148B CN201711354103.8A CN201711354103A CN107945148B CN 107945148 B CN107945148 B CN 107945148B CN 201711354103 A CN201711354103 A CN 201711354103A CN 107945148 B CN107945148 B CN 107945148B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- mrf
- images
- dynamic object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 9
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 239000004816 latex Substances 0.000 claims description 5
- 229920000126 latex Polymers 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于MRF区域选择的多曝光度图像融合方法，本发明运用的算法主要由图像对齐模块、权重图计算模块、动态物体检测模块、区域选择模块、泊松融合模块构成；本发明通过在融合图像时确定内部约束点的位置，并对添加约束点的拉普拉斯图像再解一次泊松方程，有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
Description
技术领域
本发明属于数字图像处理的技术领域，具体涉及一种基于MRF区域选择的多曝光度图像融合方法。
背景技术
现实世界场景的亮度范围非常宽广，跨度可从10-4cd/m2到106cd/m2，动态范围达10个数量级，其中动态范围是指可见区域最大亮度与最小亮度的比值。一个现实场景的动态范围远远高于现有的图像传感器可以获取和显示的范围，因为受技术水平影响，电子领域设备的动态范围设计为100:1-300:1。对于一个动态范围较高的场景，普通的摄像机不能覆盖场景所有的亮度，就会导致真实场景的亮度层次被压缩，拍摄结果出现欠曝光或过曝光的情况，无法分辨细节。真实场景中有阳光直射的地方过饱和出现一片白亮，有阴影的地方出现一片漆黑。
与普通图像相比，高动态范围(High Dynamic Range，HDR)图像拥有更高的图像质量和更多的图像细节。HDR图像像素占据更多存储数据位，尽可能的包含场景的整个亮度范围，得到层次丰富、真实感强的图像。但是由于目前技术条件的限制，很难直接通过硬件设备获取HDR图像。
为了解决此类问题，相对经济的方法是获得同一场景的一组不同曝光度图像序列进行处理得到一张曝光度较好、细节较多的图像。主要处理方法有以下两种：(1)处理多曝光图像序列得到一张HDR图像，然后将其进行色调映射(tone mapping)得到可以在普通设备上显示的、质量较高的图像。(2)跳过色调映射的过程，直接采取相应的处理方法(基于金字塔的方法，基于图像块的方法等)融合图像序列，得到包含所有输入图像细节的结果。若图像序列是由手持相机拍摄，相机抖动在所难免，为了避免鬼影现象的产生两种方法均需进行前期对齐处理。
发明内容
本发明的目的在于提供一种基于MRF区域选择的多曝光度图像融合方法，通过在融合图像时确定内部约束点的位置，并对添加约束点的拉普拉斯图像再解一次泊松方程，有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
本发明主要通过以下技术方案实现：一种基于MRF区域选择的多曝光度图像融合方法，主要包括以下步骤：
步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latentimages和权重图；
步骤A2：计算对齐图像与Latent images的序列的区别，获得动态物体标签图；
步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；
步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。
本发明是针对图像序列融合过程中对齐误差和动态物体处理的问题，本发明采用多曝光图像序列融合的办法，旨在融合图像序列时消除动态物体的影响并弥补对齐带来的误差，得到清晰、无鬼影、细节丰富的融合结果。本发明运用的算法主要由图像对齐模块、权重图计算模块、动态物体检测模块、区域选择模块、泊松融合模块构成。
本发明先将原始图像序列进行对齐，对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像；然后根据对齐图像可获得两组图像序列：第一组是根据其它输入图像的曝光度修改参考图像的曝光度得到的Latent images序列，该序列中所有图像的结构都与参考图像相同，但曝光度各不相同；第二组是综合考虑对齐图像的对比度、饱和度和曝光度获得与对齐图像一一对应的权重图；
然后通过计算对齐图像与Latent images序列的区别可以获得动态物体的标签图，该图由两种像素值构成：动态物体对应的像素值为1，其它像素值为0；之后根据权重图和动态物体标签图，利用马尔科夫随机场(Markov Random Field，MRF)选择对齐图像中曝光度较好、细节较多的区域得到一张梯度图；然后对梯度图求偏导得到拉普拉斯图，通过解两次泊松方程对拉普拉斯图像进行处理可得到最终的融合图像。下面详细介绍各个模块的作用以及实现。所述马尔科夫随机场为现有技术，故不再赘述。
所述图形对齐模块的处理方法如下：以中间曝光度的图像作为目标，其它图像向参考图像对齐；使用SIFT特征提取算法的加速算法SURF进行特征点检测并采用KLT算法进行追踪；但是SURF算法太过依赖于局部区域像素的梯度方向，有时候会产生对齐不准确的情况，本发明可以容忍对齐带来的误差，并在融合过程中消除此误差。
所述权重图计算模块的处理方法如下：首先对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，可以获得图像的对比度Ci和重要的信息，如边界和文字，被赋予更高的权重。
饱和度Si表示颜色信息的鲜亮程度，通过计算图像R、G、B三通道的标准差获得。在多曝光图像序列中，过曝光或欠曝光的区域拥有较低的Si值。根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi，根据灰度值接近0.5的程度使用高斯曲线
为灰度值分配权重；对RGB三个通道分别应用此高斯曲线，然后将结果相乘，可以得到图像的曝光度Ei，使用高斯曲线可以克服欠曝光(灰度值接近0)和过曝光(灰度值接近1)的情况。
利用对比度、饱和度和曝光度可以获得与输入图像对应的权重图，通过以下Hadamard积实现：
Wi＝(λ1Ci)·(λ2Si)·(λ3Ei) (1)
其中，i代表第i张输入图像；λ1，λ2和λ3是三个可调节的参数用来调整三者对权重的影响。根据输入图像得到的权重图，可以发现每张图中，细节较多的地方拥有更高的权重。
根据权重Wi可以定义MRF的第一个数据项E1：
其中，label是图像的标签，若有三张输入图像，label的值为0，1或2；eps是一个接近0的极小值，公式中分母加上eps是为了避免权重为0的情况出现；E1用来确定合成结果中该像素本来属于哪张输入图像。
所述动态物体检测模块的处理方法如下：在融合过程中尽可能减少动态物体的影响，需要提前定位出动态物体的位置；在检测动态物体区域时，本发明采用另外的MRF优化函数，定义为：
其中，p和q为像素；L(p)和L(q)分别为p和q的标签；N为由相邻像素组成的集合；ED和ES分别为MRF的数据项和平滑项。为了增加检测的准确性，将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，分别计算数据项Eu，Ew，Eo。Eu定义如下：
这里，(i,p)代表第i张图像的p像素；L为Latent images；D为输入图像与L的距离，其定义会在之后给出；thres是一个距离阈值参数；σunder是第i张图像欠曝光度区域的标准差，同理，σwell和σover是中间曝光度区域和过曝光度区域的标准差；β是用来调节标准差对结果影响的参数；γ用来整体调整曝光度的影响；J函数的定义为：
与thres一起调节距离对数据项的影响。
同理，Ew和Eo的定义如下所示：
上述数据项中，D函数的定义如下：
Dw(i,p)＝|L(i,p)-I(i,p)| (8)
与数据项相比较，平滑项的定义较为简单：
通过上述计算，每张对齐图像可以得到一张动态物体模板图M，该图只包含两种像素值：0和1，1代表动态物体，0代表其它元素。
将动态物体模板图与权重图作为区域选择模块中MRF的数据项，可以在选择好的曝光区域的同时排除动态物体的影响，用于曝光区域选择的数据项E1已在之前定义，此处定义MRF的第二个数据项E2用于动态物体检测：
Mlabel(i)＝1的地方是检测出的动态区域，因为MRF是能量最优函数，所以若某张输入图像中存在动态物体，相应的区域处E2值为无穷，即最后的标签图中该区域像素从其它图像中选择，不考虑此处有动态物体的图像。若输入图像该处均被检测为动态物体，则该区域合成的像素从参考图像中选择。
所述区域选择模块的处理方法如下：权重图获取模块和动态物体检测模块中定义了MRF的两个数据项E1和E2，现在定义完整的用于获得标签图的MRF能量函数：
其中，xi是像素i的标签；υ是所有元素组成的集合；ε是由相邻元素组成的集合；λ′和λ″是协调参数，用于协调各项的影响；E3(xi,xj)是MRF的平滑项，用来衡量相邻元素间的标签相似性，E3定义如下：
E3(xi,xj)＝|xi-xj|·g(Cij) (13)
这里g(Cij)＝1/(1+Cij)，Cij表示两个像素i和j的颜色相似性：
Cij＝sqrt(R(i-j) 2+G(i-j) 2+B(i-j) 2) (14)
其中R(i-j)代表图像R通道两个像素i和j的差值。当两个像素拥有很大的不同时，g(Cij)接近0，由此可将E3(xi,xj)理解为惩罚项，相邻的两元素被分配不同的标签时会受到惩罚。
最终的标签有对齐图像序列、考虑E2得到标签图、未考虑E2得到的标签图；所述未考虑E2得到的标签图中可以发现图中的动态物体(人)被赋予不同的标签，在合成时很容易产生鬼影；所述考虑E2得到标签图中可以有效处理动态物体。
所述泊松融合模块的处理方法如下：在获得标签图后，根据标签图将输入图像对应的梯度值合成一张梯度图像，该图像包含各输入图像中曝光度较好、细节较多的区域。然后再对此梯度图求偏导得到拉普拉斯图，通过解两次泊松方程将拉普拉斯图像转换成RGB图像，即最终的融合结果。如果直接将对齐图像进行拉普拉斯变换，然后合成拉普拉斯图像进行泊松融合，会出现过渡不自然的情况，所以先求梯度图是必须的。
解泊松方程可以简单的理解为处理一个线性稀疏***：Ax＝b，A是一个稀疏矩阵，由-1、4和大量的0组成，b是由图像边界元素组成的列向量。边界元素并不是简单的根据标签图选择相应图像的边界，实验证明，采用投票方法选择相应图像的边界，并选择合适的阈值tvote可以得到更好的结果。边界元素采用投票方法，且tvote为60％；当图像分成的小块大小为100×100时，tcons为8000。
添加合适的边界约束可以有效的约束合成结果的整体亮度，否则会产生过亮或过暗的区域，只采用第一张输入图像的边界作为约束得到的结果，图像整体偏亮，部分细节丢失；只采用第二张输入图像的边界作为约束得到的结果，图像整体偏亮，部分细节丢失。
但是有些图像内部信息并不能通过边界约束恢复，会出现内部细节丢失的情况，所以提出添加内部约束点的方法。将图像分成大小相等的规则小块，分别计算输入图像与结果图的相应小块的元素和，并将两者做差，若此差值超过设定的阈值tcons则认为合成图像此处与输入图像差别较大，判定合成图像此处有细节丢失，则在该区域中心处添加一个像素约束点并重新解泊松方程。S(out)代表融合结果，然后根据S(out)中心点像素(即S(out)22)对应的标签确定选择哪张输入图像进行做差，由此得到S(in)。差值的计算如下所示：
然后，若差值res超过设定的阈值，则解泊松方程时在S(out)22处添加一个约束点用来约束此处信息，减少细节丢失。多曝光度图像融合方法最终的结果证明，算法可以有效地处理不同拍摄场景以及相机动态下的多曝光度图像序列。
本发明的有益效果：
(1)所述步骤A4通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果；本发明有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
(2)所述步骤A1中对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，获得对比度Ci；通过计算图像R、G、B三通道的标准差获得饱和度Si；RGB三个通道分别应用高斯曲线并将结果相乘获得图像的曝光度；根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi；利用对比度Ci、饱和度Si和曝光度Ei可以获得与输入图像对应的权重图；本发明使用高斯曲线可以克服欠曝光(灰度值接近0)和过曝光(灰度值接近1)的情况。
(3)所述步骤A3中将动态物体模板图与权重图作为区域选择模块中MRF的数据项，可以在选择好的曝光区域的同时排除动态物体的影响；所述步骤A3中提前定位出动态物体的位置，在融合过程中有效降低动态物体的影响。
(4)所述步骤A2中获得对齐图像和Latent images后，用MRF优化函数检测每张图像中的动态物体获得动态物体标签图；将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，所述MRF的数据项有Eu，Ew，Eo，增加了检测的准确性。
(5)通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果；本发明通过两次解泊松方程可以实现图像的过渡自然。
(6)所述A4中解泊松方程中有Ax＝b，所述A是一个稀疏矩阵且由-1、4和0组成；所述b是由图像边界元素组成的列向量，边界元素采用投票方法选择相应图像的边界，且tvote为60％；当图像分成的小块大小为100×100时，tcons为8000；本发明采用投票方法选择相应图像的边界，并选择合适的阈值tvote可以得到较细致的图像；本发明可以有效地处理不同拍摄场景以及相机动态下的多曝光度图像序列。
附图说明
图1为多曝光度图像序列融合算法流程图；
图2为权重图序列；
图3为动态物体检测示意图；
图4为标签示意图；
图5为约束效果示意图；
图6为内部约束点计算示例图。
具体实施方式
实施例1：
一种基于MRF区域选择的多曝光度图像融合方法，主要包括以下步骤：
步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latentimages和权重图；
步骤A2：计算对齐图像与Latent images的序列的区别，获得动态物体标签图；
步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；
步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。
如图1所示，本发明的算法主要由图像对齐、权重图计算、动态物体检测、区域选择、泊松融合模块构成。本发明先将原始图像序列进行对齐，对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像；然后根据对齐图像可获得两组图像序列：第一组是根据其它输入图像的曝光度修改参考图像的曝光度得到的Latent images序列，该序列中所有图像的结构都与参考图像相同，但曝光度各不相同；第二组是综合考虑对齐图像的对比度、饱和度和曝光度获得与对齐图像一一对应的权重图；
然后通过计算对齐图像与Latent images序列的区别可以获得动态物体的标签图，该图由两种像素值构成：动态物体对应的像素值为1，其它像素值为0；之后根据权重图和动态物体标签图，利用马尔科夫随机场(MarkovRandomField，MRF)选择对齐图像中曝光度较好、细节较多的区域得到一张梯度图；然后对梯度图求偏导得到拉普拉斯图，通过解两次泊松方程对拉普拉斯图像进行处理可得到最终的融合图像。
所述步骤A4通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果；本发明有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
实施例2：
本实施例是在实施例1的基础上进一步优化，所述权重图计算模块的处理方法如下：首先对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，可以获得图像的对比度Ci和重要的信息，如边界和文字，被赋予更高的权重。
饱和度Si表示颜色信息的鲜亮程度，通过计算图像R、G、B三通道的标准差获得。在多曝光图像序列中，过曝光或欠曝光的区域拥有较低的Si值。根据灰度值接近0.5的程度使用高斯曲线为灰度值分配权重Wi，根据灰度值接近0.5的程度使用高斯曲线
为灰度值分配权重；对RGB三个通道分别应用此高斯曲线，然后将结果相乘，可以得到图像的曝光度Ei，使用高斯曲线可以克服欠曝光(灰度值接近0)和过曝光(灰度值接近1)的情况。
利用对比度、饱和度和曝光度可以获得与输入图像对应的权重图，通过以下Hadamard积实现：
Wi＝(λ1Ci)·(λ2Si)·(λ3Ei) (1)
其中，i代表第i张输入图像；λ1，λ2和λ3是三个可调节的参数用来调整三者对权重的影响。如图2所示，图2(b)根据图2(a)的输入图像得到的权重图，可以发现每张图中，细节较多的地方拥有更高的权重。
根据权重Wi可以定义MRF的第一个数据项E1：
其中，label是图像的标签，若有三张输入图像，label的值为0，1或2；eps是一个接近0的极小值，公式中分母加上eps是为了避免权重为0的情况出现；E1用来确定合成结果中该像素本来属于哪张输入图像。
本实施例的其他部分同实施例1，故不再赘述。
实施例3：
本实施例是在实施例2的基础上进一步优化，所述动态物体检测模块的处理方法如下：在融合过程中尽可能减少动态物体的影响，需要提前定位出动态物体的位置；在检测动态物体区域时，本发明采用另外的MRF优化函数，定义为：
其中，p和q为像素；L(p)和L(q)分别为p和q的标签；N为由相邻像素组成的集合；ED和ES分别为MRF的数据项和平滑项。为了增加检测的准确性，将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，分别计算数据项Eu，Ew，Eo。Eu定义如下：
这里，(i,p)代表第i张图像的p像素；L为Latent images；D为输入图像与L的距离，其定义会在之后给出；thres是一个距离阈值参数；σunder是第i张图像欠曝光度区域的标准差，同理，σwell和σover是中间曝光度区域和过曝光度区域的标准差；β是用来调节标准差对结果影响的参数；γ用来整体调整曝光度的影响；J函数的定义为：
与thres一起调节距离对数据项的影响。
同理，Ew和Eo的定义如下所示：
上述数据项中，D函数的定义如下：
Dw(i,p)＝|L(i,p)-I(i,p)| (8)
与数据项相比较，平滑项的定义较为简单：
通过上述计算，每张对齐图像可以得到一张动态物体模板图M，该图只包含两种像素值：0和1，1代表动态物体，0代表其它元素。如图3(c)所示，其中第二张输入图像作为参考图像，所以其模板图元素全为0；图3(a)是对齐图像序列，图3(b)是Latent images序列。
将动态物体模板图与权重图作为区域选择模块中MRF的数据项，可以在选择好的曝光区域的同时排除动态物体的影响，用于曝光区域选择的数据项E1已在之前定义，此处定义MRF的第二个数据项E2用于动态物体检测：
Mlabel(i)＝1的地方是检测出的动态区域，因为MRF是能量最优函数，所以若某张输入图像中存在动态物体，相应的区域处E2值为无穷，即最后的标签图中该区域像素从其它图像中选择，不考虑此处有动态物体的图像。若输入图像该处均被检测为动态物体，则该区域合成的像素从参考图像中选择。
本实施例的其他部分同实施例2，故不再赘述。
实施例4：
本实施例是在实施例3的基础上进一步优化，所述区域选择模块的处理方法如下：权重图获取模块和动态物体检测模块中定义了MRF的两个数据项E1和E2，现在定义完整的用于获得标签图的MRF能量函数：
其中，xi是像素i的标签；υ是所有元素组成的集合；ε是由相邻元素组成的集合；λ′和λ″是协调参数，用于协调各项的影响；E3(xi,xj)是MRF的平滑项，用来衡量相邻元素间的标签相似性，E3定义如下：
E3(xi,xj)＝|xi-xj|·g(Cij) (13)
这里g(Cij)＝1/(1+Cij)，Cij表示两个像素i和j的颜色相似性：
Cij＝sqrt(R(i-j) 2+G(i-j) 2+B(i-j) 2) (14)
其中R(i-j)代表图像R通道两个像素i和j的差值。当两个像素拥有很大的不同时，g(Cij)接近0，由此可将E3(xi,xj)理解为惩罚项，相邻的两元素被分配不同的标签时会受到惩罚。
最终的标签如图4所示，图4(a)为对齐图像序列，图4(b)是未考虑E2得到的标签图，可以发现图中的动态物体(人)被赋予不同的标签，在合成时很容易产生鬼影；图4(c)是考虑E2得到标签图，可以有效处理动态物体。
本实施例的其他部分同实施例3，故不再赘述。
实施例5：
本实施例是在实施例1或4的基础上进一步优化，所述泊松融合模块的处理方法如下：在获得标签图后，根据标签图将输入图像对应的梯度值合成一张梯度图像，该图像包含各输入图像中曝光度较好、细节较多的区域。然后再对此梯度图求偏导得到拉普拉斯图，通过解两次泊松方程将拉普拉斯图像转换成RGB图像，即最终的融合结果。如果直接将对齐图像进行拉普拉斯变换，然后合成拉普拉斯图像进行泊松融合，会出现过渡不自然的情况，所以先求梯度图是必须的。
解泊松方程可以简单的理解为处理一个线性稀疏***：Ax＝b，A是一个稀疏矩阵，由-1、4和大量的0组成，b是由图像边界元素组成的列向量。边界元素并不是简单的根据标签图选择相应图像的边界，实验证明，采用投票方法选择相应图像的边界。
添加合适的边界约束可以有效的约束合成结果的整体亮度，否则会产生过亮或过暗的区域，如图5所示，图5(a)是输入图像序列，图5(e)是只采用第一张输入图像的边界作为约束得到的结果，图像整体偏亮，天空部分细节丢失；图5(f)是只采用第二张输入图像的边界作为约束得到的结果，图像整体偏亮，建筑物部分细节丢失。
但是有些图像内部信息并不能通过边界约束恢复，会出现内部细节丢失的情况，所以提出添加内部约束点的方法。具体方法如图5(b)所示，将图像分成大小相等的规则小块，分别计算输入图像与结果图的相应小块的元素和，并将两者做差，若此差值超过设定的阈值tcons则认为合成图像此处与输入图像差别较大，判定合成图像此处有细节丢失，则在该区域中心处添加一个像素约束点并重新解泊松方程。如图6所示，S(out)代表融合结果，然后根据S(out)中心点像素(即S(out)22)对应的标签确定选择哪张输入图像进行做差，由此得到S(in)。差值的计算如下所示：
然后，若差值res超过设定的阈值，则解泊松方程时在S(out)22处添加一个约束点用来约束此处信息，减少细节丢失。图6(b)是通过计算添加的约束点位置，图6(c)是未添加约束点的结果图，建筑物处有明显细节丢失，图6(d)是添加约束点后的结果图，含有更多的图像细节。多曝光度图像融合方法最终的结果证明，算法可以有效地处理不同拍摄场景以及相机动态下的多曝光度图像序列。
所述步骤A4通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果；本发明有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
本实施例的其他部分与实施例1或4相同，故不再赘述。
实施例6：
一种基于MRF区域选择的多曝光度图像融合方法，主要包括以下步骤：
第一步：初始化相关参数；
(1)在权重图获取模块中，高斯曲线中σ的取值为0.2；λ1,λ2和λ3的初始值为1；eps取值为10-6。
(2)在动态物体检测模块中，阈值thres的取值为5；β的取值为0.2；γ的取值为10。
(3)在区域选择模块中，两个调节参数λ′和λ″的取值分别为5和10。其中λ′取值越大，得到的标签图越连续。
(4)在泊松融合模块，tvote的取值为60％；当图像分成的小块大小为100×100时，tcons取值为8000，若小块大小改变，则tcons有稍微改变。
第二步：利用SURF对原始图像进行对齐，可以容忍一定程度的对齐误差存在；
第三步：用直方图规定的方法获得Latent images，将对齐图像求偏导数获得梯度图，并根据公式(1)求出权重图；
第四步：获得对齐图像和Latent images后，用公式(3)检测每张图像中的动态物体，获得动态物体标签图；
第五步：根据动态物体标签图和权重图序列，利用公式(12)选择对齐图像中曝光度好、细节多的区域合成得到一张梯度合成图；
第六步：对此梯度图求偏导获得拉普拉斯图像；
第七步：通过解泊松方程将拉普拉斯图像恢复成RGB图像，利用公式(15)确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。最终的融合结果不仅可以消除对齐误差，还可以有效处理图像序列中存在的动态物体。
本发明通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果；本发明有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (10)
1.一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，主要包括以下步骤：
步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latentimages和权重图；
步骤A2：计算对齐图像与Latent images的序列的区别，获得动态物体标签图；
步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；
步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。
2.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中先将原始图像序列进行对齐，对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像；以参考图像作为目标，其它图像向参考图像对齐；使用SIFT特征提取算法的加速算法SURF进行特征点检测并采用KLT算法进行追踪。
3.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中用直方图规定的方法获得Latent images，根据输入图像的曝光度修改参考图像的曝光度得到Latent images序列，序列中所有图像的结构都与参考图像相同，但曝光度各不相同。
4.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中综合考虑对齐图像的对比度Ci、饱和度Si和曝光度Ei获得与对齐图像一一对应的权重图。
5.根据权利要求4所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，获得对比度Ci；通过计算图像R、G、B三通道的标准差获得饱和度Si；RGB三个通道分别应用高斯曲线并将结果相乘获得图像的曝光度；根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi；利用对比度Ci、饱和度Si和曝光度Ei可以获得与输入图像对应的权重图，通过以下Hadamard积实现：
Wi＝(λ1Ci)·(λ2Si)·(λ3Ei) (1)
其中，i代表第i张输入图像；λ1，λ2和λ3是三个可调节的参数用来调整三者对权重的影响。
6.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A2中获得对齐图像和Latent images后，用MRF优化函数检测每张图像中的动态物体获得动态物体标签图；所述MRF优化函数表达式为：
其中p和q为像素；L(p)和L(q)分别为p和q的标签；N为由相邻像素组成的集合；ED和ES分别为MRF的数据项和平滑项；为了增加检测的准确性，将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，分别计算Eu，Ew，Eo数据项；其中Eu定义如下：
其中(i,p)代表第i张图像的p像素；L为Latent images；D为输入图像与L的距离，其定义会在之后给出；thres是一个距离阈值参数；σunder是第i张图像欠曝光度区域的标准差，同理，σwell和σover是中间曝光度区域和过曝光度区域的标准差；β是用来调节标准差对结果影响的参数；γ用来整体调整曝光度的影响；J函数的定义为：
与thres一起调节距离对数据项的影响；
同理，Ew和Eo的定义如下：
上述数据项中，D函数的定义如下：
Dw(i,p)＝|L(i,p)-I(i,p)| (8)
所述平滑项的定义如下：
通过上述计算，每张对齐图像可以得到一张动态物体模板图M，所述动态物体模板图M只包含0和1两种像素值，其中1代表动态物体，0代表其它元素。
7.根据权利要求6所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A3中将动态物体模板图与权重图作为区域选择模块中MRF的数据项，可以在选择好的曝光区域的同时排除动态物体的影响；根据权重Wi可以定义MRF的第一个数据项E1：
其中，label是图像的标签，若有三张输入图像，label的值为0，1或2；eps是一个接近0的极小值，公式中分母加上eps是为了避免权重为0的情况出现；E1用来确定合成结果中该像素本来属于哪张输入图像；
定义MRF的第二个数据项E2用于动态物体检测，其中E2的公式如下：
其中Mlabel(i)＝1的地方是检测出的动态区域，因为MRF是能量最优函数，所以若某张输入图像中存在动态物体，相应的区域处E2值为无穷，即最后的标签图中该区域像素从其它图像中选择，不考虑此处有动态物体的图像；若输入图像该处均被检测为动态物体，则该区域合成的像素从参考图像中选择。
8.根据权利要求7所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A3中定义完整的用于获得标签图的MRF能量函数如下：
其中xi是像素i的标签；υ是所有元素组成的集合；ε是由相邻元素组成的集合；λ′和λ″是协调参数，用于协调各项的影响；E3(xi,xj)是MRF的平滑项，用来衡量相邻元素间的标签相似性，E3定义如下：
E3(xi,xj)＝|xi-xj|·g(Cij) (13)
这里g(Cij)＝1/(1+Cij)，Cij表示两个像素i和j的颜色相似性：
Cij＝sqrt(R(i-j) 2+G(i-j) 2+B(i-j) 2) (14)
其中R(i-j)代表图像R通道两个像素i和j的差值，当两个像素拥有很大的不同时，g(Cij)接近0，由此可将E3(xi,xj)作为惩罚项，相邻的两元素被分配不同的标签时会受到惩罚。
9.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，步骤A4中将图像分成大小相等的规则小块，分别计算输入图像与结果图的相应小块的元素和，并将两者做差，若此差值超过设定的阈值tcons则认为合成图像此处与输入图像差别较大，判定合成图像此处有细节丢失，则在该区域中心处添加一个像素约束点并重新解泊松方程；根据融合结果S(out)的中心点像素S(out)22对应的标签确定选择图像进行做差得到S(in)，其中差值的计算公式如下：
若差值res超过设定的阈值tcons，则解泊松方程时在S(out)22处添加一个约束点用来约束此处信息，减少细节丢失。
10.根据权利要求9所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述A4中解泊松方程中有Ax＝b，所述A是一个稀疏矩阵且由-1、4和0组成；所述b是由图像边界元素组成的列向量，边界元素采用投票方法选择相应图像的边界，且tvote为60％；当图像分成的小块大小为100×100时，tcons为8000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711354103.8A CN107945148B (zh) | 2017-12-15 | 2017-12-15 | 一种基于mrf区域选择的多曝光度图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711354103.8A CN107945148B (zh) | 2017-12-15 | 2017-12-15 | 一种基于mrf区域选择的多曝光度图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107945148A CN107945148A (zh) | 2018-04-20 |
| CN107945148B true CN107945148B (zh) | 2021-06-01 |
Family
ID=61943553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711354103.8A Active CN107945148B (zh) | 2017-12-15 | 2017-12-15 | 一种基于mrf区域选择的多曝光度图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107945148B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934772B (zh) | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
| CN113674181B (zh) * | 2020-05-13 | 2024-07-02 | 武汉Tcl集团工业研究院有限公司 | 一种多曝光图像的对齐融合方法及设备 |
| CN113793318B (zh) * | 2021-09-13 | 2023-04-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多区域复杂损伤缺陷特征综合分析方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247036A (zh) * | 2012-02-10 | 2013-08-14 | 株式会社理光 | 多曝光图像融合方法和装置 |
| US8885976B1 (en) * | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
| CN104299263A (zh) * | 2014-09-14 | 2015-01-21 | 北京航空航天大学 | 一种基于单幅图像建模云场景的方法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN104899845A (zh) * | 2015-05-10 | 2015-09-09 | 北京工业大学 | 一种基于lαβ空间场景迁移的多曝光图像融合方法 |
| CN104978722A (zh) * | 2015-07-06 | 2015-10-14 | 天津大学 | 基于背景建模的多曝光图像融合鬼影去除方法 |
| CN105574919A (zh) * | 2015-12-28 | 2016-05-11 | 浙江大学 | 一种将唐卡线描图生成浮雕效果的方法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| CN106169182A (zh) * | 2016-05-25 | 2016-11-30 | 西安邮电大学 | 一种合成多幅不同曝光度图像的方法 |
| CN106251365A (zh) * | 2016-07-22 | 2016-12-21 | 北京邮电大学 | 多曝光视频融合方法及装置 |
| CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
| CN106960414A (zh) * | 2016-12-12 | 2017-07-18 | 天津大学 | 一种多视角ldr图像生成高分辨率hdr图像的方法 |
-
2017
- 2017-12-15 CN CN201711354103.8A patent/CN107945148B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247036A (zh) * | 2012-02-10 | 2013-08-14 | 株式会社理光 | 多曝光图像融合方法和装置 |
| US8885976B1 (en) * | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
| CN104299263A (zh) * | 2014-09-14 | 2015-01-21 | 北京航空航天大学 | 一种基于单幅图像建模云场景的方法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN104899845A (zh) * | 2015-05-10 | 2015-09-09 | 北京工业大学 | 一种基于lαβ空间场景迁移的多曝光图像融合方法 |
| CN104978722A (zh) * | 2015-07-06 | 2015-10-14 | 天津大学 | 基于背景建模的多曝光图像融合鬼影去除方法 |
| CN105574919A (zh) * | 2015-12-28 | 2016-05-11 | 浙江大学 | 一种将唐卡线描图生成浮雕效果的方法 |
| CN106169182A (zh) * | 2016-05-25 | 2016-11-30 | 西安邮电大学 | 一种合成多幅不同曝光度图像的方法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| CN106251365A (zh) * | 2016-07-22 | 2016-12-21 | 北京邮电大学 | 多曝光视频融合方法及装置 |
| CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
| CN106960414A (zh) * | 2016-12-12 | 2017-07-18 | 天津大学 | 一种多视角ldr图像生成高分辨率hdr图像的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Ghost-Free High Dynamic Range Imaging via Moving Objects Detection and Extension;Benkang Zhang等;《Proceedings of APSIPA Annual Summit and Conference 2015》;20151219;全文 * |
| Poisson image fusion based on Markov random field fusion model;Jian Sun等;《Information Fusion》;20131231;全文 * |
| 细节保留的多曝光图像融合;李卫中等;《光学精密工程》;20160930;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107945148A (zh) | 2018-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2693738B1 (en) | Image processing device, image processing method, image processing program, and recording medium | |
| EP2987134B1 (en) | Generation of ghost-free high dynamic range images | |
| CN107945148B (zh) | 一种基于mrf区域选择的多曝光度图像融合方法 | |
| CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN105931213B (zh) | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 | |
| Sidike et al. | Adaptive trigonometric transformation function with image contrast and color enhancement: Application to unmanned aerial system imagery | |
| CN112785534A (zh) | 一种动态场景下去鬼影多曝光图像融合方法 | |
| US20120128202A1 (en) | Image processing apparatus, image processing method and computer readable information recording medium | |
| CN111340732B (zh) | 一种低照度视频图像增强方法及装置 | |
| WO2011031331A1 (en) | Interactive tone mapping for high dynamic range video | |
| US20150092075A1 (en) | Method, apparatus, and system for generating high dynamic range image | |
| US8488899B2 (en) | Image processing apparatus, method and recording medium | |
| CN112927162A (zh) | 一种面向低照度图像的增强方法及*** | |
| CN111932594B (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
| Xu et al. | Novel intensity mapping functions: Weighted histogram averaging | |
| CN114549373A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
| Thomas et al. | Color balancing for change detection in multitemporal images | |
| CN115797224A (zh) | 一种去除鬼影的高动态图像生成方法、装置及存储介质 | |
| Johnson | High dynamic range imaging—A review | |
| CN114998173A (zh) | 基于局部区域亮度调节的空间环境高动态范围成像方法 | |
| Shen et al. | Over-exposure image correction with automatic texture synthesis | |
| Nie et al. | Image Defogging Based on Joint Contrast Enhancement and Multi-scale Fusion | |
| Nguyen et al. | FPGA-based Haze removal architecture using multiple-exposure fusion | |
| US20210035308A1 (en) | Apparatus and method for calculating motion vector | |
| CN112258434A (zh) | 一种静态场景下细节保持多曝光图像融合算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |