CN109754377B - 一种多曝光图像融合方法 - Google Patents
一种多曝光图像融合方法 Download PDFInfo
- Publication number
- CN109754377B CN109754377B CN201811632569.4A CN201811632569A CN109754377B CN 109754377 B CN109754377 B CN 109754377B CN 201811632569 A CN201811632569 A CN 201811632569A CN 109754377 B CN109754377 B CN 109754377B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- brightness
- calculating
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种多曝光图像融合方法,解决细节信息保留不完整和鬼影消除不彻底的技术问题,通过采用步骤一,使用多曝光图像序列的曝光亮度和色度信息构建初始权重图;步骤二,首先,对低动态图像序列进行运动物体检测,计算出运动区域,然后使用基于超像素分割的鬼影消除方法消除鬼影;步骤三,完成对步骤一的初始权重图进行鬼影修正;步骤四,对步骤三鬼影修正后的权重图进行归一化处理;步骤五,根据步骤四中的权重图构造权重的高斯金字塔,构造低动态图像序列的拉普拉斯金字塔,定义细节增益项,计算融合金字塔,根据融合金字塔进行图像重构得出融合图像HDR的技术方案,较好的解决了该问题,可用于图像处理中。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种多曝光图像融合方法。
背景技术
普通数码相机的动态表示范围远远低于自然场景的动态范围,拍摄的图像往往出现“过亮”或者“过暗”区域,无法满足人们的视觉体验,高动态范围(high dynamic range,HDR)成像技术旨在解决这个问题。多曝光图像融合是实现图像高动态范围展示的一种有效方式。与基于色调映射的HDR方法不同的是,基于多曝光图像融合的方法跳过了获取HDR图像数据的步骤,因此,实现HDR成像所耗费的时间通常少于基于色调映射的方法。
近年来,不少专家学者对多曝光图像相关算法进行了深入的研究。Mertens T.等首次提出了基于Laplacian金字塔的多曝光图像融合算法,以对比度、饱和度和曝光适中度为权重衡量因子,但容易丢失局部细节信息。Shen R.等提出一种基于概率模型的广义随机游走多曝光图像融合方法,易导致局部细节丢失。Li S.等提出了基于引导滤波的多曝光图像融合算法,将图像分为全局层和细节层,采用引导滤波分别构造全局层和细节层权重,该方法能够较好的保留局部细节信息,但造成全局亮度分布不均匀。
现有的方法适用于静态图像融合,当LDR图像序列中存在运动物体时,上述多曝光融合方法则会产生鬼影现象。近年来,Li S.等提出基于迭代滤波的多曝光融合算法,并利用直方图均衡和中值滤波消除鬼影,但无法完全消除鬼影。
为了解决细节信息保留不完整和鬼影消除不完整的技术问题,本发明提供一种新的多曝光图像融合方法。
发明内容
本发明所要解决的技术问题是现有技术中存在的细节信息保留不完整和鬼影消除不完整的技术问题。提供一种新的多曝光图像融合方法,该多曝光图像融合方法具有细节信息保留完整和鬼影消除完整的特点。
为解决上述技术问题,采用的技术方案如下:
一种多曝光图像融合方法,所述多曝光图像融合方法包括:
步骤一,使用LDR图像序列的曝光亮度和色度信息构建初始权重图;
步骤二,对LDR多曝光图像序列进行运动物体检测,计算出运动区域,使用超像素分割的鬼影消除方法消除鬼影,完成对步骤一的初始权重图进行鬼影修正;
步骤三,对步骤三鬼影修正后的权重图进行归一化处理,得到:
步骤四,根据步骤三的归一化的权重图计算出权重的高斯金字塔,定义LDR图像序列的Laplacian金字塔以及细节增益项,计算出融合金字塔,根据融合金字塔进行图像重构得出融合图像HDR。
本发明的工作原理:本发明首先分别以曝光亮度和色度信息设计权重衡量指标;然后利用超像素分割的方法检测并消除动态鬼影区域;最后基于Laplacian金字塔进行图像融合,并增强金字塔高频信息层,突出局部细节。解决了现有技术中存在的细节信息保留不完整和鬼影消除不完整的技术问题。消除了容易造成局部细节信息丢失,容易产生光晕现象,容易产生鬼影现象或鬼影消除不彻底。人类的视觉***观察物体时与像素的曝光亮度有直接的关系,过暗或者过亮的区域都将使人眼无法获取到场景的细节信息,因此本发明将图像曝光亮度作为权重融合衡量的指标之一。色彩是衡量图像质量的重要因子,也是人眼感知外界必不可少的因素,也作为权重融合衡量的指标之一。通过图像差分方法能够消除在一定程度上运动物体所导致的鬼影现象,但是不能完全消除。为了完全消除鬼影,本发明采用了基于超像素分割方法检测运动物体。传统的直接加权融合方法往往会出现融合图像产生不连续区域与缝隙现象,基于金字塔的图像融合能较好的解决这个问题,但基于传统的Laplacian金字塔融合往往不能很好的保留图像的细节信息。本发明改进细节增强的Laplacian金字塔方法,融合多曝光图像序列,使图像细节更清晰。
上述方案中,为优化,进一步地,所述步骤一包括:
步骤1.1,将LDR图像序列转换到YIQ颜色空间;
步骤1.2,根据YIQ颜色空间的亮度值计算曝光亮度,根据YIQ颜色空间的色度值计算色度信息;
步骤1.3,根据LDR图像序列的曝光亮度和色度信息构成初始权重图。
进一步地,计算曝光亮度包括:
步骤1.2.1,排除LDR图像序列中曝光过暗区域或者过亮区域的干扰影响,定义第k幅输入图像的曝光亮度为:
步骤1.2.2,建立曝光适中度根据像素值的高斯分布,对曝光越好的像素值分配越高的融合权重;对曝光较越差的像素值分配越小的融合权重;定义亮度值范围内中间的亮度值为最佳曝光值,归一化计算第k幅输入图像的曝光适中度为:
步骤1.2.3,计算出LDR图像序列的曝光亮度为:
进一步地,计算色度信息包括:
步骤1.2.4,定义欧几里德距离衡量色彩信息:
步骤1.2.5,色度信息衡量指标为保留输入图像中的表现较好的色彩信息,色度信息为:
进一步地,步骤二包括:
步骤2.1,预设表征曝光度相似的误差值阀值,定义参考图像,将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内,得到:
其中,IMF(·)为强度映射函数,..为曝光调整后的图像集,Iref为参考图像;
步骤2.3,检测运动状态的物体:
其中,T1为判断运动像素的阈值,Ck(x,y)=0为该像素为运动物体,Ck(x,y)=0则为该像素为非运动物体;
步骤2.4,对参考图像进行超像素分割,得到超像素集合S={S1,S2,···,Sn},计算出超像素类别数n为:
n=floor(r*c/ω2)
其中,floor(·)定义为向下取整的函数;r输入图像的高度的像素个数,c为输入图像宽度的像素个数;
使用超像素方法进行修正,得到:
进一步地,步骤四中Laplacian金字塔以及细节增益项的过程为计算出:
J为金字塔的层数,r为输入图像的高度的像素个数,c为输入图像的宽度的像素个数;
使用YIQ颜色空间中的曝光亮度和色度信息来测量重量图。当捕获的场景对于移动对象是动态的时,基于图像差异和超像素分割来细化权重图可以去除重影伪像。改进的拉普拉斯金字塔融合框架,可以实现细节增强的图像融合。
本发明的有益效果:本发明能够保留更多的图像细节,使融合后的图像更清晰。本发明能够有效消除运动物体产生的鬼影现象。本发明可以广泛应用于各类场景的高动态成像。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1,实施例1的方法流程框架示意图。
图2,构造初始权重示意图。
图3,鬼影检测流程示意图。
图4,细节增强的图像融合框架示意图。
图5,图像集“Belgium House”的输入序列示意图。
图6,图像集“Belgium House”的实验对比示意图。
图7,图像集“Belgium House”的细节对比示意图。
图8,图像集“ArchSequence”的输入序列示意图。
图9,图像集“ArchSequence”的实验对比示意图。
图10,图像集“Horse”的输入序列示意图。
图11,图像集“Horse”的实验对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
本实施例提供一种多曝光图像融合方法,如图1,所述多曝光图像融合方法包括:
步骤一,使用LDR图像序列的曝光亮度和色度信息构建初始权重图;
步骤二,对LDR图像序列进行运动物体检测出运动区域,使用超像素分割的鬼影消除方法消除鬼影,完成对步骤一的初始权重图进行鬼影修正;
步骤三,对步骤三鬼影修正后的权重图进行归一化处理,得到:
步骤四,根据步骤三的归一化的权重图计算出权重的高斯金字塔,定义LDR图像序列的Laplacian金字塔以及细节增益项,计算出融合金字塔,根据融合金字塔进行图像重构得出融合图像HDR。
具体地,静态场景的权重项根据曝光亮度、色度信息得到,如图2,所述步骤一包括:
步骤1.1,将LDR图像序列转换到YIQ颜色空间;
步骤1.2,根据YIQ颜色空间的亮度值计算曝光亮度,根据YIQ颜色空间的色度值计算色度信息;
步骤1.3,根据LDR图像序列的曝光亮度和色度信息构成初始权重图。
人类的视觉***观察物体时与像素的曝光亮度有直接的关系,过暗或者过亮的区域都将使人眼无法获取到场景的细节信息,因此本实施例将图像曝光亮度作为权重融合衡量的指标之一。
具体地,计算曝光亮度包括:
步骤1.2.1,排除LDR图像序列中曝光过暗区域或者过亮区域的干扰影响,定义第k幅输入图像的曝光亮度为:
步骤1.2.2,对于符合曝光要求的像素点,根据曝光适中度进行权重的分配,建立曝光适中度根据像素值的高斯分布,对曝光越好的像素值分配越高的融合权重;对曝光较越差的像素值分配越小的融合权重;定义亮度值范围内中间的亮度值为最佳曝光值,归一化计算第k幅输入图像的曝光适中度为:
步骤1.2.3,计算出LDR图像序列的曝光亮度为:
具体地,计算色度信息包括:
步骤1.2.4,定义欧几里德距离衡量色彩信息:
步骤1.2.5,色度信息衡量指标为保留输入图像中的表现较好的色彩信息,色度信息为:
色彩是衡量图像质量的重要因子,也是人眼感知外界必不可少的因素。对于图像色度信息的度量,本实施例在YIQ颜色空间进行计算。
具体地,如图3,步骤二包括:
步骤2.1,预设表征曝光度相似的误差值阀值,定义参考图像,将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内,得到:
步骤2.3,检测运动状态的物体:
其中,T1为判断运动像素的阈值,Ck(x,y)=0为该像素为运动物体,Ck(x,y)=1则为该像素为非运动物体;
步骤2.4,对参考图像进行超像素分割,得到超像素集合S={S1,S2,···,Sn},计算出超像素类别数n为:
n=floor(r*c/ω2)
其中,floor(·)定义为向下取整的函数;r输入图像的高度的像素个数,c为输入图像宽度的像素个数;
使用超像素方法进行修正,得到:
其中,Si为类别为i(1≤i≤n)的超像素区域;为Ck位于超像素区域Si中为0的像素数;|Si|为超像素区域Si的像素数;T2为判断超像素Si是否为运动目标的阈值,本实施例中T2=0.05,当然也可根据需要取其他值。
具体地,如图4,步骤四中Laplacian金字塔以及细节增益项的过程可以是计算出:
J为金字塔的层数,r为输入图像的高度的像素个数,c为输入图像的宽度的像素个数;
为了验证本实施例可以实现在细节增强和鬼影消除,本发明进行了实验的对比分析,实验结果如图5-11所示。
从图5-图7的对比及细节放大可以看出,本发明能够保留更多的图像细节,使融合后的图像更清晰。从图9-图11可以看出,本发明能够有效消除运动物体产生的鬼影现象。本发明可以广泛应用于各类场景的高动态成像。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员能够理解本发明,但是本发明不仅限于具体实施方式的范围,对本技术领域的普通技术人员而言,只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内,一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种多曝光图像融合方法,其特征在于:所述多曝光图像融合方法包括:
步骤一,使用LDR图像序列的曝光亮度和色度信息构建初始权重图;
步骤二,对LDR多曝光图像序列进行运动物体检测,计算出运动区域,使用超像素分割的鬼影消除方法消除鬼影,完成对步骤一的初始权重图进行鬼影修正;
步骤三,对步骤二鬼影修正后的权重图进行归一化处理,得到:
步骤四,根据步骤三的归一化的权重图计算出权重的高斯金字塔,定义LDR图像序列的Laplacian金字塔以及细节增益项,计算出融合金字塔,根据融合金字塔进行图像重构得出融合图像HDR;
所述步骤一包括:
步骤1.1,将LDR多曝光图像序列转换到YIQ颜色空间;
步骤1.2,根据YIQ颜色空间的亮度值计算曝光亮度,根据YIQ 颜色空间的色度值计算色度信息;
步骤1.3,根据LDR图像序列的曝光亮度和色度信息构成初始权重图。
4.根据权利要求3所述的多曝光图像融合方法,其特征在于:步骤二包括:
步骤2.1,预设表征曝光度相似的误差值阀值,定义参考图像,将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内,得到:
步骤2.3,检测运动状态的物体:
其中,T1为判断运动像素的阈值,Ck(x,y)=0为该像素为运动物体,Ck(x,y)=1则为该像素为非运动物体;
步骤2.4,对参考图像进行超像素分割,得到超像素集合S={S1,S2,···,Sn},计算出超像素类别数n为:
n=floor(r*c/ω2)
其中,floor(·)定义为向下取整的函数;r输入图像的高度的像素个数,c为输入图像宽度的像素个数;
使用超像素方法进行修正,得到:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632569.4A CN109754377B (zh) | 2018-12-29 | 2018-12-29 | 一种多曝光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632569.4A CN109754377B (zh) | 2018-12-29 | 2018-12-29 | 一种多曝光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109754377A CN109754377A (zh) | 2019-05-14 |
CN109754377B true CN109754377B (zh) | 2021-03-19 |
Family
ID=66404410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811632569.4A Active CN109754377B (zh) | 2018-12-29 | 2018-12-29 | 一种多曝光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109754377B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619593B (zh) * | 2019-07-30 | 2023-07-04 | 西安电子科技大学 | 一种基于动态场景的双曝光视频成像*** |
CN110599433B (zh) * | 2019-07-30 | 2023-06-06 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
CN110580696A (zh) * | 2019-08-30 | 2019-12-17 | 金陵科技学院 | 一种细节保持的多曝光图像快速融合方法 |
CN110738627B (zh) * | 2019-09-04 | 2022-04-26 | Tcl华星光电技术有限公司 | 多曝光图像融合装置及多曝光图像融合方法 |
CN110708470B (zh) * | 2019-09-27 | 2020-10-09 | 西安电子科技大学 | 一种自适应互补曝光数字图像处理方法、图像获取设备 |
CN110944160B (zh) * | 2019-11-06 | 2022-11-04 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
CN111340895B (zh) * | 2020-02-18 | 2022-03-18 | 浙江工业大学 | 一种基于金字塔多尺度融合的影像色彩一致化方法 |
CN111429368B (zh) * | 2020-03-16 | 2023-06-27 | 重庆邮电大学 | 一种自适应细节增强和鬼影消除的多曝光图像融合方法 |
CN112258434A (zh) * | 2020-09-30 | 2021-01-22 | 广东电网有限责任公司广州供电局 | 一种静态场景下细节保持多曝光图像融合算法 |
CN112785534A (zh) * | 2020-09-30 | 2021-05-11 | 广东电网有限责任公司广州供电局 | 一种动态场景下去鬼影多曝光图像融合方法 |
CN113129391B (zh) * | 2021-04-27 | 2023-01-31 | 西安邮电大学 | 基于多曝光图像特征分布权重的多曝光融合方法 |
CN114463207B (zh) * | 2022-01-24 | 2022-07-29 | 哈尔滨理工大学 | 基于全局动态范围压缩与局部亮度估计的色阶映射方法 |
CN114429437B (zh) * | 2022-01-26 | 2024-07-02 | 南京泓众电子科技有限公司 | 一种全场景亮度自适应的图像融合方法及装置 |
CN114169255B (zh) * | 2022-02-11 | 2022-05-13 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像生成***以及方法 |
CN115760663B (zh) * | 2022-11-14 | 2023-09-22 | 辉羲智能科技(上海)有限公司 | 基于多帧多曝光的低动态范围图像合成高动态范围图像的方法 |
CN116485794B (zh) * | 2023-06-19 | 2023-09-19 | 济南幼儿师范高等专科学校 | 用于虚拟声乐教学的面部图像分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2515273A1 (en) * | 2011-04-20 | 2012-10-24 | CSR Technology Inc. | Multiple exposure high dynamic range image capture |
CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
CN107093169A (zh) * | 2017-04-21 | 2017-08-25 | 重庆大学 | 基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法 |
CN107292804A (zh) * | 2017-06-01 | 2017-10-24 | 西安电子科技大学 | 基于OpenCL的直接多曝光融合并行加速方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342871B2 (en) * | 2014-05-30 | 2016-05-17 | Apple Inc. | Scene motion correction in fused image systems |
-
2018
- 2018-12-29 CN CN201811632569.4A patent/CN109754377B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2515273A1 (en) * | 2011-04-20 | 2012-10-24 | CSR Technology Inc. | Multiple exposure high dynamic range image capture |
CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
CN107093169A (zh) * | 2017-04-21 | 2017-08-25 | 重庆大学 | 基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法 |
CN107292804A (zh) * | 2017-06-01 | 2017-10-24 | 西安电子科技大学 | 基于OpenCL的直接多曝光融合并行加速方法 |
Non-Patent Citations (3)
Title |
---|
《Patch-Based correlation for deghosting in exposure fusion》;WeiZhang et al.;《Information Sciences》;20171130;第19-27页 * |
《基于改进IGG模型的全景图像拼接缝消除算法》;瞿中;《计算机科学》;20171231;第44卷(第12期);第274-278页 * |
《细节保持的快速曝光融合》;陈阔;《浙江大学学报(工学版)》;20150805;第49卷(第6期);第1048-1054页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109754377A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754377B (zh) | 一种多曝光图像融合方法 | |
Shi et al. | Normalised gamma transformation‐based contrast‐limited adaptive histogram equalisation with colour correction for sand–dust image enhancement | |
CN105046653B (zh) | 一种视频雨滴去除方法及*** | |
Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
CN110335221B (zh) | 一种基于无监督学习的多曝光图像融合方法 | |
Feng et al. | URNet: A U-Net based residual network for image dehazing | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
Tang et al. | A local flatness based variational approach to retinex | |
Yu et al. | Image and video dehazing using view-based cluster segmentation | |
CN108305232A (zh) | 一种单帧高动态范围图像生成方法 | |
Parihar et al. | A comprehensive analysis of fusion-based image enhancement techniques | |
Gu et al. | A Low‐Light Image Enhancement Method Based on Image Degradation Model and Pure Pixel Ratio Prior | |
Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
Wang et al. | Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy | |
Zhao et al. | Color channel fusion network for low-light image enhancement | |
Lai et al. | Single image dehazing with optimal transmission map | |
Song et al. | A single image dehazing method based on end-to-end cpad-net network in deep learning environment | |
CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 | |
CN110136085B (zh) | 一种图像的降噪方法及装置 | |
CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
CN116433525A (zh) | 一种基于边缘检测函数变分模型的水下图像去雾方法 | |
CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
Ma et al. | Low-light image enhancement via implicit priors regularized illumination optimization | |
CN113379631B (zh) | 一种图像去雾的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221121 Address after: 400000 No.1, Nanping photoelectric Road, Nan'an District, Chongqing Patentee after: SOUTHWEST COMPUTER Co.,Ltd. Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2 Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS |
|
TR01 | Transfer of patent right |