CN115439384A - 一种无鬼影多曝光图像融合方法、装置 - Google Patents

一种无鬼影多曝光图像融合方法、装置 Download PDF

Info

Publication number
CN115439384A
CN115439384A CN202211079389.4A CN202211079389A CN115439384A CN 115439384 A CN115439384 A CN 115439384A CN 202211079389 A CN202211079389 A CN 202211079389A CN 115439384 A CN115439384 A CN 115439384A
Authority
CN
China
Prior art keywords
image
exposure
brightness
frequency component
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211079389.4A
Other languages
English (en)
Inventor
徐芳
刘晶红
王宣
孙辉
左羽佳
刘成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202211079389.4A priority Critical patent/CN115439384A/zh
Publication of CN115439384A publication Critical patent/CN115439384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种无鬼影多曝光图像融合方法、装置、计算机设备及可读存储介质,结合亮度映射与一致性检测实现了源序列图像向参考图像的对齐,得到运动对象一致的不同曝光亮度潜像序列;基于加权最小二乘滤波器,本发明可结合不同曝光图像序列中的有利信息,对图像中过暗区域与过亮区域的亮度进行提升与抑制,从而保留了不同层次亮度上的细节,最终得到色彩生动且信息丰富的无鬼影图像,有效增强了融合图像的视觉质量与动态范围。本发明可满足对不同动态场景下的多曝光融合需求,能有效解决成像场景受移动对象或成像设备抖动引入的鬼影问题。

Description

一种无鬼影多曝光图像融合方法、装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种无鬼影多曝光图像融合方法、装置、计算机设备及可读存储介质。
背景技术
自然场景中的亮度跨度通常很大,从夜晚的星光到耀眼的阳光,其亮度范围覆盖了9个数量级。受成像设备动态范围的制约,很难通过一次曝光成像记录场景中不同亮度层次的细节信息;通过多曝光图像融合方法(Multi-exposure image fusion,MEF)获取的高动态范围图像能包含更多的细节信息,更好地匹配人眼对真实场景的响应,在多个领域中有着广阔应用前景和重要现实意义。当前,大部分MEF方法假设源图像是理想对齐的,但在实际成像场景中不可避免地存在不同运动规律的移动对象和相机抖动。图像采集过程存在时间差,如果直接对采集的动态场景多曝光图像序列进行融合,会导致融合结果出现模糊、鬼影或半透明区域等问题,严重影响成像质量,成为当前多曝光图像融合技术中具有挑战性的难题。
对此,许多研究从不同角度出发探索去除鬼影与提高多曝光图像融合质量的方法,通常在两方面有所不同:如何检测鬼影与如何消除鬼影。当前方法主要可分为移动对象移除、移动对象选择及配准两大类。移动对象移除方法通过估计静态背景来移除场景中的所有移动对象,不选择参考图像,图像场景中大部分是静态的,只有一小部分包含运动对象,该类方法对每个像素执行一致性检查,移动对象被建模为异常值,予以剔除,以获得无伪影的高动态图像。但该类方法在当场景变换频繁时鲁棒性不好,且快速移动物体效果较好,对缓慢移动物体,仍不能很好地去除伪影。移动对象选择及配准方法在输出融合结果中保留运动对象,通过寻找参考图像与序列图像间运动区域的局部对应关系来恢复或重建受运动影响的像素,对源序列图像进行空间对齐。但该类方法依赖于配准精度,仍存在不同程度的重影或部分区域颜色畸变的问题,且效率较低。
发明内容
有鉴于此,本发明实施例中提供一种无鬼影多曝光图像融合方法、装置、计算机设备及可读存储介质,可满足对不同动态场景下的多曝光融合需求,能有效解决成像场景受移动对象或成像设备抖动引入的鬼影问题。
第一方面,本发明实施例中提供一种无鬼影多曝光图像融合方法,包括:
获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成;
从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像;
对于所述多曝光图像序列中过曝光图像,基于亮度映射模型确定出用于融合的潜像;
对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像;
对所述潜像进行滤波处理得到所述潜像的低频分量和高频分量;
构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价;
将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
作为一种可选的方案,所述从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像,包括:
将所述多曝光图像序列的每幅图像按整体亮度值进行升序排列,选取排序中间值Iref1为第一参考图像;
统计所有图像的亮度分量的整体曝光水平获得图像的曝光先验信息,计算像素值落在目标区间内的像素总数,总数值最大的为第二参考图像Iref2
比较第一参考图像Iref1与第二参考图像Iref2,当排序差值大于2,选择第一参考图像Iref1为最终参考图像Iref,否则选择第二参考图像Iref2为参考图像Iref,对排序值低于参考图像Iref的图像配置为曝光不足图像,对排序值高于参考图像Iref的图像配置为过曝光图像。
作为一种可选的方案,所述对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像,包括:
在所述多曝光图像序列的图像中建立与参考图像之间亮度关系的映射,得到亮度映射模型,将所述参考图像的亮度映射到与所述过曝光图像相同的亮度范围中,获得用于融合的潜像。
作为一种可选的方案,所述对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像,包括:
利用固定步幅的移动窗口从所述多曝光图像序列同一空间位置上提取一组彩色图像块,确定所述参考图像的结构向量Sref和所述多曝光图像序列的图像结构向量Sk之间的内积,对所述结构向量Sref和所述图像结构向量Sk间物体运动一致性进行判别;
预先配置结构一致性判定阈值Tρ,检测图像间运动不一致像素点与运动一致像素点;
将第k次曝光图像映射到所述参考图像的亮度级上得到潜像,确定相应潜像与所述参考图像在同一空间位置上的图像块的平均亮度差的绝对值,预先配置平均亮度差异阈值Tu,判定其他运动不一致像素点。
利用相乘处理,得到最终的运动一致性检测结果,在一致的像素点位置保留所述图像的像素点;在不一致的像素点位置,采用所述参考图像映射到所述图像亮度范围内的图像像素点。
设计异常像素点判定条件对潜像像素值加以约束,解决某些潜像局部区域会发生亮度饱和与颜色失真的问题。
作为一种可选的方案,所述对所述潜像进行加权处理得到所述潜像的低频分量和高频分量,包括:
确定所述潜像的RGB三颜色通道加权和得到每幅潜像的亮度图像
Figure BDA0003833102620000041
基于加权最小二乘滤波器对所述潜像进行估计处理得到不同曝光潜像的低频信息,确定所述低频信息对应滤波后的低频图像
Figure BDA0003833102620000042
当得到输入潜像的低频分量图像
Figure BDA0003833102620000043
根据每一通道的输入潜像
Figure BDA0003833102620000044
得到红、绿、蓝通道上的高频分量图像
Figure BDA0003833102620000045
作为一种可选的方案,所述构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价,包括:
基于局部平均亮度和全局平均亮度构建所述图像的低频分量的权重函数进行曝光适度评价;
基于所述潜像进行均值滤波,确定所述图像的高频分量的权重函数进行曝光适度评价。
作为一种可选的方案,所述将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像,包括:
将所述潜像的高频分量、低频分量分别乘以对应的权重,进行加权求和,融合时对RGB颜色通道联合处理,得到目标融合图像。
第二方面,本发明实施例中提供一种无鬼影多曝光图像融合装置,包括:
获取组件,用于获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成;
确定组件,用于从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像;
所述确定单元还用于对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像;
所述确定单元还用于对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像;
所述确定单元还用于对所述潜像进行滤波处理得到所述潜像的低频分量和高频分量;
所述确定单元还用于构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价;
融合组件,用于将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
第三方面,本发明实施例中提供一种计算机设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的无鬼影多曝光图像融合方法。
第四方面,本发明实施例中提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行上述的无鬼影多曝光图像融合方法。
本发明实施例中提供一种无鬼影多曝光图像融合方法、装置、计算机设备及可读存储介质,结合亮度映射与一致性检测实现了源序列图像向参考图像的对齐,得到运动对象一致的不同曝光亮度潜像序列;基于加权最小二乘滤波器,本发明可结合不同曝光图像序列中的有利信息,对图像中过暗区域与过亮区域的亮度进行提升与抑制,从而保留了不同亮度层次上的细节,最终得到色彩生动且信息丰富的无鬼影图像,有效增强了融合图像的视觉质量与动态范围。本发明可满足对不同动态场景下的多曝光融合需求,能有效解决成像场景受移动对象或成像设备抖动引入的鬼影问题。
附图说明
图1为本发明实施例中提供一种无鬼影多曝光图像融合方法的流程图;
图2为本发明实施例中提供一种无鬼影多曝光图像融合方法进行异常像素约束前后的潜像图的示意图;
图3a为动态场景不同曝光下的图像序列的示意图;
图3b为本发明实施例中提供一种无鬼影多曝光图像融合方法的融合结果图;
图4为本发明实施例中提供一种无鬼影多曝光图像融合装置的结构框图;
图5为本发明实施例中提供一种计算机设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1所示,本发明实施例中提供一种无鬼影多曝光图像融合方法,包括:
S101、获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成,输入多曝光图像序列Ik(k=1,…,K),K为输入图像总数,将所有图像像素值归一化到[0,1]范围内。
S102、从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像。
S103、对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像。
S104、对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像。
S105、对所述潜像进行滤波处理得到所述潜像的低频分量和高频分量。
S106、构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价。
S107、将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
在步骤S102中,所述从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像,包括:
将所述多曝光图像序列的每个图像按整体亮度值进行升序排列,选取排序中间值Iref1为第一参考图像;
统计所有图像的亮度分量的整体曝光水平获得图像的曝光先验信息,计算像素值落在目标区间内的像素总数,总数值最大的为第二参考图像Iref2
比较第一参考图像Iref1与第二参考图像Iref2,当排序差值大于2,选择第一参考图像Iref1为最终参考图像Iref,否则选择第二参考图像Iref2为参考图像Iref,对排序值低于参考图像Iref的图像配置为曝光不足图像,对排序值高于参考图像Iref的图像配置为过曝光图像。
在步骤S103中,所述对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像,包括:
在所述多曝光图像序列的图像中建立与参考图像之间亮度关系的映射,得到亮度映射模型,将所述参考图像的亮度映射到与所述过曝光图像相同的亮度范围中,获得用于融合的潜像。
在步骤S104中,所述对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像,包括:
利用固定步幅的移动窗口从所述多曝光图像序列同一空间位置上提取一组彩色图像块,确定所述参考图像的结构向量Sref和所述多曝光图像序列的图像结构向量Sk之间的内积,对所述结构向量Sref和所述图像结构向量Sk间物体运动一致性进行判别;
预先配置结构一致性判定阈值Tρ,检测图像间运动不一致像素点与运动一致像素点;
将第k次曝光图像映射到所述参考图像的亮度级上得到潜像,确定相应潜像与所述参考图像在同一空间位置上的图像块的平均亮度差的绝对值,预先配置平均亮度差异阈值Tu,判定其他运动不一致像素点。
利用相乘处理,得到最终的运动一致性检测结果,在一致的像素点位置保留所述图像的像素点;在不一致的像素点位置,采用所述参考图像映射到所述图像亮度范围内的图像像素点。
设计异常像素点判定条件对潜像像素值加以约束,解决某些潜像局部区域会发生亮度饱和与颜色失真的问题。
在步骤S105中,所述对所述潜像进行滤波处理得到所述潜像的低域分量和高域分量,包括:
确定所述潜像的RGB三颜色通道加权和得到每幅潜像的亮度图像
Figure BDA0003833102620000081
基于加权最小二乘滤波器对所述潜像进行估计处理得到不同曝光潜像的低频信息,确定所述低频信息对应滤波后的低频图像
Figure BDA0003833102620000082
当得到输入潜像的低频分量图像
Figure BDA0003833102620000083
根据每一通道的输入潜像
Figure BDA0003833102620000084
得到红、绿、蓝通道上的高频分量图像
Figure BDA0003833102620000085
在步骤S106中,所述构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价,包括:
基于局部平均亮度和全局平均亮度构建所述图像的低频分量的权重函数进行曝光适度评价;
基于所述潜像进行均值滤波,确定所述图像的高频分量的权重函数进行曝光适度评价。
在步骤S107中,所述将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像,包括:
将所述潜像的高频分量、低频分量分别乘以对应的权重,进行加权求和,融合时对RGB颜色通道联合处理,得到目标融合图像。
本发明实施例中还提供一种无鬼影多曝光图像融合方法,结合亮度映射与一致性检测实现了源序列图像向参考图像的对齐,得到运动对象一致的不同曝光亮度潜像序列;基于加权最小二乘滤波器,本发明可结合不同曝光图像序列中的有利信息,对图像中过暗区域与过亮区域的亮度进行提升与抑制,从而保留了不同层次亮度上的细节,最终得到色彩生动且信息丰富的无鬼影图像,有效增强了融合图像的视觉质量与动态范围。本发明可满足对不同动态场景下的多曝光融合需求,能有效解决成像场景受移动对象或成像设备抖动引入的鬼影问题。
本发明实施例中还提供一种无鬼影多曝光图像融合方法,包括:
S201、输入多曝光源图像序列Ik(k=1,…,K),K为输入图像总数,将所有源图像像素值归一化到[0,1]范围内。
S202、参考图像的曝光质量影响成像场景中运动目标的清晰度、区域检测与校正,进而影响多曝光融合图像的视觉效果。为选择曝光适宜的参考图像,采用结合中间值判断与曝光信息先验结合的策略进行判断。
本步骤S202详细过程如下:
S2021、将输入源图像序列按亮度值进行升序排列,选取排序中间值Iref1为参考图像:
Figure BDA0003833102620000091
S2022、统计所有输入源图像序列亮度的整体曝光水平获得图像的曝光先验信息,计算每幅图像像素值落在[0.01,0.09]区间内的像素总数,总数值最大的为参考图像Iref2
S2023、比较Iref1与Iref2,如果二者排序差值大于2,说明图像序列整体亮度水平偏高或偏低,因此选择Iref1为最终参考图像Iref,否则选择Iref2为最终参考图像Iref,以保证参考图像具有最大数量的曝光适宜的像素值。将排序值低于参考图像的源图像设为曝光不足图像,将排序值高于参考图像的源图像设为过曝光图像。
S203、对于过曝光图像,建立源序列图像与参考图像之间的亮度映射关系以得到用于融合的潜像。在不同曝光级图像间建立亮度映射关系,可得到亮度映射模型:
Ik=τ(Iref)
式中,τ(I)=g-1(kg(I))为亮度映射函数,I为图像亮度;g为相机响应函数;k为曝光系数,表示两幅图像间的辐射关系。利用图像的亮度直方图可以建立参考图像与其余过曝光图像间的亮度映射关系模型;根据该亮度映射模型,可以将参考图像的亮度映射到与过曝光图像相同的亮度范围中,从而获得用于最终融合的潜像。
S204、对于亮度值低于参考图像的曝光不足图像,本发明利用图像结构向量具有的方向信息来实现运动一致性检测;引入结构一致性阈值与亮度差异阈值最大化地保留一致性像素,修正不一致像素;增加异常像素点判定条件进行约束解决潜像中局部区域亮度异常问题。
本步骤S204详细过程如下:
S2041、利用图像结构向量具有的方向信息来实现图像间运动一致性分析与检测。首先利用固定步幅的移动窗口从多曝光图像序列Ik同一空间位置上提取一组彩色图像块{gk}={gk|1≤k≤K},gk是CWH维的向量(C为3通道,W和H为图像块的宽和高),计算源图像块的结构向量Sk,计算参考图像块的结构向量Sref。在运动区域检测中,将参考图像与源序列图像间的运动一致性检测问题转换成参考图像与源序列图像间结构向量的方向一致性分析问题。计算参考图像块结构向量Sref和源图像块结构向量Sk之间的内积:
Figure BDA0003833102620000101
式中,ugk是gk的平均亮度,ugref是gref的平均亮度,ρk∈[-1,1],如果ρk取值越大,则表明Sref与Sk相似性越高。通过亮度归一化构建Sk,可以保证算法对图像曝光变化和对比度变化具有较强的鲁棒性;由于在曝光度不足的区域,对比度较弱能见度较低,结构向量Sk缩放到单位长度时,将包含噪声结构,因此引入接近于0的∈参数,以保证无论噪声结构如何,都能保证一致性比ρk的值接近1。
S2042、为检测出更多的运动不一致像素点,引入结构一致性阈值Tρ对运动一致性进行判别:
Figure BDA0003833102620000111
通过二值图
Figure BDA0003833102620000112
能观察到整个图像序列中运动不一致的像素点。
S2043、为最大化地检测与修正不一致像素,减少融合鬼影,增加亮度差异判定条件。计算曝光不足图像Ik与参考图像Iref间的亮度映射函数,将第k次曝光图像映射到参考图像曝光级上得到同等亮度级图像,计算同等亮度级图像与参考图像在同一空间位置上的图像块的平均亮度差的绝对值,并设置平均亮度差异阈值Tu进行判定:
Figure BDA0003833102620000113
式中,u'gk是由曝光不足图像映射到参考图像得到的同等亮度级图像中图像块的平均亮度。
步骤4-4:最终的运动一致性检测结果为:
Figure BDA0003833102620000114
对于Bk=1的像素集合,表示源序列图像与参考图像运动一致,此时,保留与源序列图像中同一位置上的图像块;对于Bk=0的像素集合,表示源序列图像与参考图像运动不一致,需要结合亮度映射函数对不一致像素进行修正,从而得到参考图像在较低曝光图像亮度级上的潜像Qk
S2045、结合附图2所示,示出了对曝光不足图像约束前后的潜像,在某些潜像中,局部区域可能会发生亮度饱和失真,导致该处像素颜色发生缺失或异常问题。对此,我们增加一个异常像素点判定条件加以约束,如果潜像中某位置处的像素值接近饱和,则从源序列图像中复制相应的像素值,以解决在潜像中像素饱和的问题:
Figure BDA0003833102620000121
式中,Qk,1、Qk,2与Qk,3表示潜像的三个颜色通道,对曝光不足图像约束前后的潜像如附图2所示。通过上述处理,即可得参考图像向低曝光级源图像映射的无颜色异常的潜像。
S205、利用加权最小二乘滤波器估计不同曝光潜像的低频信息,进而计算潜像的高频信息。
本步骤S205详细过程如下:
S2051、计算输入潜像的RGB三通道加权和,得到每幅潜像的亮度图
Figure BDA0003833102620000122
S2052、加权最小二乘滤波器(weighted least squares,WLS)是一种保边滤波器,可以在边缘外的其他地方平滑的同时又最大限度地接近图像
Figure BDA0003833102620000123
本发明基于WLS滤波器估计不同曝光潜像的低频信息。给出输入图像
Figure BDA0003833102620000124
计算对应的滤波后的低频分量图像
Figure BDA0003833102620000125
可通过下式计算:
Figure BDA0003833102620000126
Figure BDA0003833102620000127
Figure BDA0003833102620000128
式中,第一项
Figure BDA0003833102620000129
保证输入图像与输出图像之间的相似度,二者间距离越小,说明滤波后图像与输入潜像间相似度越高;第二项通过求偏导实现平滑程度,其中λ为正则化因子用来维持两个子公式之间的平衡,λ值越大,输出图像就越平滑,wx和wy为平滑因子;Vk为输入图像
Figure BDA00038331026200001210
的对数形式,即
Figure BDA00038331026200001211
指数α表示对输入图像梯度的敏感度,∈为接近于0的常数。
S2053、一旦得到输入潜像的低频分量图像
Figure BDA0003833102620000131
根据每一颜色通道上的输入潜像Qk,可得红、绿、蓝任意通道上的高频分量图像
Figure BDA0003833102620000132
Figure BDA0003833102620000133
S206、分别基于每级曝光潜像的局部平均亮度与全局平均亮度构建该级图像低、高频分量的权重函数,进行曝光适度评价。
本步骤详细过程如下:
S2061、计算图像低频分量的权重,基于局部平均亮度和全局平均亮度构建该分量的权重函数进行曝光适度评价。第k级输入潜像的低频分量的权重函数计算如下:
Figure BDA0003833102620000134
式中,低频分量
Figure BDA0003833102620000135
本身被用于作为局部亮度曝光度特征,第k级输入图像的全局平均亮度根据整幅图像亮度总和与图像尺寸计算得到
Figure BDA0003833102620000136
σL和σG是高斯标准差,分别设置为0.5和0.2;第一项保留曝光良好的局部结构,第二项鼓励整幅图像空间亮度的一致性,通过施加这两个因素,能产生视觉效果更好的融合图像。
S2062、计算图像高频分量的权重,第k级输入潜像的高频分量的权重函数计算如下:
Figure BDA0003833102620000137
式中,
Figure BDA0003833102620000138
为均值滤波后的潜像亮度图,σH是高斯标准差。
S207、将输入潜像的低频分量与高频分量乘以对应的混合权重,进行加权求和。为保留更多颜色信息,在计算时隐式地保留图像颜色信息,融合时对RGB三颜色通道联合处理,获得最终无鬼影的颜色丰富的融合图像。
Figure BDA0003833102620000139
图3a为动态场景不同曝光下的图像序列示意图,图3b为应用本发明提供方法后的融合结果图,可见融合后图像无鬼影,且在综合了不同曝光图像亮暗层次信息后具有更丰富的细节。
本发明实施例中提供的无鬼影多曝光图像融合方法,没有诸多复杂的参数设置,也不依赖摄像机的先验知识。通过选择最佳的参考图像可以保留有效的场景特征,分析源序列图像与参考图像间的对应关系,分别对过曝光图像和曝光不足图像进行亮度映射与结构一致性检测,有效地去除了运动区域变化引起的鬼影,得到了对齐的不同曝光潜像序列。利用加权最小二乘滤波器估计不同曝光潜像的低频分量,继而得到相应的高频分量,克服了图像高、低频分量估计不准导致的信息失真问题;最后利用不同的混合权重对高、低频分量进行加权融合得到最终融合结果。本发明与现有技术相比,能够较好地保持亮区与暗区清晰的细节,并能反映真实场景不同层次信息的完整性,有效地提高了融合图像的视觉质量与动态范围;本发明不仅能处理不同运动对象的不同幅度运动甚至大动作的运动,也适用于成像设备的轻微抖动,具有极少的伪影且性能稳定。该方法可为获取不同动态场景的高动态成像提供技术支持。
结合图4所示,相应地,本发明实施例中还提供一种无鬼影多曝光图像融合装置,包括:
获取组件401,用于获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成;
确定组件402,用于从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像;
所述确定单元402还用于对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像;
所述确定单元402还用于对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像;
所述确定单元402还用于对所述潜像进行加权处理得到所述潜像的低频分量和高频分量;
所述确定单元402还用于构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价;
融合组件403,用于将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
相应地,根据本发明的实施例,本发明还提供了一种计算机设备、一种可读存储介质和一种计算机程序产品。
图5为本发明实施例中提供的一种计算机设备12的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM、DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的图像融合方法。
本发明实施例中还提供一种存储有计算机指令的非瞬时计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时本申请所有发明实施例提供的图像融合方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述的图像融合方法。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种无鬼影多曝光图像融合方法,其特征在于,包括:
获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成;
从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像;
对于所述多曝光图像序列中过曝光图像,基于亮度映射模型确定出用于融合的潜像;
对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像;
对所述潜像进行滤波处理得到所述潜像的低频分量和高频分量;
构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价;
将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
2.根据权利要求1所述的图像融合方法,其特征在于,所述从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像,包括:
将所述多曝光图像序列的每幅图像按整体亮度值进行升序排列,选取排序中间值Iref1为第一参考图像;
统计所有图像的亮度分量的整体曝光水平获得图像的曝光先验信息,计算像素值落在目标区间内的像素总数,总数值最大的为第二参考图像Iref2
比较第一参考图像Iref1与第二参考图像Iref2,当排序差值大于2,选择第一参考图像Iref1为最终参考图像Iref,否则选择第二参考图像Iref2为参考图像Iref,对排序值低于参考图像Iref的图像配置为曝光不足图像,对排序值高于参考图像Iref的图像配置为过曝光图像。
3.根据权利要求1或2所述的图像融合方法,其特征在于,所述对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像,包括:
在所述多曝光图像序列的图像中建立与参考图像之间亮度关系的映射,得到亮度映射模型,将所述参考图像的亮度映射到与所述过曝光图像相同的亮度范围中,获得用于融合的潜像。
4.根据权利要求3所述的图像融合方法,其特征在于,所述对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像,包括:
利用固定步幅的移动窗口从所述多曝光图像序列同一空间位置上提取一组彩色图像块,确定所述参考图像的结构向量Sref和所述多曝光图像序列的图像结构向量Sk之间的内积,对所述结构向量Sref和所述图像结构向量Sk间物体运动一致性进行判别;
预先配置结构一致性判定阈值Tρ,检测图像间运动不一致像素点与运动一致像素点;
将第k次曝光图像映射到所述参考图像的亮度级上得到潜像,确定相应潜像与所述参考图像在同一空间位置上的图像块的平均亮度差的绝对值,预先配置平均亮度差异阈值Tu,判定其他运动不一致像素点;
利用相乘处理,得到最终的运动一致性检测结果,在一致的像素点位置保留所述图像的像素点;在不一致的像素点位置,采用所述参考图像映射到所述图像亮度范围内的图像像素点;
利用异常像素判定对所述潜像的像素值进行约束。
5.根据权利要求4所述的图像融合方法,其特征在于,所述对所述潜像进行加权处理得到所述潜像的低频分量和高频分量,包括:
确定所述潜像的RGB三颜色通道加权和得到每幅潜像的亮度图像
Figure FDA0003833102610000021
基于加权最小二乘滤波器对所述潜像进行估计处理得到不同曝光潜像的低频信息,确定所述低频信息对应滤波后的低频图像
Figure FDA0003833102610000022
当得到输入潜像的低频分量图像
Figure FDA0003833102610000023
根据每一通道的输入潜像
Figure FDA0003833102610000024
得到红、绿、蓝通道上的高频分量图像
Figure FDA0003833102610000025
6.根据权利要求5所述的图像融合方法,其特征在于,所述构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价,包括:
基于局部平均亮度和全局平均亮度构建所述图像的低频分量的权重函数进行曝光适度评价;
基于所述潜像进行均值滤波,确定所述图像的高频分量的权重函数进行曝光适度评价。
7.根据权利要求6所述的图像融合方法,其特征在于,所述将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像,包括:
将所述潜像的高频分量、低频分量分别乘以对应的权重,进行加权求和,融合时对RGB颜色通道联合处理,得到目标融合图像。
8.一种无鬼影多曝光图像融合装置,其特征在于,包括:
获取组件,用于获取多曝光图像序列,所述多曝光图像序列由多级曝光亮度的图像组成;
确定组件,用于从所述多曝光图像序列中确定出参考图像,所述参考图像为曝光亮度居中的图像;
所述确定单元还用于对于所述多曝光图像序列中过曝光图像,基于预训练的亮度映射模型确定出用于融合的潜像;
所述确定单元还用于对于多曝光图像序列中曝光不足图像,基于运动一致性原则确定出用于融合的所述潜像;
所述确定单元还用于对所述潜像进行加权处理得到所述潜像的低频分量和高频分量;
所述确定单元还用于构建所述低频分量和高频分量对应的混合权重关系并进行曝光适度评价;
融合组件,用于将所述低频分量和所述高频分量进行加权融合处理得到目标融合图像。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的无鬼影多曝光图像融合方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的无鬼影多曝光图像融合方法。
CN202211079389.4A 2022-09-05 2022-09-05 一种无鬼影多曝光图像融合方法、装置 Pending CN115439384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211079389.4A CN115439384A (zh) 2022-09-05 2022-09-05 一种无鬼影多曝光图像融合方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211079389.4A CN115439384A (zh) 2022-09-05 2022-09-05 一种无鬼影多曝光图像融合方法、装置

Publications (1)

Publication Number Publication Date
CN115439384A true CN115439384A (zh) 2022-12-06

Family

ID=84246934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211079389.4A Pending CN115439384A (zh) 2022-09-05 2022-09-05 一种无鬼影多曝光图像融合方法、装置

Country Status (1)

Country Link
CN (1) CN115439384A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095502A (zh) * 2023-04-13 2023-05-09 芯动微电子科技(珠海)有限公司 一种多曝光图像融合的方法和装置
CN116993616A (zh) * 2023-08-11 2023-11-03 中国科学院长春光学精密机械与物理研究所 一种单幅低照度场景图像增强方法及增强***
CN117372302A (zh) * 2023-10-08 2024-01-09 北京辉羲智能科技有限公司 一种自动驾驶高动态图像对齐及鬼影去除方法与装置
CN117372302B (zh) * 2023-10-08 2024-07-16 北京辉羲智能科技有限公司 一种自动驾驶高动态图像对齐及鬼影去除方法与装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN108416754A (zh) * 2018-03-19 2018-08-17 浙江大学 一种自动去除鬼影的多曝光图像融合方法
CN108833775A (zh) * 2018-05-22 2018-11-16 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN112785534A (zh) * 2020-09-30 2021-05-11 广东电网有限责任公司广州供电局 一种动态场景下去鬼影多曝光图像融合方法
CN113554567A (zh) * 2021-07-29 2021-10-26 杭州电子科技大学 一种基于小波变换的鲁棒去重影***及方法
WO2022021999A1 (zh) * 2020-07-27 2022-02-03 虹软科技股份有限公司 一种图像处理方法及图像处理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN108416754A (zh) * 2018-03-19 2018-08-17 浙江大学 一种自动去除鬼影的多曝光图像融合方法
CN108833775A (zh) * 2018-05-22 2018-11-16 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
WO2022021999A1 (zh) * 2020-07-27 2022-02-03 虹软科技股份有限公司 一种图像处理方法及图像处理装置
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN112785534A (zh) * 2020-09-30 2021-05-11 广东电网有限责任公司广州供电局 一种动态场景下去鬼影多曝光图像融合方法
CN113554567A (zh) * 2021-07-29 2021-10-26 杭州电子科技大学 一种基于小波变换的鲁棒去重影***及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
胡胜男: "多曝光图像融合中的运动检测与鬼影去除方法研究", 山东大学, 15 January 2018 (2018-01-15), pages 1 - 65 *
蒋清瀚: "用于HDR图像合成的多曝光图像融合方法研究", 重庆邮电大学, 15 March 2022 (2022-03-15), pages 1 - 88 *
郑明耀: "基于图像低层特征一致性的多曝光图像配准与融合方法研究", 重庆邮电大学, 15 February 2021 (2021-02-15), pages 1 - 107 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095502A (zh) * 2023-04-13 2023-05-09 芯动微电子科技(珠海)有限公司 一种多曝光图像融合的方法和装置
CN116993616A (zh) * 2023-08-11 2023-11-03 中国科学院长春光学精密机械与物理研究所 一种单幅低照度场景图像增强方法及增强***
CN117372302A (zh) * 2023-10-08 2024-01-09 北京辉羲智能科技有限公司 一种自动驾驶高动态图像对齐及鬼影去除方法与装置
CN117372302B (zh) * 2023-10-08 2024-07-16 北京辉羲智能科技有限公司 一种自动驾驶高动态图像对齐及鬼影去除方法与装置

Similar Documents

Publication Publication Date Title
Berman et al. Single image dehazing using haze-lines
US20200186714A1 (en) Estimating hdr lighting conditions from a single ldr digital image
CN115439384A (zh) 一种无鬼影多曝光图像融合方法、装置
WO2021164550A1 (zh) 图像分类方法及装置
US20140133744A1 (en) Image Adjustment
JP2014520446A (ja) 画像の自動露出補正
CN110517246A (zh) 一种图像处理方法、装置、电子设备及存储介质
Xiang et al. Blind night-time image quality assessment: Subjective and objective approaches
CN114529946A (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
WO2014070489A1 (en) Recursive conditional means image denoising
CN110570435A (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN111385640A (zh) 视频封面的确定方法、装置、设备及存储介质
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
CN111784658B (zh) 一种用于人脸图像的质量分析方法和***
Singh et al. Weighted least squares based detail enhanced exposure fusion
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
CN116797504A (zh) 图像融合方法、电子设备及存储介质
CN111882555A (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN117451012B (zh) 一种无人机航摄测量方法及***
Yan et al. A natural-based fusion strategy for underwater image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination