CN116416175A - 一种基于自适应边缘保持平滑金字塔的图像融合方法 - Google Patents

一种基于自适应边缘保持平滑金字塔的图像融合方法 Download PDF

Info

Publication number
CN116416175A
CN116416175A CN202310423665.2A CN202310423665A CN116416175A CN 116416175 A CN116416175 A CN 116416175A CN 202310423665 A CN202310423665 A CN 202310423665A CN 116416175 A CN116416175 A CN 116416175A
Authority
CN
China
Prior art keywords
pyramid
image
weight
exposure
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310423665.2A
Other languages
English (en)
Inventor
徐超
梁雨露
李正平
冯博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310423665.2A priority Critical patent/CN116416175A/zh
Publication of CN116416175A publication Critical patent/CN116416175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应边缘保持平滑金字塔的图像融合方法，涉及图像处理技术领域。包括：获取图像序列；根据改进曝光权重、局部对比度权重和饱和度权重得到图像序列的初始权重图；由图像序列的亮度分量的高斯金字塔作为引导金字塔，对初始权重图进行加权引导滤波处理，得到权重图金字塔；利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔；将自适应边缘保持平滑金字塔与拉普拉斯金字塔进行重构，得到融合图像。本发明具有以下优势：考虑空间领域信息、明暗过渡更加自然、适配了输入图片序列的整体偏暗或者偏亮的情况，更好的保留最暗和最亮区域细节的同时有效抑制光晕伪影的产生。

Description

一种基于自适应边缘保持平滑金字塔的图像融合方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于自适应边缘保持平滑金字塔的图像融合方法。
背景技术
大多数自然场景的亮度动态范围通常比普通数码相机单次拍摄的捕捉范围大得多。例如，从微弱的星光到明亮的阳光，自然场景的动态范围可以达到8个数量级，然而，普通数码相机中使用的图像传感器只能捕获两个数量级的动态范围。真实世界的高动态范围(HDR)和数码相机的低动态范围(LDR)之间的矛盾导致使用相机拍摄的单幅图像难以保留所有细节内容，容易出现图像对比度低，细节信息丢失严重，局部区域出现过曝光或欠曝光等问题。这一挑战可以通过HDR成像来解决，该成像可以从同一HDR场景中具有不同曝光的多个LDR图像中恢复信息。目前，HDR技术被应用在医学影像、视频监控、卫星遥感等领域。
获取HDR图像的一种方法是使用专用HDR设备或开发能够捕捉宽动态范围的特殊传感器。然而，这些专用设备并不常见，对普通消费者来说太昂贵。此外，当前的显示设备不支持显示HDR图像。因此，该方法尚未被广泛使用。与基于硬件的解决方案不同，软件解决方案更便宜高效，且易于实施。近年来，HDR成像技术已经能够通过拍摄多曝光图像来使用普通相机生成HDR图像。使用HDR技术，将包含不同亮度范围中的细节的LDR图像序列组合成一幅图像，该图像可以更准确地保留真实场景的大部分信息，并具有更好的视觉效果。目前的HDR成像技术主要包含基于色调映射和基于多曝光图像融合(MEF)这两种方法。
基于色调映射的方法主要包括两个步骤：HDR图像构建和色调映射。首先需要根据LDR图像构建HDR图像，然后利用色调映射让HDR图像在普通的LDR显示设备上显示。这种方法需要专业的设备并计算多个曝光参数，所以耗时长且有局限性。
与基于色调映射的方法不同，MEF方法避免了中间HDR图像的构建，而是直接从多幅低动态范围图像中提取综合图像信息，而不受照明和相机参数的限制，并将其合成为一张对比度好、色彩鲜艳并且更具信息量和感知吸引力的融合图像。此外，获得的高质量融合图像可以直接显示在LDR设备上，而无需任何附加处理。该方法简单有效，但往往运算速度较慢，并且存在细节模糊、颜色局部失真、存在光晕伪影等问题。现有的MEF方法对当输入图像序列整体亮度偏暗或者偏亮的情况适配性不够，最亮或最暗区域的细节在融合图像中无法很好的保留。
因此，如何解决现有方案存在的细节模糊、光晕伪影以及提高对输入图像的适应性是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于自适应边缘保持平滑金字塔的图像融合方法，将改进曝光权重算法与自适应边缘保持平滑金字塔的融合算法相结合，在更好地保持最暗或最亮区域细节的同时有效抑制光晕伪影的产生。
为了实现上述目的，本发明采用如下技术方案：一种基于自适应边缘保持平滑金字塔的图像融合方法，包括：
获取图像序列；
根据图像序列整体亮度和相邻图像之间相对亮度计算改进曝光权重；
使用密集尺度不变特征描述符从源图像的灰度图像中提取局部对比度信息，根据所有图像中同一像素位置的最大值计算局部对比度权重；
利用R、G和B通道内每个像素的标准偏差计算饱和度权重；
根据所述改进曝光权重、所述局部对比度权重和所述饱和度权重获得所述图像序列的初始权重图；
由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔；
利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔；
将所述自适应边缘保持平滑金字塔与所述拉普拉斯金字塔进行重构，得到融合图像。
优选的，计算改进曝光权重具体包括：
对所述图像序列进行灰度化处理，获得灰度化图像；
对所述灰度化图像进行归一化处理；
获取所述灰度化图像归一化后的像素值；
根据所述像素值计算图像序列的归一化平均亮度；
根据所述图像序列的归一化平均亮度自适应调整暗部或亮部的曝光权重。
本发明为了更好地适应输入图像序列整体较暗或整体较亮的情况，根据输入图像序列的整体平均亮度自适应调整暗或亮部分的权重。
优选的，根据所述图像序列的归一化平均亮度自适应调整暗部或亮部的曝光权重，具体包括：
当归一化平均亮度小于良好曝光像素值m时，曝光权重为：
Figure BDA0004187560380000031
当归一化平均亮度大于良好曝光像素值m时，曝光权重为：
Figure BDA0004187560380000041
当归一化平均亮度等于良好曝光像素值m时，曝光权重为：
Figure BDA0004187560380000042
其中，m表示良好曝光像素值，当图像序列归一化像素值为m时赋予最高权重，m∈[0,1]，In(i,j)表示第n张图像归一化后在(i,j)位置的像素值，
Figure BDA0004187560380000044
表示第n张图像的灰度图归一化后在(i,j)位置的像素值，n的取值范围为1,2,…,N，N表示输入图像序列数目，α表示全局亮度自适应因子，λ表示相对亮度自适应因子。
根据良好曝光像素值m；当所有图像序列的平均亮度小于m时，这意味着输入的图像是整体黑暗的，这时要适当增加暗部的权重，适当减少亮部的权重，以更好保留暗部的信息。当所有图像序列的平均亮度大于m时，这意味着输入图像整体偏亮，这时要适当增加亮部的权重，适当减少暗部的权重，以更好保留亮部的信息。
优选的，全局亮度自适应因子α反映图像序列的整体曝光与良好曝光像素值m之间的偏移，其定义如下：
Figure BDA0004187560380000043
其中，h和w分别表示图像的长度和宽度；
此外，当输入图像序列中的一张图像和其相邻曝光图像的亮度差值较大时，一般含有更多的良好曝光像素，因此，本发明提出了相对亮度自适应因子λ。
相对亮度自适应因子λ用于调整归一化值靠近良好曝光m像素值权重为1的范围，其定义如下：
Figure BDA0004187560380000051
其中，mean(In)表示第n个输入图像的平均亮度，μ表示固定参数，μ的值为0.25。
本发明综合考虑图像序列整体亮度和相邻图像之间相对亮度，利用自适应因子，可以根据输入图像自适应地调整图像序列暗部或亮部的权重。提高了对输入图像整体偏暗或偏亮的适应能力，以获得更好的外观和更多的图像细节。
优选的，所述拉普拉斯金字塔将所述图像序列分解为基层和细节层，所述基层用于捕获低频信息，所述细节层用于捕获高频信息；所述拉普拉斯金字塔有L层，L由下式得到：
Figure BDA0004187560380000056
其中，h和w分别表示图像的长度和宽度，
Figure BDA0004187560380000057
表示返回一个小于或等于log2min(h,w)的整数。
优选的，由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔，具体包括：
由图像序列的亮度分量的高斯金字塔作为引导金字塔，用G{Yn}(l)表示；
将所述初始权重图分解为L层的高斯金字塔，用G{Wn}(l)表示；
基于加权引导滤波将G{Yn}(l)的结构转移到G{Wn}(l)，对初始权重图进行初步平滑处理，具体算法如下：
Figure BDA0004187560380000052
其中，0≤l≤L，L表示所述高斯金字塔的层数，
Figure BDA0004187560380000053
和/>
Figure BDA0004187560380000054
分别表示加权引导滤波的系数，/>
Figure BDA0004187560380000055
表示经过加权引导滤波进行初步平滑处理的权重图金字塔。
为了降低计算成本，本发明仅计算了
Figure BDA0004187560380000061
和/>
Figure BDA0004187560380000062
以及/>
Figure BDA0004187560380000063
和/>
Figure BDA0004187560380000064
两层系数，其他层中，如果l的值小于4，/>
Figure BDA0004187560380000065
和/>
Figure BDA0004187560380000066
是通过/>
Figure BDA0004187560380000067
和/>
Figure BDA0004187560380000068
的上采样插值逐层生成的，如果l的值大于4，其余层是通过/>
Figure BDA0004187560380000069
和/>
Figure BDA00041875603800000610
来实现的，并将半径ζ和正则化参数λ分别固定为2和1/1024。
优选的，利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔，具体包括：
将加权引导滤波的系数引入所述拉普拉斯金字塔的细节层细化权重图金字塔，构建权重图的自适应边缘保持平滑金字塔，具体算法如下：
Figure BDA00041875603800000611
其中，
Figure BDA00041875603800000612
表示采用高斯平滑滤波器对/>
Figure BDA00041875603800000613
进行平滑处理，以保证一致性，衰减光晕；|L1{L{In}(l)}|表示拉普拉斯金字塔的高频信息，即不正常曝光区域与正常曝光区域之间的边缘，可用于修正高斯平滑带来的不适当加权，保证了适当暴露区域的加权不受平滑的影响；/>
Figure BDA00041875603800000614
表示加权引导滤波的系数，在上式中，/>
Figure BDA00041875603800000615
也是|L1{L{In}(l)|的系数，它控制着高频信号的大小，/>
Figure BDA00041875603800000616
决定了梯度保留能力，在边缘处/>
Figure BDA00041875603800000617
较大，则梯度保留效果好；在平坦区域/>
Figure BDA00041875603800000618
较小，则平滑效果好。
优选的，对细化后的权重图金字塔与所述拉普拉斯金字塔进行重构，得到融合图像的具体算法如下：
Figure BDA00041875603800000619
其中，L{F(i,j)}(l)表示第l层的拉普拉斯金字塔图像，L{In(i,j)}(l)则表示第n个输入图像拉普拉斯金字塔第l层位置(i,j)处的像素值，AES{Wn(i,j)}(l)表示权重图的自适应边缘保持平滑金字塔，然后通过拉普拉斯逆变换得到融合结果。
优选的，对图像序列进行局部对比度测量是用来保留源图像的重要细节信息，如纹理和边缘等。这些纹理和边缘信息包含在梯度变化中。本发明使用密集尺度不变特征(scale invariant feature Transform，SIFT)描述符从源图像的灰度图像中提取局部对比度信息，具体算法如下：
Figure BDA0004187560380000071
其中，Cn(i,j)表示一个简单的局部对比度测量指标，
Figure BDA0004187560380000072
表示l1范数，/>
Figure BDA0004187560380000073
表示用于计算输入图像的非归一化密集SIFT映射的算子。为了更好地利用内存，在每个单元格中，利用一个8bin方向直方图和2×2单元数组生成描述符。如前所述，对于相关像素的活动水平测量，使用非标准化描述符中相当数量的元素的总数。由于在SIFT描述符中每个元素都不是负的，在每个像素处，灰度图/>
Figure BDA0004187560380000074
的映射l1范数作为Cn(i,j)。然后采用赢者通吃的权重分配策，即所有图像中同一像素位置的最大值计算局部对比度权重：
Figure BDA0004187560380000075
其中
Figure BDA0004187560380000076
表示第n张图(i,j)位置的局部对比度权重值。
优选的，计算饱和度权重具体包括：随着照片曝光时间的延长，产生的颜色会变得不饱和，视觉效果差。饱和颜色是理想的，并使图像看起来生动。每个像素的R、G和B通道内的标准偏差作为测量值S，本发明计算R、G和B通道内每个像素的标准偏差得到颜色饱和度权重
Figure BDA0004187560380000077
优选的，根据所述改进曝光权重、所述局部对比度权重和所述饱和度权重获得所述图像序列的初始权重图，对所述初始权重图进行归一化处理：
Figure BDA0004187560380000078
Figure BDA0004187560380000079
其中，
Figure BDA00041875603800000710
表示改进曝光权重，/>
Figure BDA00041875603800000711
表示局部对比度权重，/>
Figure BDA00041875603800000712
表示颜色饱和度权重；/>
Figure BDA00041875603800000713
表示采用改进曝光权重、局部对比度权重和颜色饱和度权重得到的初始权重；Wn(i,j)表示归一化处理后的初始权重图。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于自适应边缘保持平滑金字塔的图像融合方法，包括：获取图像序列；根据图像序列整体亮度和相邻图像之间相对亮度计算改进曝光权重；使用密集尺度不变特征描述符从源图像的灰度图像中提取局部对比度信息，根据所有图像中同一像素位置的最大值计算局部对比度权重；利用R、G和B通道内每个像素的标准偏差计算饱和度权重；根据所述改进曝光权重、所述局部对比度权重和所述饱和度权重获得所述图像序列的初始权重图；由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔；利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔；将所述自适应边缘保持平滑金字塔与所述拉普拉斯金字塔进行重构，得到融合图像。
本发明提出的方案与现有的方案相比具有以下优势：考虑空间领域信息、明暗过渡更加自然、适配了输入图片序列的整体偏暗或者偏亮的情况。本发明通过改进曝光评估权重函数，再结合局部对比度权重和颜色饱和度权重计算出每个像素点的融合权重，提出自适应边缘保持平滑金字塔来细化权重图，最后产生高质量的融合图像，更好的保留最暗和最亮区域的细节的同时能有效抑制光晕伪影的产生，具有更好的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于自适应边缘保持平滑金字塔的图像融合方法流程图；
图2为本发明实施例提供的改进曝光权重函数图；
图3为本发明实施例提供的输入多曝光图像序列；
图4为本发明实施例提供的最终融合图像结果及局部放大图；
图5为采用现有技术中的4种图像融合算法得到的结果及局部放大图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于改进曝光权重和平滑金字塔的图像融合方法，获取图像序列；如图1所示，所述图像序列为LDR图像序列；
根据图像序列整体亮度和相邻图像之间相对亮度计算改进曝光权重；
使用密集尺度不变特征描述符从源图像的灰度图像中提取局部对比度信息，根据所有图像中同一像素位置的最大值计算局部对比度权重；
利用R、G和B通道内每个像素的标准偏差计算饱和度权重；
根据所述改进曝光权重、所述局部对比度权重和所述饱和度权重获得所述图像序列的初始权重图；
由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔；
利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔；
将所述自适应边缘保持平滑金字塔与所述拉普拉斯金字塔进行重构，得到融合图像。
使用自适应边缘保持平滑金字塔来进一步细化权重图金字塔，利用加权引导滤波的系数引入图像序列的拉普拉斯金字塔的细节层来细化权重图金字塔，构建权重图的自适应边缘保持平滑金字塔；
具体的，本发明实施例提出了一种改进曝光权重算法，综合考虑图像序列整体亮度和相邻图像之间相对亮度；利用自适应因子，根据输入图像自适应地调整图像序列暗部或亮部的权重，提高了算法对输入图像整体偏暗或偏亮的适应能力，以获得更好的外观和更多的图像细节。
本发明实施例令m＝0.5，即将归一化值在0.5左右的像素赋予最高权重，远离0.5的像素赋予较低权重，曝光权重为：
Figure BDA0004187560380000101
其中
Figure BDA0004187560380000102
表示第n张图像的灰度图归一化后在(i,j)位置的像素值，n的取值范围为1,2,…,N，N是输入图像序列数目；上式为没有考虑整体亮度和相对亮度时的曝光权重。为了更好地适应输入图像整体较暗或整体较亮的情况，本实施例首先根据输入图像序列的整体平均亮度自适应调整暗或亮部分的权重，计算所有输入图像序列的平均亮度。如果平均亮度小于0.5，这意味着输入的图像是整体黑暗的。这时要适当增加暗部的权重，适当减少亮部的权重，以更好保留暗部的信息。如果平均亮度大于0.5，这意味着输入图像整体偏亮，这时要适当增加亮部的权重，适当减少暗部的权重。本实施例使用了全局亮度自适应因子α，该因子可以反映输入图像的整体曝光与0.5之间的偏移，自适应因子α定义如下：
Figure BDA0004187560380000103
其中h，w分别表示图像的长度和宽度。此外，当输入图像序列中的一张图像和其相邻曝光图像的亮度差值较大时，一般含有更多的良好曝光像素，因此，提出相对亮度自适应因子λ，该自适应因子调整归一化值靠近0.5像素权重为1的范围。
Figure BDA0004187560380000111
其中，mean(In)表示第n个输入图像的平均亮度，μ表示固定参数。。
综上，当归一化平均亮度小于0.5时，最终曝光权重为：
Figure BDA0004187560380000112
当归一化平均亮度大于0.5时，最终曝光权重为
Figure BDA0004187560380000113
如图2所示，虚线表示所有输入图像序列的平均亮度小于0.5，实线表示所有输入图像的平均亮度大于0.5。当归一化平均亮度等于0.5时，曝光权重采用原始形式。
具体的，本发明实施例提出了一种局部对比度权重算法，对输入图像序列进行局部对比度测量是用来保留源图像的重要的细节信息，如纹理和边缘等，这些纹理和边缘信息包含在梯度变化中。本实施例使用密集尺度不变特征(scale invariant featureTransform，SIFT)描述符从源图像的灰度图像中提取局部对比度信息，具体算法如下：
Figure BDA0004187560380000114
其中Cn(i,j)是一个简单的局部对比度测量指标，
Figure BDA0004187560380000121
表示l1范数，/>
Figure BDA0004187560380000122
表示用于计算输入图像的非归一化密集SIFT映射的算子。为了更好地利用内存，在每个单元格中，利用一个8bin方向直方图和2×2单元数组来生成描述符。如前所述，对于相关像素的活动水平测量，使用非标准化描述符中相当数量的元素的总数。由于在SIFT描述符中每个元素都不是负的，在每个像素处，灰度图/>
Figure BDA0004187560380000123
的映射l1范数作为Cn(i,j)。然后采用赢者通吃的权重分配策略，即所有图像中同一像素位置的最大值计算局部对比度权重：
Figure BDA0004187560380000124
其中
Figure BDA0004187560380000125
表示第n张图(i,j)位置的局部对比度权重值。
具体的，本发明实施例提出了一种饱和度权重的计算方法，随着照片曝光时间的延长，产生的颜色会变得不饱和，视觉效果差，而饱和颜色是理想的，并使图像看起来更生动。图像序列中每个像素的R、G和B通道内的标准偏差作为测量值S，计算R、G和B通道内每个像素的标准偏差得到颜色饱和度权重
Figure BDA0004187560380000126
具体算法如下：
Figure BDA0004187560380000127
其中，
Figure BDA0004187560380000128
表示第n张图像的R、G、B三个通道归一化后在(i,j)位置的像素值，γn(i,j)R,G,B表示第n个输入图像在(i,j)处R、G、B三个通道的平均值，定义如下：
Figure BDA0004187560380000129
其中，
Figure BDA00041875603800001210
表示图像在(i,j)处R，G，B三个通道的函数的像素；k表示R，G，B三个颜色通道。
具体的，上述三个度量(改进曝光权重、局部对比度权重和颜色饱和度权重)表示输入的每个像素对最终结果的贡献。由计算得到的三个度量指标构建初始权重图，并对其进行归一化处理：
Figure BDA0004187560380000131
Figure BDA0004187560380000132
其中，
Figure BDA0004187560380000133
表示改进曝光权重，/>
Figure BDA0004187560380000134
表示局部对比度权重，/>
Figure BDA0004187560380000135
表示颜色饱和度权重；/>
Figure BDA0004187560380000136
表示采用改进曝光权重、局部对比度权重和颜色饱和度权重得到的初始权重；Wn(i,j)表示归一化处理后的初始权重图。
由上式得到的初始权重图是有噪声的、不连续的，如果直接使用它来进行融合操作很容易出现接缝和明显的光晕伪影等令人不满意的问题。因此，在使用这些权重图进行融合处理之前，对其进行平滑去噪是至关重要的。为了解决这一问题，可以采用多分辨率的方法，但这种方法并不能很好地保留最亮或最暗区域的细节并且有产生光晕伪影的风险。边缘保持滤波器已经被广泛应用于增强细节和多曝光图像融合。本发明实施例采用边缘保持平滑技术来改善权重图的高斯金字塔。其中，权重图和LDR图像序列分别被分解为L层的高斯金字塔和L层的拉普拉斯金字塔，其中拉普拉斯金字塔分解把输入图像分解为基层和细节层，最高层为基层，捕获低频信息(图像的全局颜色信息)，其余层为细节层，捕获高频信息(图像边缘和细节信息)。L由下式给出：
Figure BDA0004187560380000137
其中
Figure BDA0004187560380000138
表示返回一个小于或等于log2min(h,w)的最近整数，min(h,w)表示取最小值函数。根据上式可知，本发明的金字塔层数比传统的金字塔层数少2层，是因为适当的减少层数可以减少在金字塔分解和重建过程中丢失的细节，但随之会带来光晕伪影的问题。通过仔细观察权重图金字塔发现，边缘周围的不适当的平滑是产生光晕伪影的主要原因。例如沿着正常曝光区域边界的过度曝光区域经过不适当的平滑往往会获得更高的权重，这导致了边缘周围的光晕伪影。
不同于使用高斯金字塔G{Wn}(l)来融合不同曝光的图像，本发明实施例提出了新颖的自适应边缘保持平滑金字塔来融合它们。本发明实施例基于加权引导滤波(WGIF)。首先将权重图分解为高斯金字塔，G{Wn}(l)是要平滑的权重图金字塔，以输入LDR图像序列的亮度分量的金字塔作为引导金字塔(G{Yn}(l)为输入图像亮度分量的高斯金字塔)。所提出的金字塔是基于一个观察结果，WGIF可以将G{Yn}(l)的结构转移到G(Wn}(l)。设WGIF的系数表示为
Figure BDA0004187560380000141
和/>
Figure BDA0004187560380000142
为了降低计算成本，本发明实施例仅计算了/>
Figure BDA0004187560380000143
和/>
Figure BDA0004187560380000144
以及
Figure BDA0004187560380000145
和/>
Figure BDA0004187560380000146
如果l的值小于4，其他层中/>
Figure BDA0004187560380000147
和/>
Figure BDA0004187560380000148
是通过/>
Figure BDA0004187560380000149
和/>
Figure BDA00041875603800001410
的上采样插值逐层生成的，如果l的值大于4，其余层是通过/>
Figure BDA00041875603800001411
和/>
Figure BDA00041875603800001412
来实现的，并将半径ζ和正则化参数λ分别固定为2和1/1024。然后给出基于WGIF的金字塔如下：
Figure BDA00041875603800001413
经过WGIF平滑过的
Figure BDA00041875603800001414
由于高层边缘周围不适当的平滑，细节不能很好的保存并且存在光晕伪影的问题。消除光晕伪影的方法是将不适当的权重平滑到较宽的区域使其不可见，对每一层采用高斯平滑滤波器来衰减光晕伪影，但经过平滑处理减小了适当暴露区域的权值，导致明亮区域细节的损失。为了解决这个问题，本发明实施例引入输入图像拉普拉斯金字塔细节层来细化权重图，利用加权引导滤波的系数/>
Figure BDA00041875603800001415
来构建权重图的自适应边缘保持平滑金字塔。具体算法如下：
Figure BDA00041875603800001416
Figure BDA00041875603800001417
表示采用高斯平滑滤波器对/>
Figure BDA00041875603800001418
进行平滑处理，以保证一致性，衰减光晕；|L1{L{In}(l)}|表示拉普拉斯金字塔的高频信息，即不正常曝光区域与正常曝光区域之间的边缘，可用于修正高斯平滑带来的不适当加权，保证了适当暴露区域的加权不受平滑的影响；/>
Figure BDA0004187560380000151
是|L1{L{In}(l)}|的系数，它控制着高频信号的大小；/>
Figure BDA0004187560380000152
决定了梯度保留能力，在边缘处/>
Figure BDA0004187560380000153
较大，则梯度保留效果好；在平坦区域/>
Figure BDA0004187560380000154
较小，则平滑效果好。
最后，本发明利用金字塔融合得到最终的融合图像，具体算法如下：
Figure BDA0004187560380000155
其中L{F(i,j)}(l)表示第l层的拉普拉斯金字塔图像，L{In(i,j)}(l)表示第n个输入图像拉普拉斯金字塔第l层位置(i,j)处的像素值，AES{Wn(i,j)}(l)表示权重图的自适应边缘保持金字塔。
图3为本发明实施例输入的多曝光图像序列，图4为本发明实施例提供的最终融合图像结果及局部放大图；图5为采用现有技术中的4种图像融合算法得到的结果及局部放大图；由图4与图5局部放大图可以看出，图4中最亮部云朵细节更为清晰，在热气球边缘处光晕得到有效抑制。本发明提出的方法在更好保持最亮或最暗区域细节的同时，有效抑制了光晕伪影的产生，具有更好的视觉效果。本发明对输入图像序列整体明暗适配的思想以及通过引入细节层细化权重图，构建权重图的自适应边缘保持平滑金字塔，在更好地保持最暗/最亮区域的细节的同时有效抑制光晕伪影的产生。
本发明提出的方案与现有的方案相比具有以下优势：本发明考虑空间领域信息、明暗过渡更加自然、适配了输入图片序列的整体偏暗或者偏亮的情况。创新性地提出了改进曝光权重算法，再结合局部对比度权重和颜色饱和度权重计算出每个像素点的融合权重，创新性地提出自适应边缘保持平滑金字塔来细化权重图，最后产生高质量的融合图像，更好的保留最暗和最亮区域的细节的同时能有效抑制光晕伪影的产生。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，包括：
获取图像序列；
根据图像序列整体亮度和相邻图像之间相对亮度计算改进曝光权重；
使用密集尺度不变特征描述符从源图像的灰度图像中提取局部对比度信息，根据所有图像中同一像素位置的最大值计算局部对比度权重；
利用R、G和B通道内每个像素的标准偏差计算饱和度权重；
根据所述改进曝光权重、所述局部对比度权重和所述饱和度权重获得所述图像序列的初始权重图；
由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔；
利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔；
将所述自适应边缘保持平滑金字塔与所述拉普拉斯金字塔进行重构，得到融合图像。
2.根据权利要求1所述的一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，计算改进曝光权重具体包括：
对所述图像序列进行灰度化处理，获得灰度化图像；
对所述灰度化图像进行归一化处理；
获取所述灰度化图像归一化后的像素值；
根据所述像素值计算图像序列的归一化平均亮度；
根据所述图像序列的归一化平均亮度自适应调整暗部或亮部的曝光权重。
3.根据权利要求2所述的一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，根据所述图像序列的归一化平均亮度自适应调整暗部或亮部的曝光权重，具体包括：
当归一化平均亮度小于良好曝光像素值m时，曝光权重为：
Figure FDA0004187560370000021
当归一化平均亮度大于良好曝光像素值m时，曝光权重为：
Figure FDA0004187560370000022
当归一化平均亮度等于良好曝光像素值m时，曝光权重为：
Figure FDA0004187560370000023
其中，m表示良好曝光像素值，当图像序列归一化像素值接近为m时赋予最高权重，m∈[0,1]，In(i,j)表示第n张图像归一化后在(i,j)位置的像素值，
Figure FDA0004187560370000024
表示第n张图像的灰度图归一化后在(i,j)位置的像素值，n的取值范围为1,2,…,N，N表示输入图像序列数目，α表示全局亮度自适应因子，λ表示相对亮度自适应因子。
4.根据权利要求3所述的一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，全局亮度自适应因子α反映图像序列的整体曝光与良好曝光像素值m之间的偏移，其定义如下：
Figure FDA0004187560370000025
其中，h和w分别表示图像的长度和宽度；
相对亮度自适应因子λ用于调整归一化值靠近良好曝光m像素值权重为1的范围，其定义如下：
Figure FDA0004187560370000031
其中，mean(In)表示第n个输入图像的平均亮度，μ表示固定参数。
5.根据权利要求1所述的一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，所述拉普拉斯金字塔将所述图像序列分解为基层和细节层，所述基层用于捕获低频信息，所述细节层用于捕获高频信息；所述拉普拉斯金字塔有L层，L由下式得到：
Figure FDA0004187560370000035
其中，h和w分别表示图像的长度和宽度，
Figure FDA0004187560370000036
表示返回一个小于或等于log2min(h,w)的整数。
6.根据权利要求5所述的一种基于自适应边缘保持平滑金字塔的图像融合方法，其特征在于，由图像序列的亮度分量的高斯金字塔作为引导金字塔，对所述初始权重图进行加权引导滤波处理，得到权重图金字塔，具体包括：
由图像序列的亮度分量的高斯金字塔作为引导金字塔，用G{Yn}(l)表示；
将所述初始权重图分解为L层的高斯金字塔，用G{Wn}(l)表示；
基于加权引导滤波将G{Yn}(l)的结构转移到G{Wn}(l)，对初始权重图进行初步平滑处理，具体算法如下：
Figure FDA0004187560370000032
其中，0≤l≤L，L表示所述高斯金字塔的层数，
Figure FDA0004187560370000037
和/>
Figure FDA0004187560370000033
分别表示加权引导滤波的系数，/>
Figure FDA0004187560370000034
表示经过加权引导滤波进行初步平滑处理的权重图金字塔。
7.根据权利要求6所述的一种基于改进曝光权重和平滑金字塔的图像融合方法，其特征在于，利用图像序列的拉普拉斯金字塔的细节层以及加权引导滤波的系数构建权重图的自适应边缘保持平滑金字塔，具体包括：
将加权引导滤波的系数引入所述拉普拉斯金字塔的细节层细化权重图金字塔，构建权重图的自适应边缘保持平滑金字塔，具体算法如下：
Figure FDA0004187560370000041
其中，
Figure FDA0004187560370000042
表示采用高斯平滑滤波器对/>
Figure FDA0004187560370000043
进行平滑处理，|L1{L{In}(l)}|表示拉普拉斯金字塔的高频信息，/>
Figure FDA0004187560370000044
表示加权引导滤波的系数。
8.根据权利要求1所述的一种基于改进曝光权重和平滑金字塔的图像融合方法，其特征在于，将所述自适应边缘保持平滑金字塔与所述拉普拉斯金字塔进行重构，得到融合图像的具体算法如下：
Figure FDA0004187560370000045
其中，L{F(i,j)}(l)表示第l层的拉普拉斯金字塔图像，L{In(i,j)}(l)则表示第n个输入图像拉普拉斯金字塔第l层位置(i,j)处的像素值，AES{Wn(i,j)}(l)表示权重图的自适应边缘保持金字塔，然后通过拉普拉斯逆变换得到融合结果。
9.根据权利要求1所述的一种基于改进曝光权重和平滑金字塔的图像融合方法，其特征在于，对所述初始权重图进行加权引导滤波处理前，对所述初始权重图进行归一化处理：
Figure FDA0004187560370000046
Figure FDA0004187560370000047
其中，
Figure FDA0004187560370000048
表示改进曝光权重，/>
Figure FDA0004187560370000049
表示局部对比度权重，/>
Figure FDA00041875603700000410
表示颜色饱和度权重；/>
Figure FDA00041875603700000411
表示采用改进曝光权重、局部对比度权重和颜色饱和度权重得到的初始权重；Wn(i,j)表示归一化处理后的初始权重图。
CN202310423665.2A 2023-04-20 2023-04-20 一种基于自适应边缘保持平滑金字塔的图像融合方法 Pending CN116416175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310423665.2A CN116416175A (zh) 2023-04-20 2023-04-20 一种基于自适应边缘保持平滑金字塔的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310423665.2A CN116416175A (zh) 2023-04-20 2023-04-20 一种基于自适应边缘保持平滑金字塔的图像融合方法

Publications (1)

Publication Number Publication Date
CN116416175A true CN116416175A (zh) 2023-07-11

Family

ID=87059431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310423665.2A Pending CN116416175A (zh) 2023-04-20 2023-04-20 一种基于自适应边缘保持平滑金字塔的图像融合方法

Country Status (1)

Country Link
CN (1) CN116416175A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117939307A (zh) * 2024-03-19 2024-04-26 四川辰宇微视科技有限公司 一种适用于融合相机的自适应亮度调节方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117939307A (zh) * 2024-03-19 2024-04-26 四川辰宇微视科技有限公司 一种适用于融合相机的自适应亮度调节方法
CN117939307B (zh) * 2024-03-19 2024-06-04 四川辰宇微视科技有限公司 一种适用于融合相机的自适应亮度调节方法

Similar Documents

Publication Publication Date Title
CN107845128B (zh) 一种多尺度细节融合的多曝光高动态图像重建方法
CN107045715B (zh) 一种单幅低动态范围图像生成高动态范围图像的方法
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN111986120A (zh) 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法
CN109767413B (zh) 一种抗运动伪影的hdr方法、装置及便携式终端
CN104021532B (zh) 一种红外图像的图像细节增强方法
CN110189281B (zh) 一种多曝光红外图像融合方法
WO2016139260A9 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
JPWO2009072537A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4021261B2 (ja) 画像処理装置
Lee et al. Noise reduction and adaptive contrast enhancement for local tone mapping
CN110852982A (zh) 自适应的曝光量调整多尺度熵融合的水下图像增强方法
CN103702116B (zh) 一种图像的宽动态压缩方法和装置
CN110675351B (zh) 一种基于全局亮度自适应均衡化的海上图像处理方法
EP2564373B1 (en) Detection and/or enhancement of contrast differences in digital image data
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
CN116416175A (zh) 一种基于自适应边缘保持平滑金字塔的图像融合方法
Muniraj et al. Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter
US9466007B2 (en) Method and device for image processing
CN110246086B (zh) 彩色图像增强的图像处理方法及其图像处理***
CN111325680B (zh) 一种具有抑制局部过曝的图像增亮方法
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination