CN116797504A - 图像融合方法、电子设备及存储介质 - Google Patents
图像融合方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116797504A CN116797504A CN202310651267.6A CN202310651267A CN116797504A CN 116797504 A CN116797504 A CN 116797504A CN 202310651267 A CN202310651267 A CN 202310651267A CN 116797504 A CN116797504 A CN 116797504A
- Authority
- CN
- China
- Prior art keywords
- image
- fused
- target
- area
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims description 56
- 230000000875 corresponding effect Effects 0.000 claims description 31
- 230000001186 cumulative effect Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013442 quality metrics Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- NTHWMYGWWRZVTN-UHFFFAOYSA-N sodium silicate Chemical compound [Na+].[Na+].[O-][Si]([O-])=O NTHWMYGWWRZVTN-UHFFFAOYSA-N 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000234282 Allium Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开一种图像融合方法、电子设备及存储介质，该方法包括：获取目标图像序列，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；根据每个待融合图像的像素点的指标参数，确定每个待融合图像的初始权重图像；确定待修正的初始权重图像中的待修正区域，待修正的初始权重图像为曝光度最高的待融合图像对应的初始权重图像，待修正区域为曝光度最高的待融合图像中的白色对象在待修正的初始权重图像上的对应位置的区域；提高待修正区域中各像素点的权重值得到目标权重图像；根据目标权重图像和曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对曝光度最高的待融合图像和其他待融合图像进行融合，得到目标图像。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像融合方法、电子设备及存储介质。
背景技术
多曝光图像融合(Multi-Exposure Fusion，MEF)是利用三个或者三个以上的同一场景下不同曝光度的图像，在图像变换域或者空间域进行一些图像处理操作，融合成一个清晰度高的、颜色细节丰富的图像的过程。
相关技术中，首先通过待融合图像中各个像素点的对比度、饱和度和亮度等信息，构造各个待融合图像的权重图像，之后基于各个待融合图像的权重图像，对所有待融合图像进行融合，得到最终的融合结果。
然而，由于相关技术中采用良好曝光的思想，对接近预设良好曝光值的像素点给以较大的亮度值，而对远离预设良好曝光值的像素点给以较小的亮度值，因此对于白墙、白衣服等真实场景亮度值本身就高的白色对象，在融合时会与过曝区域一同被压暗，导致多曝光融合的图像质量较差。
发明内容
本申请实施例提供一种图像融合方法、电子设备及存储介质，以解决相关技术在进行多曝光图像融合时存在的图像局部被压暗的技术问题。
根据本申请的第一方面，公开了一种图像融合方法，所述方法包括：
获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
根据每个所述待融合图像的像素点的指标参数，确定每个所述待融合图像的初始权重图像，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
确定待修正的初始权重图像中的待修正区域，其中，所述待修正的初始权重图像为所述目标图像序列中曝光度最高的待融合图像对应的初始权重图像，所述待修正区域为所述曝光度最高的待融合图像中的白色对象在所述待修正的初始权重图像上的对应位置的区域；
提高所述待修正区域中各像素点的权重值，并保持所述待修正的初始权重图像中所述待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；
根据所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对所述曝光度最高的待融合图像和所述其他待融合图像进行融合，得到目标图像。
根据本申请的第二方面，公开了一种图像融合装置，所述装置包括：
获取模块，用于获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
第一确定模块，用于根据每个所述待融合图像的像素点的指标参数，确定每个所述待融合图像的初始权重图像，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
第二确定模块，用于确定待修正的初始权重图像中的待修正区域，其中，所述待修正的初始权重图像为所述目标图像序列中曝光度最高的待融合图像对应的初始权重图像，所述待修正区域为所述曝光度最高的待融合图像中的白色对象在所述待修正的初始权重图像上的对应位置的区域；
修正模块，用于提高所述待修正区域中各像素点的权重值，并保持所述待修正的初始权重图像中所述待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；
融合模块，用于根据所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对所述曝光度最高的待融合图像和所述其他待融合图像进行融合，得到目标图像。
根据本申请的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的图像融合方法。
根据本申请的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。
根据本申请的第五方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的图像融合方法。
本申请实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；根据每个待融合图像的像素点的指标参数，确定每个待融合图像的初始权重图像，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；确定待修正的初始权重图像中的待修正区域，其中，待修正的初始权重图像为目标图像序列中曝光度最高的待融合图像对应的初始权重图像，待修正区域为曝光度最高的待融合图像中的白色对象在待修正的初始权重图像上的对应位置的区域；提高待修正区域中各像素点的权重值，并保持待修正的初始权重图像中待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；根据目标权重图像和目标图像序列中的曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对曝光度最高的待融合图像和其他待融合图像进行融合得到目标图像。
可见，本申请实施例中，可以提高曝光度最高的待融合图像中白色对象在融合时的权重值，由于曝光度最高的待融合图像中白色对象的亮度最高，因此提高曝光度最高的待融合图像中白色对象在融合时的权重值，可以对多曝光融合造成的白色对象所在的非过曝区域被压暗进行修正，提高多曝光融合的图像质量。
附图说明
图1是本申请实施例提供的同一场景下不同曝光度的多个待融合图像的示例图；
图2是本申请实施例提供的基于金字塔策略进行多图像融合过程的示例图；
图3是本申请实施例提供的一种图像融合方法的流程图；
图4是本申请实施例提供的一种图像融合方法的示例图；
图5是本申请实施例提供的步骤303的一个实施方式的流程图；
图6是本申请实施例提供的不同曝光度图像的累计直方图的示例图；
图7是本申请实施例提供的一种图像融合装置的结构示意图；
图8是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
以图像处理领域中的多曝光融合为例，多曝光融合利用同一场景下不同曝光度的多个图像，经过一系列的图像处理融合成一个清晰度高、颜色丰富的图像。相关技术中，首先通过待融合图像中各个像素点的对比度、饱和度和亮度等信息，构造各个待融合图像的权重图像，之后基于各个待融合图像的权重图像，对所有待融合图像进行融合，得到最终的融合结果。
然而，由于相关技术中采用良好曝光的思想，对接近预设良好曝光值的像素点给以较大的亮度值，而对远离预设良好曝光值的像素点给以较小的亮度值，因此对于白墙、白衣服等真实场景亮度值本身就高的白色对象，在融合时会与过曝区域一同被压暗。
例如，预设良好曝光值为120，如图1所示，图1中包括同一场景下不同曝光度的三个图像，分别为待融合图像P1、待融合图像P2和待融合图像P3，其中，待融合图像P1中白墙M1的曝光值为187，待融合图像P2中白墙M2的曝光值为122，待融合图像P3中白墙M3的曝光值为80。由于待融合图像P2中白墙M2的曝光值接近预设良好曝光值，因此分配给待融合图像P2中的白墙M2较大的亮度值；由于待融合图像P1中白墙M1的曝光值远离预设良好曝光值，因此分配给待融合图像P1中的白墙M1较小的亮度值；同理，由于待融合图像P3中白墙M3的曝光值远离预设良好曝光值，因此分配给待融合图像P3中的白墙M3较小的亮度值。在基于以上分配的亮度值进行图像融合时，会导致白墙与过曝区域一同被压暗，多曝光融合的图像质量较差。
为了解决上述技术问题，本申请实施例提供了一种图像融合方法、电子设备及存储介质。为了便于理解，下面首先对本申请实施例的应用场景和涉及到的一些概念进行介绍。
多曝光图像融合(Multi-Exposure Fusion，MEF)：利用三个或者三个以上的同一场景下不同曝光度的图像，在图像变换域或者空间域进行一些图像处理操作，融合成一个清晰度高的、颜色细节丰富的图像的过程。例如，图1中包括同一场景下不同曝光度的三个图像，分别为待融合图像P1、待融合图像P2和待融合图像P3，利用待融合图像P1、P2和P3，融合成一个清晰度高的、颜色细节丰富的目标图像。
金字塔融合策略：采用拉普拉斯金字塔分解输入图像，采用高斯金字塔分解输入图像的权重图像，基于高斯金字塔分解得到的多尺度的权重图像，对拉普拉斯金字塔分解得到的对应尺度的输入图像进行融合，最后通过重建拉普拉斯金字塔得到最终的融合结果。
例如，以图1所示的待融合图像P1、P2和P3为例，计算待融合图像P1的权重图像W1、待融合图像P2的权重图像W2、待融合图像P3的权重图像W3。
之后如图2所示，采用拉普拉斯金字塔分解待融合图像P1、P2、P3，得到每个待融合图像的多个不同尺度的分解图像，例如，待融合图像P1的拉普拉斯金字塔分解图像为L1{P1}、L2{P1},…,LM{P1}，采用高斯金字塔分解权重图像W1、W2、W3，得到每个权重图像的多个不同尺度的分解图像，例如，权重图像W1的高斯金字塔分解图像为G1{W1}、G2{W1},…,GM{W1}，其中，M为金字塔分解图像的尺度个数，M为大于1的整数。
再之后，基于高斯金字塔的同一尺度的分解图像，对拉普拉斯金字塔的同一尺度的分解图像进行融合，得到融合后的金字塔图像序列R1、R2,…,RM；其中，
R1＝L1{P1}*G1{W1}+L1{P2}*G1{W2}+L1{P3}*G1{W3}，
R2＝L2{P1}*G2{W1}+L2{P2}*G2{W2}+L2{P3}*G2{W3}，
RM＝LM{P1}*GM{W1}+LM{P2}*GM{W2}+LM{P3}*GM{W3}，最后，对R1、
R2,…,RM进行拉普拉斯金字塔重建，得到最终融合结果。
累计直方图：代表图像组成成分在灰度级的累计概率分布情况，每一个概率值代表小于或者等于此灰度值的概率。
接下来对本申请实施例提供的一种图像融合方法进行介绍。
图3是本申请实施例提供的一种图像融合方法的流程图，如图3所示，该方法可以包括以下步骤：步骤301、步骤302、步骤303、步骤304和步骤305；
在步骤301中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像。
本申请实施例中，对多个待融合图像进行融合，获得一个同时包含场景亮部和暗部、且细节不失真的目标图像。
在一个例子中，目标图像序列中可以包括3个不同曝光度的待融合图像，分别为欠曝的待融合图像、良好曝光的待融合图像、过曝的待融合图像。
在步骤302中，根据每个待融合图像的像素点的指标参数，确定每个待融合图像的初始权重图像，其中，指标参数包括以下至少一项：对比度、饱和度和亮度。
本申请实施例中，初始权重图像中包含待融合图像的各个像素点在融合时的权重值，其中，为了便于描述，在融合时的权重值，也可称为融合权重值。
在本申请的一些实施例中，图像中像素点的对比度C通过以下方式计算得到：一般来说在曝光不足或者过度曝光区域内的物体的边缘很难被检测到，可以采用拉普拉斯算子L＝[0,-1,0；-1,4,-4；0,-1,0]，在图像的Y通道上计算对比度C，对边缘的像素给予较大的权值：C＝|L*Y|。
在本申请的一些实施例中，图像中像素点的饱和度S通过以下方式计算得到：一个曝光良好的像素点可以很好地捕捉色彩饱和度，在RGB颜色空间中，可以将每个像素点的R、G、B通道内的标准差作为度量S；在YUV颜色空间中，S的计算公式如下：S＝|U|+|V|+1。
在本申请的一些实施例中，图像中像素点的亮度E通过以下方式计算得到：采用通用的思想，认为曝光良好的像素亮度大概率趋向于接近0.5，E计算公式如下：其中，Y为像素点在图像中的灰度值，μ和δ为人为设定的数值。
在本申请的一些实施例中，为了提高信噪比，同时保留暗区的细节信息，指标参数还可以包括：质量度量，其中，质量度量与像素点的灰度值正相关，质量度量用于在图像融合过程中平衡图像的亮度，质量度量
本申请实施例中，在计算待融合图像中各个像素点的融合权重值时，将该像素点的指标参数中的各项进行乘积运算，得到该像素点的融合权重值。
例如，若指标参数包括：对比度、饱和度和亮度，则待融合图像中各个像素点的融合权重值＝该像素点的对比度*该像素点的饱和度*该像素点的亮度。
例如，若指标参数包括：对比度、饱和度、亮度和质量度量，则待融合图像中各个像素点的融合权重值＝该像素点的对比度*该像素点的饱和度*该像素点的亮度*该像素点的质量度量。
在步骤303中，确定待修正的初始权重图像中的待修正区域，其中，待修正的初始权重图像为目标图像序列中曝光度最高的待融合图像对应的初始权重图像，待修正区域为曝光度最高的待融合图像中的白色对象在待修正的初始权重图像上的对应位置的区域。
本申请实施例中，白色对象包括但不限于：纯白颜色的对象，或者乳白、银白、雪白、苍白、灰白、葱白、月白等颜色接近于白色的对象。例如，白色对象为白墙、白衣、白色动物或者其他白色物体。
本申请实施例中，白色对象在真实场景中的亮度比较高，在图像中具有以下特点：对比度较低、饱和度较低、灰度值较高。
本申请实施例中，在确定待修正的初始权重图像中的待修正区域时，可以先确定曝光度最高的待融合图像中白色对象所在的目标区域，之后，根据目标区域在曝光度最高的待融合图像中的位置，确定待修正的初始权重图像中的待修正区域，其中，待修正区域在待修正的初始权重图像中的位置，与目标区域在曝光度最高的待融合图像中的位置相同；待修正区域即为待修正的初始权重图像中白色对象的权重区域。
本申请实施例中，可以通过多种方式，确定曝光度最高的待融合图像中白色对象所在的目标区域，例如，采用对象检测算法，检测目标区域；或者利用累计直方图，检测目标区域。
本申请实施例中，考虑到曝光度最高的待融合图像中白色对象所在目标区域的亮度较高，曝光值也较高，远离预设良好曝光值，使得在基于良好曝光思想分配亮度时，分配到的亮度的值比较小，而接近预设良好曝光值的其他待融合图像被分配了较大的亮度的值，这与实际情况相悖，导致在融合时目标区域会被压暗，因此需要检测出白色对象所在的目标区域，并提高目标区域的融合权重值。
在步骤304中，提高待修正区域中各像素点的权重值，并保持待修正的初始权重图像中待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像。
本申请实施例中，为了确保融合效果与真实场景的亮度一致，在进行权重图像修正时，提高待修正区域中各像素点的权重值，并保持待修正的初始权重图像中待修正区域之外的其他区域中各像素点的权重值不变。
在本申请的一些实施例中，为了降低计算量，提高计算速度，可以将白色对象的融合权重值统一乘以一个大于1的系数，相应地，上述步骤304可以包括以下步骤：将待修正区域中各像素点的权重值乘以目标系数，其中，目标系数为大于1的数值。例如，目标系数为α，1<α≤1.2。
在本申请的一些实施例中，可以将待修正区域中不同像素点的权重值乘以不同的修正系数。
在一个例子中，如图4所示，曝光度最高的待融合图像对应的初始权重图像为W1，目标区域对应的待修正区域为Q1，从图4中可以看出Q1的融合权重值比较小，为避免目标区域在融合时被压暗，对Q1的融合权重值进行提高，得到一个新的权重图像，即目标权重图像W4。
在步骤305中，根据目标权重图像和目标图像序列中的曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对曝光度最高的待融合图像和其他待融合图像进行融合，得到目标图像。
在本申请的一些实施例中，为了提高融合速度，可以基于原始尺寸的权重图像和待融合图像进行融合。
在本申请的一些实施例中，为了确保融合结果中的画面过渡自然，可以采用金字塔策略，对待融合图像和权重图像进行多尺度的分解，基于多尺度的待融合图像和权重图像进行融合。相应地，上述步骤305可以包括以下步骤：步骤3051和步骤3052；
在步骤3051中，对曝光度最高的待融合图像和其他待融合图像均进行拉普拉斯金字塔分解，以及对目标权重图像和目标图像序列中的曝光度最高的待融合图像之外的其他待融合图像的初始权重图像均进行高斯金字塔分解；
在步骤3052中，根据高斯金字塔分解得到的各尺度的权重图像，对拉普拉斯金字塔分解得到的对应尺度的待融合图像进行融合，得到目标图像。
由上述实施例可见，该实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；根据每个待融合图像的像素点的指标参数，确定每个待融合图像的初始权重图像，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；确定待修正的初始权重图像中的待修正区域，其中，待修正的初始权重图像为目标图像序列中曝光度最高的待融合图像对应的初始权重图像，待修正区域为曝光度最高的待融合图像中的白色对象在待修正的初始权重图像上的对应位置的区域；提高待修正区域中各像素点的权重值，并保持待修正的初始权重图像中待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；根据目标权重图像和目标图像序列中的曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对曝光度最高的待融合图像和其他待融合图像进行融合得到目标图像。
可见，本申请实施例中，可以提高曝光度最高的待融合图像中白色对象在融合时的权重值，由于曝光度最高的待融合图像中白色对象的亮度最高，因此提高曝光度最高的待融合图像中白色对象在融合时的权重值，可以对多曝光融合造成的白色对象所在的非过曝区域被压暗进行修正，提高多曝光融合的图像质量。
在本申请提供的另一个实施例中，如图5所示，上述步骤303可以包括以下步骤：步骤3031、步骤3032和步骤3033；
在步骤3031中，计算目标图像序列的各待融合图像中同一位置的各像素点的对比度之和，得到多个不同位置的像素点对比度之和。
本申请实施例中，通过计算各个待融合图像中相同位置的各像素点的对比度之和，可以得到一个与待融合图像的像素点个数相同的矩阵，该矩阵中的一个元素对应于待融合图像中的一个像素位置，该元素的值为该像素位置的各个待融合图像的各像素点的对比度之和。
在步骤3032中，根据多个不同位置的像素点对比度之和，确定目标图像序列的曝光度最高的待融合图像中的良好曝光区域，其中，良好曝光区域内的各位置的像素点对比度之和大于第一阈值。
本申请实施例中，考虑到图像的画面细节与对比度之和之间正相关，画面细节比较少时，对比度之和比较低，画面细节比较多时，对比度之和比较大，而图像过曝时画面细节比较少，并且被压暗的白色对象通常在图像的非过曝区域(即良好曝光区域)内，因此根据目标图像序列的对比度之和，可以准确地从曝光度最高的待融合图像中筛选出良好曝光区域。
在步骤3033中，计算良好曝光区域对应的目标累计直方图，并根据目标累计直方图，确定良好曝光区域中的白色对象所在的目标区域，将待修正的初始权重图像中与目标区域对应的位置区域确定为待修正区域。
本申请实施例中，考虑到被压暗的白色对象在累计直方图上的梯度比较小，因此可以根据良好曝光区域对应的目标累计直方图和白色对象在累计直方图上的梯度表现，从良好曝光区域中筛选白色对象所在的目标区域。
在本申请的一些实施例中，可以直接在良好曝光区域上计算目标累计直方图。
在本申请的一些实施例中，为了确保目标累计直方图中的信息比较全面，上述步骤3033可以包括以下步骤：对良好曝光区域进行膨胀处理，得到膨胀后的图像区域；对膨胀后的图像区域进行直方图计算，得到目标累计直方图。
在本申请的一些实施例中，考虑到图像的画面细节与累计直方图的梯度之间负相关，画面细节比较少时，直方图梯度比较大，画面细节比较多时，直方图梯度比较小，而图像中的过曝区域和欠爆区域的画面细节比较少，良好曝光区域的画面细节比较多，被压暗的白色对象通常在图像的良好曝区域内，并且白色对象在图像中的对比度比较低、饱和度也比较低，基于以上特点，为了确保目标区域确定结果的准确性，相应地，上述步骤3033可以包括以下步骤：将良好曝光区域中的累计直方图梯度值小于第二阈值、饱和度小于第三阈值、且对比度小于第四阈值的像素点所在的区域，确定为白色对象所在的目标区域。
本申请实施例中，第一阈值、第二阈值、第三阈值以及第四阈值的取值，可以根据实际情况进行设定。
为了便于理解，结合图6所示的例子，对本申请实施例中白色对象所在的目标区域的确定过程进行解释。
如图6所示，低曝光图像有很多接近于零的饱和像素，因此其累计直方图在开始时急剧增加。当一个像素在累计直方图变化缓慢的范围内时，可以认为它是在一个良好曝光区域，也就是说这个区域的像素值相对较少，因此其周围的像素值变化较大。在中曝光图像和高曝光图像中，累计直方图在低像素值处的梯度比低曝光图像的梯度小，这也意味着低值的像素位于良好曝光或高变化区域，因此当像素在累计直方图的范围内梯度越小，就需要分配给像素越大的融合权重值。
可见，本申请实施例中，可以根据被压暗的白色对象在原始图像上的特点和在累计直方图的特点，确定目标区域，进而确定权重图像中的待修正区域，确定结果比较准确、计算量较小。
图7是本申请实施例提供的一种图像融合装置的结构示意图，如图7所示，图像融合装置700，可以包括：获取模块701、第一确定模块702、第二确定模块703、修正模块704和融合模块705；
获取模块701，用于获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
第一确定模块702，用于根据每个所述待融合图像的像素点的指标参数，确定每个所述待融合图像的初始权重图像，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
第二确定模块703，用于确定待修正的初始权重图像中的待修正区域，其中，所述待修正的初始权重图像为所述目标图像序列中曝光度最高的待融合图像对应的初始权重图像，所述待修正区域为所述曝光度最高的待融合图像中的白色对象在所述待修正的初始权重图像上的对应位置的区域；
修正模块704，用于提高所述待修正区域中各像素点的权重值，并保持所述待修正的初始权重图像中所述待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；
融合模块705，用于根据所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对所述曝光度最高的待融合图像和所述其他待融合图像进行融合，得到目标图像。
由上述实施例可见，该实施例中，获取目标图像序列，其中，目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；根据每个待融合图像的像素点的指标参数，确定每个待融合图像的初始权重图像，其中，指标参数包括以下至少一项：对比度、饱和度和亮度；确定待修正的初始权重图像中的待修正区域，其中，待修正的初始权重图像为目标图像序列中曝光度最高的待融合图像对应的初始权重图像，待修正区域为曝光度最高的待融合图像中的白色对象在待修正的初始权重图像上的对应位置的区域；提高待修正区域中各像素点的权重值，并保持待修正的初始权重图像中待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；根据目标权重图像和目标图像序列中的曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对曝光度最高的待融合图像和其他待融合图像进行融合得到目标图像。
可见，本申请实施例中，可以提高曝光度最高的待融合图像中白色对象在融合时的权重值，由于曝光度最高的待融合图像中白色对象的亮度最高，因此提高曝光度最高的待融合图像中白色对象在融合时的权重值，可以对多曝光融合造成的白色对象所在的非过曝区域被压暗进行修正，提高多曝光融合的图像质量。
可选地，作为一个实施例，所述第二确定模块703，可以包括：
第一计算子模块，用于计算所述目标图像序列的各所述待融合图像中同一位置的各像素点的对比度之和，得到多个不同位置的像素点对比度之和；
第一确定子模块，用于根据所述多个不同位置的像素点对比度之和，确定所述目标图像序列的曝光度最高的待融合图像中的良好曝光区域，其中，所述良好曝光区域内的各位置的像素点对比度之和大于第一阈值；
第二计算子模块，用于计算所述良好曝光区域对应的目标累计直方图；
第二确定子模块，用于根据所述目标累计直方图，确定所述良好曝光区域中的白色对象所在的目标区域；
第三确定子模块，用于将待修正的初始权重图像中与所述目标区域对应的位置区域确定为待修正区域。
可选地，作为一个实施例，所述第二确定子模块，可以包括：
确定单元，用于将所述良好曝光区域中的累计直方图梯度值小于第二阈值、饱和度小于第三阈值、且对比度小于第四阈值的像素点所在的区域，确定为白色对象所在的目标区域。
可选地，作为一个实施例，所述第二计算子模块，可以包括：
预处理单元，用于对所述良好曝光区域进行膨胀处理，得到膨胀后的图像区域；
计算单元，用于对所述膨胀后的图像区域进行直方图计算，得到目标累计直方图。
可选地，作为一个实施例，所述修正模块704，可以包括：
修正子模块，用于将所述待修正区域中各像素点的权重值乘以目标系数，其中，所述目标系数为大于1的数值。
可选地，作为一个实施例，所述融合模块705，可以包括：
分解子模块，用于对所述曝光度最高的待融合图像和所述其他待融合图像均进行拉普拉斯金字塔分解，以及对所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像均进行高斯金字塔分解；
融合子模块，用于根据所述高斯金字塔分解得到的各尺度的权重图像，对所述拉普拉斯金字塔分解得到的对应尺度的待融合图像进行融合，得到目标图像。
可选地，作为一个实施例，所述指标参数还包括：质量度量，其中，所述质量度量与像素点的灰度值正相关，所述质量度量用于在图像融合过程中平衡图像的亮度。
本申请提供的图像融合方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由图像融合装置中的相应的模块完成。图像融合装置中的各个模块完成的相应的操作的过程参考在图像融合方法的实施例中描述的相应的操作的过程。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图8是本申请实施例提供的一种电子设备的结构框图，该电子设备包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件826被配置为执行电子设备的电源管理，一个有线或无线网络接口850被配置为将电子设备连接到网络，和一个输入输出(I/O)接口858。电子设备可以操作基于存储在存储器832的操作***，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
根据本申请的再一个实施例，本申请还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。
根据本申请的再一个实施例，本申请还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的图像融合方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像融合方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像融合方法，其特征在于，所述方法包括：
获取目标图像序列，其中，所述目标图像序列中包括：同一场景下不同曝光度的多个待融合图像；
根据每个所述待融合图像的像素点的指标参数，确定每个所述待融合图像的初始权重图像，其中，所述指标参数包括以下至少一项：对比度、饱和度和亮度；
确定待修正的初始权重图像中的待修正区域，其中，所述待修正的初始权重图像为所述目标图像序列中曝光度最高的待融合图像对应的初始权重图像，所述待修正区域为所述曝光度最高的待融合图像中的白色对象在所述待修正的初始权重图像上的对应位置的区域；
提高所述待修正区域中各像素点的权重值，并保持所述待修正的初始权重图像中所述待修正区域之外的其他区域中各像素点的权重值不变，得到目标权重图像；
根据所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对所述曝光度最高的待融合图像和所述其他待融合图像进行融合，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述确定待修正的初始权重图像中的待修正区域，包括：
计算所述目标图像序列的各所述待融合图像中同一位置的各像素点的对比度之和，得到多个不同位置的像素点对比度之和；
根据所述多个不同位置的像素点对比度之和，确定所述目标图像序列的曝光度最高的待融合图像中的良好曝光区域，其中，所述良好曝光区域内的各位置的像素点对比度之和大于第一阈值；
计算所述良好曝光区域对应的目标累计直方图，并根据所述目标累计直方图，确定所述良好曝光区域中的白色对象所在的目标区域；
将待修正的初始权重图像中与所述目标区域对应的位置区域确定为待修正区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标累计直方图，确定所述良好曝光区域中的白色对象所在的目标区域，包括：
将所述良好曝光区域中的累计直方图梯度值小于第二阈值、饱和度小于第三阈值、且对比度小于第四阈值的像素点所在的区域，确定为白色对象所在的目标区域。
4.根据权利要求2所述的方法，其特征在于，所述计算所述良好曝光区域对应的目标累计直方图，包括：
对所述良好曝光区域进行膨胀处理，得到膨胀后的图像区域；
对所述膨胀后的图像区域进行直方图计算，得到目标累计直方图。
5.根据权利要求1所述的方法，其特征在于，所述提高所述待修正区域中各像素点的权重值，包括：
将所述待修正区域中各像素点的权重值乘以目标系数，其中，所述目标系数为大于1的数值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像，对所述曝光度最高的待融合图像和所述其他待融合图像进行融合，得到目标图像，包括：
对所述曝光度最高的待融合图像和所述其他待融合图像均进行拉普拉斯金字塔分解，以及对所述目标权重图像和所述目标图像序列中的所述曝光度最高的待融合图像之外的其他待融合图像的初始权重图像均进行高斯金字塔分解；
根据所述高斯金字塔分解得到的各尺度的权重图像，对所述拉普拉斯金字塔分解得到的对应尺度的待融合图像进行融合，得到目标图像。
7.根据权利要求1所述的方法，其特征在于，所述指标参数还包括：质量度量，其中，所述质量度量与像素点的灰度值正相关，所述质量度量用于在图像融合过程中平衡图像的亮度。
8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651267.6A CN116797504A (zh) | 2023-06-02 | 2023-06-02 | 图像融合方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651267.6A CN116797504A (zh) | 2023-06-02 | 2023-06-02 | 图像融合方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797504A true CN116797504A (zh) | 2023-09-22 |
Family
ID=88044583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310651267.6A Pending CN116797504A (zh) | 2023-06-02 | 2023-06-02 | 图像融合方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797504A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392118A (zh) * | 2023-12-07 | 2024-01-12 | 巴苏尼制造(江苏)有限公司 | 基于多特融合的纺织品染整染色异常检测方法 |
| CN117651212A (zh) * | 2024-01-29 | 2024-03-05 | 荣耀终端有限公司 | 一种曝光参数的调节方法及电子设备 |
-
2023
- 2023-06-02 CN CN202310651267.6A patent/CN116797504A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392118A (zh) * | 2023-12-07 | 2024-01-12 | 巴苏尼制造(江苏)有限公司 | 基于多特融合的纺织品染整染色异常检测方法 |
| CN117392118B (zh) * | 2023-12-07 | 2024-02-06 | 巴苏尼制造(江苏)有限公司 | 基于多特融合的纺织品染整染色异常检测方法 |
| CN117651212A (zh) * | 2024-01-29 | 2024-03-05 | 荣耀终端有限公司 | 一种曝光参数的调节方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3631754B1 (en) | Image processing apparatus and method | |
| Kou et al. | Intelligent detail enhancement for exposure fusion | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN116797504A (zh) | 图像融合方法、电子设备及存储介质 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| Gupta et al. | HDR-like image from pseudo-exposure image fusion: A genetic algorithm approach | |
| CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
| CN114708615B (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| CN116797505A (zh) | 图像融合方法、电子设备及存储介质 | |
| CN115049675A (zh) | 生成区域确定及光斑生成方法、设备、介质及程序产品 | |
| CN114708172A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN116977209A (zh) | 图像降噪方法、电子设备及存储介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN116664694A (zh) | 图像亮度获取模型的训练方法、图像获取方法及移动终端 | |
| CN113591838B (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN115798005A (zh) | 基准照片的处理方法及装置、处理器和电子设备 | |
| CN114581316A (zh) | 图像重建方法、电子设备、存储介质及程序产品 | |
| CN114549340A (zh) | 对比度增强方法、计算机程序产品、存储介质及电子设备 | |
| CN114648604A (zh) | 一种图像渲染方法、电子设备、存储介质及程序产品 | |
| Zhu et al. | A method for quality evaluation of multi-exposure fusion images with multi-scale gradient magnitude | |
| CN116362981A (zh) | 色调映射方法、计算机程序产品、电子设备以及存储介质 | |
| CN116957961A (zh) | 增强图像对比度的方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |