CN112767289A - 图像融合方法、装置、介质及电子设备 - Google Patents

图像融合方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN112767289A
CN112767289A CN201911000100.3A CN201911000100A CN112767289A CN 112767289 A CN112767289 A CN 112767289A CN 201911000100 A CN201911000100 A CN 201911000100A CN 112767289 A CN112767289 A CN 112767289A
Authority
CN
China
Prior art keywords
brightness
image
visible light
fusion
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911000100.3A
Other languages
English (en)
Other versions
CN112767289B (zh
Inventor
张娅楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201911000100.3A priority Critical patent/CN112767289B/zh
Priority to US17/770,605 priority patent/US20220292658A1/en
Priority to PCT/CN2020/087260 priority patent/WO2021077706A1/zh
Priority to EP20879013.9A priority patent/EP4050558A4/en
Publication of CN112767289A publication Critical patent/CN112767289A/zh
Application granted granted Critical
Publication of CN112767289B publication Critical patent/CN112767289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像融合方法、装置、介质及电子设备。该方法包括：获取待融合的可见光图像和红外图像；对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。通过执行本技术方案，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以对于边缘信息进行较好的保留的目的。

Description

图像融合方法、装置、介质及电子设备
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、介质及电子设备。
背景技术
随着科技水平的迅速发展，图像处理的方法和技术也在逐步完善。采集图像数据的手段不断完善，图像融合已经运用于较多领域。图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率，改善计算机解译精度和可靠性，提升原始图像的空间分辨率和光谱分辨率，利于监测。
现有的图像融合技术大多是对源图像进行简单的融合，很少考虑到源图像在亮度或结构上的不一致问题，导致融合后的图像色彩失真，边缘模糊或噪声明显。
发明内容
本申请实施例提供一种图像融合方法、装置、介质及电子设备，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以达到对于边缘信息进行较好的保留的目的。
第一方面，本申请实施例提供了一种图像融合方法，该方法包括：
获取待融合的可见光图像和红外图像；
对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
可选的，将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果，包括：
根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像；
分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合；
对各层对应融合的结果进行叠加，得到亮度融合结果。
可选的，根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像，包括：
根据红外图像中的目标像素点的位置，确定可见光图像的亮度分量参考像素点的位置；
根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，并遍历红外图像的所有像素点，得到校正后的红外图像。
可选的，根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，包括：
采用如下公式确定目标像素点的亮度校正结果；
Yir'(i)＝Yvis(i)αi(1)+αi(2)；
其中，Yir'(i)为目标像素点的亮度校正结果，Yvis(i)为参考像素点的亮度值；αi(1)和αi(2)为αi矩阵的第一个数值和第二个数值；
其中，
Figure BDA0002241037200000031
其中，Wi为预设权重矩阵，Qi为以目标像素点为中心的预设范围邻域块内各像素点的亮度值与数值1构成的矩阵；pi为以参考像素点为中心的预设范围邻域块的亮度值构成的矩阵；I为单位矩阵；
Figure BDA0002241037200000032
为目标像素点的亮度值与以目标像素点为中心的预设范围邻域块内各像素点的亮度值均值的比，构成的局部对比因子。
可选的，分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合，包括：
对所述可见光图像的亮度分量分层为可见光亮度基础层和可见光亮度细节层，对所述校正后的红外图像分层为红外图像基础层和红外图像细节层；
将可见光亮度基础层与红外图像基础层进行融合，并将可见光亮度细节层与红外图像细节层进行融合。
可选的，将可见光亮度基础层与红外图像基础层进行融合，包括：
通过高通滤波确定可见光亮度基础层与红外图像基础层的区域显著性矩阵，根据所述区域显著性矩阵确定可见光亮度基础层第一权重
Figure BDA0002241037200000033
与红外图像基础层第一权重
Figure BDA0002241037200000034
根据预设最佳亮度值确定可见光亮度基础层第二权重
Figure BDA0002241037200000035
与红外图像基础层第二权重
Figure BDA0002241037200000036
根据可见光亮度基础层第一权重
Figure BDA0002241037200000041
和可见光亮度基础层第二权重
Figure BDA0002241037200000042
确定可见光亮度基础层融合权重；根据红外图像基础层第一权重
Figure BDA0002241037200000043
和红外图像基础层第二权重
Figure BDA0002241037200000044
确定红外图像基础层融合权重；
根据所述可见光亮度基础层融合权重和所述红外图像基础层融合权重，对可见光亮度基础层与红外图像基础层进行融合。
可选的，将可见光亮度细节层与红外图像细节层进行融合，包括：
计算可见光亮度细节层的边缘强度矩阵和红外图像细节层的边缘强度矩阵，并基于边缘强度矩阵，确定可见光亮度细节层第一权重
Figure BDA0002241037200000045
和红外图像细节层第一权重
Figure BDA0002241037200000046
根据预设最佳边缘强度值确定可见光亮度细节层第二权重
Figure BDA0002241037200000047
和红外图像细节层第二权重
Figure BDA0002241037200000048
根据可见光亮度细节层第一权重
Figure BDA0002241037200000049
和可见光亮度细节层第二权重
Figure BDA00022410372000000410
确定可见光亮度细节层融合权重；根据红外图像细节层第一权重
Figure BDA00022410372000000411
和红外图像细节层第二权重
Figure BDA00022410372000000412
确定红外图像细节层融合权重；
根据所述可见光亮度细节层融合权重和所述红外图像细节层融合权重，对可见光亮度细节层与红外图像细节层进行融合。
第二方面，本申请实施例提供了一种图像融合装置，该装置包括：
图像获取模块，用于获取待融合的可见光图像和红外图像；
亮色分离模块，用于对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
亮度融合模块，用于将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
亮色重建模块，用于根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像融合方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像融合方法。
本申请实施例所提供的技术方案，获取待融合的可见光图像和红外图像；对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。通过采用本申请所提供的技术方案，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以对于边缘信息进行较好的保留的目的。
附图说明
图1是本申请实施例提供的图像融合方法的流程图；
图2是本申请实施例提供的图像融合流程示意图；
图3是本申请实施例提供的亮度融合流程示意图；
图4是本申请实施例提供的图像融合装置的结构示意图；
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本申请实施例提供的图像融合方法的流程图，本实施例可适用于对对可见光图像和红外图像进行融合的情况，该方法可以由本申请实施例所提供的图像融合装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于智能终端等电子设备中。
如图1所示，所述图像融合方法包括：
S110、获取待融合的可见光图像和红外图像。
其中，其中，待融合的可见光图像和红外图像可以是针对同一目标获取的图像。例如在同时分别启用可见光摄像头和红外摄像头获取该目标的可见光图像和红外图像。其中，红外图像和可见光图像可以进行补光，例如红外图像获取时，采用红外光照射器对该目标进行补光。可见光图像也可以是通过补光得到的图像。
S120、对所述可见光图像进行亮色分离，提取出亮度分量和色度分量。
其中，亮色分离主要是分离可见光图像的亮度分量和色度分量。例如可见光图像原本的格式为YUV图像，则可以提取其中的Y分量作为可见光图像的亮度分量，UV分量作为可见光图像的色度分量。或者可见光图像原本的格式为HSV格式图像，则可以提取其中的V分量作为可见光图像的亮度分量，HS分量作为可见光图像的色度分量。在本方案中，如果可见光图像原本的格式为RGB图像，则可以将其转换到YUV、HSV或其他自定义颜色空间，以分离亮度分量和色度分量。
S130、将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果。
在本技术方案中，可以通过对可见光进行亮色分离之后，将其亮度分量与红外图像进行亮度融合，以得到亮度融合结果。这样设置可以在融合后的亮度分量不仅具有较高的信噪比、对比度，而且保有更多的边缘细节信息。
在本技术方案中，可选的，将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果，包括：根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像；分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合；对各层对应融合的结果进行叠加，得到亮度融合结果。
其中，根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像。其中主要根据可见光的亮度信息对红外的亮度信息进行校正，以消除可见光及红外图像在亮度和/或结构上的不一致问题，从而避免直接融合导致的色彩失真、细节丢失及伪边缘问题。具体的校正方式包括以下几种：
第一种方式：这种方式仅考虑亮度上的不一致问题。例如，夜间低照场景下，可见光图像亮度相对较低，而红外图像由于存在红外补光，红外图像亮度相对较高但存在车牌等区域亮度过曝问题。因此，直接融合可能导致色彩失真等问题，此时考虑对红外图像进行亮度校正。这里可以采用全局映射方法，如直方图匹配的方法，以可见光亮度直方图为匹配直方图对红外亮度进行校正，也可以统计可见光亮度均值，然后对红外亮度进行线性映射；除了全局映射校正外，还可以根据亮度图像局部的亮度或对比度等信息，进行局部校正。
第二种方式：这种方式仅考虑结构上的不一致问题，除了亮度不一致问题，可见光图像和红外图像还存在由于反光特性差异导致的结构不一致问题，例如红外图像车牌信息丢失，对红外亮度进行结构上的校正可以避免融合导致的此区域细节丢失。这里可采用联合滤波算法进行校正，如导向滤波、最小二乘滤波(weighted least squares，WLS)或联合双边滤波等，以可见光图像边缘信息为参考，对红外图像进行滤波操作，滤波后的红外亮度图像与可见光图像具有相同的边缘细节，也可以采用soft matting(图像软抠图)等非滤波方法，消除边缘结构不一致问题。
到这里为止，可以看出，以上两种方式可以分别进行校正，也可以同时使用进行校正，以达到伪边缘结构抑制，色彩真实并且细节完整的融合效果。以上为红外图像校正的过程，在完成校正之后，分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合；对各层对应融合的结果进行叠加，得到亮度融合结果。通过对红外图像的校正，可以红外图像亮度过曝导致的直接融合色彩失真，以及避免结构差异的问题。
在上述技术方案的基础上，可选的，根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像，包括：根据红外图像中的目标像素点的位置，确定可见光图像的亮度分量参考像素点的位置；根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，并遍历红外图像的所有像素点，得到校正后的红外图像。
在上述技术方案的基础上，可选的，根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，包括：采用如下公式确定目标像素点的亮度校正结果；
Yir'(i)＝Yvis(i)αi(1)+αi(2)；
其中，Yir'(i)为目标像素点的亮度校正结果，Yvis(i)为参考像素点的亮度值；αi(1)和αi(2)为αi矩阵的第一个数值和第二个数值；
其中，
Figure BDA0002241037200000091
其中，Wi为预设权重矩阵，Qi为以目标像素点为中心的预设范围邻域块内各像素点的亮度值与数值1构成的矩阵；pi为以参考像素点为中心的预设范围邻域块的亮度值构成的矩阵；I为单位矩阵；
Figure BDA0002241037200000092
为目标像素点的亮度值与以目标像素点为中心的预设范围邻域块内各像素点的亮度值均值的比，构成的局部对比因子。
具体的，可以以第三种红外图像校正方式进行说明。
第三种方式：同时考虑亮度和结构上的不一致问题，这里给出一种具体的实施例，实现步骤如下：
对红外亮度图像中的任意像素点，转换公式如下：
Figure BDA0002241037200000093
其中，
Figure BDA0002241037200000101
为可见光亮度图像Yvis中以i为中心的邻域块组成的向量。其中，邻域块的范围是m*m，而m的值可以取3、5等，还可以是以i为中心的更大的范围。
Figure BDA0002241037200000102
为原始红外亮度图像
Figure BDA0002241037200000105
中以i为中心的邻域块与元素均为1的列向量组成的矩阵。
Figure BDA0002241037200000103
为预设权重矩阵，权重由邻域块中的点与i的距离决定，距离越大，权重越小。
Figure BDA0002241037200000104
为局部对比因子与0组成的向量。
λ为预设正则化参数，值越小，校正后的红外亮度图像越接近于可见光图像，不一致程度越低。相反，越接近原始红外亮度图像，信噪比、对比度越高，值可根据实际场景调整；上述最优化式子存在解析解，形式如下：
Figure BDA0002241037200000106
可以得到两行一列的αi矩阵，则转换后的红外图像为：
Yir(i)＝Yvis(i)αi(1)+αi(2)；
其中，αi(1)为αi矩阵的第一行的数值，αi(2)为αi矩阵的第二行的数值。
逐个像素遍历整幅红外图像，重复上述计算步骤，即可得到校正后的红外图像。
在本实施例中，可选的，分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合，包括：对所述可见光图像的亮度分量分层为可见光亮度基础层和可见光亮度细节层，对所述校正后的红外图像分层为红外图像基础层和红外图像细节层；将可见光亮度基础层与红外图像基础层进行融合，并将可见光亮度细节层与红外图像细节层进行融合。其中，分层可以分为两层或者更多层，并分别对每一层进行融合。此处以分为基础层和细节层进行说明。主要是用于分离可见光亮度图像和校正后的红外亮度图像的基础层和细节层。这里即可以采用多尺度分解的方法，例如小波变换、高斯金字塔、拉普拉斯金字塔等，也可以采用滤波算法来实现对亮度的分层。对于滤波算法，可以采用线性滤波算法，如均值滤波、高斯滤波等，这种滤波方法原理简单，计算复杂度低，性能优越，可以快速实现对亮度图像的平滑。还可以采用非线性滤波器，如中值滤波、非局部均值滤波以及双边滤波等保边滤波算法，这种滤波方法能够在去除小的噪声或纹理细节的同时保护图像的边缘信息，但复杂度相对较高。以均值滤波对可见光亮度图像Yvis进行分层为例，具体实现步骤如下：
对可见光亮度图像Yvis进行均值滤波：
Figure BDA0002241037200000111
其中，w为均值滤波模板，Ωi为以像素点i为中心的均值滤波窗口，*代表卷积操作，Yvis_base即为可见光亮度基础层。
此时可见光细节层可以通过以下公式得到：
Yvis_det(i)＝Yvis(i)-Yvis_base(i)；
Yvis_det即为可见光亮度细节层；相应地，也可以用以上方法对校正后的红外图像进行亮度分层操作。
本技术方案通过采用这种分层方式，并对每个分层分别进行融合，可以提高图像的融合效果，得到更加准确的图像。
在本技术方案中，将可见光亮度基础层与红外图像基础层进行融合，包括：通过高通滤波确定可见光亮度基础层与红外图像基础层的区域显著性矩阵，根据所述区域显著性矩阵确定可见光亮度基础层第一权重
Figure BDA0002241037200000121
与红外图像基础层第一权重
Figure BDA0002241037200000122
根据预设最佳亮度值确定可见光亮度基础层第二权重
Figure BDA0002241037200000123
与红外图像基础层第二权重
Figure BDA0002241037200000124
根据可见光亮度基础层第一权重
Figure BDA0002241037200000125
和可见光亮度基础层第二权重
Figure BDA0002241037200000126
确定可见光亮度基础层融合权重；根据红外图像基础层第一权重
Figure BDA0002241037200000127
和红外图像基础层第二权重
Figure BDA0002241037200000128
确定红外图像基础层融合权重；根据所述可见光亮度基础层融合权重和所述红外图像基础层融合权重，对可见光亮度基础层与红外图像基础层进行融合。
其中，主要基于区域显著性等客观标准和视觉最优等主观标准对可见光亮度基础层与红外图像基础层进行融合。具体步骤如下：
一、基于区域显著性的融合权重计算：
利用拉普拉斯算子
Figure BDA0002241037200000129
分别对Yvis_base、Yir_base进行高通滤波，(也可以采用其他高通滤波方法，这里不做限制)，得到显著性矩阵Cvis、Cir，则Yvis_base、Yir_base融合权重分别为：
确定可见光亮度基础层第一权重
Figure BDA00022410372000001210
Figure BDA00022410372000001211
以及确定红外图像基础层第一权重
Figure BDA00022410372000001212
Figure BDA00022410372000001213
二、基于视觉最优理论的融合权重计算：
根据下面公式即可得到Yvis_base、Yir_base融合第二权重分别为：
Figure BDA00022410372000001214
其中，
Figure BDA00022410372000001215
为可见光亮度基础层第二权重，
Figure BDA00022410372000001216
为红外图像基础层第二权重，μ1为预设画面最佳亮度值，对于8bit图像通常取值范围为[100,200]；
Figure BDA00022410372000001217
为预设标准差。可知，源图像亮度越接近最佳亮度值，融合权重越大，不仅可以使融合后的画面亮度更符合人眼观看，还可以有效防止当红外图像中存在过曝区域(如车牌等)时，过多的红外分量可能导致的画面偏色问题。
三、最终基础层融合权重；
Figure BDA0002241037200000131
Figure BDA0002241037200000132
Figure BDA0002241037200000133
Bir'＝1-Bvis；
其中γ1、γ2为预设控制参数，可以控制第一权重和第二权重对最终基础层权重的贡献。融合后的基础层为：
Ycomb_base＝Bvis'*Yvis_base+Bir'*Yir_base；
其中，Ycomb_base为基础层的融合结果。
本技术方案通过这样的设置，可以在基础层进行融合的过程中，考虑到视觉最优理论的问题，对最终进行融合的权重进行调整，加入主观因素，使融合图像不仅具有较高的信噪比、清晰度，还可以更加符合人眼的视觉感官。
在本技术方案中，可选的，将可见光亮度细节层与红外图像细节层进行融合，包括：计算可见光亮度细节层的边缘强度矩阵和红外图像细节层的边缘强度矩阵，并基于边缘强度矩阵，确定可见光亮度细节层第一权重
Figure BDA0002241037200000134
和红外图像细节层第一权重
Figure BDA0002241037200000135
根据预设最佳边缘强度值确定可见光亮度细节层第二权重
Figure BDA0002241037200000136
和红外图像细节层第二权重
Figure BDA0002241037200000137
根据可见光亮度细节层第一权重
Figure BDA0002241037200000138
和可见光亮度细节层第二权重
Figure BDA0002241037200000139
确定可见光亮度细节层融合权重；根据红外图像细节层第一权重
Figure BDA00022410372000001310
和红外图像细节层第二权重
Figure BDA00022410372000001311
确定红外图像细节层融合权重；根据所述可见光亮度细节层融合权重和所述红外图像细节层融合权重，对可见光亮度细节层与红外图像细节层进行融合。
本方案同样基于细节强度等客观标准以及视觉最优等主观标准对可见光细节层和红外细节层进行融合；具体步骤如下：
一、分别对可见光细节层和红外细节层进行低通滤波得到边缘强度矩阵Evis、Eir。
二、基于细节强度的融合权重计算：
Figure BDA0002241037200000141
Figure BDA0002241037200000142
其中，
Figure BDA0002241037200000143
th为预设阈值，将可见光边缘强度小于阈值的值置0，可以有效降低可见光噪声。
三、基于视觉最优理论的融合权重计算：
根据下面公式即可得到Yvis_det、Yir_det融合权重分别为：
Figure BDA0002241037200000144
其中μ2为预设画面最佳局部边缘强度值，对于8bit图像通常取值范围为[35,80]，
Figure BDA0002241037200000145
为预设标准差。可知，源图像局部细节强度越接近最佳强度值，融合权重越大，可以有效防止仅依靠细节强度权重可能导致的边缘过度增强问题。
四、最终细节层融合权重：
Figure BDA0002241037200000146
Figure BDA0002241037200000147
Figure BDA0002241037200000151
Dir＝1-Dvis；
其中γ3、γ4为预设参数，可以控制每个权重对最终细节层融合权重的贡献。
融合后的细节层为：
Ycomb_det＝Dvis*Yvis_det+Dir*Yir_det；
其中，Ycomb_det为细节层的融合结果。
因此融合后的亮度图像为：Ycomb＝Ycomb_base+Ycomb_det，最终融合后的彩色图像通过合并融合后的亮度图像和色度降噪后的可见光色度分量即可。
S140、根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
在对可见光亮度与红外图像进行亮度融合之后，可以将融合结果与可见光的色度分量进行图像重建，以得到最终融合图像。
图2是本申请实施例提供的图像融合流程示意图。如图2所示，在得到拍摄目标的可见光图像和红外图像之后，对可见光进行亮色分离处理，得到可见光亮度和可见光色度。对可见光亮度红外图像的红外亮度进行亮度融合，得到亮度融合结果，并可以对可见光的色度进行色度降噪处理，得到的降噪结果与亮度融合结果进行图像重建，以得到最终融合图像。其中，对可见光图像的色度分量进行降噪处理，可以采用线性滤波器(如均值滤波、高斯滤波等)或者非线性保边滤波器(如双边滤波、非局部均值滤波等)进行降噪处理，经过色度降噪后的图像具有更高的信噪比。本技术方案通过这样的设置，可以避免直接将红外图像和可见光图像进行融合带来的亮度、结构不一致而导致色彩失真、边缘模糊及伪边缘等问题。还能避免融合规则仅考虑客观因素可能导致的画面过度增强问题，使融合图像更符合人眼视觉观察。
图3是本申请实施例提供的亮度融合流程示意图。如图3所示，在得到红外图像的红外亮度和可见光图像亮度分量的可见光亮度之后，可以优先采用可见光亮度对红外亮度进行图像校正，并对可见光亮度和校正后的红外图像进行亮度分层，分别得到可见光细节层、可见光基础层、红外细节层和红外基础层。可以采用上述方式中的一种对可见光基础层和红外基础层进行基础层融合并对可见光细节层与红外细节层进行细节融合。并将基础层融合和细节层融合的结果进行最终的融合，得到最终的融合亮度。
本技术方案，通过消除源图像在亮度以及结构上的不一致性问题，避免了现有融合技术中可能导致的偏色、细节损失及伪边缘问题；此外融合时不仅参考区域显著性、边缘强度等客观因素，还考虑了人眼视觉对图像的主观感受，有效解决了融合图像的过增强问题，使融合图像视觉效果更佳自然。
本申请实施例所提供的技术方案，获取待融合的可见光图像和红外图像；对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。通过采用本申请所提供的技术方案，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以对于边缘信息进行较好的保留的目的。
图4是本申请实施例提供的图像融合装置的结构示意图。如图4所示，所述图像融合装置，包括：
图像获取模块410，用于获取待融合的可见光图像和红外图像；
亮色分离模块420，用于对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
亮度融合模块430，用于将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
亮色重建模块440，用于根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
本申请实施例所提供的技术方案，获取待融合的可见光图像和红外图像；对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。通过采用本申请所提供的技术方案，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以对于边缘信息进行较好的保留的目的。
上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像融合方法，该方法包括：
获取待融合的可见光图像和红外图像；
对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到计算机***。第二计算机***可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像融合操作，还可以执行本申请任意实施例所提供的图像融合方法中的相关操作。
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的图像融合装置。图5是本申请实施例提供的一种电子设备的结构示意图。如图5所示，本实施例提供了一种电子设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本申请实施例所提供的图像融合方法，该方法包括：
获取待融合的可见光图像和红外图像；
对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
当然，本领域技术人员可以理解，处理器520还实现本申请任意实施例所提供的图像融合方法的技术方案。
图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，该电子设备500包括处理器520、存储装置510、输入装置530和输出装置540；电子设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；电子设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的图像融合方法对应的程序指令。
存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等设备。
本申请实施例提供的电子设备，可以通过对可见光图像的亮度分量和红外图像的亮度分量进行亮度融合，实现提高融合后得到的图像的信噪比和对比度的效果，并且可以对于边缘信息进行较好的保留的目的。
上述实施例中提供的图像融合装置、介质及电子设备可执行本申请任意实施例所提供的图像融合方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像融合方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
获取待融合的可见光图像和红外图像；
对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果，包括：
根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像；
分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合；
对各层对应融合的结果进行叠加，得到亮度融合结果。
3.根据权利要求2所述的方法，其特征在于，根据可见光图像的亮度分量对所述红外图像进行校正，得到校正后的红外图像，包括：
根据红外图像中的目标像素点的位置，确定可见光图像的亮度分量参考像素点的位置；
根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，并遍历红外图像的所有像素点，得到校正后的红外图像。
4.根据权利要求3所述的方法，其特征在于，根据以参考像素点为中心的预设范围邻域块，以及以目标像素点为中心的预设范围邻域块，确定目标像素点的亮度校正结果，包括：
采用如下公式确定目标像素点的亮度校正结果；
Yir'(i)＝Yvis(i)αi(1)+αi(2)；
其中，Yir'(i)为目标像素点的亮度校正结果，Yvis(i)为参考像素点的亮度值；αi(1)和αi(2)为αi矩阵的第一个数值和第二个数值；
其中，
Figure FDA0002241037190000021
αi∈R2×1；
其中，Wi为预设权重矩阵，Qi为以目标像素点为中心的预设范围邻域块内各像素点的亮度值与数值1构成的矩阵；pi为以参考像素点为中心的预设范围邻域块的亮度值构成的矩阵；I为单位矩阵；
Figure FDA0002241037190000022
为目标像素点的亮度值与以目标像素点为中心的预设范围邻域块内各像素点的亮度值均值的比，构成的局部对比因子。
5.根据权利要求2所述的方法，其特征在于，分别对所述可见光图像的亮度分量和校正后的红外图像进行分层处理，并按照分层处理后的各层对应融合，包括：
对所述可见光图像的亮度分量分层为可见光亮度基础层和可见光亮度细节层，对所述校正后的红外图像分层为红外图像基础层和红外图像细节层；
将可见光亮度基础层与红外图像基础层进行融合，并将可见光亮度细节层与红外图像细节层进行融合。
6.根据权利要求5所述的方法，其特征在于，将可见光亮度基础层与红外图像基础层进行融合，包括：
通过高通滤波确定可见光亮度基础层与红外图像基础层的区域显著性矩阵，根据所述区域显著性矩阵确定可见光亮度基础层第一权重
Figure FDA0002241037190000023
与红外图像基础层第一权重
Figure FDA0002241037190000031
根据预设最佳亮度值确定可见光亮度基础层第二权重
Figure FDA0002241037190000032
与红外图像基础层第二权重
Figure FDA0002241037190000033
根据可见光亮度基础层第一权重
Figure FDA0002241037190000034
和可见光亮度基础层第二权重
Figure FDA0002241037190000035
确定可见光亮度基础层融合权重；根据红外图像基础层第一权重
Figure FDA0002241037190000036
和红外图像基础层第二权重
Figure FDA0002241037190000037
确定红外图像基础层融合权重；
根据所述可见光亮度基础层融合权重和所述红外图像基础层融合权重，对可见光亮度基础层与红外图像基础层进行融合。
7.根据权利要求5所述的方法，其特征在于，将可见光亮度细节层与红外图像细节层进行融合，包括：
计算可见光亮度细节层的边缘强度矩阵和红外图像细节层的边缘强度矩阵，并基于边缘强度矩阵，确定可见光亮度细节层第一权重
Figure FDA0002241037190000038
和红外图像细节层第一权重
Figure FDA0002241037190000039
根据预设最佳边缘强度值确定可见光亮度细节层第二权重
Figure FDA00022410371900000310
和红外图像细节层第二权重
Figure FDA00022410371900000311
根据可见光亮度细节层第一权重
Figure FDA00022410371900000312
和可见光亮度细节层第二权重
Figure FDA00022410371900000313
确定可见光亮度细节层融合权重；根据红外图像细节层第一权重
Figure FDA00022410371900000314
和红外图像细节层第二权重
Figure FDA00022410371900000315
确定红外图像细节层融合权重；
根据所述可见光亮度细节层融合权重和所述红外图像细节层融合权重，对可见光亮度细节层与红外图像细节层进行融合。
8.一种图像融合装置，其特征在于，包括：
图像获取模块，用于获取待融合的可见光图像和红外图像；
亮色分离模块，用于对所述可见光图像进行亮色分离，提取出亮度分量和色度分量；
亮度融合模块，用于将可见光图像的亮度分量与红外图像进行亮度融合，得到亮度融合结果；
亮色重建模块，用于根据所述亮度融合结果与可见光图像的色度分量进行图像重建，得到融合图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的图像融合方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的图像融合方法。
CN201911000100.3A 2019-10-21 2019-10-21 图像融合方法、装置、介质及电子设备 Active CN112767289B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911000100.3A CN112767289B (zh) 2019-10-21 2019-10-21 图像融合方法、装置、介质及电子设备
US17/770,605 US20220292658A1 (en) 2019-10-21 2020-04-27 Image fusion method and apparatus, storage medium, and electronic device
PCT/CN2020/087260 WO2021077706A1 (zh) 2019-10-21 2020-04-27 图像融合方法、装置、存储介质及电子设备
EP20879013.9A EP4050558A4 (en) 2019-10-21 2020-04-27 IMAGE FUSION METHOD AND APPARATUS, STORAGE MEDIUM, AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000100.3A CN112767289B (zh) 2019-10-21 2019-10-21 图像融合方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN112767289A true CN112767289A (zh) 2021-05-07
CN112767289B CN112767289B (zh) 2024-05-07

Family

ID=75619655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000100.3A Active CN112767289B (zh) 2019-10-21 2019-10-21 图像融合方法、装置、介质及电子设备

Country Status (4)

Country Link
US (1) US20220292658A1 (zh)
EP (1) EP4050558A4 (zh)
CN (1) CN112767289B (zh)
WO (1) WO2021077706A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN114549382A (zh) * 2022-02-21 2022-05-27 北京爱芯科技有限公司 一种红外图像与可见光图像融合的方法及***
CN115239610A (zh) * 2022-07-28 2022-10-25 爱芯元智半导体(上海)有限公司 图像融合方法、装置、***及存储介质
WO2023155324A1 (zh) * 2022-02-21 2023-08-24 烟台艾睿光电科技有限公司 图像融合方法、装置及设备、存储介质
WO2023174367A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2024007177A1 (zh) * 2022-07-04 2024-01-11 优利德科技(中国)股份有限公司 基于边缘特征的图像融合方法、装置、用户终端及介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161356B (zh) * 2019-12-17 2022-02-15 大连理工大学 一种基于双层优化的红外和可见光融合方法
CN113489865A (zh) * 2021-06-11 2021-10-08 浙江大华技术股份有限公司 一种单目摄像机和图像处理***
CN114092369A (zh) * 2021-11-19 2022-02-25 中国直升机设计研究所 基于视觉显著映射与最小二乘优化的图像融合方法
CN114677316B (zh) * 2022-05-27 2022-11-25 深圳顶匠科技有限公司 可实时的可见光图像与红外图像多通道融合方法及装置
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115908179B (zh) * 2022-11-18 2023-12-22 河南科技学院 双先验优化的水下图像对比度增强方法
CN115578304B (zh) * 2022-12-12 2023-03-10 四川大学 一种结合显著性区域检测的多波段图像融合方法和***
CN116091372B (zh) * 2023-01-03 2023-08-15 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN116258644A (zh) * 2023-01-13 2023-06-13 格兰菲智能科技有限公司 图像增强方法、装置、计算机设备、存储介质
CN116681633B (zh) * 2023-06-06 2024-04-12 国网上海市电力公司 一种多波段成像及融合方法
CN116403057B (zh) * 2023-06-09 2023-08-18 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
CN106023129A (zh) * 2016-05-26 2016-10-12 西安工业大学 红外与可见光图像融合的汽车抗晕光视频图像处理方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106952245A (zh) * 2017-03-07 2017-07-14 深圳职业技术学院 一种航拍可见光图像的处理方法和***
CN110136183A (zh) * 2018-02-09 2019-08-16 华为技术有限公司 一种图像处理的方法以及相关设备
CN110175970A (zh) * 2019-05-20 2019-08-27 桂林电子科技大学 基于改进fpde和pca的红外与可见光图像融合方法
CN110246108A (zh) * 2018-11-21 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017120266A1 (en) * 2016-01-08 2017-07-13 Flir Systems, Inc. Systems and methods for image resolution enhancement
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN107945149B (zh) * 2017-12-21 2021-07-20 西安工业大学 增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
CN106023129A (zh) * 2016-05-26 2016-10-12 西安工业大学 红外与可见光图像融合的汽车抗晕光视频图像处理方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106952245A (zh) * 2017-03-07 2017-07-14 深圳职业技术学院 一种航拍可见光图像的处理方法和***
CN110136183A (zh) * 2018-02-09 2019-08-16 华为技术有限公司 一种图像处理的方法以及相关设备
CN110246108A (zh) * 2018-11-21 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110175970A (zh) * 2019-05-20 2019-08-27 桂林电子科技大学 基于改进fpde和pca的红外与可见光图像融合方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113421195B (zh) * 2021-06-08 2023-03-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN114549382A (zh) * 2022-02-21 2022-05-27 北京爱芯科技有限公司 一种红外图像与可见光图像融合的方法及***
CN114549382B (zh) * 2022-02-21 2023-08-11 北京爱芯科技有限公司 一种红外图像与可见光图像融合的方法及***
WO2023155324A1 (zh) * 2022-02-21 2023-08-24 烟台艾睿光电科技有限公司 图像融合方法、装置及设备、存储介质
WO2023174367A1 (zh) * 2022-03-18 2023-09-21 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2024007177A1 (zh) * 2022-07-04 2024-01-11 优利德科技(中国)股份有限公司 基于边缘特征的图像融合方法、装置、用户终端及介质
CN115239610A (zh) * 2022-07-28 2022-10-25 爱芯元智半导体(上海)有限公司 图像融合方法、装置、***及存储介质
CN115239610B (zh) * 2022-07-28 2024-01-26 爱芯元智半导体(上海)有限公司 图像融合方法、装置、***及存储介质

Also Published As

Publication number Publication date
US20220292658A1 (en) 2022-09-15
CN112767289B (zh) 2024-05-07
WO2021077706A1 (zh) 2021-04-29
EP4050558A4 (en) 2023-11-22
EP4050558A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
CN112767289B (zh) 图像融合方法、装置、介质及电子设备
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
WO2019091270A1 (zh) 图像增强方法及***
EP3087730B1 (en) Method for inverse tone mapping of an image
CN104683767B (zh) 透雾图像生成方法及装置
CN111402146B (zh) 图像处理方法以及图像处理装置
US11625815B2 (en) Image processor and method
CN112419162B (zh) 图像去雾方法、装置、电子设备及可读存储介质
CN105046658B (zh) 一种低照度图像处理方法和装置
CN111986120A (zh) 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法
CN111986129A (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
WO2016139260A1 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
CN112712485B (zh) 一种图像融合方法及装置
CN106412448B (zh) 一种基于单帧图像的宽动态范围处理方法与***
CN112184604B (zh) 一种基于图像融合的彩色图像增强方法
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN110517206B (zh) 彩色摩尔纹消除方法及装置
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
CN110675351A (zh) 一种基于全局亮度自适应均衡化的海上图像处理方法
CN111476732A (zh) 一种图像融合及去噪的方法及***
CN114187192A (zh) 一种基于多曝光融合的图像处理方法
CN112907467B (zh) 彩虹纹去除方法、装置及电子设备
CN110246086B (zh) 彩色图像增强的图像处理方法及其图像处理***
CN110992287B (zh) 一种非均匀光照视频的清晰化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant