CN115147325A - 图像融合方法、装置、设备及存储介质 - Google Patents
图像融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115147325A CN115147325A CN202211075900.3A CN202211075900A CN115147325A CN 115147325 A CN115147325 A CN 115147325A CN 202211075900 A CN202211075900 A CN 202211075900A CN 115147325 A CN115147325 A CN 115147325A
- Authority
- CN
- China
- Prior art keywords
- component
- visible light
- image
- infrared low
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000001228 spectrum Methods 0.000 claims description 51
- 238000000354 decomposition reaction Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 64
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合方法、装置、设备及存储介质，属于数字图像处理技术领域。该方法包括：对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；对红外图像进行分解，得到红外低频分量；对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。由于红外图像中的红外低频分量能够反映图像中的物体分布，可见光图像中的可见光明度分量用于反映图像中的物体明暗程度，故通过本申请的图像融合方法对可见光图像和红外图像进行融合，提高了图像的成像效果，便于对图像中的目标物体进行识别。
Description
技术领域
本申请涉及数字图像处理技术领域，尤其涉及一种图像融合方法、装置、设备及存储介质。
背景技术
可见光图像是在自然环境下获取的图像，易受自然光照、遮挡和阴影等情况的影响，对明亮程度比较敏感。尤其是在夜晚，环境中的明亮程度非常低，在该种环境中获取的可见光图像的成像品质较差，不利于对可见光图像中的目标物体进行识别。
发明内容
本申请的主要目的在于提供一种图像融合方法、装置、设备及存储介质，旨在解决现有的光照条件较差情况下获取的可见光图像成像效果差的技术问题。
为实现上述目的，本申请提供一种图像融合方法，包括以下步骤：
对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
对红外图像进行分解，得到红外低频分量；
对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；
对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
可选地，所述对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量的步骤，包括：
分别计算所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数；
对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量；
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量；
对所述融合分量进行变换，得到目标明度分量；
其中，对所述融合分量进行变换，为对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理的逆过程。
可选地，所述基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量的步骤，包括：
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，计算得到可见光明度分量权重值和红外低频分量权重值，其中，所述可见光明度分量权重值与所述红外低频分量权重值之和等于1；
根据所述可见光明度分量权重值与所述红外低频分量权重值，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量。
可选地，所述对所述可见光明度分量和所述红外低频分量进行广义实Schur分解，得到第一可见光明度分量和第一红外低频分量的步骤之后，还包括：
对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量；
以及所述基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量的步骤，包括：
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第二可见光明度分量和所述第二红外低频分量进行加权计算，得到融合分量。
可选地，所述对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量的步骤，包括：
分别计算所述第一可见光明度分量所对应的预设范数和所述第一红外低频分量所对应的预设范数；
基于所述第一可见光明度分量所对应的预设范数，对所述第一可见光明度分量进行归一化处理，得到第二可见光明度分量；
基于所述第一红外低频分量所对应的预设范数，对所述第一红外低频分量分别进行归一化处理，得到第二红外低频分量。
可选地，所述对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量的步骤之前，还包括：
对可见光图像和红外图像分别进行预处理；
以及所述对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量的步骤，包括：
对预处理后的可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
以及所述对红外图像进行分解，得到红外低频分量的步骤，包括：
对预处理后的对红外图像进行分解，得到红外低频分量。
可选地，所述对红外图像进行分解，得到红外低频分量的步骤，包括：
对红外图像进行分解，得到初始红外低频分量；
对所述初始红外低频分量进行滤波处理，得到红外低频分量。
此外，为实现上述目的，本申请还提供一种图像融合装置，所述图像融合装置包括：
第一分解模块，用于对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
第二分解模块，用于对红外图像进行分解，得到红外低频分量；
融合模块，用于对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；
重构模块，用于对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
此外，为实现上述目的，本申请还提供一种图像融合设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像融合程序，所述图像融合程序配置为实现如上所述的图像融合方法的步骤。
此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如上所述的图像融合方法的步骤。
本申请公开了一种图像融合方法、装置、设备及存储介质，与现有技术中，光照条件较差情况下获取的可见光图像成像效果差相比，本申请对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；对红外图像进行分解，得到红外低频分量；对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。即在本申请中，由于红外图像中的红外低频分量能够反映图像中的物体分布，可见光图像中的可见光明度分量用于反映图像中的物体明暗程度，故将红外图像中的红外低频分量与可见光图像中的可见光明度分量进行融合，得到融合后的目标明度分量，将目标明度分量、可见光色调分量和可见光饱和度分量进行重构，得到融合图像，提高了图像的成像效果，便于对图像中的目标物体进行识别。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例方案涉及的硬件运行环境的图像融合设备的结构示意图；
图2为本申请图像融合方法第一实施例的流程示意图；
图3为本申请图像融合方法整体流程示意图；
图4为本申请图像融合装置第一实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的图像融合设备结构示意图。
如图1所示，该图像融合设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对图像融合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、数据存储模块、网络通信模块、用户接口模块以及图像融合程序。
在图1所示的图像融合设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请图像融合设备中的处理器1001、存储器1005可以设置在图像融合设备中，所述图像融合设备通过处理器1001调用存储器1005中存储的图像融合程序，并执行本申请实施例提供的图像融合方法。
本申请实施例提供了一种图像融合方法，参照图2和图3，图2为本申请图像融合方法第一实施例的流程示意图，图3为本申请图像融合方法整体流程示意图。
在本实施例中，所述图像融合方法包括以下步骤：
步骤S10、对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量。
需要说明的是，在图像融合方法中，待融合的可见光图像和红外图像为同一场景下，同一角度所拍摄得到的图像。
在一种示例中，对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量的步骤，包括：
对可见光图像对应的可见光图像矩阵进行HSV分解，得到可见光色调分量矩阵、可见光饱和度分量矩阵和可见光明度分量矩阵。
其中，可见光图像矩阵中每个元素值均对应可见光图像中其中一个像素点的色彩量化值。
在本实施例中，对可见光图像矩阵进行HSV分解后，得到的可见光色调分量矩阵的大小、可见光饱和度分量矩阵的大小和可见光明度分量矩阵的大小，均与可见光图像矩阵的大小相同。
需要说明的是，HSV分解为现有技术，在此不再描述具体实施流程。
在本实施例中，对可见光图像进行HSV分解，是因为可见光图像的可见光明度分量与可见光色调分量和可见光饱和度分量之间相对度量，改变可见光图像的可见光明度分量，对其可见光色调分量和可见光饱和度分量的影响很小。不使用RGB形式表示，是因为R、G、B三个分量之间不独立，调整图像的明亮程度对R、G、B三个分量都有影响。
进一步地，在对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量步骤之后，还包括：
步骤S11、对所述可见光色调分量和所述可见光饱和度分量进行滤波处理。
在本实施例中，可采用高斯滤波、中值滤波或者维纳滤波对可见光色调分量和可见光饱和度分量进行滤波处理。
需要说明的是，步骤S11中滤波处理后的可见光色调分量和可见光饱和度分量可被应用于步骤S40中，即对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像的步骤中的可见光色调分量为滤波处理后的可见光色调分量，可见光饱和度分量为滤波处理后的可见光饱和度分量。
步骤S20、对红外图像进行分解，得到红外低频分量。
具体地，对红外图像进行分解，得到红外低频分量的步骤，包括：
步骤S201、对红外图像进行分解，得到初始红外低频分量。
需要说明的是，对红外图像进行分解具体可以为：对红外图像进行二维小波变换分解，或者对红外图像进行二维傅里叶变换分解，或者对红外图像进行SVD分解。
需要说明的是，二维小波变换分解、二维傅里叶变换分解和SVD分解均为现有技术，在此不再描述具体实施流程。
步骤S202、对所述初始红外低频分量进行滤波处理，得到红外低频分量。
需要说明的是，可以采用高斯滤波，或者中值滤波，或者维纳滤波对初始红外低频分量进行滤波处理，得到红外低频分量。
在一种示例中，对红外图像进行分解，得到红外低频分量的步骤，包括：
对红外图像对应的红外图像矩阵进行分解，得到红外低频分量矩阵。
在本示例中，可采用二维小波变换分解、二维傅里叶变换分解或者SVD分解对红外图像对应的红外图像矩阵进行分解，得到初始红外低频分量矩阵；采用高斯滤波、中值滤波或者维纳滤波对初始红外低频分量矩阵中的每一红外低频分量值进行滤波处理，得到红外低频分量矩阵。
进一步地，在步骤S10之前，所述图像融合方法还包括：
步骤S00、对可见光图像和红外图像分别进行预处理。
在一种示例中，对可见光图像和红外图像进行预处理的步骤，包括：
对可见光图像和红外图像，经过下采样处理，得到像素大小相同的可见光图像和红外图像。
在本示例中，经下采样处理后得到的像素大小相同的可见光图像和红外图像，其对应的像素大小为固定值，可根据实际应用进行设置，在此不作具体限定。例如，像素大小可以为512*512。
当步骤S10之前还存在步骤S00时，在该种情况下，步骤S10包括：对预处理后的可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；步骤S20包括：对预处理后的对红外图像进行分解，得到红外低频分量。
步骤S30、对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量。
在一种示例中，对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量的步骤，包括：
步骤A1、分别计算所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数。
步骤A2、对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量。
需要说明的是，利用广义实Schur分解，将可见光明度分量和红外低频分量映射到同一线性空间中，使得可见光明度分量和红外低频分量具备可比较性和可融合性。
在一种示例中，可见光明度分量为可见光明度分量矩阵，红外低频分量为红外低频分量矩阵，则对可见光明度分量和红外低频分量进行广义实Schur分解处理后，得到的第一可见光明度分量为第一可见光明度分量矩阵，得到的第一红外低频分量为第一红外低频分量矩阵。
在本示例中，对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量的步骤，包括：
将第一正交矩阵的转置矩阵、可见光明度分量矩阵和第二正交矩阵相乘，得到第一可见光明度分量矩阵；
将第一正交矩阵的转置矩阵、红外低频分量矩阵和第二正交矩阵相乘，得到第一红外低频分量矩阵；
其中，第一可见光明度分量矩阵和第一红外低频分量矩阵均为上三角矩阵。
步骤A3、基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量。
具体地，基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量的步骤，包括：
步骤A31、基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，计算得到可见光明度分量权重值和红外低频分量权重值，其中，所述可见光明度分量权重值与所述红外低频分量权重值之和等于1。
需要说明的是，可见光明度分量权重值=可见光明度分量所对应的谱范数/（可见光明度分量所对应的谱范数+红外低频分量所对应的谱范数）；红外低频分量权重值=红外低频分量所对应的谱范数/（可见光明度分量所对应的谱范数+红外低频分量所对应的谱范数）。
步骤A32、根据所述可见光明度分量权重值与所述红外低频分量权重值，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量。
需要说明的是，利用谱范数度量第一可见光明度分量和第一红外低频分量在融合过程中的重要程度，提升重要分量所占的比重，降低不重要分量（包含噪声较多的分量）的影响。
在一种示例中，第一可见光明度分量为第一可见光明度分量矩阵，第一红外低频分量为第一红外低频分量矩阵，则基于可见光明度分量所对应的谱范数和红外低频分量所对应的谱范数，对第一可见光明度分量矩阵和第一红外低频分量矩阵进行加权计算，得到融合分量矩阵。
步骤A4、对所述融合分量进行变换，得到目标明度分量；
其中，对所述融合分量进行变换，为对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理的逆过程。
在一种示例中，融合分量为融合分量矩阵，则对融合分量矩阵进行变换，得到目标明度分量矩阵。
在本示例中，对所述融合分量进行变换，得到目标明度分量的步骤，包括：
将第一正交矩阵、融合分量矩阵和第二正交矩阵的转置矩阵相乘，得到目标明度分量矩阵。
在一种示例中，对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量的步骤，包括：
步骤B1、分别计算所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数；
步骤B2、对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量；
步骤B3、对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量；
步骤B4、基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第二可见光明度分量和所述第二红外低频分量进行加权计算，得到融合分量；
步骤B5、对所述融合分量进行变换，得到目标明度分量；
其中，对所述融合分量进行变换，为对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理的逆过程。
需要说明的是，步骤B1、步骤B2、步骤B4和步骤B5的具体实施过程与步骤A1～A4相同，在此不再赘述。
其中，具体地，步骤B3、对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量，包括：
步骤B31、分别计算所述第一可见光明度分量所对应的预设范数和所述第一红外低频分量所对应的预设范数；
步骤B32、基于所述第一可见光明度分量所对应的预设范数，对所述第一可见光明度分量进行归一化处理，得到第二可见光明度分量；
步骤B32、基于所述第一红外低频分量所对应的预设范数，对所述第一红外低频分量分别进行归一化处理，得到第二红外低频分量。
需要说明的是，预设范数可以是F-范数或者Mahalanobis（马氏）范数。
需要说明的是，对第一可见光明度分量进行归一化处理即为将第一可见光明度分量中的各个元素除以第一可见光明度分量所对应的预设范数；对第一红外低频分量分别进行归一化处理即为将第一红外低频分量中的各个元素除以第一红外低频分量所对应的预设范数。
在一种示例中，第一可见光明度分量为第一可见光明度分量矩阵，则对第一可见光明度分量矩阵进行归一化处理，得到第二可见光明度分量矩阵；第一红外低频分量为第一红外低频分量矩阵，则对第一红外低频分量矩阵进行归一化处理，得到第二红外低频分量矩阵。
步骤S40、对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
在一种示例中，对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像的步骤，包括：
对所述目标明度分量、滤波处理后的可见光色调分量和滤波处理后的可见光饱和度分量进行重构，得到融合图像。
在一种示例中，目标明度分量可以为目标明度分量矩阵、可见光色调分量可以为可见光色调分量矩阵，以及可见光饱和度分量可以为可见光饱和度分量矩阵。
在本示例中，对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像的步骤，包括：
对所述目标明度分量矩阵、所述可见光色调分量矩阵和所述可见光饱和度分量矩阵进行重构，得到融合图像矩阵，所述融合图像矩阵用于生成融合图像。
需要说明的是，在上述两种示例中，进行重构即进行HSV逆变换。也就是说，对所述目标明度分量、滤波处理后的可见光色调分量和滤波处理后的可见光饱和度分量进行HSV逆变换，得到融合图像；或者对所述目标明度分量矩阵、所述可见光色调分量矩阵和所述可见光饱和度分量矩阵进行HSV逆变换，得到融合图像矩阵，所述融合图像矩阵用于生成融合图像。
在本实施例中，HSV逆变换为HSV分解的逆向过程。HSV分解是将可见光图像进行颜色空间的分离，进而得到可见光色调分量、可见光饱和度分量和可见光明度分量。因此，HSV逆变换就是将可见光色调分量、可见光饱和度分量和可见光明度分量进行融合。在本实施例中，是将目标明度分量、可见光色调分量和可见光饱和度分量进行融合。
上述方法中，对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；对红外图像进行分解，得到红外低频分量；对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。即在本申请中，由于红外图像中的红外低频分量能够反映图像中的物体分布，可见光图像中的可见光明度分量用于反映图像中的物体明暗程度，故将红外图像中的红外低频分量与可见光图像中的可见光明度分量进行融合，得到融合后的目标明度分量，将目标明度分量、可见光色调分量和可见光饱和度分量进行重构，得到融合图像，提高了图像的成像效果，便于对图像中的目标物体进行识别。
本申请实施例还提供了一种图像融合装置，参照图4，图4为本申请图像融合装置第一实施例的功能模块示意图。
在本实施例中，所述图像融合装置包括：
第一分解模块10，用于对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
第二分解模块20，用于对红外图像进行分解，得到红外低频分量；
融合模块30，用于对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；
重构模块40，用于对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
可选地，所述融合模块包括：
第一计算单元，用于分别计算所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数；
第一分解处理单元，用于对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量；
加权单元，用于基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量；
第一变换单元，用于对所述融合分量进行变换，得到目标明度分量；
其中，对所述融合分量进行变换，为对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理的逆过程。
可选地，所述加权单元用于实现：
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，计算得到可见光明度分量权重值和红外低频分量权重值，其中，所述可见光明度分量权重值与所述红外低频分量权重值之和等于1；
根据所述可见光明度分量权重值与所述红外低频分量权重值，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量。
可选地，融合模块还包括：
归一化单元，用于对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量；
以及所述加权单元，用于基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第二可见光明度分量和所述第二红外低频分量进行加权计算，得到融合分量。
可选地，所述归一化单元用于实现：
分别计算所述第一可见光明度分量所对应的预设范数和所述第一红外低频分量所对应的预设范数；
基于所述第一可见光明度分量所对应的预设范数，对所述第一可见光明度分量进行归一化处理，得到第二可见光明度分量；
基于所述第一红外低频分量所对应的预设范数，对所述第一红外低频分量分别进行归一化处理，得到第二红外低频分量。
可选地，所述图像融合装置还包括：
预处理模块，用于对可见光图像和红外图像分别进行预处理；
以及所述第一分解模块，用于对预处理后的可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
以及所述第二分解模块，用于对预处理后的对红外图像进行分解，得到红外低频分量。
可选地，所述第二分解模块包括：
第二分解单元，用于对红外图像进行分解，得到初始红外低频分量；
第二滤波单元，用于对所述初始红外低频分量进行滤波处理，得到红外低频分量。
本申请图像融合装置具体实施方式与上述图像融合方法各实施例基本相同，在此不再赘述。
本申请实施例还提出一种存储介质，所述存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如上所述的图像融合方法的步骤。
本申请存储介质具体实施方式与上述图像融合方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像融合方法，其特征在于，所述图像融合方法包括以下步骤：
对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
对红外图像进行分解，得到红外低频分量；
对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；
对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
2.如权利要求1所述的图像融合方法，其特征在于，所述对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量的步骤，包括：
分别计算所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数；
对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理，得到第一可见光明度分量和第一红外低频分量；
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量；
对所述融合分量进行变换，得到目标明度分量；
其中，对所述融合分量进行变换，为对所述可见光明度分量和所述红外低频分量进行广义实Schur分解处理的逆过程。
3.如权利要求2所述的图像融合方法，其特征在于，所述基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量的步骤，包括：
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，计算得到可见光明度分量权重值和红外低频分量权重值，其中，所述可见光明度分量权重值与所述红外低频分量权重值之和等于1；
根据所述可见光明度分量权重值与所述红外低频分量权重值，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量。
4.如权利要求2所述的图像融合方法，其特征在于，所述对所述可见光明度分量和所述红外低频分量进行广义实Schur分解，得到第一可见光明度分量和第一红外低频分量的步骤之后，还包括：
对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量；
以及所述基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第一可见光明度分量和所述第一红外低频分量进行加权计算，得到融合分量的步骤，包括：
基于所述可见光明度分量所对应的谱范数和所述红外低频分量所对应的谱范数，对所述第二可见光明度分量和所述第二红外低频分量进行加权计算，得到融合分量。
5.如权利要求4所述的图像融合方法，其特征在于，所述对所述第一可见光明度分量和所述第一红外低频分量分别进行归一化处理，得到第二可见光明度分量和第二红外低频分量的步骤，包括：
分别计算所述第一可见光明度分量所对应的预设范数和所述第一红外低频分量所对应的预设范数；
基于所述第一可见光明度分量所对应的预设范数，对所述第一可见光明度分量进行归一化处理，得到第二可见光明度分量；
基于所述第一红外低频分量所对应的预设范数，对所述第一红外低频分量分别进行归一化处理，得到第二红外低频分量。
6.如权利要求1所述的图像融合方法，其特征在于，所述对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量的步骤之前，还包括：
对可见光图像和红外图像分别进行预处理；
以及所述对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量的步骤，包括：
对预处理后的可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
以及所述对红外图像进行分解，得到红外低频分量的步骤，包括：
对预处理后的对红外图像进行分解，得到红外低频分量。
7.如权利要求1所述的图像融合方法，其特征在于，所述对红外图像进行分解，得到红外低频分量的步骤，包括：
对红外图像进行分解，得到初始红外低频分量；
对所述初始红外低频分量进行滤波处理，得到红外低频分量。
8.一种图像融合装置，其特征在于，所述图像融合装置包括：
第一分解模块，用于对可见光图像进行分解，得到可见光色调分量、可见光饱和度分量和可见光明度分量；
第二分解模块，用于对红外图像进行分解，得到红外低频分量；
融合模块，用于对所述可见光明度分量和所述红外低频分量进行融合，得到目标明度分量；
重构模块，用于对所述目标明度分量、所述可见光色调分量和所述可见光饱和度分量进行重构，得到融合图像。
9.一种图像融合设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像融合程序，所述图像融合程序配置为实现如权利要求1至7中任一项所述的图像融合方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如权利要求1至7任一项所述的图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075900.3A CN115147325B (zh) | 2022-09-05 | 2022-09-05 | 图像融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075900.3A CN115147325B (zh) | 2022-09-05 | 2022-09-05 | 图像融合方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115147325A true CN115147325A (zh) | 2022-10-04 |
| CN115147325B CN115147325B (zh) | 2022-11-22 |
Family
ID=83416023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211075900.3A Active CN115147325B (zh) | 2022-09-05 | 2022-09-05 | 图像融合方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147325B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504673A (zh) * | 2014-12-30 | 2015-04-08 | 武汉大学 | 基于nsst的可见光与红外图像融合方法及*** |
| CN106991636A (zh) * | 2017-04-05 | 2017-07-28 | 鲁东大学 | 一种融合Schur分解的空域彩色图像盲水印方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及*** |
| CN110349073A (zh) * | 2019-07-24 | 2019-10-18 | 鲁东大学 | 基于Schur分解的四进制彩色数字图像盲水印方法 |
| CN110458787A (zh) * | 2019-08-09 | 2019-11-15 | 武汉高德智感科技有限公司 | 一种图像融合方法、装置及计算机存储介质 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
| CN111792034A (zh) * | 2015-05-23 | 2020-10-20 | 深圳市大疆创新科技有限公司 | 使用传感器融合估计可移动物体的状态信息的方法及*** |
| CN112907435A (zh) * | 2021-04-09 | 2021-06-04 | 辽宁工程技术大学 | 基于改进博奇编码和数据区间映射的高鲁棒全息盲水印算法 |
| CN113240597A (zh) * | 2021-05-08 | 2021-08-10 | 西北工业大学 | 基于视觉惯性信息融合的三维软件稳像方法 |
| CN113344838A (zh) * | 2021-07-08 | 2021-09-03 | 烟台艾睿光电科技有限公司 | 图像融合方法、装置、电子设备及可读存储介质 |
| CN114119436A (zh) * | 2021-10-08 | 2022-03-01 | 中国安全生产科学研究院 | 红外图像与可见光图像融合方法、装置、电子设备及介质 |
| CN114331937A (zh) * | 2021-12-27 | 2022-04-12 | 哈尔滨工业大学 | 基于反馈迭代调节的低光照条件下多源图像融合方法 |
| CN114677316A (zh) * | 2022-05-27 | 2022-06-28 | 深圳顶匠科技有限公司 | 可实时的可见光图像与红外图像多通道融合方法及装置 |
-
2022
- 2022-09-05 CN CN202211075900.3A patent/CN115147325B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504673A (zh) * | 2014-12-30 | 2015-04-08 | 武汉大学 | 基于nsst的可见光与红外图像融合方法及*** |
| CN111792034A (zh) * | 2015-05-23 | 2020-10-20 | 深圳市大疆创新科技有限公司 | 使用传感器融合估计可移动物体的状态信息的方法及*** |
| CN106991636A (zh) * | 2017-04-05 | 2017-07-28 | 鲁东大学 | 一种融合Schur分解的空域彩色图像盲水印方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学（武汉） | 基于多尺度变换分解的目标显著的图像融合方法及*** |
| CN110349073A (zh) * | 2019-07-24 | 2019-10-18 | 鲁东大学 | 基于Schur分解的四进制彩色数字图像盲水印方法 |
| CN110458787A (zh) * | 2019-08-09 | 2019-11-15 | 武汉高德智感科技有限公司 | 一种图像融合方法、装置及计算机存储介质 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
| CN112907435A (zh) * | 2021-04-09 | 2021-06-04 | 辽宁工程技术大学 | 基于改进博奇编码和数据区间映射的高鲁棒全息盲水印算法 |
| CN113240597A (zh) * | 2021-05-08 | 2021-08-10 | 西北工业大学 | 基于视觉惯性信息融合的三维软件稳像方法 |
| CN113344838A (zh) * | 2021-07-08 | 2021-09-03 | 烟台艾睿光电科技有限公司 | 图像融合方法、装置、电子设备及可读存储介质 |
| CN114119436A (zh) * | 2021-10-08 | 2022-03-01 | 中国安全生产科学研究院 | 红外图像与可见光图像融合方法、装置、电子设备及介质 |
| CN114331937A (zh) * | 2021-12-27 | 2022-04-12 | 哈尔滨工业大学 | 基于反馈迭代调节的低光照条件下多源图像融合方法 |
| CN114677316A (zh) * | 2022-05-27 | 2022-06-28 | 深圳顶匠科技有限公司 | 可实时的可见光图像与红外图像多通道融合方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| SIQI ZHANG等: "Infrared and visible image fusion based on saliency detection and two-scale transform decomposition", 《INFRARED PHYSICS & TECHNOLOGY》 * |
| 包宋建等: "DWT-Schur结合的全盲数字视频水印算法", 《重庆理工大学学报(自然科学)》 * |
| 曲仕茹等: "基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合", 《强激光与粒子束》 * |
| 杨军等: "GF-2和Sentinel-2全色多光谱影像融合方法比较研究", 《测绘科学》 * |
| 胡锦昊等: "基于HSV色彩空间的红外与可见光图像融合方法", 《空天防御》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115147325B (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Unsupervised decomposition and correction network for low-light image enhancement | |
| US9858652B2 (en) | Global approximation to spatially varying tone mapping operators | |
| Meylan et al. | Model of retinal local adaptation for the tone mapping of color filter array images | |
| Li et al. | Visual-salience-based tone mapping for high dynamic range images | |
| Mahmood et al. | An adaptive image contrast enhancement technique for low-contrast images | |
| Bhandari et al. | Dark satellite image enhancement using knee transfer function and gamma correction based on DWT–SVD | |
| Li et al. | Clustering based content and color adaptive tone mapping | |
| CN106603941B (zh) | 计算复杂度自适应的hdr图像转换方法及其*** | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| JPH11150669A (ja) | 画像改善装置 | |
| Vazquez-Corral et al. | A fast image dehazing method that does not introduce color artifacts | |
| Buades et al. | Backlit images enhancement using global tone mappings and image fusion | |
| Fierro et al. | Dual-tree complex wavelet transform based denoising for random spray image enahcement methods | |
| Nadenau et al. | Performance comparison of masking models based on a new psychovisual test method with natural scenery stimuli | |
| CN116843589A (zh) | 遥感图像的融合方法、装置、设备及存储介质 | |
| Ma et al. | Learning-based image restoration for compressed images | |
| Febin et al. | A retinex-based variational model for enhancement and restoration of low-contrast remote-sensed images corrupted by shot noise | |
| Freitas et al. | Enhancing inverse halftoning via coupled dictionary training | |
| CN113436078B (zh) | 一种自适用图像超分辨率重构方法及装置 | |
| Yang et al. | Multi-scale exposure fusion based on multi-visual feature measurement and detail enhancement representation | |
| CN115147325B (zh) | 图像融合方法、装置、设备及存储介质 | |
| Kuo et al. | An effective and flexible image enhancement algorithm in compressed domain | |
| Abbas et al. | Reduced reference image quality assessment technique based on DWT and path integral local binary patterns | |
| Suryanarayana et al. | Simultaneous edge preserving and noise mitigating image super-resolution algorithm | |
| Khan et al. | Hybrid sharpening transformation approach for multifocus image fusion using medical and nonmedical images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |