CN115587955A - 图像融合方法和装置、存储介质和电子装置 - Google Patents

图像融合方法和装置、存储介质和电子装置 Download PDF

Info

Publication number
CN115587955A
CN115587955A CN202211336876.4A CN202211336876A CN115587955A CN 115587955 A CN115587955 A CN 115587955A CN 202211336876 A CN202211336876 A CN 202211336876A CN 115587955 A CN115587955 A CN 115587955A
Authority
CN
China
Prior art keywords
image
frequency
fusion
fused
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211336876.4A
Other languages
English (en)
Inventor
余彦
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211336876.4A priority Critical patent/CN115587955A/zh
Publication of CN115587955A publication Critical patent/CN115587955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像融合方法和装置、存储介质和电子装置，其中，该方法包括：对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，对多个融合图像块进行图像块拼接，得到高频融合图像；对低频图像组中的图像进行图像融合，得到低频融合图像；对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。

Description

图像融合方法和装置、存储介质和电子装置
技术领域
本申请涉及计算机领域，具体而言，涉及一种图像融合方法和装置、存储介质和电子装置。
背景技术
相关技术中，多传感器图像(例如，可见光图像、红外图像等)融合可以广泛应用在目标识别、机器视觉、遥感及医学图像处理等方面。为了解决多尺度变换融合的方法需要处理大量数据，效率不高的问题，可以采用压缩感知的方式进行多传感器图像融合，基于压缩感知的方法可以在采样的同时进行压缩，以降低数据量，提高数据处理效率。
例如，可以对可见光图像和红外图像进行单层小波分解；对小波分解后的低频子带系数(子带系数为图像)进行融合，得到融合后的低频子带系数；对高频子带系数进行全局加权融合，得到融合后的高频子带系数；对融合后的低频子带系数和高频子带系数进行小波逆变换，得到融合后的图像。
然而，对高频子带系数进行全局加权融合，融合计算的复杂度高，计算量大，导致图像融合的效率较低。由此可见，相关技术中的图像融合方法，存在由于融合计算的复杂度高导致的图像融合的效率低的问题。
发明内容
本申请实施例提供了一种图像融合方法和装置、存储介质和电子装置，以至少解决相关技术中的图像融合方法存在由于融合计算的复杂度高导致的图像融合的效率低的问题。
根据本申请实施例的一个方面，提供了一种图像融合方法，包括：对待融合的至少一个图像分别进行多个方向的图像变换，得到与所述至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，所述高频图像组包括各图像分别对应的高频图像；按照预设尺寸分别对所述高频图像组中的图像进行分块处理，得到与所述高频图像组所对应的多个图像块对；分别对所述多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对所述多个融合图像块进行图像块拼接，得到高频融合图像；对所述低频图像组中的图像进行图像融合，得到低频融合图像；对所述高频融合图像和所述低频融合图像进行图像逆变换，得到所述至少一个图像的融合图像。
根据本申请实施例的另一个方面，提供了一种图像融合装置，包括：变换单元，用于对待融合的至少一个图像分别进行多个方向的图像变换，得到与所述至少一个图像对应的低频图像组和高频图像组，其中，所述低频图像组包括各图像分别对应的低频图像，所述高频图像组包括各图像分别对应的高频图像；处理单元，用于按照预设尺寸分别对所述高频图像组中的图像进行分块处理，得到与所述高频图像组所对应的多个图像块对；执行单元，用于分别对所述多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对所述多个融合图像块进行图像块拼接，得到高频融合图像；融合单元，用于对所述低频图像组中的图像进行图像融合，得到低频融合图像；逆变换单元，用于对所述高频融合图像和所述低频融合图像进行图像逆变换，得到所述至少一个图像的融合图像。
在一个示例性实施例中，所述变换单元包括：变换模块，用于对待融合的所述至少一个图像分别进行一层四个方向的非下采样轮廓波变换，得到所述低频图像组和所述高频图像组。
在一个示例性实施例中，所述执行单元包括：第一执行模块，用于将测量矩阵与所述每个图像块对中的图像块分别相乘，得到多个观测图像块对，其中，所述测量矩阵的列数与所述每个图像块对中的图像块的行数相同；融合模块，用于基于像素点的区域能量之间的匹配度对所述多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块；重构模块，用于使用感知矩阵对所述多个融合测量图像块中的每个融合测量图像块进行重构，得到所述多个融合图像块，其中，所述感知矩阵是所述测量矩阵和与所述测量矩阵匹配的冗余字典相乘得到的。
在一个示例性实施例中，所述融合模块包括：第一执行子模块，用于将所述每个观测图像块对分别作为当前观测图像块对执行以下操作，得到所述多个融合测量图像块：将所述当前观测图像块对中的各像素点作为当前像素点分别执行以下融合操作：确定所述当前观测图像块对在所述当前像素点的区域能量之间的匹配度，得到当前匹配度；在所述当前匹配度大于或者等于匹配度阈值的情况下，对所述当前观测图像块对在所述当前像素点的像素值进行加权求和，得到与所述当前观测图像块对所对应的融合测量图像块中的所述当前像素点的像素值；在所述当前匹配度小于匹配度阈值的情况下，将目标观测图像块在所述当前像素点的像素值，确定为与所述当前观测图像块对所对应的融合测量图像块中的所述当前像素点的像素值，其中，所述目标观测图像块为所述当前观测图像块对中在所述当前像素点的区域能量最大的观测图像块。
在一个示例性实施例中，所述装置还包括：确定单元，用于在所述对所述当前观测图像块对在所述当前像素点的像素值进行加权求和之前，将第一差值与第二差值的比值与预设系数的乘积，确定为第一权值，将1与所述第一权值的差值，确定为第二权值，其中，所述第一差值为所述当前匹配度与所述匹配度阈值的差值，所述第二差值为1与所述匹配度阈值的差值，所述第一权值为所述当前观测图像块对中对应的所述当前像素点的像素值最大的观测图像块对应的加权系数，所述第二权值为所述当前观测图像块对中对应的所述当前像素点的像素值最小的观测图像块对应的加权系数。
在一个示例性实施例中，所述重构模块包括：第二执行子模块，用于使用所述感知矩阵对所述每个融合测量图像块中的每一列分别执行以下重构操作，得到所述多个融合图像块，其中，在执行以下重构操作的过程中，所述每一列为当前列：使用所述感知矩阵构造与所述当前列匹配的稀疏系数；将所述稀疏系数与所述冗余字典相乘，得到与所述每个融合测量图像块对应的融合图像块中的所述当前列。
在一个示例性实施例中，所述融合单元包括：第二执行模块，用于分别将所述低频图像组中的图像的各像素点作为当前像素点执行以下融合操作，得到所述低频融合图像的所述当前像素点的像素值：分别确定所述低频图像组的各个图像中以所述当前像素点为中心的预设领域内的一组像素点的像素值方差，得到与所述各个图像对应的领域方差；将与所述各个图像对应的领域方差中的最大领域方差，确定为所述低频融合图像中的所述当前像素点的像素值。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像融合方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像融合方法。
在本申请实施例中，采用对高频图像进行分块之后对得到的高频图像块进行融合的方式，通过对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组；其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；对低频图像组中的图像进行图像融合，得到低频融合图像；对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。由于将高频图像进行分块，先对分块得到的高频图像块进行融合，在对融合得到的图像块进行拼接的方式得到高频融合图像，可以降低分块求解时块与块之间的网格效应，实现降低图像融合计算的复杂度的目的，达到提高图像融合的效率的技术效果，进而解决了相关技术中的图像融合方法存在由于融合计算的复杂度高导致的图像融合的效率低的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的图像融合方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的图像融合方法的流程示意图；
图3是根据本申请实施例的一种可选的图像融合方法的示意图；
图4是根据本申请实施例的另一种可选的图像融合方法的示意图；
图5是根据本申请实施例的另一种可选的图像融合方法的流程示意图；
图6是根据本申请实施例的一种可选的图像融合装置的结构框图；
图7是根据本申请实施例的一种可选的电子装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种图像融合方法。可选地，在本实施例中，上述图像融合方法可以应用于如图1所示的包含终端设备102和服务器104的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端设备或终端设备上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以但不限定于为智能手机、智能电脑、智能平板等设备。
本申请实施例的图像融合方法可以由服务器104来执行，也可以由终端设备102来执行，还可以是由服务器104和终端设备102共同执行。以由终端设备102来执行本实施例中的图像融合方法为例，图2是根据本申请实施例的一种可选的图像融合方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S202，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像。
本实施例中的图像融合方法可以应用到对至少一个进行图像融合的场景，这里，融合的一个或者多个图像可以为多传感器图像，其可以是同一场景不同波段的图像，也可以是其他类型的、需要进行图像融合的图像，多个图像可以是由同一图像采集部件所采集到的图像，也可以是由不同图像采集部件所采集到的图像。上述至少一个图像可以包括但不限于以下至少之一的图像：可见光图像，红外图像，对应地，上述图像采集部件可以相机、红外传感器等。
相关技术中，多传感器图像融合的方法主要包括：多尺度变换融合的方法，基于压缩感知的方法，其中，多尺度变换融合方法需要处理大量数据，效率不高，而基于压缩感知的方法在采样的同时进行压缩，降低了数据量提高了效率，但没有对图像信息进行充分分解导致重建复杂度高，高频信息融合效果较差。
示例性地，对于基于压缩感知的图像融合方式，可以对输入的可见光图像和红外图像进行单层小波分解，得到分解后的低频子带系数和高频子带系数；对低频子带系数进行融合，基于观测系数对高频子带系数进行融合；对融合后的低频子带系数和高频子带系数进行小波逆变换，得到融合后的图像。然而，对高频分量的观测系数进行全局加权融合的方式，计算量大，且融合权值的选取无法适应各个区域，准确性无法保证。
为了至少部分解决上述问题，在本实施例中，可以对图像变换得到的高频子带系数进行分块处理，并对分块得到的对应图像块进行融合，由于将高频子带系数进行了分块，将图像的全局融合拆分成图像块的融合，可以减少图像融合所需的计算量，同时，融合中所使用的参数(例如，融合权值)可以适用于各个区域，可以提高图像融合的准确性。
对于待融合的至少一个图像，例如，可见光图像(图像A)和红外图像(图像B)，可以对每个图像分别进行多个方向的图像变换，得到与每个图像对应的低频图像和与每个图像对应的高频图像，从而得到低频图像组和高频图像组，其中，低频图像组中的各个图像的尺寸可以是相同的，高频图像组中的各个图像的尺寸可以是相同的。低频图像组的数量可以为一个或多个，例如，1个，高频图像组的数量可以为一个或多个，例如，4个。不同的低频图像组的处理过程是类似的，不同的高频图像组的处理过程也是类似的，在不矛盾的情况下，本实施例中对于低频图像组融合的方式适用于各低频图像组，对高频图像组融合的方式适用于各高频图像组。
上述图像变换可以包括图像分解，其可以是对每个图像进行多个不同方向不同尺度的变换，对每个图像进行图像变换所得到的低频图像(即，低频子带系数)和高频图像(即，高频子带系数)可以是每个图像分解得到的多个不同方向不同尺度的子图像。
可选地，在进行图像融合之前，为了提高图像融合的质量，可以对两个图像进行预处理，以对齐不同图像中的场景(即，进行场景对齐)，上述预处理操作可以包括：角度变换操作等。本实施例中对于图像的预处理过程不做限定。
步骤S204，按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对。
对于高频图像组，每个高频图像组可以包含两个高频图像。对于每个高频图像，可以按照预设尺寸对每个高频图像进行分块处理，得到与高频图像组所对应的多个图像块对。例如，可以使用滑动窗口对高频图像组中的图像进行预设尺寸的分块处理，相邻分块之间存在部分重叠，从而得到与高频图像组所对应的多个图像块对。
例如，使用滑动窗口对高频图像进行n×n分块，保持相邻分块之间存在部分重叠。对于一个高频图像组中的不同高频图像，其相同位置的图像块可以作为一个图像块对，由于每个高频图像可以被分块成多个图像块，在分块结束时，可以得到多个图像块对。
步骤S206，分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像。
在得到多个图像块对之后，终端设备可以分别对多个图像块对内的图像块对进行图像块融合，对每个图像块对融合的方式可以与融合整个高频图像的方式类似。例如，基于压缩感知分别对每个图像块对进行融合，得到与每个图像块对对应的融合图像块，从而得到多个融合图像块，这里，多个图像块对与多个融合图像块一一对应，即，一个图像块对融合为一个融合图像块。可选地，为了提高图像块融合的效率，可以通过多个线程对不同的图像块对进行图像块融合，每个线程可以用于对至少一个图像块对进行图像块融合。
在得到多个融合图像块之后，可以图像块对中的图像块在高频图像中的位置对多个融合图像块进行图像块拼接，得到高频融合图像，或者说，按照融合图像块之间的位置关系对多个融合图像块进行图像块拼接，得到高频融合图像。在进行融合图像块拼接的过程中，对于相邻图像块之间具有重叠的像素点，可以取任一图像块中该像素点的像素值或者所有像素点的像素值的均值，作为高频融合图像中该重叠的像素点的像素值。
例如，在得到高频融合图像块(即，融合图像块)之后，可以将图像块拼接，重叠部分取均值，得到高频融合图像。
步骤S208，对低频图像组中的图像进行图像融合，得到低频融合图像。
终端设备可以对低频图像组进行图像融合，得到低频融合图像。对低频图像组融合的方式可以是：采用均值法(即，全局均值)对低频图像组进行图像融合，也可以采用其他的图像融合方式，本实施例中对于对低频图像进行图像融合的方式不做限定。
步骤S210，对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。
在得到高频融合图像和低频融合图像之后，终端设备可以对高频融合图像和低频融合图像进行与前述的图像变换对应的图像逆变换，从而得到至少一个图像的融合图像。
例如，对获得的低频融合图像和高频融合图像进行逆变换，得到可见光图像和红外图像的融合后图像。
通过上述步骤S202至步骤S210，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；对低频图像组中的图像进行图像融合，得到低频融合图像；对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像，解决了相关技术中的图像融合方法存在由于融合计算的复杂度高导致的图像融合的效率低的问题，提高了图像融合的效率。
在一个示例性实施例中，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，包括：
S11，对待融合的至少一个图像分别进行一层四个方向的非下采样轮廓波变换，得到低频图像组和高频图像组。
对待融合的图像进行的图像变换可以有多种，例如，小波变换。为了改善轮廓波平移时易发生变化的缺陷，有利于后续的图像处理，可以采用NSCT(Nonsub SampledContourlet Transform，非下采样轮廓波变换)或者类似的具有平移不变性的图像变换方式(例如，曲线波变换、轮廓小波变换等)对待融合的每个图像分别进行图像变换。
在本实施例中，可以待融合的两个图像分别进行多个方向的NSCT变换，得到低频图像组和高频图像组。所进行的NSCT变换的层数不同，得到的高频图像组的数量会存在区别。这里，相对于其他的图像变换，NSCT变换由于进行了上采样操作，可以改善轮廓波平移时易发生变化的缺陷，能够有效地突出细节信息，提高融合图像的质量。
例如，可以通过NSCT将可见光图像和红外图像分解为多个不同方向不同尺度的子图像，可见光图像和红外图像可以分别被分解为一个低频图像和多个高频图像。
为了降低图像融合的复杂度，提高图像融合的效率，可以对待融合的至少一个图像分别进行一层四方向的NSCT变换，每个图像进行一层四方向的NSCT变换被分别为一个低频图像和四个高频图像，从而得到一个低频图像组和四个高频图像组，这里，每个高频图像组中包含至少一个图像中的每个图像进行同一个方向的NSCT变换所得到的高频图像。
例如，如图3所示，可以分别对待融合的可见光图像和红外图像进行一层四方向的NSCT变换，每个图像进行图像变换之后可以获得5个子图像，包含1个低频图像和4个高频图像，即，共计获得1个低频图像组和4个高频图像组。在NSCT的分解重构过程中，都没有下采样过程，其继承了传统轮廓波变换对图像表示的多方向性和各向异性，且具有传统轮廓波变换不具备的平移不变性。
通过本实施例，通过对待融合图像进行一层四方向的NSCT变换，可以降低图像融合的复杂度，提高图像融合的效率。
在一个示例性实施例中，分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，包括：
S21，将测量矩阵与每个图像块对中的图像块分别相乘，得到多个观测图像块对，其中，测量矩阵的列数与每个图像块对中的图像块的行数相同；
S22，基于像素点的区域能量之间的匹配度对多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块；
S23，使用感知矩阵对多个融合测量图像块中的每个融合测量图像块进行重构，得到多个融合图像块，其中，感知矩阵是测量矩阵和与测量矩阵匹配的冗余字典相乘得到的。
在本实施例中，可以基于观测系数对各个图像块对进行图像块融合。对应地，进行图像块融合所使用的参数可以包括但不限于：测量矩阵，冗余字典(与测量矩阵匹配)，感知矩阵。测量矩阵和冗余字典可以是随机构造的，也可以是基于设定的目标使用训练样本进行训练得到的，而感知矩阵是测量矩阵和冗余字典相乘得到的。本实施例中对于测量矩阵和冗余字典的构造方式不做限定。
例如，可以构造随机贝努利测量矩阵Φ和DCT(Discrete Cosine Transform，离散余弦变换)冗余字典Ψ，测量矩阵维度m×n，m<n，冗余字典维度为n×4n，二者相乘得到感知矩阵D。
对于每个图像块对，测量矩阵的列数与每个图像块对中的图像块的行数相同，可以将测量矩阵与每个图像块对中的图像块分别相乘，得到对应的观测图像块对，从而得到多个观测图像块对。例如，可以使用测量矩阵分别与高频图像块相乘，得到可见光图像与红外图像的高频观测图像块。
在本实施例中，无论是高频图像(图像块)还是低频图像，图像融合得到的融合图像的图像尺寸(包含的像素点的数量)与融合前图像的图像尺寸是一致的，即，两个图像尺寸为C×D的图像融合得到的图像仍为C×D的图像。对于当前观测图像块对(可以是任一个观测图像块对)，可以基于像素点的区域能量之间的匹配度对本观测图像块对中的每个像素点分别进行融合，得到对应的融合测量图像块，多个观测图像块对可以获取到多个融合测量图像块。
在进行当前观测图像块对的当前像素点(当前观测图像块对中的任一个像素点)，可以分别确定当前观测图像块对的每个观测图像块与当前像素点对应的预设区域内的区域能量；基于确定的区域能量之间的匹配度(即，区域能量匹配度)对当前观测图像块对中的当前像素点的像素值进行融合，得到融合测量图像块中当前像素点的像素值。
这里，在基于区域能量匹配度进行当前像素点的像素值融合时，可以基于区域能量匹配度确定出各个观测图像块的加权系数，并基于确定的加权系数对各个观测图像块在当前像素点的像素值进行加权融合，从而得到融合测量图像块中当前像素点的像素值。
例如，可以使用高频系数融合规则进行高频观测图像块的融合。在进行高频观测图像块融合时，可以基于公式(1)计算高频观测图像块HA、HB在像素点(x,y)处的区域能量EA(x,y)、EB(x,y)：
Figure BDA0003915622310000111
其中，H为图像块，L×W为能量区域大小，可以设置为3×3，ω为加权矩阵，其可以为
Figure BDA0003915622310000112
在每个融合测量图像块，可以基于压缩感知使用感知矩阵对每个融合测量图像块进行重构，得到多个融合图像块。使用感知矩阵进行图像块重构的方式可以参考相关技术，本实施例中对此不做限定。
在本实施例中，通过观测矩阵与高频图像块相乘得到观测图像块，并利用区域能量匹配的方式进行融合，通过以像素点为中心的周围区域内图像的能量特性，确定该像素点的像素值，确定的像素值包含了区域内的图像的高频特征，可以提高融合效果，保留更多细节，并减少噪声。
在一个示例性实施例中，基于像素点的区域能量之间的匹配度对多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块，包括：
S31，将每个观测图像块对作为当前观测图像块对分别执行以下操作，得到多个融合测量图像块：
将当前观测图像块对中的各像素点作为当前像素点分别执行以下融合操作：
确定当前观测图像块对在当前像素点的区域能量之间的匹配度，得到当前匹配度；
在当前匹配度大于或者等于匹配度阈值的情况下，对当前观测图像块对在当前像素点的像素值进行加权求和，得到与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值；
在当前匹配度小于匹配度阈值的情况下，将目标观测图像块在当前像素点的像素值，确定为与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值，其中，目标观测图像块为当前观测图像块对中在当前像素点的区域能量最大的观测图像块。
在本实施例中，可以采用相同的处理操作对多个观测图像块对的各个观测图像块对进行观测图像块融合。同时，在对一个观测图像块对进行图像块融合时，可以采用相同的融合操作确定各个像素点融合后的像素值。这里，将当前处理的像素点作为当前像素点、将当前像素点所属的观测图像块对作为当前观测图像块对分别执行以下融合操作，以得到当前观测图像块对融合后的融合测量图像块中当前像素点的像素值：
步骤1，确定当前观测图像块对在当前像素点的区域能量之间的匹配度，得到当前匹配度。
例如，可以基于公式(2)计算每对高频观测图像块HA、HB的区域能量匹配度S(x,y)：
Figure BDA0003915622310000131
基于公式(2)，可以确定每对高频观测图像块HA、HB在每个像素点的区域能量匹配度。
步骤2，在当前匹配度大于或者等于匹配度阈值的情况下，对当前观测图像块对在当前像素点的像素值进行加权求和，得到与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值。
如果当前匹配度大于或者等于匹配度阈值，可以对当前观测图像块对在当前像素点的像素值进行加权求和，得到与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值。这里，对当前观测图像块对在当前像素点的像素值进行加权求和可以是：对当前观测图像块对中的各个观测图像块在当前像素点的像素值进行加权求和。不同观测图像块所对应的加权系数可以是根据当前匹配度确定的，也可以是预先设置好的，本实施例中对此不做限定。
例如，在融合观测图像块时，可以设置能量匹配度阈值δ，0.5≤δ≤1，当能量匹配度大于或者等于该阈值时，表示这块区域相似度高，可以进行加权融合。
步骤3，在当前匹配度小于匹配度阈值的情况下，将目标观测图像块在当前像素点的像素值，确定为与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值，其中，目标观测图像块为当前观测图像块对中在当前像素点的区域能量最大的观测图像块。
如果当前匹配度小于匹配度阈值，可以确定当前观测图像块对中，在当前像素点的区域能量最大的观测图像块，得到目标观测图像块，例如，可以比较当前观测图像块对中的各个观测图像块在当前像素点的区域能量，确定最大区域能量所对应的观测图像块，得到目标观测图像块；将目标观测图像块在当前像素点的像素值，确定为与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值。此时，可以认为目标观测图像块对应的加权系数为1，其余观测图像块对应的加权系数为0。
例如，若能量匹配度低于阈值，表示这块区域相似度低，使用区域能量高的区域作为融合结果，计算公式如下：
Figure BDA0003915622310000141
其中，HC(x,y)为融合测量图像块中像素点(x,y)处的像素值。
通过本实施例，基于区域能量相似度和能量匹配度阈值进行测量图像块的融合，可以在保证融合效果的同时，降低融合计算的复杂度。
在一个示例性实施例中，在对当前观测图像块对在当前像素点的像素值进行加权求和之前，上述方法还包括：
S41，将第一差值与第二差值的比值与预设系数的乘积，确定为第一权值，将1与第一权值的差值，确定为第二权值，其中，第一差值为当前匹配度与匹配度阈值的差值，第二差值为1与匹配度阈值的差值，第一权值为当前观测图像块对中对应的当前像素点的像素值最大的观测图像块对应的加权系数，第二权值为当前观测图像块对中对应的当前像素点的像素值最小的观测图像块对应的加权系数。
在对当前观测图像块对在当前像素点的像素值进行加权求和之前，可以分别确定与当前观测图像块对中的各个观测图像块对应的加权系数，不同观测图像块对应的加权系数可以是预先设定的，例如，区域能量高的观测图像块对应的加权系数为一个较大的值，而区域能量低的观测图像块对应的加权系数为一个较小的值。为了保证图像融合效果，可以基于当前匹配度和匹配度阈值确定各个观测图像块对应的加权系数。
在本实施例中，可以将当前匹配度和匹配度阈值的差值与1与匹配度阈值的差值的比值与预设系数的乘积，确定为当前观测图像块对中，对应的当前像素点的像素值中最大的观测图像块对应的加权系数；将1与第一权值的差值，确定为当前观测图像块对中另一个观测图像块对应的加权系数。这里的预设系数可以是一个预设值，例如，0.5。
例如，可以基于公式(4)对观测图像块进行加权融合时：
Figure BDA0003915622310000151
其中，HC(x,y)为融合的观测图像，wmax和wmin为融合权值，wmax和wmin的计算公式如公式(5)所示：
Figure BDA0003915622310000152
通过本实施例，基于当前匹配度和匹配度阈值确定各个观测图像块对应的加权系数，可以保证图像融合效果，提高融合后图像的质量。
在一个示例性实施例中，使用感知矩阵对多个融合测量图像块中的每个融合测量图像块进行重构，得到多个融合图像块，包括：
S51，使用感知矩阵对每个融合测量图像块中的每一列分别执行以下重构操作，得到多个融合图像块，其中，在执行以下重构操作的过程中，每一列为当前列：
使用感知矩阵构造与当前列匹配的稀疏系数；
将稀疏系数与冗余字典相乘，得到与每个融合测量图像块对应的融合图像块中的当前列。
在本实施例中，在对每个融合测量图像块进行重构时，可以使用感知矩阵对每个融合测量图像块中的每一列分别执行重构操作，从而重构出对应的融合图像块的对应列，进而得到与每个融合测量图像块对应的融合图像块。多个融合测量图像块可以对应重构出多个融合图像块，两者具有一一对应关系。
在对当前待重构的列(其可以是任一融合测量图像块中的任一列)进行重构时，可以将其作为当前列执行以下重构操作：
步骤1，使用感知矩阵构造与当前列匹配的稀疏系数。
对于当前列，可以通过压缩感知中的重构算法使用感知矩阵构造与当前列匹配的稀疏系数，这里，使用的重构算法可以是OMP(Orthogonal Matching Pursuit，正交匹配追踪算法)算法，也可以是其他重构算法；在进行列重构时，可以从感知矩阵中寻找一组与当前列最匹配的原子，构造一个稀疏逼近，迭代得到一个稀疏系数。
例如，可以使用OMP算法通过融合的高频测量图像块HC重建融合后的高频图像块。在重建融合后的高频图像块时，可以对融合高频观测图像块的每一列从感知矩阵中寻找一组与其最匹配的原子，构造一个稀疏逼近，迭代得到一个稀疏系数。获取稀疏系数的流程可以包括：
1)记图像块第一列为x，初始化残差r0为x，索引集A为空。
2)找出感知矩阵D与残差rk内积最大一列的脚标，记为
Figure BDA0003915622310000161
di为感知矩阵的原子，N为感知矩阵维度。
3)将找到的最相关的元素索引加入索引集，即，Ak+1＝Ak∪{λk+1}。
4)更新残差，即，
Figure BDA0003915622310000162
5)残差小于阈值后结束迭代，得到的稀疏系数为
Figure BDA0003915622310000163
将稀疏系数与冗余字典相乘，得到与每个融合测量图像块对应的融合图像块中的当前列
步骤2，将稀疏系数与冗余字典相乘，得到与每个融合测量图像块对应的融合图像块中的当前列。
例如，在得到稀疏系数之后，可以将稀疏系数与冗余字典(例如，前述DWT字典Ψ)相乘，得到重建图像的一列，对图像块的每一列重复以上操作，得到重建的高频融合图像块。
通过本实施例，使用感知矩阵构造与融合测量图像块中的一列匹配的稀疏系数，进而基于系数系数和冗余字典进行列重建，可以提高图像块重建的便捷性。
在一个示例性实施例中，对低频图像组中的图像进行图像融合，得到低频融合图像，包括：
S61，分别将低频图像组中的图像的各像素点作为当前像素点执行以下融合操作，得到低频融合图像的当前像素点的像素值：
S62，分别确定低频图像组的各个图像中以当前像素点为中心的预设领域内的一组像素点的像素值方差，得到与各个图像对应的领域方差；
S63，将与各个图像对应的领域方差中的最大领域方差，确定为低频融合图像中的当前像素点的像素值。
虽然采用全局均值对低频图像组可以简单方便地融合低频图像组，但会导致部分信息丢失，造成融合后图像的轮廓信息不准确。在本实施例中，可以使用领域方差取最大值的方式来对低频分量(即，低频图像)进行融合，得到融合后的低频分量，通过方差来表征区域内的图像信息量(即，通过方差反应图像灰度值的离散情况，方差越大信息量越多)，并进行比较，各点的像素值都受到相邻区域的图像特征影响，从而可以更大程度保留图像的主体内容和轮廓。
对于低频图像，可以分别确定各个像素位置的像素点进行融合所得到的值，并将其作为融合后的低频融合图像对应像素位置的像素点的像素值。对于低频图像组中的各像素点(例如，a×b位置的像素点)，可以通过领域方差取最大值的方式分别将其作为当前像素点执行融合操作，得到低频融合图像中的当前像素点(例如，a×b位置的像素点)的像素值。对当前像素点执行融合操作可以包括以下操作：
操作1，分别确定每个低频图像中以当前像素点为中心的预设领域内的一组像素点的像素值方差，得到与每个低频图像对应的领域方差。
例如，对低频图像使用领域方差取最大值规则进行融合，对于可见光图像和红外图像中的任一图像，可以取图像中坐标为(x,y)的一个像素点，通过公式(6)计算其大小为M的邻域范围内的方差：
Figure BDA0003915622310000171
其中，L(x,y)为低频图像，
Figure BDA0003915622310000172
为邻域M内低频图像的均值。
操作2，将与每个低频图像对应的领域方差中的最大领域方差，确定为低频融合图像中的当前像素点的像素值。
在得到与每个低频图像对应的领域方差(与当前像素点对应)之后，可以选取与每个低频图像对应的领域方差中的最大领域方差，并将最大领域方差确定为低频融合图像中的当前像素点的像素值，或者，也可以将最大领域方差所对应的低频图像在当前像素点的像素值，确定为低频融合图像中的当前像素点的像素值。
比如，对于一个像素点，可以选取可见光图像和红外图像在该像素点的领域方差较大的图像像素值，作为低频融合图像的像素值。
通过本实施例，通过领域方差取最大值的方式融合低频图像，可以更大程度保留图像的主体内容和轮廓，提高融合图像的准确性。
下面结合可选示例对本申请实施例中的图像融合方法进行解释说明。在本可选示例中，两个图像分别为可见光图像和红外图像，图像变换为NSCT变换，逆变换为NSCT逆变换，图像块重构使用的是OMP算法。
本可选示例提供了一种基于NSCT变换和压缩感知的图像融合方法，如图4和图5所示，本可选示例中的图像融合方法的流程可以包括以下步骤：
步骤S502，分别对可见光图像和红外图像进行一层四方向的NSCT变换，分别获得5个子图像，包含1个低频图像和4个高频图像。
步骤S504，对高频图像进行分块(保持相邻图像块之间的像素重叠，重建时对重叠部分取均值)，得到高频图像块，将观测矩阵与高频图像块相乘，得到观测图像块(即，高频观测图像块)。
这里，对高频分量进行分块，这种图像分割实际是一种整体约束，降低了分块求解时块与块之间的网格效应。
步骤S506，基于区域能量匹配度对观测图像块进行融合，得到融合观测图像块，基于压缩感知对融合观测图像块进行重构，得到重构的融合图像块(高频融合图像块)，对融合图像块进行拼接，得到高频融合图像。
这里，使用区域能量匹配的规则对高频图像进行融合，其原理如下：对高频分量进行分块、稀疏表达和观测，得到压缩域上的观测系数，对每个分块的观测系数使用区域能量匹配的规则进行融合，通过重构算法得到融合后的高频图像。
步骤S508，基于领域方差取最大值对低频图像进行融合，得到低频融合图像。
步骤S510，对获得的融合低频图像和融合高频图像(即，融合后的各分量)进行NSCT逆变换，得到可见光图像与红外图像融合后的图像。
通过本可选示例，可以充分挖掘图像在不同尺度不同方向上的信息，高频部分融合后保留了更多细节，通过分块处理降低了计算复杂度，同时对重叠部分取均值，避免了网格效应；对于低频部分更大程度保留了图像的主体内容和轮廓。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述图像融合方法的图像融合装置。图6是根据本申请实施例的一种可选的图像融合装置的结构框图，如图6所示，该装置可以包括：
变换单元602，用于对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组；其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；
处理单元604，与变换单元602相连，用于按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；
执行单元606，与处理单元604相连，用于分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；
融合单元608，与执行单元606相连，用于对低频图像组中的图像进行图像融合，得到低频融合图像；
逆变换单元610，与融合单元608相连，用于对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。
需要说明的是，该实施例中的变换单元602可以用于执行上述步骤S202，该实施例中的处理单元604可以用于执行上述步骤S204，该实施例中的执行单元606可以用于执行上述步骤S206，融合单元608可以用于执行上述步骤S208，逆变换单元610可以用于执行上述步骤S210。
通过上述模块，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组；其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；对低频图像组中的图像进行图像融合，得到低频融合图像；对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像，解决了相关技术中的图像融合方法存在由于融合计算的复杂度高导致的图像融合的效率低的问题，提高了图像融合的效率。
在一个示例性实施例中，变换单元包括：
变换模块，用于对待融合的至少一个图像分别进行一层四个方向的非下采样轮廓波变换，得到低频图像组和高频图像组。
在一个示例性实施例中，执行单元包括：
第一执行模块，用于将测量矩阵与每个图像块对中的图像块分别相乘，得到多个观测图像块对，其中，测量矩阵的列数与每个图像块对中的图像块的行数相同；
融合模块，用于基于像素点的区域能量之间的匹配度对多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块；
重构模块，用于使用感知矩阵对多个融合测量图像块中的每个融合测量图像块进行重构，得到多个融合图像块，其中，感知矩阵是测量矩阵和与测量矩阵匹配的冗余字典相乘得到的。
在一个示例性实施例中，融合模块包括：
第一执行子模块，用于将每个观测图像块对分别作为当前观测图像块对执行以下操作，得到多个融合测量图像块：将当前观测图像块对中的各像素点作为当前像素点分别执行以下融合操作：
确定当前观测图像块对在当前像素点的区域能量之间的匹配度，得到当前匹配度；
在当前匹配度大于或者等于匹配度阈值的情况下，对当前观测图像块对在当前像素点的像素值进行加权求和，得到与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值；
在当前匹配度小于匹配度阈值的情况下，将目标观测图像块在当前像素点的像素值，确定为与当前观测图像块对所对应的融合测量图像块中的当前像素点的像素值，其中，目标观测图像块为当前观测图像块对中在当前像素点的区域能量最大的观测图像块。
在一个示例性实施例中，上述装置还包括：
确定单元，用于在对当前观测图像块对在当前像素点的像素值进行加权求和之前，将第一差值与第二差值的比值与预设系数的乘积，确定为第一权值，将1与第一权值的差值，确定为第二权值，其中，第一差值为当前匹配度与匹配度阈值的差值，第二差值为1与匹配度阈值的差值，第一权值为当前观测图像块对中对应的当前像素点的像素值最大的观测图像块对应的加权系数，第二权值为当前观测图像块对中对应的当前像素点的像素值最小的观测图像块对应的加权系数。
在一个示例性实施例中，重构模块包括：
第二执行子模块，用于使用感知矩阵对每个融合测量图像块中的每一列分别执行以下重构操作，得到多个融合图像块，其中，在执行以下重构操作的过程中，每一列为当前列：
使用感知矩阵构造与当前列匹配的稀疏系数；将稀疏系数与冗余字典相乘，
得到与每个融合测量图像块对应的融合图像块中的当前列。
在一个示例性实施例中，融合单元包括：
第二执行模块，用于分别将低频图像组中的图像的各像素点作为当前像素点执行以下融合操作，得到低频融合图像的当前像素点的像素值：
分别确定低频图像组的各个图像中以当前像素点为中心的预设领域内的一组像素点的像素值方差，得到与各个图像对应的领域方差；
将与各个图像对应的领域方差中的最大领域方差，确定为低频融合图像中的当前像素点的像素值。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本申请实施例中上述任一项图像融合方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；
S2，按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；
S3，分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；
S4，对低频图像组中的图像进行图像融合，得到低频融合图像；
S5，对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请实施例的又一个方面，还提供了一种用于实施上述图像融合方法的电子装置，该电子装置可以是服务器、终端、或者其组合。
图7是根据本申请实施例的一种可选的电子装置的结构框图，如图7所示，包括处理器702、通信接口704、存储器706和通信总线708，其中，处理器702、通信接口704和存储器706通过通信总线708完成相互间的通信，其中，
存储器706，用于存储计算机程序；
处理器702，用于执行存储器706上所存放的计算机程序时，实现如下步骤：
S1，对待融合的至少一个图像分别进行多个方向的图像变换，得到与至少一个图像对应的低频图像组和高频图像组，其中，低频图像组包括各图像分别对应的低频图像，高频图像组包括各图像分别对应的高频图像；
S2，按照预设尺寸分别对高频图像组中的图像进行分块处理，得到与高频图像组所对应的多个图像块对；
S3，分别对多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对多个融合图像块进行图像块拼接，得到高频融合图像；
S4，对低频图像组中的图像进行图像融合，得到低频融合图像；
S5，对高频融合图像和低频融合图像进行图像逆变换，得到至少一个图像的融合图像。
可选地，通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线、或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，上述存储器706中可以但不限于包括上述图像融合装置中的变换单元602、处理单元604、执行单元606、融合单元608以及逆变换单元610。此外，还可以包括但不限于上述图像融合装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述图像融合方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以至少两个单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
对待融合的至少一个图像分别进行多个方向的图像变换，得到与所述至少一个图像对应的低频图像组和高频图像组，其中，所述低频图像组包括各图像分别对应的低频图像，所述高频图像组包括各图像分别对应的高频图像；
按照预设尺寸分别对所述高频图像组中的图像进行分块处理，得到与所述高频图像组所对应的多个图像块对；
分别对所述多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对所述多个融合图像块进行图像块拼接，得到高频融合图像；
对所述低频图像组中的图像进行图像融合，得到低频融合图像；
对所述高频融合图像和所述低频融合图像进行图像逆变换，得到所述至少一个图像的融合图像。
2.根据权利要求1所述的方法，其特征在于，所述对待融合的至少一个图像分别进行多个方向的图像变换，得到与所述至少一个图像对应的低频图像组和高频图像组，包括：
对待融合的所述至少一个图像分别进行一层四个方向的非下采样轮廓波变换，得到所述低频图像组和所述高频图像组。
3.根据权利要求1所述的方法，其特征在于，所述分别对所述多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，包括：
将测量矩阵与所述每个图像块对中的图像块分别相乘，得到多个观测图像块对，其中，所述测量矩阵的列数与所述每个图像块对中的图像块的行数相同；基于像素点的区域能量之间的匹配度对所述多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块；
使用感知矩阵对所述多个融合测量图像块中的每个融合测量图像块进行重构，得到所述多个融合图像块，其中，所述感知矩阵是所述测量矩阵和与所述测量矩阵匹配的冗余字典相乘得到的。
4.根据权利要求3所述的方法，其特征在于，所述基于像素点的区域能量之间的匹配度对所述多个观测图像块对中的每个观测图像块对的像素点分别进行融合，得到多个融合测量图像块，包括：
将所述每个观测图像块对分别作为当前观测图像块对执行以下操作，得到所述多个融合测量图像块：
将所述当前观测图像块对中的各像素点作为当前像素点分别执行以下融合操作：
确定所述当前观测图像块对在所述当前像素点的区域能量之间的匹配度，得到当前匹配度；
在所述当前匹配度大于或者等于匹配度阈值的情况下，对所述当前观测图像块对在所述当前像素点的像素值进行加权求和，得到与所述当前观测图像块对所对应的融合测量图像块中的所述当前像素点的像素值；
在所述当前匹配度小于匹配度阈值的情况下，将目标观测图像块在所述当前像素点的像素值，确定为与所述当前观测图像块对所对应的融合测量图像块中的所述当前像素点的像素值，其中，所述目标观测图像块为所述当前观测图像块对中在所述当前像素点的区域能量最大的观测图像块。
5.根据权利要求4所述的方法，其特征在于，在所述对所述当前观测图像块对在所述当前像素点的像素值进行加权求和之前，所述方法还包括：
将第一差值与第二差值的比值与预设系数的乘积，确定为第一权值，将1与所述第一权值的差值，确定为第二权值，其中，所述第一差值为所述当前匹配度与所述匹配度阈值的差值，所述第二差值为1与所述匹配度阈值的差值，所述第一权值为所述当前观测图像块对中对应的所述当前像素点的像素值最大的观测图像块对应的加权系数，所述第二权值为所述当前观测图像块对中对应的所述当前像素点的像素值最小的观测图像块对应的加权系数。
6.根据权利要求3所述的方法，其特征在于，所述使用感知矩阵对所述多个融合测量图像块中的每个融合测量图像块进行重构，得到所述多个融合图像块，包括：
使用所述感知矩阵对所述每个融合测量图像块中的每一列分别执行以下重构操作，得到所述多个融合图像块，其中，在执行以下重构操作的过程中，所述每一列为当前列：
使用所述感知矩阵构造与所述当前列匹配的稀疏系数；
将所述稀疏系数与所述冗余字典相乘，得到与所述每个融合测量图像块对应的融合图像块中的所述当前列。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述低频图像组中的图像进行图像融合，得到低频融合图像，包括：
分别将所述低频图像组中的图像的各像素点作为当前像素点执行以下融合操作，得到所述低频融合图像的所述当前像素点的像素值：
分别确定所述低频图像组的各个图像中以所述当前像素点为中心的预设领域内的一组像素点的像素值方差，得到与所述各个图像对应的领域方差；
将与所述各个图像对应的领域方差中的最大领域方差，确定为所述低频融合图像中的所述当前像素点的像素值。
8.一种图像融合装置，其特征在于，包括：
变换单元，用于对待融合的至少一个图像分别进行多个方向的图像变换，得到与所述至少一个图像对应的低频图像组和高频图像组，其中，所述低频图像组包括各图像分别对应的低频图像，所述高频图像组包括各图像分别对应的高频图像；
处理单元，用于按照预设尺寸分别对所述高频图像组中的图像进行分块处理，得到与所述高频图像组所对应的多个图像块对；
执行单元，用于分别对所述多个图像块对中的每个图像块对内的图像块进行图像块融合，得到多个融合图像块，并对所述多个融合图像块进行图像块拼接，得到高频融合图像；
融合单元，用于对所述低频图像组中的图像进行图像融合，得到低频融合图像；
逆变换单元，用于对所述高频融合图像和所述低频融合图像进行图像逆变换，得到所述至少一个图像的融合图像。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
CN202211336876.4A 2022-10-28 2022-10-28 图像融合方法和装置、存储介质和电子装置 Pending CN115587955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211336876.4A CN115587955A (zh) 2022-10-28 2022-10-28 图像融合方法和装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211336876.4A CN115587955A (zh) 2022-10-28 2022-10-28 图像融合方法和装置、存储介质和电子装置

Publications (1)

Publication Number Publication Date
CN115587955A true CN115587955A (zh) 2023-01-10

Family

ID=84781992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211336876.4A Pending CN115587955A (zh) 2022-10-28 2022-10-28 图像融合方法和装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN115587955A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912951A (zh) * 2023-09-13 2023-10-20 华南理工大学 人体姿态的评估方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912951A (zh) * 2023-09-13 2023-10-20 华南理工大学 人体姿态的评估方法及装置
CN116912951B (zh) * 2023-09-13 2023-12-22 华南理工大学 人体姿态的评估方法及装置

Similar Documents

Publication Publication Date Title
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN110473137B (zh) 图像处理方法和装置
Yang et al. Fast image super-resolution based on in-place example regression
US9042670B2 (en) Downsizing an encoded image
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
JP5846517B2 (ja) 画像構図変更の品質評価
US20150187053A1 (en) Method and Apparatus for Image Denoising with Three-Dimensional Block-Matching
Li et al. No-reference quality assessment of deblurred images based on natural scene statistics
CN109325928A (zh) 一种图像重建方法、装置及设备
EP2529353A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
CN116030259B (zh) 一种腹部ct图像多器官分割方法、装置及终端设备
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN115587955A (zh) 图像融合方法和装置、存储介质和电子装置
CN110913219A (zh) 一种视频帧预测方法、装置及终端设备
CN111757172A (zh) Hdr视频获取方法、hdr视频获取装置及终端设备
CN116485741A (zh) 一种无参考图像质量评价方法、***、电子设备及存储介质
CN111083478A (zh) 一种视频帧重构方法、装置及终端设备
CN110913230A (zh) 一种视频帧预测方法、装置及终端设备
CN113112561B (zh) 图像重建方法、装置和电子设备
CN116362972B (zh) 图像处理方法、装置、电子设备及存储介质
CN110944212A (zh) 一种视频帧重构方法、装置及终端设备
CN111083494A (zh) 一种视频编码方法、装置及终端设备
Ngocho et al. Single image super resolution with guided back-projection and LoG sharpening
CN111083479A (zh) 一种视频帧预测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination