CN113159229B - 图像融合方法、电子设备及相关产品 - Google Patents

图像融合方法、电子设备及相关产品 Download PDF

Info

Publication number
CN113159229B
CN113159229B CN202110548512.1A CN202110548512A CN113159229B CN 113159229 B CN113159229 B CN 113159229B CN 202110548512 A CN202110548512 A CN 202110548512A CN 113159229 B CN113159229 B CN 113159229B
Authority
CN
China
Prior art keywords
image
visible light
infrared
determining
saliency map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110548512.1A
Other languages
English (en)
Other versions
CN113159229A (zh
Inventor
张跃强
郭宏希
陈文均
刘肖琳
李狄龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Qiantang Science and Technology Innovation Center
Original Assignee
Shenzhen University
Qiantang Science and Technology Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Qiantang Science and Technology Innovation Center filed Critical Shenzhen University
Priority to CN202110548512.1A priority Critical patent/CN113159229B/zh
Publication of CN113159229A publication Critical patent/CN113159229A/zh
Application granted granted Critical
Publication of CN113159229B publication Critical patent/CN113159229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像融合方法、电子设备及相关产品，方法包括：通过红外摄像头获取红外图像；通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；确定所述红外图像的第一显著图；确定所述可见光图像的第二显著图；根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。采用本申请实施例能够在军事侦测任务中，提升图像质量。

Description

图像融合方法、电子设备及相关产品
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像融合方法、电子设备及相关产品。
背景技术
在军事侦测任务中，侦查者通常会使用图像采集设备来监视目标场景，从而掌握目标的位置和运动信息，但单一的可见光传感器图像无法捕获到场景中被遮挡或伪装的目标，容易受到暗光和烟雾对成像的干扰，因此，在目标侦测任务中也会使用红外相机采集目标的热辐射信息并转化为亮度信息，从而解决遮挡、伪装和暗光等对可见光相机检测造成图像质量下降的问题。但是，红外相机成像存在亮度分布不符合人眼视觉习惯，分辨率较低，对场景细节信息获取能力不足的问题。因此，如何在军事侦测任务中，提升图像质量的问题亟待解决。
发明内容
本申请实施例提供了一种图像融合方法、电子设备及相关产品，能够在军事侦测任务中，提升图像质量。
第一方面，本申请实施例提供一种图像融合方法，所述方法包括：
通过红外摄像头获取红外图像；
通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
确定所述红外图像的第一显著图；
确定所述可见光图像的第二显著图；
根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
第二方面，本申请实施例提供一种图像融合装置，所述装置包括：获取单元、确定单元和图像融合单元，其中，
所述获取单元，用于通过红外摄像头获取红外图像；以及通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
所述确定单元，用于确定所述红外图像的第一显著图；确定所述可见光图像的第二显著图；以及根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
所述图像融合单元，用于根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的图像融合方法、电子设备及相关产品，通过红外摄像头获取红外图像，通过可见光摄像头获取可见光图像，红外摄像头与可见光摄像头对应同一拍摄范围，确定红外图像的第一显著图，确定可见光图像的第二显著图，根据第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值，根据第一权值、第二权值对红外图像和可见光图像进行图像融合，得到融合图像，进而，能够通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失，另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性，有助于提升图像质量，以及保证实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种图像融合方法的流程示意图；
图1B是本申请实施例提供的可加热棋盘格标定板对红外和可见光双目***进行标定的演示示意图；
图2是本申请实施例提供的另一种图像融合方法的流程示意图；
图3是本申请实施例提供的一种电子设备的结构示意图；
图4是本申请实施例提供的一种图像融合装置的功能单元组成框图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是在一个可能地示例中还包括没有列出的步骤或单元，或在一个可能地示例中还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例所涉及到的电子设备可以包括但不仅限于：智能手机、平板电脑、智能机器人、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminal device)等等，在此不做限定，电子设备还可以为服务器。
请参阅图1A，图1A是本申请实施例提供的一种图像融合方法的流程示意图，如图所示，应用于电子设备，本图像融合方法包括：
101、通过红外摄像头获取红外图像。
其中，本申请实施例中，红外图像可以为红外摄像头拍摄的视频中的任一帧图像。具体实现中，电子设备可以通过红外摄像头进行拍摄，进而，可以得到红外图像。
可选的，上述步骤101，通过红外摄像头获取红外图像，可以包括如下步骤：
11、获取目标环境温度；
12、按照预设的环境温度与拍摄参数之间的映射关系，确定所述目标环境温度对应的第一拍摄参数；
13、根据所述第一拍摄参数进行拍摄，得到所述红外图像。
其中，本申请实施例中，电子设备中可以预先存储预设的环境温度与拍摄参数之间的映射关系，拍摄参数可以为以下至少一种：焦距、感光度、红外光亮度、红外光的波长、红外光的工作频率、红外光的发射功率、红外摄像头的工作电流、红外摄像头的工作电压、红外摄像头的工作功率等等，在此不做限定。
具体实现中，电子设备可以获取目标环境温度，以及按照预设的环境温度与拍摄参数之间的映射关系，确定目标环境温度对应的第一拍摄参数，进而，可以得到与温度相宜的拍摄参数，再根据第一拍摄参数进行拍摄，得到红外图像，有助于提升红外图像的图像质量。
可选的，上述步骤11，获取目标环境温度，可以包括如下步骤：
111、通过所述红外摄像头获取预览图像；
112、确定所述预览图像的平均灰度值；
113、按照预设的温度与灰度值之间的映射关系，确定所述平均灰度对应的参考温度；
114、将所述预览图像划分为多个区域，并确定所述多个区域中每一区域的灰度值，得到多个灰度值；
115、根据所述多个灰度值进行均方差运算，得到目标均方差；
116、按照预设的均方差与优化因子之间的映射关系，确定所述目标均方差对应的目标优化因子；
117、根据所述目标优化因子对所述参考温度进行优化处理，得到所述目标环境温度。
具体实现中，电子设备中可以预先存储预设的温度与灰度值之间的映射关系，以及预设的均方差与优化因子之间的映射关系。
具体地，电子设备可以通过红外摄像头获取预览图像，确定预览图像的平均灰度值，由于红外图像的原理是基于温度成像，进而，平均灰度值在一定程度上反映了拍摄场景中物体的整体温度。进而，电子设备可以按照预设的温度与灰度值之间的映射关系，确定平均灰度对应的参考温度。电子设备还可以将预览图像划分为多个区域，并确定多个区域中每一区域的灰度值，得到多个灰度值，再根据多个灰度值进行均方差运算，得到目标均方差，以及按照预设的均方差与优化因子之间的映射关系，确定目标均方差对应的目标优化因子，优化因子的取值范围可以为-0.2～0.2，由于考虑到图像中邻域之间的温度变化也会影响拍摄场景的实际温度，进而，通过均方差来确定邻域之间的影响程度，以对参考温度进行优化，有助于精准评估场景的温度，最后，再根据目标优化因子对参考温度进行优化处理，得到目标环境温度，具体如下：
目标环境温度＝(1+目标优化因子)*参考温度
进而，可以通过预览图像对环境温度进行精准评估。
102、通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围。
本申请实施例中，电子设备可以包括红外和可见光相机***，红外摄像头和可见光摄像头可以均设置于红外和可见光相机***。红外摄像头与可见光摄像头对应同一拍摄范围，即红外摄像头与可见光摄像头之间已进行标定，其拍摄的预览画面均进行了配准。
可选的，上述步骤102，通过可见光摄像头获取可见光图像，可以包括如下步骤：
21、获取目标环境参数；
22、按照预设的环境参数与拍摄参数之间的映射关系，确定所述目标环境参数对应的第二拍摄参数；
23、根据所述第二拍摄参数进行拍摄，得到所述可见光图像。
具体实现中，环境参数可以为以下至少一种：环境亮度、环境色温、环境温度、环境湿度、天气等等，在此不做限定，拍摄参数可以为以下至少一种：感光度、曝光时长、焦距、变焦参数等等，在此不做限定。
具体实现中，电子设备中可以预先存储预设的环境参数与拍摄参数之间的映射关系，进而，电子设备可以获取目标环境参数，再按照预设的环境参数与拍摄参数之间的映射关系，确定目标环境参数对应的第二拍摄参数，并且根据第二拍摄参数进行拍摄，得到可见光图像，如此，可以得到与环境相宜的拍摄图像。
103、确定所述红外图像的第一显著图。
具体实现中，由于红外图像只有灰度信息且分辨率较低，因此，红外视频序列的显著性检测可以基于全局对比度实现。
可选的，上步骤103，确定所述红外图像的第一显著图，可以包括如下步骤：
31、获取所述红外图像的直方图；
32、根据所述直方图确定所述红外图像的第一显著图。
具体实现中，对于一张红外视频序列图，即红外图像，其每个像素的显著性计算公式如下：
V(p)＝|Ip-I1|+|Ip-I2|+...+|Ip-IN|
其中，p代表红外图像中像素位置，Ip代表红外图像中对应位置的灰度值，N代表红外图像中的像素个数，V可以表示第一显著图。进而，上式可以利用图像直方图分布进一步简化：
其中，L表示图像中的灰度级数，一般可以为255，hj代表红外图像中灰度为j的像素个数，计算显著性后可以通过归一化得到红外图像对应的显著图。
104、确定所述可见光图像的第二显著图。
具体实现中，图像显著性是图像中重要的视觉特征，体现出人眼对图像各区域的重视程度。电子设备可以可见光图像的第二显著图。
可选的，上述步骤104，确定所述可见光图像的第二显著图，可以包括如下步骤：
41、获取所述可见光图像的颜色通道参数；
42、根据所述颜色通道参数确定所述可见光图像的红绿颜色分量、蓝黄颜色分量、亮度分量和运动分量；
43、根据所述红绿颜色分量、所述蓝黄颜色分量、所述亮度分量和所述运动分量，确定所述可见光图像的第一参考表达式；
44、对所述参考表达式进行简化处理，得到简化表达式；
45、对所述简化表达式进行四元傅里叶变换，得到频域表达式；
46、根据所述频域表达式提取目标相位信息，并对所述目标相位信息进行逆傅里叶变换，得到第二参考表达式；
47、对所述第二参考表达式进行滤波处理，得到所述第二显著图。
具体实现中，本申请实施例中，颜色通道参数可以为r，g，b三个颜色通道参数。可见光图像可以为可见光视频序列中的任一帧图像，可见光视频序列显著性检测：可以利用红绿、蓝黄、亮度和运动四个分量表示获取的图片，再对其进行四元傅里叶变换获得相位谱，公式如下：
RG(t)＝R(t)-G(t)
BY(t)＝B(t)-Y(t)
M(t)＝|I(t)-I(t-1)|
其中，t代表视频序列的当前帧数，r、g、b分别表示输入图像的三个颜色通道，通过计算获得的RG、BY、I和M分别表示图像的两个颜色分量(红绿颜色分量、蓝黄颜色分量)、亮度分量和运动分量，此时，可以用一个四元数表示当前帧图像，即得到第一参考表达式，具体如下：
q(t)＝M(t)+RG(t)u1+BG(t)u1+BY(t)u2+I(t)u3
其中，ui，i＝1,2,3满足u1⊥u2，u2⊥u3，u1⊥u3，u3＝u1u2。
进一步地，q(t)可以进一步简化为下式，得到q(t)的简化表达式，具体如下：
q(t)＝f1(t)+f2(t)u2
f1(t)＝M(t)+RG(t)u1
f2(t)＝BY(t)+I(t)u1
对q(t)进行四元傅里叶变换，得到频域表达式，具体如下：
Q[u,v]＝F1[u,v]+F2[u,v]u2
令Q(t)为q(t)的频域表示，则Q(t)可写为极数形式：
Q(t)＝||Q(t)||euφ(t)
其中,‖Q(t)‖是傅里叶变换的频谱部分，Φ(t)为傅里叶变换的相位谱部分，令||Q(t)||＝1，则提取出了q(t)频谱的相位信息，即目标相位信息，对其进行逆傅里叶变换可以得到第二参考表达式，具体如下：
q′＝ρ0+ρ1u1+ρ2u2+ρ3u3
其中ρi(i＝0,1,2,3)表示相位谱逆傅里叶变换后四元数各部分的值。最终，可以对逆傅里叶变换结果进行高斯滤波得到第二显著图sM(t)，sM为显著图(saliency Map)的缩写，具体如下：
sM(t)＝g*||q′(t)||2
其中g表示二维高斯滤波核，*代表卷积操作。
105、根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值。
具体实现中，图像显著性是图像中重要的视觉特征，体现出人眼对图像各区域的重视程度。进而，电子设备可以基于第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值。
具体实现中，上述步骤105，根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值，可以包括如下步骤：
51、按照如下公式确定所述红外图像的第一权值：
其中，W1为所述第一权值，V1为所述第一显著图，V2为所述第二显著图；
52、按照如下公式确定所述可见光图像的第二权值：
W2＝1-W1
其中，W2为所述第二权值。
其中，通过对图像进行显著性检测，可以确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失。通过显著图可以确定红外图像和可见光图像在融合中的占比，进而，有助于提升融合图像的质量。
106、根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
具体实现中，电子设备可以根据第一权值、第二权值对红外图像和可见光图像进行图像融合，即进行加权运算，得到融合图像，具体如下：
融合图像＝第一权值*红外图像+第二权值*可见光图像
通过本申请实施例所描述的图像融合方法，可以实现图像融合以及视频序列之间实现图像融合。进而，可以利用红外相机和可见光相机成像特点，对红外相机和可见光相机采集到的图像进行融合，能够克服单一红外相机细节不清晰和可见光相机容易受雾和暗光影响问题，得到更丰富的场景信息。另外，在嵌入式设备中对可见光和红外图像采集处理***有实时性和轻量化要求，需要在有限的计算资源条件下对1080p分辨率的可见光图像和640*512的红外图像达到25帧每秒的处理速度，由于不需要对红外图像和可见光图像进行多尺度分解，进而，能够提升图像融合效率。
具体实现中，电子设备可以将红外和可见光相机***进行标定配准后，分别计算红外和可见光视频的显著性，根据显著性图通过加权的方式将红外和可见光图像进行融合，使得场景中被遮挡、伪装目标在图像中更容易被观察和侦测，改善单一可见光相机***的侦查能力。
本申请实施例，通过显著性提取算法获得互补源图像的显著性信息。视频显著性提取算法可以提取图像中的颜色、亮度、运动信息，经过傅里叶变换后图像频谱的相位谱可以表示原图周期性性或同质性较小的位置，从而，确定候选对象的位置。利用图像的显著性信息将红外图像中候选对象的区域与可见光图像融合，可以避免像素级融合将红外图像非目标区域引入导致场景细节失真。
视频显著性中的运动信息利用了帧间差分法提取，帧间差分对运动目标十分敏感，对于帧间差分结果进行显著性提取可以使运动目标在融合阶段有更高的权重，相比于利用单幅图像进行显著性检测的方法能有效提高对运动目标的检测能力。
当然，在步骤101之前，可以对红外摄像头和可见光摄像头进行标定，具体实现中，如图1B，红外和可见光双目相机标定，左图为红外摄像头拍摄的可加热棋盘格标定板，右图为可见光摄像头拍摄的可加热棋盘格标定板：利用如图1B所示的可加热棋盘格标定板对红外和可见光双目***进行标定。
单目相机的成像过程可采用针孔模型表示，单目相机像素坐标系和世界坐标系的关系如下：
其中，s表示世界坐标系到图像坐标系的尺度因子，(xp,yp)表示像素坐标系下的位置，(Xw,Yw,Zw)表示坐标系下的空间点坐标，(fx,fy)表示相机在x，y两个方向的等效焦距，γ表示x，y方向的非正交程度，(x0,y0)表示像素坐标系对相机坐标系的平移量，K表示相机内参矩阵，M表示相机外参矩阵。利用张正友标定法可以求得相机的内参数和外参数，假设棋盘格平面ZW＝0，空间到图像的映射关系可以简化为：
其中r1和r2分别表示外参旋转矩阵的前两列，令H＝K[r1 r2 T]，即H为图像平面到世界平面的单应性矩阵，空间到图像的映射可以表示为：
在使用最小二乘优化方法求得两个相机内外参矩阵后，对空间任一点，假设世界坐标系坐标为pw，左右相机坐标系坐标为pl、pr，则满足下式：
消去世界坐标系可得：
可求得两相机坐标系的变换关系：
由于该双目***使用场景一般在野外，目标距离双目***有数十米，因此可以忽略红外和可见光相机之间的平移关系，得到图像配准初值：
利用图像配准初值，进一步使用尺度不变特征变换(scale invariant featuretransform，SIFT)关键点检测方法以及最小二乘匹配方法等方法实现图像精配准，使融合结果具有更好的视觉效果。
举例说明下，本申请实施例所描述的图像融合方法的具体实施步骤：
1、对红外和可见光双目***进行标定：利用双目***采集多张包含棋盘格的图像，对图像中的棋盘格角点进行提取；
2、利用红外和可见光图像中的棋盘格角点信息分别对红外相机和可见光相机进行标定，获得红外相机和可见光相机的内参数和外参数；
3、利用同一时刻拍到的棋盘格图像中角点的位置信息计算出红外相机和可见光相机坐标系之间的转换关系；
4、根据红外相机和可见光相机的内外参数以及红外和可见光相机坐标系之间的转换关系得到图像坐标系的转换关系，作为双目***配准的初始参数；
5、对初始配准的参数利用最小二乘匹配法进行精配准；
6、计算可见光彩色图像的颜色、亮度和运动分量RG、BY、I和M；
7、计算可见光图像的显著度；
8、计算红外图像的直方图分布，并基于该直方图分布得到红外图像的显著图；
9、对于得到的红外和可见光显著图V1、V2，计算最终的红外图像的权重：
可见光图像的权重则为W2＝1-W1，再基于W1以及W2对红外图像和可见光图像进入图像融合。
本申请实施例，一方面，通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失。另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性；另一方面，计算资源有限的嵌入式平台上，计算红外视频的显著性，对显著目标进行融合而不降低场景细节。基于视频显著性融合的方法可以为后续目标检测算法提供候选区域，提高后续目标检测***的计算速度，具有轻量化，实时性好，可扩展性强的优点。
可选的，在上述步骤101，通过红外摄像头获取红外图像之前，还可以包括如下步骤：
A1、利用可加热棋盘格对所述红外摄像头和所述可见光摄像头进行双目标定，得到标定结果；
A2、根据所述标定结果确定所述红外摄像头和所述可见光摄像头之间的透视变换矩阵；
其中，上述步骤101，通过红外摄像头获取红外图像，可以按照如下方式实施：
通过红外摄像头获取红外图像，并根据所述透视变换矩阵对所述红外图像进行透视变换；
上述步骤102，通过可见光摄像头获取可见光图像，可以按照如下方式实施：
通过可见光摄像头获取可见光图像，并根据所述透视变换矩阵对所述可见光图像进行透视变换。
具体实现中，电子设备可以利用可加热棋盘格对红外和可见光相机进行双目标定，标定方法可以为利用张正友标定法对两个相机进行标定获得内外参后，根据对应关系将两个相机的外参矩阵进行转换，以得到透视变换矩阵，再通过红外摄像头获取红外图像，并根据透视变换矩阵对红外图像进行透视变换，以及通过可见光摄像头获取可见光图像，并根据透视变换矩阵对可见光图像进行透视变换，再在此基础上，确定透视变换后的红外图像和可见光图像的显著图。
可以看出，本申请实施例中所描述的图像融合方法，通过红外摄像头获取红外图像，通过可见光摄像头获取可见光图像，红外摄像头与可见光摄像头对应同一拍摄范围，确定红外图像的第一显著图，确定可见光图像的第二显著图，根据第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值，根据第一权值、第二权值对红外图像和可见光图像进行图像融合，得到融合图像，进而，能够通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失，另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性，有助于提升图像质量，以及保证实时性。
与上述图1A所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种图像融合方法的流程示意图，应用于电子设备，本图像融合方法包括：
201、利用可加热棋盘格对红外摄像头和可见光摄像头进行双目标定，得到标定结果。
202、根据所述标定结果确定所述红外摄像头和所述可见光摄像头之间的透视变换矩阵。
203、通过所述红外摄像头获取红外图像，并根据所述透视变换矩阵对所述红外图像进行透视变换。
204、通过所述可见光摄像头获取可见光图像，并根据所述透视变换矩阵对所述可见光图像进行透视变换，所述红外摄像头与所述可见光摄像头对应同一拍摄范围。
205、确定所述红外图像的第一显著图。
206、确定所述可见光图像的第二显著图。
207、根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值。
208、根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
其中，上述步骤201-步骤208的具体描述可以参照上述图1A所描述的图像融合方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的图像融合方法，利用可加热棋盘格对红外摄像头和可见光摄像头进行双目标定，得到标定结果，根据标定结果确定红外摄像头和可见光摄像头之间的透视变换矩阵，通过红外摄像头获取红外图像，并根据透视变换矩阵对红外图像进行透视变换，通过可见光摄像头获取可见光图像，并根据透视变换矩阵对可见光图像进行透视变换，红外摄像头与可见光摄像头对应同一拍摄范围，确定红外图像的第一显著图，确定可见光图像的第二显著图，根据第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值，根据第一权值、第二权值对红外图像和可见光图像进行图像融合，得到融合图像，进而，能够通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失，另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性，有助于提升图像质量，以及保证实时性。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
通过红外摄像头获取红外图像；
通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
确定所述红外图像的第一显著图；
确定所述可见光图像的第二显著图；
根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
可以看出，本申请实施例中所描述的电子设备，通过红外摄像头获取红外图像，通过可见光摄像头获取可见光图像，红外摄像头与可见光摄像头对应同一拍摄范围，确定红外图像的第一显著图，确定可见光图像的第二显著图，根据第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值，根据第一权值、第二权值对红外图像和可见光图像进行图像融合，得到融合图像，进而，能够通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失，另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性，有助于提升图像质量，以及保证实时性。
可选的，在所述确定所述红外图像的第一显著图方面，上述程序包括用于执行以下步骤的指令：
获取所述红外图像的直方图；
根据所述直方图确定所述红外图像的第一显著图。
可选的，在所述确定所述可见光图像的第二显著图方面，上述程序包括用于执行以下步骤的指令：
获取所述可见光图像的颜色通道参数；
根据所述颜色通道参数确定所述可见光图像的红绿颜色分量、蓝黄颜色分量、亮度分量和运动分量；
根据所述红绿颜色分量、所述蓝黄颜色分量、所述亮度分量和所述运动分量，确定所述可见光图像的第一参考表达式；
对所述参考表达式进行简化处理，得到简化表达式；
对所述简化表达式进行四元傅里叶变换，得到频域表达式；
根据所述频域表达式提取目标相位信息，并对所述目标相位信息进行逆傅里叶变换，得到第二参考表达式；
对所述第二参考表达式进行滤波处理，得到所述第二显著图。
可选的，在所述根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值方面，上述程序包括用于执行以下步骤的指令：
按照如下公式确定所述红外图像的第一权值：
其中，W1为所述第一权值，V1为所述第一显著图，V2为所述第二显著图；
按照如下公式确定所述可见光图像的第二权值：
W2＝1-W1
其中，W2为所述第二权值。
可选的，在所述通过红外摄像头获取红外图像之前，上述程序还包括用于执行以下步骤的指令：
利用可加热棋盘格对所述红外摄像头和所述可见光摄像头进行双目标定，得到标定结果；
根据所述标定结果确定所述红外摄像头和所述可见光摄像头之间的透视变换矩阵；
其中，所述通过红外摄像头获取红外图像，包括：
通过红外摄像头获取红外图像，并根据所述透视变换矩阵对所述红外图像进行透视变换；
所述通过可见光摄像头获取可见光图像，包括：
通过可见光摄像头获取可见光图像，并根据所述透视变换矩阵对所述可见光图像进行透视变换。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的图像融合装置400的功能单元组成框图，该装置400，所述装置400包括：获取单元401、确定单元402和图像融合单元403，其中，
所述获取单元401，用于通过红外摄像头获取红外图像；以及通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
所述确定单元402，用于确定所述红外图像的第一显著图；确定所述可见光图像的第二显著图；以及根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
所述图像融合单元403，用于根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像。
可以看出，本申请实施例中所描述的图像融合装置，通过红外摄像头获取红外图像，通过可见光摄像头获取可见光图像，红外摄像头与可见光摄像头对应同一拍摄范围，确定红外图像的第一显著图，确定可见光图像的第二显著图，根据第一显著图和第二显著图确定红外图像的第一权值和可见光图像的第二权值，根据第一权值、第二权值对红外图像和可见光图像进行图像融合，得到融合图像，进而，能够通过对图像进行显著性检测，确定侦查目标在图像中的区域，在融合过程中对区域内的红外和可见光图像融合，降低了红外和可见光图像像素级融合对场景细节的损失，另外，基于视频显著性检测的融合方法不需要分解图像，减少了运算内存的使用和计算时间，在嵌入式平台上可以达到较好的实时性，有助于提升图像质量，以及保证实时性。
可选的，在所述确定所述红外图像的第一显著图方面，所述确定单元402具体用于：
获取所述红外图像的直方图；
根据所述直方图确定所述红外图像的第一显著图。
可选的，在所述确定所述可见光图像的第二显著图方面，所述确定单元402具体用于：
获取所述可见光图像的颜色通道参数；
根据所述颜色通道参数确定所述可见光图像的红绿颜色分量、蓝黄颜色分量、亮度分量和运动分量；
根据所述红绿颜色分量、所述蓝黄颜色分量、所述亮度分量和所述运动分量，确定所述可见光图像的第一参考表达式；
对所述参考表达式进行简化处理，得到简化表达式；
对所述简化表达式进行四元傅里叶变换，得到频域表达式；
根据所述频域表达式提取目标相位信息，并对所述目标相位信息进行逆傅里叶变换，得到第二参考表达式；
对所述第二参考表达式进行滤波处理，得到所述第二显著图。
可选的，在所述根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值方面，所述确定单元402具体用于：
按照如下公式确定所述红外图像的第一权值：
其中，W1为所述第一权值，V1为所述第一显著图，V2为所述第二显著图；
按照如下公式确定所述可见光图像的第二权值：
W2＝1-W1
其中，W2为所述第二权值。
可选的，在所述通过红外摄像头获取红外图像之前，所述装置400还具体用于：
利用可加热棋盘格对所述红外摄像头和所述可见光摄像头进行双目标定，得到标定结果；
根据所述标定结果确定所述红外摄像头和所述可见光摄像头之间的透视变换矩阵；
其中，所述通过红外摄像头获取红外图像，包括：
通过红外摄像头获取红外图像，并根据所述透视变换矩阵对所述红外图像进行透视变换；
所述通过可见光摄像头获取可见光图像，包括：
通过可见光摄像头获取可见光图像，并根据所述透视变换矩阵对所述可见光图像进行透视变换。
可以理解的是，本实施例的图像融合装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像融合方法，其特征在于，所述方法包括：
通过红外摄像头获取红外图像；
通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
确定所述红外图像的第一显著图；
确定所述可见光图像的第二显著图；
根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像；
其中，所述通过红外摄像头获取红外图像，包括：
获取目标环境温度；
按照预设的环境温度与拍摄参数之间的映射关系，确定所述目标环境温度对应的第一拍摄参数；
根据所述第一拍摄参数进行拍摄，得到所述红外图像；
其中，所述获取目标环境温度，包括：
通过所述红外摄像头获取预览图像；
确定所述预览图像的平均灰度值；
按照预设的温度与灰度值之间的映射关系，确定所述平均灰度对应的参考温度；
将所述预览图像划分为多个区域，并确定所述多个区域中每一区域的灰度值，得到多个灰度值；
根据所述多个灰度值进行均方差运算，得到目标均方差；
按照预设的均方差与优化因子之间的映射关系，确定所述目标均方差对应的目标优化因子；
根据所述目标优化因子对所述参考温度进行优化处理，得到所述目标环境温度，具体为：目标环境温度＝(1+目标优化因子)*参考温度。
2.根据权利要求1所述的方法，其特征在于，所述确定所述红外图像的第一显著图，包括：
获取所述红外图像的直方图；
根据所述直方图确定所述红外图像的第一显著图。
3.根据权利要求1所述的方法，其特征在于，所述确定所述可见光图像的第二显著图，包括：
获取所述可见光图像的颜色通道参数；
根据所述颜色通道参数确定所述可见光图像的红绿颜色分量、蓝黄颜色分量、亮度分量和运动分量；
根据所述红绿颜色分量、所述蓝黄颜色分量、所述亮度分量和所述运动分量，确定所述可见光图像的第一参考表达式；
对所述参考表达式进行简化处理，得到简化表达式；
对所述简化表达式进行四元傅里叶变换，得到频域表达式；
根据所述频域表达式提取目标相位信息，并对所述目标相位信息进行逆傅里叶变换，得到第二参考表达式；
对所述第二参考表达式进行滤波处理，得到所述第二显著图。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值，包括：
按照如下公式确定所述红外图像的第一权值：
其中，W1为所述第一权值，V1为所述第一显著图，V2为所述第二显著图；
按照如下公式确定所述可见光图像的第二权值：
W2＝1-W1
其中，W2为所述第二权值。
5.根据权利要求1-3任一项所述的方法，其特征在于，在所述通过红外摄像头获取红外图像之前，所述方法还包括：
利用可加热棋盘格对所述红外摄像头和所述可见光摄像头进行双目标定，得到标定结果；
根据所述标定结果确定所述红外摄像头和所述可见光摄像头之间的透视变换矩阵；
其中，所述通过红外摄像头获取红外图像，包括：
通过红外摄像头获取红外图像，并根据所述透视变换矩阵对所述红外图像进行透视变换；
所述通过可见光摄像头获取可见光图像，包括：
通过可见光摄像头获取可见光图像，并根据所述透视变换矩阵对所述可见光图像进行透视变换。
6.一种图像融合装置，其特征在于，所述装置包括：获取单元、确定单元和图像融合单元，其中，
所述获取单元，用于通过红外摄像头获取红外图像；以及通过可见光摄像头获取可见光图像，所述红外摄像头与所述可见光摄像头对应同一拍摄范围；
所述确定单元，用于确定所述红外图像的第一显著图；确定所述可见光图像的第二显著图；以及根据所述第一显著图和所述第二显著图确定所述红外图像的第一权值和所述可见光图像的第二权值；
所述图像融合单元，用于根据所述第一权值、所述第二权值对所述红外图像和所述可见光图像进行图像融合，得到融合图像；
其中，所述通过红外摄像头获取红外图像，包括：
获取目标环境温度；
按照预设的环境温度与拍摄参数之间的映射关系，确定所述目标环境温度对应的第一拍摄参数；
根据所述第一拍摄参数进行拍摄，得到所述红外图像；
其中，所述获取目标环境温度，包括：
通过所述红外摄像头获取预览图像；
确定所述预览图像的平均灰度值；
按照预设的温度与灰度值之间的映射关系，确定所述平均灰度对应的参考温度；
将所述预览图像划分为多个区域，并确定所述多个区域中每一区域的灰度值，得到多个灰度值；
根据所述多个灰度值进行均方差运算，得到目标均方差；
按照预设的均方差与优化因子之间的映射关系，确定所述目标均方差对应的目标优化因子；
根据所述目标优化因子对所述参考温度进行优化处理，得到所述目标环境温度，具体为：目标环境温度＝(1+目标优化因子)*参考温度。
7.根据权利要求6所述的装置，其特征在于，在所述确定所述红外图像的第一显著图方面，所述确定单元具体用于：
获取所述红外图像的直方图；
根据所述直方图确定所述红外图像的第一显著图。
8.根据权利要求6所述的装置，其特征在于，在所述确定所述可见光图像的第二显著图方面，所述确定单元具体用于：
获取所述可见光图像的颜色通道参数；
根据所述颜色通道参数确定所述可见光图像的红绿颜色分量、蓝黄颜色分量、亮度分量和运动分量；
根据所述红绿颜色分量、所述蓝黄颜色分量、所述亮度分量和所述运动分量，确定所述可见光图像的第一参考表达式；
对所述参考表达式进行简化处理，得到简化表达式；
对所述简化表达式进行四元傅里叶变换，得到频域表达式；
根据所述频域表达式提取目标相位信息，并对所述目标相位信息进行逆傅里叶变换，得到第二参考表达式；
对所述第二参考表达式进行滤波处理，得到所述第二显著图。
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN202110548512.1A 2021-05-19 2021-05-19 图像融合方法、电子设备及相关产品 Active CN113159229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110548512.1A CN113159229B (zh) 2021-05-19 2021-05-19 图像融合方法、电子设备及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110548512.1A CN113159229B (zh) 2021-05-19 2021-05-19 图像融合方法、电子设备及相关产品

Publications (2)

Publication Number Publication Date
CN113159229A CN113159229A (zh) 2021-07-23
CN113159229B true CN113159229B (zh) 2023-11-07

Family

ID=76876727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110548512.1A Active CN113159229B (zh) 2021-05-19 2021-05-19 图像融合方法、电子设备及相关产品

Country Status (1)

Country Link
CN (1) CN113159229B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990044B (zh) * 2021-11-19 2023-07-25 福建钰融科技有限公司 废液运输安全预警方法、安全预警装置及相关产品
CN115311180A (zh) * 2022-07-04 2022-11-08 优利德科技(中国)股份有限公司 基于边缘特征的图像融合方法、装置、用户终端及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700381A (zh) * 2015-03-13 2015-06-10 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法
CN108769550A (zh) * 2018-05-16 2018-11-06 中国人民解放军军事科学院军事医学研究院 一种基于dsp的图像显著分析***及方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法
CN110490914A (zh) * 2019-07-29 2019-11-22 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
CN111062905A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法
WO2020107716A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 目标图像分割方法、装置及设备
CN111652243A (zh) * 2020-04-26 2020-09-11 中国人民解放***箭军工程大学 基于显著性融合的红外与可见光图像融合方法
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112215787A (zh) * 2020-04-30 2021-01-12 温州大学智能锁具研究院 基于显著度分析及自适应滤波器的红外和可见光图像融合方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700381A (zh) * 2015-03-13 2015-06-10 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法
CN108769550A (zh) * 2018-05-16 2018-11-06 中国人民解放军军事科学院军事医学研究院 一种基于dsp的图像显著分析***及方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法
WO2020107716A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 目标图像分割方法、装置及设备
CN110490914A (zh) * 2019-07-29 2019-11-22 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
CN111062905A (zh) * 2019-12-17 2020-04-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法
CN111652243A (zh) * 2020-04-26 2020-09-11 中国人民解放***箭军工程大学 基于显著性融合的红外与可见光图像融合方法
CN112215787A (zh) * 2020-04-30 2021-01-12 温州大学智能锁具研究院 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备

Also Published As

Publication number Publication date
CN113159229A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109376667B (zh) 目标检测方法、装置及电子设备
WO2020113408A1 (zh) 一种图像处理方法、设备、无人机、***及存储介质
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN109474780B (zh) 一种用于图像处理的方法和装置
CN110660088A (zh) 一种图像处理的方法和设备
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113159229B (zh) 图像融合方法、电子设备及相关产品
WO2023134103A1 (zh) 图像融合方法、设备以及存储介质
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN107704798A (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN104412298B (zh) 用于变换图像的方法和设备
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
Choi et al. A method for fast multi-exposure image fusion
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
CN110392211A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106469435B (zh) 图像处理方法、装置及设备
Shah et al. Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood
CN115631140A (zh) 一种基于图像融合的工业机器人图像处理方法
CN108269278B (zh) 一种场景建模的方法及装置
CN111247558A (zh) 一种图像处理方法、设备、无人机、***及存储介质
CN114119370A (zh) 图像处理方法及装置、存储介质、电子装置
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN111835968B (zh) 图像清晰度还原方法及装置、图像拍摄方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant