CN114241276A - 一种弱配准下红外与可见光融合方法及双目成像装置 - Google Patents

一种弱配准下红外与可见光融合方法及双目成像装置 Download PDF

Info

Publication number
CN114241276A
CN114241276A CN202111567804.6A CN202111567804A CN114241276A CN 114241276 A CN114241276 A CN 114241276A CN 202111567804 A CN202111567804 A CN 202111567804A CN 114241276 A CN114241276 A CN 114241276A
Authority
CN
China
Prior art keywords
fusion
infrared
image
feature
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111567804.6A
Other languages
English (en)
Inventor
程良伦
李卓
吴衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111567804.6A priority Critical patent/CN114241276A/zh
Publication of CN114241276A publication Critical patent/CN114241276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种弱配准下红外与可见光融合方法及双目成像装置，所述方法包括：获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法，生成目标图像对；将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器；所述双目成像装置中，可见光相机与红外相机分别捕获可见光图像和红外图像，AI处理器首先对红外图像和可见光图像进行校正和裁剪，然后利用深度学习融合模型进行融合处理，得到融合图像通过终端显示器进行显示。本发明提高成像质量并且准许融合的图像对存在配准偏差，有效突出显著信息，减少视觉伪影，更利于成像***的全天候工作。

Description

一种弱配准下红外与可见光融合方法及双目成像装置
技术领域
本发明涉及图像融合领域，具体涉及一种弱配准下红外与可见光融合方法及双目成像装置。
背景技术
红外和可见光多传感器成像***提供观测区域的补充信息，已广泛应用于医疗、安全、军事等领域，来增强人类的视觉感知、目标检测和目标识别。红外图像是利用热辐射信息成像的，因此可以很容易地将目标与背景区分开来。高分辨率相机拍摄的可见图像包含丰富的高分辨率纹理细节。这两种类型的图像可以融合，从不同方面提供互补的场景信息以提高成像质量。
近年来，红外与可见光融合成像技术被广泛应用，使得多模态传感器的信息利用率得到了提高，成像***的工作时间进一步延长，但仍然存在一些缺点。首先，红外图像的热辐射特性和可见光图像的纹理细节在融合图像中难以平衡，融合图像仅与一个源图像相似，导致信息丢失。其次，在实际应用中，由于红外和可见光图像的分辨率不同，以及两台相机的视角和对准方式不同，因此需要对可见光和红外图像进行配准。然而，大多数融合方法其性能取决于配准精度。因此，基于红外与可见光成像***的弱配准图像融合方法在图像信息融合领域显得格外重要，开发在图像有配准偏差的情况仍能保持良好图像融合性能的算法非常有助于信息融合技术的应用与发展。
发明内容
本发明的目的是提供一种弱配准下红外与可见光融合方法及双目成像装置，用以提高成像质量并且准许融合的图像对存在配准偏差，有效突出显著信息，减少视觉伪影，更利于成像***的全天候工作。
为了实现上述任务，本发明采用以下技术方案：
一种弱配准下红外与可见光融合方法，包括：
获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法对红外图像与可见光图像对进行校正和裁剪，生成目标图像对；
将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器，其中：
所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，得到图像显著特征对；
所述编码器的输入为目标图像对、图像显著特征对；目标图像对、图像显著特征对首先分别进行浅层特征提取后，再进行深层特征提取，生成红外深层特征图和可见光深层特征图、红外显著特征图和可见光显著图特征图；
融合模块包括四个融合层，每个融合层均使用l1-范数和基于块的平均运算符来融合特征映射；融合模模块的第一个融合层首先融合由编码器传入的红外深层特征图和可见光深层特征图生成融合特征f0，第二、三个融合层将f0分别与红外显著特征图和可见光显著特征图进行融合，以分别生成对应特征图f1和f2；特征图对(f1,f2)经过第四个融合层生成融合特征图f3；
解码器用于对所述的融合特征图f3进行重建，得到最终的融合图像。
进一步地，所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，包括：
显著特征提取模块基于目标图像对
Figure BDA0003422453330000021
计算图像显著特征对
Figure BDA0003422453330000022
其数学模型如下：
Figure BDA0003422453330000023
进一步地，所述编码器为一个双层网络结构，目标图像对
Figure BDA0003422453330000024
以及显著图像特征对
Figure BDA0003422453330000025
以图像张量格式被输入到编码器中，首先经过一个3×3卷积层完成浅层特征提取，分别得到第一特征图对
Figure BDA0003422453330000026
与第一显著特征图对
Figure BDA0003422453330000027
编码器的上下两层网络分别基于第一特征图对和第一显著特征图对提取红外图像的深度特征、可见光图像的深度特征。
进一步地，所述上层网络从左到右包括4层3×3卷积层和线性整流层ReLU的连续堆叠和跳转连接，最后还有1层3×3卷积层用于提取特征和重组信道；在上层网络中，特征图
Figure BDA0003422453330000031
和
Figure BDA0003422453330000032
被传入上层网络进行深度特征提取，生成红外深层特征图
Figure BDA0003422453330000033
和红外显著特征图
Figure BDA0003422453330000034
其中连续堆叠和跳转连接是指，每一个3×3卷积层和一个线性整流层ReLU构成一个特征提取单元，共4个特征提取单元；第一个特征提取单元的输入是特征图
Figure BDA0003422453330000035
和
Figure BDA0003422453330000036
第二个特征提取单元的输入是第一个特征提取单元的输出以及特征图
Figure BDA0003422453330000037
和
Figure BDA0003422453330000038
第三个特征提取单元的输入是第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure BDA0003422453330000039
和
Figure BDA00034224533300000310
第四个特征提取单元的输入是第三个特征提取单元的输出、第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure BDA00034224533300000311
和
Figure BDA00034224533300000312
从而构成连续堆叠和跳转连接。
进一步地，所述下层网络从左到右包括3层3×3卷积层和层线性整流层ReLU构成的特征提取单元，以及1层3×3卷积层；下层网络中，特征图
Figure BDA00034224533300000313
和
Figure BDA00034224533300000314
经过3层特征提取单元处理后，被传入1层3×3卷积层重新调整通道，生成可见光深层特征图
Figure BDA00034224533300000315
和可见光显著特征图
Figure BDA00034224533300000316
进一步地，融合层对传入的特征图对中的每个特征图分别进行处理，生成带有权重的特征映射对，之后通过特征映射对彼此叠加生成一个融合特征映射；
其中，特征映射表示为
Figure BDA00034224533300000317
为特征映射的通道数,i＝(1,2,…,k)表示特征映射的索引；特征映射的活动水平度量可通过
Figure BDA00034224533300000318
的l1-范数计算来表示，初始活动水平映射Ai(x,y)的数学模型如下所示：
Ai(x,y)＝||fi 1:M(x,y)||1
其中，(x,y)表示活动水平图中的坐标，fi 1:M(x,y)为一个M维的向量，表示在特征映射fi m中(x,y)位置处的内容，Ai(x,y)是初始活动水平图，||·||1表示l1-范数计算；
利用基于块的平均运算符对初始活动水平图Ai(x,y)处理，得到最终活动水平图
Figure BDA0003422453330000041
其数学模型可以表示为：
Figure BDA0003422453330000042
其中，r为操作因子尺寸；利用最终活动水平图
Figure BDA0003422453330000043
计算特征图权重wi(x,y)：
Figure BDA0003422453330000044
其中，wi(x,y)表示对应特征图(x,y)处的权重；
利用特征图权重wi(x,y)与对应特征映射
Figure BDA0003422453330000045
相乘来得到融合图像特征图
Figure BDA0003422453330000046
其表达式如下：
Figure BDA0003422453330000047
进一步地，所述的解码器由四个依次连接的短连接层组成，每个短连接层包括3×3卷积层和线性整流层ReLU；在最后一个短连接层后设置1层3×3卷积层用于重建融合图像。
一种双目成像装置，包括可见光相机，红外相机，终端显示器和AI处理器，其中：
可见光相机与红外相机分别捕获可见光图像和红外图像，AI处理器中装载有前述的深度学习融合模型；AI处理器首先对红外图像和可见光图像进行校正和裁剪，然后利用深度学习融合模型进行融合处理，得到融合图像If通过终端显示器进行显示。
一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现所述弱配准下红外与可见光融合方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现所述弱配准下红外与可见光融合方法的步骤。
与现有技术相比，本发明具有以下技术特点：
本发明通过实时采集红外与可见光图像，对采集到的目标图像对进行弱配准以及融合成像；在本方案中，网络结构被设计为双层结构提取红外和可见图像的深度特征映射；利用显著特征和多重融合策略结合以生成更加丰富的融合特征图；本方案的融合网络降低了融合算法对图像配准精度的要求。相比现有技术，本方案考虑了融合算法对图像配准的容错性，有效避免了因图像未配准造成融合图像出现伪影。本发明非常有利于红外与可见光融合及深度学习技术的应用研究，其有望在医学成像和夜间监测等领域得到广泛应用。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法的深度学习融合模型示意图。
图3为本发明方法的显著特征提取模块示意图。
图4为本发明方法的网络编码器示意图。
图5为本发明方法的融合块架构示意图。
图6为本发明方法的融合策略示意图。
图7为本发明方法的网络解码器示意图。
具体实施方式
针对红外与可见光融合技术中，针对红外与可见光配准精度制约融合图像质量的问题，本发明提供了一种红外与可见光弱配准深度学习融合方法及双目成像装置。该成像装置同时捕获红外与可见光图像，并对采集图像实施弱配准，最终实现图像融合成像。
参见附图，本发明的一种弱配准下红外与可见光融合方法，包括以下步骤：
S1，获取针对同一目标的大小为nch×hvis×wvis的可见光图像与大小为nch×hir×vir的红外图像，采用图像弱配准方法对红外图像与可见光图像对进行校正和裁剪，以保持相同分辨率，生成大小nch×h×w为目标图像对
Figure BDA0003422453330000051
其中
Figure BDA0003422453330000052
为红外图像，
Figure BDA0003422453330000053
为可见光图像，nch为信道，h为高度，w为宽度。
其中，图像弱配准方法例如可采用文献J.Han,E.J.Pauwels,and P.De Zeeuw,"Visible and infrared image registration in man-made environments employinghybrid visual features,"Pattern Recogn.Lett.34(1),42-51(2013).中的方法。
S2，将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像F′；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器，具体说明如下：
1.显著特征提取模块
显著特征提取模块基于所述目标图像对
Figure BDA0003422453330000061
计算图像显著特征对
Figure BDA0003422453330000062
其数学模型如下：
Figure BDA0003422453330000063
Figure BDA0003422453330000064
如图3所示，为本方案提供的显著特征提取模块，用于提取图像显著特征对，其中
Figure BDA0003422453330000065
包含红外图像中相对于可见光图像较为明显的特征，
Figure BDA0003422453330000066
包含可见光图像中相对于红外图像较为明显的特征。
其中，图像显著特征对
Figure BDA0003422453330000067
将被传入编码器中进行特征提取以生成红外显著特征图
Figure BDA0003422453330000068
和可见光显著特征图
Figure BDA0003422453330000069
同时，目标图像对
Figure BDA00034224533300000610
也传入编码器中进行特征提取，分别生成红外深层特征图
Figure BDA00034224533300000611
和可见光深层特征图
Figure BDA00034224533300000612
2.编码器
本方案提供了一种编码器结构用于提取图像深度特征图，如图4所示，编码器被设计为一个双层网络结构，上下两层网络分别用于提取红外图像的深度特征、可见光图像的深度特征，使模型在融合过程中更好的平衡红外与可见光图像信息。
目标图像对
Figure BDA00034224533300000613
以及显著图像特征对
Figure BDA00034224533300000614
以图像张量格式被输入到编码器中，首先经过一个3×3卷积层完成浅层特征提取，分别得到第一特征图对
Figure BDA00034224533300000615
与第一显著特征图对
Figure BDA00034224533300000616
第一红外特征图
Figure BDA00034224533300000617
与第一红外显著征图
Figure BDA00034224533300000618
被传入双层网络中的上层网络，第一可见光特征图
Figure BDA00034224533300000619
和第一可见光显著特征图
Figure BDA00034224533300000620
被传入下层网络。显著图像特征对
Figure BDA00034224533300000621
的输入使得模型在提取图像特征时，更多关注图像中丰富的细节特征，忽略相对弱的图像特征以减少融合图像伪影，降低融合方法对配准精度的要求。
上层网络从左到右包括4层3×3卷积层和线性整流层ReLU的连续堆叠和跳转连接，最后还有1层3×3卷积层用于提取特征和重组信道；在上层网络中，特征图
Figure BDA0003422453330000071
和
Figure BDA0003422453330000072
被传入上层网络进行深度特征提取，生成红外深层特征图
Figure BDA0003422453330000073
和红外显著特征图
Figure BDA0003422453330000074
其中连续堆叠和跳转连接是指，每一个3×3卷积层和一个线性整流层ReLU构成一个特征提取单元，共4个特征提取单元；第一个特征提取单元的输入是特征图
Figure BDA0003422453330000075
和
Figure BDA0003422453330000076
第二个特征提取单元的输入是第一个特征提取单元的输出以及特征图
Figure BDA0003422453330000077
和
Figure BDA0003422453330000078
第三个特征提取单元的输入是第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure BDA0003422453330000079
和
Figure BDA00034224533300000710
第四个特征提取单元的输入是第三个特征提取单元的输出、第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure BDA00034224533300000711
和
Figure BDA00034224533300000712
从而构成连续堆叠和跳转连接。
下层网络从左到右包括3层3×3卷积层和层线性整流层ReLU构成的特征提取单元，以及1层3×3卷积层；下层网络中，特征图
Figure BDA00034224533300000713
和
Figure BDA00034224533300000714
经过3层特征提取单元处理后，被传入1层3×3卷积层重新调整通道，生成可见光深层特征图
Figure BDA00034224533300000715
和可见光显著特征图
Figure BDA00034224533300000716
3.融合模块
本实施中提供的融合模块包含四个融合层，如图5所示；每个融合层均使用l1-范数和基于块的平均运算符来融合特征映射。
本方案中，融合模模块的第一个融合层首先融合由编码器传入的红外深层特征图和可见光深层特征图
Figure BDA00034224533300000717
生成融合特征f0，第二、三个融合层将f0分别与红外显著特征图
Figure BDA00034224533300000718
和可见光显著特征图
Figure BDA00034224533300000719
进行融合，以分别生成对应特征图f1和f2；特征图对(f1,f2)经过第四个融合层生成融合特征图f3。多重融合策略利用显著特征来平衡红外热辐射特性与可见光细节纹理，使融合特征图拥有更加丰富的特征。
图6展示了每个融合层中的融合策略，融合层对传入的特征图对中的每个特征图分别进行处理，生成带有权重的特征映射对，之后通过特征映射对彼此叠加生成一个融合特征映射。
其中，特征映射表示为
Figure BDA0003422453330000081
为特征映射的通道数,i＝(1,2,…,k)表示特征映射的索引；本实施例中，k＝2，M＝64。特征映射的活动水平度量可通过fi 1:M(x,y)的l1-范数计算来表示，初始活动水平映射Ai(x,y)的数学模型如下所示：
Ai(x,y)＝||fi 1:M(x,y)||1
其中，(x,y)表示活动水平图中的坐标，fi 1:M(x,y)为一个M维的向量，表示在特征映射fi m中(x,y)位置处的内容，Ai(x,y)是初始活动水平图，||·||1表示l1-范数计算；本方案利用基于块的平均运算符对初始活动水平图Ai(x,y)处理，得到最终活动水平图
Figure BDA0003422453330000082
其数学模型可以表示为：
Figure BDA0003422453330000083
其中，r为操作因子尺寸；本实施例中r的取值为1。利用最终活动水平图
Figure BDA0003422453330000084
特征图权重wi(x,y)可以被计算：
Figure BDA0003422453330000085
其中，wi(x,y)表示对应特征图(x,y)处的权重；本方案利用特征图权重wi(x,y)与对应特征映射fi m相乘来得到融合图像特征图
Figure BDA0003422453330000086
其表达式如下：
Figure BDA0003422453330000087
经过融合模块处理生成的融合特征图f3将作为解码器的输入，通过解码器来重建出融合图像。
4.解码器
解码器由四个依次连接的短连接层组成，如图7所示，每个短连接层包括3×3卷积层和线性整流层ReLU；在最后一个短连接层后设置1层3×3卷积层用于重建融合图像。
在本方案中，融合特征图f3传入解码器后，经过一系列卷积层和线性整流层以调整通道，最终被输入到一层3×3卷积层完成融合图像重建得到融合图像F′。
5.深度学习融合模型的训练
在本方案模型训练阶段，显著特征提取模块与融合模块被移出网络，以训练一个自编码网络模型；网络中编码器能够提取多尺度的深层特征，解码器能够根据深层特征重构输入图像。在训练过程中，训练数据集为高清图像数据集，采用Adam函数对损失函数L(Θ)进行优化，损失函数定义为：
L(Θ)＝Lpixel+λLssim
上式中λ为Lssim在损失函数中所占权重，Lpixel为像素损失函数，可表示如下：
Lpixel(o,i)＝||o-i||2
其中i为模型输入的红外图像、可见光图像，o是输入图像i经模型重建后的图像；Lssim为对图像相似度的代价函数，其定义为：
Lssim(o,i)＝1-SSIM(o,i)
其中SSIM(·)为图像相似度函数，数学表达式为：
Figure BDA0003422453330000091
在上式中，μx，μy，σx，σy，和σxy分别是图像x的均值，图像y的均值，图像x的方差，图像y的方差，和图像x和y的协方差。C1，C2和C3均为常数，来避免分母为0带来的***错误。C1＝(K1×L)2，C1＝(K1×L)2，C3＝C2/2，其中K1和K2为常数，L为图像中每个像素的位数；本发明一个实施例中，K1＝0.01，K2＝0.03，L＝255。代价函数要求拟合Θ为深度学习网络参数，λ为相似度代价函数权重控制参数；经过N次训练后，可以得到优化参数Θ′。
在上述技术方案的基础上，本发明进一步提供了一种双目成像装置，包括可见光相机(分辨率530×354)，红外相机(分辨率320×240)，终端显示器和AI处理器，其中：
可见光相机与红外相机分别捕获可见光(450～620nm)图像和红外(8～12μm)图像，AI处理器中装载有前述的深度学习融合模型；AI处理器首先对红外图像和可见光图像进行校正和裁剪，以保持相同的分辨率，然后利用深度学习融合模型进行融合处理，得到融合图像If通过终端显示器进行显示。
本申请实施例进一步提供一种终端设备，该终端设备可以为计算机、服务器；包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述弱配准下红外与可见光融合方法的步骤，例如，前述的S1至S2。
计算机程序也可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本申请的实施提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述弱配准下红外与可见光融合方法的步骤，例如，前述的S1至S2。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种弱配准下红外与可见光融合方法，其特征在于，包括：
获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法对红外图像与可见光图像对进行校正和裁剪，生成目标图像对；
将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器，其中：
所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，得到图像显著特征对；
所述编码器的输入为目标图像对、图像显著特征对；目标图像对、图像显著特征对首先分别进行浅层特征提取后，再进行深层特征提取，生成红外深层特征图和可见光深层特征图、红外显著特征图和可见光显著图特征图；
融合模块包括四个融合层，每个融合层均使用l1-范数和基于块的平均运算符来融合特征映射；融合模模块的第一个融合层首先融合由编码器传入的红外深层特征图和可见光深层特征图生成融合特征f0，第二、三个融合层将f0分别与红外显著特征图和可见光显著特征图进行融合，以分别生成对应特征图f1和f2；特征图对(f1,f2)经过第四个融合层生成融合特征图f3；
解码器用于对所述的融合特征图f3进行重建，得到最终的融合图像。
2.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，包括：
显著特征提取模块基于目标图像对
Figure FDA0003422453320000011
计算图像显著特征对
Figure FDA0003422453320000012
其数学模型如下：
Figure FDA0003422453320000013
3.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，所述编码器为一个双层网络结构，目标图像对
Figure FDA0003422453320000014
以及显著图像特征对
Figure FDA0003422453320000015
以图像张量格式被输入到编码器中，首先经过一个3×3卷积层完成浅层特征提取，分别得到第一特征图对
Figure FDA0003422453320000021
与第一显著特征图对
Figure FDA0003422453320000022
编码器的上下两层网络分别基于第一特征图对和第一显著特征图对提取红外图像的深度特征、可见光图像的深度特征。
4.根据权利要求3所述的弱配准下红外与可见光融合方法，其特征在于，所述上层网络从左到右包括4层3×3卷积层和线性整流层ReLU的连续堆叠和跳转连接，最后还有1层3×3卷积层用于提取特征和重组信道；在上层网络中，特征图
Figure FDA0003422453320000023
和
Figure FDA0003422453320000024
被传入上层网络进行深度特征提取，生成红外深层特征图
Figure FDA0003422453320000025
和红外显著特征图
Figure FDA0003422453320000026
其中连续堆叠和跳转连接是指，每一个3×3卷积层和一个线性整流层ReLU构成一个特征提取单元，共4个特征提取单元；第一个特征提取单元的输入是特征图
Figure FDA0003422453320000027
和
Figure FDA0003422453320000028
第二个特征提取单元的输入是第一个特征提取单元的输出以及特征图
Figure FDA0003422453320000029
和
Figure FDA00034224533200000210
第三个特征提取单元的输入是第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure FDA00034224533200000211
和
Figure FDA00034224533200000212
第四个特征提取单元的输入是第三个特征提取单元的输出、第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图
Figure FDA00034224533200000213
和
Figure FDA00034224533200000214
从而构成连续堆叠和跳转连接。
5.根据权利要求3所述的弱配准下红外与可见光融合方法，其特征在于，所述下层网络从左到右包括3层3×3卷积层和层线性整流层ReLU构成的特征提取单元，以及1层3×3卷积层；下层网络中，特征图
Figure FDA00034224533200000215
和
Figure FDA00034224533200000216
经过3层特征提取单元处理后，被传入1层3×3卷积层重新调整通道，生成可见光深层特征图
Figure FDA00034224533200000217
和可见光显著特征图
Figure FDA00034224533200000218
6.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，融合层对传入的特征图对中的每个特征图分别进行处理，生成带有权重的特征映射对，之后通过特征映射对彼此叠加生成一个融合特征映射；
其中，特征映射表示为fi m，m∈{1,2,…,M}为特征映射的通道数,i＝(1,2,…,k)表示特征映射的索引；特征映射的活动水平度量可通过fi 1:M(x,y)的l1-范数计算来表示，初始活动水平映射Ai(x,y)的数学模型如下所示：
Ai(x,y)＝||fi 1:M(x,y)||1
其中，(x,y)表示活动水平图中的坐标，fi 1:M(x,y)为一个M维的向量，表示在特征映射fi m中(x,y)位置处的内容，Ai(x,y)是初始活动水平图，||·||1表示l1-范数计算；
利用基于块的平均运算符对初始活动水平图Ai(x,y)处理，得到最终活动水平图
Figure FDA0003422453320000031
其数学模型可以表示为：
Figure FDA0003422453320000032
其中，r为操作因子尺寸；利用最终活动水平图
Figure FDA0003422453320000033
计算特征图权重wi(x,y)：
Figure FDA0003422453320000034
其中，wi(x,y)表示对应特征图(x,y)处的权重；
利用特征图权重wi(x,y)与对应特征映射fi m相乘来得到融合图像特征图
Figure FDA0003422453320000035
其表达式如下：
Figure FDA0003422453320000036
7.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，所述解码器由四个依次连接的短连接层组成，每个短连接层包括3×3卷积层和线性整流层ReLU；在最后一个短连接层后设置1层3×3卷积层用于重建融合图像。
8.一种双目成像装置，其特征在于，包括可见光相机，红外相机，终端显示器和AI处理器，其中：
可见光相机与红外相机分别捕获可见光图像和红外图像，AI处理器中装载有前述的深度学习融合模型；AI处理器首先对红外图像和可见光图像进行校正和裁剪，然后利用深度学习融合模型进行融合处理，得到融合图像If通过终端显示器进行显示。
9.一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现根据权利要求1至7中任一权利要求所述弱配准下红外与可见光融合方法的步骤。
10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据权利要求1至7中任一权利要求所述弱配准下红外与可见光融合方法的步骤。
CN202111567804.6A 2021-12-21 2021-12-21 一种弱配准下红外与可见光融合方法及双目成像装置 Pending CN114241276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111567804.6A CN114241276A (zh) 2021-12-21 2021-12-21 一种弱配准下红外与可见光融合方法及双目成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111567804.6A CN114241276A (zh) 2021-12-21 2021-12-21 一种弱配准下红外与可见光融合方法及双目成像装置

Publications (1)

Publication Number Publication Date
CN114241276A true CN114241276A (zh) 2022-03-25

Family

ID=80759914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111567804.6A Pending CN114241276A (zh) 2021-12-21 2021-12-21 一种弱配准下红外与可见光融合方法及双目成像装置

Country Status (1)

Country Link
CN (1) CN114241276A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541629A (zh) * 2023-06-25 2024-02-09 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541629A (zh) * 2023-06-25 2024-02-09 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN117541629B (zh) * 2023-06-25 2024-06-11 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法

Similar Documents

Publication Publication Date Title
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
CN112201078B (zh) 一种基于图神经网络的自动泊车停车位检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
Xu et al. Multi-focus image fusion using fully convolutional two-stream network for visual sensors
US9183634B2 (en) Image processing apparatus and image processing method
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110415207A (zh) 一种基于图像失真类型的图像质量评估的方法
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及***
CN114529593A (zh) 红外与可见光图像配准方法、***、设备、图像处理终端
KR20230036343A (ko) 고화질 영상 융합 장치
CN117392496A (zh) 基于红外与可见光图像融合的目标检测方法及***
CN113487530B (zh) 一种基于深度学习的红外与可见光融合成像方法
CN114241276A (zh) 一种弱配准下红外与可见光融合方法及双目成像装置
Bermejo et al. FacialSCDnet: a deep learning approach for the estimation of subject-to-camera distance in facial photographs
CN111023994B (zh) 一种基于多重测量的光栅三维扫描方法及***
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN117422858A (zh) 一种双光图像目标检测方法、***、设备和介质
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN116823983A (zh) 基于风格收集机制的一对多风格书法图片生成方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Babu V et al. A deeper insight into the undemon: Unsupervised deep network for depth and ego-motion estimation
CN115496819A (zh) 一种基于能量集中特性的快速编码光谱成像方法
KR102580281B1 (ko) 관련 대상 검출 방법 및 장치
CN112418399B (zh) 训练姿态估计模型的方法、装置、姿态估计的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination