CN116823686A - 一种基于图像增强的夜间红外与可见光图像融合方法 - Google Patents

一种基于图像增强的夜间红外与可见光图像融合方法 Download PDF

Info

Publication number
CN116823686A
CN116823686A CN202310474220.7A CN202310474220A CN116823686A CN 116823686 A CN116823686 A CN 116823686A CN 202310474220 A CN202310474220 A CN 202310474220A CN 116823686 A CN116823686 A CN 116823686A
Authority
CN
China
Prior art keywords
image
network
fusion
visible light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310474220.7A
Other languages
English (en)
Other versions
CN116823686B (zh
Inventor
詹伟达
王佳乐
唐雁峰
郝子强
于永吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Research Institute Of Changchun University Of Technology
Original Assignee
Chongqing Research Institute Of Changchun University Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Research Institute Of Changchun University Of Technology filed Critical Chongqing Research Institute Of Changchun University Of Technology
Priority to CN202310474220.7A priority Critical patent/CN116823686B/zh
Publication of CN116823686A publication Critical patent/CN116823686A/zh
Application granted granted Critical
Publication of CN116823686B publication Critical patent/CN116823686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理及机器视觉技术领域，尤其为一种基于图像增强的夜间红外与可见光图像融合方法，该方法具体包括如下步骤：步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集。本发明，设计无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题，设计增强边缘损失函数、照度均匀损失函数和颜色平衡损失函数，提高融合图像的对比度，增强目标的边缘信息，提升图像的视觉效果，在融合网络中采用多尺度的特征提取部分，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。

Description

一种基于图像增强的夜间红外与可见光图像融合方法
技术领域
本发明涉及图像处理及机器视觉技术领域，具体为一种基于图像增强的夜间红外与可见光图像融合方法。
背景技术
图像融合将同一场景的多模态图像进行整合，生成信息更丰富、细节更清晰的融合图像。在夜晚场景中，不均匀的灯光导致可见光图像照度不均匀；此外，不均匀的灯光还会导致可见光图像出现颜色失真的问题；得益于红外图像特殊的获取原理，其不受灯光变化、恶劣天气的影响，可以突出显著性目标；因此，红外与可见光图像融合是图像融合领域中不可或缺的一部分，融合结果可以应用于目标识别、安防监控、目标跟踪等领域；然而，现有的针对夜间场景下的图像融合的方法存在以下问题：源图像不进行预处理直接进行融合，使得融合图像存在对比度低、照度不均匀、颜色失真和目标边缘模糊等问题。
中国专利公开号为“CN107481214A”，名称为“一种微光图像与红外图像融合方法”；该方法针对同一场景采集微光图像和红外图像，接下来对采集来的源图像进行去噪声处理；利用基于边缘特征的图像配准方法将去噪声后的微光与红外图像进行有效配准；对配准后的源图像做双树复小波变换，得到低频和高频系数，并对系数组进行滤波处理；对滤波后的低频和高频系数组分别进行融合；对融合后的低频和高频系数组做双树复小波变换，即可得到融合图像；该方法得到的融合图像存在对比度低、照明不均匀、颜色失真和目标边缘模糊的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于图像增强的夜间红外与可见光图像融合方法，解决现有方法得到的融合图像存在对比度低、背景照明不均匀、颜色失真和目标边缘模糊等问题。
(二)技术方案
本发明为了实现上述目的具体采用以下技术方案：一种基于图像增强的夜间红外与可见光图像融合方法，该方法具体包括如下步骤：
步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集；
步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；
步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；
步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；
步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。
进一步地，所述步骤1中的数据集使用夜间道路场景数据集MRSR，其中图像预处理包括图像配准和尺寸裁剪，处理好的图像组成训练数据集。
进一步地，所述步骤2中增强网络的红外编码器和可见光编码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；红外解码器和可见光解码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；融合网络中的红外特征提取部分和可见光特征提取部分组成结构相同，包括四个不同尺度的卷积层一、卷积层二、卷积层三和卷积层四，四个单层卷积层后分别连接全局注意力模块一、全局注意力模块二、全局注意力模块三和全局注意力模块四；其中，全局注意力模块由卷积层、全连接层、归一化指数函数、S函数、矩阵乘法操作和对应元素乘法操作；融合网络中的图像重建部分由卷积层一、卷积层二、卷积层三和激活函数组成；其中，所有卷积层的卷积核大小为n×n，激活函数使用线性整流函数。
进一步地，所述步骤3中的增强损失函数包括边缘增强损失函数、照度均匀损失函数和颜色平衡损失函数；融合损失函数包括最大像素选择损失函数和最大梯度选择损失函数。
进一步地，所述步骤4中在第一阶段网络训练时，增强网络输入红外与可见光源图像，网络输出红外与可见光增强图像，训练结束后保存网络参数；第二阶段训练时，红外与可见光编码器直接调用第一阶段训练保存的网络参数，融合网络输入红外与可见光增强图像，输出融合图像。
(三)有益效果
与现有技术相比，本发明提供了一种基于图像增强的夜间红外与可见光图像融合方法，具备以下有益效果：
本发明，设计无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题。
本发明，设计增强边缘损失函数、照度均匀损失函数和颜色平衡损失函数，提高融合图像的对比度，增强目标的边缘信息，提升图像的视觉效果。
本发明，在融合网络中采用多尺度的特征提取部分，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。
本发明，特征提取部分中采用全局注意力模块，在捕获全局上下文信息后为重要通道分配更高权重，使图像中的显著性目标更加突出。
附图说明
图1为本发明一种基于图像增强的红外与可见光图像融合方法流程图；
图2为本发明增强网络的网路结构图；
图3为本发明增强网络中编码器的网络结构图；
图4为本发明增强网络中解码器的网络结构图；
图5为本发明融合网络的网络结构图；
图6为本发明融合网络中特征提取部分的网络结构图；
图7为本发明特征提取部分中全局注意力模块的网络结构图；
图8为本发明融合网络中图像重建部分的网络结构图；
图9为现有技术和本发明提出方法的相关指标对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-9所示，本发明一个实施例提出的一种基于图像增强的红外与可见光图像融合方法，该方法具体包括如下步骤：
步骤1，准备训练数据：选取夜间道路场景红外与可见光MRSR数据集，对源图像进行图像配准和尺寸裁剪预处理，处理好的图像组成训练数据集。
步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；红外编码器和可见光编码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；红外解码器和可见光解码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；融合网络中的红外特征提取部分和可见光特征提取部分组成结构相同，包括四个不同尺度的卷积层一、卷积层二、卷积层三和卷积层四，四个单层卷积层后分别连接全局注意力模块一、全局注意力模块二、全局注意力模块三和全局注意力模块四；其中，全局注意力模块由卷积层、全连接层、归一化指数函数、S函数、矩阵乘法操作和对应元素乘法操作；融合网络中的图像重建部分由卷积层一、卷积层二、卷积层三和激活函数组成；其中，所有卷积层的卷积核大小为n×n，激活函数使用线性整流函数。
步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；增强损失函数包括边缘增强损失函数、照度均匀损失函数和颜色平衡损失函数；融合损失函数包括最大像素选择损失函数和最大梯度选择损失函数。
步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；在第一阶段网络训练时，增强网络输入红外与可见光源图像，网络输出红外与可见光增强图像，训练结束后保存网络参数；第二阶段训练时，红外与可见光编码器直接调用第一阶段训练保存的网络参数，融合网络输入红外与可见光增强图像，输出融合图像。
步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。
实施例2
如图1所示，一种基于图像增强的红外与可见光图像融合方法，该方法具体包括如下步骤：
步骤1，准备训练数据。数据集使用夜间道路场景数据集MSRS。数据集内包含240组红外与可见光源图像，将每张源图像进行配准预处理；将图像裁剪成大小为224×224的子图像。
步骤2，构建网络模型：网络模型包括增强网络和融合网络；无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题。
如图2所示，增强网络包括编码器和解码器；红外编码器和可见光编码器的组成结构相同，如图3所示，编码器由卷积层一、卷积层二、卷积层三和激活函数组成，其中所有卷积核的大小均为3×3；红外解码器和可见光解码器的组成结构相同，如图4所示，解码器由卷积层一、卷积层二、卷积层三和激活函数组成，其中所有卷积核的大小均为3×3，激活函数为线性整流函数。
如图5所示，融合网络由编码器、特征提取部分和图像重建部分组成；其中，所述的编码器即为第一阶段增强网络训练完成后的编码器；如图6所示，红外特征提取部分和可见光特征提取部分组成结构相同，包括四个不同尺度的卷积层一、卷积层二、卷积层三和卷积层四，四个卷积层的卷积核大小分别是1×1、3×3、5×5和7×7，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。
四个单层卷积层后分别连接全局注意力模块一、全局注意力模块二、全局注意力模块三和全局注意力模块四；如图7所示，全局注意力模块由卷积层、全连接层、归一化指数函数、S函数、矩阵乘法操作和对应元素乘法操作；采用全局注意力模块在捕获全局上下文信息后为重要通道分配更高权重，使图像中的显著性目标更加突出。
如图8所示，图像重建部分由卷积层一、卷积层二、卷积层三和激活函数组成，其中所有卷积核的大小均为3×3；所有激活函数层均使用线性整流函数。
步骤3，设计损失函数：增强损失函数包括边缘增强损失函数、照度均匀损失函数和颜色平衡损失函数；边缘增强损失函数计算公式如下：
其中，H和W分别表示图像的高度与宽度，和Iir分别增强红外图像和红外源图像，||·||1表示1-范数；C为Canny边缘检测算子得到的目标边缘，Canny边缘检测算子首先对图像进行灰度化，再对图像进行高斯滤波，计算梯度幅值和梯度方向角，根据梯度方向角对梯度幅值进行非最大值抑制，最后用双阈值算法检测和连接边缘。
照度均匀损失函数计算公式如下：
其中，M表示大小为16×16的非重叠局部区域的数量；表示增强可见光图像中局部区域的平均强度值；E是RGB颜色空间的灰度级，令E＝0.6。
颜色平衡损失函数计算公式如下：
其中，Jp表示通道p中增强可见光图像的平均强度，ε表示一对通道。
增强网络的总损失函数定义为：L1＝Ledge+Lillu+Lcolor；增强损失函数约束网络生成的融合图像对比度高，目标边缘更加清晰，图像视觉效果更好。
融合损失函数包括最大像素选择损失函数和最大梯度选择损失函数；最大像素选择损失函数计算公式如下：
其中，If，分别表示融合图像、增强红外与增强可见光图像的像素强度值；max(·)表示元素最大选择操作。
最大像素选择损失函数计算公式如下：
其中，分别表示融合图像、增强红外与增强可见光图像的像素梯度值；max(·)表示元素最大选择操作。
图像融合网络的总损失函数定义为：L2＝Lpixel+Lgrad；
步骤4，训练网络模型：先训练增强网络，再训练融合网络；两个阶段的训练迭代次数设置为100，学习率设置为10-4，损失函数阈值设定为0.0002；在网络训练过程中最小化损失函数的值，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数。
步骤5，确定融合模型：融合网络模型训练完成后，固定网络模型参数，确定该网络模型为最终融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入到融合网络中，即可得到最终的融合图像。
其中，卷积、激活函数、归一化指数函数、S函数、线性整流函数、矩阵乘法操作和对应元素乘法等实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或技术文献中查阅。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：该方法具体包括如下步骤：
步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集；
步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；
步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；
步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；
步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。
2.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤1中的数据集使用夜间道路场景数据集MRSR，其中图像预处理包括图像配准和尺寸裁剪，处理好的图像组成训练数据集。
3.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤2中增强网络的红外编码器和可见光编码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；红外解码器和可见光解码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；融合网络中的红外特征提取部分和可见光特征提取部分组成结构相同，包括四个不同尺度的卷积层一、卷积层二、卷积层三和卷积层四，四个单层卷积层后分别连接全局注意力模块一、全局注意力模块二、全局注意力模块三和全局注意力模块四；其中，全局注意力模块由卷积层、全连接层、归一化指数函数、S函数、矩阵乘法操作和对应元素乘法操作；融合网络中的图像重建部分由卷积层一、卷积层二、卷积层三和激活函数组成；其中，所有卷积层的卷积核大小为n×n，激活函数使用线性整流函数。
4.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤3中的增强损失函数包括边缘增强损失函数、照度均匀损失函数和颜色平衡损失函数；融合损失函数包括最大像素选择损失函数和最大梯度选择损失函数。
5.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤4中在第一阶段网络训练时，增强网络输入红外与可见光源图像，网络输出红外与可见光增强图像，训练结束后保存网络参数；第二阶段训练时，红外与可见光编码器直接调用第一阶段训练保存的网络参数，融合网络输入红外与可见光增强图像，输出融合图像。
CN202310474220.7A 2023-04-28 2023-04-28 一种基于图像增强的夜间红外与可见光图像融合方法 Active CN116823686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474220.7A CN116823686B (zh) 2023-04-28 2023-04-28 一种基于图像增强的夜间红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474220.7A CN116823686B (zh) 2023-04-28 2023-04-28 一种基于图像增强的夜间红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN116823686A true CN116823686A (zh) 2023-09-29
CN116823686B CN116823686B (zh) 2024-03-08

Family

ID=88117430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474220.7A Active CN116823686B (zh) 2023-04-28 2023-04-28 一种基于图像增强的夜间红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN116823686B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法
CN117783780A (zh) * 2023-12-26 2024-03-29 阳谷质上特种电缆有限公司 一种基于成像技术的电缆故障检测方法
CN117934820A (zh) * 2024-03-22 2024-04-26 中国人民解放军海军航空大学 基于困难样本增强损失的红外目标识别方法
CN118097089A (zh) * 2024-04-19 2024-05-28 广东工业大学 基于整体性网络的夜间仓储机器人目标检测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724308A (zh) * 2021-11-02 2021-11-30 南京理工大学 基于光度与对比度互注意力的跨波段立体匹配算法
CN114283104A (zh) * 2021-12-29 2022-04-05 中国科学院西安光学精密机械研究所 一种基于y型金字塔网络的多谱段图像融合方法
CN114639002A (zh) * 2022-03-14 2022-06-17 西安电子科技大学 一种基于多模式特征的红外与可见光图像融合方法
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、***、装置及存储介质
CN115565035A (zh) * 2022-11-08 2023-01-03 长春理工大学 一种用于夜间目标增强的红外与可见光图像融合方法
CN115689960A (zh) * 2022-10-27 2023-02-03 长春理工大学 一种夜间场景下照度自适应的红外与可见光图像融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
WO2022241995A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉图像增强的生成方法、***、装置及存储介质
CN113724308A (zh) * 2021-11-02 2021-11-30 南京理工大学 基于光度与对比度互注意力的跨波段立体匹配算法
CN114283104A (zh) * 2021-12-29 2022-04-05 中国科学院西安光学精密机械研究所 一种基于y型金字塔网络的多谱段图像融合方法
CN114639002A (zh) * 2022-03-14 2022-06-17 西安电子科技大学 一种基于多模式特征的红外与可见光图像融合方法
CN114742719A (zh) * 2022-03-14 2022-07-12 西北大学 一种基于多特征融合的端到端图像去雾方法
CN115689960A (zh) * 2022-10-27 2023-02-03 长春理工大学 一种夜间场景下照度自适应的红外与可见光图像融合方法
CN115565035A (zh) * 2022-11-08 2023-01-03 长春理工大学 一种用于夜间目标增强的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIDA ZHAN ET AL.: "Infrared and Visible Image Fusion for Highlighting Salient Targets in the Night Scene", 《ENTROPY》, pages 1 - 18 *
陈卓 等: "红外与可见光图像融合的U-GAN模型", 《西北工业大学学报》, vol. 38, no. 4, pages 904 - 911 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117783780A (zh) * 2023-12-26 2024-03-29 阳谷质上特种电缆有限公司 一种基于成像技术的电缆故障检测方法
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法
CN117934820A (zh) * 2024-03-22 2024-04-26 中国人民解放军海军航空大学 基于困难样本增强损失的红外目标识别方法
CN118097089A (zh) * 2024-04-19 2024-05-28 广东工业大学 基于整体性网络的夜间仓储机器人目标检测方法及***

Also Published As

Publication number Publication date
CN116823686B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN116823686B (zh) 一种基于图像增强的夜间红外与可见光图像融合方法
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN108765336B (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN104463804B (zh) 一种基于直觉模糊集的图像增强方法
CN107977942B (zh) 一种基于多聚焦融合的单幅图像的复原方法
CN110807742B (zh) 一种基于一体式网络的微光图像增强方法
CN115689960A (zh) 一种夜间场景下照度自适应的红外与可见光图像融合方法
CN110298796B (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
CN112053298B (zh) 一种图像去雾方法
CN112330613B (zh) 一种细胞病理数字图像质量的评价方法及***
CN110782407A (zh) 一种基于天空区域概率分割的单幅图像去雾方法
CN114693548B (zh) 一种基于亮区域检测的暗通道去雾方法
CN109345479B (zh) 一种视频监控数据的实时预处理方法及存储介质
CN111598814A (zh) 基于极端散射通道的单图像去雾方法
CN111462022A (zh) 一种水下图像清晰化增强方法
CN111311503A (zh) 一种夜晚低亮度图像增强***
Li et al. DLT-Net: deep learning transmittance network for single image haze removal
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN110647843B (zh) 一种人脸面部图像处理方法
CN109801238B (zh) 一种基于简化大气散射模型的弱光照图像增强方法
CN112686825A (zh) 一种基于fpga的地面浓雾场景灰度图像去雾方法
Park et al. Variational image dehazing using a fuzzy membership function
CN112116533B (zh) 一种雾霾天气下的车标检测方法
Khade et al. Efficient single image haze removal using CLAHE and Dark Channel Prior for Internet of Multimedia Things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant