CN115063329A - 低光照环境下的可见光和红外图像融合增强方法及*** - Google Patents

低光照环境下的可见光和红外图像融合增强方法及*** Download PDF

Info

Publication number
CN115063329A
CN115063329A CN202210654491.6A CN202210654491A CN115063329A CN 115063329 A CN115063329 A CN 115063329A CN 202210654491 A CN202210654491 A CN 202210654491A CN 115063329 A CN115063329 A CN 115063329A
Authority
CN
China
Prior art keywords
image
fusion
network
visible light
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210654491.6A
Other languages
English (en)
Inventor
魏俊宇
刘博坤
苏绍璟
左震
郭晓俊
孙晓永
童小钟
赵宗庆
胡柳顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210654491.6A priority Critical patent/CN115063329A/zh
Publication of CN115063329A publication Critical patent/CN115063329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种低光照环境下的可见光和红外图像融合增强方法及***，本发明方法包括将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；将融合图像进行增强以去除光照强度的影响；将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。本发明能够实现可见光图像、红外图像两者互补的信息融合，提高低光照环境下的图像信息表达能力，削弱低光照等不良因素的负面影响，使融合图像最终的目标检测能力得到较大提升。

Description

低光照环境下的可见光和红外图像融合增强方法及***
技术领域
本发明涉及图像处理中的可见光和红外图像融合技术，具体涉及一种低光照环境下的可见光和红外图像融合增强方法及***。
背景技术
低光照环境是指特定的景物光亮度值、摄像机的镜头参数下，摄像机输出的视频信号幅值低于最大幅值的一定比例值(例如50％)，使得画面昏暗、层次不足。一般情况下，可见光图像是观测环境的最主要手段。在低光照环境下，可见光图像发挥的作用受到严重限制，例如画面昏暗、层次不足导致目标丢失，无法从中获取环境信息。可见光传感器能够捕获反射光信息，反映丰富的纹理和结构信息，但对环境很敏感，如光线或遮挡。红外图像能够反映物体自身的温度和比辐射率，突出物体的本征特征，不受光线影响。可见光与红外图像的双光融合可以将可见光的细节纹理和红外图像的突出目标信息融合起来。但是，对于低光照条件下，传感器采集的图像会引入不同种类和程度的噪声，红外图像的过宽动态范围现象十分明显，使黑暗区域因曝光不足成为黑色，导致融合图像视觉效果差，目标细节信息丢失多。
目前为止，已经有许多学者对图像融合和增强方法做了相关研究，在图像融合方面，基于深度学***和高水平视觉任务的平衡。目前，直接将目标检测任务与图像融合算法联合起来的方法较少，融合图像统计量评价指标单一。实际上图像融合的评价也需要目标任务的支撑，由视觉任务驱动，而不是与视觉任务脱节。在图像增强方面，主要包括直方图均衡图像增强算法、小波变换图像增强算法和基于Retinex理论的图像增强算法等。标准直方图均衡算法通过累积分布函数将原始图像映射为具有近似均匀灰度级分布的增强图像，实时性好，但亮度不均；小波变换图像增强算法通过增强小波系数可以有效地凸显图像中的细节信，但同时放大了噪声；Retinex图像增强算法通过去除原始图像中照度分量的影响，求解出了反映物体本质颜色的反射分量，但在亮度差异大的区域增强效果较差。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种低光照环境下的可见光和红外图像融合增强方法及***，本发明能够实现可见光图像、红外图像两者互补的信息融合，提高低光照环境下的图像信息表达能力，削弱低光照等不良因素的负面影响，使融合图像最终的目标检测能力得到较大提升。
为了解决上述技术问题，本发明采用的技术方案为：
一种低光照环境下的可见光和红外图像融合增强方法，包括：
S1，将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；
S2，将融合图像进行增强以去除光照强度的影响；
S3，将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。
可选地，步骤S2中将融合图像进行增强的函数表达式为：
r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]
上式中，r(x,y)为增强后的融合图像，S(x,y)为接收到的反射光图像，*为卷积符号，F(x,y)为中心环绕函数，(x,y)为像素点坐标，其中中心环绕函数的计算函数表达式为：
Figure BDA0003688759870000031
上式中，λ为光的波长，c表示为高斯环绕尺度。
可选地，步骤S3包括：针对增强后的融合图像，比较邻域内中心像素灰度与其他像素的平均灰度，当中心像素灰度低于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步降低中心像素灰度；当中心像素灰度高于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步提高中心像素灰度。
可选地，步骤S1进行融合是指将低光照环境下的可见光图像、红外图像输入预先训练好的融合网络获得融合图像，所述融合网络包括两个特征提取分支和一个用于特征聚合和图像重建的解码器，低光照环境下的可见光图像、红外图像分别输入一个特征提取分支，其中：所述特征提取分支包括包含公共卷积层和至少一级梯度残差密集块，所述公共卷积层用于对输入的图像特征执行卷积核大小为3×3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以用于提取浅层特征；所述梯度残差密集块用于提取深层特征；所述解码器包括至少一级解码模块以及输出层，所述解码模块用于对输入的图像特征执行卷积核大小为3×3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以进行解码还原，所述输出层用于对输入的图像特征执行卷积核大小为1×1的卷积操作、批量归一化操作、采用Tanh激活函数进行激活以获得融合图像。
可选地，所述梯度残差密集块包括密集流支路和残差流支路，所述密集流支路包括采用密集连接的两个核大小为3×3的卷积层和一个核大小为1×1的公共卷积层，所述密集连接是指梯度残差密集块的输入特征分别作为两个卷积层和公共卷积层三者的输入，两个核大小为3×3的卷积层的输出分别作为公共卷积层的输入，所述残差流支路包括梯度算子和核大小为1×1的标准卷积层，梯度残差密集块的输入特征通过梯度算子计算得到梯度幅度，所述梯度幅度通过核大小为1×1的标准卷积层消除信道的尺寸差异后与密集流支路的输出求和后得到梯度残差密集块的输出特征。
可选地，步骤S1之前还包括训练融合网络，且训练融合网络时采用的损失函数为联合损失，且联合损失的函数表达式为：
Ljoint＝Lcon+βLsem
上式中，Ljoint为联合损失，Lcon为融合网络的空间损失，β为语义损失权重，Lsem为分割网络的语义损失；所述分割网络为语义分割模型，用于根据融合网络输出的融合图像进行语义分割以获得融合图像的语义分割结果。
可选地，所述分割网络包括空间注意力分支、通道注意力分支以及池化融合单元，所述空间注意力分支用于从融合图像提取空间注意力特征，所述通道注意力分支用于从融合图像提取通道注意力特征，所述池化融合单元用于将通道注意力特征进行平均池化后，再与空间注意力特征进行像素级相加，最后通过卷积归一化激活层得到融合图像的语义分割结果。所述空间注意力分支用于将融合图像首先通过卷积归一化激活层后再分别通过最大池化、平均池化操作，然后将最大池化、平均池化操作得到的特征求和后依次通过门控通道注意模块GCT、卷积归一化激活层获得的特征与原始的融合图像相加后作为空间注意力分支的输出特征；所述通道注意力分支对融合图像的处理包括：将融合图像依次经过全局平均池化、门控通道注意模块GCT、卷积归一化激活层获得的特征与原始的融合图像相加后作为通道注意力分支的输出特征。
可选地，所述训练融合网络时包括执行M次迭代训练，且每一次迭代训练包括首先完成对融合网络的p轮训练以更新融合网络的网络参数Nf，根据下式更新语义损失权重β：
β＝γ×(m-1)
上式中，γ为平衡语义丢失和内容丢失的常数，m为迭代次数；然后再完成对分割网络的q轮训练以更新融合网络的网络参数Ns。
此外，本发明还提供一种低光照环境下的可见光和红外图像融合增强***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述低光照环境下的可见光和红外图像融合增强方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述低光照环境下的可见光和红外图像融合增强方法的步骤。
和现有技术相比，本发明主要具有下述优点：
1、本发明将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像，从而实现了可见光图像、红外图像两者互补的信息融合，提高低光照环境下的图像信息表达能力，削弱不良因素(低光照等)对图像的负面影响，使融合图像最终的目标检测能力得到较大提升。
2，本发明包括将融合图像进行增强以去除光照强度的影响，消除低光照中图像动态范围大、目标信息丢失的问题，进一步削弱不良因素(低光照等)对图像的负面影响，使融合图像最终的目标检测能力得到较大提升。
3，本发明将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，可提高图像表达能力，进一步削弱不良因素(低光照等)对图像的负面影响，使融合图像最终的目标检测能力得到较大提升。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中Retinex增强的原理示意图。
图3为本发明实施例中锐化的效果对比图。
图4为本发明实施例中融合网络的网络结构示意图。
图5为本发明实施例中梯度残差密集块的网络结构示意图。
图6为本发明实施例中训练融合网络时采用的损失函数示意图。
图7为本发明实施例中分割网络的网络结构示意图。
图8为本发明实施例中分割网络的两条分支网络结构示意图。
图9为本发明实施例中门控通道注意模块GCT的网络结构示意图。
图10为本发明实施例方法的实验效果展示图。
图11为本发明实施例方法的目标检测结果示意图。
图12为本发明实施例融合方法和现有融合方法的实验对比示意图。
图13为本发明实施例融合方法和现有融合方法的评价指标曲线对比图。
图14为本发明实施例融合方法增强前后的目标检测结果示意图。
图15为本发明实施例融合方法增强前后的评价指标曲线对比图。
具体实施方式
如图1，本实施例低光照环境下的可见光和红外图像融合增强方法包括：
S1，将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；
S2，将融合图像进行增强以去除光照强度的影响；
S3，将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。
本实施例中，步骤S2将融合图像进行增强以去除光照强度的影响具体为基于已有的Retinex理论加入去除融合图像照度的算法，消除低光照带来的不良影响。Retinex理论于20世纪60年代由Land和McCann提出，其基础理论为：真实世界是无颜色的，视觉感知的颜色是光与物质的相互作用的结果。物体的颜色由物体对长波(红)、中波(绿)和短波(蓝)光线的反射能力决定的，而不是由反射光强度的绝对值决定。物体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性(颜色恒常性)为基础的。为了还原图像真实样貌，需要除去光照强度的影响。
Retinex理论的基本模型如图2所示，观察到的图像S由物体表面对入射光L反射得到，反射率R由物体本身决定，不随入射光L变化，则有：
S(x,y)＝R(x,y)·L(x,y)
上式中，L(x,y)表示入射光图像，它直接决定了图像中像素所能达到的动态范围，R(x,y)表示物体的反射性质图像，即图像的内在属性，S(x,y)表示人眼接收到的反射光图像。Retinex理论将原始图像中L(x,y)的影响消除，从而尽量的保留物体本质的反射属性图像，为计算简便使用对数计算，则有：
logS＝log(R·L)
logS＝logR+logL
s＝r+l
上式中，s表示观测到的图像对数值，r表示图像原始反射分量对数值，l表示图像入射照度分量对数值。
Retinex方法的核心就是估测照度L，从图像S中估测L分量，并去除L分量，得到原始反射分量R，即：
l＝f(s)
r＝s-f(s)
上式中，f(s)表示图像入射照度分量对数值。
Retinex方法对低光照图像还原增强有很大的作用。其计算原理为：
Figure BDA0003688759870000071
基于上述计算原理，可推导得出：
r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]
上式中，r(x,y)为增强后的融合图像，S(x,y)为接收到的反射光图像，*为卷积符号，F(x,y)为中心环绕函数，(x,y)为像素点坐标，其中中心环绕函数的计算函数表达式为：
Figure BDA0003688759870000072
上式中，λ为光的波长，c表示为高斯环绕尺度。步骤S2中将融合图像进行增强的函数表达式为：
r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]
步骤S2中基于上式估算图像中照度的变化，并将其去除，最后只保留图像中物体的反射属性，从而达到增强的目的。
在去除照度影响之后，本实施例进一步在步骤S3中采用了图像锐化补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度。从而提高图像的细节表现力，易于计算机对图像处理，促进目标检测效果的提升。具体地，本实施例步骤S3包括：针对增强后的融合图像，比较邻域内中心像素灰度与其他像素的平均灰度，当中心像素灰度低于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步降低中心像素灰度；当中心像素灰度高于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步提高中心像素灰度，图像锐化前后对比如图3所示(因出版要求已灰度化处理)。
图像融合可采用像素相加融合以及卷积神经网络的方式。作为一种可选的实施方式，本实施例步骤S1进行融合是指将低光照环境下的可见光图像、红外图像输入预先训练好的融合网络获得融合图像，其中融合网络即为一种卷积神经网络，通过训练确定网络参数后，输入低光照环境下的可见光图像、红外图像即可得到融合图像。
融合网络基本结构为先进行特征提取，再进行图像重建。如图4所示，本实施例中的融合网络包括两个特征提取分支和一个用于特征聚合和图像重建的解码器，低光照环境下的可见光图像、红外图像分别输入一个特征提取分支，其中：
特征提取分支包括包含公共卷积层和至少一级梯度残差密集块(图中表示为RDG模块，图中具体为2级，输入为16通道的特征，第一级RDG模块处理后得到32通道的特征，输出为48通道的特征)，公共卷积层用于对输入的图像特征执行卷积核大小为3×3的卷积操作(图中表示为3*3conv)、批量归一化操作(图中表示为BN)、采用LeakyReLU激活函数(图中表示为ReLU)进行激活以用于提取浅层特征；梯度残差密集块(RDG模块)用于提取深层特征；
解码器包括至少一级解码模块(图3具体为3级，依次为48通道的特征、32通道的特征、16通道的特征)以及输出层(图中表示为ConvBnTanh)，所述解码模块用于对输入的图像特征执行卷积核大小为3×3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以进行解码还原，所述输出层用于对输入的图像特征执行卷积核大小为1×1的卷积操作、批量归一化操作、采用Tanh激活函数进行激活以获得融合图像。
如图5所示，梯度残差密集块(RDG模块)包括密集流支路和残差流支路，所述密集流支路包括采用密集连接的两个核大小为3×3的卷积层和一个核大小为1×1的公共卷积层，所述密集连接是指梯度残差密集块的输入特征分别作为两个卷积层和公共卷积层三者的输入，两个核大小为3×3的卷积层的输出分别作为公共卷积层的输入，所述残差流支路包括梯度算子和核大小为1×1的标准卷积层，梯度残差密集块的输入特征通过梯度算子计算得到梯度幅度，所述梯度幅度通过核大小为1×1的标准卷积层消除信道的尺寸差异后与密集流支路的输出求和后得到梯度残差密集块的输出特征。梯度残差密集块(RDG模块)采用密集连接以充分利用由各种卷积层所提取的特征，采用密集流支路和残差流支路且残差流支路集成梯度操作，降低了计算量。梯度残差密集块(RDG模块)融合后的特征进入解码器结构，进行特征聚合和图像重建，解码器结构也由3×3公共卷积层和激活层构成。在融合过程中填充被设置为相同的，步幅被设置为1，图像特征没有被下采样，融合图像的大小与源图像一致，因此丢失信息极少。
如图6所示，步骤S1之前还包括训练融合网络，且训练融合网络时采用的损失函数为联合损失，且联合损失的函数表达式为：
Ljoint＝Lcon+βLsem
上式中，Ljoint为联合损失，Lcon为融合网络的空间损失，β为语义损失权重，Lsem为分割网络的语义损失；所述分割网络为语义分割模型，用于根据融合网络输出的融合图像进行语义分割以获得融合图像的语义分割结果。
本实施例中，融合网络的空间损失Lcon的计算函数表达式为：
Figure BDA0003688759870000091
上式中，H和W分别为融合图像的高度和宽度，If表示融合图像强度，Iir表示红外图像强度，Ivi表示可见光图像强度，‖·‖1为L1-范数，max为取最大值。
本实施例中，分割网络的语义损失Lsem的计算函数表达式为：
Figure BDA0003688759870000101
上式中，H和W分别为融合图像的高度和宽度，C为融合图像的通道，Lso表示分割标签单热向量，Is表示分割网络输出的语义分割结果，且维度满足：
Lso∈RH×W×C，Is∈RH×W×C。
作为一种可选的实施方式，分割网络可采用具有轻量级双边注意解码器的实时语义分割网络来构建语义损失，语义分割网络的输入为初步融合图像，将此融合图像的语义分割结果反馈给融合网络，指导融合网络参数的更新，形成迭代更新，最终训练出损失较小的融合模型。如图7所示，分割网络(轻量级双边注意解码器)包括空间注意力分支、通道注意力分支以及池化融合单元，所述空间注意力分支用于从融合图像提取空间注意力特征，所述通道注意力分支用于从融合图像提取通道注意力特征，所述池化融合单元用于将通道注意力特征进行平均池化后，再与空间注意力特征进行像素级相加，最后通过卷积归一化激活层得到融合图像的语义分割结果。分割网络(轻量级双边注意解码器)通过特征提取和信息融合两个步骤来融合不同层次的特征图：在第一步特征提取中，将初步融合图像输入双边注意分支，双边注意分支包括一个通道注意分支和一个空间注意分支。通道注意分支提取的高级特征图可以捕获更精确的语义信息，空间注意分支提取的低级特征图可以捕获更准确的空间信息。第二步特征融合中，本文使用一种新的池化融合块来融合提取的高级和低级特征映射。这种融合块可以充分利用高层和低层的特征图，充分发挥两者的优势，以获得高质量的融合结果。
双边注意分支可以提高捕获语义信息和空间信息的能力，作为对上述分割网络(轻量级双边注意解码器)的进一步改进，本实施例中对分割网路中的注意机制进行改进，引入门控通道注意模块GCT，在神经网络中不同的神经元(或通道)之间产生竞争，这种改造不仅提高了网络推理速度，而且提升了深度卷积网络在视觉识别任务和数据集上的泛化能力。如图8所示，空间注意力分支用于将融合图像首先通过卷积归一化激活层(用于减少特征通道数)后再分别通过最大池化、平均池化操作，然后将最大池化、平均池化操作得到的特征求和后(使图像的空间细节特征得到充分的提取)依次通过门控通道注意模块GCT(增强卷积层的表征能力)、卷积归一化激活层(conv+BN+Sigmoid层，将通道压缩为一个)获得的特征与原始的融合图像相加后作为空间注意力分支的输出特征(空间注意掩膜)；如图8所示，通道注意力分支对融合图像的处理包括：将融合图像依次经过全局平均池化(GAP)、门控通道注意模块GCT(增强卷积层的表征能力)、卷积归一化激活层(conv+BN+Sigmoid层，将通道压缩为一个)获得的特征与原始的融合图像相加后作为通道注意力分支的输出特征(通道注意掩膜)。
门控通道注意模块GCT能够实现高效和准确的上下文信息建模，通过建模通道关系来增强卷积网络的表征能力。如图9所示，门控通道注意模块GCT由全局上下文嵌入模块、通道归一化模块和门控自适应模块组成，其中：
全局上下文嵌入模块聚合每个通道中的全局上下文信息，避免感受野过小导致的局部歧义。该模块可以利用全局的上下文信息，使得模型在重点关注局部的同时，能够更加兼顾全局。假设嵌入的权重为α，全局上下文嵌入模块的函数表达式为：
Figure BDA0003688759870000111
上式中，sc为全局上下文嵌入模块输出的特征，αc表示嵌入权重值，xc表示每个原始通道的激活特征；下标c表示通道；ε表示一个小常数，用于避免零点处的计算问题；H、W分别为图像高和宽，xc i,j表示图像第i行第j列特征值，使用Lp范数进行降维输出，防止模型过拟合。嵌入权重值αc可训练，使得门控通道注意模块GCT能够学习通道的独有情况。
通道归一化模块用于在具有轻量级计算资源和稳定训练性能的神经元(或通道)之间创建竞争关系。通过嵌入信息与可训练参数来进行通道归一化，使用L2范数来跨通道操作，即信道规范化(归一化)。设s＝[s1，...，sC]，s表示全局上下文嵌入模块输出的特征，s1～sC分别表示各通道加权特征值，信道规范化的函数表达式为：
Figure BDA0003688759870000121
上式中，
Figure BDA0003688759870000122
为特征sc的信道规范化的结果，C表示通道数，sc为全局上下文嵌入模块输出的特征，ε为前文的小常数。
门控自适应模块中，每个原始通道xc的尺度将通过其相应的门进行调整，训练权重γc和偏置参数βc，可以对门信道进行有效的激活。当一个通道的门控权重γc被正激活时，门控通道注意模块GCT促进该通道与其他通道竞争。当门控权重被负向激活时，GCT鼓励该通道与其他通道合作。门控自适应模块的函数表达式为：
Figure BDA0003688759870000123
上式中，
Figure BDA0003688759870000124
为原始通道xc经过门控自适应模块的输出，tanh表示tanh激活函数，
Figure BDA0003688759870000125
为特征sc的信道规范化的结果，γc为权重，βc为偏置参数。
门控通道注意模块GCT类似于批量归一化层，插在卷积层之前效果最佳。
参见图6，输入的红外图像样本与可见光图像样本通过融合网络与分割网络相互迭代更新网络参数。训练过程分为融合阶段和分割阶段进行迭代训练，首先根据融合网络结果计算空间信息损失和语义损失组成的联合损失，利用联合损失指导融合网络参数p步的循环更新，更新之后产生的融合图像经过分割网络得出新的语义损失，并对分割网络参数进行q步循环更新，将新的语义损失反馈到联合损失，使融合网络和分割网络整体迭代设定次数，最终得到训练好的融合网络模型。其中，p和q取值为自然数，取值越大，则精确度越高，但是同时也会导致训练的效率下降，因此可根据需要进行指定。
需要说明的是，语义损失权重β可为静态参数。但是，为了实现动态，计算空间信息损失和语义损失组成的联合损失，本实施例中将语义损失权重β作为超参数，使其随着联合低级和高级自适应训练策略逐步增加。具体地，本实施例训练融合网络时包括执行M次迭代训练，且每一次迭代训练包括首先完成对融合网络的p轮训练以更新融合网络的网络参数Nf，根据下式更新语义损失权重β：
β＝γ×(m-1)
上式中，γ为平衡语义丢失和内容丢失的常数，m为迭代次数；然后再完成对分割网络的q轮训练以更新融合网络的网络参数Ns。
在许多恶劣条件的场景下，光照对图像影响巨大，低光时，单一的可见光图像并不能传递可靠的信息，甚至会导致目标信息的丢失。此时，可见光与红外图像融合的优势就会彰显出来。对于给定的可见光与红外图像对，文中将统称为双光图像，如何将他们的信息利用最大化，提高融合图像的信息表达能力，是至关重要的。传统方法以统计量指标对融合性能进行评估，并没有与上游任务联系起来，本实施例方法以目标检测任务为最终目标，研究目标检测任务驱动下的图像融合方法。利用语义损失指导双光图像融合，通过视觉增强模块，提高图像的信息表达水平，削弱不良因素(低光照等)对图像的负面影响。从而使融合图像最终的目标检测能力得到较大提升。
为了对本实施例方法进行验证，我们在MSRS数据集上进行了广泛的定性和定量实验。MSRS数据集是道路场景数据集，其中训练集包含1083对红外和可见光图像，测试集由361对图像组成，包括了白天与夜间的情况，我们主要选择夜间图像进行测试验证。该数据集为汽车、人、自行车、曲线、汽车停车站、护栏、颜色色调和背景等目标提供了语义标签。所有的图像在被输入网络之前都被归一化到[0,1]。本文在MSRS数据集上训练基于语义感知的融合网络。根据联合的低级和高级自适应训练策略，迭代地训练融合网络和分割网络。我们的联合自适应训练策略中的所有参数设置如下：M＝4，p＝1500，q＝10,000和γ＝1。同时，在联合损失的指导下优化我们的融合模型。此外，我们利用批量大小为16、动量为0.9、权值衰减为0.0005的小批量随机梯度下降来优化分割网络。初始学习速率设置为0.01，采用指数衰减法来控制每轮迭代的学习率，power设置为0.9。该方法在PyTorch深度学习框架下实现。机器使用NVIDIA GeForce GTX 1080Ti进行实验。接着我们使用本文提出的视觉感知增强模块对训练模型的结果进行增强，使用Retinex方法，将迭代次数设置为4，然后使用拉普拉斯算子中心点取5进行锐化处理。
一、定性分析
本实施例中利用语义感知的融合网络，将低光照场景下可见光与红外图像的空间信息和语义信息结合起来，同时进行视觉增强，获得可观的融合增强结果，其主要步骤如图10欧式，效果展示如图11所示。参见图11，红外图像与可见光图像首先进行任务驱动的图像融合网络，然后进行增强，得到最终结果突出了黑暗中行人目标，并且去除光照度影响，较好还原图像色彩，大大提高了图像信息表现力。
本文在MSRS数据集上进行了测试，选取融合和增强后的图片如图12，其中(a)表示红外图像，(b)表示可见光图像，(c)表示现有的NSCT-SR方法得到的融合图像，(d)表示现有的LPfuse方法得到的融合图像，(e)表示现有的Densefuse方法得到的融合图像，(f)表示现有的Curvelet方法得到的融合图像，(g)表示现有的IFCNN方法得到的融合图像，(h)表示本实施例方法融合图像。从图12可以中看出，低光照条件下的红外图像和可见光图像经过增强之后，图像信息量得到很大的提升，图像中可检测的目标种类数变多，清晰度得到较大提升，为目标检测打下良好的基础。
二、定量分析
1、对比实验。
将本文方法融合结果与其他方法对比传统指标(信息熵EN、空间频率SF、平均梯度AG)、目标检测精确度(mAP)和最终总体评价指标。其中统计量数值评价指标立足于融合图像本身的属性，主要评估其包含信息的多少，以及图像的清晰程度。SF测量了融合图像中所包含的空间频率信息。平均梯度AG能够反映图像的纹理信息。三者可以表示图像携带信息的丰富程度，其值越高信息越丰富。图12中展示了本文方法与其他五种方法的融合效果。表1中为使用不同融合方法实验对比结果。
表1：不同方法评价指标对比。
P R [email protected] [email protected]:0.95 Qp
Densefuse 0.831 0.679 0.706 0.428 2.1832
IFCNN 0.786 0.694 0.635 0.352 2.7208
Lpfuse 0.64 0.756 0.642 0.38 2.7976
Nsctsr 0.72 0.66 0.655 0.383 2.8041
Curvelet 0.726 0.674 0.666 0.384 2.7418
本文方法 0.786 0.795 0.75 0.433 2.7816
表中，Densefuse、IFCNN、Lpfuse、Nsctsr以及Curvelet均为公知的现有方法，P表示检测精度，R表示召回率，[email protected]表示目标检测精确度为0.5的比例，[email protected]:0.95表示目标检测精确度为0.5～0.9的比例，单张图像统计量指标Qp＝1/3(EN+SF+AG)，EN表示信息熵、SF表示空间频率、AG表示平均梯度。结合图12和表1可以看出，经过本文方法融合的图像，其mAP值最好，传统指标均值Qp居于第三位。而融合图像经过增强之后的Qp可达7.8。
对于最终的评价指标，目前将任务目标达成效果结合到评价指标中的非常少，本文建立一种新的评价指标模型，选取两种指标进行结合，第一种是针对融合图像本身信息属性的定量评价，主要包括信息熵EN、平均梯度AG等。第二种是按照融合图像对低光照目标检测任务效果的贡献程度进行的评价。
对于融合图像的总体评价指标为：
η＝α1·Qp+α2·mAP
由于本文以目标检测任务为牵引，故设定权重α1＝0.2，权重α2＝0.8，不同融合方法与本文融合增强图像最终评价指标η在数据集MSRS上测试结果如图13所示，图中曲线ours为本文融合方法得到的总体评价结果，与其他五种方法相比，本文最终评价指标可达到最高。由此可见，本文提出的改进融合方法，在低光照条件下，更能克服不良影响，增强融合图像的信息丰富度，对目标检测能力也有较好的提升。
2、消融实验
使用消融实验评价增强模块的有效性。视觉增强模块加强了图像表述信息的能力，消除了低光照对图像目标遮挡弱化等负面影响。为了评估视觉增强模块对检测任务性能的提升情况，首先不加入增强模块，使用目标检测网络YOLOv5对融合图像进行检测，记录检测正确的目标种类数和置信度水平。随后，加入增强模块，同样对检测正确的目标种类数和置信度水平进行记录，计算融合评价指标，将两者进行对比，突出增强模块的优势。
随机选取三组低光照条件下的双光融合图像结果，图14(因出版限制被灰度化处理)中第一行为增强之前的融合图像，第二行为增强之后的图像。对比加入视觉增强模块前的评价指标与效果：在消融实验结果中可以看出，第一组图像中，左边为增强前，右边为增强后，增强后目标检测正确数量比原来多5个，总置信度提升2.03，单张图像统计量指标分别为：Qp1＝2.8353，Qp2＝8.3033，其中Qp1为第一行的单张图像统计量指标，Qp2为第二行的单张图像统计量指标。在第二组图像中，增强后目标检测正确数量比增强前多了1个，总置信度提升0.8，单张图像统计量指标分别为：Qp1＝3.2537，Qp2＝8.6267。按照本文提出的评价模型，以第一组为例，计算融合图像增强前后的评价指标如图15所示，左侧曲线“fused”为加入增强模块前的平均指标，右侧曲线“fusedandenchanced”在加入增强模块后平均指标提升为原来的两倍。结合图15，可以看出增强模块能够实现图像表达能力较大提升，能够有效提高目标检测到的种类和精度。
综上所述，本实施例低光照环境下的可见光和红外图像融合增强方法受到现有SeAFusion融合方法的启发，针对低光照下融合图像亮度不均、颜色失真、信息丢失严重以及与高级视觉任务适应度低的问题，本文提出了一种低光照条件下基于任务驱动的双光图像融合与增强方法。首先，在现有融合图像评价指标的基础上，进一步定义了双光融合图像的有效评价指标，融合图像面对的最终目标是获得更优的目标检测性能，包括检测出图像中尽可能多的目标种类以及更高的置信度，本文将能否较好地完成这一目标纳入为评价融合图像的重要指标之一。接着，在语义感知融合网络(SeAFusion)的基础上，对其中的注意机制改进，提高模型泛化能力。其次，针对低光照条件下的融合图像信息表达能力弱的问题，提出了视觉增强模块，保持图像高保真度、压缩图像的动态范围、实现多尺度适应，并且可实现纹理细节增强，将低光照产生的视觉不利因素消除。最后建立了包括理论分析与任务需求两方面的图像评价指标模型。本实施例低光照环境下的可见光和红外图像融合增强方法将目标检测任务作为融合图像的最终目的，通过语义感知的融合网络融合可见光图像丰富纹理信息和红外图像的目标热度信息，通过视觉增强模块提高图像表达能力(图像清晰度和信息量)，从而使提供的红外与可见光图像对的信息利用最大化。本文提出的融合增强图像可以应用于恶劣条件下，光照缺乏，图像分辨率较低等情况，对交通道路监控、战场环境监测、野外环境勘察等都具有重要的意义。
此外，本实施例还提供一种低光照环境下的可见光和红外图像融合增强***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述低光照环境下的可见光和红外图像融合增强方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述低光照环境下的可见光和红外图像融合增强方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种低光照环境下的可见光和红外图像融合增强方法，其特征在于包括：
S1，将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；
S2，将融合图像进行增强以去除光照强度的影响；
S3，将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。
2.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S2中将融合图像进行增强的函数表达式为：
r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]
上式中，r(x,y)为增强后的融合图像，S(x,y)为接收到的反射光图像，*为卷积符号，F(x,y)为中心环绕函数，(x,y)为像素点坐标，其中中心环绕函数的计算函数表达式为：
Figure FDA0003688759860000011
上式中，λ为光的波长，c表示为高斯环绕尺度。
3.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S3包括：针对增强后的融合图像，比较邻域内中心像素灰度与其他像素的平均灰度，当中心像素灰度低于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步降低中心像素灰度；当中心像素灰度高于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步提高中心像素灰度。
4.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S1进行融合是指将低光照环境下的可见光图像、红外图像输入预先训练好的融合网络获得融合图像，所述融合网络包括两个特征提取分支和一个用于特征聚合和图像重建的解码器，低光照环境下的可见光图像、红外图像分别输入一个特征提取分支，其中：所述特征提取分支包括包含公共卷积层和至少一级梯度残差密集块，所述公共卷积层用于对输入的图像特征执行卷积核大小为3×3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以用于提取浅层特征；所述梯度残差密集块用于提取深层特征；所述解码器包括至少一级解码模块以及输出层，所述解码模块用于对输入的图像特征执行卷积核大小为3×3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以进行解码还原，所述输出层用于对输入的图像特征执行卷积核大小为1×1的卷积操作、批量归一化操作、采用Tanh激活函数进行激活以获得融合图像。
5.根据权利要求4所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，所述梯度残差密集块包括密集流支路和残差流支路，所述密集流支路包括采用密集连接的两个核大小为3×3的卷积层和一个核大小为1×1的公共卷积层，所述密集连接是指梯度残差密集块的输入特征分别作为两个卷积层和公共卷积层三者的输入，两个核大小为3×3的卷积层的输出分别作为公共卷积层的输入，所述残差流支路包括梯度算子和核大小为1×1的标准卷积层，梯度残差密集块的输入特征通过梯度算子计算得到梯度幅度，所述梯度幅度通过核大小为1×1的标准卷积层消除信道的尺寸差异后与密集流支路的输出求和后得到梯度残差密集块的输出特征。
6.根据权利要求4所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S1之前还包括训练融合网络，且训练融合网络时采用的损失函数为联合损失，且联合损失的函数表达式为：
Ljoint＝Lcon+βLsem
上式中，Ljoint为联合损失，Lcon为融合网络的空间损失，β为语义损失权重，Lsem为分割网络的语义损失；所述分割网络为语义分割模型，用于根据融合网络输出的融合图像进行语义分割以获得融合图像的语义分割结果。
7.根据权利要求6所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，所述分割网络包括空间注意力分支、通道注意力分支以及池化融合单元，所述空间注意力分支用于从融合图像提取空间注意力特征，所述通道注意力分支用于从融合图像提取通道注意力特征，所述池化融合单元用于将通道注意力特征进行平均池化后，再与空间注意力特征进行像素级相加，最后通过卷积归一化激活层得到融合图像的语义分割结果。所述空间注意力分支用于将融合图像首先通过卷积归一化激活层后再分别通过最大池化、平均池化操作，然后将最大池化、平均池化操作得到的特征求和后依次通过门控通道注意模块GCT、卷积归一化激活层获得的特征与原始的融合图像相加后作为空间注意力分支的输出特征；所述通道注意力分支对融合图像的处理包括：将融合图像依次经过全局平均池化、门控通道注意模块GCT、卷积归一化激活层获得的特征与原始的融合图像相加后作为通道注意力分支的输出特征。
8.根据权利要求7所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，所述训练融合网络时包括执行M次迭代训练，且每一次迭代训练包括首先完成对融合网络的p轮训练以更新融合网络的网络参数Nf，根据下式更新语义损失权重β：
β＝γ×(m-1)
上式中，γ为平衡语义丢失和内容丢失的常数，m为迭代次数；然后再完成对分割网络的q轮训练以更新融合网络的网络参数Ns。
9.一种低光照环境下的可见光和红外图像融合增强***，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述低光照环境下的可见光和红外图像融合增强方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述低光照环境下的可见光和红外图像融合增强方法的步骤。
CN202210654491.6A 2022-06-10 2022-06-10 低光照环境下的可见光和红外图像融合增强方法及*** Pending CN115063329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210654491.6A CN115063329A (zh) 2022-06-10 2022-06-10 低光照环境下的可见光和红外图像融合增强方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210654491.6A CN115063329A (zh) 2022-06-10 2022-06-10 低光照环境下的可见光和红外图像融合增强方法及***

Publications (1)

Publication Number Publication Date
CN115063329A true CN115063329A (zh) 2022-09-16

Family

ID=83200708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210654491.6A Pending CN115063329A (zh) 2022-06-10 2022-06-10 低光照环境下的可见光和红外图像融合增强方法及***

Country Status (1)

Country Link
CN (1) CN115063329A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272420A (zh) * 2022-09-28 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、***及存储介质
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法
CN115754107A (zh) * 2022-11-08 2023-03-07 福建省龙德新能源有限公司 用于六氟磷酸锂制备的自动化采样分析***及其方法
CN115984658A (zh) * 2023-02-06 2023-04-18 常州唯实智能物联创新中心有限公司 多传感器融合车窗识别方法、***及可读存储介质
CN116681636A (zh) * 2023-07-26 2023-09-01 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN116757988A (zh) * 2023-08-17 2023-09-15 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN116843588A (zh) * 2023-06-20 2023-10-03 大连理工大学 目标语义层级挖掘的红外与可见光图像融合方法
CN117115442A (zh) * 2023-08-17 2023-11-24 浙江航天润博测控技术有限公司 一种基于可见光-红外光电侦察图像融合的语义分割方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272420B (zh) * 2022-09-28 2023-01-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、***及存储介质
CN115272420A (zh) * 2022-09-28 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、***及存储介质
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法
CN115754107A (zh) * 2022-11-08 2023-03-07 福建省龙德新能源有限公司 用于六氟磷酸锂制备的自动化采样分析***及其方法
CN115984658A (zh) * 2023-02-06 2023-04-18 常州唯实智能物联创新中心有限公司 多传感器融合车窗识别方法、***及可读存储介质
CN115984658B (zh) * 2023-02-06 2023-10-20 常州唯实智能物联创新中心有限公司 多传感器融合车窗识别方法、***及可读存储介质
CN116843588A (zh) * 2023-06-20 2023-10-03 大连理工大学 目标语义层级挖掘的红外与可见光图像融合方法
CN116843588B (zh) * 2023-06-20 2024-02-06 大连理工大学 目标语义层级挖掘的红外与可见光图像融合方法
CN116681636B (zh) * 2023-07-26 2023-12-12 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN116681636A (zh) * 2023-07-26 2023-09-01 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN116757988A (zh) * 2023-08-17 2023-09-15 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN116757988B (zh) * 2023-08-17 2023-12-22 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN117115442A (zh) * 2023-08-17 2023-11-24 浙江航天润博测控技术有限公司 一种基于可见光-红外光电侦察图像融合的语义分割方法

Similar Documents

Publication Publication Date Title
CN115063329A (zh) 低光照环境下的可见光和红外图像融合增强方法及***
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
Han et al. Underwater image processing and object detection based on deep CNN method
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
Li et al. Single image dehazing via conditional generative adversarial network
Pang et al. Visual haze removal by a unified generative adversarial network
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
Hu et al. Underwater image restoration based on convolutional neural network
Li et al. Deep dehazing network with latent ensembling architecture and adversarial learning
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
CN111861901A (zh) 一种基于gan网络的边缘生成图像修复方法
Yang et al. Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms
Mai et al. Back propagation neural network dehazing
CN110223240A (zh) 基于颜色衰减先验的图像去雾方法、***及存储介质
Mathur et al. Enhancement algorithm for high visibility of underwater images
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
Zhang et al. Underwater image enhancement using improved generative adversarial network
CN116596792A (zh) 一种面向智能船舶的内河雾天场景恢复方法、***及设备
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Sharma et al. FR-HDNet: faster RCNN based haze detection network for image dehazing
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
Dwivedi et al. Single image dehazing using extended local dark channel prior
CN117808702A (zh) 一种基于扩散模型和选通成像的图像去雾方法、***和设备
CN114529730A (zh) 一种基于lbp特征的卷积神经网络地面材质图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination