CN116309228A - 基于生成对抗网络的可见光图像转换红外图像方法 - Google Patents

基于生成对抗网络的可见光图像转换红外图像方法 Download PDF

Info

Publication number
CN116309228A
CN116309228A CN202310307029.3A CN202310307029A CN116309228A CN 116309228 A CN116309228 A CN 116309228A CN 202310307029 A CN202310307029 A CN 202310307029A CN 116309228 A CN116309228 A CN 116309228A
Authority
CN
China
Prior art keywords
image
infrared
visible light
model
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310307029.3A
Other languages
English (en)
Inventor
张雪涛
魏继阅
王飞
郭宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310307029.3A priority Critical patent/CN116309228A/zh
Publication of CN116309228A publication Critical patent/CN116309228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的可见光图像转换红外图像方法，包含以下步骤：1、选取公开可见光红外图像数据集，要求可见光图像与红外图像为配对图像，并划分出训练集和测试集；2、搭建生成对抗网络模型，网络模型的输入为可见光图像，输出为红外转换图像；3、将训练集输入至搭建的生成对抗网络模型中进行训练，获得红外图像转换模型；4、将测试集输入至网络模型中，得到每个可见光图像对应的红外转换图像，与对应的真实红外图像计算图像质量评价指标，统计误差大小。本发明可以实现基于可见光图像生成对应的红外转换图像，通过神经网络学习可见光图像与红外图像之间的映射关系，提高红外图像转换的效率和准确性。

Description

基于生成对抗网络的可见光图像转换红外图像方法
技术领域
本发明属于计算机视觉的应用领域，具体提出了一种基于生成对抗网络的可见光图像转换红外图像方法
背景技术
目前，人工智能的发展非常迅速。在计算机视觉领域，比如目标检测、目标识别、语义分割、图像转换、图像生成等领域均取得了显著性进步。尤其是在图像转换领域，生成对抗网络通过简单有效的对抗训练策略，引起无数学者关注。各类算法模型层出不穷，例如用于配对数据集的Pix2Pix模型、基于循环一致性的CycleGAN模型、实现特征解耦的UNIT模型等，并且实际应用丰富多样，例如自拍动漫化、手绘图像上色、风格迁移、日夜颠倒、季节转换等，其转换图像纹理清晰，对于色彩和结构的转换具有较强的真实感。设想，如果能够将深度神经网络的图像转换模型迁移到红外图像转换上，将会大幅度提高红外图像的获取速度，丰富红外仿真图像的细节纹理信息，有利于进行相关红外仪器的研究和测试。并且在多光谱图像处理领域、异谱图像融合、多光谱图像分析以及自动驾驶等，同样需要红外图像进行额外信息补充，辅助模型进行决策判断。
基于可见光图像转换红外图像是一个具有挑战性的问题。红外图像转换需要神经网络学习可见光图像和红外图像在局部结构和细节纹理方面的映射关系。一些方法通过对可见光图像进行材质分隔，并构建统一的辐射方程，获取对应红外图像，但是这种方法需要耗费大量人力物力，并且由于材质分隔的粗粒度操作，获取的红外图像在细节纹理方面呈现大面积同色，与真实红外图像存在一定的误差。
发明内容
本发明的目的在于针对现有基于可见光图像转换红外图像方法存在的不足以及红外转换图像的细节缺失问题，提出了一种基于生成对抗网络的可见光图像转换红外图像方法，以生成模型构建可见光图像和红外图像的映射关系，能够通过对特征信息的多尺度增强，扩大网络的感受野，获取更加丰富的上下文信息，保留更多的细节纹理，并通过判别模型纠正生成模型的错误映射，提高红外转换图像的准确性，并能够大幅度降低红外图像的获取难度，提高红外转换图像的局部结构和细节纹理。
为了达到上述目的，本发明采用如下方案：
一种基于生成对抗网络的可见光图像转换红外图像方法，包括如下步骤：
步骤A：选择包含可见光图像和红外图像的公开数据集，对数据集中的可见光图像和红外图像进行图像配对，将图像对裁剪至大小和分辨率保持一致，水平拼接为同一张图像，对数据集进行预处理，并将其划分为训练集和测试集；
步骤B：搭建具有生成模型和判别模型的可见光图像转换红外图像神经网络模型，该可见光图像转换红外图像神经网络模型的生成模型能够将可见光图像转换为对应红外转换图像，判别模型则对生成模型转换的红外转换图像和真实红外图像进行分类判断，给出真伪二元分类的可能性大小；
步骤C：将训练集输入至搭建的可见光图像转换红外图像神经网络模型中进行训练，得到红外图像转换模型；
步骤D：利用训练得到的红外图像转换模型对测试集进行测试，得到测试集中每个可见光图像对应的红外转换图像，通过计算红外转换图像和真实红外图像的图像质量评价指标，得到神经网络将可见光图像转换为红外图像的误差大小。
所述步骤B的具体步骤如下：
步骤B01：可见光图像转换红外图像神经网络模型中的生成模型由编码模块、特征学习模块以及解码模块三部分组成，其中编码模块和解码模块由不同尺度的卷积操作和采样操作组成，特征学习模块则是由多个残差块组成，输入可见光图像，生成模型对其进行图像映射处理，得到对应的红外转换图像；
步骤B02：可见光图像转换红外图像神经网络模型中的判别模型则是由卷积操作和下采样操作组成，扮演图像分类器，引导生成模型下一步的迭代方向。判别模型的输入对象为真实红外图像或者红外转换图像，通过降低图像维度，获取特征信息，对输入对象进行真伪二元分类，根据分类结果，计算生成对抗损失。
所述步骤C的具体步骤如下：
步骤C01：对步骤B中所搭建的可见光图像转换红外图像神经网络模型进行训练时所使用的损失函数为
Figure BDA0004147148900000031
其中pdata表示真实红外图像数据分布，px表示真实可见光图像数据分布，G和D分别为生成模型和判别模型，G(x)表示生成模型输出的红外转换图像/>
Figure BDA0004147148900000032
表示生成模型希望最小化生成对抗损失，而判别模型最大化生成对抗损失，/>
Figure BDA0004147148900000033
表示判别模型判断真实红外图像的真实性，希望越小越好，/>
Figure BDA0004147148900000034
表示判别模型判断红外转换图像的真实性；
步骤C02：对训练集进行预处理，将预处理之后的训练集输入至搭建的可见光图像转换红外图像神经网络模型中，进行前向计算和反向传播训练神经网络模型，优化神经网络参数，当损失函数收敛之后，得到红外图像转换模型。
所述步骤D的具体步骤如下：
步骤D01：将测试集中的每一个可见光图像样本输入至步骤C中训练得到的红外图像转换模型，得到测试集中每个可见光图像样本对应的红外转换图像；
步骤D02：计算测试集中的真实可见光图像对应的真实红外图像与基于可见光图像的红外转换图像在相关图像评价指标上的数据，包括PSNR、SSIM、LPIPS、FID指标，通过对比指标大小，得到神经网络红外图像转换的误差大小。
与现有技术相比，本发明具有以下优点：
第一，本发明使用深度学习方法利用可见光图像获取红外转换图像，不需要进行材质分隔、辐射计算以及灰度映射的操作，能够通过神经网络模型直接得到红外转换图像；
第二，本发明利用了生成模型对于特征构建的映射关系，通过判别模型纠正生成模型的错误映射，大幅度降低获取红外图像的难度，有效提高红外图像转换的准确性。
附图说明
图1是本发明方法的整体流程图。
图2a和图2b分别是经过预处理之后的可见光图像和红外图像。
图3是神经网络的网络结构示意图。
具体实施方式
下面结合附图详细介绍本发明各步骤中的具体细节。
本发明提出了一种基于生成对抗网络的可见光图像转换红外图像方法，该方法的整个流程如图1所示。
该方法主要包括以下步骤：
步骤A：选择包含可见光图像和红外图像的公开数据集，对数据集中的可见光图像和红外图像进行图像配对，将图像对裁剪至大小和分辨率保持一致，水平拼接为同一张图像，对数据集进行预处理，预处理之后的可见光图像如图2a所示，预处理之后的真实红外图像如图2b所示，并将可见光红外图像数据集划分为训练集和测试集；
步骤B：搭建具有生成模型和判别模型的可见光图像转换红外图像神经网络模型，网络模型结构如图3所示。可见光图像转换红外图像神经网络的生成模型能够将可见光图像转换为对应红外转换图像，判别模型则对生成模型转换的红外转换图像和真实红外图像进行分类判断，给出真伪二元分类的可能性大小；
所述步骤B的具体步骤如下：
步骤B01：可见光图像转换红外图像神经网络模型中的生成模型由编码模块、特征学习模块以及解码模块三部分组成，其中编码模块和解码模块由不同尺度的卷积操作和采样操作组成，特征学习模块则是由多个残差块组成，输入可见光图像，生成模型对其进行图像映射处理，得到对应的红外转换图像；
步骤B02：可见光图像转换红外图像神经网络模型中的判别模型则是由卷积操作和下采样操作组成，扮演图像分类器，引导生成模型下一步的迭代方向。判别模型的输入对象为真实红外图像或者红外转换图像，通过降低图像维度，获取特征信息，对输入对象进行真伪二元分类，根据分类结果，计算生成对抗损失。
步骤C：将训练集输入至搭建的可见光图像转换红外图像神经网络模型中进行训练，得到红外图像转换模型；
所述步骤C的具体步骤如下：
步骤C01：对步骤B中所搭建的可见光图像转换红外图像神经网络模型进行训练时所使用的损失函数为
Figure BDA0004147148900000061
其中pdata表示真实红外图像数据分布，px表示真实可见光图像数据分布，G和D分别为生成模型和判别模型，G(x)表示生成模型输出的红外转换图像，/>
Figure BDA0004147148900000062
表示生成模型希望最小化生成对抗损失，而判别模型最大化生成对抗损失，/>
Figure BDA0004147148900000063
表示判别模型判断真实红外图像的真实性，希望越小越好，/>
Figure BDA0004147148900000064
表示判别模型判断红外转换图像的真实性；
步骤C02：对训练集进行预处理，将预处理之后的训练集输入至搭建的可见光图像转换红外图像神经网络模型中，进行前向计算和反向传播训练神经网络模型，优化神经网络参数，当损失函数收敛之后，得到红外图像转换模型。
步骤D：利用训练得到的红外图像转换模型对测试集进行测试，得到测试集中每个可见光图像对应的红外转换图像，通过计算红外转换图像和真实红外图像的图像质量评价指标，得到神经网络将可见光图像转换为红外图像的误差大小。
所述步骤D的具体步骤如下：
步骤D01：将测试集中的每一个可见光图像样本输入至步骤C中训练得到的红外图像转换模型，得到测试集中每个可见光图像样本对应的红外转换图像；步骤D02：计算测试集中的真实可见光图像对应的真实红外图像与基于可见光图像的红外转换图像在相关图像评价指标上的数据，包括PSNR、SSIM、LPIPS、FID指标，通过对比指标大小，得到神经网络红外图像转换的误差大小。

Claims (4)

1.一种基于生成对抗网络的可见光图像转换红外图像方法，其特征在于：包括如下步骤：
步骤A：选择包含可见光图像和红外图像的公开数据集，对数据集中的可见光图像和红外图像进行图像配对，将图像对裁剪至大小和分辨率保持一致，水平拼接为同一张图像，对数据集进行预处理，并将其划分为训练集和测试集；
步骤B：搭建具有生成模型和判别模型的可见光图像转换红外图像神经网络模型，该可见光图像转换红外图像神经网络模型的生成模型能够将可见光图像转换为对应红外转换图像，判别模型则对生成模型转换的红外转换图像和真实红外图像进行分类判断，给出真伪二元分类的可能性大小；
步骤C：将训练集输入至搭建的可见光图像转换红外图像神经网络模型中进行训练，得到红外图像转换模型；
步骤D：利用训练得到的红外图像转换模型对测试集进行测试，得到测试集中每个可见光图像对应的红外转换图像，通过计算红外转换图像和真实红外图像的图像质量评价指标，得到神经网络将可见光图像转换为红外图像的误差大小。
2.根据权利要求1所述的一种基于生成对抗网络的可见光图像转换红外图像方法，其中特征在于：所述步骤B的具体步骤如下：
步骤B01：可见光图像转换红外图像神经网络模型中的生成模型由编码模块、特征学习模块以及解码模块三部分组成，其中编码模块和解码模块由不同尺度的卷积操作和采样操作组成，特征学习模块则是由多个残差块组成，输入可见光图像，生成模型对其进行图像映射处理，得到对应的红外转换图像；
步骤B02：可见光图像转换红外图像神经网络模型中的判别模型则是由卷积操作和下采样操作组成，扮演图像分类器，引导生成模型下一步的迭代方向；判别模型的输入对象为真实红外图像或者红外转换图像，通过降低图像维度，获取特征信息，对输入对象进行真伪二元分类，根据分类结果，计算生成对抗损失。
3.根据权利要求1所述的一种基于生成对抗网络的可见光图像转换红外图像方法，其特征在于：所述步骤C的具体步骤如下：
步骤C01：对步骤B中所搭建的可见光图像转换红外图像神经网络模型进行训练时所使用的目标函数为
Figure FDA0004147148890000021
其中pdata表示真实红外图像数据分布，px表示真实可见光图像数据分布，G和D分别为生成模型和判别模型，G(x)表示生成模型输出的红外转换图像，/>
Figure FDA0004147148890000022
表示生成对抗损失，同时作用于生成模型和判别模型，生成模型希望最小化生成对抗损失，而判别模型希望最大化生成对抗损失，/>
Figure FDA0004147148890000023
表示判别模型判断真实红外图像的真实性，
Figure FDA0004147148890000024
表示判别模型判断红外转换图像的真实性；
步骤C02：对训练集进行预处理，将预处理之后的训练集输入至搭建的可见光图像转换红外图像神经网络模型中，进行前向计算和反向传播训练神经网络模型，优化神经网络参数，当损失函数收敛之后，得到红外图像转换模型。
4.根据权利要求1所述的一种基于生成对抗网络的可见光图像转换红外图像方法，其特征在于：所述步骤D的具体步骤如下：
步骤D01：将测试集中的每一个可见光图像样本输入至步骤C中训练得到的红外图像转换模型，得到测试集中每个可见光图像样本对应的红外转换图像；
步骤D02：计算测试集中的真实可见光图像对应的真实红外图像与基于可见光图像的红外转换图像在相关图像评价指标上的数据，包括PSNR、SSIM、LPIPS、FID指标，通过对比指标大小，得到神经网络红外图像转换的误差大小。
CN202310307029.3A 2023-03-27 2023-03-27 基于生成对抗网络的可见光图像转换红外图像方法 Pending CN116309228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310307029.3A CN116309228A (zh) 2023-03-27 2023-03-27 基于生成对抗网络的可见光图像转换红外图像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310307029.3A CN116309228A (zh) 2023-03-27 2023-03-27 基于生成对抗网络的可见光图像转换红外图像方法

Publications (1)

Publication Number Publication Date
CN116309228A true CN116309228A (zh) 2023-06-23

Family

ID=86828581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310307029.3A Pending CN116309228A (zh) 2023-03-27 2023-03-27 基于生成对抗网络的可见光图像转换红外图像方法

Country Status (1)

Country Link
CN (1) CN116309228A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853805A (zh) * 2024-01-10 2024-04-09 长春理工大学 一种生成长波红外图像的方法、***与装置
CN117975383A (zh) * 2024-04-01 2024-05-03 湖北经济学院 一种基于多模态图像融合技术的车辆定位和识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853805A (zh) * 2024-01-10 2024-04-09 长春理工大学 一种生成长波红外图像的方法、***与装置
CN117975383A (zh) * 2024-04-01 2024-05-03 湖北经济学院 一种基于多模态图像融合技术的车辆定位和识别方法

Similar Documents

Publication Publication Date Title
CN112287940B (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN110322423B (zh) 一种基于图像融合的多模态图像目标检测方法
CN116309228A (zh) 基于生成对抗网络的可见光图像转换红外图像方法
CN109948692B (zh) 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法
CN111161200A (zh) 基于注意力机制的人体姿态迁移方法
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN113837366A (zh) 一种多风格字体生成方法
CN109919921B (zh) 基于生成对抗网络的环境影响程度建模方法
CN109376787A (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN117058266B (zh) 一种基于骨架和轮廓的书法字生成方法
CN113989261A (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN114821342A (zh) 一种遥感影像道路提取方法及***
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及***
CN113486712B (zh) 一种基于深度学习的多人脸识别方法、***和介质
CN114639002A (zh) 一种基于多模式特征的红外与可见光图像融合方法
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN112330562B (zh) 一种异构遥感图像变换方法及***
CN118015332A (zh) 一种遥感影像显著性目标检测方法
CN116543146B (zh) 一种基于窗口自注意与多尺度机制的图像密集描述方法
CN117152630A (zh) 一种基于深度学习的光学遥感图像变化检测方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination