CN114219870A - 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与*** - Google Patents

用于无人机高光谱图像超分辨率重建的辅助图像生成方法与*** Download PDF

Info

Publication number
CN114219870A
CN114219870A CN202111493634.1A CN202111493634A CN114219870A CN 114219870 A CN114219870 A CN 114219870A CN 202111493634 A CN202111493634 A CN 202111493634A CN 114219870 A CN114219870 A CN 114219870A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
frequency band
hyperspectral
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111493634.1A
Other languages
English (en)
Inventor
邢长达
汪美玲
段朝伟
丛玉华
王志胜
刘一柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Nanjing University of Aeronautics and Astronautics
Original Assignee
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics, Nanjing University of Aeronautics and Astronautics filed Critical Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority to CN202111493634.1A priority Critical patent/CN114219870A/zh
Publication of CN114219870A publication Critical patent/CN114219870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***，首先考虑高光谱成像设备各频段通道的特性，建立光谱响应输出函数；其次，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道；最后，将选择出的通道标记转化为控制信号，控制无人机载辅助受控可调节光谱成像仪，在最优的频段通道上输出对应的辅助图像。本发明将辅助图像的频段选择和具有场景目标特性的高光谱图像整合到同一个模型框架下，充分考虑辅助图像和高光谱图像之间的关系，在无人工干预的情况下，根据目标场景特性自适应地生成最有利于重建的辅助图像。

Description

用于无人机高光谱图像超分辨率重建的辅助图像生成方法与 ***
技术领域
本发明涉及高光谱图像处理技术领域，尤其是一种用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***。
背景技术
基于高光谱图像分析的无人机遥感技术属于无人机技术结合遥感科学和计算机科学的交叉技术领域，目前的许多研究主要集中在对采集的高光谱图像进行信息提取及目标检测与分类等问题，在国土资源监测、军事侦察等应用中得到了广泛的应用。然而，上述研究结果往往受无人机采集的高光谱图像质量影响，较差的高光谱图像无法为研究提供可靠的、客观的以及精确的数据支持，易导致军事上的决策失误。高光谱图像是一种三维光谱数据，一方面，它包含极高光谱分辨率，能够精确识别和区分目标场景中物体的类别。另一方面，由于太阳光子分布在太多的频段上，因此高光谱成像设备必须降低空间分辨率，以保证每个频段拥有一定数量的光子，使得无人机高光谱图像的空间分辨率往往比自然图像更低。为达到可靠的目标侦查及监测，通常需要极高的空间分辨率。因此，对低分辨率的高光谱图像进行超分辨率重建，增强其空间分辨率，满足无人机获取更为精确目标信息的应用要求，显得尤其重要，这也是无人机遥感技术的核心问题之一。
无人机高光谱图像超分辨率重建所面临的最基本问题是信息缺失，即从少量的空间信息恢复出高空间信息量的高光谱图像是一个病态问题，本身就存在严重的信息缺失。为弥补信息缺失，一种常用的方式是在无人机上另挂载一个高空间分辨率照相机，以此引入高光谱图像数据之外的信息来参与高光谱图像超分辨率重建。现有的可用于无人机高光谱图像超分辨率重建算法往往采用RGB、全色照相机以及多光谱相机来生成参与重建的辅助图像。这些辅助图像是通过利用特定频段来确定的，如RGB图像是固定在0.630-0.680μm(红色)、0.525-0.600μm(绿色)和0.450-0.515μm(蓝色)这三个频段通道上。对于无人机高光谱图像重建任务，设计选择更有利于重建的频段则可在同样的图像采集成本达到更好的重建任务。一些工作表明，在同一个重建方法上，RGB图像往往达不到最优的效果，这使得将RGB图像作为辅助的重建方法应用前景有限。而全色图像作为辅助参与重建时，单通道的空间信息会产生明显的光谱失真。尽管多光谱图像的频段数量较为丰富(一般包含3-10个频段信息)，但是这些频段是人为预先定义的，难以保证场景自适应。另外，无人机在不同目标场景进行连续采集的高光谱图像，由于不同场景包含的物质、元素组成以及结构等不同，其具有不同的光谱特征，因此可能会造成相同频段生成的辅助图像所引导的不同高光谱图像重建结果时好时坏，泛化性较差。
综上，场景自适应难是目前许多无人机高光谱图像超分辨率的重建方法所面临的一大挑战，如何根据目标场景自适应地选择更有利于高光谱重建的辅助图像需要进一步研究。
发明内容
本发明所要解决的技术问题在于，提供一种用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***，能够在无人工干预的情况下，根据目标场景特性自适应地选择出最有利于重建的辅助图像，从而为高光谱图像超分辨率重建提供可靠的数据支持。
为解决上述技术问题，本发明提供一种用于无人机高光谱图像超分辨率重建的辅助图像生成方法，包括如下步骤：
步骤一、对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述；
步骤二、为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道；
步骤三、将对应的通道标记转化为控制信号，控制无人机载辅助受控可调高光谱成像仪，在最优的频段通道输出对应的辅助图像。
优选的，步骤一中，对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述具体为：
Hk＝S(k)L(k)，k＝1，2，...，N
其中，k表示频段通道编号；
Figure BDA0003399341430000021
是成像设备在k通道采集到的图像信号，且k≤N，a×b表示通道图像的尺寸；所有的Hk堆叠成三维的高光谱图像
Figure BDA0003399341430000022
S(k)表示通道k的光谱响应函数，总的光谱响应形式可表示为S＝[S(1)，S(2)，...，S(k)，...，S(N)]；L(k)表示在通道k的光谱辐射。
优选的，步骤二中，为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道具体为：在步骤一的光谱响应输出函数中，光谱辐射L(k)经过对应的光谱响应函数S(k)而生成的频段图像的过程，等价于卷积神经网络中1×1卷积核的卷积操作；因此，把每个频段通道的响应函数S(k)堆叠为多通道的卷积核(通道总数为N)，作为卷积神经网络的第一层，模拟频段选择过程；同时，利用通道注意力机制，并施加稀疏约束，即约束网络仅使用较少的通道数生成频段图像；综上，提出用于频段通道选择的卷积神经网络的损失函数如下：
Figure BDA0003399341430000031
Subject to，Sk∈S，wk∈W
其中，第一项是重建误差，
Figure BDA0003399341430000032
是训练样本，为高光谱图像的各像素向量，且M＝a×b；M是训练样本的数量；N是通道总数；Sk在上述网络中表示1×1卷积核；
Figure BDA0003399341430000033
表示卷积操作，用于模拟频段通道选择过程，对hm进行采样；wk代表注意力机制下对应每个通道的参数；f表示选择网络；φ为选择网络的参数，第二项为稀疏正则化项，α是正则化参数；W表示参数向量，在稀疏约束下，大部分权值大小接近0值，余下的通道就是选择出的频段通道，得到对应通道标记。
相应的，用于无人机高光谱图像超分辨率重建的辅助图像生成***，包括：无人机载处理模块、无人机载存储模块、无人机载主高光谱图像成像设备和无人机载辅助受控可调高光谱成像仪；无人机载处理模块分别与无人机载存储模块、无人机载主高光谱图像成像设备、无人机载辅助受控可调高光谱成像仪电气连接。
优选的，无人机载存储模块可被编程或配置；无人机载主高光谱图像成像设备用于获取目标场景的高光谱图像；无人机载辅助受控可调高光谱成像仪通过输入控制信号选择任意数量和编号的频段通道从而生成辅助图像。
本发明的有益效果为：本发明将辅助图像的频段选择和具有场景目标特性的高光谱图像整合到同一个模型框架下，充分考虑辅助图像和高光谱图像之间的关系，在无人工干预的情况下，根据目标场景特性自适应地选生成最有利于重建的辅助图像。
附图说明
图1为本发明的方法流程示意图。
图2为本发明***框架结构示意图。
图3为本发明无人机载辅助受控可调高光谱成像仪生成辅助图像过程示意图。
具体实施方式
如图1所示，一种用于无人机高光谱图像超分辨率重建的辅助图像生成方法，包括如下步骤：
步骤一、对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述；
步骤二、为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道；
步骤三、将对应的通道标记转化为控制信号，控制无人机载辅助受控可调高光谱成像仪，在最优的频段通道输出对应的辅助图像。
步骤一中，对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述具体为：
Hk＝S(k)L(k)，k＝1，2，...，N
其中，k表示频段通道编号；
Figure BDA0003399341430000041
是成像设备在k通道采集到的图像信号，且k≤N，a×b表示通道图像的尺寸；所有的Hk堆叠成三维的高光谱图像
Figure BDA0003399341430000042
S(k)表示通道k的光谱响应函数，总的光谱响应形式可表示为S＝[S(1)，S(2)，...，S(k)，...，S(N)]；L(k)表示在通道k的光谱辐射。
步骤二中，为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道具体为：在步骤一的光谱响应输出函数中，光谱辐射L(k)经过对应的光谱响应函数S(k)而生成的频段图像的过程，等价于卷积神经网络中1×1卷积核的卷积操作；因此，把每个频段通道的响应函数S(k)堆叠为多通道的卷积核(通道总数为N)，作为卷积神经网络的第一层，模拟频段选择过程；同时，利用通道注意力机制，并施加稀疏约束，即约束网络仅使用较少的通道数生成频段图像；综上，提出用于频段通道选择的卷积神经网络的损失函数如下：
Figure BDA0003399341430000043
Subject to，Sk∈S，wk∈W
其中，第一项是重建误差，
Figure BDA0003399341430000044
是训练样本，为高光谱图像的各像素向量，且M＝a×b；M是训练样本的数量；N是通道总数；Sk在上述网络中表示1×1卷积核；
Figure BDA0003399341430000051
表示卷积操作，用于模拟频段通道选择过程，对hm进行采样；wk代表注意力机制下对应每个通道的参数；f表示选择网络；φ为选择网络的参数，第二项为稀疏正则化项，α是正则化参数；W表示参数向量，在稀疏约束下，大部分权值大小接近0值，余下的通道就是选择出的频段通道，得到对应通道标记。
相应的，如图2所示，用于无人机高光谱图像超分辨率重建的辅助图像生成***，包括：无人机载处理模块、无人机载存储模块、无人机载主高光谱图像成像设备和无人机载辅助受控可调高光谱成像仪；无人机载处理模块分别与无人机载存储模块、无人机载主高光谱图像成像设备、无人机载辅助受控可调高光谱成像仪电气连接。
无人机载存储模块可被编程或配置；无人机载主高光谱图像成像设备用于获取目标场景的高光谱图像；无人机载辅助受控可调高光谱成像仪通过输入控制信号选择任意数量和编号的频段通道从而生成辅助图像，如图3所示。
本发明将辅助图像的频段选择和具有场景目标特性的高光谱图像整合到同一个模型框架下，充分考虑辅助图像和高光谱图像之间的关系，在无人工干预的情况下，根据目标场景特性自适应地选生成最有利于重建的辅助图像。

Claims (5)

1.用于无人机高光谱图像超分辨率重建的辅助图像生成方法，其特征在于，包括如下步骤：
步骤一、对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述；
步骤二、为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道；
步骤三、将对应的通道标记转化为控制信号，控制无人机载辅助受控可调高光谱成像仪，在最优的频段通道输出对应的辅助图像。
2.如权利要求1所述的用于无人机高光谱图像超分辨率重建的辅助图像生成方法，其特征在于，步骤一中，对于无人机挂载的主高光谱图像成像设备，其各频段通道的特性通过建立光谱响应输出函数来描述具体为：
Hk＝S(k)L(k),k＝1,2,…,N
其中，k表示频段通道编号；
Figure FDA0003399341420000011
是成像设备在k通道采集到的图像信号，且k≤N，a×b表示通道图像的尺寸；所有的Hk堆叠成三维的高光谱图像
Figure FDA0003399341420000012
S(k)表示通道k的光谱响应函数，总的光谱响应形式可表示为S＝[S(1),S(2),…,S(k),…,S(N)]；L(k)表示在通道k的光谱辐射。
3.如权利要求1所述的用于无人机高光谱图像超分辨率重建的辅助图像生成方法，其特征在于，步骤二中，为了选择有助于超分辨率重建的频段通道，建立一种卷积神经网络的频段通道选择模型，将频段选择过程嵌入到神经网络中，在训练中自适应地选择最优频段通道具体为：在步骤一的光谱响应输出函数中，光谱辐射L(k)经过对应的光谱响应函数S(k)而生成的频段图像的过程，等价于卷积神经网络中1×1卷积核的卷积操作；因此，把每个频段通道的响应函数S(k)堆叠为多通道的卷积核，通道总数为N，作为卷积神经网络的第一层，模拟频段选择过程；同时，利用通道注意力机制，并施加稀疏约束，即约束网络仅使用较少的通道数生成频段图像；综上，提出用于频段通道选择的卷积神经网络的损失函数如下：
Figure FDA0003399341420000013
Subject to,Sk∈S，wk∈W
其中，第一项是重建误差，
Figure FDA0003399341420000021
是训练样本，为高光谱图像的各像素向量，且M＝a×b；M是训练样本的数量；N是通道总数；Sk在上述网络中表示1×1卷积核；
Figure FDA0003399341420000022
表示卷积操作，用于模拟频段通道选择过程，对hm进行采样；wk代表注意力机制下对应每个通道的参数；f表示选择网络；φ为选择网络的参数，第二项为稀疏正则化项，α是正则化参数；W表示参数向量，在稀疏约束下，大部分权值大小接近0值，余下的通道就是选择出的频段通道，得到对应通道标记。
4.用于无人机高光谱图像超分辨率重建的辅助图像生成***，其特征在于，包括：无人机载处理模块、无人机载存储模块、无人机载主高光谱图像成像设备和无人机载辅助受控可调高光谱成像仪；无人机载处理模块分别与无人机载存储模块、无人机载主高光谱图像成像设备、无人机载辅助受控可调高光谱成像仪电气连接。
5.如权利要求4所述的用于无人机高光谱图像超分辨率重建的辅助图像生成***，其特征在于，无人机载存储模块可被编程或配置；无人机载主高光谱图像成像设备用于获取目标场景的高光谱图像；无人机载辅助受控可调高光谱成像仪通过输入控制信号选择任意数量和编号的频段通道从而生成辅助图像。
CN202111493634.1A 2021-12-08 2021-12-08 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与*** Pending CN114219870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493634.1A CN114219870A (zh) 2021-12-08 2021-12-08 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111493634.1A CN114219870A (zh) 2021-12-08 2021-12-08 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***

Publications (1)

Publication Number Publication Date
CN114219870A true CN114219870A (zh) 2022-03-22

Family

ID=80700338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111493634.1A Pending CN114219870A (zh) 2021-12-08 2021-12-08 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***

Country Status (1)

Country Link
CN (1) CN114219870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115542318A (zh) * 2022-10-12 2022-12-30 南京航空航天大学 面向无人机群目标的空地联合多域探测***和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115542318A (zh) * 2022-10-12 2022-12-30 南京航空航天大学 面向无人机群目标的空地联合多域探测***和方法
CN115542318B (zh) * 2022-10-12 2024-01-09 南京航空航天大学 面向无人机群目标的空地联合多域探测***和方法

Similar Documents

Publication Publication Date Title
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
JP6945953B2 (ja) 撮像システム及び画像処理の方法
Fu et al. Joint camera spectral response selection and hyperspectral image recovery
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
Fu et al. Joint camera spectral sensitivity selection and hyperspectral image recovery
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110956581B (zh) 一种基于双通道生成-融合网络的图像模态变换方法
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN110880163B (zh) 一种基于深度学习的弱光彩色成像方法
CN114998145A (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络***及方法
CN111814545A (zh) 作物识别方法、装置、电子设备及存储介质
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及***
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN114219870A (zh) 用于无人机高光谱图像超分辨率重建的辅助图像生成方法与***
CN110555877B (zh) 一种图像处理方法、装置及设备、可读介质
CN112991236B (zh) 一种基于模板的图像增强方法及装置
CN106780424A (zh) 一种基于极少数优化选择波段的高光谱图像获取方法
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
CN116029954A (zh) 一种图像融合方法及装置
CN116189160A (zh) 一种基于局部对比度机制的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination