CN114972803A - 一种基于联合优化的快照式光谱成像方法和*** - Google Patents
一种基于联合优化的快照式光谱成像方法和*** Download PDFInfo
- Publication number
- CN114972803A CN114972803A CN202210403141.2A CN202210403141A CN114972803A CN 114972803 A CN114972803 A CN 114972803A CN 202210403141 A CN202210403141 A CN 202210403141A CN 114972803 A CN114972803 A CN 114972803A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral image
- spectral
- hyperspectral
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005457 optimization Methods 0.000 title claims abstract description 62
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 34
- 230000003595 spectral effect Effects 0.000 claims abstract description 95
- 238000005316 response function Methods 0.000 claims abstract description 40
- 238000001228 spectrum Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于联合优化的快照式光谱成像方法和***，属于计算机光谱成像技术领域。本发明基于深度学习的高光谱图像重建技术，对空间维和光谱维的排布模式进行联合优化，同时重建高光谱图像，能够有效提取高光谱图像的内部特征。通过一个深度展开网络，同时解决了空间去马赛克和光谱超分辨率，能够显式地利用模型特点，使网络更加灵活且更具解释性。通过设计优化层，联合优化了空间多光谱滤波阵列和光谱响应函数的排布模式，充分利用了高光谱图像的空谱相关性，提高了高光谱图像的重构精度。
Description
技术领域
本发明涉及一种能够获取高质量高光谱图像的方法，具体涉及一种基于联合优化的快照式光谱成像方法和***，属于计算机光谱成像技术领域。
背景技术
高光谱成像是一种分析大量窄波段的影像数据技术，其结合了成像和光谱两大技术。利用该技术采集得到的数据立方体，即为高光谱图像，照射到每个像素的光被分解为许多不同的光谱带，而不仅仅是为每个像素分配三原色。通常，人眼看到的可见光颜色主要分为三个波段：长波感知为红色，中波长感知为绿色，短波感知为蓝色。但光谱成像将光谱划分为更多波段，包含目标场景的二维空间信息和一维光谱信息。高光谱图像丰富的光谱细节能够反映场景的光照和材料信息，因此，该技术被广泛应用在食品安全、医学诊断、航天领域等领域。
根据成像手段，目前的光谱成像***可分为两类：扫描式和快照式。其中，扫描式光谱成像技术根据光谱和空间维度进行采样，且要求场景是静态的，直至完全采集到数据立方体。早期的扫描式光谱成像技术，每次对一个波段进行采样，或一次对所有波段的一行像素进行空间采样；后期出现了空间光谱线扫描装置，该装置包括一个放置在狭缝光谱仪后面的相机和一个色散元件，通过在与采集的行正交的方向上单独移动场景、相机或狭缝来采集完整的高光谱图像。但是，上述不断发展的扫描式光谱成像***需要对场景进行空间或光谱扫描，因此此类设备通常较为复杂且成像时间长，限制了其在高速捕捉动态场景方面的应用。
为了克服扫描式光谱成像***的缺点，近年来，出现了一种新型的光谱成像***，采用快照式光谱成像技术。快照式光谱成像***配备了多光谱滤波阵列和光谱响应函数，获取不同波长的区域图像，能够瞬间生成马赛克图像，再搭配后端的去马赛克算法，极大地减少了扫描式成像设备的时间成本。通过快照获取的马赛克图像的每个像素仅有一个波段的信息，其光谱信息通过光谱响应函数集成到多个波段中，并且所有波段中只有一个光谱值由多光谱滤波阵列记录在每个像素位置。
由于多光谱滤波阵列的空间采样，需要空间去马赛克算法来恢复丢失的空间信息。然而，空间去马赛克算法仅解决了空间欠采样问题，只能恢复有限数量的波段。为了完全重构出具有高空间和光谱分辨率的高光谱图像，还需要使用光谱超分辨率算法，对具有一组更精细波段的粗高光谱图像进行光谱重投影。空间去马赛克和光谱超分辨率在计算相机中作为软件解码器工作，然而，它们传统上是以独立和顺序的方式处理，这导致了错误累积和次优重建。
除此之外，由Brauers和Aach提出的较为主流的空间去马赛克方法，均在给定的多光谱滤波阵列下进行高光谱图像重建。对于光谱超分辨率方法，绝大多数研究也是在给定的光谱响应函数下进行光谱重建。Gharbi指出，硬件端的多光谱滤波阵列和光谱响应函数可以分别从空间域和光谱域对恢复出来的高光谱图像质量产生较大影响。
为了优化空间多光谱滤波阵列，一些传统的空间去马赛克方法在Miao提出的光谱一致性和空间均匀性这两大标准下设计了各种多光谱滤波阵列的排布方式。此外，为了优化光谱响应函数，Arad传统的光谱超分辨率方法采用进化优化方法来选择最优的光谱响应。最近，深度学习方法联合优化了从自然图像中选择光谱响应函数和重建高光谱图像这两个过程。然而，空间多光谱滤波阵列的排布模式和光谱响应函数的分布模式总是在空间和光谱域分别进行优化，这可能导致次优解。
发明内容
本发明的目的是针对现有技术存在的分离空间去马赛克和光谱超分辨率这两个过程的问题，且极少研究空间多光谱滤波阵列和光谱响应函数的排布模式等不足，为实现包括联合优化多光谱滤波阵列和光谱响应函数、联合空间去马赛克和光谱超分辨率，以及高光谱图像重建等，创造性地提出一种基于联合优化的快照式光谱成像方法和***。
为达到以上目的，本发明采用以下技术方案。
在训练阶段，首先构建高光谱图像训练数据集；从训练数据集中随机选取若干高光谱图像输入联合优化网络模型，模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像；然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并迭代更新模型中的参数，直到满足预设条件后停止训练；
在使用阶段，利用训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
一种基于联合优化的快照式光谱成像方法，包括以下步骤：
步骤1：训练阶段。制作高光谱图像训练数据集，迭代修改算法模型的参数字典。
具体地，步骤1包括以下步骤：
步骤1.1：对高光谱图像数据集进行预处理(包括图像增强、裁剪)，生成训练数据集。
具体方法如下：
下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64×64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。
步骤1.2：设计多光谱滤波阵列和光谱响应函数。两者的参数可学习，目的是将对硬件端的多光谱滤波阵列和光谱响应函数进行联合优化，使软硬件能够相互约束。
首先，对多光谱响应函数进行优化。为了将最优空间信息引入高光谱成像过程，设计一个可学习的光谱响应函数曲线。最后，将两者一起伴随网络迭代，从而进行相关参数的更新。
对于多光谱滤波阵列的空间排布优化，本发明将其实现为一个可训练的物理二进制掩码。其中，多光谱滤波阵列F视作一个0-1向量，它能够产生严重的空间欠采样，用于模拟快照式光谱成像***采集马赛克图像的过程。本发明选择4×4的阵列大小，通过平铺多光谱滤波阵列，直至铺满整张训练样本来获得相应的传感器测量值。
在设计多光谱滤波阵列过程中，需要进一步考虑其所受物理约束，确保其能够被制造出来。为此，可以对多光谱滤波阵列使用含温度系数的Softmax操作，在Softmax函数的作用下，每个像素沿光谱的较大值将逐渐占主导地位，使学习到的多光谱滤波阵列变成0-1向量。
由于空间排布学习仅仅在空间维度上优化了高光谱图像的采集模式，为了在空间和光谱维度上同时优化采集模式，本发明进一步引入空间光谱联合优化层。具体地，从候选光谱响应函数集合中为多光谱滤波阵列的每个空间位置选择最佳的光谱响应，或者通过网络本身直接设计最佳空间光排布。
根据马赛克图像与高光谱图像之间的线性关系，马赛克图像Y的每个空间位置可以解释为高光谱图像沿光谱维度的加权和，不同的空间位置具有不同的权重。在空间光谱模式优化中，应用以下两个约束：首先，由于模拟的马赛克图像的每个像素值应该是正数，所以学***滑，以促进滤波器的实现。由此实现了强制网络学***滑的空间光谱排布模式。
步骤1.3：高光谱图像重建网络模型根据输入的高光谱图像，在模型内先进行马赛克化，再进行重构，最终产生一组多光谱滤波阵列掩膜和光谱响应函数的排布方式，以及一份重构的高光谱图像。然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并据此更新模型中的参数。
具体方法如下：
首先，从训练数据集中随机选取若干高光谱图像(如选取16张)输入联合优化网络模型。模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像。
其中，联合优化网络模型包括深度先验正则化与卷积神经网络。
由于从马赛克图像Y中恢复原始高光谱图像X是一个逆问题，因此需要各种先验知识。本发明将优化算法展开为卷积神经网络。在本发明中，不是训练单个卷积神经网络，而是使用一系列卷积神经网络，将测量值映射到所需信号域。这种深度展开框架提高了所提出模型的灵活性和可解释性。
在深度先验正则化中，遵循模仿先验正则化优化结构，并将迭代展开到深度网络。因为变换矩阵A与多光谱滤波阵列和光谱响应函数高度相关，可近似表示马赛克图像Y与底层高光谱图像之间的关系。然而，高光谱图像重建问题是一个逆问题，采用正则化先验来最小化问题公式是可行的。然而，如果正则化项是不可微的，求解该问题公式则极为困难。通常的做法是将根据退化模型约束解的数据保真项和确保重构的
与高光谱图像先验的正则化项进行解耦，常用的优化方法是交替方向乘子算法。
在卷积神经网络中，由于变换矩阵A与重构网络中的参数同时学习，每次迭代都需要变换矩阵A的参与，使得优化过程更加困难。为解决这个问题，本发明采用一个由卷积层和激活函数组成的简单神经网络替换变换矩阵A。
综上，本发明实现了对多光谱滤波阵列、光谱响应函数的排布和空间去马赛克、光谱超分辨率的联合设计表示为自动编码器的训练。给定一组训练高光谱图像，硬件编码过程包括投影相应的输入空间和光谱信息在可训练的多光谱滤波阵列和光谱响应函数的控制下，这种投影生成单通道马赛克图像Y，用作解码(空间和光谱重建)步骤的输入。在软件解码器采用深度展开网络同时进行空间去马赛克和光谱超分辨率，并重建高空间和光谱分辨率的高光谱图像。
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
在训练阶段，不断重复向模型输入高光谱图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到设定量或某个评估指标优于预设值)后，训练过程停止，并将模型参数进行储存。
步骤2：使用阶段。
利用步骤1训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
进一步地，为了有效实施上述方法，本发明提出了一种基于联合优化的快照式光谱成像***，包括硬件编码子***、软件解码子***和推理子***。
其中，硬件编码子***用于联合优化多光谱滤波阵列和光谱响应函数的排布方式，得到在硬件编码子***下的马赛克图像。
软件解码子***用于联合优化空间去马赛克和光谱超分辨率算法，对来自硬件编码子***的马赛克图像进行空间和光谱维度的重构，从而完成联合优化网络模型的训练。
推理子***使用训练好的联合优化网络模型进行推理。在每次推理过程中，推理子***无需重复训练，每次均使用相同的联合优化网络模型。
硬件编码子***的输出端与软件解码子***的输入端相连，软件解码子***的输出端与推理子***的输入端相连。
有益效果
本发明，对比现有技术，具有以下优点：
1.本发明基于深度学习的高光谱图像重建技术，对空间维和光谱维的排布模式进行联合优化，同时重建高光谱图像，能够有效提取高光谱图像的内部特征。
2.本发明通过一个深度展开网络，同时解决了空间去马赛克和光谱超分辨率，能够显式地利用模型特点，使网络更加灵活且更具解释性。
3.本发明设计了优化层，联合优化了空间多光谱滤波阵列和光谱响应函数的排布模式，充分利用了高光谱图像的空谱相关性，提高了高光谱图像的重构精度。
附图说明
图1是本发明方法的流程图。
图2是本发明方法的整体框架示意图。
图3是本发明方法的核心算法模型中硬件编码器之光谱滤波阵列的示意图。
图4是本发明方法的核心算法模型中硬件编码器之光谱响应函数的示意图。
图5是本发明方法的核心算法模型中软件解码器的示意图。
图6是本发明***的组成示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实施例对发明方法做进一步说明。
实施例
本实施例公开了一种基于深度学习的高光谱图像重建方法和***，方法包括训练阶段和使用阶段；***包括硬件编码子***、软件解码子***和推理子***。本实施例的方法流程图和***组成示意图，分别如图1和图6所示。
一种基于深度学习的高光谱图像重建方法。在训练阶段，首先下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64×64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。完成了对高光谱图像训练数据集的制造后，迭代修改算法模型的参数字典。在测试阶段，利用训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。进一步地，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。本实施例的流程图如图2所示。
步骤1：训练阶段。制作高光谱图像训练数据集，迭代修改算法模型的参数字典。
具体地，步骤1包括以下步骤：
步骤1.1：下载公开的高光谱图像数据集，进行图像增强、裁剪等预处理，生成训练数据集。
具体方法如下：
下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64×64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。
步骤1.2：设计多光谱滤波阵列和光谱响应函数，使得两者是参数可学习的。目的是将对硬件端的多光谱滤波阵列和光谱响应函数进行联合优化，达到软硬件能够相互约束的作用。
具体方法如下：
首先，通过编程实现一个可训练的物理二进制掩码，即多光谱滤波阵列，对应于空间排布的优化。其次，为了将最优空间信息引入高光谱成像过程，需设计一个可学习的光谱响应函数曲线。将两者一起伴随网络迭代而进行相关参数的更新。
对于多光谱滤波阵列的空间排布优化，本发明将其实现为一个可训练的物理二进制掩码。多光谱滤波阵列可以视作一个0-1向量，因此它可以产生严重的空间欠采样，模拟了快照式光谱成像***采集马赛克图像的过程。本发明选择的是4×4的阵列大小，通过平铺多光谱滤波阵列，直至铺满整张训练样本来获得相应的传感器测量值。在设计多光谱滤波阵列的过程中，需要考虑其所受物理约束，确保其能够被制造出来。因此，对多光谱滤波阵列F使用含温度系数的Softmax操作：
F′＝Softmax[αtF] (1)
其中，F′是每次迭代后更新的F，αt表示通过训练迭代缓慢增加的温度参数。
此处，将标准Softmax函数应用于多维输入张量，以重新缩放它们，以便输出张量的元素范围介于[0,1]且总和为1。通过添加另一个超参数τ，使得结果在Softmax函数的作用下，愈大值会变大，愈小值会变小。因此，每个像素沿光谱的大值将逐渐占主导地位，使学习到的多光谱滤波阵列变成0-1向量。本实施例的流程图如图3所示。
其次，上述空间排布学习仅在空间维度上优化了高光谱图像的采集模式。为了在空间和光谱维度上同时优化采集模式，本发明进一步引入了空间光谱联合优化层。具体地，从候选光谱响应函数集合中为多光谱滤波阵列的每个空间位置选择最佳的光谱响应，或者通过网络本身直接设计最佳空间光排布。
根据马赛克图像与高光谱图像之间的线性关系，马赛克图像Y的每个空间位置可以解释为高光谱图像沿光谱维度的加权和，不同的空间位置具有不同的权重。在空间光谱模式优化中应用如下两个约束：
首先，由于模拟的马赛克图像的每个像素值应该是正数，所以学***滑，以促进滤波器的实现。由此实现了强制网络学***滑的空间光谱排布模式，表示为：
其中，其中η1和η2是超参数。
表示变换矩阵A在光谱维度上的梯度，
表示2-范数的平方。在这一部分中，获得了用于设计空间光谱模式的约束损失，损失
将添加到网络优化的总损失函数中。本实施例的流程图如图4所示。
步骤1.3：高光谱图像重建网络模型根据输入的高光谱图像，在内部进行马赛克化，再进行重构，最终产生一组硬件端的多光谱滤波阵列掩膜和光谱响应函数的排布方式和一份重构的高光谱图像。将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并据此更新模型中的参数。
具体方法如下：
从训练数据集中随机选取16张高光谱图像输入网络模型。模型对每张高光谱图像先进行马赛克化，得到马赛克图像，再通过软件端的空间去马赛克和光谱超分辨率方法生成模型重构的高光谱图像。
所述联合优化网络模型包括：深度先验正则化与卷积神经网络。
由于从马赛克图像Y中恢复原始高光谱图像X是一个逆问题，因此需要各种先验知识。本发明将优化算法展开为卷积神经网络。在本发明中，不是训练单个卷积神经网络，而是使用一系列卷积神经网络，将测量值映射到所需信号域。这种深度展开框架提高了所提出模型的灵活性和可解释性。
在深度先验正则化中，遵循的是模仿先验正则化优化结构并将迭代展开到深度网络中的这一想法。因为变换矩阵A与多光谱滤波阵列和光谱响应函数高度相关，可以近似表示马赛克图像Y与底层高光谱图像之间的关系。然而，高光谱图像重建问题是一个逆问题，因此，采用正则化先验来最小化式3是可行的：
其中，
表示重构的高光谱图像，γ是一个平衡参数，R(·)是一个强加先验知识的正则化函数。
式3能够很好地引入图像先验，同时确保退化的高光谱图像和恢复的高光谱图像之间的一致性。然而，如果正则化项是不可微的，求解式3则是极为困难的。通常的做法是，将根据退化模型约束解的数据保真项和确保重构的
与高光谱图像先验的正则化项进行解耦。最常用的优化方法是交替方向乘子算法，因此，式3解为：
其中，t和t+1分别表示当前阶段和下一阶段；X(t+1)表示在当前阶段经过一次优化后的高光谱图像。ρ是一个平衡参数；V表示为解决式3而引入的辅助变量；U表示V的对偶变量。V(t)表示当前阶段辅助变量的值，V(t+1)表示下一阶段辅助变量的值；U(t)表示当前阶段对偶变量的值，U(t+1)表示下一阶段对偶变量的值。X-问题是一个二次形式并且具有封闭形式的解；V-问题是一个去噪问题，在每个优化阶段都使用一个去噪网络来对其进行更新，这使得X(t+1)更接近所需信号领域。因此，式4重写为：
其中，I表示单位矩阵，AT表示对变换矩阵A的转置，T表示矩阵转置操作。
在卷积神经网络中，由于变换矩阵A与重构网络中的参数同时学习，每次迭代都需要A的参与，导致优化过程更加困难。为解决这个问题，本发明采用一个由卷积层和激活函数组成的简单神经网络来替换变换矩阵A。本实施例的流程图如图5所示。
总体而言，本发明实现了对多光谱滤波阵列、光谱响应函数的排布和空间去马赛克、光谱超分辨率的联合设计表示为自动编码器的训练。给定一组训练高光谱图像，硬件编码过程包括投影相应的输入空间和光谱信息在可训练的多光谱滤波阵列和光谱响应函数的控制下，这种投影生成单通道马赛克图像Y，用作解码(空间和光谱重建)步骤的输入。软件解码器采用深度展开网络同时进行空间去马赛克和光谱超分辨率并重建高空间和光谱分辨率的高光谱图像。
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
训练过程中，不断重复向模型输入高光谱图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到一定量或某个评估指标优于某个预设值)，训练过程停止，并将模型参数进行储存。
步骤2：使用阶段。
利用步骤1训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。进一步地，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
具体地，PSNR(Peak Signal to Noise Ratio)表示峰值信噪比，用来考查重建后的高分辨率图像质量，其计算公式如下：
其中，MSE表示均方误差，H和W分表表示图像的高和宽，x(i,j)和
分别表示在像素点为(i,j)处原始图像和重构图像的像素值；式6计算的是各像素点之间的均方误差。式7中的n表示像素的比特数。
SSIM(Structural Similarity)表示结构相似性，用于计算两幅高光谱图像之间的结构相似度。SSIM与更传统的质量度量指标之间的关系可以在图像分量的向量空间中以几何形式展示，这些图像分量可以是像素强度或者提取的特征，例如变换后的线性系数。SSIM的计算公式如下：
其中，μx和
分别表示原始图像X和重构图像
的均值，σx和
分别表示原始高光谱图像X和重构的高光谱图像
的方差，
表示原始图像X和重构图像
的协方差。C1和C2为常数，起到避免因分母为零而出错的作用。SSIM的取值范围介于[0,1]，其数值越大，说明重构图像失真越少，还原度越高。
PSNR和SSIM是两个常规的基于空间的索引，而SAM(Spectral Angle Metric)是基于频谱的，用作度量原始图像X和重构图像
的光谱相似度。SAM计算的是测试光谱向量与参考光谱向量之间的夹角余弦，用如下公式表示：
其中，M表示高光谱图像的通道数，N表示高光谱图像的总像素数。SAM值越小，则还原的图像质量越好。
分别表示在第i像素、第j通道处原始图像和重构图像的像素值。
基于上述方法，本实施例进一步提出了一种基于联合优化的快照式光谱成像***，包括硬件编码子***、软件解码子***和推理子***。
其中，硬件编码子***用于联合优化多光谱滤波阵列和光谱响应函数的排布方式，将得到的马赛克图像发送给软件解码子***。
软件解码子***用于联合优化空间去马赛克和光谱超分辨率算法，对来自硬件编码子***的马赛克图像进行空间和光谱维度的重构，从而完成联合优化网络模型的训练。
推理子***使用训练好的联合优化网络模型，对实际场景进行成像、马赛克化、推理预测，得到重建的高空间光谱分辨率图像。在每次推理过程中，推理子***无需重复训练，每次均使用相同的联合优化网络模型。
上述组成***之间的连接关系为：硬件编码子***的输出端与软件解码子***的输入端相连，软件解码子***的输出端与推理子***的输入端相连。
本发明在快照式光谱成像***下，在仿真数据的测试中相较于其他对比算法均有更好的重构质量。
Claims (8)
1.一种基于联合优化的快照式光谱成像方法，其特征在于，包括以下步骤：
在训练阶段，首先构建高光谱图像训练数据集；从训练数据集中随机选取若干高光谱图像输入联合优化网络模型，模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像；然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并迭代更新模型中的参数，直到满足预设条件后停止训练；
在使用阶段，利用训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
2.如权利要求1所述的一种基于联合优化的快照式光谱成像方法，其特征在于，训练阶段包括以下步骤：
步骤1.1：对高光谱图像数据集进行预处理，生成训练数据集；
其中，每个高光谱图像块作为一个训练样本，将所有块视作训练数据；
步骤1.2：设计多光谱滤波阵列和光谱响应函数，两者的参数可学习；
首先，对多光谱滤波阵列进行空间排布优化；设计一个可学习的光谱响应函数曲线；最后，将两者一起伴随网络迭代，从而进行相关参数的更新；
对于多光谱滤波阵列的空间排布优化，将其实现为一个可训练的物理二进制掩码；其中，多光谱滤波阵列F视作一个0-1向量，用于模拟快照式光谱成像***采集马赛克图像的过程；通过平铺多光谱滤波阵列，直至铺满整张训练样本来获得相应的传感器测量值；对多光谱滤波阵列使用含温度系数的Softmax操作，使学习到的多光谱滤波阵列变成0-1向量；
对光谱响应函数的优化，通过从候选光谱响应函数集合中为多光谱滤波阵列的每个空间位置选择最佳的光谱响应；
步骤1.3：高光谱图像重建网络模型根据输入的高光谱图像，在模型内先进行马赛克化，再进行重构，产生一组多光谱滤波阵列掩膜和光谱响应函数的排布方式，以及一份重构的高光谱图像；然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并据此更新模型中的参数；
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
3.如权利要求2所述的一种基于联合优化的快照式光谱成像方法，其特征在于，步骤1.2中，对多光谱响应函数曲线的优化，通过网络本身直接设计最佳空间光谱排布，具体如下：
根据马赛克图像与高光谱图像之间的线性关系，在空间光谱模式优化中，应用以下两个约束：
首先，由于模拟的马赛克图像的每个像素值是正数，学习排布模式中的所有值都是非负的；
其次，光谱维度的排布需要平滑，以促进滤波器的实现。
4.如权利要求2所述的一种基于联合优化的快照式光谱成像方法，其特征在于，步骤1.3包括以下步骤：
首先，从训练数据集中随机选取若干高光谱图像输入联合优化网络模型；模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像；
其中，联合优化网络模型包括深度先验正则化与卷积神经网络；在卷积神经网络中，采用一个由卷积层和激活函数组成的简单神经网络替换变换矩阵；
给定一组训练高光谱图像，硬件编码过程包括投影相应的输入空间和光谱信息在可训练的多光谱滤波阵列和光谱响应函数的控制下，这种投影生成单通道马赛克图像，用作解码的输入；在软件解码器，采用深度展开网络同时进行空间去马赛克和光谱超分辨率，并重建高空间和光谱分辨率的高光谱图像。
5.如权利要求2所述的一种基于联合优化的快照式光谱成像方法，其特征在于，步骤1.2中，对多光谱滤波阵列F使用含温度系数的Softmax操作，具体如下：
F′＝Softmax[αtF] (1)
其中，F′是每次迭代后更新的F，αt表示通过训练迭代缓慢增加的温度参数；
此处，将标准Softmax函数应用于多维输入张量，以重新缩放它们，以便输出张量的元素范围介于[0,1]且总和为1；通过添加另一个超参数τ，使得结果在Softmax函数的作用下，愈大值会变大，愈小值会变小。
6.如权利要求2所述的一种基于联合优化的快照式光谱成像方法，其特征在于，步骤1.2中，强制网络学***滑的空间光谱排布模式，表示为：
其中，其中η1和η2是超参数；
表示变换矩阵A在光谱维度上的梯度，
表示2-范数的平方；损失
将添加到网络优化的总损失函数中。
7.如权利要求1所述的一种基于联合优化的快照式光谱成像方法，其特征在于，在使用阶段中，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣，方法如下：
PSNR表示峰值信噪比，用来考查重建后的高分辨率图像质量，其计算公式如下：
其中，MSE表示均方误差，H和W分表表示图像的高和宽，x(i,j)和
分别表示在像素点为(i,j)处原始图像和重构图像的像素值；式6计算的是各像素点之间的均方误差；式7中的n表示像素的比特数；
SSIM表示结构相似性，用于计算两幅高光谱图像之间的结构相似度：
其中，μx和
分别表示原始图像X和重构图像
的均值，σx和
分别表示原始高光谱图像X和重构的高光谱图像
的方差，
表示原始图像X和重构图像
的协方差；C1和C2为常数，起到避免因分母为零而出错的作用；SSIM的取值范围介于[0,1]，其数值越大，说明重构图像失真越少，还原度越高；
SAM是基于频谱的，用作度量原始图像X和重构图像
的光谱相似度；SAM计算的是测试光谱向量与参考光谱向量之间的夹角余弦，用如下公式表示：
其中，M表示高光谱图像的通道数，N表示高光谱图像的总像素数；SAM值越小，则还原的图像质量越好；
分别表示在第i像素、第j通道处原始图像和重构图像的像素值。
8.一种基于联合优化的快照式光谱成像***，其特征在于，包括硬件编码子***、软件解码子***和推理子***；
其中，硬件编码子***用于联合优化多光谱滤波阵列和光谱响应函数的排布方式，得到在硬件编码子***下的马赛克图像；
软件解码子***用于联合优化空间去马赛克和光谱超分辨率算法，对来自硬件编码子***的马赛克图像进行空间和光谱维度的重构，完成联合优化网络模型的训练；
推理子***使用训练好的联合优化网络模型进行推理；
在每次推理过程中，推理子***无需重复训练，每次均使用相同的联合优化网络模型；
硬件编码子***的输出端与软件解码子***的输入端相连，软件解码子***的输出端与推理子***的输入端相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210403141.2A CN114972803B (zh) | 2022-04-18 | 2022-04-18 | 一种基于联合优化的快照式光谱成像方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210403141.2A CN114972803B (zh) | 2022-04-18 | 2022-04-18 | 一种基于联合优化的快照式光谱成像方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972803A true CN114972803A (zh) | 2022-08-30 |
| CN114972803B CN114972803B (zh) | 2024-05-31 |
Family
ID=82976772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210403141.2A Active CN114972803B (zh) | 2022-04-18 | 2022-04-18 | 一种基于联合优化的快照式光谱成像方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972803B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862819A (zh) * | 2023-05-29 | 2023-10-10 | 武汉工程大学 | 基于液晶可调谐滤波器的近红外高光谱成像方法及*** |
| CN117288325A (zh) * | 2023-11-27 | 2023-12-26 | 长春理工大学 | 一种高光效快照式多光谱成像方法及*** |
| CN117522691A (zh) * | 2023-11-22 | 2024-02-06 | 西湖大学 | 一种超分辨率光谱图像的重建方法、***及应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190096049A1 (en) * | 2017-09-27 | 2019-03-28 | Korea Advanced Institute Of Science And Technology | Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence |
| CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像***的编码优化方法 |
| CN109886898A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像***的成像方法 |
| CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
-
2022
- 2022-04-18 CN CN202210403141.2A patent/CN114972803B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190096049A1 (en) * | 2017-09-27 | 2019-03-28 | Korea Advanced Institute Of Science And Technology | Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence |
| CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像***的编码优化方法 |
| CN109886898A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像***的成像方法 |
| CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862819A (zh) * | 2023-05-29 | 2023-10-10 | 武汉工程大学 | 基于液晶可调谐滤波器的近红外高光谱成像方法及*** |
| CN116862819B (zh) * | 2023-05-29 | 2024-04-09 | 武汉工程大学 | 基于液晶可调谐滤波器的近红外高光谱成像方法及*** |
| CN117522691A (zh) * | 2023-11-22 | 2024-02-06 | 西湖大学 | 一种超分辨率光谱图像的重建方法、***及应用 |
| CN117288325A (zh) * | 2023-11-27 | 2023-12-26 | 长春理工大学 | 一种高光效快照式多光谱成像方法及*** |
| CN117288325B (zh) * | 2023-11-27 | 2024-02-13 | 长春理工大学 | 一种高光效快照式多光谱成像方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972803B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Hyperspectral image reconstruction using a deep spatial-spectral prior | |
| CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和*** | |
| JP7089296B2 (ja) | 画像からのハイパースペクトルデータの回復 | |
| US10274420B2 (en) | Compact multifunctional system for imaging spectroscopy | |
| EP3832359B1 (en) | Method and device for imaging of lensless hyperspectral image | |
| Gunturk et al. | Demosaicking: color filter array interpolation | |
| CN106910192B (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像***的重构方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN110211044B (zh) | 基于去马赛克算法和主成分分析的多光谱成像方法及装置 | |
| KR20190036459A (ko) | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 | |
| KR20190036442A (ko) | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 | |
| CN109887050B (zh) | 一种基于自适应字典学习的编码孔径光谱成像方法 | |
| CN109883548A (zh) | 基于优化启发的神经网络的光谱成像***的编码优化方法 | |
| CN115950837B (zh) | 基于即插即用先验的快照式光谱成像方法、***及介质 | |
| CN112184553A (zh) | 一种基于深度先验信息的高光谱图像超分辨率方法 | |
| CN115499566A (zh) | 基于深度计算光学元件的端到端高质量消色差成像*** | |
| CN115018711B (zh) | 一种用于仓库调度的图像超分辨率重建方法 | |
| CN116773018A (zh) | 一种计算光谱成像的空谱联合图像重建方法及*** | |
| Bochko et al. | Spectral color imaging system for estimating spectral reflectance of paint | |
| Feng et al. | Turbugan: An adversarial learning approach to spatially-varying multiframe blind deconvolution with applications to imaging through turbulence | |
| Wei et al. | Effects of lossy compression on remote sensing image classification based on convolutional sparse coding | |
| CN114862976A (zh) | 一种用于旋转衍射的多光谱图像重建方法 | |
| Yang et al. | Learning degradation-aware deep prior for hyperspectral image reconstruction | |
| CN116883799A (zh) | 成分替换模型引导的高光谱图像深度空间光谱融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |