CN109447890A - 一种基于卷积神经网络的光谱成像***的编码优化方法 - Google Patents
一种基于卷积神经网络的光谱成像***的编码优化方法 Download PDFInfo
- Publication number
- CN109447890A CN109447890A CN201910018000.7A CN201910018000A CN109447890A CN 109447890 A CN109447890 A CN 109447890A CN 201910018000 A CN201910018000 A CN 201910018000A CN 109447890 A CN109447890 A CN 109447890A
- Authority
- CN
- China
- Prior art keywords
- network
- spectrum
- image
- block
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 180
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 38
- 235000001466 Ribes nigrum Nutrition 0.000 claims abstract description 27
- 241001312569 Ribes nigrum Species 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000005056 compaction Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000000644 propagated effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000001393 microlithography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，属于计算摄像学领域。本发明应用于基于编码孔径快照光谱成像***，将高光谱图像成像过程与重建过程一起考虑，优化重建网络的同时优化编码网络，并使用GPU完成对整个网络的优化求解：使用cuDNN库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成CASSI光谱成像***的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于载人航天、地质勘测和植被研究等多个领域。
Description
技术领域
本发明专利涉及一种用于光谱成像的高光谱图像编码优化方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。采集得到的高光谱图像被称为数据立方体，包含场景的大量光照和材料信息。该技术已经被应用于遥感、计算机视觉、医疗诊断等多个领域。目前存在的二维成像传感器不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。
近年来，随着计算成像技术的飞速发展，基于多种光学设计和精细重建算法的计算光谱成像技术得到广泛应用。与传统光谱成像***相比，计算光谱成像能够获得更高时间分辨率、空间分辨率和光谱分辨率的高光谱图像。基于压缩感知理论，AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(Coded Aperture Snapshot SpectralImager,CASSI)利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。
由于重建问题是一个不确定问题，这限制了重建结果的精确度。为了提升CASSI***的精确度，目前的方法主要分别考虑成像过程和重建过程。在成像过程中，为了更加有效地编码高光谱图像信息，不同的编码孔径模式被提出。在重建过程中，随着压缩感知理论的发展，各种精心设计的重建算法被提出。由于没有对成像过程和重建过程一起考虑，而这两个过程一起决定了重建结果的精确度，所以目前的方法在一定程度上限制了重建精确度的提升。
根据压缩感知理论，将高光谱数据映射到压缩图像的观测矩阵在CASSI***中扮演着重要的角色，影响着重建高光谱图像的质量。在探测器和色散介质确定的情况下，观测矩阵被实体的编码孔径唯一确定。编码孔径的初始设计采用了随机二进制实体，然而随机的编码孔径并没有充分利用CASSI***感知机制的结构，这导致重建的结果是次优的。Arguello等人从分析观测矩阵的等距特性开始优化编码孔径，提出将编码孔径优化问题转化为秩最小问题，并采用通用算法求解。但是此方法侧重于光谱的选择，这就需要不止一次的拍摄，因为需要对不同镜头的多次拍摄进行操作，才能得到一个新的包含且仅包含所需光谱波段信息的测量结果。所以此应该只适用于多帧***。
随着微光刻技术和涂层技术的发展，使得彩色编码孔径的设计成为可能，这也被引入到CASSI***中。Parada-Mayorga转而分析观测矩阵的相干性而不是等距特性，并提出了彩色编码孔径图的优化等价于相干最小化问题。Ramirez和Arguello提出了观测矩阵的Gram矩阵的实体分布模型，设计彩色编码孔径使矩阵的方差最小。然而对于这些方法，在优化开始之前需要确定一个确定的稀疏矩阵。最近的研究表明，固定稀疏矩阵会产生超优重建结果。相反，盲压缩感知和在线字典学习方法显示出了更高质量的性能，由于这些方法可以根据场景特征自适应地学习稀疏基。从这个意义上说，在成像前是没有稀疏基的，因此不能用来设计编码孔径。
基于卷积神经网络的方法可以有效地学习复杂特征并已经广泛应用于高光谱图像处理。Xiong首先将RGB图像通过简单的插值或者CASSI图像通过重建算法得到初始的高光谱图像，然后采用基于卷积神经网络的方法对初始化的结果进行增强，得到高质量的高光谱图像。Choi通过构建卷积自编码器而不是字典学习来表示非线性光谱表示，并与空间域中梯度稀疏性共同正则化，从而从压缩图像重建高光谱图像。这两种方法都可以用于从CASSI***重建高光谱图像，但都借用传统的压缩感知重建算法。
发明内容
针对现有算法存在的没有考虑成像过程、重建图像质量低等问题。本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法要解决的技术问题是：基于卷积神经网络实现光谱成像***的编码优化，进而提高光谱成像***的重建图像的精度，具有重建速度快，成像质量高等优点。
为达到以上目的，本发明采用以下技术方案。
本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，应用于基于编码孔径快照光谱成像***，将高光谱图像成像过程与重建过程一起考虑，优化重建网络的同时优化编码网络，并使用GPU完成对整个网络的优化求解：使用cuDNN库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成CASSI光谱成像***的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于载人航天、地质勘测和植被研究等多个领域。
本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，包括以下步骤：
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m,n,k)，1≤m≤M,1≤n≤N,1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，T(m,n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI***的观测矩阵，S表示目标场景的高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P<M,P<N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0 or 1(p＝1,…,P2)，且B1矩阵中的值会在网络中被学习。
其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络。
步骤102所述空间网络用于学***行六面体之间的空间相关性，使用P×3的卷积计算重建结果的每一行，使用ReLU作为网络的激活函数。
步骤102所述光谱网络用于学***行六面体之间的光谱相关性，对空间网络的重建结果分通道处理，利用相邻的通道重建中间的通道，使用ReLU作为网络的激活函数。
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(6)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(7)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
作为优选，使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
有益效果：
1、本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络，将高光谱图像的成像过程中的编码模板放入网络中优化，而不再是使用随机的编码模板，因此能够得到最优的编码模板，并且重建效率得到有效提升。
2、本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，将高光谱图像重建的成像过程和重建过程同时考虑，联合训练编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板，而不再是单独考虑成像过程或者重建过程，能够提高空间分辨率和光谱保真度。
3、本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，使用GPU完成高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络，大幅度降低CASSI***的重建时间。
4、本发明公开的一种基于卷积神经网络的光谱成像***的编码优化方法，采用逐块处理的方式，计算所需的显存小，对GPU要求相对比较低，训练完成后使用中端显卡就能够完成高光谱图像的重建。
附图说明
图1是本发明公开的基于卷积神经网络的光谱成像***的编码优化方法的总流程图；
图2是本发明中用于CASSI光谱成像的***结构图；
图3是本发明中CASSI光谱成像***基于块的前向模型，其中：图3-a为正立方体的前向模型，图3-b为平行六面体的前向模型；
图4是本发明中所使用的编码网络；
图5是本发明中所使用的重建网络，包含空间网络和光谱网络两个子网络。
图6是本发明和对比算法的重建结果图，其中图6-a、图6-b为600nm处随机编码的重建结果，图6-c、图6-d为600nm处本发明的重建结果，图6-e、图6-f为600nm处的原始高光谱图像。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于卷积神经网络的光谱成像***的编码优化方法，应用于编码孔径快照光谱成像***，即CASSI***，最早由Ashwin Wagadarikar等人提出(详见Wagadarikar A,John R,Willett R,Brady D.Single disperser design for codedaperture snapshot spectral imaging[J].Applied optics.2008,47(10):B44-B51.)。CASSI***利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。
如图1所示，本实施例公开的一种基于卷积神经网络的光谱成像***的编码优化方法，具体实现步骤如下：
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成，如图2所示。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m,n,k)，1≤m≤M,1≤n≤N,1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，T(m,n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI***的观测矩阵，S表示目标场景的高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P<M,P<N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块，如图3-a所示。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体，如图3-b所示。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0 or 1(p＝1,…,P2)，且B1矩阵中的值会在网络中被学习。
其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络，如图4所示。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络。
步骤102所述空间网络用于学***行六面体之间的空间相关性，使用P×3的卷积计算重建结果的每一行，使用ReLU作为网络的激活函数。
步骤102所述光谱网络用于学***行六面体之间的光谱相关性，对空间网络的重建结果分通道处理，利用相邻的通道重建中间的通道，使用ReLU作为网络的激活函数。
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建，如图5所示。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长为0.5P,保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤104所述学习率初始化为10-4，在训练数据集上每训练10个轮次下降为原来的0.1倍。
步骤104所述批处理大小设置为128，表示单次迭代优化所处理的图像块数量。
步骤104所述权值初始化方式设置为xavier初始化方法，权值衰减系数设置为5×10-4。
步骤104所述优化方法设置为带冲量的随机梯度下降，冲量设置为0.9。
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(6)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(7)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
为说明本发明的效果，本实施例将在实验条件相同的情况下对两种方法进行对比。
1.实验条件
本实验的硬件测试条件为：Inter i7 6800K，内存64G。GPU为Titan X，显存12G，CUDA 8.0。测试所用高光谱图片来自于ICVL和Harvard数据集。输入的CASSI压缩光谱采样图像大小为512×542；重建以后得到的高光谱图像大小为512×512×31。
2.实验结果
为了验证本发明的有效性，在ICVL和Harvard数据集上，本发明公开的方法和对比方法的重建性能。为了定量的衡量重建结果的质量，使用峰值信噪比(Peak signal tonoise ratio，PSNR)和结构相似性(Structural similarity,SSIM)衡量重建结果的空间质量和视觉效果；使用光谱角制图(Spectral angle mapping，SAM)(详见Kruse F A,LefkoffA B,Boardman J W,et al.The spectral image processing system(SIPS)—interactive visualization and analysis of imaging spectrometer data[J].Remotesensing of environment,1993,44(2-3):145-163.)衡量重建结果的光谱保真度。
首先是两种算法的在ICVL数据集上的重建结果，结果如表1所示：
表1 ICVL数据集上重建结果
两种算法的在Harvard数据集上的重建结果，结果如表1所示：
表2 Harvard数据集上重建结果
| 随机编码 | 本发明 | |
| PSNR | 30.34 | 31.36 |
| SSIM | 0.964 | 0.973 |
| SAM | 0.115 | 0.104 |
从表1和表2的结果可以看出，本发明公开的算法能够达到非常好的重建效果，在不同数据库下其重建结果均高于随机编码的结果。
图6-a、图6-b为测试图片使用随机编码仿真重建后，波长为600nm时的结果；图6-c、图6-d为测试图片使用本发明仿真重建后，波长为600nm时的结果，图6-e、图6-f为测试图片波长为600nm时的原始高光谱图像。可以看出，本发明公开的方法重建的结果更加清楚，在视觉上的效果要优于其他算法。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：包括以下步骤，
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络；
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络；
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板；
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
2.如权利要求1所述的一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager，CASSI)；编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板；
将公式(1)写成矩阵形式为：
Y＝ФS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI***的观测矩阵，S表示目标场景的高光谱图像；
将使用基于块计算代替基于整张图计算；将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块；采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体；将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0 or 1(p＝1，…，P2)，且B1矩阵中的值会在网络中被学习；
其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分；即实现构建编码网络。
3.如权利要求2所述的一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：
步骤102所述空间网络用于学***行六面体之间的空间相关性，使用P×3的卷积计算重建结果的每一行，使用ReLU作为网络的激活函数；
步骤102所述光谱网络用于学***行六面体之间的光谱相关性，对空间网络的重建结果分通道处理，利用相邻的通道重建中间的通道，使用ReLU作为网络的激活函数。
4.如权利要求3所述的一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：步骤105具体实现方法为，
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(6)中表示网络的第1个输出，sl表示与其相关的真值，L表示训练的数据量；
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(7)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值；在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
5.如权利要求4所述的一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：步骤106具体实现方法为，
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半；将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
6.如权利要求5所述的一种基于卷积神经网络的光谱成像***的编码优化方法，其特征在于：使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910018000.7A CN109447890A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像***的编码优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910018000.7A CN109447890A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像***的编码优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109447890A true CN109447890A (zh) | 2019-03-08 |
Family
ID=65544007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910018000.7A Pending CN109447890A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像***的编码优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109447890A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111461293A (zh) * | 2020-03-17 | 2020-07-28 | 湖南大学 | 基于gpu的深度神经网络模型训练方法、装置和计算机设备 |
| CN114095640A (zh) * | 2022-01-18 | 2022-02-25 | 清华大学 | 千万像素快照压缩成像***及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及*** |
| US20170205337A1 (en) * | 2014-07-24 | 2017-07-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Compact Multifunctional System for Imaging Spectroscopy |
| CN107451956A (zh) * | 2017-07-19 | 2017-12-08 | 北京理工大学 | 一种编码孔径光谱成像***的重构方法 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像***的快速重构方法 |
-
2019
- 2019-01-09 CN CN201910018000.7A patent/CN109447890A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及*** |
| US20170205337A1 (en) * | 2014-07-24 | 2017-07-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Compact Multifunctional System for Imaging Spectroscopy |
| CN107451956A (zh) * | 2017-07-19 | 2017-12-08 | 北京理工大学 | 一种编码孔径光谱成像***的重构方法 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像***的快速重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIZHI WANG等: "HyperReconNet Joint Coded Aperture Optimization and Image Reconstruction for Compressive Hyperspectral Imaging", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 杨虹等: "卫星运动对压缩编码孔径光谱成像的影响", 《航天返回与遥感》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN110717947B (zh) * | 2019-09-25 | 2021-04-27 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111461293A (zh) * | 2020-03-17 | 2020-07-28 | 湖南大学 | 基于gpu的深度神经网络模型训练方法、装置和计算机设备 |
| CN111461293B (zh) * | 2020-03-17 | 2023-06-06 | 湖南大学 | 基于gpu的深度神经网络模型训练方法、装置和计算机设备 |
| CN114095640A (zh) * | 2022-01-18 | 2022-02-25 | 清华大学 | 千万像素快照压缩成像***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447891A (zh) | 一种基于卷积神经网络的光谱成像***的高质量成像方法 | |
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像***的高质量重构方法 | |
| CN109697697B (zh) | 基于优化启发的神经网络的光谱成像***的重构方法 | |
| CN107525588B (zh) | 一种基于gpu的双相机光谱成像***的快速重构方法 | |
| CN109883548A (zh) | 基于优化启发的神经网络的光谱成像***的编码优化方法 | |
| CN109886898A (zh) | 基于优化启发的神经网络的光谱成像***的成像方法 | |
| CN111047681B (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
| CN109447890A (zh) | 一种基于卷积神经网络的光谱成像***的编码优化方法 | |
| CN109146787A (zh) | 一种基于插值的双相机光谱成像***的实时重建方法 | |
| CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
| CN107451956A (zh) | 一种编码孔径光谱成像***的重构方法 | |
| CN113762460B (zh) | 基于数值散斑的多模光纤传输图像迁移重构算法 | |
| CN110717947B (zh) | 一种基于外部和内部训练的高质量光谱重构方法 | |
| CN107622515A (zh) | 压缩光场的物理重建方法 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| CN114353946B (zh) | 一种衍射快照光谱成像方法 | |
| CN111563562A (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| CN115931123A (zh) | 基于自适应优化稀疏字典的光谱重建计算方法及光谱*** | |
| CN114638758A (zh) | 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法 | |
| CN116609942B (zh) | 一种分孔径压缩感知偏振超分辨率成像方法 | |
| CN110926611A (zh) | 一种应用于压缩感知光谱成像***的噪声抑制方法 | |
| CN116091640A (zh) | 一种基于光谱自注意力机制的遥感高光谱重建方法及*** | |
| CN108801457B (zh) | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 | |
| Wu et al. | Computational ghost imaging with 4-step iterative rank minimization | |
| Zhao et al. | Generative adversarial network‐based single‐pixel imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190308 |