CN116128735B - 基于密集连接残差网络的多光谱图像去马赛克结构及方法 - Google Patents
基于密集连接残差网络的多光谱图像去马赛克结构及方法 Download PDFInfo
- Publication number
- CN116128735B CN116128735B CN202310404702.5A CN202310404702A CN116128735B CN 116128735 B CN116128735 B CN 116128735B CN 202310404702 A CN202310404702 A CN 202310404702A CN 116128735 B CN116128735 B CN 116128735B
- Authority
- CN
- China
- Prior art keywords
- convolution
- module
- densely connected
- layer
- modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 93
- 230000004913 activation Effects 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 1
- 238000001228 spectrum Methods 0.000 abstract description 8
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000008034 disappearance Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于密集连接残差网络的多光谱图像去马赛克结构及方法,该结构包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块。本发明采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理,无需事先进行图像插值等预处理,能够有效节省计算复杂度和计算资源;通过设计局部密集连接模块和残差模块,有效提升了特征的表征能力和信息融合程度,能够获取低层次局部特征和高层次全局特征,有助于帮助多光谱图像恢复重建,并通过引入残差学习机制,能够有效避免深度神经网络的梯度消失和性能退化等问题,同时学习到全局和局部的细节信息。
Description
技术领域
本发明属于图像信号处理领域,尤其涉及基于密集连接残差网络的多光谱图像去马赛克结构及方法。
背景技术
多光谱图像在获取物体空间尺寸信息的同时也获取了更丰富的光谱维度信息,与传统的彩色图像相比,能够更好地反映待成像物质在多个光谱维度上的光学辐射特性,具有更广泛的应用价值,可应用于农林监测、矿物勘探、目标识别以及医学成像。
多光谱图像通过快照式多光谱成像技术进行成像,该技术借鉴传统彩色成像中采用的彩色滤波阵列(color filter array, CFA)方案,通过将不同中心波长滤光片组成的多光谱滤波阵列(multi-spectral filter array, MSFA)按一定规律在图像传感器上周期性重复排布,以同时获得目标的二维空间信息和一维光谱信息。利用该成像技术成像时,传感器平面上每一个像素区域仅能获得成像场景在某一中心波段下的空间信息,而缺失其他波段下的探测结果。这种成像方式实质上是通过牺牲一定的空间分辨率换取更多通道的光谱分辨率,单次成像即可同时获得成像场景的空间信息和光谱信息。为了获得多个光谱波段下完整空间信息的多光谱图像,需要对原始单张多光谱马赛克图像进行重建处理,恢复每个像素位置缺失的其余波段分量,这一关键过程称之为多光谱图像去马赛克。图1展示了16个光谱波段(4×4)的多光谱滤波阵列MSFA及其在传感器平面上周期性重复排布的效果,利用该传感器成像获得的图像上每个像素仅具有特定光谱波段下的空间信息,需要对其他波段下缺失的信息进行重建恢复,以获得完整的多光谱图像。由此可见,多光谱去马赛克算法的性能对多光谱图像的重建质量至关重要,随着光谱波段的增多,多光谱图像需要恢复的信息随之显著增加,为多光谱图像的重建恢复质量带来较大挑战。
传统的多光谱去马赛克方法主要采用线性插值方法,即对于每个波段下缺失的像素信息,利用近邻已知像素的强度值,通过线性插值等方式估算出未知像素。这种方法仅能利用像素级信息,获得的重建图像质量较低、可视化效果差,且存在边缘失真或局部畸变等缺陷。而现有结合深度学习的多光谱去马赛克方法研究尚处于起步阶段,图像重建质量有较大提升空间。
发明内容
有鉴于此,本发明提出了一种基于密集连接残差网络的多光谱图像去马赛克结构及方法,该申请采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理,无需事先进行图像插值等预处理,能够有效节省计算复杂度和计算资源;通过设计局部密集连接模块和残差模块,有效提升了特征的表征能力和信息融合程度,能够获取低层次局部特征和高层次全局特征,有助于帮助多光谱图像恢复重建,并通过引入残差学习机制,能够有效避免深度神经网络的梯度消失和性能退化等问题,同时学习到全局和局部的细节信息。
为达此目的,本发明第一方面提供一种基于密集连接残差网络的多光谱图像去马赛克结构,所述结构包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块;
所述浅层特征提取模块包括:两层卷积层和两层LeakyReLU激活函数层,其中卷积层和LeakyReLU激活函数层交替顺序连接;
所述多层次特征融合模块由M个密集连接残差模块组成,M≥1;每个密集连接残差模块均包括3个卷积模块和一个过度模块,密集连接残差模块中3个卷积模块和过度模块之间的连接关系为:m-1级密集连接残差模块的输出和m-1密集连接残差模块的输入相加后,作为m级密集连接残差模块的第一个卷积模块的输入,与第一个卷积模块相连,1≤m≤M;m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第二个卷积模块的输入,与第二个卷积模块连接;m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第三个卷积模块的输入,与第三个卷积模块连接;m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的过度模块的输入,与过度模块连接;m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加,得到m级密集连接残差模块的最终输出;
所述图像重建模块包括顺序连接的卷积层、全局残差连接操作层、LeakyReLU激活函数层和卷积输出层,且LeakyReLU激活函数层与浅层特征提取模块中第一层LeakyReLU激活函数层的输出连接。
优选的,所述浅层特征提取模块中两层卷积层分别为:采用64个1×1的卷积核的第一卷积层,采用64个3×3的卷积核的第二卷积层。
优选的,所述密集连接残差模块中,卷积模块均由两层卷积层和两层LeakyReLU激活函数层组成,且卷积层和LeakyReLU激活函数层顺序交替连接;所述过度模块包括顺序连接的采用64个1×1卷积核的卷积层和LeakyReLU激活函数层。
优选的,所述卷积模块中两层卷积层分别为:采用128个1×1卷积核的第一卷积层和采用32个3×3卷积核的第二卷积层。
优选的,所述图像重建模块中卷积层采用64个1×1卷积核;卷积输出层采用16个3×3卷积核。
本发明第二方面提供一种基于密集连接残差网络的多光谱图像去马赛克方法,所述方法基于上述的基于密集连接残差网络的多光谱图像去马赛克结构进行,所述方法包括:
S1:将原始N×N多光谱滤波阵列MSFA生成的马赛克多光谱图像输入浅层特征提取模块,学习得到原始多光谱图像的初始浅层特征,N≥1;
S2:将初始浅层特征送入多层次特征融合模块,得到多光谱图像的非线性局部及全局融合信息;
S3:将多光谱图像的非线性局部及全局融合信息送入图像重建模块,生成N×N个光谱波段下完整的多光谱图像立方体。
优选的,所述S1中在浅层特征提取模块进行的操作包括:
其中,为原始马赛克多光谱图像;/>( )表示采用64个1×1卷积核的卷积层函数,/>( )表示采用64个3×3卷积核的卷积层函数,LeakyReLU( )表示LeakyReLU激活函数;/>、/>和/>分别表示原始马赛克多光谱图像/>经过卷积层函数/>、第一个LeakyReLU激活函数以及卷积层函数/>计算后的中间值;表示原始马赛克图像/>经过浅层特征提取模块后得到的初始浅层特征,/>表示经过浅层特征提取模块中卷积层函数/>和第一个LeakyReLU激活函数计算后生成的中间特征。
优选的,所述S2中,多层次特征融合模块的每个卷积模块内均进行如下计算:
其中,和/>分别是第i个卷积模块的输入和输出,i代表第i个卷积模块,i=1或2或3;/>、/>和/>表示第i个卷积模块的输入/>分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值;/>( )和/>( )分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数;LeakyReLU( )表示LeakyReLU激活函数;
所述过度模块内的计算如下:
其中,和/>分别表示过度模块的输入和输出,x为过度模块的输入/>经过卷积函数计算后的中间值;/>( )表示过度模块内采用128个1×1卷积核的卷积层函数,LeakyReLU()表示LeakyReLU激活函数。
优选的,所述多层次特征融合模块,其第m级(1≤m≤M)密集连接残差模块中的每个卷积模块的和过度模块的输入分别如下:
其中表示第m-1个密集连接残差模块的输出,且,/>为第m-1个密集连接残差模块中的过度模块的输出,/>为第m-1个密集连接残差模块中第一个卷积模块的输入,/>表示第m-2个密集连接残差模块的输出;/>、/>、/>和/>分别表示第m个密集连接残差模块中3卷积模块和过度模块的输入,/>、/>、/>和/>分别表示第m个密集连接残差模块中3卷积模块和过度模块的输出;Concatenate( )表示输入向量和输出向量在特征维度上的拼接操作。
优选的,所S3包括:
其中,为多层次特征融合模块输出的非线性局部及全局融合信息;()和/>()分别表示图像重建模块中采用64个1×1卷积核的卷积层函数和采用16个3×3卷积核的卷积输出层函数,LeakyReLU()表示LeakyReLU激活函数;/>、/>和/>分别表示非线性局部及全局融合信息/>分别经过/>()卷积函数、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值,/>表示原始马赛克图像/>经过浅层特征提取模块中卷积层函数/>和第一个LeakyReLU激活函数计算后生成的中间特征,/>表示去马赛克后的多光谱图像立方体。
本发明的有益效果是:本发明公开的基于密集连接残差网络的多光谱图像去马赛克结构及方法,是一种端到端的多光谱图像去马赛克技术,利用本申请的结构进行去马赛克的整个过程无需进行图像插值预处理,可直接对原始成像得到的单张多光谱马赛克图像进行恢复重建,相比于传统的仅利用近邻像素强度值对未知像素信息进行线性估计的插值方法,本发明通过搭建深层网络模型直接对原始多光谱马赛克图像进行深度特征提取,更够有效减少线性插值方法带来的图像畸变、失真等问题,图像重建质量和可视化效果明显提高;其次,本申请在多光谱图像去马赛克过程中通过结合密集连接和残差学习机制,有效提取原始多光谱马赛克图像不同层次的有效重建信息,去马赛克效果更优。
附图说明
图1为4×4MSFA多光谱马赛克图像去马赛克的过程示意图;
图2为本发明实施例中多光谱马赛克图像去马赛克的过程示意图;
图3为本发明实施例中密集连接残差模块的结构示意图;
图4为采用不同方法得到多光谱去马赛克图像结果局部细节可视化对比图。
具体实施方式
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
本申请提出的基于密集连接残差网络的多光谱图像去马赛克结构及方法采用端到端的方法直接对多光谱马赛克图像进行去马赛克处理,无需事先进行图像插值等预处理,能够有效节省计算复杂度和计算资源;通过设计局部密集连接模块和残差模块,有效提升了特征的表征能力和信息融合程度,能够获取低层次局部特征和高层次全局特征,有助于帮助多光谱图像恢复重建,并通过引入残差学习机制,能够有效避免深度神经网络的梯度消失和性能退化等问题,同时学习到全局和局部的细节信息。
下面结合附图和具体实施例对本发明及其优势进行详细说明。
本实施例以4×4多光谱滤波阵列MSFA(16个光谱波段)生成的马赛克多光谱图像的去马赛克过程为例进行说明,利用本申请提出的结构及方法对上述马赛克多光谱图像进行去马赛克的过程如图2所示:
首先,将原始4×4多光谱滤波阵列MSFA(16个光谱波段)生成的马赛克多光谱图像输入浅层特征提取模块,学习到多光谱图像的初始浅层特征;其中,浅层特征提取模块由两层卷积层和两层LeakyReLU激活函数层组成,作为实施例,两层卷积层中第一个卷积层采用64个1×1的卷积核,第二个卷积层采用64个3×3的卷积核;且第一个卷积层、第一LeakyReLU激活函数层、第二个卷积层和第二LeakyReLU激活函数层顺序连接。
其中,为原始马赛克多光谱图像;/>( )表示采用64个1×1卷积核卷积层函数,/>( )表示采用64个3×3卷积核的卷积层函数,LeakyReLU( )表示LeakyReLU激活函数;/>、/>和/>分别表示原始马赛克多光谱图像/>经过卷积层函数/>、第一个LeakyReLU激活函数以及卷积层函数/>计算后的中间值;、/>分别表示原始马赛克图像/>经过浅层特征提取模块后得到的初始浅层特征和经过浅层特征提取模块中卷积层函数/>和第一个LeakyReLU激活函数计算后生成的中间特征。
本实施例中多层次特征融合模块由15个密集连接残差模块组成,即M取15,密集连接残差模块/>的数量可根据实际情况进行调整。将初始浅层特征/>送入由15个密集连接残差模块/>组成的多层次特征融合模块/>,生成更具表达性和鲁棒性的多层次特征融合模块输出的非线性局部及全局融合信息/>:
本实施例中,每个密集连接残差模块由3个卷积模块和1个过度模块组成,如图3所示,其中,每个卷积模块由两个卷积层和两个激活函数层组成,第一个卷积层采用128个1×1的卷积核,第二个卷积层采用32个3×3的卷积核,激活函数均采用LeakyReLU函数,具体来说卷积模块模块内的操作如下所示:
其中,和/>分别是第i个卷积模块的输入和输出,i=1或2或3;/>、和/>表示第i个卷积模块的输入/>分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值;( )和/>( )分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数;LeakyReLU( )表示LeakyReLU激活函数。
为了保留密集连接残差模块中不同层级特征中对多光谱图像重建有效的信息,将所有卷积模块的输入和输出采用密集连接方式连接起来。为了充分学习每个密集连接残差模块中的局部残差特征同时避免梯度消失,在密集连接残差模块中引入局部残差连接,将过度模块的输出与该密集连接残差模块的输入/>相加,最终得到第m个密集连接残差模块的输出,即/>,也就是说,m-1级密集连接残差模块的输出/>和该密集连接残差模块的输入/>()相加后,作为第m级密集连接残差模块的第一个卷积模块的输入,与第m级密集连接残差模块的第一个卷积模块连接,其中1≤m≤M;m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第二个卷积模块的输入,与第二个卷积模块连接;m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第三个卷积模块的输入,与第三个卷积模块连接;m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的过度模块的输入,与过度模块连接;m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加,得到m级密集连接残差模块的最终输出;即:
其中表示第m-1个密集连接残差模块的输出,且,/>为第m-1个密集连接残差模块中过度模块的输出,/>为第m-1个密集连接残差模块中第一个卷积模块的输入,/>表示表示第m-2个密集连接残差模块的输出;/>、/>和/>分别表示第m个密集连接残差模块中3卷积模块的输入,/>、/>、/>分别表示第m个密集连接残差模块中3卷积模块的输出;Concatenate()表示输入向量和输出向量在特征维度上的拼接操作。
最后,将用于深层次重建的非线性局部及全局融合信息送入图像重建模块,最终生成16个光谱波段下完整的多光谱图像立方体。通过最小化网络模型生成的多光谱图像立方体和多光谱数据集中真实16个波段多光谱图像数据之间的差异,从而优化整个网络模型的参数。
本实施例中,图像重建模块由两层卷积层、全局残差连接层和激活函数组成,且一层含有64个1×1卷积核的卷积层、一个全局残差连接操作、一层激活函数层LeakyReLU和一层含有16个3×3卷积核的卷积输出层顺序连接,图像重建模块中的具体计算过程如下:
其中,为多层次特征融合模块输出的非线性局部及全局融合信息;/>、和/>分别表示非线性局部及全局融合信息分别经过卷积层、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值;/>( )和( )分别表示图像重建模块中含有64个1×1卷积核的卷积层函数和含有16个3×3卷积核的卷积输出层函数;LeakyReLU( )为激活函数。
上式中是浅层特征提取模块中生成的中间特征,与初始输入的多光谱马赛克图像/>最接近,包含最丰富的底层特征信息,将/>与高层次重建特征进行全局残差连接融合,可以更有效地学习不同层级的重建信息,同时避免训练过程中网络模型过深带来的性能失效和重建效果退化。
采用以上方法,将公开的多光谱图像数据集CAVE中包含不同场景的多光谱图像按4×4多光谱滤波阵列MSFA仿真生成原始多光谱马赛克图像和对应16个光谱波段下完整多光谱图像/>,并将它们按8:2的比例随机划分为训练集和验证集。对于训练集中每个场景的多光谱马赛克图像/>和对应完整多光谱图像/>,分别在空间维度上切割成一一对应的大小为64×64的训练样本对,最终生成T个训练样本对/>。将T个多光谱马赛克训练样本/>输入本申请所提出的基于密集连接残差网络的多光谱去马赛克网络模型,得到T个网络模型生成的重建结果/>,优化目标是找到合适的网络模型参数使得下式的损失函数/>最小,即模型重建结果/>与真实结果/>最接近:
利用优化好的网络模型对验证集中的多光谱马赛克图像进行去马赛克重建,采用峰值信噪比(Peak Signal Noise Ratio,PSNR)和重建图像的可视化效果作为评价标准,并对比现有三种多光谱去马赛克方法的性能(双线性插值方法Bilinear 、基于残差网络的多光谱去马赛克方法ResNet和基于马赛克卷积注意力网络的多光谱去马赛克方法MCAN),得到验证集多光谱图像的平均重建效果,如表1所示。
表1 不同方法对验证集多光谱图像去马赛克的重建效果对比
由表1可以看出,本申请所提方法对验证集中4×4 MSFA的马赛克图像具有最优的去马赛克重建质量,平均PSNR达到47.31dB,远远优于传统插值方法的32.15dB;相比于现有两种基于深度学***均多光谱重建质量分别为42.62dB和46.03dB,本发明所提方法仍具有明显优势。图4展示了几种不同方法对两种不同的多光谱图像去马赛克的可视化效果,图中第一列为真实图像,第二例为真实图像的GT效果,后面四列分别为利用双线性插值方法Bilinear 、基于残差网络的多光谱去马赛克方法ResNet、基于马赛克卷积注意力网络的多光谱去马赛克方法MCAN以及本申请的方法进行去,马赛克后的图像,从重建图像视觉效果对比可以看出,传统线性插值方法Bilinear 的去马赛克图像上有明显模糊,图像质量不清晰,ResNet和MCAN方法的图像质量有一定提升,但仍存在图像细节模糊、失真现象。而本发明所提方法在可视化效果最佳、图像畸变最小,最接近真实图像GT效果。
Claims (10)
1.基于密集连接残差网络的多光谱图像去马赛克***,其特征在于,所述***包括顺序连接的浅层特征提取模块、多层次特征融合模块和图像重建模块;
所述浅层特征提取模块包括:两层卷积层和两层LeakyReLU激活函数层,其中卷积层和LeakyReLU激活函数层交替顺序连接;
所述多层次特征融合模块由M个密集连接残差模块组成,M≥1;每个密集连接残差模块均包括3个卷积模块和一个过度模块,密集连接残差模块中3个卷积模块和过度模块之间的连接关系为:m-1级密集连接残差模块的输出和m-1密集连接残差模块的输入相加后,作为m级密集连接残差模块的第一个卷积模块的输入,与第一个卷积模块相连,1≤m≤M;m级密集连接残差模块的第一个卷积模块的输入向量以及输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第二个卷积模块的输入,与第二个卷积模块连接;m级密集连接残差模块的前两个卷积模块的输入向量以及第二个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的第三个卷积模块的输入,与第三个卷积模块连接;m级密集连接残差模块的三个卷积模块的输入向量与第三个卷积模块的输出向量在特征维度上进行拼接后,作为m级密集连接残差模块的过度模块的输入,与过度模块连接;m级密集连接残差模块的过度模块的输出与m级密集连接残差模块的输入相加,得到m级密集连接残差模块的最终输出;
所述图像重建模块包括顺序连接的卷积层、全局残差连接操作层、LeakyReLU激活函数层和卷积输出层,且LeakyReLU激活函数层与浅层特征提取模块中第一层LeakyReLU激活函数层的输出连接。
2.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克***,其特征在于,所述浅层特征提取模块中两层卷积层分别为:采用64个1×1的卷积核的第一卷积层和采用64个3×3的卷积核的第二卷积层。
3.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克***,其特征在于,所述密集连接残差模块中,卷积模块均由两层卷积层和两层LeakyReLU激活函数层组成,且卷积层和LeakyReLU激活函数层顺序交替连接;所述过度模块包括顺序连接的采用64个1×1卷积核的卷积层和LeakyReLU激活函数层。
4.根据权利要求3所述的基于密集连接残差网络的多光谱图像去马赛克***,其特征在于,所述卷积模块中两层卷积层分别为:采用128个1×1卷积核的第一卷积层和采用32个3×3卷积核的第二卷积层。
5.根据权利要求1所述的基于密集连接残差网络的多光谱图像去马赛克***,其特征在于,所述图像重建模块中卷积层采用64个1×1卷积核;卷积输出层采用16个3×3卷积核。
6.基于密集连接残差网络的多光谱图像去马赛克方法,其特征在于,所述方法基于权利要求1~5中任一项所述的基于密集连接残差网络的多光谱图像去马赛克***进行,所述方法包括:
S1:将原始N×N多光谱滤波阵列MSFA生成的马赛克多光谱图像输入浅层特征提取模块,学习得到原始多光谱图像的初始浅层特征,N≥1;
S2:将初始浅层特征送入多层次特征融合模块,得到多光谱图像的非线性局部及全局融合信息;
S3:将多光谱图像的非线性局部及全局融合信息送入图像重建模块,生成N×N个光谱波段下完整的多光谱图像立方体。
7.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法,其特征在于,
所述S1中在浅层特征提取模块进行的操作包括:
f0=Conv2D(filters=64,kernel=(1,1))(IMSFA)
f1=fM=LeakyReLU(f0)
f2=Conv2D(filters=64,kernel=(3,3))(f1)
fshallow=LeakyReLU(f2)
其中,IMSFA为原始马赛克多光谱图像;Conv2D(filters=64,kernel=(1,1))()表示采用64个1×1卷积核的卷积层函数,Conv2D(filters=64,kernel=(3,3))()表示采用64个3×3卷积核的卷积层函数,LeakyReLU()表示LeakyReLU激活函数;f0、f1和f2分别表示原始马赛克多光谱图像IMSFA经过卷积层函数Conv2D(filters=64,kernel=(1,1))、第一个LeakyReLU激活函数以及卷积层函数Conv2D(filters=64,kernel=(3,3))计算后的中间值;fshallow表示原始马赛克图像IMSFA经过浅层特征提取模块后得到的初始浅层特征,fM表示经过浅层特征提取模块中卷积层函数Conv2D(filters=64,kernel=(1,1))和第一个LeakyReLU激活函数计算后生成的中间特征。
8.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法,其特征在于,所述S2中,多层次特征融合模块的每个卷积模块内均进行如下计算:
其中,和/>分别是第i个卷积模块的输入和输出,i代表第i个卷积模块,i=1或2或3;/>和/>表示第i个卷积模块的输入/>分别经过第i个卷积模块内的第一个卷积层函数、第一个LeakyReLU激活函数和第二卷积层函数计算后得到的中间值;Conv2D(filters=128,kernel=(1,1))()和Conv2D(filters=32,kernel=(3,3))()分别表示采用128个1×1卷积核的卷积层函数和采用32个3×3卷积核的卷积层函数;LeakyReLU()表示LeakyReLU激活函数;
所述过度模块内的计算如下:
10.根据权利要求6所述的基于密集连接残差网络的多光谱图像去马赛克方法,其特征在于,所S3包括:
其中,fmultilevel为多层次特征融合模块输出的非线性局部及全局融合信息;Conv2D(filters=64,kernel=(1,1))()和Conv2D(filters=16,kernel=(3,3))()分别表示图像重建模块中采用64个1×1卷积核的卷积层函数和采用16个3×3卷积核的卷积输出层函数,LeakyReLU()表示LeakyReLU激活函数;和/>分别表示非线性局部及全局融合信息fmultilevel分别经过Conv2D(filters=64,kernel=(1,1))()卷积函数、全局残差连接操作和激活函数层LeakyReLU计算后得到的中间值,fM表示原始马赛克图像IMSFA经过浅层特征提取模块中卷积层函数Conv2D(filters=64,kernel=(1,1))和第一个LeakyReLU激活函数计算后生成的中间特征,/>表示去马赛克后的多光谱图像立方体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310404702.5A CN116128735B (zh) | 2023-04-17 | 2023-04-17 | 基于密集连接残差网络的多光谱图像去马赛克结构及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310404702.5A CN116128735B (zh) | 2023-04-17 | 2023-04-17 | 基于密集连接残差网络的多光谱图像去马赛克结构及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116128735A CN116128735A (zh) | 2023-05-16 |
CN116128735B true CN116128735B (zh) | 2023-06-20 |
Family
ID=86295955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310404702.5A Active CN116128735B (zh) | 2023-04-17 | 2023-04-17 | 基于密集连接残差网络的多光谱图像去马赛克结构及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116128735B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237474B (zh) * | 2023-11-16 | 2024-02-09 | 长春理工大学 | 一种基于深度引导的片上集成多光谱成像重构方法 |
CN117372564B (zh) * | 2023-12-04 | 2024-03-08 | 长春理工大学 | 一种重构多光谱图像的方法、***及存储介质 |
CN118175435A (zh) * | 2024-05-13 | 2024-06-11 | 中国工程物理研究院电子工程研究所 | 一种基于强度差值的多尺度残差多光谱去马赛克网络结构 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021003594A1 (en) * | 2019-07-05 | 2021-01-14 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation |
CN111383200B (zh) * | 2020-03-30 | 2023-05-23 | 西安理工大学 | 基于生成式对抗神经网络的cfa图像去马赛克方法 |
CN111583112A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 视频超分辨率的方法、***、装置和存储介质 |
CN111696036B (zh) * | 2020-05-25 | 2023-03-28 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
CN112836773B (zh) * | 2021-04-08 | 2022-09-02 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
-
2023
- 2023-04-17 CN CN202310404702.5A patent/CN116128735B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116128735A (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116128735B (zh) | 基于密集连接残差网络的多光谱图像去马赛克结构及方法 | |
Syu et al. | Learning deep convolutional networks for demosaicing | |
Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
Ratnasingam | Deep camera: A fully convolutional neural network for image signal processing | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
CN115564692B (zh) | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 | |
Bian et al. | Generalized MSFA engineering with structural and adaptive nonlocal demosaicing | |
Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
CN112150363B (zh) | 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质 | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN114902276A (zh) | 图像处理器 | |
CN117036182A (zh) | 一种单幅图像去雾方法及*** | |
CN116245968A (zh) | 基于Transformer的LDR图像生成HDR图像的方法 | |
CN115984106A (zh) | 一种基于双边生成对抗网络的线扫描图像超分辨率方法 | |
CN115760638A (zh) | 一种基于深度学习的端到端去模糊超分辨率的方法 | |
CN113393379B (zh) | 基于像素编码的大f数衍射实时校正的高分辨成像方法 | |
CN114972072A (zh) | 基于注意力机制的图像去马赛克方法 | |
CN115753691A (zh) | 一种基于rgb重建高光谱的水质参数检测方法 | |
Bai et al. | Convolutional sparse coding for demosaicking with panchromatic pixels | |
CN118175435A (zh) | 一种基于强度差值的多尺度残差多光谱去马赛克网络结构 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |