CN114821100B - 基于结构组稀疏网络的图像压缩感知重建方法 - Google Patents
基于结构组稀疏网络的图像压缩感知重建方法 Download PDFInfo
- Publication number
- CN114821100B CN114821100B CN202210385383.3A CN202210385383A CN114821100B CN 114821100 B CN114821100 B CN 114821100B CN 202210385383 A CN202210385383 A CN 202210385383A CN 114821100 B CN114821100 B CN 114821100B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- group
- similarity group
- reconstructed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100365547 Schizosaccharomyces pombe (strain 972 / ATCC 24843) set11 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于结构组稀疏网络的图像压缩感知重建方法,所述方法为:为图像块构造相似组,将图像块与其相似组输入卷积神经网络;将图像块相似组输入边缘轮廓重构分支,通过其中的局部残差递归网络和亚相素层,获得对图像边缘轮廓的重建;将图像块相似组输入局部细节重构分支,通过其中的密集连接网络和多尺度编解码网络模块,获得对图像细节纹理的重建;将两分支重建图像进行融合,输出得到对原始图像的重建图;训练中,设计并采用结构组稀疏约束损失函数进行训练约束。这种方法能节约计算资源、能提高图像的重建精度。
Description
技术领域
本发明涉及智能信息处理技术领域,具体是一种基于结构组稀疏网络的图像压缩感知重建方法。
背景技术
压缩感知作为一种新兴的对信息进行采样压缩的处理手段,能够在比奈奎斯特采样率更低的采样率下对信息进行有效恢复与重建,并且由于奈奎斯特采样定律需要对信息进行先采样再压缩来剔除冗余信息,而压缩感知将信息的采样与压缩同步完成,使得信息的提取更加高效,因此压缩感知技术常被应用于医学图像,遥感图像重建等问题中,以较低的采样率来恢复原始信息,可以更好的节约硬件设备资源。压缩感知图像重建作为一个不适定的逆问题,旨在解决从较低采样率下得到的观测值中恢复出原始图像信息。
近年来,由于深度学***滑,轮廓局部细节信息缺失导致图像整体结构特征不明显,并且针对不同结构特征采用同一尺度卷积核进行特征提取,造成计算量过大,计算资源的严重浪费。
发明内容
本发明的目的是针对现有图像重建技术的不足,通过有效利用图像中所存在的先验信息,提供一种基于结构组稀疏网络的图像压缩感知重建方法。这种方法能节约计算资源、能提高图像的重建精度。
实现本发明目的的技术方案是:
一种基于结构组稀疏网络的图像压缩感知重建方法,包括如下步骤:
1)获取观测数据:将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪,获得大小为B×B的不重叠的图像块xi,其中,i=1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样,获得对应的压缩观测值yi=φxi,i=1,2,…,M;
2)构建每个图像块的相似组Yi:计算单个图像块的压缩观测值yi与其它图像块的压缩观测值yj的余弦相似性其中,yi表示局部图像块xi的压缩观测值,yj表示图像块xj的压缩观测值,并将相似度按照从大到小次序进行排列,取相似度最大的5项对应的压缩观测值构造相似组/>
3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F1分支,采用全连接网络进行线性映射得到初始重建图像相似组Zi,1,并将初始重建图像相似组Zi,1输入残差网络F2进行特征增强得到增强重建图像相似组/>如公式(1)、(2)所示:
Zi,1=α(Ff(W1,Yi)) (1),
其中,Ff表示全连接网络,W1表示全连接参数,α为激活函数操作,F2为残差网络,W2为残差网络参数,F1分支采用全连接网络层Ff对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为B×B的初始重建图像块相似组Zi,1;
4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F3分支采用全连接网络进行线性映射得到初始重建图像相似组Zi,2,并将初始重建图像相似组Zi,2输入局部残差递归网络F4得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像,完成对图像整体轮廓的重建,如公式(3)、(4)所示:
Zi,2=α(Ff1(W3,Yi)) (3),
其中,Ff1表示全连接网络,W3表示全连接参数,α为激活函数操作,F4为残差网络,W4为残差网络参数,upsub为亚像素上采样,F3分支采用全连接网络层Ff1对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为的初始重建图像相似组Zi,2;
5)对两分支增强重建图像相似组进行特征融合:对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合,如公式(5)所示:
输出重建图像相似组其中zi为原始图像块估计值,/> 为其相似图像块估计值;
6)采用结构组稀疏约束损失进行网络训练:如公式(6)所示:
其中,Yi为压缩观测值相似组,φ为观测矩阵,Zi为重建图像相似组,xi为原始图像块,为重构的相似图像,将步骤5)得到的最终输出的重建图像相似组Zi内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块xi的压缩观测相似组Yi构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失,对组内图像训练进行约束,同时通过计算局部图像块xi与步骤5)中得到的输出相似组Zi中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束,并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。
步骤3)中所述残差网络F2具体过程为:
3-1)对F1分支得到的初始重建图像相似组Zi,1内初始重建图像首先采用密集连接网络Fd做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络Fc-d提取图像多尺度语意特征,最后将编解码网络的输出图像与初始重建图像相似组Zi,1内的初始重建图像块进行全局残差相加融合,得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示:
其中,Fd表示密集连接网络,Fc1,Fc2,Fc3表示编码器中提取特征的卷积操作,Fd1,Fd2,Fd3表示解码器中提取特征的卷积操作,表示下采样/>up2,up4分别表示上采样2倍、4倍,W5,W6表示卷积参数。
步骤4)中所述局部残差递归网络F4具体过程为:
4-1)对F2得到的初始重建图像相似组Zi,2中的初始重建图像采用3个局部残差模块Fr1,Fr2,Fr3进行特征提取与图像增强,每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取,并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接,采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示:
其中,Fr1,Fr2,Fr3表示提取图像特征的卷积操作,upsub表示亚像素上采样,concat表示通道拼接。
本技术方案的特点及有益效果是:
(1)本技术方案采用基于深度学习的方式进行压缩感知图像重建,采用端到端的映射方式完成从压缩观测值到图像估计值的重构过程,利用图像中的非局部自相似性这种先验信息构建网络损失,实现对单个图像块信息的有效估计,使网络能够充分学习图像内部固有属性,避免网络中因训练过程中使用不同图像进行训练造成网络训练不稳定的现象;
(2)本技术方案依据图像中所包含的结构特征,将图像分层结构特征采用不同的网络结构进重建,依据图像局部细节特征存在于较小的感受野中,采用多尺度的方式对局部细节特征进行提取重构,以往采用不同尺度的卷积核来提取不同尺度特征的方式造成参数量过大,计算资源的浪费,在对局部细节特征提取与重建过程中使用编解码的方式对图像多尺度特征进行提取,不仅能够减小网络参数量,同时将编码器特征与解码器特征进行有效的融合,使得网络特征得到有效利用,针对图像轮廓特征存在于较大的感受野中的特点,采用大的卷积核进行特征提取造成计算和显存的增加,将生成图像尺度缩小后进行特征提取再进行上采样可有效避免计算资源的浪费,并且采用局部残差以及递归形式,将局部残差信息进行有效融合,避免梯度消失的同时也使得网络浅层特征得到有效的利用;
(3)本技术方案采用结构组稀疏损失函数对网络训练进行约束,增加网络训练稳定性的同时可以提高局部图像重建精度。
这种方法能节约计算资源、能提高图像的重建精度。
附图说明
图1为实施例中方法的示意图;
图2为实施例中的多尺度编解码网络结构示意图;
图3为实施例中的残差递归神经网络结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述,但不是对本发明的限定。
实施例:
参照图1,一种基于结构组稀疏网络的图像压缩感知重建方法,包括如下步骤:
1)获取观测数据:将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪,获得大小为B×B的不重叠的图像块xi,其中,i=1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样,获得对应的压缩观测值yi=φxi,i=1,2,…,M;
2)构建每个图像块的相似组Yi:计算单个图像块的压缩观测值yi与其它图像块的压缩观测值yj的余弦相似性其中,yi表示局部图像块xi的压缩观测值,yj表示图像块xj的压缩观测值,并将相似度按照从大到小次序进行排列,取相似度最大的5项对应的压缩观测值构造相似组/>
3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F1分支,采用全连接网络进行线性映射得到初始重建图像相似组Zi,1,并将初始重建图像相似组Zi,1输入残差网络F2进行特征增强得到增强重建图像相似组/>如公式(1)、(2)所示:
Zi,1=α(Ff(W1,Yi)) (1),
其中,Ff表示全连接网络,W1表示全连接参数,α为激活函数操作,F2为残差网络,W2为残差网络参数,F1分支采用全连接网络层Ff对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为B×B的初始重建图像块相似组Zi,1;
4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F3分支采用全连接网络进行线性映射得到初始重建图像相似组Zi,2,并将初始重建图像相似组Zi,2输入局部残差递归网络F4得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像,完成对图像整体轮廓的重建,如公式(3)、(4)所示:
Zi,2=α(Ff1(W3,Yi)) (3),
其中,Ff1表示全连接网络,W3表示全连接参数,α为激活函数操作,F4为残差网络,W4为残差网络参数,upsub为亚像素上采样,F3分支采用全连接网络层Ff1对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为的初始重建图像相似组Zi,2;
5)对两分支增强重建图像相似组进行特征融合:对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合,如公式(5)所示:
输出重建图像相似组其中zi为原始图像块估计值,/> 为其相似图像块估计值;
6)采用结构组稀疏约束损失进行网络训练:如公式(6)所示:
其中,Yi为压缩观测值相似组,φ为观测矩阵,Zi为重建图像相似组,xi为原始图像块,为重构的相似图像,将步骤5)得到的最终输出的重建图像相似组Zi内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块xi的压缩观测相似组Yi构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失,对组内图像训练进行约束,同时通过计算局部图像块xi与步骤5)中得到的输出相似组Zi中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束,并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。
步骤3)中所述残差网络F2具体过程为:
3-1)如图2所示,对F1分支得到的初始重建图像相似组Zi,1内初始重建图像首先采用密集连接网络Fd做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络Fc-d提取图像多尺度语意特征,最后将编解码网络的输出图像与初始重建图像相似组Zi,1内的初始重建图像块进行全局残差相加融合,得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示:
其中,Fd表示密集连接网络,Fc1,Fc2,Fc3表示编码器中提取特征的卷积操作,Fd1,Fd2,Fd3表示解码器中提取特征的卷积操作,表示下采样/>up2,up4分别表示上采样2倍、4倍,W5,W6表示卷积参数。
步骤4)中所述局部残差递归网络F4具体过程为:
4-1)如图3所示,对F2得到的初始重建图像相似组Zi,2中的初始重建图像采用3个局部残差模块Fr1,Fr2,Fr3进行特征提取与图像增强,每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取,并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接,采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示:
其中,Fr1,Fr2,Fr3表示提取图像特征的卷积操作,upsub表示亚像素上采样,concat表示通道拼接。
本例中采用91-images数据集和BSD200-train数据集作为训练数据集,在进行网络训练之前,首先对训练数据集进行预处理,将RGB颜色域转换到YCrCb颜色域,提取亮度通道,对转换后的每张图片采用不重叠的方式滑动取块,将数据集中图片裁剪为16x16大小的图像块,将所得图像块转换成256x1维列向量,将向量中的每一维的值归一化到[0,1]区间内,以加快网络收敛速度,网络输入由每张图片所裁剪的图像块经过高斯随机矩阵进行采样后得到的观测值构成,并且提取图像块的亮度分量作为训练网络中的监督标签,本例中所采用的观测矩阵由满足有限等距约束的高斯随机矩阵构成,采样率分别设置为{0.01,0.04,0.05,0.10,0.15,0.20,0.25},训练完成后,采用set6数据集和set11数据集进行测试。
本例中网络采用Adam方式进行训练,网络训练500次,网络初始学***缓不下降时,将学***台下进行。
对比实验将本例中方法、D-AMP、ReconNet、NL-MRN方法进行对比,分别对图像相应指标PSNR,SSIM进行比较,并将重建图像进行可视,结果是本例中的方法图像重建效果更好,各项指标都优于对比实验算法,具体见下表1:
表1各采样率下不同重建方法平均PSNR和SSIM比较
Claims (3)
1.一种基于结构组稀疏网络的图像压缩感知重建方法,其特征在于,包括如下步骤:
1)获取观测数据:将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪,获得大小为B×B的不重叠的图像块xi,其中,i=1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样,获得对应的压缩观测值yi=φxi,i=1,2,…,M;
2)构建每个图像块的相似组Yi:计算单个图像块的压缩观测值yi与其它图像块的压缩观测值yj的余弦相似性其中,yi表示局部图像块xi的压缩观测值,yj表示图像块xj的压缩观测值,并将相似度按照从大到小次序进行排列,取相似度最大的5项对应的压缩观测值构造相似组/>
3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F1分支,采用全连接网络进行线性映射得到初始重建图像相似组Zi,1,并将初始重建图像相似组Zi,1输入残差网络F2进行特征增强得到增强重建图像相似组如公式(1)、(2)所示:
Zi,1=α(Ff(W1,Yi)) (1),
其中,Ff表示全连接网络,W1表示全连接参数,α为激活函数操作,F2为残差网络,W2为残差网络参数,F1分支采用全连接网络层Ff对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为B×B的初始重建图像块相似组Zi,1;
4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Yi,i=1,2,…,M输入到F3分支采用全连接网络进行线性映射得到初始重建图像相似组Zi,2,并将初始重建图像相似组Zi,2输入局部残差递归网络F4得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像,完成对图像整体轮廓的重建,如公式(3)、(4)所示:
Zi,2=α(Ff1(W3,Yi)) (3),
其中,Ff1表示全连接网络,W3表示全连接参数,α为激活函数操作,F4为残差网络,W4为残差网络参数,upsub为亚像素上采样,F3分支采用全连接网络层Ff1对相似组Yi内压缩观测值进行升维、转换尺寸,得到大小为的初始重建图像相似组Zi,2;
5)对两分支增强重建图像相似组进行特征融合:对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合,如公式(5)所示:
输出重建图像相似组其中zi为原始图像块估计值,m=1,2,…,5为其相似图像块估计值;
6)采用结构组稀疏约束损失进行网络训练:如公式(6)所示:
其中,Yi为压缩观测值相似组,φ为观测矩阵,Zi为重建图像相似组,xi为原始图像块,为重构的相似图像,将步骤5)得到的最终输出的重建图像相似组Zi内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块xi的压缩观测相似组Yi构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失,对组内图像训练进行约束,同时通过计算局部图像块xi与步骤5)中得到的输出相似组Zi中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束,并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。
2.根据权利要求1所述的基于结构组稀疏网络的图像压缩感知重建方法,其特征在于,步骤3)中所述残差网络F2具体过程为:
3-1)对F1分支得到的初始重建图像相似组Zi,1内初始重建图像首先采用密集连接网络Fd做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络Fc-d提取图像多尺度语意特征,最后将编解码网络的输出图像与初始重建图像相似组Zi,1内的初始重建图像块进行全局残差相加融合,得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示:
其中,Fd表示密集连接网络,Fc1,Fc2,Fc3表示编码器中提取特征的卷积操作,Fd1,Fd2,Fd3表示解码器中提取特征的卷积操作,表示下采样/>up2,up4分别表示上采样2倍、4倍,W5,W6表示卷积参数。
3.根据权利要求1所述的基于结构组稀疏网络的图像压缩感知重建方法,其特征在于,步骤4)中所述局部残差递归网络F4具体过程为:
4-1)对F2得到的初始重建图像相似组Zi,2中的初始重建图像采用3个局部残差模块Fr1,Fr2,Fr3进行特征提取与图像增强,每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取,并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接,采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示:
其中,Fr1,Fr2,Fr3表示提取图像特征的卷积操作,upsub表示亚像素上采样,concat表示通道拼接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210385383.3A CN114821100B (zh) | 2022-04-13 | 2022-04-13 | 基于结构组稀疏网络的图像压缩感知重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210385383.3A CN114821100B (zh) | 2022-04-13 | 2022-04-13 | 基于结构组稀疏网络的图像压缩感知重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114821100A CN114821100A (zh) | 2022-07-29 |
CN114821100B true CN114821100B (zh) | 2024-03-26 |
Family
ID=82537251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210385383.3A Active CN114821100B (zh) | 2022-04-13 | 2022-04-13 | 基于结构组稀疏网络的图像压缩感知重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821100B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115170916B (zh) * | 2022-09-06 | 2023-01-31 | 南京信息工程大学 | 一种多尺度特征融合的图像重建方法及*** |
CN116962698B (zh) * | 2023-09-20 | 2023-12-08 | 江苏游隼微电子有限公司 | 一种高压缩率的图像压缩及解压缩方法 |
CN118096556A (zh) * | 2024-04-23 | 2024-05-28 | 华东交通大学 | 一种图像重构方法、***、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991472A (zh) * | 2021-03-19 | 2021-06-18 | 华南理工大学 | 一种基于残差稠密阈值网络的图像压缩感知重建方法 |
US11153566B1 (en) * | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
-
2022
- 2022-04-13 CN CN202210385383.3A patent/CN114821100B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11153566B1 (en) * | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
CN112991472A (zh) * | 2021-03-19 | 2021-06-18 | 华南理工大学 | 一种基于残差稠密阈值网络的图像压缩感知重建方法 |
Non-Patent Citations (2)
Title |
---|
基于多尺度残差网络的全局图像压缩感知重构;涂云轩;冯玉田;;工业控制计算机;20200725(第07期);全文 * |
视频压缩感知中基于结构相似的帧间组稀疏表示重构算法研究;和志杰;杨春玲;汤瑞东;;电子学报;20180315(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114821100A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114821100B (zh) | 基于结构组稀疏网络的图像压缩感知重建方法 | |
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
CN110517329A (zh) | 一种基于语义分析的深度学习图像压缩方法 | |
CN116012344B (zh) | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 | |
CN111259904B (zh) | 一种基于深度学习和聚类的语义图像分割方法及*** | |
CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
CN113379601A (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及*** | |
CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
CN116721221B (zh) | 基于多模态的三维内容生成方法、装置、设备及存储介质 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
CN113706545A (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
CN113240683A (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN103020940B (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
CN114936977A (zh) | 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 | |
CN117115563A (zh) | 基于区域语义感知的遥感土地覆盖分类方法及*** | |
CN116523985A (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
CN116645514A (zh) | 一种改进U2-Net的瓷砖表面缺陷分割方法 | |
CN107705249A (zh) | 基于深度度量学习的图像超分辨方法 | |
CN113269702A (zh) | 基于跨尺度特征融合的低曝光静脉图像增强方法 | |
CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |