CN111354051B - 一种自适应优化网络的图像压缩感知方法 - Google Patents

一种自适应优化网络的图像压缩感知方法 Download PDF

Info

Publication number
CN111354051B
CN111354051B CN202010139605.4A CN202010139605A CN111354051B CN 111354051 B CN111354051 B CN 111354051B CN 202010139605 A CN202010139605 A CN 202010139605A CN 111354051 B CN111354051 B CN 111354051B
Authority
CN
China
Prior art keywords
network
channel
ista
optimization
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010139605.4A
Other languages
English (en)
Other versions
CN111354051A (zh
Inventor
柳翠寅
李楠宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010139605.4A priority Critical patent/CN111354051B/zh
Publication of CN111354051A publication Critical patent/CN111354051A/zh
Application granted granted Critical
Publication of CN111354051B publication Critical patent/CN111354051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种通过自适应优化网络来实现图像欠采样重建的方法，属于自然图像压缩感知技术领域。本发明主要包括自适应部分、优化算法部分、通道注意力网络部分和损失函数部分。本发明结合了深度神经网络和优化算法的优点，是一种快速而且准确的方法。使用全连接网络来自适应地学习测量矩阵，有利于提取更有效的信息，使用全连接网络来自适应地学习初始化，不需要原本复杂的求伪逆过程。使用全卷积网络来学习通道的注意力机制，能萃取更有效的特征，提高重建效果。

Description

一种自适应优化网络的图像压缩感知方法
技术领域
本发明涉及一种自适应优化网络的图像压缩感知方法，属于自然图像压缩感知技术领域。
背景技术
压缩感知(CS)理论指的是使用采样频率远低于NQ频率的测量矩阵测量信号，如果信号本身是可压缩的，或在某些变换域存在稀疏性，有很高的概率实现重建.该理论说明了欠采样重建的可能性。传统上有很多快速且准确的凸优化方法处理CS重建，如ADMM,ISTA.基于CS采样(远低于NQ频率)的设备具有hardware-friendly的特性，减低了采样成本,甚至提高成像速度，从而在很多领域有着广泛成熟的应用，如MRI成像，CT成像，射电天文成像,单像素相机,3D-视频，但是传统的凸优化算法存在以下缺点，不仅需要凭借先验手动设定优化参数，非相干测量矩阵，优化变换，还需要上百次迭代才能得到最优解。
发明内容
本发明要解决的技术问题是提供一种自适应优化网络的图像压缩感知方法，用以解决上述问题。
本发明的技术方案是：一种自适应优化网络的图像压缩感知方法，具体步骤为：
Step1：自适应部分；
使用bias为0的全连接网络，输入是图像X，输出是测量结果Y，根据CS率设定输出的维度，权重为测量矩阵，同理，再添加另一个bias为0的全连接网络，输入是测量结果，输出作为CS重建网络的初始化输入，相比ISTA-Net+需要训练集做求伪逆计算，测量和初始化如下所示：
Figure RE-GDA0002443585420000011
F代表全连接网络，Wθ，WQ为需要训练的权重；
Step2：优化算法部分
通过引入canonical dual frame去构造正交投影算子：设定DTD＝I，直接求解X，所以 ISTA-Net+把卷积和残差连接对Projected ISTA进行网络化，公式为
Figure RE-GDA0002443585420000012
k是Projected ISTA的迭代系数，β是步长，soft是软值函数，D为优化变换；
Step3：通道注意力网络部分
设定输入为特征C，其为卷积网络的多通道的特征表示，引入通道注意力机制，使用全局平均池化得到全局信息，用通道数不同的一维卷积和Relu函数，完成跨通道特征的重排列，并用sigmoid函数得到通道的注意力表示，其公式表示如下：
Figure RE-GDA0002443585420000021
使用了两个堆叠的卷积层f进行重排列，第一个卷积层通道为w/u，第二个为w，激活函数分别为relu和sigmoid，输出通道注意力机制a(k)；
Step4：损失函数部分
整个网络，除了重建图像和原图的误差外，还有卷积网络里的
Figure RE-GDA0002443585420000023
的误差，两个误差比例为1：0.1，使用均方误差函数进行度量，使用Adam进行学习，学习率为0.001，训练200次，使得网络收敛。
本发明的有益效果是：结合了深度神经网络和优化算法的优点，是一种快速而且准确的方法。使用全连接网络来自适应地学习测量矩阵，有利于提取更有效的信息，使用全连接网络来自适应地学习初始化，不需要原本复杂的求伪逆过程。使用全卷积网络来学习通道的注意力机制，能萃取更有效的特征，提高重建效果。
附图说明
图1是本发明的框架图；
图2是本发明自然图像灰度数据集Set11图；
图3是本发明自然图像灰度数据集BSD68图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
一种自适应优化网络的图像压缩感知方法，具体步骤为：
Step1：自适应部分；
如图1中的测量矩阵和初始化部分所示，使用bias为0的全连接网络，输入是图像X，输出是测量结果Y，根据CS率设定输出的维度，权重为测量矩阵，同理，再添加另一个bias为0的全连接网络，输入是测量结果，输出作为CS重建网络的初始化输入，相比ISTA-Net+需要训练集做求伪逆计算，极大地减少了计算量。测量和初始化如下所示：
Figure RE-GDA0002443585420000022
F代表全连接网络，Wθ，WQ为需要训练的权重，也就是测量矩阵和初始化矩阵，使得ISTA-Net+[2]进一步网络化，有助于满足RIP条件(要求测量矩阵和CS重建中的优化变换非相干)，得到更好的初始化X(0)，提高CS重建结果。
Step2：优化算法部分
传统的优化算法中，Projected ISTA相比于ADMM算法取得更好的性能，其通过引入 canonical dual frame去构造正交投影算子：设定DTD＝I，直接求解X，所以ISTA-Net+把卷积和残差连接对Projected ISTA进行网络化，公式为
Figure RE-GDA0002443585420000031
k是Projected ISTA的迭代系数，也就是网络化后的堆叠系数，β是步长，soft是软值函数，D为优化变换，符合正交原理，其使用了卷积网络进行模拟。
Step3：通道注意力网络部分
设定输入为特征C，其为卷积网络的多通道的特征表示，可以看成凸优化上变换域的不同频率的特征表示，简单的卷积网络无法关注不同通道间的互相依赖性.所以我们引入通道注意力机制，使用全局平均池化得到全局信息，之后用通道数不同的一维卷积，和Relu函数，完成跨通道特征的重排列，并用sigmoid函数得到通道的注意力表示，其公式表示如下：
Figure RE-GDA0002443585420000032
使用了两个堆叠的卷积层f进行重排列，第一个卷积层通道为w/u，第二个为w，激活函数分别为relu和sigmoid，输出通道注意力机制a(k)。不同于常用的SE-Net[5]的通道注意力机制，用一维卷积网络取代了全连接网络，减少了一定的参数量。
Step4：损失函数部分
整个网络，除了重建图像和原图的误差外，还有卷积网络里的
Figure RE-GDA0002443585420000034
的误差，两个误差比例为1：0.1，使用均方误差函数进行度量，使用Adam进行学习，学习率为0.001，训练200次，使得网络收敛。
网络代码实现：平台为泰坦XP服务器，使用Tensorflow编写，因为基于数据驱动，我们需要训练在Image91上训练这个网络，200次训练后，将其模型用于处理实际问题。
实施例2：在Set11和BSD68数据集上做实验，数据集如图2图3所示，实验结果如表1、表2所示，其对比方法上面提到的神经网络方法和优化编程方法，自适应优化网络方法实验步骤如下：
选择模型：根据欠采样率，选择在Tensorflow上训练200次的对应模型，训练集为Image91。
数据预处理步骤：图像分块，归一化。
Figure RE-GDA0002443585420000033
Figure RE-GDA0002443585420000041
表1
Figure RE-GDA0002443585420000042
表2
测试：所有图像块输入到模型中，重建合成，得到结果。
实验结果用PSNR衡量，可以看出和当前的方法相比，本申请的算法PSNR在不同的欠采样率下PSNR最高，重建效果最好，可以推广到实际应用。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种自适应优化网络的图像压缩感知方法，其特征在于：
Step1：自适应部分；
使用bias为0的全连接网络，输入是图像X，输出是测量结果Y，根据CS率设定输出的维度，权重为测量矩阵，同理，再添加另一个bias为0的全连接网络，输入是测量结果，输出作为CS重建网络的初始化输入，相比ISTA-Net+需要训练集做求伪逆计算，测量和初始化如下所示：
Figure FDA0002398597250000011
F代表全连接网络，Wθ，WQ为需要训练的权重；
Step2：优化算法部分
通过引入canonical dual frame去构造正交投影算子：设定DTD＝I，直接求解X，所以ISTA-Net+把卷积和残差连接对Projected ISTA进行网络化，公式为
Figure FDA0002398597250000012
k是Projected ISTA的迭代系数，β是步长，soft是软值函数，D为优化变换；
Step3：通道注意力网络部分
设定输入为特征C，其为卷积网络的多通道的特征表示，引入通道注意力机制，使用全局平均池化得到全局信息，用通道数不同的一维卷积和Relu函数，完成跨通道特征的重排列，并用sigmoid函数得到通道的注意力表示，其公式表示如下：
Figure FDA0002398597250000013
使用了两个堆叠的卷积层f进行重排列，第一个卷积层通道为w/u，第二个为w，激活函数分别为relu和sigmoid，输出通道注意力机制a(k)；
Step4：损失函数部分
整个网络，除了重建图像和原图的误差外，还有卷积网络里的
Figure FDA0002398597250000014
的误差，两个误差比例为1：0.1，使用均方误差函数进行度量，使用Adam进行学习，学习率为0.001，训练200次，使得网络收敛。
CN202010139605.4A 2020-03-03 2020-03-03 一种自适应优化网络的图像压缩感知方法 Active CN111354051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139605.4A CN111354051B (zh) 2020-03-03 2020-03-03 一种自适应优化网络的图像压缩感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139605.4A CN111354051B (zh) 2020-03-03 2020-03-03 一种自适应优化网络的图像压缩感知方法

Publications (2)

Publication Number Publication Date
CN111354051A CN111354051A (zh) 2020-06-30
CN111354051B true CN111354051B (zh) 2022-07-15

Family

ID=71194278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139605.4A Active CN111354051B (zh) 2020-03-03 2020-03-03 一种自适应优化网络的图像压缩感知方法

Country Status (1)

Country Link
CN (1) CN111354051B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884851B (zh) * 2021-01-27 2022-06-14 武汉大学 基于展开迭代优化算法的深度压缩感知网络的构建方法
CN113284202B (zh) * 2021-06-11 2022-10-25 北京大学深圳研究生院 一种基于内容自适应的可伸缩网络的图像压缩感知方法
CN113516601B (zh) * 2021-06-17 2022-10-14 西南大学 基于深度卷积神经网络与压缩感知的图像恢复方法
CN113643261B (zh) * 2021-08-13 2023-04-18 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法
CN114359419B (zh) * 2021-11-02 2024-05-17 上海大学 一种基于注意力机制的图像压缩感知重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和***
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构***与方法
CN109168002A (zh) * 2018-07-26 2019-01-08 西安电子科技大学 基于压缩感知和卷积神经网络的视频信号测量域估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和***
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构***与方法
CN109168002A (zh) * 2018-07-26 2019-01-08 西安电子科技大学 基于压缩感知和卷积神经网络的视频信号测量域估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Projected Iterative Soft-thresholding Algorithm for Tight Frames in Compressed Sensing Magnetic Resonance Imaging;Yunsong Liu 等;《IEEE Transactions on Medical Imaging》;20160406;第35卷(第9期);第2130-2140页 *
压缩感知在光学成像领域的应用;柯钧 等;《光学学报》;20200131;第40卷(第1期);第0111006-1-0111006-26页 *
射电日像仪的压缩感知和脏图高斯去噪;李楠宇 等;《四川大学学报（自然科学版）》;20191125;第56卷(第6期);第1073-1080页 *

Also Published As

Publication number Publication date
CN111354051A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111354051B (zh) 一种自适应优化网络的图像压缩感知方法
Young et al. Transform quantization for CNN compression
CN108090871B (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109003229A (zh) 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN111598786B (zh) 一种基于深度去噪自编码网络的高光谱图像解混方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN114972803B (zh) 一种基于联合优化的快照式光谱成像方法和***
CN104574456A (zh) 一种基于图正则化稀疏编码的磁共振超欠采样k数据成像方法
CN113222860B (zh) 基于噪声结构多重正则化的图像恢复方法及***
US20240161251A1 (en) Image denoising method and apparatus based on wavelet high-frequency channel synthesis
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
CN106991651B (zh) 基于合成分析反卷积网络的快速成像方法及***
Zhang et al. LR-CSNet: low-rank deep unfolding network for image compressive sensing
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN111243047B (zh) 基于自适应非线性网络的图像压缩感知方法及相关产品
Cang et al. Research on hyperspectral image reconstruction based on GISMT compressed sensing and interspectral prediction
CN115330901B (zh) 一种基于压缩感知网络的图像重构方法和装置
CN117036901A (zh) 一种基于视觉自注意力模型的小样本微调方法
CN111932473B (zh) 一种多分辨率稀疏编码的相位信息降噪算法及存储介质
CN113838104B (zh) 基于多光谱与多模态图像一致性增强网络的配准方法
CN113313175B (zh) 基于多元激活函数的稀疏正则化神经网络的图像分类方法
CN112634385B (zh) 一种基于深度拉普拉斯网络的快速磁共振成像方法
CN110830044B (zh) 基于稀疏最小二乘优化的数据压缩方法
CN110443755B (zh) 一种基于高低频信号量的图像超分辨率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Cuiyin

Inventor after: Li Nanyu

Inventor before: Li Nanyu

Inventor before: Liu Cuiyin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Li Nanyu

Inventor after: Liu Cuiyin

Inventor before: Liu Cuiyin

Inventor before: Li Nanyu

CB03 Change of inventor or designer information