CN110111257B - 一种基于特征通道自适应加权的超分辨图像重建方法 - Google Patents
一种基于特征通道自适应加权的超分辨图像重建方法 Download PDFInfo
- Publication number
- CN110111257B CN110111257B CN201910378335.XA CN201910378335A CN110111257B CN 110111257 B CN110111257 B CN 110111257B CN 201910378335 A CN201910378335 A CN 201910378335A CN 110111257 B CN110111257 B CN 110111257B
- Authority
- CN
- China
- Prior art keywords
- network
- edsr
- super
- model
- ise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000005284 excitation Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000007306 turnover Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像重建领域，特别是涉及一种基于特征通道自适应加权的超分辨图像重建方法。一种基于特征通道自适应加权的超分辨图像重建方法，包括以下步骤：(1)改进压缩激励网络SE的激励函数，得到ISE模块；(2)简化现有的EDSR网络；(3)将ISE模型嵌入到简化的EDSR网络，得到ISE‑EDSR模型；(4)用训练样本训练ISE‑EDSR模型。本发明的优点有：训练难度低；自适应学习特征通道权重；避免网络中间层输出值过低的问题；超分辨率重建后的图像峰值信噪比高。
Description
技术领域
本发明属于图像重建领域，特别是涉及一种基于特征通道自适应加权的超分辨图像重建方法。
背景技术
超分辨率图像重建是指使用信号处理或者图像处理算法，将低分辨率图像转变成高分辨率图像的技术。更具体地说，是把单幅或者多幅混淆、退化的低分辨率图像恢复为高分辨率图像的技术。根据所用低分辨率图像的数量，可以将超分辨图像重建技术分为基于单幅图像的和基于多幅图像的重建方法。其中，单幅图像的超分辨率重建技术广泛应用于医学图像处理、视频监控、刑侦分析、图像打印、卫星成像等计算机视觉领域。
近年来，基于卷积神经网络CNN的超分辨率图像重建技术方兴未艾。主要的网络模型包括密集残差网络和强化的针对单一图像超分辨率的深度残差网络EDSR。这些网络模型同等对待各特征通道，从而影响了重构的图像质量。现有的研究表明：区别对待各特征通道，有助于提高图像重建的精度。
为了从单幅低分辨率图像更加准确地重建出超分辨率图像，本发明将改进的压缩激励网络ISE嵌入简化的EDSR模型，提出一种新的超分辨率图像重建方法。该方法能够差别对待的各个深度特征通道，提高图像的重建精度。
发明内容
本发明的目的在于提出一种基于特征通道自适应加权的超分辨图像重建方法。
本发明的目的是这样实现的：
一种基于特征通道自适应加权的超分辨图像重建方法，包括以下步骤：
(1)改进压缩激励网络SE的激励函数，得到ISE模块；
(2)简化现有的EDSR网络；
(3)将ISE模型嵌入到简化的EDSR网络，得到ISE-EDSR模型；
(4)用训练样本训练ISE-EDSR模型。
所述的改进压缩激励网络SE的激励函数是在原始SE网络的基础上，利用下式将输入层和输出层进行残差连接，实现网络通道权重自适应学习；
E(y)＝(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中，y为SE网络的输入向量，E(y)为网络的通道权重，σ和δ分别表示Sigmoid函数和ReLU函数，W1和W2是单隐层神经网络的权值且
C为通道个数。
所述的简化现有的EDSR网络主要是减少EDSR网络的残差块个数和卷积核数量。
所述的将ISE模型嵌入到简化的EDSR网络，得到ISE-EDSR模型具体为：在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块，得到基于通道自适应加权的超分辨图像重建模型。
所述的用训练样本训练ISE-EDSR模型具体为：使用DIV2K数据集对模型进行训练，对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理，将增强后的训练图像4倍下采样后，与原始高分辨率图像一起构成训练样本对集合，通过训练得到最终的超分辨图像重建网络模型。
本发明的有益效果在于：
1)训练难度低；
2)自适应学习特征通道权重；
3)避免网络中间层输出值过低的问题；
4)超分辨率重建后的图像峰值信噪比高。
附图说明
图1为本发明ISE模块结构；
图2(a)为基于特征通道自适应加权的超分辨图像重建模型，图2(b)为残差块网络结构，图2(c)为放大块网络结构。
具体实施方式
下面结合附图对本发明进一步详细说明。
本发明所提出的超分辨图像重建技术的具体实现步骤如下：
步骤1，改进现有的SE结构，得到ISE模块。
如图1所示，在原始SE网络的基础上，利用下式将输入层和输出层进行残差连接，实现网络通道权重自适应学习。
E(y)＝(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中，y为SE网络的输入向量，E(y)为网络的通道权重，σ和δ分别表示Sigmoid函数和ReLU函数，W1和W2是单隐层神经网络的权值且
C为通道个数。
步骤2，简化EDSR网络。
简化的EDSR网络模型相对轻量，简化结构如表1所示，其他网络参数与原EDSR网络模型一致。
表1 简化EDSR网络模型结构差异对比
步骤3，将ISE模块嵌入到简化的EDSR网络。
如图2(a)所示，在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块，得到基于通道自适应加权的超分辨图像重建模型。其中，残差块和放大块网络结构分别如图2(b)和图2(c)所示。
步骤4，训练本发明提出的基于特征通道自适应加权的超分辨图像重建模型。
使用DIV2K数据集对模型进行训练，对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理。将增强后的训练图像4倍下采样后，与原始高分辨率图像一起构成训练样本对集合，通过训练得到最终的超分辨图像重建网络模型。
将Set5、Set14、BSD100和Urban100作为测试集测试本发明所提出的超分辨率重建模型。实验结果如表2所示。由此可见：本发明提出的方法可以提高网络的峰值信噪比，从而能够提高超分辨图像重构的精度。
表2 实验结果
Claims (4)
1.一种基于特征通道自适应加权的超分辨图像重建方法，其特征在于，包括以下步骤：
(1)改进压缩激励网络SE的激励函数，得到ISE模块；
所述改进压缩激励网络SE的激励函数是在原始SE网络的基础上，利用下式将输入层和输出层进行残差连接，实现网络通道权重自适应学习；
E(y)＝(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中，y为SE网络的输入向量；E(y)为网络的通道权重；σ()和δ()分别表示Sigmoid函数和ReLU函数；W1和W2是单隐层神经网络的权值，且
C为通道个数；
(2)简化现有的EDSR网络；
(3)将ISE模型嵌入到简化的EDSR网络，得到ISE-EDSR模型；
(4)用训练样本训练ISE-EDSR模型。
2.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法，其特征在于：所述的简化现有的EDSR网络是减少EDSR网络的残差块个数和卷积核数量。
3.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法，其特征在于：将ISE模型嵌入到简化的EDSR网络，得到ISE-EDSR模型具体为：在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块，得到基于通道自适应加权的超分辨图像重建模型。
4.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法，其特征在于，所述的用训练样本训练ISE-EDSR模型具体为：使用DIV2K数据集对模型进行训练，对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理，将增强后的训练图像4倍下采样后，与原始高分辨率图像一起构成训练样本对集合，通过训练得到最终的超分辨图像重建网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378335.XA CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378335.XA CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110111257A CN110111257A (zh) | 2019-08-09 |
| CN110111257B true CN110111257B (zh) | 2023-01-03 |
Family
ID=67488663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910378335.XA Active CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111257B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127320B (zh) * | 2019-12-23 | 2023-08-04 | 哈尔滨工业大学（威海） | 基于深度学习的光声图像超分辨重建方法及装置 |
| CN111932462B (zh) * | 2020-08-18 | 2023-01-03 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07212368A (ja) * | 1994-01-25 | 1995-08-11 | Matsushita Electric Ind Co Ltd | アクセス制御方式 |
| CN101325556A (zh) * | 2008-06-23 | 2008-12-17 | 南京大学 | 一种无线网络中基于网络编码的多路径路由方法 |
| WO2009062138A1 (en) * | 2007-11-08 | 2009-05-14 | Virginia Tech Intellectual Properties, Inc. | Thiolated paclitaxels for reaction with gold nanoparticles as drug delivery agents |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
| CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、***及存储介质 |
-
2019
- 2019-05-08 CN CN201910378335.XA patent/CN110111257B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07212368A (ja) * | 1994-01-25 | 1995-08-11 | Matsushita Electric Ind Co Ltd | アクセス制御方式 |
| WO2009062138A1 (en) * | 2007-11-08 | 2009-05-14 | Virginia Tech Intellectual Properties, Inc. | Thiolated paclitaxels for reaction with gold nanoparticles as drug delivery agents |
| CN101325556A (zh) * | 2008-06-23 | 2008-12-17 | 南京大学 | 一种无线网络中基于网络编码的多路径路由方法 |
| CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、***及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| "Enhanced Deep Residual Networks for Single Image Super-Resolution";Bee Lim等;《 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20170824;参见第3-4节 * |
| "Squeeze-and-Excitation Networks";Jie Hu等;《IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 42, Issue: 8, Aug. 1 2020)》;20190429;参见第3节 * |
| 基于深度学习的超分辨率重建算法改进;高飞等;《电子设计工程》;20190331;第27卷(第6期);第64-68页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110111257A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码*** | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN111667444B (zh) | 一种基于多通道残差网络的图像压缩感知重建方法 | |
| CN110111257B (zh) | 一种基于特征通道自适应加权的超分辨图像重建方法 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN111598804B (zh) | 基于深度学习的图像多级去噪方法 | |
| CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN111797891A (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN112614061A (zh) | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| CN113052935A (zh) | 渐进式学习的单视角ct重建方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN111489291A (zh) | 一种基于网络级联的医学图像超分辨率重建方法 | |
| CN116563110A (zh) | 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 | |
| CN114708281B (zh) | 基于自适应非局部特征融合网络的图像压缩感知重建方法 | |
| CN116402719A (zh) | 一种基于潜在扩散模型的人盲脸图像恢复***及其方法 | |
| CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
| CN109523487A (zh) | 一种基于Hankel矩阵算法的红外图像去噪方法 | |
| CN111626937A (zh) | 一种人像超分辨率重建方法 | |
| Zhou et al. | A lightweight recurrent learning network for sustainable compressed sensing | |
| CN110807746A (zh) | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |