CN110047038B - 一种基于层级递进网络的单图像超分辨重建方法 - Google Patents
一种基于层级递进网络的单图像超分辨重建方法 Download PDFInfo
- Publication number
- CN110047038B CN110047038B CN201910146330.4A CN201910146330A CN110047038B CN 110047038 B CN110047038 B CN 110047038B CN 201910146330 A CN201910146330 A CN 201910146330A CN 110047038 B CN110047038 B CN 110047038B
- Authority
- CN
- China
- Prior art keywords
- layer
- resolution
- super
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000750 progressive effect Effects 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 6
- 239000010410 layer Substances 0.000 claims description 57
- 238000013507 mapping Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 239000002356 single layer Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008034 disappearance Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于层级递进网络的单图像超分辨重建方法，其主要内容包括：特征提取分支、图像重建分支、层级递进网络结构、损失函数。该方法将高倍超分辨任务分解为多个子任务，每个子任务可以由一个超分辨单元网络单独完成，多个超分辨单元网络级联形成整个网络。本发明可以使用同一个训练模型对图像做多种倍数的超分辨重建处理。
Description
技术领域
本发明涉及图像超分辨技术领域，尤其涉及一种基于层级递进网络的单图像超分辨重建方法。
背景技术
图像超分辨率是指在原有硬件设备条件的基础上，利用单幅低分辨率图像或具有亚像素偏移的低分辨率图像序列复原出对应具有更多细节信息的高分辨率图像的技术。经过复原的图像可以表达出潜在细节和隐藏结构，图像视觉效果被增强。图像超分辨率技术已在医学影像、安全监控、影音娱乐、卫星遥感等领域发挥了重要的作用。
目前，应用较多的单图像超分辨率重建技术为基于学习的方法，包括基于超完备稀疏字典学习的方法、基于深度卷积神经网络的方法等。上述方法在特定场景、低倍超分辨任务下能够获得较好的重建效果。但是，在分布泛化的场景尤其是高倍超分辨任务下仍然不能获得令人满意的结果。另一方面，针对多尺度超分辨任务，大部分现有的方法采取的策略是多次学习以获得不同尺度的低分辨率图像到高分辨率图像的映射，这大大增加了学习成本。
发明内容
本发明的目的在于提供一种用于单图像超分辨重建方法，克服现有方法在高倍超分辨任务下重建效果差、难以一次性完成多尺度超分辨任务等问题。
实现本发明目的的技术解决方案为：一种基于层级递进网络的单图像超分辨重建方法，其特征在于，包括以下步骤：
(一)特征提取分支，所述特征提取分支包括特征提取卷积层、非线性映射模块和上采样层，其中，所述卷积核大小为3×3，输出特征图个数为160，卷积步长为1，所述上采样层通过转置卷积层得到：卷积核大小为3×3，上采样因子设置为2；
(二)图像重建分支，所述图像重建分支包括局部残差结构、N个递归块结构和残差预测卷积层，所述局部残差结构通过下式表示：
输入到输出的映射关系可用式(1)表示：
y＝F(x，{Wi})+x
其中，x为输入，y为期望输出，F(x，{Wi})表示需要学习的潜在映射；
所述递归块结构包括密集连接块和过渡层，所述密集连接块中每一层从其前面的所有层获得输入，同时将自己的输出传递到后续所有层，所述过渡层的卷积核大小为1×1，输出特征图个数为160，卷积步长为1；
所述残差预测卷积层的卷积核大小为3×3，输出特征图个数为160，卷积步长为1；
(三)层级递进网络结构；
(四)损失函数，所述损失函数由下式表示：
其中，Ir为经过映射F得到的残差图像，ISR为超分辨率重建图像，θ为网络中的参数，N是一个训练批次的图片数，U(IL)是对低分辨率图像的插值上采样操作，IH-U(IL)得到的是真实值的残差，ρ是Charbonnier函数，定义为
∈取经验值10-3。
更进一步的，所述密集连接块中单层的网络结构包括卷积层I、批量归一化层、非线性激活函数和卷积层II，
所述卷积层I的卷积核大小为1×1，卷积步长为1，padding为1；所述批量归一化层通过下式表示：
其中，E(·)和var(·)分别表示取绝对值操作和取方差操作；
所述非线性激活函数采用ReLU激活函数，通过下式表示：
f(z)＝max(0，z)；
所述卷积层II的卷积核大小为1×1，卷积步长为1，padding为1。
更进一步的，所述上采样层使用双三次插值法对输入的低分辨图像进行插值上采样。
更进一步的，所述层级递进网络结构中不同倍数的超分辨任务复用同样的特征提取分支结构。
更进一步的，所述层级递进网络结构在4×和8×超分辨任务下，特征提取分支的输入为上一级别的上采样特征图的输出。
有益效果：本发明提出了一种用于单图像超分辨重建的层级递进网络结构，该结构将高倍超分辨任务分解为多个子任务，每个子任务可以由一个超分辨单元网络单独完成，多个超分辨单元网络级联形成整个网络。本发明采用了局部残差、密集连接等具有跳过连接性质的结构以改善信息流传递效率，避免梯度消失。
附图说明
图1为本发明用于单图像超分辨的层级递进式网络结构图；
图2为本发明网络结构中2倍图像超分辨任务的细节结构图；
图3为本发明网络结构中递归块结构图；
图4为本发明密集连接结构中的单层结构图。
具体实施方式
下面结合附图和具体实施例，进一步说明本发明方案。
如图1所示为本发明用于单图像超分辨的层级递进式网络结构图。本发明提出的层级递进式神经网络可以对单幅图片作重建倍数为s的超分辨处理(其中，s＝2或4或8)。网络由一组级联的上采样单元组成，每个单元的任务是对图像做2倍超分辨处理。每一级上采样单元结构主要包括特征提取分支和图像重建分支。
其中，每一级上采样单元结构中的特征提取分支如图2所示。包括特征提取卷积层、非线性映射模块、上采样层。
特征提取层具体为：2倍超分辨任务的特征提取层为卷积层，卷积核大小为3×3，输出特征图个数为160，卷积步长为1；4倍和8倍超分辨任务特征提取层为上一级超分辨单元的输出。
非线性映射模块，包括局部残差结构、N个递归块结构、残差预测卷积层。
局部残差结构具体为：输入为x，期望输出为y，输入到输出的映射关系可用式(1)表示：
y＝F(x，{Wi})+x (1)
其中F(x，{Wi})表示需要学习的复杂潜在映射。
递归块结构如图3所示，包括密集连接块、过渡层，具体为：
密集连接块，结构中每一层从其前面的所有层获得输入，同时将自己的输出传递到后续所有层，即每一层的输入为前续所有层输出的信息流叠加。单层的网络结构如图4所示：
(1)卷积层I：卷积核大小为1×1，卷积步长为1，padding为1；
(2)批量归一化(BN)层，具体可用式(2)表示：
其中，E(·)和var(·)分别表示取绝对值操作和取方差操作；
(3)非线性激活函数：采用ReLU激活函数，具体函数如式(3)：
f(z)＝max(0，z) (3)
(4)卷积层II：卷积核大小为1×1，卷积步长为1，padding为1
过渡层具体为：卷积核大小为1×1，输出特征图个数为160，卷积步长为1。
残差预测卷积层，其作用为将通过密集连接结构提取到的特征图整合为残差图，便于后续与输入数据相叠加。具体为卷积核大小为3×3，输出特征图个数为160，卷积步长为1的卷积层。
上采样层使用转置卷积层：卷积核大小为3×3，上采样因子设置为2。
其中，图像重建分支使用双三次插值法对输入的低分辨图像进行插值上采样。针对不同倍数的重建任务，采用相应的上采样比例。不同超分辨任务的图像皆从原始低分辨率图像获得输入图像，分别经过2×，4×，8×双三次插值得到与预测残差图像大小一致的插值图像。网络的最后，两个分支的图像进行逐像素相加得到最终的超分辨重建图像。
图像超分辨的目的是寻找映射函数F，使得低分辨率图像IL在经过映射之后得到的超分辨率图像F(IL)与原始高分辨率图像IH尽可能一致。在此定义经过映射F得到的残差图像为Ir，超分辨率重建图像为ISR，网络中的参数为θ。本发明使用的损失函数可以由式(4)表示：
其中，N是一个训练批次的图片数，U(IL)是对低分辨率图像的插值上采样操作，IH-U(IL)得到的是真实值的残差。ρ是Charbonnier函数，定义为
∈取经验值10-3。
与传统的图像超分辨深度神经网络算法相比，本发明提出的层级递进式结构可以在一次前向传播中生成多尺度预测图像。同时使用局部残差和密集连接整合信息流，避免梯度消失问题以获得更深的网络。本实施例使用峰值信噪比(PSNR)和结构相似度(SSIM)对本发明的图像超分辨方法进行评判。PSNR和SSIM值越高一般可以认为图像的质量越好。使用set5，set14，BSD100数据集对本发明进行测试，得到的图像超分辨重建结果在各个测试集上的PSNR值高0.25dB～2.35dB，SSIM值高0.003～0.053。
本发明提出了一种用于单图像超分辨重建的层级递进网络结构。该结构将高倍超分辨任务分解为多个子任务，每个子任务可以由一个超分辨单元网络单独完成，多个超分辨单元网络级联形成整个网络。在网络训练阶段可以同时对2×，4×，8×上采样因子进行训练，在测试阶段可以使用同一个训练模型对图像做三种倍数的超分辨重建处理。同时，本发明采用了局部残差、密集连接等具有跳过连接性质的结构以改善信息流传递效率，避免梯度消失。
Claims (3)
1.一种基于层级递进网络的单图像超分辨重建方法，其特征在于，包括以下步骤：
(一)特征提取分支，所述特征提取分支包括特征提取卷积层、非线性映射模块和上采样层，其中，所述卷积核大小为3×3，输出特征图个数为160，卷积步长为1，所述上采样层通过转置卷积层得到：卷积核大小为3×3，上采样因子设置为2；
(二)图像重建分支，所述图像重建分支包括局部残差结构、N个递归块结构和残差预测卷积层，所述局部残差结构通过下式表示：
输入到输出的映射关系用下式表示：
y＝F(x，{Wi})+x
其中，x为输入，y为期望输出，F(x，{Wi})表示需要学习的潜在映射；
所述递归块结构包括密集连接块和过渡层，所述密集连接块中每一层从其前面的所有层获得输入，同时将自己的输出传递到后续所有层，所述过渡层的卷积核大小为1×1，输出特征图个数为160，卷积步长为1；
所述残差预测卷积层的卷积核大小为3×3，输出特征图个数为160，卷积步长为1；
(三)层级递进网络结构；
(四)损失函数，所述损失函数由下式表示：
其中，Ir为经过映射F得到的残差图像，ISR为超分辨率重建图像，θ为网络中的参数，N是一个训练批次的图片数，U(IL)是对低分辨率图像的插值上采样操作，IH-U(IL)得到的是真实值的残差，ρ是Charbonnier函数，定义为
∈取经验值10-3；
所述层级递进网络结构中不同倍数的超分辨任务复用同样的特征提取分支结构；
所述层级递进网络结构在4×和8×超分辨任务下，特征提取分支的输入为上一级别的上采样特征图的输出。
2.根据权利要求1所述的基于层级递进网络的单图像超分辨重建方法，其特征在于，所述密集连接块中单层的网络结构包括卷积层I、批量归一化层、非线性激活函数和卷积层II，
所述卷积层I的卷积核大小为1×1，卷积步长为1，padding为1；所述批量归一化层通过下式表示：
其中，E(·)和var(·)分别表示取绝对值操作和取方差操作；
所述非线性激活函数采用ReLU激活函数，通过下式表示：
f(z)＝max(0，z)；
所述卷积层II的卷积核大小为1×1，卷积步长为1，padding为1。
3.根据权利要求1所述的基于层级递进网络的单图像超分辨重建方法，其特征在于，所述上采样层使用双三次插值法对输入的低分辨图像进行插值上采样。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146330.4A CN110047038B (zh) | 2019-02-27 | 2019-02-27 | 一种基于层级递进网络的单图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146330.4A CN110047038B (zh) | 2019-02-27 | 2019-02-27 | 一种基于层级递进网络的单图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110047038A CN110047038A (zh) | 2019-07-23 |
| CN110047038B true CN110047038B (zh) | 2022-11-04 |
Family
ID=67274284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910146330.4A Active CN110047038B (zh) | 2019-02-27 | 2019-02-27 | 一种基于层级递进网络的单图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047038B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260552B (zh) * | 2020-01-09 | 2023-05-30 | 复旦大学 | 一种基于递进学习的图像超分辨率方法 |
| CN113538307B (zh) * | 2021-06-21 | 2023-06-20 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113610706A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 基于卷积神经网络的模糊监控图像超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657586A (zh) * | 2017-10-13 | 2018-02-02 | 深圳市唯特视科技有限公司 | 一种基于深度残差网络的单照片超分辨增强方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
-
2019
- 2019-02-27 CN CN201910146330.4A patent/CN110047038B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657586A (zh) * | 2017-10-13 | 2018-02-02 | 深圳市唯特视科技有限公司 | 一种基于深度残差网络的单照片超分辨增强方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110047038A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN106910161B (zh) | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、***及电子设备 | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
| CN113096017A (zh) | 基于深度坐标注意力网络模型的图像超分辨率重建方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及*** | |
| CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
| CN111784582A (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN115496663A (zh) | 基于d3d卷积组内融合网络的视频超分辨率重建方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN116977191A (zh) | 画质提升模型的训练方法和视频会议***画质的提升方法 | |
| CN117196959B (zh) | 基于自注意力的红外图像超分辨率方法、装置及可读介质 | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| CN117455770A (zh) | 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 | |
| CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |