CN110895790B - 基于后验降质信息估计的场景图像超分辨方法 - Google Patents
基于后验降质信息估计的场景图像超分辨方法 Download PDFInfo
- Publication number
- CN110895790B CN110895790B CN201910967484.XA CN201910967484A CN110895790B CN 110895790 B CN110895790 B CN 110895790B CN 201910967484 A CN201910967484 A CN 201910967484A CN 110895790 B CN110895790 B CN 110895790B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- network
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000015556 catabolic process Effects 0.000 title claims abstract description 12
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000012467 final product Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种获取真实场景成像过程参数的方法，给出一种利用所获取到的真实场景的成像过程参数实现的基于后验降质信息估计的场景图像超分辨方法及电子设备。基于后验降质信息估计的场景图像超分辨方法包括以下步骤：创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能；将高清图像数据集，做模糊操作并做下采样，得到低分辨训练数据集；将低分辨训练数据集的图像作为图像超分辨网络的输入，训练完成后保存网络的参数和结构；将目标场景其他需要超分辨的低质量图像或视频作为训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
Description
技术领域
本发明涉及一种基于卷积神经网络的图像超分辨算法，涉及一种基于网格参数搜索的实际场景模糊核估计算法。
背景技术
图像已成为现代生活中信息展示和传播的一个非常重要的载体，因此相关算法的研究也受到国内外学者们的广泛重视，衍生出很多重要的分支方向。超分辨技术由于其蕴含巨大的商业价值，近些年发展成为了计算机视觉领域一个国际热点课题。超分辨技术重点解决低分辨率图像(low-resolution,简称LR)还原或重建其对应的高分辨率图像(high-resolution,简称HR)，这是一个典型的病态问题。针对图像超分辨率重建的病态问题，学者们提出了一些较为有效的解决方案。
目前主流的超分辨算法都是基于深度学习技术实现的。2014年香港中文大学的Dong首次将深度学习中的卷积神经网络(CNN)引入到单张图片的超分辨重建的问题上。该方案通过引入三层卷积神经网络学习低分辨图像和高分辨图像之间的非线性关系，进而取得了超越经典算法的效果。2016年Kim等人提出的VDSR算法用一个层数更多的卷积神经网络来学习低分辨图片和高分辨图片之间的映射关系，并通过在网络中加入超连接避免训练中的梯度消失问题。同年提出的SRGAN算法，通过在算法中引入生成对抗网络并利用感知损失加强了重构图像的高频细节进而还原真实感。在2017年提出的EDSR和SRDenseNet利用超分辨网络中层级的串联结构缓解了梯度消失问题，增强了特征传播并且减少了网络中参数的数量，进而显著的提高了算法的效果。
虽然CNN在超分辨率重建中取得超越非深度学习算法的效果。然而，现有的基于CNN的超分辨算法在训练过程中，低分辨率图像往往是通过从高分辨率6遵循双三次下采样的假设，因此不可避免的学习到不恰当的映射关系而产生较差的重构效果。
发明内容
本针对现有基于CNN算法存在的问题，本发明设计了一种基于后验降质信息估计的超分辨算法。本发明旨在对实际场景的图像进行超分辨操作时，通过获取现场实际的图像降质信息并将该信息集成到超分辨算法中来提升网络的效果，技术方案如下：
一种获取真实场景成像过程参数的方法，包括下列步骤：
1)通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L>T；
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核，每个高斯核记做Gk,σ，其中每个Gk,σ中的k代表高斯核的宽度；σ代表高斯核的方差；
3)创建集合Y，集合Y中的每一张yGk,σ是对步骤1)中的高分辨率图像YHR通过步骤2)集合G的每一个高斯核Gk,σ做模糊处理，之后做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；表示卷积操作；lap表示拉普拉斯卷积核；Var表示对目标图像的像素值求取方差值；
5)步骤4)中得到的图像对应的高斯核/>即为真实场景成像的过程参数。
优选地，步骤2)中，k取值为3，5，7；σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ。
此外，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的方法步骤。
本发明同时提供一种利用所获取到的真实场景的成像过程参数处理训练集的基于后验降质信息估计的场景图像超分辨方法，包括以下步骤：
1)创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能。
2)将高清图像数据集，记做IHR，用做模糊操作并做L/T倍的下采样，得到低分辨训练数据集/>
3)将低分辨训练数据集中的每一张图像定义为/>将/>作为步骤1)创建的图像超分辨网络的输入，输出图像为/>高清图像数据集IHR中的每一张图像定义为然后通过联合/>作为输入，/>作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景其他需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
本发明所设计的基于后验降质信息估计的实际场景超分辨算法，相比于传统的深度学习卷积超分辨模型能更好的利用实际场景的降质信息并将该信息集成到网络的训练中去。基于该方案训练的模型能够更好的适应复杂场景成像结果的超分辨，在抗噪性，重构精确度方面都有着显著的提升。本发明所设计的模型可广泛的用于来源于实际场景的不同领域的影像处理，尤其是在监控录像超分辨方面，本发明可以充分的考虑现场的信息使复原出的影像具有更多的高频细节，使得图片可读性更佳。
附图说明
图1为标定所使用的棋盘格光学标定板
图2为标定***的图示
图3为拉普拉斯卷积核，用于对图像进行高频滤波操作
图4为本发明设计的超分辨卷积神经网络结构图
表1为本发明所设计的超分辨卷积神经网络的参数表
图5为本发明的算法对同一个场景的影像进行超分辨的结果，三幅图像分别为：原始低分辨图像，双三次插值算法的结果和本发明的结果
具体实施方式
为使本发明的技术方案更加清楚，下面结合实例与附图对本专利的基于后验降质信息估计的实际场景超分辨算法的具体实施方案做出详细说明，具体如下：
一种获取真实场景成像过程参数的方法，包括下列步骤：
1)用图1所示棋盘格光学标定板(400mm×300mm)作为标定板对真实场景的摄像头做降质标定，即通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L>T。图2为标定过程的示意图；
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核。每个高斯核记做Gk,σ。其中每个Gk,σ中的k代表高斯核的宽度，k取值为3，5，7；σ代表高斯核的方差，σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ；
3)创建集合Y，集合Y中共包含90张图像其中每一张/>是对步骤1)中的高分辨率图像YHR通过步骤2)中集合G的每一个高斯核Gk,σ做模糊处理，再做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；表示卷积操作；lap表示拉普拉斯卷积核，具体参数由图3给出；Var表示对目标图像的像素值求取方差值；
5)由步骤4)中得到的图像对应的高斯核/>即为真实场景成像的过程参数；
一种利用所获取到的真实场景的成像过程参数处理训练集来训练超分辨网络的方法，包括以下步骤：
1)创建图像超分辨网络，网络共由十个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能，网络的具体结构和参数由图4和表1给出。
2)将高清图像数据集(记做IHR)用做模糊操作并做L/T倍的下采样，得到低分辨训练数据集/>
3)将低分辨训练数据集中的每一张图像定义为/>将/>作为步骤1)创建的图像超分辨网络的输入，输出图像为/>将高清图像数据集IHR中的每一张图像定义为/>之后通过联合/>作为输入，/>作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景其他需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。图5为本发明对实际场景图像进行超分辨的结果，可以看出本方法在复杂场景下对图像的超分辨效果优于其他传统算法。
表1
Claims (3)
1.一种基于后验降质信息估计的场景图像超分辨方法，包括两个方面：
(1)获取真实场景成像过程参数，方法如下：
1)通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L>T；
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核，每个高斯核记做Gk,σ，其中每个Gk,σ中的k代表高斯核的宽度；σ代表高斯核的方差；
3)创建集合Y，集合Y中的每一张是对步骤1)中的高分辨率图像YHR通过步骤2)集合G的每一个高斯核Gk,σ做模糊处理，之后做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；表示卷积操作；lap表示拉普拉斯卷积核；Var表示对目标图像的像素值求取方差值；
5)步骤4)中得到的图像对应的高斯核/>即为真实场景成像的过程参数；
(2)场景图像超分辨方法，包括：
1)创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能；
2)将高清图像数据集，记做IHR，用做模糊操作并做L/T倍的下采样，得到低分辨训练数据集/>
3)将低分辨训练数据集中的每一张图像定义为/>将/>作为步骤1)创建的图像超分辨网络的输入，输出图像为/>高清图像数据集IHR中的每一张图像定义为/>然后通过联合/>作为输入，/>作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
2.根据权利要求1所述的方法，其特征在于，步骤2)中，k取值为3，5，7；σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ。
3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-2任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967484.XA CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967484.XA CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110895790A CN110895790A (zh) | 2020-03-20 |
| CN110895790B true CN110895790B (zh) | 2024-03-22 |
Family
ID=69785870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967484.XA Active CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110895790B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102165B (zh) * | 2020-08-18 | 2022-12-06 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨***及方法 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8330827B2 (en) * | 2009-11-19 | 2012-12-11 | Eastman Kodak Company | Increasing image resolution using combined differential image |
| US9692939B2 (en) * | 2013-05-29 | 2017-06-27 | Yeda Research And Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
-
2019
- 2019-10-12 CN CN201910967484.XA patent/CN110895790B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于多层连接卷积神经网络的单帧图像超分辨重建;贺瑜飞;高宏伟;;计算机应用与软件(第05期);全文 * |
| 基于矢量衍射理论的相位型光瞳滤波器设计;王湘晖, 林列, 杨勇, 方志良, 母国光;光子学报(第11期);全文 * |
| 频域内基于邻域特征学习的单幅图像超分辨重建;苏富林;钱素娟;魏霖静;孙连海;;计算机工程(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110895790A (zh) | 2020-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fuoli et al. | Efficient video super-resolution through recurrent latent space propagation | |
| Yue et al. | Supervised raw video denoising with a benchmark dataset on dynamic scenes | |
| CN106408524B (zh) | 基于二维图像辅助的深度图像增强方法 | |
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| CN103034973B (zh) | 基于双三次插值的自适应图像缩放方法 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN108090886B (zh) | 一种高动态范围红外图像的显示与细节增强方法 | |
| CN113139898B (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN110895790B (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| CN114418853A (zh) | 基于相似图像检索的图像超分辨率优化方法、介质及设备 | |
| CN107424121B (zh) | 一种基于分数阶微分的模糊图像超分辨率重构方法 | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及*** | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| Zhang et al. | A cross-scale framework for low-light image enhancement using spatial–spectral information | |
| Liu et al. | Dual UNet low-light image enhancement network based on attention mechanism | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及*** | |
| Zhu et al. | LLISP: Low-light image signal processing net via two-stage network | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| Wang et al. | Single image dehazing algorithm based on pyramid mutil-scale transposed convolutional network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |