CN110458759A - 一种基于edsr单图超分辨率重建方法 - Google Patents

一种基于edsr单图超分辨率重建方法 Download PDF

Info

Publication number
CN110458759A
CN110458759A CN201910760204.8A CN201910760204A CN110458759A CN 110458759 A CN110458759 A CN 110458759A CN 201910760204 A CN201910760204 A CN 201910760204A CN 110458759 A CN110458759 A CN 110458759A
Authority
CN
China
Prior art keywords
layer
output
pixel
input
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910760204.8A
Other languages
English (en)
Inventor
龙国烜
刘恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Micro Computing Intelligent Technology Co Ltd
Original Assignee
Hangzhou Micro Computing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Micro Computing Intelligent Technology Co Ltd filed Critical Hangzhou Micro Computing Intelligent Technology Co Ltd
Priority to CN201910760204.8A priority Critical patent/CN110458759A/zh
Publication of CN110458759A publication Critical patent/CN110458759A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于EDSR单图超分辨率重建方法,具体涉及图像重建领域,具体重建方法如下:S1、标准化输入;S2、在头卷积层初步处理;S3、在Resblock层多次卷积处理,得到本层输出特征图,将输入层与输出层相加就是本层的最终输出结果;S4、在尾卷积层,得到特征矩阵和特征举证;S5、将尾卷积层的输出结果做像素拼图上采样,即把通道数上的像素压缩到RGB上;S6、在反标准化层将区间输出扩充,得到放大图片。本发明采用端对端生成模式,输入小图片直接生成放大后图片,在保持原图清晰度的前提下,生成2倍、4倍原图尺寸的图片,解决摄像头远景成像分辨率不足、目标对象成像过小不足以支撑后续AI检测、识别的最小输入尺寸的问题。

Description

一种基于EDSR单图超分辨率重建方法
技术领域
本发明涉及图像重建技术领域,更具体地说,本发明涉及一种基于EDSR单图超分辨率重建方法。
背景技术
目前,摄像头远景成像分辨率不足、目标对象成像过小的情况,导致了其成像图片不足以支撑后续AI检测、识别的最小输入尺寸;为解决此问题,现有技术中提出了超分辨率图像重建的解决办法:
超分辨率图像重建是指使用信号处理或者图像处理算法,将低分辨率图像转变成高分辨率图像的技术。更具体地说,是把单幅或者多幅混淆、退化的低分辨率图像恢复为高分辨率图像的技术。根据所用低分辨率图像的数量,可以将超分辨图像重建技术分为基于单幅图像的和基于多幅图像的重建方法。其中,单幅图像的超分辨率重建技术广泛应用于医学图像处理、视频监控、刑侦分析、图像打印、卫星成像等计算机视觉领域。
近年来,基于卷积神经网络CNN的超分辨率图像重建技术方兴未艾,主要的网络模型包括密集残差网络和强化的针对单一图像超分辨率的深度残差网络EDSR。这些网络模型同等对待各特征通道,从而影响了重构的图像质量,有助于提高图像重建的精度。
但是,单一图像超分辨率的深度残差网络EDSR使用传统反卷积上采样法,生成的图像容易产生人工产物,细节部分处理不到位,也很不稳定,直接使用插值放大,生成图片越大越模糊,锯齿明显。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于EDSR单图超分辨率重建方法,通过采用端对端生成模式,输入小图片直接生成放大后图片,性能提升,对于100*100尺寸图片,完成一次2倍放大在70毫秒内,对于50*50尺寸图片,完成一次2倍放大在30毫秒内,生成图片质量高,用业界评判标准psnr可达34.6高分,在保持原图清晰度的前提下,生成2倍、4倍原图尺寸的图片。
为实现上述目的,本发明提供如下技术方案:一种基于EDSR单图超分辨率重建方法,具体重建方法如下:
S1、标准化输入:首先,将输入的图像像素标准化至(-1,1)之间,公式为:I/127.5-1,然后,将标准化的图像像素输入至头卷积层;
S2、在头卷积层,做3*3卷积,卷积核个数为图像放大倍数的平方*3,然后输出至Resblock层;
S3、在Resblock层,Resblock层可重复8次、12次或16次,单次步骤如下:
S3.1、先做1*1卷积,给通道做扩展学习原图更多的细节特征;
S3.2、接着做relu激活函数;
S3.3、再做1*1卷积,使通道数按比例压缩,减少参数大小和加快计算;
S3.4、最后进行3*3卷积,得到本层输出特征图,将输入层与输出层相加就是本层的最终输出结果;
S4、经头卷积层输出结果输送至尾卷积层,将最后一层resblock输出作为输入,做3*3卷积,卷积核个数为图像放大倍数的平方*3,得到特征矩阵m;将标准化输入作为输入,做5*5卷积,卷积核个数为图像放大倍数的平方*3,得到特征举证n,m+n即为尾卷积层输出;
S5、在像素拼图层,采用像素拼图上采样法,将尾卷积层的输出结果做像素拼图上采样,即把通道数上的像素压缩到RGB上,因为我们之前做的通道数是放大倍数的平方*3,例如我们输入的图片是50*50*3,放大倍数为2,经过resblock层一系列的卷积后,我们不在意resblock层输出的矩阵大小,因为尾卷积层的输出一定是50*50*12。像素拼图就是把12个通道数的像素值压缩至长和宽里,使输出结果大小为100*100*3。本层并没有学习新的参数,只是把特征矩阵做了一个变形:50*50*3=100*100*3;
S6、在反标准化层,将区间在(-1,1)的输出扩充到区间为(0,255)的像素大小,公式为:(I+1)*127.5,最后输出放大后的图片。
在一个优选地实施方式中,所述步骤S1中,参数标准化公式如下:
梯度计算公式:
在一个优选地实施方式中,所述步骤S3中,padding用SAME的方式进行图周围矩阵填充,填充后使得输入输出维度相同,避免丢失许多角落和边缘的特征信息。
在一个优选地实施方式中,所述步骤S3中,采用resblocks搭建超深神经网络,将前层输出和深层输出相加连接,有效解决反向传播的梯度弥散和有效利用浅层特征信息,对隐藏层的特征通道做加深处理,以减少模型参数和提高性能。
在一个优选地实施方式中,所述步骤S3中resblocks采用weight normalization,与常规的resblock不同的是,这里我们没有使用Batch Normalization,而是使用weightnormalization,进而使用训练更快,效果更好。
在一个优选地实施方式中,所述步骤S5中,采用像素拼图上采样法,在做卷积过程中加大特征矩阵通道数为r^2,在输出层前将通道压缩成图像长宽r。
在一个优选地实施方式中,所述步骤S5中,通道数上的像素输入为(N,C×upscale_factor2,H,W),输出为(N,C,H×upscale_factor,W×upscale_factor)。
本发明的技术效果和优点:
1、本发明通过采用端对端生成模式,输入小图片直接生成放大后图片,性能提升,对于100*100尺寸图片,完成一次2倍放大在70毫秒内,对于50*50尺寸图片,完成一次2倍放大在30毫秒内,生成图片质量高,用业界评判标准psnr可达34.6高分,解决摄像头远景成像分辨率不足、目标对象成像过小不足以支撑后续AI检测、识别的最小输入尺寸的问题,在保持原图清晰度的前提下,生成2倍、4倍原图尺寸的图片;
2、本发明采用像素拼图上采样法,使用像素拼图生成的图像更不易产生人工产物,细节部分更接近原图,更加稳定;
3、本发明采用resblocks搭建超深神经网络,将前层输出和深层输出相加连接,有效解决反向传播的梯度弥散和有效利用浅层特征信息,对隐藏层的特征通道做加深处理以减少模型参数和提高性能,与常规的resblock不同的是,这里我们没有使用BatchNormalization,而是使用weight normalization,进而使用训练更快,效果更好;
4、本发明参数标准化通过重写深度学习网络权重的方式加速网络参数收敛,通过标量g和向量v对权重w进行重写,引入更少的噪声,不需要额外的空间来保存均值和方差。
附图说明
图1为本发明的整体网络示意图。
图2为本发明的Reslock层示意图。
图3为本发明的Resblock结构图。
图4为本发明的像素拼图生成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据图1-4所示的一种基于EDSR单图超分辨率重建方法,具体重建方法如下:
S1、标准化输入:首先,将输入的图像像素标准化至(-1,1)之间,公式为:I/127.5-1,然后,将标准化的图像像素输入至头卷积层,参数标准化公式如下(见图2):
梯度计算公式:
参数标准化通过重写深度学习网络权重的方式加速网络参数收敛,通过标量g和向量v对权重w进行重写,引入更少的噪声,不需要额外的空间来保存均值和方差;
S2、在头卷积层,做3*3卷积,卷积核个数为图像放大倍数的平方*3,然后输出至Resblock层;
S3、在Resblock层,Resblock层可重复8次、12次或16次,单次步骤如下(见图3):
S3.1、先做1*1卷积,给通道做扩展学习原图更多的细节特征;
S3.2、接着做relu激活函数;
S3.3、再做1*1卷积,使通道数按比例压缩,减少参数大小和加快计算;
S3.4、最后进行3*3卷积,得到本层输出特征图,将输入层与输出层相加就是本层的最终输出结果;
此步骤中,padding用SAME的方式进行图周围矩阵填充,填充后使得输入输出维度相同,避免丢失许多角落和边缘的特征信息;
采用resblocks搭建超深神经网络,将前层输出和深层输出相加连接,有效解决反向传播的梯度弥散和有效利用浅层特征信息,对隐藏层的特征通道做加深处理,以减少模型参数和提高性能;
resblocks采用weight normalization,与常规的resblock不同的是,这里我们没有使用Batch Normalization,而是使用weight normalization,进而使用训练更快,效果更好;
S4、经头卷积层输出结果输送至尾卷积层,将最后一层resblock输出作为输入,做3*3卷积,卷积核个数为图像放大倍数的平方*3,得到特征矩阵m;将标准化输入作为输入,做5*5卷积,卷积核个数为图像放大倍数的平方*3,得到特征举证n,m+n即为尾卷积层输出;
S5、在像素拼图层,采用像素拼图上采样法,将尾卷积层的输出结果做像素拼图上采样,即把通道数上的像素压缩到RGB上(见图4),在做卷积过程中加大特征矩阵通道数为r^2,在输出层前将通道压缩成图像长宽r,因为我们之前做的通道数是放大倍数的平方*3,例如我们输入的图片是50*50*3,放大倍数为2,经过resblock层一系列的卷积后,我们不在意resblock层输出的矩阵大小,因为尾卷积层的输出一定是50*50*12。像素拼图就是把12个通道数的像素值压缩至长和宽里,使输出结果大小为100*100*3。本层并没有学习新的参数,只是把特征矩阵做了一个变形:50*50*3=100*100*3;
通道数上的像素输入为(N,C×upscale_factor2,H,W),输出为(N,C,H×upscale_factor,W×upscale_factor);
相对于传统反卷积上采样法,使用像素拼图生成的图像更不易产生人工产物,细节部分更接近原图,更加稳定;
S6、在反标准化层,将区间在(-1,1)的输出扩充到区间为(0,255)的像素大小,公式为:(I+1)*127.5,最后输出放大后的图片。
本发明采用端对端生成模式,输入小图片直接生成放大后图片,性能提升,对于100*100尺寸图片,完成一次2倍放大在70毫秒内,对于50*50尺寸图片,完成一次2倍放大在30毫秒内,生成图片质量高,用业界评判标准psnr可达34.6高分,解决摄像头远景成像分辨率不足、目标对象成像过小不足以支撑后续AI检测、识别的最小输入尺寸的问题,在保持原图清晰度的前提下,生成2倍、4倍原图尺寸的图片。
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于EDSR单图超分辨率重建方法,其特征在于,具体重建方法如下:
S1、标准化输入:首先,将输入的图像像素标准化至(-1,1)之间,公式为:I/127.5-1,然后,将标准化的图像像素输入至头卷积层;
S2、在头卷积层,做3*3卷积,卷积核个数为图像放大倍数的平方*3,然后输出至Resblock层;
S3、在Resblock层,Resblock层可重复8次、12次或16次,单次步骤如下:
S3.1、先做1*1卷积,给通道做扩展学习原图更多的细节特征;
S3.2、接着做relu激活函数;
S3.3、再做1*1卷积,使通道数按比例压缩,减少参数大小和加快计算;
S3.4、最后进行3*3卷积,得到本层输出特征图,将输入层与输出层相加就是本层的最终输出结果;
S4、经头卷积层输出结果输送至尾卷积层,将最后一层resblock输出作为输入,做3*3卷积,卷积核个数为图像放大倍数的平方*3,得到特征矩阵m;将标准化输入作为输入,做5*5卷积,卷积核个数为图像放大倍数的平方*3,得到特征举证n,m+n即为尾卷积层输出;
S5、在像素拼图层,采用像素拼图上采样法,将尾卷积层的输出结果做像素拼图上采样,即把通道数上的像素压缩到RGB上;
S6、在反标准化层,将区间在(-1,1)的输出扩充到区间为(0,255)的像素大小,公式为:(I+1)*127.5,最后输出放大后的图片。
2.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S1中,参数标准化公式如下:
梯度计算公式:
with
3.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S3中,padding用SAME的方式进行图周围矩阵填充,填充后使得输入输出维度相同。
4.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S3中,采用resblocks搭建超深神经网络,将前层输出和深层输出相加连接,对隐藏层的特征通道做加深处理。
5.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S3中resblocks采用weight normalization。
6.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S5中,采用像素拼图上采样法,在做卷积过程中加大特征矩阵通道数为r^2,在输出层前将通道压缩成图像长宽r。
7.根据权利要求1所述的一种基于EDSR单图超分辨率重建方法,其特征在于:所述步骤S5中,通道数上的像素输入为(N,C×upscale_factor2,H,W),输出为(N,C,H×upscale_factor,W×upscale_factor)。
CN201910760204.8A 2019-08-16 2019-08-16 一种基于edsr单图超分辨率重建方法 Withdrawn CN110458759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910760204.8A CN110458759A (zh) 2019-08-16 2019-08-16 一种基于edsr单图超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910760204.8A CN110458759A (zh) 2019-08-16 2019-08-16 一种基于edsr单图超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN110458759A true CN110458759A (zh) 2019-11-15

Family

ID=68487236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910760204.8A Withdrawn CN110458759A (zh) 2019-08-16 2019-08-16 一种基于edsr单图超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110458759A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN113158880A (zh) * 2021-04-19 2021-07-23 中国海洋大学 一种基于深度学习的学生课堂行为识别方法
CN113177882A (zh) * 2021-04-29 2021-07-27 浙江大学 一种基于扩散模型的单帧图像超分辨处理方法
WO2022133874A1 (zh) * 2020-12-24 2022-06-30 京东方科技集团股份有限公司 图像处理方法及设备、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEE LIM等: "Enhanced Deep Residual Networks for Single Image Super-Resolution", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
HAIMIN WANG等: "Deep Residual Network for Single Image Super-Resolution", 《ICCCV 2019: PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON CONTROL AND COMPUTER VISION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
WO2022133874A1 (zh) * 2020-12-24 2022-06-30 京东方科技集团股份有限公司 图像处理方法及设备、计算机可读存储介质
CN113158880A (zh) * 2021-04-19 2021-07-23 中国海洋大学 一种基于深度学习的学生课堂行为识别方法
CN113177882A (zh) * 2021-04-29 2021-07-27 浙江大学 一种基于扩散模型的单帧图像超分辨处理方法
CN113177882B (zh) * 2021-04-29 2022-08-05 浙江大学 一种基于扩散模型的单帧图像超分辨处理方法

Similar Documents

Publication Publication Date Title
CN110458759A (zh) 一种基于edsr单图超分辨率重建方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
Fang et al. Soft-edge assisted network for single image super-resolution
CN109919838A (zh) 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN108647775B (zh) 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN108734660A (zh) 一种基于深度学习的图像超分辨率重建方法及装置
CN108961186A (zh) 一种基于深度学习的老旧影片修复重制方法
CN107563965A (zh) 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
CN114626984A (zh) 中文文本图像的超分辨率重建方法
CN110288529A (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
Duanmu et al. The image super-resolution algorithm based on the dense space attention network
WO2022267046A1 (zh) 非抽取的图像处理方法及装置
CN108846798A (zh) 一种图像重建法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191115