CN115601242B - 一种适用于硬件部署的轻量级图像超分辨率重建方法 - Google Patents
一种适用于硬件部署的轻量级图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN115601242B CN115601242B CN202211592921.2A CN202211592921A CN115601242B CN 115601242 B CN115601242 B CN 115601242B CN 202211592921 A CN202211592921 A CN 202211592921A CN 115601242 B CN115601242 B CN 115601242B
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- resolution
- super
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 238000001125 extrusion Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像增强技术领域，具体提供一种适用于硬件部署的轻量级图像超分辨率重建方法，以适用于FPGA或者其他嵌入式设备；本发明首先将待处理低分辨率图像转换为YCbCr图像，再分割为若干个子图像，并将子图像依次输入轻量级图像超分辨率重建网络，由轻量级图像超分辨率重建网络输出子图像对应的重构子图像，再将所有重构子图像按照顺序拼接得到高分辨率重构图像。本发明平衡了图像超分辨的效果与网络参数量、计算量之间的关系，实现超分辨率重建网络显著轻量化的同时提升峰值信噪比（PSNR），使之能够更好的落地到移动设备、嵌入式设备及其他网络边缘设备上。
Description
技术领域
本发明属于图像增强技术领域，涉及图像超分辨率重建方法，具体提供一种适用于硬件部署的轻量级图像超分辨率重建方法。
背景技术
随着手机、电子设备及其他移动设备的发展，人们对高质量图像的追求越来越高，小到日常娱乐图片与监控，大到医学图像诊断与卫星图像显示；相比于直接提升相机的结构与性能，从算法的角度出发对图像进行优化能够大幅度缩小成本和周期；图像超分辨率重建就是一种将低分辨率图像变成高分辨率图像的方法，其评价指标为峰值信噪比（PSNR），直接反映重建后的影像品质。
2014年董超等人在文献“Learning a Deep Convolutional Network for ImageSuper-Resolution”中提出了SRCNN，首次利用卷积神经网络实现了图像超分辨率（superresolution，SR），开启了以卷积神经网络实现图像超分辨率的浪潮。在各种训练策略及新技术的加持下，目前图像超分辨率的评价指标不断刷新着记录，而且经过模型推理过的低分辨率图像正不断接近原始的高分辨率图像；但是，网络模型也随之变的越来越深、越来越宽，从最开始仅有3层隐藏层到现在高达上百层，参数量也从最开始的8032上涨到了千万级别，随之带来的还有复杂的计算过程和巨大的内存开销。在此背景下，现有效果突出的图像超分辨率重建方法都很难落地到移动设备、嵌入式设备及其他网络边缘设备上，因为这些设备不具有PC端强大的计算单元及相应的存储单元。
发明内容
本发明的目的在于提供一种适用于硬件部署的轻量级图像超分辨率重建方法，以适用于FPGA或者其他嵌入式设备；本发明平衡了图像超分辨的效果与网络参数量、计算量之间的关系，实现超分辨率重建网络显著轻量化的同时提升峰值信噪比（PSNR），使之能够更好的落地到移动设备、嵌入式设备及其他网络边缘设备上。
为实现上述目的，本发明采用的技术方案为：
一种适用于硬件部署的轻量级图像超分辨率重建方法，包括以下步骤：
步骤1、数据预处理；
将待处理低分辨率图像进行格式转换，得到待处理低质量YCbCr图像；再将待处理低质量YCbCr图像分割为若干个子图像；
步骤2、构建轻量级图像超分辨率重建网络，并完成网络训练；
所述轻量级图像超分辨率重建网络包括：依次连接的特征预提取块、第一深度可分离卷积块、通道特征提取块、通道压缩块与上采样块；
步骤3、将步骤1中子图像依次输入步骤2中轻量级图像超分辨率重建网络，由轻量级图像超分辨率重建网络输出子图像对应的重构子图像，再将所有重构子图像按照顺序拼接得到高分辨率重构图像。
进一步的，所述轻量级图像超分辨率重建网络中：
所述特征预提取块采用卷积层A1；
所述第一深度可分离卷积块由依次连接的卷积层A2、逐通道卷积层B1与卷积层A3构成
所述通道特征提取块由4个通道特征提取子块依次连接构成，所述通道特征提取子块由依次连接的第二深度可分离卷积块与通道特征挤压块构成；所述第二深度可分离卷积块由依次连接的逐通道卷积层B2与卷积层A4构成，且卷积层A4的输出与逐通道卷积层B2的输入相加作为第二深度可分离卷积块的输出；所述通道特征挤压块由卷积层A5、卷积层A6、卷积层A7与Softmax层构成，通道特征挤压块的输入分别经过卷积层A5与卷积层A6，卷积层A5的输出经过Softmax层后与卷积层A6的输出相乘，相乘的结果经过卷积层A7后与输入相加作为通道特征挤压块的输出；
所述通道压缩块采用卷积层A8，
所述上采样块采用PixelShuffle块。
更进一步的，卷积层A1的卷积核尺寸为3×3、输入通道为1、输出通道为45、padding为1；卷积层A2的卷积核尺寸为1×1、输入通道为45、输出通道为36、padding为0，逐通道卷积层B1的卷积核尺寸为3×3、输入通道为36、输出通道为36、padding为1，卷积层A3的卷积核尺寸为1×1、输入通道为36、输出通道为18、padding为0；逐通道卷积层B2的卷积核尺寸为3×3、输入通道为18、输出通道为18、padding为1，卷积层A4的卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0；卷积层A5、卷积层A6与卷积层A7的参数相同，均为：卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0；卷积层A8的卷积核尺寸为1×1、输入通道为18、输出通道为Q2、padding为0，Q为超分辨率倍数。
进一步的，所述轻量级图像超分辨率重建网络的训练过程为：
采用现有图像数据集作为训练集，将训练集中原始图像进行下采样得到低分辨率图像，再将原始图像与低分辨率图像分别进行数据预处理，得到原始图像的子图像与低分辨率图像的子图像，将原始图像的子图像作为标签，将低分辨率图像的子图像作为输入，构成训练样本；
设置损失函数与训练参数，采用监督批学习方法对轻量级图像超分辨率重建网络进行训练。
更进一步的，所述损失函数为：
，
其中，
Loss表示损失函数，
X表示标签，
Y表示轻量级图像超分辨率重建网络的输出，(
x,
y)表示像素坐标，
N表示标签的尺寸。
进一步的，子图像的尺寸为
N×
N，
N的取值范围为30~60。
基于上述技术方案，本发明的有益效果在于：
一种适用于硬件部署的轻量级图像超分辨率重建方法，通过对卷积神经网络的搭建和压缩，实现图像超分辨率重建网络的轻量化设计；并且，通过将低分辨率图像分割成若干子图依次送入网络，再将超分辨率后的每个子图拼接成大图的方法，使得在移动或边缘设备上（如FPGA），能够避免芯片与外部存储器交互而导致***效率低下等问题；综上，本发明能够实现超分辨率重建网络显著轻量化的同时提升峰值信噪比（PSNR），使之能够更好的落地到移动设备、嵌入式设备及其他网络边缘设备上。
附图说明
图1为本发明中适用于硬件部署的轻量级图像超分辨率重建方法的流程示意图。
图2为本发明中轻量级图像超分辨率重建网络的结构示意图。
图3为图2所示轻量级图像超分辨率重建网络中第一深度可分离卷积块的结构示意图。
图4为图2所示轻量级图像超分辨率重建网络中通道特征提取块中通道特征提取子块的结构示意图。
图5为图4所示通道特征提取子块中第二深度可分离卷积块的结构示意图。
图6为图4所示通道特征提取子块中通道特征挤压块的结构示意图。
图7为现有深度可分离卷积块的结构示意图。
图8为现有Non-Local Mixed Attention块的结构示意图。
具体实施方式
为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。
本实施例提供一种适用于硬件部署的轻量级图像超分辨率重建方法，其流程如图1所示，具体包括以下步骤：
步骤1、数据预处理；
将待处理低分辨率图像进行格式转换，得到待处理低质量YCbCr图像，即由RGB格式转化为YCbCr格式（Y表示亮度分量，Cb表示蓝色色度分量，Cr表示红色色度分量）；再将待处理低质量YCbCr图像分割为若干个子图像，每个子图像的尺寸为
N×
N，
N的取值范围为30~60，本实施例中
N=30；
步骤2、构建轻量级图像超分辨率重建网络，并完成网络训练；
所述轻量级图像超分辨率重建网络如图2所示，包括：依次连接的特征预提取块、第一深度可分离卷积块、通道特征提取块、通道压缩块与上采样块；
步骤3、将步骤1中子图像依次输入步骤2中轻量级图像超分辨率重建网络，由轻量级图像超分辨率重建网络输出子图像对应的重构子图像，再将所有重构子图像按照顺序拼接得到高分辨率重构图像。
具体而言，所述数据预处理中，YCbCr图像与RGB图像相比，传输过程中只需占用极少的频宽，故本发明中进行格式转换；并且，采用将图片分割为若干个子图像分别进行高分辨率重构、再将高分辨率重构子图像拼接还原的推理模型，既能够达到等同于将整个图片直接输入至网络的推理效果，又能够大幅度减小了特征图在网络中传播所需要的存储空间。
具体而言，所述轻量级图像超分辨率重建网络中：
所述特征预提取块采用卷积层A1，其卷积核尺寸为3×3、输入通道为1、输出通道为45、padding为1；该卷积层用于对输入图片进行特称预提取，基于分割后子图像大小的考量，若采用过大的卷积核，对图像细微特征的提取能力较低；若采用过小的卷积核，对图像局部特征的提取能力也很低；故采用3×3的卷积层；本实施例中，卷积层A1输出特征图的尺寸为45×30×30。
所述第一深度可分离卷积块如图3所示，由依次连接的卷积层A2、逐通道卷积层B1与卷积层A3构成；其中，卷积层A2的卷积核尺寸为1×1、输入通道为45、输出通道为36、padding为0，逐通道卷积层B1的卷积核尺寸为3×3、输入通道为36、输出通道为36、padding为1，卷积层A3的卷积核尺寸为1×1、输入通道为36、输出通道为18、padding为0。从工作原理上讲：深度可分离卷积块用于在移动设备上高效的实现卷积操作，对比于如图7所示现有深度可分离卷积块，本发明中第一深度可分离卷积块中去掉了输入的分支部分，通过此设计能够赋予深度可分离卷积块降低输入特征图通道数的功能，而现有结构只能起到提取特征的作用；即本发明中第一深度可分离卷积块在提取特征的同时降低特征图通道数，本实施例中，第一深度可分离卷积块输出特征图的尺寸降低为18×30×30。
所述通道特征提取块由4个通道特征提取子块依次连接构成；所述通道特征提取子块如图4所示，由依次连接的第二深度可分离卷积块与通道特征挤压块构成。所述第二深度可分离卷积块如图5所示，由依次连接的逐通道卷积层B2与卷积层A4构成，且卷积层A4的输出与逐通道卷积层B2的输入相加作为第二深度可分离卷积块的输出；逐通道卷积层B2的卷积核尺寸为3×3、输入通道为18、输出通道为18、padding为1，卷积层A4的卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0。所述通道特征挤压块如图6所示，由卷积层A5、卷积层A6、卷积层A7与Softmax层构成，输入分别经过卷积层A5与卷积层A6，卷积层A5的输出经过Softmax层后与卷积层A6的输出相乘，相乘的结果经过卷积层A7后与输入相加作为通道特征挤压块的输出；卷积层A5、卷积层A6与卷积层A7的参数相同，具体为：卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0。从工作原理上讲：针对第二深度可分离卷积块，对比于如图7所示现有深度可分离卷积块，本发明中第二深度可分离卷积块中去掉了第一个卷积层（1×1），能够有效降低参数量和计算次数。针对通道特征挤压块，为了达到更好的超分辨率效果，本发明在网络中引入通道注意力机制，用于获取不同通道上的信息，通道特征挤压块就是为了获取局部通道信息而提出，并且对硬件非常友好；相比于如图8所示的现有Non-Local Mixed Attention块，本发明通道特征挤压块中采用单路设计，即去掉了图8中方框内的一个卷积层（1×1）及相乘运算，通过该经量化设计，同样能够有效降低参数量和计算次数；并且，由于网络中每多一个分支操作，在硬件中就需要分配额外的存储空间（每个分支都是并行的），减少一个分支（卷积层）则能够有效减少存储空间需求，进而提升硬件友好度。
所述通道压缩块采用卷积层A8，其卷积核尺寸为1×1、输入通道为18、输出通道为Q2、padding为0，Q为超分辨率倍数，Q的取值范围为2~4；采用通道压缩块降低通道特征提取块输出特征图的通道数。
所述上采样块采用PixelShuffle块，用于将输入图片放大到(Q×N)×(Q×N)；采用PixelShuffle块在放大过程中，并不会引入额外的参数，并且没有计算量。
所述轻量级图像超分辨率重建网络的训练过程为：
采用现有图像数据集作为训练集，将训练集中原始图像进行下采样得到低分辨率图像，再将原始图像与低分辨率图像分别进行与步骤1相同的数据预处理，得到原始图像的子图像与低分辨率图像的子图像，将原始图像的子图像作为标签，将低分辨率图像的子图像作为输入，构成训练样本；
设置损失函数与训练参数，采用监督批学习方法对轻量级图像超分辨率重建网络进行训练；所述损失函数为：
，
其中，
Loss表示损失函数，
X表示标签，
Y表示轻量级图像超分辨率重建网络的输出，(
x,
y)表示像素坐标，
N表示标签的尺寸；该损失函数表示了本发明轻量级图像超分辨率重建网络输出的重构高分辨率图像与原始高分辨率图像之间的“差距”。
本实施例中，采用91-images数据集作为训练集，采用set5数据集作为验证集；如图1所示流程图中的示例图像来自set5数据集，原始低分辨率图像的尺寸为252×252，分割为64个子图像，每个子图像的大小为30×30；通过本发明得到的高分辨率重建图像的尺寸为504×504，单通道测试的PSNR指标为38.049；若直接将原始图片输入至网络进行推理，单通道测试的PSNR指标38.076；由此可见，本发明采用的对图像进行分割、拼接的处理方法，能够达到等同于将原始图片直接输入至网络的推理效果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (5)
1.一种适用于硬件部署的轻量级图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1、数据预处理；
将待处理低分辨率图像进行格式转换，得到待处理低质量YCbCr图像；再将待处理低质量YCbCr图像分割为若干个子图像；
步骤2、构建轻量级图像超分辨率重建网络，并完成网络训练；
所述轻量级图像超分辨率重建网络包括：依次连接的特征预提取块、第一深度可分离卷积块、通道特征提取块、通道压缩块与上采样块；
所述特征预提取块采用卷积层A1；
所述第一深度可分离卷积块由依次连接的卷积层A2、逐通道卷积层B1与卷积层A3构成；
所述通道特征提取块由4个通道特征提取子块依次连接构成，所述通道特征提取子块由依次连接的第二深度可分离卷积块与通道特征挤压块构成；所述第二深度可分离卷积块由依次连接的逐通道卷积层B2与卷积层A4构成，且卷积层A4的输出与逐通道卷积层B2的输入相加作为第二深度可分离卷积块的输出；所述通道特征挤压块由卷积层A5、卷积层A6、卷积层A7与Softmax层构成，通道特征挤压块的输入分别经过卷积层A5与卷积层A6，卷积层A5的输出经过Softmax层后与卷积层A6的输出相乘，相乘的结果经过卷积层A7后与通道特征挤压块的输入相加作为通道特征挤压块的输出；
所述通道压缩块采用卷积层A8；
所述上采样块采用PixelShuffle块；
步骤3、将步骤1中子图像依次输入步骤2中轻量级图像超分辨率重建网络，由轻量级图像超分辨率重建网络输出子图像对应的重构子图像，再将所有重构子图像按照顺序拼接得到高分辨率重构图像。
2.根据权利要求1所述适用于硬件部署的轻量级图像超分辨率重建方法，其特征在于，卷积层A1的卷积核尺寸为3×3、输入通道为1、输出通道为45、padding为1；卷积层A2的卷积核尺寸为1×1、输入通道为45、输出通道为36、padding为0，逐通道卷积层B1的卷积核尺寸为3×3、输入通道为36、输出通道为36、padding为1，卷积层A3的卷积核尺寸为1×1、输入通道为36、输出通道为18、padding为0；逐通道卷积层B2的卷积核尺寸为3×3、输入通道为18、输出通道为18、padding为1，卷积层A4的卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0；卷积层A5、卷积层A6与卷积层A7的参数相同，均为：卷积核尺寸为1×1、输入通道为18、输出通道为18、padding为0；卷积层A8的卷积核尺寸为1×1、输入通道为18、输出通道为Q2、padding为0，Q为超分辨率倍数。
3.根据权利要求1所述适用于硬件部署的轻量级图像超分辨率重建方法，其特征在于，所述轻量级图像超分辨率重建网络的训练过程为：
采用现有图像数据集作为训练集，将训练集中原始图像进行下采样得到低分辨率图像，再将原始图像与低分辨率图像分别进行数据预处理，得到原始图像的子图像与低分辨率图像的子图像，将原始图像的子图像作为标签，将低分辨率图像的子图像作为输入，构成训练样本；
设置损失函数与训练参数，采用监督批学习方法对轻量级图像超分辨率重建网络进行训练。
4.根据权利要求3所述适用于硬件部署的轻量级图像超分辨率重建方法，其特征在于，所述损失函数为：
，
其中，Loss表示损失函数，X表示标签，Y表示轻量级图像超分辨率重建网络的输出，(x,y)表示像素坐标，N表示标签的尺寸。
5.根据权利要求1所述适用于硬件部署的轻量级图像超分辨率重建方法，其特征在于，子图像的尺寸为N×N，N的取值范围为30~60。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592921.2A CN115601242B (zh) | 2022-12-13 | 2022-12-13 | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592921.2A CN115601242B (zh) | 2022-12-13 | 2022-12-13 | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115601242A CN115601242A (zh) | 2023-01-13 |
| CN115601242B true CN115601242B (zh) | 2023-04-18 |
Family
ID=84854174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211592921.2A Active CN115601242B (zh) | 2022-12-13 | 2022-12-13 | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601242B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN112734643A (zh) * | 2021-01-15 | 2021-04-30 | 重庆邮电大学 | 一种基于级联网络的轻量图像超分辨率重建方法 |
| CN113538234A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于轻量化生成模型的遥感图像超分辨率重建方法 |
| CN114519667A (zh) * | 2022-01-10 | 2022-05-20 | 武汉图科智能科技有限公司 | 一种图像超分辨率重建方法及*** |
| CN114612306A (zh) * | 2022-03-15 | 2022-06-10 | 北京工业大学 | 一种面向裂缝检测的深度学习超分辨率方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657962B (zh) * | 2014-12-12 | 2017-08-25 | 西安电子科技大学 | 基于级联线性回归的图像超分辨重建方法 |
| WO2017204886A1 (en) * | 2016-05-23 | 2017-11-30 | Massachusetts Institute Of Technology | System and method for providing real-time super-resolution for compressed videos |
| CN108765511B (zh) * | 2018-05-30 | 2023-03-24 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN110136067B (zh) * | 2019-05-27 | 2022-09-06 | 商丘师范学院 | 一种针对超分辨率b超影像的实时影像生成方法 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110378470B (zh) * | 2019-07-19 | 2023-08-18 | Oppo广东移动通信有限公司 | 神经网络模型的优化方法、装置以及计算机存储介质 |
| CN111105352B (zh) * | 2019-12-16 | 2023-04-25 | 佛山科学技术学院 | 超分辨率图像重构方法、***、计算机设备及存储介质 |
| CN111402126B (zh) * | 2020-02-15 | 2023-12-22 | 北京中科晶上科技股份有限公司 | 一种基于分块的视频超分辨率方法和*** |
| CN112348103B (zh) * | 2020-11-16 | 2022-11-11 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN112861978B (zh) * | 2021-02-20 | 2022-09-02 | 齐齐哈尔大学 | 一种基于注意力机制的多分支特征融合遥感场景图像分类方法 |
| CN112991203B (zh) * | 2021-03-08 | 2024-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114331837A (zh) * | 2021-12-22 | 2022-04-12 | 国网安徽省电力有限公司 | 特高压换流站保护***全景监控图像处理与存储方法 |
-
2022
- 2022-12-13 CN CN202211592921.2A patent/CN115601242B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN112734643A (zh) * | 2021-01-15 | 2021-04-30 | 重庆邮电大学 | 一种基于级联网络的轻量图像超分辨率重建方法 |
| CN113538234A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于轻量化生成模型的遥感图像超分辨率重建方法 |
| CN114519667A (zh) * | 2022-01-10 | 2022-05-20 | 武汉图科智能科技有限公司 | 一种图像超分辨率重建方法及*** |
| CN114612306A (zh) * | 2022-03-15 | 2022-06-10 | 北京工业大学 | 一种面向裂缝检测的深度学习超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115601242A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108647775B (zh) | 基于全卷积神经网络单张图像的超分辨率图像重建方法 | |
| CN107155110A (zh) | 一种基于超分辨率技术的图片压缩方法 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| CN109785252B (zh) | 基于多尺度残差密集网络夜间图像增强方法 | |
| CN112419151A (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN110751597A (zh) | 基于编码损伤修复的视频超分辨方法 | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| WO2023010831A1 (zh) | 提高图像分辨率的方法、***、装置及存储介质 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及*** | |
| CN111800630A (zh) | 一种视频超分辨率重建的方法、***及电子设备 | |
| CN115018708A (zh) | 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 | |
| CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
| Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
| CN104683818A (zh) | 基于双正交不变集多小波的图像压缩方法 | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 | |
| CN115187455A (zh) | 一种用于压缩图像的轻量级超分辨率重建模型及*** | |
| CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
| CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
| CN111598781B (zh) | 一种基于混合高阶注意网络的图像超分辨率方法 | |
| CN116778539A (zh) | 基于注意力机制的人脸图像超分辨率网络模型及处理方法 | |
| CN113674151A (zh) | 一种基于深度神经网络的图像超分辨率重建方法 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN117635478B (zh) | 一种基于空间通道注意力的低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |