CN109345449B - 一种基于融合网络的图像超分辨率及去非均匀模糊方法 - Google Patents

一种基于融合网络的图像超分辨率及去非均匀模糊方法 Download PDF

Info

Publication number
CN109345449B
CN109345449B CN201810785846.9A CN201810785846A CN109345449B CN 109345449 B CN109345449 B CN 109345449B CN 201810785846 A CN201810785846 A CN 201810785846A CN 109345449 B CN109345449 B CN 109345449B
Authority
CN
China
Prior art keywords
image
resolution
network
blur
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810785846.9A
Other languages
English (en)
Other versions
CN109345449A (zh
Inventor
王飞
张昕昳
董航
张康龙
韦昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810785846.9A priority Critical patent/CN109345449B/zh
Priority to PCT/CN2018/107710 priority patent/WO2020015167A1/zh
Publication of CN109345449A publication Critical patent/CN109345449A/zh
Application granted granted Critical
Publication of CN109345449B publication Critical patent/CN109345449B/zh
Priority to US17/149,764 priority patent/US11928792B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，该方法首次实现了基于深度神经网络对低分辨率非均匀运动模糊图像进行恢复。该网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个可以训练的特征融合模块对两个特征提取分支的输出实现自适应融合。最终上采样重建模块实现去非均匀运动模糊和超分辨率任务。本方法利用自行生成的训练数据集对网络进行离线训练，从而实现对任何输入尺寸的低分辨率非均匀运动模糊图像进行恢复。该方法训练难度低，效果好，并且计算效率极高，非常适用于针对移动设备、监控设备拍摄图像的恢复和增强等应用。

Description

一种基于融合网络的图像超分辨率及去非均匀模糊方法
技术领域
本发明属于计算机视觉与图像处理领域，特别涉及一种基于融合网络的图像超分辨率及去非均匀模糊方法。
背景技术
图像超分辨率是计算机视觉应用中的一类基础任务。其目的是从低分辨率图像还原出高分辨率图像，并且提升图像质量和恢复出图像细节信息。它不仅可以生成令人满意的高分辨率的图像，同时也可以为类似目标检测、人脸识别等更深层次图像处理过程提供更高品质的图像源。然而，自然图像中存在着不同深度的运动物体以及运动遮挡现象，因此真实低分辨率图像中往往还存在着非均匀运动模糊现象，这些都会严重影响到超分辨算法的研究。
不同于均匀运动模糊图像，非均匀运动模糊的图像由一段清晰的视频中的相邻帧融合而成，其融合过程如公式1所示：
Figure BDA0001733717030000011
其中M表示用来生成非均匀运动模糊的连续图像帧的数量，
Figure BDA0001733717030000012
表示相机采集的第i帧图像。g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似关系入公式2所示：
g(x)＝x1/γ (2)
在此基础上，低分辨率的非均匀运动模糊图像Lblur通过对公式1中的模糊图像Hblur通过降采样获得，如公式3所示：
Lblur＝D(Hblur) (3)
其中D表示降采样插值算法。
根据上述公式可以看出，低分辨率的非均匀运动模糊图像是由两种退化模型叠加而成，由单帧低分辨率的非均匀运动模糊图像恢复出高分辨率的清晰图像是一个高度病态问题。因此现有相关研究中，往往将图像超分辨率和图像去非均匀运动模糊当成两个独立问题进行研究。图像去非均匀运动模糊是一种从高度复杂模糊的图像还原出清晰图像的方法，非均匀运动模糊考虑了现实成像环境中存在的运动物体深度不同以及运动遮挡现象，是一种相较均匀运动模糊更加复杂的图像退化模型。近年来随着深度神经网络技术的成熟，去非均匀运动模糊的研究取得重大进展。但当处理图像同时存在上述两种退化模型时，这些算法虽然可以去除模糊现象，却无法对提升图像分辨率并对细节信息进行恢复，使得输出图像质量无法满足预期效果。同样地，现有超分辨算法无法有效消除图像中的运动模糊现象，导致生成的高分辨率图像仍然存在着严重模糊区域。
现有实现超分辨并去去非均匀运动模糊的方法包括：(1)简单串联法，即将处理两类任务的方法进行简单串联，首先处理一种退化模型，并将结果作为另一种方法的输入，进而消除第二种退化模型。该方法的缺陷主要在于，简单串联的方法并不能确保获得问题最优解，因为第一种方法所带来的误差将会在第二种方法中被进一步放大。此外，串行的连接使得第一种方法中的中间特征无法在第二种方法中被有效复用，使得运行效率较低。(2)端到端的深度神经网络训练法。该类方法利用深度神经网络强大的学习能力，通过大量训练样本使网络具备同时超分辨并去运动模糊的能力。该类方法的代表文献为[1,2].但这些方法都集中在处理均匀运动模糊[1]或者高斯模糊[2]，当应用在更为复杂的非均匀运动模糊场景，其结果远远不能满足实际应用需求。
发明内容
本发明的目的在于提供一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于融合网络的图像超分辨率及去非均匀模糊方法，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。
进一步的，步骤一中图像块三元组的具体生成过程为：
1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数。并根据公式
Figure BDA0001733717030000031
将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ。
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
进一步的，步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
Figure BDA0001733717030000045
进一步的，步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征ΦSRF。
进一步的，步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行自适应融合：
Figure BDA0001733717030000041
其中Gfusion表示特征融合模块网络，
Figure BDA0001733717030000043
表示逐元素乘法。
进一步的，步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像
Figure BDA0001733717030000044
的恢复。
进一步的，步骤三中，网络训练所用的损失函数定义为：
Figure BDA0001733717030000042
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
进一步的，训练步骤二的模型时采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
进一步的，步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
与现有技术相比，本发明有以下技术效果：
本发明的基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，并首次实现了基于深度神经网络对低分辨率非均匀运动模糊图像进行恢复。该发明的网络通过两个并行的特征提取分支模块，有效地将上述联合任务解耦为两个子任务，从而降低了网络训练难度并提升了网络效果；此外特征融合模块的存在使得网络能够更好的将不同子任务的特征进行融合。最后，由于网络大部分计算都集中在低分辨率的尺度下，因此该方法的计算效率极高，实时性好，非常适用于针对移动设备、监控设备拍摄图像的恢复和增强等应用。
附图说明
图1为本发明的实施流程图；
图2为本发明的卷积神经网络架构图；
图3a和3b为图像超分辨率及非均匀运动模糊去除实例图。
具体实施方式
以下结合附图对本发明进一步说明：
一种基于融合网络的图像超分辨率及去非均匀模糊方法，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。
步骤一中图像块三元组的具体生成过程为：
1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数。并根据公式
Figure BDA0001733717030000061
将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ。
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
Figure BDA0001733717030000073
步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征φSRF。
步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对φSRF，φdeblur进行自适应融合：
Figure BDA0001733717030000071
其中Gfusion表示特征融合模块网络，
Figure BDA0001733717030000074
表示逐元素乘法。
步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像
Figure BDA0001733717030000075
的恢复。
步骤三中，网络训练所用的损失函数定义为：
Figure BDA0001733717030000072
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
训练步骤二的模型时，采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
实施流程图：
如图1所示，本发明基于一种深度特征融合网络实现自然图像超分辨率及去非均匀运动模糊方法，包括如下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的多段自然场景清晰视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率下清晰图像块和高分辨率清晰图像块，作为神经网络训练中不同阶段的真值。
具体地，本方法从21段视频中随机采取2100帧图像，构成训练集真值图像集H。并利用其相邻11帧图像根据公式
Figure BDA0001733717030000081
所述方法生成高分辨率模糊图像集Hblur。如此一共生成2100组高分辨率清晰/模糊图像对{H，Hblur}，进而对每一组图像对以{0.5，0.7，1}三种缩放尺度进行降采样，得到6300组高分辨率清晰/模糊图像对。针对扩展后的图像对，采用步长为128的滑动窗口方式截取大小为256*256的图像块对。在上述图像对中共截取107584组图像块对。针对其中每一组高分辨率图像块对{h，hblur}，采用公式g(x)＝x1/γ所述方法进行降采样得到低分辨率图像块对{l，lblur}，并最终获得步骤一所述的图像块三元组{lblur，l，h}。上述中降采样法均采用双三次插值降采样法。
步骤二：搭建深度神经网络。如图2所示，该网络采用两个分支模块分别提取用于图像超分辨特征和去非均匀模糊特征，并通过一个可以训练的特征融合模块对两个特征提取分支的输出实现自适应融合。最后该方法通过一个上采样重建模块实现超分辨率和去非均匀运动模糊任务。
其中模糊特征提取模块采取编码-解码结构，以增大特征提取网络的感受野，从而应对可能出现的大尺度模糊现象。其编码-解码结构由“C1-Res(1-6)-C2-Res(7-12)-C3—Res(13-18)—D1—D2—C4”组成。C1为卷积核大小为7*7的卷积层，其输出通道数为64；Res表示移除BN层的残差网络块，每个残差网络块由一个卷积核大小为3*3的卷积层，一个斜率为0.2的Leaky-ReLU激活函数以及一个卷积核大小为3*3的卷积层依次连接构成，最后整个残差网络块首尾串接相加构成最终输出。Res(1-6)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C2为卷积核大小为3*3、步长为2的卷积层，其输出通道数为128，该层起到对特征图降采样的作用；Res(7-12)表示6个串联的残差网络块，其中全部卷积层的输出通道数为128；C3为卷积核大小为3*3、步长为2的卷积层，其输出通道数为256，该层起到对特征图降采样的作用；Res(13-18)表示6个串联的残差网络块，其中全部卷积层的输出通道数为256；D1由卷积核大小为4*4、步长为2的反卷积层以及Leaky-ReLU激活函数构成，其输出通道数为128，该层起到对特征图上采样的作用；D2由卷积核大小为4*4、步长为2的反卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64，该层起到对特征图上采样的作用；C4为卷积核大小为7*7的卷积层，其输出通道数为64。其中Res6的输出与C1的输出之间、Res12的输出与C2的输出之间以及C1的输出与C4的输出间存在跳接相加架构。编码-解码结构模块的输出为去模糊特征Φdeblur。
此外编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，其结构由“C5—C6”组成。C5由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C6为卷积核大小为3*3的卷积层，其输出通道数为3。改网络最终生成低分辨率清晰图像
Figure BDA0001733717030000092
该方法中提取超分辨特征的模块结构为“C7—Res(19-26)—C8”。C7为卷积核大小为7*7的卷积层，其输出通道数为64；Res(19-26)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C8为卷积核大小为3*3的卷积层，其输出通道数为64。C7的输出与C8的输出间存在跳接相加架构。该分支的输出为超分辨特征ΦSRF。
该方法中的特征融合模块通过输出逐点融合权重对特征提取分支所提取的特征进行自适应融合。具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行特征融合：
Figure BDA0001733717030000091
其结构由“C9—C10—MUL”组成。其中C9由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C10为卷积核大小为1*1的卷积层，其输出通道数为64；MUL表示逐点相乘层，负责对C10输出的融合权重与φdeblur进行求积，其输出与φSRF逐点求和得到最终的融合特征Φfusion。
该方法中的上采样重建模块以融合后的特征Φfusion为输入，实现高分辨率清晰图像
Figure BDA0001733717030000102
的恢复。其结构由“Res(27-34)-C11-P1-C12-P2-C13-C14”组成。Res(27-34)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C11为卷积核大小为3*3的卷积层，其输出通道数为256；P1由像素置换层以及Leaky-ReLU激活函数构成，其输出通道为64，该层起到对特征图两倍上采样的作用；C12为卷积核大小为3*3的卷积层，其输出通道数为256；P2由像素置换层以及Leaky-ReLU激活函数构成，其输出通道为64，该层起到对特征图两倍上采样的作用；C13由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C14为卷积核大小为3*3的卷积层，其输出通道数为3，即最终高分辨率清晰结果
Figure BDA0001733717030000103
步骤三：模型训练，利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的模型。其中网络训练所用的损失函数定义为：
Figure BDA0001733717030000101
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者都采用均方误差(MSE)函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
训练过程分为两个阶段。第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有网络层。第一阶段中Epochs数设为60，初始学***翻转和
Figure BDA0001733717030000111
四种随机旋转角度对已生成图像块三元组进行数据增强。
步骤四：模型测试：首先对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除，从而经过编码-解码网络后得到的特征图与输入图像尺度大小保持一致。随后将处理过的测试图像输入步骤三中训练好神经网络模型得到高分辨率清晰的图像。
图3展示了一个针对低分辨率非均匀运动模糊图像恢复的例子。在图3中，(a)为输入的低分辨率非均匀运动模糊图像；(b)展示了通过上述神经网络模型所获得的高分辨率清晰图像。
本发明可通过多种编程语言来实现，例如C++、python、matlab等。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (4)

1.一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像；
步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
Figure FDA0002689968470000012
步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征ΦSRF；ΦSRF为64通道的图像特征；Φdeblur为64通道的图像特征；
步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行自适应融合：
Figure FDA0002689968470000011
其中Gfusion表示特征融合模块网络，
Figure FDA0002689968470000021
表示逐元素乘法；
步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像
Figure FDA0002689968470000022
的恢复；
训练步骤二的模型时采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
2.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤一中图像块三元组的具体生成过程为：
1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数；并根据公式
Figure FDA0002689968470000023
将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ；
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5，0.7，1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
3.根据权利要求2所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤三中，网络训练所用的损失函数定义为：
Figure FDA0002689968470000031
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
4.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
CN201810785846.9A 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法 Active CN109345449B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810785846.9A CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法
PCT/CN2018/107710 WO2020015167A1 (zh) 2018-07-17 2018-09-26 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US17/149,764 US11928792B2 (en) 2018-07-17 2021-01-15 Fusion network-based method for image super-resolution and non-uniform motion deblurring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785846.9A CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法

Publications (2)

Publication Number Publication Date
CN109345449A CN109345449A (zh) 2019-02-15
CN109345449B true CN109345449B (zh) 2020-11-10

Family

ID=65296663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785846.9A Active CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法

Country Status (3)

Country Link
US (1) US11928792B2 (zh)
CN (1) CN109345449B (zh)
WO (1) WO2020015167A1 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
CN109949240B (zh) * 2019-03-11 2021-05-04 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109961451A (zh) * 2019-03-22 2019-07-02 西北工业大学 一种基于边缘信息的材料晶粒组织分割方法
KR20200114436A (ko) * 2019-03-28 2020-10-07 국방과학연구소 스케일러블 영상 부호화를 수행하는 장치 및 방법
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
CN109978077B (zh) * 2019-04-08 2021-03-12 南京旷云科技有限公司 视觉识别方法、装置和***及存储介质
CN110175509B (zh) * 2019-04-09 2022-07-12 西安电子科技大学 一种基于级联超分辨率的全天候眼周识别方法
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
CN110033422B (zh) * 2019-04-10 2021-03-23 北京科技大学 一种眼底oct图像融合方法及装置
CN110111251B (zh) * 2019-04-22 2023-04-28 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN113992847A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
CN110211064B (zh) * 2019-05-21 2022-11-18 华南理工大学 一种基于边缘引导的混合退化文本图像恢复方法
US11222409B2 (en) * 2019-05-22 2022-01-11 Nec Corporation Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
TWI719512B (zh) * 2019-06-24 2021-02-21 瑞昱半導體股份有限公司 使用像素通道置亂的卷積神經網路的演算方法與系統
CN110675333B (zh) * 2019-08-26 2023-04-07 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110647934B (zh) * 2019-09-20 2022-04-08 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110689558B (zh) * 2019-09-30 2022-07-22 清华大学 多传感器图像增强方法及装置
KR102436512B1 (ko) * 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
WO2021118270A1 (en) 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
WO2021134874A1 (zh) * 2019-12-31 2021-07-08 深圳大学 二维码去摩尔纹的深度残差网络的训练方法
CN111476745B (zh) * 2020-01-13 2023-07-25 杭州电子科技大学 一种进行运动模糊超分辨的多分支网络及方法
CN111340694B (zh) * 2020-02-07 2023-10-27 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111369601B (zh) * 2020-02-12 2023-04-07 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN111340744B (zh) * 2020-02-20 2023-03-14 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其***
US11423305B2 (en) * 2020-02-26 2022-08-23 Deere & Company Network-based work machine software optimization
CN111462041B (zh) * 2020-03-02 2023-05-05 北京东软医疗设备有限公司 图像处理方法、装置、设备及存储介质
CN113365107B (zh) * 2020-03-05 2024-05-10 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN111401436B (zh) * 2020-03-13 2023-04-18 中国科学院地理科学与资源研究所 一种融合网络和双通道注意力机制的街景图像分割方法
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、***和一种巡检机器人
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111461987B (zh) * 2020-04-01 2023-11-24 中国科学院空天信息创新研究院 一种网络构建方法、图像超分辨率重建方法及***
CN111429378A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111524068B (zh) * 2020-04-14 2023-06-02 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111523493A (zh) * 2020-04-27 2020-08-11 东南数字经济发展研究院 一种针对雾天影像的目标检测算法
CN111583115B (zh) * 2020-04-30 2023-09-05 西安交通大学 基于深度注意力网络的单幅图像超分辨率重建方法及***
CN111598808B (zh) * 2020-05-18 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN111626951B (zh) * 2020-05-20 2023-04-18 武汉科技大学 一种基于内容感知信息的图像阴影消除方法
CN111667410B (zh) * 2020-06-10 2021-09-14 腾讯科技（深圳）有限公司 图像分辨率提升方法、装置及电子设备
CN111709895B (zh) * 2020-06-17 2023-05-16 中国科学院微小卫星创新研究院 基于注意力机制的图像盲去模糊方法及***
WO2022011571A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 视频处理方法、装置、设备、解码器、***及存储介质
CN111914947B (zh) * 2020-08-20 2024-04-16 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
US20220067879A1 (en) 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法
CN111968064B (zh) * 2020-10-22 2021-01-15 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112329603B (zh) * 2020-11-03 2022-09-13 西南科技大学 一种基于图像级联的坝面裂纹缺陷定位方法
CN112634153B (zh) * 2020-12-17 2023-10-20 中山大学 一种基于边缘增强的图像去模糊方法
CN112767532B (zh) * 2020-12-30 2022-07-08 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法
CN112652000B (zh) * 2020-12-30 2024-05-24 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112651883B (zh) * 2021-01-18 2023-04-07 广东工业大学 一种图像高速场景恢复方法、设备及介质
CN112801195A (zh) * 2021-02-04 2021-05-14 四川望村网络科技有限公司 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113111886B (zh) * 2021-04-19 2023-03-24 太原科技大学 一种基于双层残差网络的交通场景图像语义分割方法
CN113240584B (zh) * 2021-05-11 2023-04-28 上海大学 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN113177896B (zh) * 2021-05-20 2022-05-03 中国人民解放军国防科技大学 基于多路径精化融合神经网络的图像去除模糊方法
CN113421188B (zh) * 2021-06-18 2024-01-05 广东奥普特科技股份有限公司 一种图像均衡增强的方法、***、装置及存储介质
CN113221925B (zh) * 2021-06-18 2022-11-11 北京理工大学 一种基于多尺度图像的目标检测方法及装置
CN113379641B (zh) * 2021-06-25 2022-09-16 南昌航空大学 一种基于自编码卷积神经网络的单幅图像去雨方法及***
CN113505678B (zh) * 2021-07-01 2023-03-21 西北大学 基于深度可分离卷积的猴类面部识别方法
CN113763386B (zh) * 2021-07-13 2024-04-19 合肥工业大学 基于多尺度特征融合的手术器械图像智能分割方法和***
CN113344827B (zh) * 2021-08-05 2021-11-23 浙江华睿科技股份有限公司 一种图像去噪方法、图像去噪网络运算单元及设备
CN113810597B (zh) * 2021-08-10 2022-12-13 杭州电子科技大学 一种基于半预测滤波的快速图像散景渲染方法
CN113537246A (zh) * 2021-08-12 2021-10-22 浙江大学 一种基于对抗学习的灰度图像同时上色超分方法
WO2023050258A1 (en) * 2021-09-30 2023-04-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Robust and efficient blind super-resolution using variational kernel autoencoder
CN113837946B (zh) * 2021-10-13 2022-12-06 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN114022360B (zh) * 2021-11-05 2024-05-03 长春理工大学 基于深度学习的渲染图像超分辨***
CN114049625B (zh) * 2021-11-11 2024-02-27 西北工业大学 基于新型图像收缩方法的多方向文本检测方法
CN114187181B (zh) * 2021-12-17 2024-06-07 福州大学 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN114252423B (zh) * 2021-12-24 2024-02-02 汉姆德(宁波)智能医疗科技有限公司 超分辨显微镜完全采样图像的生成方法、装置
CN114359662B (zh) * 2021-12-24 2023-06-13 江苏大学 一种基于异构fpga和融合多分辨率的卷积神经网络的实现方法
CN114550137B (zh) * 2022-02-22 2024-04-09 智道网联科技(北京)有限公司 识别交通标志牌的方法、装置和电子设备
CN114549361B (zh) * 2022-02-28 2023-06-30 齐齐哈尔大学 一种基于改进U-Net模型的去图像运动模糊方法
CN114580526B (zh) * 2022-03-02 2023-10-17 青岛星科瑞升信息科技有限公司 一种基于深度学习的建筑物提取方法
CN114663301B (zh) * 2022-03-05 2024-03-08 西北工业大学 一种基于小波层的卷积神经网络全色锐化方法
CN114821350B (zh) * 2022-03-17 2024-02-27 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114820342B (zh) * 2022-03-17 2024-02-27 西北工业大学 一种基于动态神经网络的视频去模糊方法
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN114663285B (zh) * 2022-04-01 2023-06-09 哈尔滨工业大学 基于卷积神经网络的老电影超分辨***
CN114692509B (zh) * 2022-04-21 2023-02-14 南京邮电大学 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN114913069B (zh) * 2022-04-26 2024-05-03 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法
CN114882203B (zh) * 2022-05-20 2024-05-28 江阴萃合智能装备有限公司 一种用于电力电网巡检机器人的图像超分辨率重建方法
CN114821449B (zh) * 2022-06-27 2022-09-20 松立控股集团股份有限公司 一种基于注意力机制的车牌图像处理方法
CN114972043B (zh) * 2022-08-03 2022-10-25 江西财经大学 基于联合三边特征滤波的图像超分辨率重建方法与***
CN115063298A (zh) * 2022-08-17 2022-09-16 中加健康工程研究院(合肥)有限公司 一种多重超分辨残差网络的pet超分辨率方法
CN115511767B (zh) * 2022-11-07 2023-04-07 中国科学技术大学 一种自监督学习的多模态图像融合方法及其应用
CN115546030B (zh) * 2022-11-30 2023-04-07 武汉大学 基于孪生超分辨率网络的压缩视频超分辨率方法及***
CN115546031B (zh) * 2022-12-01 2023-03-24 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN116168352B (zh) * 2023-04-26 2023-06-27 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及***
CN116363036B (zh) * 2023-05-12 2023-10-10 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116452696B (zh) * 2023-06-16 2023-08-29 山东省计算中心（国家超级计算济南中心） 一种基于双域特征采样的图像压缩感知重构方法及***
CN116485796B (zh) * 2023-06-19 2023-09-08 闽都创新实验室 害虫检测方法、装置、电子设备及存储介质
CN116664562B (zh) * 2023-07-28 2023-11-03 香港理工大学深圳研究院 一种基于滑窗变分自编码器的非监督裂缝识别方法
CN117172134B (zh) * 2023-10-19 2024-01-16 武汉大学 基于融合地形特征的月表多尺度dem建模方法
CN117714875B (zh) * 2024-02-06 2024-04-30 博大视野(厦门)科技有限公司 一种基于深度神经网络的端到端视频防抖方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
EP2523160A1 (en) * 2011-05-13 2012-11-14 Sony Corporation Image processing device, image processing method, and program
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和***
CN106373107A (zh) * 2016-12-06 2017-02-01 四川长虹电器股份有限公司 智能手机自动图像去模糊***及方法
CN107301662A (zh) * 2017-06-30 2017-10-27 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406571B2 (en) * 2010-02-04 2013-03-26 Yahoo! Inc. Automatic super-resolution transformation for images
CN102194222B (zh) * 2011-04-26 2012-12-12 浙江大学 一种基于联合运动估计与超分辨率重建的图像重建方法
KR101839617B1 (ko) * 2011-07-11 2018-03-19 포항공과대학교 산학협력단 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US8705881B2 (en) * 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
KR101810876B1 (ko) * 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9692939B2 (en) * 2013-05-29 2017-06-27 Yeda Research And Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US9538126B2 (en) * 2014-12-03 2017-01-03 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity
CN104680491B (zh) * 2015-02-28 2016-03-30 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
CN104867111B (zh) * 2015-03-27 2017-08-25 北京理工大学 一种基于分块模糊核集的非均匀视频盲去模糊方法
US9443288B1 (en) 2015-04-22 2016-09-13 Adobe Systems Incorporated Scale adaptive blind deblurring
AU2015101167A4 (en) * 2015-07-26 2015-10-01 Macau University Of Science And Technology A Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN107274378B (zh) * 2017-07-25 2020-04-03 江西理工大学 一种融合记忆cnn的图像模糊类型识别及参数整定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523160A1 (en) * 2011-05-13 2012-11-14 Sony Corporation Image processing device, image processing method, and program
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和***
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
CN106373107A (zh) * 2016-12-06 2017-02-01 四川长虹电器股份有限公司 智能手机自动图像去模糊***及方法
CN107301662A (zh) * 2017-06-30 2017-10-27 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections;Xiao-Jiao Mao 等;《arXiv》;20161231;第1-17页 *
Learning to Super-Resolve Blurry Face and Text Images;Xiangyu Xu 等;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171231;第251-260页 *
Super-Resolution Deblurring Algorithm for Generative Adversarial Networks;Bing Tian 等;《2017 Second International Conference on Mechanical, Control and Computer Engineering (ICMCCE)》;20180129;第135-140页 *
一种基于神经网络的人脸图像超分辨率重构算法;高志荣 等;《中南民族大学学报(自然科学版)》;20160331;第35卷(第1期);第114-118页 *
图像超分辨BP神经网络的改进;朱福珍 等;《***工程与电子技术》;20160630;第36卷(第6期);第1215-1219页 *
航空图像超分辨率重建关键技术研究;何林阳;《中国博士学位论文全文数据库 信息科技辑》;20160815;第2016年卷(第08期);第I138-34页 *

Also Published As

Publication number Publication date
US11928792B2 (en) 2024-03-12
CN109345449A (zh) 2019-02-15
US20210166350A1 (en) 2021-06-03
WO2020015167A1 (zh) 2020-01-23

Similar Documents

Publication Publication Date Title
CN109345449B (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及***
CN111667442B (zh) 一种基于事件相机的高质量高帧率图像重建方法
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
Kappeler et al. Video super-resolution with convolutional neural networks
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN108989731B (zh) 一种提高视频空间分辨率的方法
CN111476745A (zh) 一种进行运动模糊超分辨的多分支网络及方法
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及***
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Bai et al. MSPNet: Multi-stage progressive network for image denoising
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧***方法及***
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法
Wang et al. Bi-RSTU: Bidirectional recurrent upsampling network for space-time video super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant