CN111008939B - 一种基于可控特征空间的神经网络视频去模糊方法 - Google Patents

一种基于可控特征空间的神经网络视频去模糊方法 Download PDF

Info

Publication number
CN111008939B
CN111008939B CN201911177488.4A CN201911177488A CN111008939B CN 111008939 B CN111008939 B CN 111008939B CN 201911177488 A CN201911177488 A CN 201911177488A CN 111008939 B CN111008939 B CN 111008939B
Authority
CN
China
Prior art keywords
information
term
time sequence
long
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911177488.4A
Other languages
English (en)
Other versions
CN111008939A (zh
Inventor
张笑钦
蒋润华
王涛
王金鑫
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN201911177488.4A priority Critical patent/CN111008939B/zh
Publication of CN111008939A publication Critical patent/CN111008939A/zh
Application granted granted Critical
Publication of CN111008939B publication Critical patent/CN111008939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；将去模糊后的多帧序列从特征空间中还原为清晰视频序列。上述技术方案，充分考虑了输入序列中帧与帧的时序信息。对此，本发明专门设计了一个时域处理模块，用于提取输入序列中的长短期时空信息，这对最后的恢复结果有重要影响。

Description

一种基于可控特征空间的神经网络视频去模糊方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于可控特征空间的神经网络视频去模糊方法。
背景技术
随着计算机技术的迅猛发展，视频逐渐成为最主要的多媒体信息，成为目标跟踪、安防监控、识别取证等重要任务的输入。然而，由于拍摄过程中物体运动或相机晃动等原因，作为输入的视频往往含有一定程度的模糊影响，而这些模糊内容往往严重影响了视频的可应用价值。
视频去模糊是一个经典的视频处理问题，最早被提出的视频去模糊算法是逆滤波(Inverse Filter)反卷积算法。Nathan采用二位逆滤波算法来进行还原处理，随着研究的不断深入，Donatelli等人将偏微分方程(Partial Differential Equation,PDE)理论应用于视频序列的恢复处理。此后，Fergus等人深入研究对比了运动模糊退化的视频图像以及原始清晰的视频图像各自的梯度分布，提出一种基于分布统计模型的盲运动去模糊算法。而Takeda针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频序列进行去模糊处理。在深度学习浪潮兴起之后，2D卷积以及3D卷积操作被广泛应用于时域信息的获取，并通过卷积神经网络强大的学习能力学习模糊视频到清晰视频的映射。
上述方法在视频去模糊领域均取得了一定的成效，但由于神经网络在前向传播过程中的信息丢失问题，恢复的清晰视频系列往往会丢失单帧之上的空间信息，造成图像失真的问题。
此外，由于对时序信息建模的不准确性，现有方法的复原视频往往会出现跳帧等问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于可控特征空间的神经网络视频去模糊方法，该方法是通过对神经网络特征空间进行控制防止空间信息的丢失，并通过循环神经网络与卷积神经网络相互配合的形式获取长短期时空信息的神经网络视频去模糊方法。
为实现上述目的，本发明提供了如下技术方案：一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：
(1)从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
(2)从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
(3)利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
(4)将去模糊后的多帧序列从特征空间中还原为清晰视频序列。
作为优选的，步骤(1)，利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系。
作为优选的，步骤(2)，将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息。
作为优选的，步骤(3)，将步骤(1)中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。接着，将步骤(2)中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作。其中，全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制。
作为优选的，步骤(4)，在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃连接保持恢复序列的基本特性。
本发明的优点是：与现有技术相比，本发明充分考虑了输入序列中帧与帧的时序信息。对此，本发明专门设计了一个时域处理模块，用于提取输入序列中的长短期时空信息，通过对神经网络特征空间的控制防止空间信息的丢失，通过循环神经网络与卷积神经网络相互配合的形式获取长短期时空信息，这对最后的恢复结果有重要影响。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例整体流程图；
图2为本发明实施例网络结构示意图；
图3为本发明实施例网络模型中两个生成器的详细结构示意图；
图4为本发明实施例网络模型时域处理模块的工作流程图；
图5为本发明实施例网络模型空域处理模块的工作流程图；
图6为本发明实施例去除不同部分的复原效果图；
图7为本发明实施例与视频去模糊领域一流方法的视觉效果比较示意图。
具体实施方式
在本实施例的描述中，需要说明的是，如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”、“前”、“后”等，其所指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，如出现术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
参见图1至图7，本发明公开的一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：
(1)从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
(2)从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
(3)利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
(4)将去模糊后的多帧序列从特征空间中还原为清晰视频序列。
作为优选的，步骤(1)，利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系。
作为优选的，步骤(2)，将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息。
作为优选的，步骤(3)，将步骤(1)中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。接着，将步骤(2)中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作。其中，全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制。
作为优选的，步骤(4)，在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃连接保持恢复序列的基本特性。
下面对本发明实施例的技术方案进一步详细说明：
本发明实施过程中需要一台有Intel Xeon Silver 4114CPU,32GB RAM和INVIDIATesla P100GPU的计算机。
参见图2，网络结构示意图，共包括一个时域处理模块，一个空域处理模块和一个视频重构模块。
步骤(1)，具体包括：
将五帧视频作为输入时，时域处理模块中的时序信息生成器将五帧视频作为输入，得到长期时序联系，同时，三个循环神经单元——ConvGRU分别将连续的三帧作为输入获取短期时序联系，并将长短期联系进行融合。
上述描述参见图2，图4，时序信息生成器由图3表述。
所述步骤(2)具体包括：
空间权重生成器结构参见图3，在模型前向传播时，空间权重生成器将所有视频序列作为输入，从中检测全局时空信息，并将检测到的信息平均分配给空域处理模块中的循环神经单元。
所述步骤(3)具体包括：
空域处理模块将由时域处理模块产生的特征层作为输入，通过六个卷积层和四个循环神经单元进行进一步的去模糊操作。
在去模糊过程中，通过将空间权重生成器生成的全局信息再次输入到特征空间中，实现对神经网络中特征空间的控制，并进一步提升去模糊效果，具体操作参见图2。
所述步骤(4)具体包括：
在时域和空域处理模块进行去模糊操作之后，需要将去模糊后的特征恢复至图像空间，在图2中，两个卷积层被用于实现上述操作。
此外，两个全局跳跃链接被用于加速网络的训练和信息的前向传播。
实际应用时，本发明通过控制神经网络的特征空间来进一步提高视频去模糊效果，同时，利用循环神经网络考虑不同输入之间联系的能力，该方法充分考虑了不同视频单帧像素之间的联系。具体来说，为了实现对神经网络特征空间的控制，在网络的前端通过若干网络结构抽取视频帧之间的长短使时空联系，在网络的中间部分，通过特定的卷积层等结构从输入序列中抽取全局联系，并将抽取到的全局联系注入特征空间。为了考虑单帧像素之间的联系，使用若干循环神经网络结构进行去模糊操作，并通过两个全局跳跃连接进一步缓解神经网络中信息丢失的问题。
实验表明，上述方法可以有效地利用视频帧与帧之间的联系及每帧像素之间的联系，并在指标和视觉效果上达到了视频去模糊领域一流水平。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (2)

1.一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：包括以下步骤：
（1）从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
（2）从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
（3）利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
（4）将去模糊后的多帧序列从特征空间中还原为清晰视频序列；
步骤（1），利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系；具体包括：
将五帧视频作为输入时，时域处理模块中的时序信息生成器将五帧视频作为输入，得到长期时序联系，同时，三个循环神经单元——ConvGRU分别将连续的三帧作为输入获取短期时序联系，并将长短期联系进行融合；
步骤（2），将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息；
将步骤（2）中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作；
全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制；
步骤（3），将步骤（1）中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。
2.根据权利要求1所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：步骤（4），在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃链接被用于加速网络的训练和信息的前向传播。
CN201911177488.4A 2019-11-27 2019-11-27 一种基于可控特征空间的神经网络视频去模糊方法 Active CN111008939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911177488.4A CN111008939B (zh) 2019-11-27 2019-11-27 一种基于可控特征空间的神经网络视频去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911177488.4A CN111008939B (zh) 2019-11-27 2019-11-27 一种基于可控特征空间的神经网络视频去模糊方法

Publications (2)

Publication Number Publication Date
CN111008939A CN111008939A (zh) 2020-04-14
CN111008939B true CN111008939B (zh) 2022-04-05

Family

ID=70113382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911177488.4A Active CN111008939B (zh) 2019-11-27 2019-11-27 一种基于可控特征空间的神经网络视频去模糊方法

Country Status (1)

Country Link
CN (1) CN111008939B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351196B (zh) * 2020-09-22 2022-03-11 北京迈格威科技有限公司 图像清晰度的确定方法、图像对焦方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
CN109447333A (zh) * 2018-10-18 2019-03-08 山东师范大学 一种基于不定长模糊信息粒的时间序列预测方法和装置
CN110310242A (zh) * 2019-06-27 2019-10-08 深圳市商汤科技有限公司 一种图像去模糊方法及装置、存储介质
CN110334718A (zh) * 2019-07-09 2019-10-15 方玉明 一种基于长短期记忆的二维视频显著性检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
CN109447333A (zh) * 2018-10-18 2019-03-08 山东师范大学 一种基于不定长模糊信息粒的时间序列预测方法和装置
CN110310242A (zh) * 2019-06-27 2019-10-08 深圳市商汤科技有限公司 一种图像去模糊方法及装置、存储介质
CN110334718A (zh) * 2019-07-09 2019-10-15 方玉明 一种基于长短期记忆的二维视频显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bringing Alive Blurred Moments;Kuldeep Purohit et al.;《arXiv》;20190309;全文 *
Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks;Jiawei Zhang et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第2521-2529页 *

Also Published As

Publication number Publication date
CN111008939A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111539884B (zh) 一种基于多注意力机制融合的神经网络视频去模糊方法
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
Li et al. End-to-end united video dehazing and detection
Ye et al. Unsupervised learning of dense optical flow, depth and egomotion with event-based sensors
CN103533214B (zh) 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法
Jing et al. Turning frequency to resolution: Video super-resolution via event cameras
CN104284059A (zh) 用于稳定图像的设备和方法
CN111028166B (zh) 一种基于迭代神经网络的视频去模糊方法
CN110580713A (zh) 基于全卷积孪生网络和轨迹预测的卫星视频目标跟踪方法
CN111798395B (zh) 基于tv约束的事件相机图像重建方法及***
Xiang et al. Learning super-resolution reconstruction for high temporal resolution spike stream
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN111798370A (zh) 基于流形约束的事件相机图像重建方法及***
Zhang et al. Every moment matters: Detail-aware networks to bring a blurry image alive
CN114757862B (zh) 用于红外光场设备的图像增强渐进式融合方法
CN111008939B (zh) 一种基于可控特征空间的神经网络视频去模糊方法
CN114694261A (zh) 一种基于多级监督图卷积的视频三维人体姿态估计方法及***
CN113888426A (zh) 一种基于深度可分离残差网络的电力监控视频去模糊方法
Liu et al. Application of Ghost-DeblurGAN to fiducial marker detection
Shen et al. Spatial temporal video enhancement using alternating exposures
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN117635649A (zh) 一种滑坡监测方法及***
Shen et al. Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
Liu et al. Motion-oriented hybrid spiking neural networks for event-based motion deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200414

Assignee: Wenzhou Sandi Technology Co.,Ltd.

Assignor: Wenzhou University

Contract record no.: X2022330000786

Denomination of invention: A neural network video deblurring method based on controllable feature space

Granted publication date: 20220405

License type: Common License

Record date: 20221216

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200414

Assignee: Wenzhou Shuwanlian Information Technology Co.,Ltd.

Assignor: Wenzhou University

Contract record no.: X2023330000806

Denomination of invention: A neural network video deblurring method based on controllable feature space

Granted publication date: 20220405

License type: Common License

Record date: 20231030

EE01 Entry into force of recordation of patent licensing contract