CN112465730A - 一种运动视频去模糊的方法 - Google Patents
一种运动视频去模糊的方法 Download PDFInfo
- Publication number
- CN112465730A CN112465730A CN202011507053.4A CN202011507053A CN112465730A CN 112465730 A CN112465730 A CN 112465730A CN 202011507053 A CN202011507053 A CN 202011507053A CN 112465730 A CN112465730 A CN 112465730A
- Authority
- CN
- China
- Prior art keywords
- video
- deblurring
- module
- image
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 title claims abstract description 20
- 238000011084 recovery Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种运动视频去模糊的方法，包括构建视频去模糊模型；获取原视频序列，利用视频去模糊中的DSMAP‑GAN网络对输入的模糊视频图像帧进行预处理，得到一个初步去模糊处理的视频图像帧；将已得到的视频图像帧输入到光流估计模块进行光流估计，再通过时间锐度先验模块得到时间锐度先验信息，最后将上述内容输入到图像隐藏帧恢复网络模块中进行处理，最终输出清晰的视频图像帧，并将其合成流畅的清晰视频。从而能解决现有技术所存在的问题。
Description
技术领域
本发明涉及视频图像处理技术领域，主要涉及一种运动视频去模糊的方法。
背景技术
随着移动互联网的快速发展，海量的视频数据随之产生。当代人们获取的大部分信息都是通过人眼视觉***所得到的，而图像和视频作为主要的视觉信息，逐渐成为了人们日常生活中必不可少的组成部分。
然而，在视频的实际拍摄过程中，由于所拍摄目标的运动以及拍摄设备不可避免的抖动，都会使得所拍摄的视频存在一定的模糊。与此同时，在视频的传输存储过程中，视频图像的格式改变以及存储介质的性质改变都可能引起视频图像失真模糊。这时，视频质量的改变将会在安防领域、自动驾驶***、医学影像分析、遥感图像等领域内产生严重影响。因此，为了获取到质量更好的视频图像并将其应用到更充分的应用领域内，视频去模糊是必不可少的前期工作。
对于运动视频去模糊是计算机视觉中的基本问题，模糊视频处理主要分为三大类：（1）视频图像的非盲运动去模糊，最早提出的去模糊方法是逆滤波去卷积方法，随着研究的不断深入，由Donatelli等人将偏微分方程理论应用于视频图像的恢复处理。（2）视频图像的盲运动去模糊，最早由Fergus等人基于研究对比运动模糊退化的视频图像，以及原始清晰的视频图像各自的梯度分布，提出的一种基于分布统计模型的盲运动去模糊算法。（3）基于视频的运动去模糊，由Takeda等人针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频进行去模糊处理。
目前，视频图像的去模糊方法大都是将多帧图像一起送入卷积神经网络模型，使用2D卷积核来提取单帧图像，使用重构损失函数作为监督，来对模糊的视频进行多次优化处理，达到去模糊的效果，然而这些方法过于依赖卷积神经网络，导致视频去模糊的时效性不佳，同时去模糊模型在实际应用中出现很多制约。此外，上述方法往往过于注重输入帧序列之间的时序联系，而忽视了生成的视频中帧与帧的连续性，导致恢复出来的视频出现一定的不连续性。
我们注意到，这些算法在视频去模糊方面的成功主要是对大容量模型的使用。与这些方法不同的是，我们探索了简单而成熟的原理，使去模糊模型更紧凑，而不仅仅是扩大网络模型的容量来进行视频去模糊。
发明内容
针对现有技术存在的不足，本发明提供一种运动去模糊的方法，目的在于消除拍摄设备摄像过程中模糊视频图像的模糊像素。该方法首先使用DSMAP-GAN网络对输入的模糊视频图像帧进行预处理，得到一个初步去模糊处理的视频图像帧；将已得到的视频图像帧输入到光流估计模块进行光流估计，再通过时间锐度先验模块得到时间锐度先验信息，最后将上述内容输入到图像隐藏帧恢复网络模块中进行处理，最终输出清晰的视频图像帧，并将其合成流畅的清晰视频。从而解决现有技术所存在的问题。
为实现上述目的，本发明提供了如下技术方案：一种运动视频去模糊的方法，包括以下步骤。
S1、构建视频去模糊模型；其中去模糊模型包括DSMAP-GAN网络预处理模块、光流估计模块、时间锐度模块和恢复网络模块。
S2、获取原始视频序列，将模糊视频每一帧分为一个模糊图像。然后输入到DSMAP-GAN模块中进行预处理达到初步去模糊。
S3、DSMAP-GAN模块训练过程是将模糊视频图像帧序列定为训练集A，清晰视频图像帧序列定为训练集B，然后输入到DSMAP-GAN网络中进行对抗训练得到最优的网络模型。
S4、将步骤2中生成的多张连续的初步去模糊图像帧输入到后续去模糊模块中去。
S5、在后续去模糊模块中，首先利用光流估计模块进行光流估计。
S6、将步骤2生成的初步去模糊图像帧输入到时间锐度先验模块上，得到时间锐度先验信息。
S7、将经过上述步骤处理后的图像帧序列和光流信息以及时间锐度信息一起输入到恢复网络模块上，恢复网络是一个编码器-解码器构造，经过它的进一步处理，最终得到更清晰的图像。
S8、将经步骤7处理后的图像帧序列合成流畅的清晰视频，然后将去模糊的运动视频结果进行可视化。
与现有技术相比，本发明具有如下有益效果。
1. 与现有技术相比，本发明使用光流估计模块，模型借助于该模块可以为后面的恢复网路提供更精确的运动光流信息，有助于视频去模糊。
与现有技术相比，本发明使用时间锐度先验模块，利用该模块模型可以提取相邻视频帧之间清晰的像素信息，有助于隐藏帧恢复网络对隐藏帧进行恢复。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明的操作原理框图。
图2为本发明的DSMAP-GAN的网络流程图。
图3为本发明的去模糊模块中恢复网络结构图。
具体实施方式
本发明提供了一种运动视频去模糊方法，用于提高运动视频去模糊的效果。
为了使发明的目的、特征和优点更加清晰，下面结合附图和具体实施方案，对本发明进一步的详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1到图3，首先将视频采集设备所采集到的由于目标运动所产生的模糊视频传输到DSMAP-GAN视频图像预处理模块组，在这里进行视频图像预处理，然后将预处理后的视频图像输入到视频图像去模糊模块组，最终将清晰的去模糊视频图像在显示终端进行可视化输出。
在视频图像去模糊模块组内部，由光流估计模块，时间锐度先验模块，隐藏帧恢复模块组成。
具体实施步骤如下。
S1、首先将模糊视频序列处理为一帧帧的视频图像序列，然后将视频图像序列输入到DSMAP-GAN视频图像预处理模块进行初步去模糊。
S2、在DSMAP-GAN模型上，将模糊视频帧序列A经过最优网络模型处理，生成初步去模糊视频图像帧A1，此时由于模型的鲁棒性很高，生成的初步去模糊视频图像帧A1清晰度已介于模糊视频与清晰视频之间，但是此时的去模糊图像帧A1不足以满足实际的应用需求，同时图像还可以进一步进行去模糊处理来达到更高质量的效果。
S3、将步骤S2中所生成的初步去模糊视频图像帧A1输入到视频图像去模糊模块组内。
S4、在视频图像去模糊模块组中，首先利用光流估计模块进行光流估计，光流估计模块主要为潜在帧的恢复提供运动信息。在给定的两帧图像中，下一帧图像和上一帧图像中每一个点有什么不同，而且不同点移动到了什么位置，从而估计的光流为图像恢复提供运动信息，利用估计的光流，我们可以根据现有的方法（Tae Hyun Kim和Kyung Mu Lee）使用变分模型来恢复潜在帧。
S5、将S2生成的初步去模糊视频序列帧输入到时间锐度先验模块上，时间锐度先验模块主要的作用是探索出相邻帧中清晰的像素信息，帮助后面的恢复网络进行隐藏帧的恢复。
S6、将S2处理的初步去模糊视频序列帧、光流估计信息以及时间锐度先验信息一起输入到隐藏帧恢复模块上。首先把输入图像以在不同比例下采样得到的一系列模糊图像作为输入，编码器模块包含几个阶段的卷积层，解码器模块是使用一系列解卷积层来调整大小，然后在编码器-解码器模块先通过编码器逐步将输入数据转换成具有较小空间尺寸和较多通道的特征映射，再利用解码器将其转换回输入状态；在递归模块，在隐藏状态的瓶颈层中***卷积层以连接连续的尺度；最后对每个卷积层使用不同尺寸的卷积核；从而产生一系列更清晰的图像。
S7、最后将处理好的图像合成为视频，然后将去模糊清晰化视频结果进行可视化输出。
上述实施例为本发明的一种实施方式，但本发明的实施方式不限定于此，从事该技术人员在未背离本发明精神和原则下所做的非本质的任何修改、替换、改进，均包含在发明的保护范围。
Claims (4)
1.一种运动视频去模糊方法，其特征在于，该方法采用模糊图像预处理模块和去模糊模块对模糊视频进行去模糊处理。
2.根据权利要求1所述的一种运动视频去模糊方法，其特征在于，所述的模糊图像预处理模块采用了DSMP-GAN网络结构。
3.根据权利要求1所述的一种运动视频去模糊方法，其特征在于，所述的视频去模糊模块采用了光流估计和时间锐度先验方法以及恢复网络处理。
4.根据权利要求1、2、3所述的一种运动视频去模糊方法，其特征在于，具体包括以下步骤；
S1、将视频图像以每秒n帧的速率分为图片传输给视频去模糊预处理模块；
S2、将模糊的图像帧在DSMP-GAN进行预处理，生成网络结构；
S3、将经DSMP-GAN生成网络结构处理后的图像输入到去模糊模块中；
S4、将去模糊中的图像经过光流估计和时间锐度先验方法以及恢复网络的处理，得到一张较清晰的图像；
S5、最后将处理好的图像按照正确的序列顺序合成为视频，然后将去模糊清晰化视频结果进行可视化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507053.4A CN112465730A (zh) | 2020-12-18 | 2020-12-18 | 一种运动视频去模糊的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507053.4A CN112465730A (zh) | 2020-12-18 | 2020-12-18 | 一种运动视频去模糊的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465730A true CN112465730A (zh) | 2021-03-09 |
Family
ID=74803650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507053.4A Pending CN112465730A (zh) | 2020-12-18 | 2020-12-18 | 一种运动视频去模糊的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465730A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100329582A1 (en) * | 2009-06-29 | 2010-12-30 | Tessera Technologies Ireland Limited | Adaptive PSF Estimation Technique Using a Sharp Preview and a Blurred Image |
| US20110090352A1 (en) * | 2009-10-16 | 2011-04-21 | Sen Wang | Image deblurring using a spatial image prior |
| US8411980B1 (en) * | 2010-11-12 | 2013-04-02 | Adobe Systems Incorporated | Removing motion blur from unaligned multiple blurred images |
| WO2016193393A1 (en) * | 2015-06-05 | 2016-12-08 | Université Du Luxembourg | Real-time temporal filtering and super-resolution of depth image sequences |
| CN108734677A (zh) * | 2018-05-21 | 2018-11-02 | 南京大学 | 一种基于深度学习的盲去模糊方法及*** |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及*** |
| CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种视频去模糊方法和装置 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111199521A (zh) * | 2019-12-10 | 2020-05-26 | 南京理工大学 | 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 |
| CN111428575A (zh) * | 2020-03-02 | 2020-07-17 | 武汉大学 | 一种基于孪生网络的针对模糊目标的跟踪方法 |
| CN111612711A (zh) * | 2019-05-31 | 2020-09-01 | 北京理工大学 | 一种基于生成对抗网络改进的图片去模糊方法 |
| CN111695421A (zh) * | 2020-04-30 | 2020-09-22 | 北京迈格威科技有限公司 | 图像识别方法、装置及电子设备 |
| CN111986102A (zh) * | 2020-07-15 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像去模糊方法 |
-
2020
- 2020-12-18 CN CN202011507053.4A patent/CN112465730A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100329582A1 (en) * | 2009-06-29 | 2010-12-30 | Tessera Technologies Ireland Limited | Adaptive PSF Estimation Technique Using a Sharp Preview and a Blurred Image |
| US20110090352A1 (en) * | 2009-10-16 | 2011-04-21 | Sen Wang | Image deblurring using a spatial image prior |
| US8411980B1 (en) * | 2010-11-12 | 2013-04-02 | Adobe Systems Incorporated | Removing motion blur from unaligned multiple blurred images |
| WO2016193393A1 (en) * | 2015-06-05 | 2016-12-08 | Université Du Luxembourg | Real-time temporal filtering and super-resolution of depth image sequences |
| CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种视频去模糊方法和装置 |
| US20200372618A1 (en) * | 2018-05-09 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Video deblurring method and apparatus, storage medium, and electronic apparatus |
| CN108734677A (zh) * | 2018-05-21 | 2018-11-02 | 南京大学 | 一种基于深度学习的盲去模糊方法及*** |
| CN111612711A (zh) * | 2019-05-31 | 2020-09-01 | 北京理工大学 | 一种基于生成对抗网络改进的图片去模糊方法 |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及*** |
| CN111199521A (zh) * | 2019-12-10 | 2020-05-26 | 南京理工大学 | 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111428575A (zh) * | 2020-03-02 | 2020-07-17 | 武汉大学 | 一种基于孪生网络的针对模糊目标的跟踪方法 |
| CN111695421A (zh) * | 2020-04-30 | 2020-09-22 | 北京迈格威科技有限公司 | 图像识别方法、装置及电子设备 |
| CN111986102A (zh) * | 2020-07-15 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像去模糊方法 |
Non-Patent Citations (3)
| Title |
|---|
| JINSHAN PAN, HAORAN BAI, JINHUI TANG等: ""Cascaded_Deep_Video_Deblurring_Using_Temporal_Sharpness_Prior"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| X. TAO, H. GAO, X. SHEN, J. WANG AND J. JIA: "\"Scale-Recurrent Network for Deep Image Deblurring\"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 王晓红,卢辉,黄中秋等: ""基于颜色空间变换和CNN的自适应去模糊方法"", 《包装工程》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928792B2 (en) | Fusion network-based method for image super-resolution and non-uniform motion deblurring | |
| Zhao et al. | Spk2imgnet: Learning to reconstruct dynamic scene from continuous spike stream | |
| CN111539884A (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
| CN111861902A (zh) | 基于深度学习的Raw域视频去噪方法 | |
| CN110852961A (zh) | 一种基于卷积神经网络的实时视频去噪方法及*** | |
| CN114463218B (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN114245007B (zh) | 一种高帧率视频合成方法、装置、设备和存储介质 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN111798395B (zh) | 基于tv约束的事件相机图像重建方法及*** | |
| CN113949808A (zh) | 视频生成方法、装置、可读介质及电子设备 | |
| CN113034404A (zh) | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| Shen et al. | Spatial temporal video enhancement using alternating exposures | |
| CN117635649A (zh) | 一种滑坡监测方法及*** | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| CN112435165A (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
| CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
| CN111626944A (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| CN112465730A (zh) | 一种运动视频去模糊的方法 | |
| CN114612305A (zh) | 一种基于立体图建模的事件驱动视频超分辨率方法 | |
| CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| CN111008939B (zh) | 一种基于可控特征空间的神经网络视频去模糊方法 | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210309 |