CN112200732A - 一种清晰特征融合的视频去模糊方法 - Google Patents
一种清晰特征融合的视频去模糊方法 Download PDFInfo
- Publication number
- CN112200732A CN112200732A CN202010368483.6A CN202010368483A CN112200732A CN 112200732 A CN112200732 A CN 112200732A CN 202010368483 A CN202010368483 A CN 202010368483A CN 112200732 A CN112200732 A CN 112200732A
- Authority
- CN
- China
- Prior art keywords
- clear
- feature
- deblurring
- frames
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种清晰特征融合的视频去模糊方法。首先选取连续的多个模糊视频帧,使用光流估计的网络估计出连续帧之间的光流,并通过估计出来的光流对相邻帧进行图像扭转,然后将扭转后的结果和原始模糊帧序列作为去模糊网络的输入,再然后选取多个清晰帧通过一个清晰特征提取模块,得到清晰特征并融入去模糊的网络,最后去模糊网络输出相对清晰的视频帧。该方法对清晰帧的场景鲁棒、任意场景的清晰帧都可以用来做特征融合并有助于视频帧的重建,方便有效。
Description
技术领域
本发明涉及端到端的视频去模糊网络,具体是一种基于清晰特征融合的视频去模糊算法。
背景技术
近年来,随着便携式成像设备,如手机,相机的发展,图像/视频去模糊技术受到了更多的关注。模糊的形成原因有很多,其中包括成像过程中物体的运动,相机的抖动以及景深,这给计算机视觉的研究 (目标检测,物体识别)带来了很多阻力。因此,进行去模糊算法的研究是非常有必要的。
目前去模糊算法主要分成两类,一类是基于物理模型的方法,另一类是基于学习的方法。早期,根据退化模型(B=K*S+N),其中B表示模糊图像,K表示模糊核,S表示清晰图像,N表示附加噪声。在已知模糊图像B的情况下,求解出模糊核K和清晰图像S非常困难的,会出现多解的情况,所以这是一个病态的问题。为了约束解空间,人们设计一些自然图像的先验,包括L0梯度先验,暗通道先验等来约束自然图像,并在最大后验框架下进行求解。但是,该方法基于物理模型优化困难,耗时,没有通用性,需要人为设计的先验信息进行约束。
另外一种基于学习的方法是现如今比较流行的方法。人们通过设计合理的神经网络,从数据集中学习自然图像的内在分布,最终达到去模糊的目的。
本发明提出了一种端到端的视频去模糊的网络,不同于图像去模 糊,视频去模糊需要考虑相邻帧之间的关系。
发明内容
本发明目的在于提供一个端到端的基于清晰特征融合的视频去模糊算法,输入多张连续的模糊视频帧,恢复出清晰的中间帧。
实现本发明目的的技术解决方案为:一种基于清晰特征融合的视频去模糊算法该方法,包括以下步骤:
步骤A:设计光流估计模块,将连续模糊的三帧输入该模块,输出的是两张邻帧进行图像扭转(image warp)后的结果;
步骤B:设计清晰特征融合模块,将任意清晰的三帧输入该模块,输出不同尺度的清晰特征图;
步骤C:设计去模糊模块,将步骤A的结果和原始输入堆叠后送入该模块,并将步骤B的结果融入整个去模糊的过程,最终就可以得到清晰的的中间帧。
本发明与现有技术相比,其显著优点为:本发明分别从运动补偿和图像去模糊两个方面同时考虑。本发明对清晰帧的场景鲁棒,任意场景的清晰帧都可以用来做特征融合并有助于视频帧的重建,方便有效。
附图说明
图1是本发明的整体流程图。
图2是本发明所设计的网络结构图。
图3是本发明的去模糊效果对比图。(a)是模糊视频帧,(b) 是重建结果。
具体实施方式
下面结合说明书附图对本发明作进一步说明。
由图2所示,整个网络包括3个模块,分别为光流估计模块,清晰特征融合模块和去模糊模块。
根据图1的第一个板块,数据准备的步骤如下:
步骤1.下载GOPRO_Su的数据集作为训练样本,其中包括71个视频集,每个视频里面有多个成对的模糊-清晰的视频帧;
步骤2.将71个视频分为两个部分,其中61个视频作为训练样本,10个视频作为测试样本。
根据图1的第二个板块,光流估计模块的步骤如下:
步骤1.预先设定好训练参数,包括光流估计模块的学习率1e-6,去模糊模块的学习率1e-4,最大迭代epoch=500;
步骤2.选取连续的三张模糊图像{I1,I2,I3},通过FlowNetS估计出相邻两帧之间的光流{f1→2,f3→2},分别得到两张2通道的光流图,将光流与邻帧做图像扭转(image warp)的操作,将邻帧扭转到中间帧最终得到两张3通道的RGB图像{warp1→2,warp3→2}。该过程可描述如下:
f1→2=F([I1,I2]),f3→2=F([I3,I2]),
warp1→2=W([f1→2,I1]),warp3→2=W([f3→2,I3]);
其中F()表示光流估计网络,[]表示图像concat的操作,W()表示warp 操作。
根据图1的第三个板块,清晰特征融合模块的步骤如下:
选取三张清晰图像{S1,S2,S3},这三张图像应该与之前模糊图像的内容是不同的,将这三张清晰图像通过一个特征提取模块,该特征提取模块分别由两层卷积组成,最终分别得到32张256×256的特征图 {feature_coarse}和64张64×64的特征图{feature_fine}。该过程可描述如下:
Feature_coarse,feature_fine=E([S1,S2,S3])
其中E()表示特征提取网络,[]表示图像concat的操作。
根据图1的第四个板块,去模糊模块的步骤如下:
步骤1.将光流估计模块中得到的warp后的结果{warp1→2,warp3→2} 和原始模糊视频帧{I1,I2,I3}一同送入去模糊模块;
步骤2.去模糊模块是一个编解码的结构,每一个编码块由1层卷积外加三个残差块,每一个解码块由三个残差块外加一个反卷积。在去模糊的过程中,将清晰特征融合模块得到的清晰特征图{feature_coarse,feature_fine}嵌入到去模糊模块中的编码器和解码器部分,最终得到一张与I2对应的清晰图像R2。通过计算生成的清晰图像R2与原始I2的参考清晰图像G2的误差来更新整个网络。该过程可描述如下:
input=[warp1→2,I1,I2,I3,warp3→2],
En_out=En(input,feature_coarse,feature_fine),
De_out=De(En_out,feature_coarse,feature_fine);
其中En()表示编码器部分,De()表示解码器部分。
步骤3.按照以上的步骤进行训练,直至训练到最大迭代数,至此生成模型就训练完成。
根据图1的第五个板块,测试步骤如下:
步骤1.将数据准备部分所得到10个视频的测试样本输入到训练好的模型中;
步骤2.关于清晰帧的选取,可以是任意的不同于模糊场景的清晰帧,同样的也输入到训练好的模型中,最终得到清晰的图像。图3 是本发明的视觉效果图。
Claims (4)
1.一种清晰特征融合的视频去模糊方法,具体步骤包含如下
步骤A:设计光流估计模块,将连续模糊的三帧输入该模块,输出的是两张邻帧进行图像扭转image warp后的结果;
步骤B:设计清晰特征融合模块,将任意清晰的三帧输入该模块,输出不同尺度的清晰特征图;
步骤C:设计去模糊模块,将步骤A的结果和原始输入堆叠后送入该模块,并将步骤B的结果融入整个去模糊的过程,最终就可以得到清晰的的中间帧。
2.根据权利要求1所描述的方法,其中步骤A具体包括如下步骤:
步骤A01.预先设定好训练参数,包括光流估计模块的学习率1e-6,去模糊模块的学习率1e-4,最大迭代epoch=500;
步骤A02.选取连续的三张模糊图像{I1,I2,I3},通过FlowNetS估计出相邻两帧之间的光流{flow1→2,flow3→2},分别得到两张2通道的光流图,将光流与邻帧做图像扭转(imagewarp)的操作,将邻帧扭转到中间帧最终得到两张3通道的RGB图像{warp1→2,warp3→2}。
3.根据权利要求1所描述的方法,其中步骤B具体包括如下步骤:
步骤B01.选取三张清晰图像{S1,S2,S3},这三张图像应该与步骤A02中模糊图像的内容是不同的,将这三张清晰图像通过一个特征提取模块,分别得到32张256×256的特征图{feature_coarse}和64张64×64的特征图{feature_fine}。
4.根据权利要求1所描述的方法,其中步骤C具体包括如下步骤:
步骤C01.将步骤A02得到的warp后的结果{warp1→2,warp3→2}和原始模糊视频帧{I1,I2,I3}一同送入去模糊模块;在去模糊的过程中,将步骤B01得到的清晰特征图{feature_coarse,feature_fine}嵌入到去模糊模块之中,最终得到一张与I2对应的清晰图像R2;通过计算生成的清晰图像R2与原始I2的参考清晰图像G2的误差来更新整个网络;
步骤C02.按照以上的步骤进行训练,直至训练到最大迭代数,至此生成模型就训练完成;
步骤C03.模型训练完成后,输入三张连续的模糊视频帧,并选取任意场景的清晰帧来进行清晰特征提取,最终得到清晰的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010368483.6A CN112200732B (zh) | 2020-04-30 | 2020-04-30 | 一种清晰特征融合的视频去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010368483.6A CN112200732B (zh) | 2020-04-30 | 2020-04-30 | 一种清晰特征融合的视频去模糊方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200732A true CN112200732A (zh) | 2021-01-08 |
CN112200732B CN112200732B (zh) | 2022-10-21 |
Family
ID=74005893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010368483.6A Active CN112200732B (zh) | 2020-04-30 | 2020-04-30 | 一种清晰特征融合的视频去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200732B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767250A (zh) * | 2021-01-19 | 2021-05-07 | 南京理工大学 | 一种基于自监督学习的视频盲超分辨率重建方法及*** |
CN114066751A (zh) * | 2021-10-29 | 2022-02-18 | 西北工业大学 | 基于普通摄像头采集条件下的车卡监控视频去模糊方法 |
CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
WO2023193521A1 (zh) * | 2022-04-06 | 2023-10-12 | 腾讯科技(深圳)有限公司 | 一种视频修复的方法、相关装置、设备以及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914810A (zh) * | 2013-01-07 | 2014-07-09 | 通用汽车环球科技运作有限责任公司 | 用于动态后视镜的图像超分辨率 |
CN109461131A (zh) * | 2018-11-20 | 2019-03-12 | 中山大学深圳研究院 | 一种基于神经网络算法的智能内后视镜实时去模糊方法 |
CN110062164A (zh) * | 2019-04-22 | 2019-07-26 | 深圳市商汤科技有限公司 | 视频图像处理方法及装置 |
-
2020
- 2020-04-30 CN CN202010368483.6A patent/CN112200732B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914810A (zh) * | 2013-01-07 | 2014-07-09 | 通用汽车环球科技运作有限责任公司 | 用于动态后视镜的图像超分辨率 |
CN109461131A (zh) * | 2018-11-20 | 2019-03-12 | 中山大学深圳研究院 | 一种基于神经网络算法的智能内后视镜实时去模糊方法 |
CN110062164A (zh) * | 2019-04-22 | 2019-07-26 | 深圳市商汤科技有限公司 | 视频图像处理方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767250A (zh) * | 2021-01-19 | 2021-05-07 | 南京理工大学 | 一种基于自监督学习的视频盲超分辨率重建方法及*** |
CN112767250B (zh) * | 2021-01-19 | 2021-10-15 | 南京理工大学 | 一种基于自监督学习的视频盲超分辨率重建方法及*** |
CN114066751A (zh) * | 2021-10-29 | 2022-02-18 | 西北工业大学 | 基于普通摄像头采集条件下的车卡监控视频去模糊方法 |
CN114066751B (zh) * | 2021-10-29 | 2024-02-27 | 西北工业大学 | 基于普通摄像头采集条件下的车卡监控视频去模糊方法 |
CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
WO2023193521A1 (zh) * | 2022-04-06 | 2023-10-12 | 腾讯科技(深圳)有限公司 | 一种视频修复的方法、相关装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112200732B (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200732B (zh) | 一种清晰特征融合的视频去模糊方法 | |
US20210166350A1 (en) | Fusion network-based method for image super-resolution and non-uniform motion deblurring | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
CN110933429B (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
CN112419151B (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
CN112233038A (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
CN111539884A (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
Guo et al. | Dense123'color enhancement dehazing network | |
CN113066022B (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
CN112990171B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
CN116485741A (zh) | 一种无参考图像质量评价方法、***、电子设备及存储介质 | |
CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
CN117745596A (zh) | 一种基于跨模态融合的水下去遮挡方法 | |
CN111524060B (zh) | 一种实时人像背景虚化的***、方法、存储介质和设备 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN111932594A (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
CN116883265A (zh) | 一种基于增强特征融合机制的图像去模糊方法 | |
CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及*** | |
CN115829868A (zh) | 基于光照与噪声残差图的水下暗光图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Xiang Xinguang Inventor after: Wei Hao Inventor after: Pan Jinshan Inventor before: Wei Hao Inventor before: Xiang Xinguang Inventor before: Pan Jinshan |
|
GR01 | Patent grant | ||
GR01 | Patent grant |