CN108961186B - 一种基于深度学习的老旧影片修复重制方法 - Google Patents
一种基于深度学习的老旧影片修复重制方法 Download PDFInfo
- Publication number
- CN108961186B CN108961186B CN201810699895.0A CN201810699895A CN108961186B CN 108961186 B CN108961186 B CN 108961186B CN 201810699895 A CN201810699895 A CN 201810699895A CN 108961186 B CN108961186 B CN 108961186B
- Authority
- CN
- China
- Prior art keywords
- network
- training
- data set
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000003780 insertion Methods 0.000 claims abstract description 11
- 230000037431 insertion Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 64
- 238000000605 extraction Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008439 repair process Effects 0.000 abstract description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习的老旧影片修复重制方法,其包括以下步骤:步骤1:将视频通过ffmpeg抽帧,并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集;步骤2:训练去隔行扫描网络模型;步骤3:训练视频插帧网络模型;步骤4:训练去模糊网络;步骤5:训练超分辨率网络;步骤6:训练去噪网络。本发明基于深度学习对老旧影片分别应用去隔行扫描,视频去噪,视频去模糊,视频插帧和超分辨率技术对其进行修复,与人工手动相比,稳定性更高,提高了运算速度,提高了图像复原的精确度。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
Description
技术领域
本发明涉及深度学习和计算机视觉,尤其涉及一种基于深度学习的老旧影片修复重制方法。
背景技术
影片文化遗产是一个国家和民族的珍贵记忆,是未来非物质文化遗产的重要组成部分,是近现代中华民族文化走出去的优良载体。对传统的红***、反映中国近现代拼搏奋斗的正能量精神的电影来说,能够利用现代技术加以复原并呈现的更加丰满。但由于过去拍摄技术限制,大量老旧影片已无法满足人们对高清视觉的观看需求。
我国需要修复的电影胶片数量庞大,现存的胶片电影光故事片就有二三万部,而如今每年仅可修复约60部老电影胶片。按照目前全国的修复速度,将会有不少拷贝在修复之前“死去”,目前国家已重视到情况的严重性,正大力支持和提倡老电影修复产业,但是有能力进行精致修复的经典影片仅有200部。为了对年代久远、损伤严重的影片进行较好的修复,需要通过图像重构技术等,“制造”出画面上已经消失的细节信息以及对影像去模糊超分辨率等处理翻新。人工精修,基本上一个工作人员一天只能完成100到200帧的画面修复,一部90分钟的电影,大约有12万9600帧画面。如果要一帧一帧地精细修复,一部电影起码要用几个月的时间,成本也在百万级。
发明内容
本发明的目的在于提供一种基于深度学习的老旧影片修复重制方法。
本发明采用的技术方案是:
一种基于深度学习的老旧影片修复重制方法,其包括以下步骤:
步骤1:将视频通过ffmpeg抽帧,并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集;
步骤2.1:去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块;去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成,并且每个卷积层后都有ReLU作为激活函数,ReLU函数公式如下所示:
f(x)=max(0,x);
步骤2.2:使用MSE-1函数作为训练去隔行扫描网络模型的损失函数,MSE-1函数如下所示:
步骤3:训练视频插帧网络模型,输入连续三张视频帧It-1、It、It+1,分别表示前一帧、当前帧和后一帧,得到当前帧It的预测结果It′,即为插帧网络的输出;
步骤3.1:视频插帧网络模型的非线性映射模块采取U-Net的网络结构,U-Net的网络结构包括编码模块和解码模块;编码模块包括串联卷积层和一个平均池化层;平均池化层的作用是对输出的特征图进行下采样,通过除去特征图中不重要的样本进一步减少参数量;解码模块依次包含串联卷积层和上采样层;
步骤3.2:使用MSE-2函数作为视频插帧网络中训练的损失函数,MSE-2函数如下所示:
其中,MSE-2表示损失函数,It为训练的输入目标图像块,It′为训练的网络输出的预测图像块;
步骤4:训练去模糊网络;
步骤4.3:使用MSE-3函数作为去模糊网络的损失函数,MSE-3函数如下所示:
步骤5:训练超分辨率网络
步骤5.3:使用Charbonnier函数作为超分辨率网络的损失函数;
步骤6:训练去噪网络,选用NTIRE2018所提供的数据集来进行训练;
步骤6.1:对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出,
步骤6.2:使用Charbonnier函数作为去噪网络的损失函数。
进一步地,步骤1具体包括以下步骤:
步骤1.1:形成去隔行扫描模型的训练数据集:
步骤1.1.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集,原始图像作为训练目标;
步骤1.1.3:随机打乱配对集中的子图像块的顺序,得到去隔行扫描模型的训练数据集;
步骤1.2:形成视频插帧模型的训练数据集:
步骤1.2.1:将视频通过ffmpeg抽帧得到每一帧图像作为训练数据,每次取连续的三帧图像为一组训练视频帧对,其中每组的第二帧作为训练网络的目标,
步骤1.2.2:对每组图像按d×d大小截取子图像块It-1,It,It+1形成若干个子图像块的配对集{It-1,It,It+1};
步骤1.2.3:随机打乱配对集中的子图像块的顺序,得到视频插帧模型的训练数据集;
步骤1.3:形成去模糊网络的训练数据集:
步骤1.3.1:根据图像模糊公式:
b(x,y)=(k×I)×(x,y)+G(x,y)
其中b、I、k分别表示为模糊图片、原图、模糊核,G代表噪声;模糊核k大小的宽和高分别从(0,5)中随机取值,高斯白噪声方差G,从(0,100)内随机取值,使得每一个高清视频都有对应的不同程度模糊的视频;
步骤1.3.2:分别对高清视频和模糊视频进行抽帧,得到高清数据集和对应的模糊数据集;
步骤1.3.4:随机打乱配对集中的子图像块的顺序,得到模糊网络的训练数据集;
步骤1.4:形成超分辨率模型的训练数据集:
步骤1.4.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧进行下采样形成低分辨率视频帧,原始高分辨率视频帧作为训练目标;
步骤1.4.3:随机打乱配对集中的子图像块的顺序,得到超分辨率模型的训练数据集;
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤4.1提取Y通道数据的具体步骤为:
步骤4.1.1:图像块的像素值是在[0,255]范围内,将图像块中的每个像素值除以255,使得每个像素值介于[0,1]之间,得到归一化后的图像;
步骤4.1.2:取归一化后的RGB图像块,将其转换为YCbcCr格式,根据公式
Y=(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb=(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr=(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离,得到Y通道数据。
进一步地,步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层,通过学习得到底层特征F1;
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作;
进一步地,步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作;跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加,即:
F2k+1=(W2k+1*Fk+b2k+1)+F2k-1
式中,k代表残差块序号,Fk代表残差块中第一个卷积层和非线性激活层的输出,W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置,F2k-1代表残差块的输入。
进一步地,步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块,且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层;深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆;
每个深度记忆模块的具体操作为:
步骤S1:每个深度记忆模块先提取特征,该特征记为f1,并通过三层卷积操作,并与特征f1相加,该操作的输出记为r1,
步骤S2:提特征f1经过四层卷积的密集连接,该操作的输出记为d1,
然后将r1,d1与特征f1进行连接操作,此时的输出特征记为f2;
步骤S3:特征f2通过两层卷积操作,并与特征f2相加,该操作的输出记为r2;同时,特征f2经过四层卷积的密集连接,该操作的输出记为b2;
步骤S4:将r2,b2和特征f2进行连接操作。
进一步地,步骤5.2中重建阶段的重建层是反卷积层,反卷积层将前一层网络的输出进行上采样,使输出的超分辨率图像与训练目标大小相等。
进一步地,步骤5.3和步骤6.2中的Charbonnier函数如下所示:
本发明采用以上技术方案,基于深度学习对老旧影片分别应用去隔行扫描,视频去噪,视频去模糊,视频插帧和超分辨率技术对其进行修复,与人工手动相比,稳定性更高,提高了运算速度,同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题,提高了图像复原的精确度,增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明一种基于深度学习的老旧影片修复重制方法的流程示意图;
图2为本发明一种基于深度学习的老旧影片修复重制方法的超分辨率的网络结构图;
图3为本发明一种基于深度学习的老旧影片修复重制方法的深度记忆模块结构图。
具体实施方式
如图1-3之一所示,本发明提出了一种基于深度学习的老旧影片修复重制方法,该修复过程主要包括去隔行扫描,视频去噪,视频去模糊,视频插帧和超分辨率技术,其具体流程如图1所示。本发明中所有卷积层均使用大小为3×3的卷积核,其具体步骤如下:
步骤1:将视频通过ffmpeg抽帧,并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集;
步骤1.1:形成去隔行扫描模型(model1)的训练数据集:
步骤1.1.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集,原始图像作为训练目标;
步骤1.1.3:随机打乱配对集中的子图像块的顺序,得到去隔行扫描模型(model1)的训练数据集;
步骤1.2:形成视频插帧模型(model2)的训练数据集:
步骤1.2.1:将视频通过ffmpeg抽帧得到每一帧图像作为训练数据,每次取连续的三帧图像为一组训练视频帧对,其中每组的第二帧作为训练网络的目标,
步骤1.2.2:对每组图像按d×d大小截取子图像块It-1,It,It+1形成若干个子图像块的配对集{It-1,It,It+1};
步骤1.2.3:随机打乱配对集中的子图像块的顺序,得到视频插帧模型(model2)的训练数据集;
步骤1.3:形成去模糊网络(model3)的训练数据集:
步骤1.3.1:根据图像模糊公式:
b(x,y)=(k×I)×(x,y)+G(x,y)
其中b、I、k分别表示为模糊图片、原图、模糊核,G代表噪声;模糊核k大小的宽和高分别从(0,5)中随机取值,高斯白噪声方差G,从(0,100)内随机取值,使得每一个高清视频都有对应的不同程度模糊的视频;
步骤1.3.2:分别对高清视频和模糊视频进行抽帧,得到高清数据集和对应的模糊数据集;
步骤1.3.4:随机打乱配对集中的子图像块的顺序,得到模糊网络(model3)的训练数据集;
步骤1.4:形成超分辨率模型(model4)的训练数据集:
步骤1.4.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧进行下采样形成低分辨率视频帧,原始高分辨率视频帧作为训练目标;
步骤1.4.3:随机打乱配对集中的子图像块的顺序,得到超分辨率模型(model4)的训练数据集;
步骤2:训练去隔行扫描网络模型(model1)
步骤2.1:输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果即为去隔行扫描网络的输出。其中,去隔行扫描网络主要包括特征提取模块,非线性映射模块和重建模块组成。去隔行扫描的特征提取模块和非线性映射模块都是由简单的串联卷积层堆叠而成,并且每个卷积层后都有非线性整流函数(ReLU)作为激活函数,ReLU函数公式如下所示:
f(x)=max(0,x)
步骤2.2:使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数,MSE函数如下所示:
步骤3:训练视频插帧网络模型(model2)。
步骤3.1:输入连续三张视频帧It-1,It,It+1(分别表示前一帧,当前帧和后一帧),得到当前帧It的预测结果It′,即为插帧网络的输出。其中,视频插帧网络模型的非线性映射模块采取与U-Net[1]的网络结构,其编码模块包括串联卷积层和一个平均池化层。平均池化层的作用是对输出的特征图进行下采样,通过除去特征图中不重要的样本进一步减少参数量。其解码模块依次包含串联卷积层和上采样层。
步骤3.2:使用MSE函数作为视频插帧网络中训练目标图像块It和网络输出的预测图像块It′的损失函数,MSE函数如下所示:
步骤4:训练去模糊网络(model3)
进一步地,步骤4.2中的特征提取阶段包含一个卷积层和非线性激活层,通过学习得到底层特征F1;
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作;
进一步地,步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作;跳跃连接操作将该残差卷积块的输入特征F2k-1与该残差卷积块中第二个卷积层的输出特征相加,即:
F2k+1=(W2k+1*Fk+b2k+1)+F2k-1
式中,k代表残差块序号,Fk代表残差块中第一个卷积层和非线性激活层的输出,W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置,F2k-1代表残差块的输入。
进一步地,步骤4.2中的重建阶段的重建层为卷积层,重建得到去模糊后的图像块。
步骤4.3:使用MSE-3函数作为去模糊网络的损失函数,MSE-3函数如下所示:
步骤5:训练超分辨率网络(model4);其中,超分辨率网络分别包括特征提取模块、非线性映射模块和重建模块,其网络结构图如图2所示。
进一步地,步骤5.2中的特征提取阶段包含一个卷积层和非线性激活层,通过学习得到底层特征F1;
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作;
进一步地,步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块,且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层;深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆;
每个深度记忆模块的具体操作为:
步骤S1:每个深度记忆模块先提取特征,该特征记为f1,并通过三层卷积操作,并与特征f1相加,该操作的输出记为r1,
步骤S2:提特征f1经过四层卷积的密集连接(concat),该操作的输出记为d1,
然后将r1,d1与特征f1进行连接操作,此时的输出特征记为f2;
步骤S3:特征f2通过两层卷积操作,并与特征f2相加,该操作的输出记为r2;同时,特征f2经过四层卷积的密集连接,该操作的输出记为b2;
步骤S4:将r2,b2和特征f2进行连接操作。
进一步地,步骤5.2中重建阶段的重建层是反卷积层(deconvolution),反卷积层将前一层网络的输出进行上采样,使输出的超分辨率图像与训练目标大小相等。
步骤5.3:使用Charbonnier函数作为超分辨率网络的损失函数;Charbonnier函数如下所示:
通常情况下,ε设置为0.001,使用Adam优化方法使损失函数最小化。
步骤6:训练去噪网络(model5):
选用NTIRE2018所提供的数据集来进行训练;
步骤6.1:对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出,
进一步地,步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层,通过学习得到底层特征F1;
其中W1和B1为初始卷积层的权重和偏置参数,*代表卷积操作;
进一步地,步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块,且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层;深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆;
每个深度记忆模块的具体操作为:
步骤S1:每个深度记忆模块先提取特征,该特征记为f1,并通过三层卷积操作,并与特征f1相加,该操作的输出记为r1,
步骤S2:提特征f1经过四层卷积的密集连接,该操作的输出记为d1,
然后将r1,d1与特征f1进行连接操作,此时的输出特征记为f2;
步骤S3:特征f2通过两层卷积操作,并与特征f2相加,该操作的输出记为r2;同时,特征f2经过四层卷积的密集连接,该操作的输出记为b2;
步骤S4:将r2,b2和特征f2进行连接操作。
步骤6.2:使用Charbonnier函数作为去噪网络的损失函数。Charbonnier函数如下所示:
通常情况下,ε设置为0.001,使用Adam优化方法使损失函数最小化。
本发明采用以上技术方案,基于深度学习对老旧影片分别应用去隔行扫描,视频去噪,视频去模糊,视频插帧和超分辨率技术对其进行修复,与人工手动相比,稳定性更高,提高了运算速度,同时减少了计算机内存的消耗。本发明有效的解决了现有复原算法的噪声问题,提高了图像复原的精确度,增加了复原图像的清晰度从而提高了图像修复的效果。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。
参考文献
[1]Olaf Ronneberger,Philipp Fisher,and Thomas Brox.U-Net:Convolutional Networks for Biomedicla Image Segmentation[C]//InternationalConference on Medical Image computing and computer-assistedintervention.Springer,Cham,2015:234-241.
[2]KaiMing He,XiangYu Zhang,ShaoQing Ren,et al.Deep Residual Learningfor Image Recognition[C]//Procedings of the IEEE conference on computervision and pattern recognition.2015:770-778.
[3]Gao Huang,Zhuang Liu,Laurens van der Maaten,et al.DenselyConnected Convolutional Networks[C].Procedings of the IEEE conference oncomputer vision and pattern recognition.2017:4700-4708.
[4]WeiSheng Lai,JiaBin Huang,Narendra Ahuja,et al.Deep LaplacianPyramid Networks for Fast and Accurate Super-Resolution[C].Procedings of theIEEE conference on computer vision and pattern recognition.2017:624-632.
Claims (7)
1.一种基于深度学习的老旧影片修复重制方法,其特征在于:其包括以下步骤:
步骤1:将视频通过ffmpeg抽帧,并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集;
步骤2.1:去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块;去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成,并且每个卷积层后都有ReLU作为激活函数,ReLU函数公式如下所示:
f(x)=max(0,x);
步骤2.2:使用MSE-1函数作为训练去隔行扫描网络模型的损失函数,MSE-1函数如下所示:
步骤3:训练视频插帧网络模型,输入连续三张视频帧It-1、It、It+1,分别表示前一帧、当前帧和后一帧,得到当前帧It的预测结果It′,即为插帧网络的输出;
步骤3.1:视频插帧网络模型的非线性映射模块采取U-Net的网络结构,U-Net的网络结构包括编码模块和解码模块;编码模块包括串联卷积层和一个平均池化层;平均池化层的作用是对输出的特征图进行下采样,通过除去特征图中不重要的样本进一步减少参数量;解码模块依次包含串联卷积层和上采样层;
步骤3.2:使用MSE-2函数作为视频插帧网络中训练的损失函数,MSE-2函数如下所示:
其中,MSE-2表示损失函数,It为训练的输入目标图像块,It′为训练的网络输出的预测图像块;
步骤4:训练去模糊网络;
步骤4.3:使用MSE-3函数作为去模糊网络的损失函数,MSE-3函数如下所示:
步骤5:训练超分辨率网络
步骤5.3:使用Charbonnier函数作为超分辨率网络的损失函数;
步骤6:训练去噪网络,选用NTIRE2018所提供的数据集来进行训练;
步骤6.1:对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出;
步骤6.2:使用Charbonnier函数作为去噪网络的损失函数。
2.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤1具体包括以下步骤:
步骤1.1:形成去隔行扫描模型的训练数据集:
步骤1.1.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集,原始图像作为训练目标;
步骤1.1.3:随机打乱配对集中的子图像块的顺序,得到去隔行扫描模型的训练数据集;
步骤1.2:形成视频插帧模型的训练数据集:
步骤1.2.1:将视频通过ffmpeg抽帧得到每一帧图像作为训练数据,每次取连续的三帧图像为一组训练视频帧对,其中每组的第二帧作为训练网络的目标,
步骤1.2.2:对每组图像按d×d大小截取子图像块It-1,It,It+1形成若干个子图像块的配对集{It-1,It,It+1};
步骤1.2.3:随机打乱配对集中的子图像块的顺序,得到视频插帧模型的训练数据集;
步骤1.3:形成去模糊网络的训练数据集:
步骤1.3.1:根据图像模糊公式:
b(x,y)=(k×I)×(x,y)+G(x,y)
其中b、I、k分别表示为模糊图片、原图、模糊核,G代表噪声;模糊核k大小的宽和高分别从(0,5)中随机取值,高斯白噪声方差G,从(0,100)内随机取值,使得每一个高清视频都有对应的不同程度模糊的视频;
步骤1.3.2:分别对高清视频和模糊视频进行抽帧,得到高清数据集和对应的模糊数据集;
步骤1.3.4:随机打乱配对集中的子图像块的顺序,得到模糊网络的训练数据集;
步骤1.4:形成超分辨率模型的训练数据集:
步骤1.4.1:将视频通过ffmpeg抽帧得到每一帧图像,将得到的视频帧进行下采样形成低分辨率视频帧,原始高分辨率视频帧作为训练目标;
步骤1.4.3:随机打乱配对集中的子图像块的顺序,得到超分辨率模型的训练数据集。
3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤4.1提取Y通道数据的具体步骤为:
步骤4.1.1:图像块的像素值是在[0,255]范围内,将图像块中的每个像素值除以255,使得每个像素值介于[0,1]之间,得到归一化后的图像;
步骤4.1.2:取归一化后的RGB图像块,将其转换为YCbcCr格式,根据公式
Y=(0.256789×R+0.504129×G+0.097906×B)+16.0
Cb=(-0.148223×R-0.290992×G+0.439215×B)+128.0
Cr=(0.439215×R-0.367789×G-0.071426×B)+128.0
将得到的YCbCr的图像块进行通道分离,得到Y通道数据。
5.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤4.2中的残差卷积阶段的每个残差卷积模块包括依次设置的一个卷积层、一个非线性激活层、一个卷积层和一个跳跃连接操作;跳跃连接操作将该残差卷积模块的输入特征F2k-1与该残差卷积模块中第二个卷积层的输出特征相加,即:
F2k+1=(W2k+1*Fk+b2k+1)+F2k-1
式中,k代表残差块序号,Fk代表残差块中第一个卷积层和非线性激活层的输出,W2k+1和b2k+1分别代表残差块中第二个卷积层的权重和偏置,F2k-1代表残差块的输入。
6.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤5.2和步骤6.1中非线性映射阶段的每一放大级别设置5个深度记忆模块,且所有卷积层后都是激活函数为带泄露线性整流函数的非线性激活层;深度记忆模块包括模块由残差模块和密集模块单元堆叠而成的深度记忆;
每个深度记忆模块的具体操作为:
步骤S1:每个深度记忆模块先提取特征,该特征记为f1,并通过三层卷积操作,并与特征f1相加,该操作的输出记为r1,
步骤S2:提特征f1经过四层卷积的密集连接,该操作的输出记为d1,
然后将r1,d1与特征f1进行连接操作,此时的输出特征记为f2;
步骤S3:特征f2通过两层卷积操作,并与特征f2相加,该操作的输出记为r2;同时,特征f2经过四层卷积的密集连接,该操作的输出记为b2;
步骤S4:将r2,b2和特征f2进行连接操作。
7.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法,其特征在于:步骤5.2中重建阶段的重建层是反卷积层,反卷积层将前一层网络的输出进行上采样,使输出的超分辨率图像与训练目标大小相等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810699895.0A CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810699895.0A CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108961186A CN108961186A (zh) | 2018-12-07 |
CN108961186B true CN108961186B (zh) | 2022-02-15 |
Family
ID=64484635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810699895.0A Active CN108961186B (zh) | 2018-06-29 | 2018-06-29 | 一种基于深度学习的老旧影片修复重制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108961186B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
CN109785249A (zh) * | 2018-12-22 | 2019-05-21 | 昆明理工大学 | 一种基于持续性记忆密集网络的图像高效去噪方法 |
CN109816620B (zh) * | 2019-01-31 | 2021-01-05 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112188236B (zh) * | 2019-07-01 | 2022-07-19 | 北京新唐思创教育科技有限公司 | 视频插帧模型训练、视频插帧生成方法及相关装置 |
CN110490817A (zh) * | 2019-07-22 | 2019-11-22 | 武汉大学 | 一种基于掩模学习的图像噪声抑制方法 |
CN110276739B (zh) * | 2019-07-24 | 2021-05-07 | 中国科学技术大学 | 一种基于深度学习的视频去抖方法 |
CN110378860B (zh) * | 2019-07-30 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
CN110428382B (zh) * | 2019-08-07 | 2023-04-18 | 杭州微帧信息科技有限公司 | 一种用于移动终端的高效视频增强方法、装置和存储介质 |
CN110751597B (zh) * | 2019-10-12 | 2023-03-28 | 西安电子科技大学 | 基于编码损伤修复的视频超分辨方法 |
CN111524068B (zh) * | 2020-04-14 | 2023-06-02 | 长安大学 | 一种基于深度学习的变长输入超分辨率视频重建方法 |
CN111738951B (zh) * | 2020-06-22 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
CN111757087A (zh) * | 2020-06-30 | 2020-10-09 | 北京金山云网络技术有限公司 | Vr视频的处理方法、装置和电子设备 |
CN114286126A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 视频处理方法及装置 |
CN112686811A (zh) * | 2020-11-27 | 2021-04-20 | 深兰科技(上海)有限公司 | 视频处理方法、视频处理装置、电子设备和存储介质 |
CN114697709B (zh) * | 2020-12-25 | 2023-06-06 | 华为技术有限公司 | 视频传输方法及装置 |
CN113034392A (zh) * | 2021-03-22 | 2021-06-25 | 山西三友和智慧信息技术股份有限公司 | 一种基于U-net的HDR去噪和去模糊方法 |
CN113554058A (zh) * | 2021-06-23 | 2021-10-26 | 广东奥普特科技股份有限公司 | 视觉目标图像分辨率增强的方法、***、装置及存储介质 |
CN113888426B (zh) * | 2021-09-28 | 2024-06-14 | 国网安徽省电力有限公司电力科学研究院 | 一种基于深度可分离残差网络的电力监控视频去模糊方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231693A (zh) * | 2007-01-24 | 2008-07-30 | 通用电气公司 | 由视频重建复原的面部图像的***和方法 |
CN102496165A (zh) * | 2011-12-07 | 2012-06-13 | 四川九洲电器集团有限责任公司 | 一种基于运动检测与特征提取的综合性视频处理方法 |
CN104616257A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心(国家超级计算济南中心) | 一种模糊退化数字图像在司法中的复原取证方法 |
JP2015095702A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社朋栄 | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
US9218648B2 (en) * | 2009-10-27 | 2015-12-22 | Honeywell International Inc. | Fourier domain blur estimation method and system |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060291750A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution) |
US20090060373A1 (en) * | 2007-08-24 | 2009-03-05 | General Electric Company | Methods and computer readable medium for displaying a restored image |
-
2018
- 2018-06-29 CN CN201810699895.0A patent/CN108961186B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231693A (zh) * | 2007-01-24 | 2008-07-30 | 通用电气公司 | 由视频重建复原的面部图像的***和方法 |
US9218648B2 (en) * | 2009-10-27 | 2015-12-22 | Honeywell International Inc. | Fourier domain blur estimation method and system |
CN102496165A (zh) * | 2011-12-07 | 2012-06-13 | 四川九洲电器集团有限责任公司 | 一种基于运动检测与特征提取的综合性视频处理方法 |
JP2015095702A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社朋栄 | 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
CN104616257A (zh) * | 2015-01-26 | 2015-05-13 | 山东省计算中心(国家超级计算济南中心) | 一种模糊退化数字图像在司法中的复原取证方法 |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
Non-Patent Citations (3)
Title |
---|
Simultaneous deblur and super-resolution technique for video sequence captured by hand-held video camera;Yuki Matsushita et al;《2014 IEEE International Conference on Image Processing (ICIP)》;20150129;全文 * |
数字视频的修复方法研究;潘浩;《中国博士学位论文全文数据库信息科技辑》;20100915;I138-43 * |
视频图像超分辨率重建算法研究;贾苏娟;《中国优秀硕士学位论文全文数据库信息科技辑》;20140815;I138-1294 * |
Also Published As
Publication number | Publication date |
---|---|
CN108961186A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961186B (zh) | 一种基于深度学习的老旧影片修复重制方法 | |
CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及*** | |
CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
WO2022257759A1 (zh) | 一种图像带状伪影去除方法、装置、设备和介质 | |
CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
CN111667410B (zh) | 图像分辨率提升方法、装置及电子设备 | |
CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和*** | |
CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
CN112801904A (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
CN107424121B (zh) | 一种基于分数阶微分的模糊图像超分辨率重构方法 | |
CN116542889A (zh) | 一种拥有稳定视点的全景视频增强方法 | |
CN114972036A (zh) | 一种基于融合退化先验的盲图像超分辨率重建方法和*** | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction | |
CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
CN116797456A (zh) | 图像超分辨率重建方法、***、设备和存储介质 | |
CN112016456B (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及*** | |
Choi et al. | HiRN: Hierarchical recurrent neural network for video super-resolution (VSR) using two-stage feature evolution | |
CN111275620B (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
Zhao et al. | Fast blind decontouring network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190716 Address after: 350000 Area B, 5th Floor, No. 2 Building, Yunzu, 528 Xihong Road, Gulou District, Fuzhou City, Fujian Province Applicant after: Fujian Timor view Mdt InfoTech Ltd Address before: Unit 5, Unit 14, Comprehensive Dormitory Building, Guangming Lane News Center, New District, Hohhot City, Inner Mongolia Autonomous Region, 010000 Applicant before: Zhao Yan |
|
GR01 | Patent grant | ||
GR01 | Patent grant |