CN107481185A - 一种基于视频图像优化的风格转换方法 - Google Patents
一种基于视频图像优化的风格转换方法 Download PDFInfo
- Publication number
- CN107481185A CN107481185A CN201710737266.8A CN201710737266A CN107481185A CN 107481185 A CN107481185 A CN 107481185A CN 201710737266 A CN201710737266 A CN 201710737266A CN 107481185 A CN107481185 A CN 107481185A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- frame
- style
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 16
- 230000007774 longterm Effects 0.000 claims abstract description 24
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000000873 masking effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 102000004127 Cytokines Human genes 0.000 claims description 3
- 108090000695 Cytokines Proteins 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000013442 quality metrics Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明中提出的一种基于视频图像优化的风格转换方法,其主要内容包括:静止图像中的风格转移、基于优化的连贯视频风格转移和训练,其过程为,使用随机高斯噪声进行初始化,定义内容损失函数和风格损失函数,解决视频风格转移方法的能量最小化问题,改善相机运动期间的长期一致性和图像质量,使用具有参数的网络作为输入帧,遮挡掩码扭曲和掩蔽先前产生的帧并产生输出,递归地应用此函数来获取视频。本发明实现了风格化视频的短期时间一致性、长期一致性的损失函数和多通道方式,即使在快速运动和强烈遮挡的情况下,也能产生稳定的结果;大大减少了运行时间,提高了图像的质量。
Description
技术领域
本发明涉及图像视频风格转化领域,尤其是涉及了一种基于视频图像优化的风格转换方法。
背景技术
视频图像处理是计算机视觉领域研究的热点课题之一,今年来新兴起的一种基于深度学习的技术——视频图像风格转换越来越受到人们的关注。它以计算机为工具,用算法模拟出不同艺术形式的绘制风格,增强视频图像中可视信息的表现形式,这种将计算机技术与艺术美学有效结合的技术越来越受到用户的喜爱。它的应用十分广泛,如为艺术家提供灵感或创意上的帮助、移动设备上各种艺术风格的图像编辑、电影、游戏、动漫等娱乐产业中视频画面的风格化以及科学和医学插图领域、工程领域等。它还能通过模拟不同环境来提前预知环境的相关情况,为海上交通管理、捕鱼等海上作业提供便利。然而,传统的转化技术计算速度非常慢,导致运行时间很长,而且容易受到视频闪烁、不连续性的影响,甚至在风格转化后使图像边界产生伪影。
本发明提出了一种基于视频图像优化的风格转换方法,使用随机高斯噪声进行初始化,定义内容损失函数和风格损失函数,解决视频风格转移方法的能量最小化问题,改善相机运动期间的长期一致性和图像质量,使用具有参数的网络作为输入帧,遮挡掩码扭曲和掩蔽先前产生的帧并产生输出,递归地应用此函数来获取视频。本发明实现了风格化视频的短期时间一致性、长期一致性的损失函数和多通道方式,即使在快速运动和强烈遮挡的情况下,也能产生稳定的结果;大大减少了运行时间,提高了图像的质量。
发明内容
针对运行时间很长等问题,本发明的目的在于提供一种基于视频图像优化的风格转换方法,使用随机高斯噪声进行初始化,定义内容损失函数和风格损失函数,解决视频风格转移方法的能量最小化问题,改善相机运动期间的长期一致性和图像质量,使用具有参数的网络作为输入帧,遮挡掩码扭曲和掩蔽先前产生的帧并产生输出,递归地应用此函数来获取视频。
为解决上述问题,本发明提供一种基于视频图像优化的风格转换方法,其主要内容包括:
(一)静止图像中的风格转移;
(二)基于优化的连贯视频风格转移;
(三)训练。
其中,所述的静止图像中的风格转移,目标是生成以图像a的风格显示图像p的内容的风格化图像x;φl(·)表示由卷积网络的部分由输入到l层的函数;用Pl=φl(p)、Sl=φl(a)和Fl=φl(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图;用Nl×Ml表示这些特征图的维数,其中Nl是层中的过滤器(通道)的数量,Ml是特征图的空间维度,即其宽度和高度的乘积;其包括内容损失和风格损失。
进一步地,所述的内容损失和风格损失,内容损失表示为是和之间的均方误差,这种损失不仅限于一层;令表示用于内容表示的层的集合,则有:
风格损失也是均方误差,但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间;这些计算为和如上所述,令表示风格的层次,风格损失由下式给出:
总的来说,损失函数由下式给出:
加权因子α和β可以调整两个组成部分的相对重要性。
进一步地,所述的风格化图像,通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像;通常使用随机高斯噪声进行初始化;然而,损失函数是非凸的,因此优化倾向于落入局部最小值;
直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数;这样的函数可以用具有参数w的卷积神经网络来表示;训练网络,从而最小化任意图像的预期损失p:
在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递;由于该函数不将网络的输出与标定好的真实数据进行比较,而是作为感知质量度量,这被称为感知损失函数。
其中,所述的基于优化的连贯视频风格转移,视频风格转移方法作为能量最小化问题,包括两个扩展,可以改善相机运动期间的长期一致性和图像质量;f(i)表示原始视频的第i帧,a是风格图像,x(i)是要生成的程式化帧;此外,用x’(i)表示帧i处的风格优化算法的初始化;xj表示向量x的第j个分量;连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。
进一步地,所述的通过初始化短期一致性,具有高斯噪声的独立初始化产生两个连续的帧;提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化;然后在两个框架之间无变化的区域以所需的外观进行初始化,图像的其余部分必须通过优化过程进行重建;
因为初始化不匹配,所以这种简单的方法不足以移动场景的部分;因此考虑光流,并且利用光流量扭曲的程式化帧来初始化i+1的优化:其中,表示使用在图像f(i)和f(i+1)之间估计的光流场来扭曲给定图像的函数;只有风格化视频的第一帧被随机初始化。
进一步地,所述的时间一致性损失,为了在相邻帧之间实现更强的一致性,对目标函数引入了一致性惩罚函数;为了检测分离,对光流进行前后一致性检验;令ω=(u,v)为向前方向的光流,为光流的反方向;表示向前光流,扭曲到第二个图像:
在没有脱离接触的区域,这种扭曲的光流应该与反向流动大致相反;因此,将以下不相等的区域标记为不合理:
使用以下不等式检测运动边界:
时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差,并以较高的置信度估计:
其中,c∈[0,1]D是损耗的每像素加权,D=W×H×C是图像的维数;定义帧i-1和i之间的权重c(i-1,i),如下:在不同区域(通过前向-后向一致性检测)运动边界处为0,其他地方为1;整体损失形式如下:
顺序优化帧,因此x(i-1)是指已经风格化的帧i-1。
进一步地,所述的长期一致性,短期模型仅考虑相邻帧之间的一致性;因此,在某些框架中被遮挡,排除的区域可能会改变其在风格化视频中的外观;这可以通过考虑通过长期运动来抵消;令J表示每帧相应的一组索引,例如J={1,2,4},框架i考虑帧i-1,i-2和i-4;具有长期一致性的损失函数由下式给出:
权重调整为使得每个像素仅连接到与过去最接近的可能帧;令c(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重;长期权重计算为:
其中,最大值用于元素计算。
进一步地,所述的多通道算法,令x’(i,j)是j中的帧i的初始化,x(i,j)是在优化算法的一些迭代之后的相应输出;当在正向处理时,帧i的初始化创建如下:
其中,°表示元素向量乘法,δ和是混合因子,1是全部的向量,
类似地,反向处理的初始化是:
多遍算法可以与上述的时间一致性损失相结合。
其中,所述的训练,具有参数w的网络作为输入帧f(t),先前产生的帧被遮挡掩码扭曲和掩蔽,并产生输出x(t);可以递归地应用此函数来获取视频;序列中的第一帧由图像网络生成;
理想情况下,网络参数w将使视频损失函数最小化,具有N帧的任意视频:
其中,
其中,对于给定的预训练参数w′;
采取递归优化两帧损失,训练网络,产生视频第一帧之后的帧:
其中,
虽然网络学习了如何解决遮挡问题,并尽可能地保留了先前的图像,但是不能防止误差的传播和图像质量的降低。
附图说明
图1是本发明一种基于视频图像优化的风格转换方法的***框架图。
图2是本发明一种基于视频图像优化的风格转换方法的视频图像风格化实例。
图3是本发明一种基于视频图像优化的风格转换方法的训练过程。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于视频图像优化的风格转换方法的***框架图。主要包括静止图像中的风格转移,基于优化的连贯视频风格转移和训练。
静止图像中的风格转移,目标是生成以图像a的风格显示图像p的内容的风格化图像x;φl(·)表示由卷积网络的部分由输入到l层的函数;用Pl=φl(p)、Sl=φl(a)和Fl=φl(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图;用Nl×Ml表示这些特征图的维数,其中Nl是层中的过滤器(通道)的数量,Ml是特征图的空间维度,即其宽度和高度的乘积;其包括内容损失和风格损失。
内容损失表示为是和之间的均方误差,这种损失不仅限于一层;令表示用于内容表示的层的集合,则有:
风格损失也是均方误差,但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间;这些计算为和如上所述,令表示风格的层次,风格损失由下式给出:
总的来说,损失函数由下式给出:
加权因子α和β可以调整两个组成部分的相对重要性。
风格化图像,通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像;通常使用随机高斯噪声进行初始化;然而,损失函数是非凸的,因此优化倾向于落入局部最小值;
直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数;这样的函数可以用具有参数w的卷积神经网络来表示;训练网络,从而最小化任意图像的预期损失p:
在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递;由于该函数不将网络的输出与标定好的真实数据进行比较,而是作为感知质量度量,这被称为感知损失函数。
基于优化的连贯视频风格转移,视频风格转移方法作为能量最小化问题,包括两个扩展,可以改善相机运动期间的长期一致性和图像质量;f(i)表示原始视频的第i帧,a是风格图像,x(i)是要生成的程式化帧;此外,用x’(i)表示帧i处的风格优化算法的初始化;xj表示向量x的第j个分量;连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。
通过初始化短期一致性,具有高斯噪声的独立初始化产生两个连续的帧;提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化;然后在两个框架之间无变化的区域以所需的外观进行初始化,图像的其余部分必须通过优化过程进行重建;
因为初始化不匹配,所以这种简单的方法不足以移动场景的部分;因此考虑光流,并且利用光流量扭曲的程式化帧来初始化i+1的优化:其中,表示使用在图像f(i)和f(i+1)之间估计的光流场来扭曲给定图像的函数;只有风格化视频的第一帧被随机初始化。
时间一致性损失,为了在相邻帧之间实现更强的一致性,对目标函数引入了一致性惩罚函数;为了检测分离,对光流进行前后一致性检验;令ω=(u,v)为向前方向的光流,为光流的反方向;表示向前光流,扭曲到第二个图像:
在没有脱离接触的区域,这种扭曲的光流应该与反向流动大致相反;因此,将以下不相等的区域标记为不合理:
使用以下不等式检测运动边界:
时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差,并以较高的置信度估计:
其中,c∈[0,1]D是损耗的每像素加权,D=W×H×C是图像的维数;定义帧i-1和i之间的权重c(i-1,i),如下:在不同区域(通过前向-后向一致性检测)运动边界处为0,其他地方为1;整体损失形式如下:
顺序优化帧,因此x(i-1)是指已经风格化的帧i-1。
长期一致性,短期模型仅考虑相邻帧之间的一致性;因此,在某些框架中被遮挡,排除的区域可能会改变其在风格化视频中的外观;这可以通过考虑通过长期运动来抵消;令J表示每帧相应的一组索引,例如J={1,2,4},框架i考虑帧i-1,i-2和i-4;具有长期一致性的损失函数由下式给出:
权重调整为使得每个像素仅连接到与过去最接近的可能帧;令c(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重;长期权重计算为:
其中,最大值用于元素计算。
多通道算法,令x’(i,j)是j中的帧i的初始化,x(i,j)是在优化算法的一些迭代之后的相应输出;当在正向处理时,帧i的初始化创建如下:
其中,°表示元素向量乘法,δ和是混合因子,1是全部的向量,
类似地,反向处理的初始化是:
多遍算法可以与上述的时间一致性损失相结合。
图2是本发明一种基于视频图像优化的风格转换方法的视频图像风格化实例。使用随机高斯噪声进行初始化,定义内容损失函数和风格损失函数,解决视频风格转移方法的能量最小化问题,改善相机运动期间的长期一致性和图像质量,使用具有参数的网络作为输入帧,遮挡掩码扭曲和掩蔽先前产生的帧并产生输出,递归地应用此函数来获取视频。
图3是本发明一种基于视频图像优化的风格转换方法的训练过程。具有参数w的网络作为输入帧f(t),先前产生的帧被遮挡掩码扭曲和掩蔽,并产生输出x(t);可以递归地应用此函数来获取视频;序列中的第一帧由图像网络生成;
理想情况下,网络参数w将使视频损失函数最小化,具有N帧的任意视频:
其中,
其中,对于给定的预训练参数w′;
采取递归优化两帧损失,训练网络,产生视频第一帧之后的帧:
其中,
虽然网络学习了如何解决遮挡问题,并尽可能地保留了先前的图像,但是不能防止误差的传播和图像质量的降低。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于视频图像优化的风格转换方法,其特征在于,主要包括静止图像中的风格转移(一);基于优化的连贯视频风格转移(二);训练(三)。
2.基于权利要求书1所述的静止图像中的风格转移(一),其特征在于,目标是生成以图像a的风格显示图像p的内容的风格化图像x;φl(·)表示由卷积网络的部分由输入到l层的函数;用Pl=φl(p)、Sl=φl(a)和Fl=φl(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图;用Nl×Ml表示这些特征图的维数,其中Nl是层中的过滤器(通道)的数量,Ml是特征图的空间维度,即其宽度和高度的乘积;其包括内容损失和风格损失。
3.基于权利要求书2所述的内容损失和风格损失,其特征在于,内容损失表示为是和之间的均方误差,这种损失不仅限于一层;令表示用于内容表示的层的集合,则有:
风格损失也是均方误差,但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间;这些计算为和如上所述,令表示风格的层次,风格损失由下式给出:
总的来说,损失函数由下式给出:
加权因子α和β可以调整两个组成部分的相对重要性。
4.基于权利要求书2所述的风格化图像,其特征在于,通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像;通常使用随机高斯噪声进行初始化;然而,损失函数是非凸的,因此优化倾向于落入局部最小值;
直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数;这样的函数可以用具有参数w的卷积神经网络来表示;训练网络,从而最小化任意图像的预期损失p:
在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递;由于该函数不将网络的输出与标定好的真实数据进行比较,而是作为感知质量度量,这被称为感知损失函数。
5.基于权利要求书1所述的基于优化的连贯视频风格转移(二),其特征在于,视频风格转移方法作为能量最小化问题,包括两个扩展,可以改善相机运动期间的长期一致性和图像质量;f(i)表示原始视频的第i帧,a是风格图像,x(i)是要生成的程式化帧;此外,用x’(i)表示帧i处的风格优化算法的初始化;xj表示向量x的第j个分量;连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。
6.基于权利要求书5所述的通过初始化短期一致性,其特征在于,具有高斯噪声的独立初始化产生两个连续的帧;提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化;然后在两个框架之间无变化的区域以所需的外观进行初始化,图像的其余部分必须通过优化过程进行重建;
因为初始化不匹配,所以这种简单的方法不足以移动场景的部分;因此考虑光流,并且利用光流量扭曲的程式化帧来初始化i+1的优化:其中,表示使用在图像f(i)和f(i+1)之间估计的光流场来扭曲给定图像的函数;只有风格化视频的第一帧被随机初始化。
7.基于权利要求书5所述的时间一致性损失,其特征在于,为了在相邻帧之间实现更强的一致性,对目标函数引入了一致性惩罚函数;为了检测分离,对光流进行前后一致性检验;令ω=(u,v)为向前方向的光流,为光流的反方向;表示向前光流,扭曲到第二个图像:
<mrow>
<mover>
<mi>&omega;</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&omega;</mi>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mover>
<mi>&omega;</mi>
<mo>^</mo>
</mover>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
在没有脱离接触的区域,这种扭曲的光流应该与反向流动大致相反;因此,将以下不相等的区域标记为不合理:
<mrow>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<mover>
<mi>&omega;</mi>
<mo>~</mo>
</mover>
<mo>+</mo>
<mover>
<mi>&omega;</mi>
<mo>^</mo>
</mover>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>></mo>
<mn>0.01</mn>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>|</mo>
<mover>
<mi>&omega;</mi>
<mo>~</mo>
</mover>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mover>
<mi>&omega;</mi>
<mo>^</mo>
</mover>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>0.5</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
使用以下不等式检测运动边界:
<mrow>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<mo>&dtri;</mo>
<mover>
<mi>u</mi>
<mo>^</mo>
</mover>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<mo>&dtri;</mo>
<mover>
<mi>v</mi>
<mo>^</mo>
</mover>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>></mo>
<mn>0.01</mn>
<msup>
<mrow>
<mo>|</mo>
<mover>
<mi>w</mi>
<mo>^</mo>
</mover>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>0.002</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差,并以较高的置信度估计:
其中,c∈[0,1]D是损耗的每像素加权,D=W×H×C是图像的维数;定义帧i-1和i之间的权重c(i-1,i),如下:在不同区域(通过前向-后向一致性检测)运动边界处为0,其他地方为1;整体损失形式如下:
顺序优化帧,因此x(i-1)是指已经风格化的帧i-1。
8.基于权利要求书5所述的长期一致性,其特征在于,短期模型仅考虑相邻帧之间的一致性;因此,在某些框架中被遮挡,排除的区域可能会改变其在风格化视频中的外观;这可以通过考虑通过长期运动来抵消;令J表示每帧相应的一组索引,例如J={1,2,4},框架i考虑帧i-1,i-2和i-4;具有长期一致性的损失函数由下式给出:
权重调整为使得每个像素仅连接到与过去最接近的可能帧;令c(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重;长期权重计算为:
其中,最大值用于元素计算。
9.基于权利要求书5所述的多通道算法,其特征在于,令x’(i,j)是j中的帧i的初始化,x(i,j)是在优化算法的一些迭代之后的相应输出;当在正向处理时,帧i的初始化创建如下:
其中,表示元素向量乘法,δ和是混合因子,1是全部的向量,
类似地,反向处理的初始化是:
多遍算法可以与上述的时间一致性损失相结合。
10.基于权利要求书1所述的训练(三),其特征在于,具有参数w的网络作为输入帧f(t),先前产生的帧被遮挡掩码扭曲和掩蔽,并产生输出x(t);可以递归地应用此函数来获取视频;序列中的第一帧由图像网络生成;
理想情况下,网络参数w将使视频损失函数最小化,具有N帧的任意视频:
其中,
其中,对于给定的预训练参数w′;
采取递归优化两帧损失,训练网络,产生视频第一帧之后的帧:
其中,
虽然网络学习了如何解决遮挡问题,并尽可能地保留了先前的图像,但是不能防止误差的传播和图像质量的降低。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710737266.8A CN107481185A (zh) | 2017-08-24 | 2017-08-24 | 一种基于视频图像优化的风格转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710737266.8A CN107481185A (zh) | 2017-08-24 | 2017-08-24 | 一种基于视频图像优化的风格转换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107481185A true CN107481185A (zh) | 2017-12-15 |
Family
ID=60602300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710737266.8A Withdrawn CN107481185A (zh) | 2017-08-24 | 2017-08-24 | 一种基于视频图像优化的风格转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107481185A (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108305271A (zh) * | 2018-01-25 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种视频帧图像处理方法和装置 |
CN108924385A (zh) * | 2018-06-27 | 2018-11-30 | 华东理工大学 | 一种基于宽度学习的视频去抖动方法 |
CN108924528A (zh) * | 2018-06-06 | 2018-11-30 | 浙江大学 | 一种基于深度学习的双目风格化实时渲染方法 |
CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
CN109272486A (zh) * | 2018-08-14 | 2019-01-25 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
CN109636764A (zh) * | 2018-11-01 | 2019-04-16 | 上海大学 | 一种基于深度学习与显著性检测的图像风格转移方法 |
CN110058699A (zh) * | 2019-04-28 | 2019-07-26 | 电子科技大学 | 一种基于智能移动设备传感器的用户行为识别方法 |
CN110175951A (zh) * | 2019-05-16 | 2019-08-27 | 西安电子科技大学 | 基于时域一致性约束的视频风格迁移方法 |
CN110399924A (zh) * | 2019-07-26 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像处理方法、装置及介质 |
CN110533579A (zh) * | 2019-07-26 | 2019-12-03 | 西安电子科技大学 | 基于自编码结构与梯度保序的视频风格转换方法 |
CN110580677A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
WO2020073758A1 (en) * | 2018-10-10 | 2020-04-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for training machine learning modle, apparatus for video style transfer |
CN111091489A (zh) * | 2019-11-01 | 2020-05-01 | 平安科技(深圳)有限公司 | 图片优化方法、装置、电子设备及存储介质 |
CN111556244A (zh) * | 2020-04-23 | 2020-08-18 | 北京百度网讯科技有限公司 | 视频风格迁移方法和装置 |
CN111986105A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
CN112199693A (zh) * | 2020-09-30 | 2021-01-08 | 东南数字经济发展研究院 | 一种基于卡通化图像的隐写方法 |
CN112365556A (zh) * | 2020-11-10 | 2021-02-12 | 成都信息工程大学 | 一种基于感知损失和风格损失的图像扩展方法 |
CN113052757A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
CN113297990A (zh) * | 2021-05-28 | 2021-08-24 | 西安理工大学 | 基于高斯掩模光流的人体足部运动目标检测方法 |
CN113743302A (zh) * | 2021-09-03 | 2021-12-03 | 科大讯飞股份有限公司 | 一种书写笔迹生成方法、装置、设备及存储介质 |
CN115937020A (zh) * | 2022-11-08 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
-
2017
- 2017-08-24 CN CN201710737266.8A patent/CN107481185A/zh not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
MANUEL RUDER等: "Artistic style transfer for videos and spherical images", 《HTTPS://ARXIV.ORG/ABS/17080.04538V1》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108305271B (zh) * | 2018-01-25 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 一种视频帧图像处理方法和装置 |
CN108305271A (zh) * | 2018-01-25 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种视频帧图像处理方法和装置 |
CN108924528A (zh) * | 2018-06-06 | 2018-11-30 | 浙江大学 | 一种基于深度学习的双目风格化实时渲染方法 |
CN110580677A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN108924385A (zh) * | 2018-06-27 | 2018-11-30 | 华东理工大学 | 一种基于宽度学习的视频去抖动方法 |
CN108924385B (zh) * | 2018-06-27 | 2020-11-03 | 华东理工大学 | 一种基于宽度学习的视频去抖动方法 |
CN109308679A (zh) * | 2018-08-13 | 2019-02-05 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
US11200638B2 (en) | 2018-08-13 | 2021-12-14 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
CN109308679B (zh) * | 2018-08-13 | 2022-08-30 | 深圳市商汤科技有限公司 | 一种图像风格转换方法及装置、设备、存储介质 |
WO2020034481A1 (zh) * | 2018-08-13 | 2020-02-20 | 深圳市商汤科技有限公司 | 一种图像风格转换方及装置、设备、存储介质 |
CN109272486A (zh) * | 2018-08-14 | 2019-01-25 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
CN109272486B (zh) * | 2018-08-14 | 2022-07-08 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
CN109190581B (zh) * | 2018-09-17 | 2023-05-30 | 金陵科技学院 | 图像序列目标检测识别方法 |
CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
WO2020073758A1 (en) * | 2018-10-10 | 2020-04-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for training machine learning modle, apparatus for video style transfer |
CN109636764A (zh) * | 2018-11-01 | 2019-04-16 | 上海大学 | 一种基于深度学习与显著性检测的图像风格转移方法 |
CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
CN110058699A (zh) * | 2019-04-28 | 2019-07-26 | 电子科技大学 | 一种基于智能移动设备传感器的用户行为识别方法 |
CN110058699B (zh) * | 2019-04-28 | 2021-04-27 | 电子科技大学 | 一种基于智能移动设备传感器的用户行为识别方法 |
CN110175951A (zh) * | 2019-05-16 | 2019-08-27 | 西安电子科技大学 | 基于时域一致性约束的视频风格迁移方法 |
CN110533579A (zh) * | 2019-07-26 | 2019-12-03 | 西安电子科技大学 | 基于自编码结构与梯度保序的视频风格转换方法 |
US11120604B2 (en) | 2019-07-26 | 2021-09-14 | Beijing Xiaomi Mobile Software Co., Ltd. | Image processing method, apparatus, and storage medium |
CN110399924A (zh) * | 2019-07-26 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像处理方法、装置及介质 |
CN110399924B (zh) * | 2019-07-26 | 2021-09-07 | 北京小米移动软件有限公司 | 一种图像处理方法、装置及介质 |
CN111091489B (zh) * | 2019-11-01 | 2024-05-07 | 平安科技(深圳)有限公司 | 图片优化方法、装置、电子设备及存储介质 |
CN111091489A (zh) * | 2019-11-01 | 2020-05-01 | 平安科技(深圳)有限公司 | 图片优化方法、装置、电子设备及存储介质 |
CN111556244B (zh) * | 2020-04-23 | 2022-03-11 | 北京百度网讯科技有限公司 | 视频风格迁移方法和装置 |
CN111556244A (zh) * | 2020-04-23 | 2020-08-18 | 北京百度网讯科技有限公司 | 视频风格迁移方法和装置 |
CN111986105A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
CN111986105B (zh) * | 2020-07-27 | 2024-03-26 | 成都考拉悠然科技有限公司 | 基于时域去噪掩码的视频时序一致性增强方法 |
CN111986075A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种目标边缘清晰化的风格迁移方法 |
CN112199693A (zh) * | 2020-09-30 | 2021-01-08 | 东南数字经济发展研究院 | 一种基于卡通化图像的隐写方法 |
CN112365556A (zh) * | 2020-11-10 | 2021-02-12 | 成都信息工程大学 | 一种基于感知损失和风格损失的图像扩展方法 |
CN113052757A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
CN113297990B (zh) * | 2021-05-28 | 2023-03-14 | 西安理工大学 | 基于高斯掩模光流的人体足部运动目标检测方法 |
CN113297990A (zh) * | 2021-05-28 | 2021-08-24 | 西安理工大学 | 基于高斯掩模光流的人体足部运动目标检测方法 |
CN113743302B (zh) * | 2021-09-03 | 2024-04-30 | 科大讯飞股份有限公司 | 一种书写笔迹生成方法、装置、设备及存储介质 |
CN113743302A (zh) * | 2021-09-03 | 2021-12-03 | 科大讯飞股份有限公司 | 一种书写笔迹生成方法、装置、设备及存储介质 |
CN115937020A (zh) * | 2022-11-08 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
CN115937020B (zh) * | 2022-11-08 | 2023-10-31 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107481185A (zh) | 一种基于视频图像优化的风格转换方法 | |
Hao et al. | Low-light image enhancement with semi-decoupled decomposition | |
CN110490928A (zh) | 一种基于深度神经网络的相机姿态估计方法 | |
CN109712145A (zh) | 一种图像抠图方法及*** | |
CN102881011B (zh) | 基于区域分割的肖像光照迁移方法 | |
JP7026222B2 (ja) | 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体 | |
Luan et al. | Fast single image dehazing based on a regression model | |
CN110351511A (zh) | 基于场景深度估计的视频帧率上变换***及方法 | |
CN110211061A (zh) | 基于神经网络的单深度相机深度图实时增强方法及装置 | |
CN107274419A (zh) | 一种基于全局先验和局部上下文的深度学习显著性检测方法 | |
CN106780367B (zh) | 基于字典学习的hdr照片风格转移方法 | |
CN103914863A (zh) | 一种彩色图像抽象化绘制方法 | |
CN109300090A (zh) | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 | |
CN113808248A (zh) | 基于物理感知的三维流体逆向建模方法 | |
CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和*** | |
CN108537720A (zh) | 一种图像处理方法和装置 | |
CN105976337A (zh) | 一种基于中值引导滤波的图像去雾方法 | |
CN106657948A (zh) | 低照度Bayer图像的增强方法及增强装置 | |
CN107563299A (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
CN112270691A (zh) | 一种基于动态滤波器网络的单目视频结构和运动预测方法 | |
CN110533579A (zh) | 基于自编码结构与梯度保序的视频风格转换方法 | |
CN112422870A (zh) | 一种基于知识蒸馏的深度学习视频插帧方法 | |
CN115209119A (zh) | 一种基于深度神经网络的视频自动着色方法 | |
CN107481211A (zh) | 一种基于梯度域融合的夜间交通监控增强方法 | |
CN114202472A (zh) | 一种高精度水下成像方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171215 |
|
WW01 | Invention patent application withdrawn after publication |