CN107481185A - 一种基于视频图像优化的风格转换方法 - Google Patents

Abstract

本发明中提出的一种基于视频图像优化的风格转换方法，其主要内容包括：静止图像中的风格转移、基于优化的连贯视频风格转移和训练，其过程为，使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。本发明实现了风格化视频的短期时间一致性、长期一致性的损失函数和多通道方式，即使在快速运动和强烈遮挡的情况下，也能产生稳定的结果；大大减少了运行时间，提高了图像的质量。

Description

一种基于视频图像优化的风格转换方法

技术领域

本发明涉及图像视频风格转化领域，尤其是涉及了一种基于视频图像优化的风格转换方法。

背景技术

视频图像处理是计算机视觉领域研究的热点课题之一，今年来新兴起的一种基于深度学习的技术——视频图像风格转换越来越受到人们的关注。它以计算机为工具，用算法模拟出不同艺术形式的绘制风格，增强视频图像中可视信息的表现形式，这种将计算机技术与艺术美学有效结合的技术越来越受到用户的喜爱。它的应用十分广泛，如为艺术家提供灵感或创意上的帮助、移动设备上各种艺术风格的图像编辑、电影、游戏、动漫等娱乐产业中视频画面的风格化以及科学和医学插图领域、工程领域等。它还能通过模拟不同环境来提前预知环境的相关情况，为海上交通管理、捕鱼等海上作业提供便利。然而，传统的转化技术计算速度非常慢，导致运行时间很长，而且容易受到视频闪烁、不连续性的影响，甚至在风格转化后使图像边界产生伪影。

本发明提出了一种基于视频图像优化的风格转换方法，使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。本发明实现了风格化视频的短期时间一致性、长期一致性的损失函数和多通道方式，即使在快速运动和强烈遮挡的情况下，也能产生稳定的结果；大大减少了运行时间，提高了图像的质量。

发明内容

针对运行时间很长等问题，本发明的目的在于提供一种基于视频图像优化的风格转换方法，使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。

为解决上述问题，本发明提供一种基于视频图像优化的风格转换方法，其主要内容包括：

(一)静止图像中的风格转移；

(二)基于优化的连贯视频风格转移；

(三)训练。

其中，所述的静止图像中的风格转移，目标是生成以图像a的风格显示图像p的内容的风格化图像x；φ^l(·)表示由卷积网络的部分由输入到l层的函数；用P^l＝φ^l(p)、S^l＝φ^l(a)和F^l＝φ^l(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图；用N_l×M_l表示这些特征图的维数，其中N_l是层中的过滤器(通道)的数量，M_l是特征图的空间维度，即其宽度和高度的乘积；其包括内容损失和风格损失。

进一步地，所述的内容损失和风格损失，内容损失表示为是和之间的均方误差，这种损失不仅限于一层；令表示用于内容表示的层的集合，则有：

风格损失也是均方误差，但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间；这些计算为和如上所述，令表示风格的层次，风格损失由下式给出：

总的来说，损失函数由下式给出：

加权因子α和β可以调整两个组成部分的相对重要性。

进一步地，所述的风格化图像，通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像；通常使用随机高斯噪声进行初始化；然而，损失函数是非凸的，因此优化倾向于落入局部最小值；

直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数；这样的函数可以用具有参数w的卷积神经网络来表示；训练网络，从而最小化任意图像的预期损失p：

在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递；由于该函数不将网络的输出与标定好的真实数据进行比较，而是作为感知质量度量，这被称为感知损失函数。

其中，所述的基于优化的连贯视频风格转移，视频风格转移方法作为能量最小化问题，包括两个扩展，可以改善相机运动期间的长期一致性和图像质量；f⁽ⁱ⁾表示原始视频的第i帧，a是风格图像，x⁽ⁱ⁾是要生成的程式化帧；此外，用x’⁽ⁱ⁾表示帧i处的风格优化算法的初始化；x_j表示向量x的第j个分量；连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。

进一步地，所述的通过初始化短期一致性，具有高斯噪声的独立初始化产生两个连续的帧；提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化；然后在两个框架之间无变化的区域以所需的外观进行初始化，图像的其余部分必须通过优化过程进行重建；

因为初始化不匹配，所以这种简单的方法不足以移动场景的部分；因此考虑光流，并且利用光流量扭曲的程式化帧来初始化i+1的优化：其中，表示使用在图像f⁽ⁱ⁾和f⁽ⁱ⁺¹⁾之间估计的光流场来扭曲给定图像的函数；只有风格化视频的第一帧被随机初始化。

进一步地，所述的时间一致性损失，为了在相邻帧之间实现更强的一致性，对目标函数引入了一致性惩罚函数；为了检测分离，对光流进行前后一致性检验；令ω＝(u,v)为向前方向的光流，为光流的反方向；表示向前光流，扭曲到第二个图像：

在没有脱离接触的区域，这种扭曲的光流应该与反向流动大致相反；因此，将以下不相等的区域标记为不合理：

使用以下不等式检测运动边界：

时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差，并以较高的置信度估计：

其中，c∈[0,1]^D是损耗的每像素加权，D＝W×H×C是图像的维数；定义帧i-1和i之间的权重c^(i-1,i)，如下：在不同区域(通过前向-后向一致性检测)运动边界处为0，其他地方为1；整体损失形式如下：

顺序优化帧，因此x^(i-1)是指已经风格化的帧i-1。

进一步地，所述的长期一致性，短期模型仅考虑相邻帧之间的一致性；因此，在某些框架中被遮挡，排除的区域可能会改变其在风格化视频中的外观；这可以通过考虑通过长期运动来抵消；令J表示每帧相应的一组索引，例如J＝{1,2,4}，框架i考虑帧i-1，i-2和i-4；具有长期一致性的损失函数由下式给出：

权重调整为使得每个像素仅连接到与过去最接近的可能帧；令c^(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重；长期权重计算为：

其中，最大值用于元素计算。

进一步地，所述的多通道算法，令x’^(i,j)是j中的帧i的初始化，x^(i,j)是在优化算法的一些迭代之后的相应输出；当在正向处理时，帧i的初始化创建如下：

其中，°表示元素向量乘法，δ和是混合因子，1是全部的向量，

类似地，反向处理的初始化是：

多遍算法可以与上述的时间一致性损失相结合。

其中，所述的训练，具有参数w的网络作为输入帧f^(t)，先前产生的帧被遮挡掩码扭曲和掩蔽，并产生输出x^(t)；可以递归地应用此函数来获取视频；序列中的第一帧由图像网络生成；

理想情况下，网络参数w将使视频损失函数最小化，具有N_帧的任意视频：

其中，

其中，对于给定的预训练参数w′；

采取递归优化两帧损失，训练网络，产生视频第一帧之后的帧：

其中，

虽然网络学习了如何解决遮挡问题，并尽可能地保留了先前的图像，但是不能防止误差的传播和图像质量的降低。

附图说明

图1是本发明一种基于视频图像优化的风格转换方法的***框架图。

图2是本发明一种基于视频图像优化的风格转换方法的视频图像风格化实例。

图3是本发明一种基于视频图像优化的风格转换方法的训练过程。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于视频图像优化的风格转换方法的***框架图。主要包括静止图像中的风格转移，基于优化的连贯视频风格转移和训练。

静止图像中的风格转移，目标是生成以图像a的风格显示图像p的内容的风格化图像x；φ^l(·)表示由卷积网络的部分由输入到l层的函数；用P^l＝φ^l(p)、S^l＝φ^l(a)和F^l＝φ^l(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图；用N_l×M_l表示这些特征图的维数，其中N_l是层中的过滤器(通道)的数量，M_l是特征图的空间维度，即其宽度和高度的乘积；其包括内容损失和风格损失。

内容损失表示为是和之间的均方误差，这种损失不仅限于一层；令表示用于内容表示的层的集合，则有：

风格损失也是均方误差，但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间；这些计算为和如上所述，令表示风格的层次，风格损失由下式给出：

总的来说，损失函数由下式给出：

加权因子α和β可以调整两个组成部分的相对重要性。

风格化图像，通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像；通常使用随机高斯噪声进行初始化；然而，损失函数是非凸的，因此优化倾向于落入局部最小值；

直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数；这样的函数可以用具有参数w的卷积神经网络来表示；训练网络，从而最小化任意图像的预期损失p：

在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递；由于该函数不将网络的输出与标定好的真实数据进行比较，而是作为感知质量度量，这被称为感知损失函数。

基于优化的连贯视频风格转移，视频风格转移方法作为能量最小化问题，包括两个扩展，可以改善相机运动期间的长期一致性和图像质量；f⁽ⁱ⁾表示原始视频的第i帧，a是风格图像，x⁽ⁱ⁾是要生成的程式化帧；此外，用x’⁽ⁱ⁾表示帧i处的风格优化算法的初始化；x_j表示向量x的第j个分量；连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。

通过初始化短期一致性，具有高斯噪声的独立初始化产生两个连续的帧；提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化；然后在两个框架之间无变化的区域以所需的外观进行初始化，图像的其余部分必须通过优化过程进行重建；

因为初始化不匹配，所以这种简单的方法不足以移动场景的部分；因此考虑光流，并且利用光流量扭曲的程式化帧来初始化i+1的优化：其中，表示使用在图像f⁽ⁱ⁾和f⁽ⁱ⁺¹⁾之间估计的光流场来扭曲给定图像的函数；只有风格化视频的第一帧被随机初始化。

时间一致性损失，为了在相邻帧之间实现更强的一致性，对目标函数引入了一致性惩罚函数；为了检测分离，对光流进行前后一致性检验；令ω＝(u,v)为向前方向的光流，为光流的反方向；表示向前光流，扭曲到第二个图像：

在没有脱离接触的区域，这种扭曲的光流应该与反向流动大致相反；因此，将以下不相等的区域标记为不合理：

使用以下不等式检测运动边界：

时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差，并以较高的置信度估计：

其中，c∈[0,1]^D是损耗的每像素加权，D＝W×H×C是图像的维数；定义帧i-1和i之间的权重c^(i-1,i)，如下：在不同区域(通过前向-后向一致性检测)运动边界处为0，其他地方为1；整体损失形式如下：

顺序优化帧，因此x^(i-1)是指已经风格化的帧i-1。

长期一致性，短期模型仅考虑相邻帧之间的一致性；因此，在某些框架中被遮挡，排除的区域可能会改变其在风格化视频中的外观；这可以通过考虑通过长期运动来抵消；令J表示每帧相应的一组索引，例如J＝{1,2,4}，框架i考虑帧i-1，i-2和i-4；具有长期一致性的损失函数由下式给出：

权重调整为使得每个像素仅连接到与过去最接近的可能帧；令c^(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重；长期权重计算为：

其中，最大值用于元素计算。

多通道算法，令x’^(i,j)是j中的帧i的初始化，x^(i,j)是在优化算法的一些迭代之后的相应输出；当在正向处理时，帧i的初始化创建如下：

其中，°表示元素向量乘法，δ和是混合因子，1是全部的向量，

类似地，反向处理的初始化是：

多遍算法可以与上述的时间一致性损失相结合。

图2是本发明一种基于视频图像优化的风格转换方法的视频图像风格化实例。使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。

图3是本发明一种基于视频图像优化的风格转换方法的训练过程。具有参数w的网络作为输入帧f^(t)，先前产生的帧被遮挡掩码扭曲和掩蔽，并产生输出x^(t)；可以递归地应用此函数来获取视频；序列中的第一帧由图像网络生成；

理想情况下，网络参数w将使视频损失函数最小化，具有N_帧的任意视频：

其中，

其中，对于给定的预训练参数w′；

采取递归优化两帧损失，训练网络，产生视频第一帧之后的帧：

其中，

虽然网络学习了如何解决遮挡问题，并尽可能地保留了先前的图像，但是不能防止误差的传播和图像质量的降低。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于视频图像优化的风格转换方法，其特征在于，主要包括静止图像中的风格转移(一)；基于优化的连贯视频风格转移(二)；训练(三)。

2.基于权利要求书1所述的静止图像中的风格转移(一)，其特征在于，目标是生成以图像a的风格显示图像p的内容的风格化图像x；φ^l(·)表示由卷积网络的部分由输入到l层的函数；用P^l＝φ^l(p)、S^l＝φ^l(a)和F^l＝φ^l(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图；用N_l×M_l表示这些特征图的维数，其中N_l是层中的过滤器(通道)的数量，M_l是特征图的空间维度，即其宽度和高度的乘积；其包括内容损失和风格损失。

3.基于权利要求书2所述的内容损失和风格损失，其特征在于，内容损失表示为是和之间的均方误差，这种损失不仅限于一层；令表示用于内容表示的层的集合，则有：

风格损失也是均方误差，但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间；这些计算为和如上所述，令表示风格的层次，风格损失由下式给出：

总的来说，损失函数由下式给出：

加权因子α和β可以调整两个组成部分的相对重要性。

4.基于权利要求书2所述的风格化图像，其特征在于，通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像；通常使用随机高斯噪声进行初始化；然而，损失函数是非凸的，因此优化倾向于落入局部最小值；

直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数；这样的函数可以用具有参数w的卷积神经网络来表示；训练网络，从而最小化任意图像的预期损失p：

在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递；由于该函数不将网络的输出与标定好的真实数据进行比较，而是作为感知质量度量，这被称为感知损失函数。

5.基于权利要求书1所述的基于优化的连贯视频风格转移(二)，其特征在于，视频风格转移方法作为能量最小化问题，包括两个扩展，可以改善相机运动期间的长期一致性和图像质量；f⁽ⁱ⁾表示原始视频的第i帧，a是风格图像，x⁽ⁱ⁾是要生成的程式化帧；此外，用x’⁽ⁱ⁾表示帧i处的风格优化算法的初始化；x_j表示向量x的第j个分量；连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。

6.基于权利要求书5所述的通过初始化短期一致性，其特征在于，具有高斯噪声的独立初始化产生两个连续的帧；提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化；然后在两个框架之间无变化的区域以所需的外观进行初始化，图像的其余部分必须通过优化过程进行重建；

因为初始化不匹配，所以这种简单的方法不足以移动场景的部分；因此考虑光流，并且利用光流量扭曲的程式化帧来初始化i+1的优化：其中，表示使用在图像f⁽ⁱ⁾和f⁽ⁱ⁺¹⁾之间估计的光流场来扭曲给定图像的函数；只有风格化视频的第一帧被随机初始化。

7.基于权利要求书5所述的时间一致性损失，其特征在于，为了在相邻帧之间实现更强的一致性，对目标函数引入了一致性惩罚函数；为了检测分离，对光流进行前后一致性检验；令ω＝(u,v)为向前方向的光流，为光流的反方向；表示向前光流，扭曲到第二个图像：

<mrow> <mover> <mi>&amp;omega;</mi> <mo>~</mo> </mover> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;omega;</mi> <mrow> <mo>(</mo> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>+</mo> <mover> <mi>&amp;omega;</mi> <mo>^</mo> </mover> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

在没有脱离接触的区域，这种扭曲的光流应该与反向流动大致相反；因此，将以下不相等的区域标记为不合理：

<mrow> <msup> <mrow> <mo>|</mo> <mrow> <mover> <mi>&amp;omega;</mi> <mo>~</mo> </mover> <mo>+</mo> <mover> <mi>&amp;omega;</mi> <mo>^</mo> </mover> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>&gt;</mo> <mn>0.01</mn> <mrow> <mo>(</mo> <msup> <mrow> <mo>|</mo> <mover> <mi>&amp;omega;</mi> <mo>~</mo> </mover> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>|</mo> <mover> <mi>&amp;omega;</mi> <mo>^</mo> </mover> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mn>0.5</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

使用以下不等式检测运动边界：

<mrow> <msup> <mrow> <mo>|</mo> <mrow> <mo>&amp;dtri;</mo> <mover> <mi>u</mi> <mo>^</mo> </mover> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>|</mo> <mrow> <mo>&amp;dtri;</mo> <mover> <mi>v</mi> <mo>^</mo> </mover> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>&gt;</mo> <mn>0.01</mn> <msup> <mrow> <mo>|</mo> <mover> <mi>w</mi> <mo>^</mo> </mover> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mn>0.002</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

时间一致性损失函数惩罚了光流一致的区域中的扭曲图像的偏差，并以较高的置信度估计：

其中，c∈[0,1]^D是损耗的每像素加权，D＝W×H×C是图像的维数；定义帧i-1和i之间的权重c^(i-1,i)，如下：在不同区域(通过前向-后向一致性检测)运动边界处为0，其他地方为1；整体损失形式如下：

顺序优化帧，因此x^(i-1)是指已经风格化的帧i-1。

8.基于权利要求书5所述的长期一致性，其特征在于，短期模型仅考虑相邻帧之间的一致性；因此，在某些框架中被遮挡，排除的区域可能会改变其在风格化视频中的外观；这可以通过考虑通过长期运动来抵消；令J表示每帧相应的一组索引，例如J＝{1,2,4}，框架i考虑帧i-1，i-2和i-4；具有长期一致性的损失函数由下式给出：

权重调整为使得每个像素仅连接到与过去最接近的可能帧；令c^(i-j,i)为短期模型定义的图像i-j和i之间的光流的权重；长期权重计算为：

其中，最大值用于元素计算。

9.基于权利要求书5所述的多通道算法，其特征在于，令x’^(i,j)是j中的帧i的初始化，x^(i,j)是在优化算法的一些迭代之后的相应输出；当在正向处理时，帧i的初始化创建如下：

其中，表示元素向量乘法，δ和是混合因子，1是全部的向量，

类似地，反向处理的初始化是：

多遍算法可以与上述的时间一致性损失相结合。

10.基于权利要求书1所述的训练(三)，其特征在于，具有参数w的网络作为输入帧f^(t)，先前产生的帧被遮挡掩码扭曲和掩蔽，并产生输出x^(t)；可以递归地应用此函数来获取视频；序列中的第一帧由图像网络生成；

理想情况下，网络参数w将使视频损失函数最小化，具有N_帧的任意视频：

其中，

其中，对于给定的预训练参数w′；

采取递归优化两帧损失，训练网络，产生视频第一帧之后的帧：

其中，

虽然网络学习了如何解决遮挡问题，并尽可能地保留了先前的图像，但是不能防止误差的传播和图像质量的降低。