CN112672072B - 一种基于改进欧拉放大的分段平稳视频放大方法 - Google Patents

Abstract

本发明公开了一种基于改进欧拉放大的分段平稳视频放大方法，包括：步骤S1、采集包含微小运动的第一输入视频，将所述第一输入视频按照运动类型分为多个类别；步骤S2、对所述第一输入视频进行预处理；步骤S3、针对不同类别的第一输入视频，构建放大因子与时间的关系模型，得到改进后的EVM模型；步骤S4、将第一输入视频按照所述类别分别对应输入改进后的EVM模型中进行放大，并且输出第一输出视频。本发明一方面可以对各种各样包含微小运动的视频进行放大，具有较好的适用性，鲁棒性强；另一方面放大后视频包含的噪声更少，改善了放大后视频的显像效果。

Description

一种基于改进欧拉放大的分段平稳视频放大方法

技术领域

本发明涉及计算机视觉图像处理领域，特别是涉及一种基于改进欧拉放大的分段平稳视频放大方法。

背景技术

人类的视觉感知范围有限，将低于人类视觉灵敏度的运动信息放大到肉眼可见的效果，可以挖掘出微弱变化中重要的细节信息。而微小运动放大技术就是一种将人眼无法感知的微弱变化放大到可以观察的幅度，达到视觉增强效果的技术。根据对运动信息处理方式的不同，微小运动放大技术可以分为基于运动特征跟踪的拉格朗日显式运动放大方法和基于像素点分析的欧拉隐式视频放大方法(EVM)。欧拉法亦为当前重点研究的视频放大方法。欧拉放大方法作为微小运动放大技术中的一种重要方法，近年来一直备受人们的关注。它对于智慧医疗、智能建筑、智能驾驶的未来具有非常重要的意义。智慧医疗方面，此技术对人体血液循环、人体脉搏跳动以及其他的情况以更直观的方式通过视频来观察，还可以用于远程医疗探视病人，辅助诊断病人生理变化；智能建筑和智能驾驶方面，能够实时感知室内或车内成员的皮肤纹理等变化，从而实时提供反馈信号给控制***，以减少能源消耗或抵御风险。此技术对工业生产等其他方面也具有深远的前景和重大的意义。

关于影像微变放大的研究最早可以追溯到2005年，Liu等人提出了一种针对影像的运动放大技术，该方法首先对目标的特征点进行聚类，然后跟踪这些点随时间的运动轨迹，最后将这些点的运动幅度变大。该方法的实现基于拉格朗日视角，存在着几点不足。它不仅会消耗大量的计算资源，而且缺乏对整体图像的考虑，这会影响放大效果。为了克服这些缺点，Wu等人在2012年提出了一种称为欧拉影像放大技术(EVM)的方法，该方法不会显式的跟踪粒子的运动轨迹，而是以固定视角观察整幅图像。首先对视频进行预处理，将视频序列进行金字塔多分辨率分解，接着对每个尺度的图像进行时域带通滤波，得到感兴趣的频带。经过预处理后，对每个频带的信号用泰勒级数来差分逼近，线性放大逼近的结果，最后合成经过放大后的图像，得到输出视频。当然，欧拉视频放大技术也有一些缺陷，它放大的对象比较单一，只能处理包含小动作的视频，此外放大运动的同时也会放大噪声。2013年，Rubinstein等人对EVM算法进行了重大修改，提出了基于相位的欧拉视频放大技术，这是一种相移放大运动，它导致噪声被移动而不会被放大，但是它在空频域进行相位分解的算法要复杂得多。2017年，张艺超等人提出了一种针对大型运动视频的视频加速算法，该算法可以专注于大型运动的微小变化，但同时也增加了算法的时间复杂度。2018年，RonnachaiJaroensri等人提出了一种基于学习的视频运动放大技术，该技术利用深度卷积神经网络直接从例子中学习滤波器，可达到较大的放大倍数，从而实现基于频率的运动选择。

然而，大多现有的技术采用欧拉视频放大方法只适用于特定类型的视频，在实际的应用场景中，存在着放大因子不可过大或者需要消耗大量计算资源的缺点。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进欧拉放大的分段平稳视频放大方法，以提高对更多视频类型的适用性和抗噪性；本发明要解决的技术问题是：现有技术中，采用欧拉视频放大方法只适用于特定类型的视频，在实际的应用场景中，存在着放大因子不可过大或者需要消耗大量计算资源的缺点。

为了实现上述目的，本发明的技术解决方案为：一种基于改进欧拉放大的分段平稳视频放大方法，包括如下步骤：

步骤S1、采集包含微小运动的第一输入视频，将所述第一输入视频按照运动类型分为多个类别。

步骤S2、对所述第一输入视频进行预处理。

步骤S3、针对不同类别的第一输入视频，构建放大因子与时间的关系模型，得到改进后的EVM模型。

步骤S4、将第一输入视频按照所述类别分别对应输入改进后的EVM模型中进行放大，并且输出第一输出视频。

进一步的，在所述步骤S1中，将所述第一输入视频按照视频中物体运动的类型分为三个类别，包括：第一类别、第二类别和第三类别；

所述第一类别为：第一输入视频中的物体呈现周期性运动；

所述第二类别为：第一输入视频中的物体存在肉眼看不见的运动；

所述第三类别为：第一输入视频中物体的运动呈现衰减。

进一步的，所述步骤S2具体包括：首先将所述第一输入视频均剪成一样的时长，保存为统一的MP4格式或者AVI格式，然后对经过剪辑的第一输入视频先后进行空域分解处理和时域滤波处理，所述空域分解处理采用图像金字塔算法，所述图像金字塔算法采用高斯金字塔或者拉普拉斯金字塔；所述时域滤波处理采用巴特沃兹带通滤波器。

进一步的，所述步骤S3具体包括：

针对属于第一类别的第一输入视频，构建第一关系模型，具体包括：

设置从视频中物体运动起伏度变小的时间段逐渐增大的放大因子，以及物体运动起伏度变大的时间段内逐渐减小的放大因子，以此构建放大因子与时间的周期分段函数，所述第一关系模型的表达式为：

公式(1)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁是视频中物体起伏幅度变到最小的截至帧数,T₁是这段时间内的周期，fr₂是视频中物体起伏幅度变到最大的截至帧数，T₂是视频中物体起伏幅度变大的这段时间内的周期，k₁、k₂、b₁、b₂均为常数，其中k₁、k₂一正一负。

针对属于第二类别的第一输入视频，构建第二关系模型，具体包括：

利用EVM方法放大属于第二类别的第一输入视频，对放大后的第二类别的第一输入视频进行分段，分段的规则是：观察放大后的视频目标在各个时间段的运动幅度大小，当运动幅度大于预设值时，划分为一段，当运动幅度小于预设值时，划分为一段，以此分段设置放大因子与时间的函数关系式，所述第二关系模型的表达式为：

公式(2)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁为第一段视频的截至帧数，fr₂为第二段视频的截至帧数，fr₃为整段视频的截至帧数，b₁、b₂、b₃均为常数；

若第一段视频中视频目标的运动幅度低于预设值时，k₁为正数，则，第二段视频中视频目标的运动幅度高于预设值，k₂为负数，则第三段视频中视频目标的运动幅度低于预设值，k₃为正数；

若第一段视频中视频目标的运动幅度高于预设值时，k₁为负数，则，第二段视频中视频目标的运动幅度低于预设值，k₂为正数，则第三段视频中视频目标的运动幅度高于预设值，k₃为负数；

针对属于第三类别的第一输入视频，构建第三关系模型，具体包括：

公式(3)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，k和b均是常数。

进一步的，对步骤S4中的到第一输出视频进行处理，得到第一输出视频的第一时空切片图，对第一输入视频采用EVM方法放大，得到第二输出视频，对第二输出视频进行处理，得到第二输出视频的第二时空切片图，通过比对分析第一时空切片图和第二时空切片图的区别，预测视频中物体的运动趋势。

进一步的，计算第一输出视频中每一帧的PSNR值和SSIM值，计算第二输出视频中每一帧的PSNR值和SSIM值，并且比对第一输出视频的PSNR值与第二输出视频的PSNR值，对比第一输出视频的SSIM值与第二输出视频的SSIM值；

所述PSNR值的表达式为：

公式(4)中，

表示为图片可能的最大像素值，MSE表示为均方误差，MSE的表达式如下：

公式(5)中，m、n为图像的尺寸，I代表干净图像，K代表噪声图像。

所述SSIM值的表达式为：

SSIM(x,y)＝[l(x,y)^α·c(x,y)^β·s(x,y)^γ] (6)

公式(6)中，α＞0,β＞0,γ＞0，l(x,y)，c(x,y)以及s(x,y)的表达式如下：

公式(7)，公式(8)以及公式(9)，l(x,y)表示亮度相似度，c(x,y)表示对比度相似度，s(x,y)表示结构相似度，μ_x和μ_y分别代表x,y的平均值，σ_x和σ_y分别代表x,y的标准差，σ_xy代表x和y的协方差，c₁，c₂，c₃分别为常数。

本发明的有益效果是：

本发明与现有的EVM方法相比，本发明具有实质性特点和显著的进步，具体的说，从定性角度：对于同一视频，采用本发明的放大方法得到的时空切片图纹理更加清晰，视频显像效果更好。从定量角度：对于同一视频，本发明计算出的PSNR与SSIM值明显更高。

附图说明

图1为本发明流程示意图。

图2为实施例1中belly视频经过不同方法放大的视频时空切片图。

图3为实施例1中cup视频经过不同方法放大的视频PSNR值的对比示意图。

图4为实施例1中cup视频经过不同方法放大的视频SSIM值的对比示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1-图4，本实施例在深入研究视频放大技术对微小运动的处理以及现实存在问题的基础上，尤其是用EVM算法放大视频存在的问题，提出了一种基于改进欧拉放大的分段平稳视频放大方法，通过优化放大因子，从而对视频有更好的适用性和抗噪性，带来更好的视频显像效果。具体技术方案为：

一种基于改进欧拉放大的分段平稳视频放大方法，包括如下步骤：

步骤S1、建立视频库，采集包含微小运动的第一输入视频，将第一输入视频按照运动类型分为多个类别；

具体的说，采集的第一输入视频均来自普通相机拍摄下的不同场景，将第一输入视频按照视频中物体运动的类型分为三个类别，包括：第一类别、第二类别和第三类别；第一类别为：第一输入视频中的物体呈现周期性运动；第二类别为：第一输入视频中的物体存在肉眼看不见的运动；第三类别为：第一输入视频中物体的运动呈现衰减。

步骤S2、对第一输入视频进行预处理；

首先将第一输入视频均剪成一样的时长，保存为统一的MP4格式或者AVI格式，然后对经过剪辑的第一输入视频先后进行空域分解处理和时域滤波处理，具体的说，视频序列首先在空频域通过金字塔分解得到不同空间不同尺度的空间频率带，所使用的金字塔是高斯金字塔或者拉普拉斯金字塔，然后进行时域滤波，将得到的不同空间频率带的每一个尺度使用合适的带通滤波器得到我们感兴趣的信号范围。在本实施例中，使用带宽较宽的巴特沃兹带通滤波器结果比较理想。

步骤S3、针对不同类别的第一输入视频，构建放大因子与时间的关系模型，得到改进后的EVM模型；

步骤S3具体包括：

针对属于第一类别的第一输入视频，比如belly视频(belly视频是一个靠墙做自然呼吸运动的人，而腹部的起伏就是微小的周期运动)，构建第一关系模型，具体包括：

设置从肚子起伏度变小的时间段逐渐增大的放大因子，以及肚子起伏度变大的时间段内逐渐减小的放大因子，以此构建放大因子与时间的周期分段函数，第一关系模型的表达式为：

公式中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁是视频中肚子起伏幅度变到最小的截至帧数，T₁是这段时间内的周期，fr₂是视频中肚子起伏幅度变到最大的截至帧数，T₂是视频中肚子起伏幅度变大的这段时间内的周期，k₁、k₂、b₁、b₂均为常数；视频从第一帧开始处理，假设第一帧放大倍数为1，最后一帧放大倍数为30，可求出k₁、k₂、b₁、b₂的值。

针对属于第二类别的第一输入视频，例如face视频(face视频是人保持不动拍摄的脸部视频)，构建第二关系模型，具体包括：

利用EVM方法放大face视频，对放大后的face视频进行分段，分段的规则是：观察放大后的视频目标在各个时间段的运动幅度大小，当运动幅度大于预设值时，划分为一段，当运动幅度小于预设值时，划分为一段，以此分段设置放大因子与时间的函数关系式，所述第二关系模型的表达式为：

公式中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁为第一段视频的截至帧数，fr₂为第二段视频的截至帧数，fr₃为整段视频的截至帧数，k₁、k₂、k₃、b₁、b₂、b₃均为常数。

视频仍然从第一帧开始处理，假设第一帧放大倍数为1，最后一帧放大倍数为30，可求出k₁、k₂、k₃、b₁、b₂、b₃。可根据视频中目标运动幅度的变化规律，幅度变大设置衰减的一次函数，幅度变小设置增长的一次函数。

针对属于第三类别的第一输入视频，例如cup视频(cup视频为静置在桌面上的透明水杯，用笔轻敲，水杯里的波纹慢慢震荡直至消失)，构建第三关系模型，具体包括：

公式中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，k和b均是常数，视频都会经过预处理裁剪成10秒的视频，故最后一帧图像是第300帧图像，通过同样的处理方法可以得到k，b的值。

这样通过分段平稳的思想，可以构建放大因子与时间的关系模型，在合适的时机给予合适的放大倍数。

步骤S4、将第一输入视频按照类别分别对应输入改进后的EVM模型中进行放大，并且输出第一输出视频。

以上步骤，为本发明提出的一种基于改进欧拉放大的分段平稳视频放大方法的所有步骤，接下来，本发明还提供了一种可以有效的估计目标的运动的方法，具体的说：

对步骤S4中的到第一输出视频进行处理，得到第一输出视频的第一时空切片图，对第一输入视频采用EVM方法放大，得到第二输出视频，对第二输出视频进行处理，得到第二输出视频的第二时空切片图，通过比对分析第一时空切片图和第二时空切片图的区别，预测视频中物体的运动趋势。

更具体的说，时空切片图中具有丰富的颜色和纹理特征，颜色和纹理的变化标志着目标的运动或者场景的变化，通过分析图像中纹理的变化，可以有效的估计目标的运动。

为了验证，本发明相对现有的EVM方法确实可以达到更好的技术效果，本发明通过运用PSNR值和SSIM值这两个指标提出一种验证方法，具体的说：

计算第一输出视频中每一帧的PSNR值和SSIM值，计算第二输出视频中每一帧的PSNR值和SSIM值，并且比对第一输出视频的PSNR值与第二输出视频的PSNR值，对比第一输出视频的SSIM值与第二输出视频的SSIM值；

PSNR代表峰值信噪比，是最常见、应用最广泛的图像质量客观评价指标。

值越大，噪声越小，失真越小，给定一个大小为m*n的干净图像I和噪声图像K，均方误差(MSE)定义为：

然后PSNR(dB)就定义为：

其中

为图片可能的最大像素值。如果每个像素都由8位2进制数表示，那么就为255，通常，如果像素由n位二进制数表示，那么就为2ⁿ-1。上面是灰度图像的计算方法。视频帧大多为彩色图像，只需计算RGB三通道的，然后再除以3。

SSIM代表结构相似性，是一种对图像进行全参考的图像质量评价指标。它从亮度、对比度、结构等方面衡量图像的相似性。SSIM的取值范围为0～1，值越大，图像失真越小。SSIM的定义如下：

SSIM(x,y)＝[l(x,y)^α·c(x,y)^β·s(x,y)^γ]

公式中，α＞0,β＞0,γ＞0，l(x,y)，c(x,y)以及s(x,y)的表达式如下：

公式中，l(x,y)表示亮度相似度，c(x,y)表示对比度相似度，s(x,y)表示结构相似度，μ_x和μ_y分别代表x,y的平均值，σ_x和σ_y分别代表x,y的标准差，σ_xy代表x和y的协方差，c₁，c₂，c₃分别为常数，避免分母为0带来的***错误。

在实际工程计算中，一般设定α＝β＝γ＝1，以及c₃＝c₂/2，可以将SSIM简化如下：

SSIM表示结构相似性，是一种全参考的图像质量评价指标，是0到1之间的数，越大表示输出图像和无失真图像的差距越小，即图像质量越好。

PSNR表示峰值信噪比，也是一种全参考的图像质量评价指标，它是基于对于像素点间的误差，即基于误差敏感的图像质量评价，数值越大，也表示失真越小。运用这两个指标可以定量评价放大方法的优劣。

实验结果分析，这里以上述的belly视频和cup视频为例。

belly视频经过EVM方法和本发明提出的方法放大后的时空切片图如图2所示；cup视频经过EVM方法和本发明提出的方法放大后视频之间的PSNR和SSIM值分别如图3和图4所示。

另外，本发明还对比了放大各种视频所花的时间，输入的视频包括：Baby视频、Baby2视频、Belly视频以及Cup视频。具体实验结果如表1所示，表1为本发明与EVM方法进行视频放大所需时间对比表。

表1：本发明与EVM方法进行视频放大所需时间对比表

视频	EVM(时间/s)	本发明(时间/s)
			Baby	49.57	50.66
Baby2	39.71	42.25
			Belly	105.64	108.26
Cup	80.45	82.15

在所花时间上，本发明并没有明显增加算法测试所需要的时间，这点时间复杂度差异可忽略不计。

综上并结合说明书附图可见，本发明较之与EVM方法具有显著的进步性，表现在：

从定性角度看，belly视频的时空切片图纹理更加平缓，噪声点更少。

从定量角度看，经本发明方法放大后cup视频的PSNR和SSIM值都明显高于经EVM放大的结果。另外，本发明还表现了良好的适用性，可用于各种类型视频的放大。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种基于改进欧拉放大的分段平稳视频放大方法，其特征在于，包括如下步骤：

步骤S1、采集包含微小运动的第一输入视频，将所述第一输入视频按照运动类型分为多个类别；

步骤S2、对所述第一输入视频进行预处理；

步骤S3、针对不同类别的第一输入视频，构建放大因子与时间的关系模型，得到改进后的EVM模型；

步骤S4、将第一输入视频按照所述类别分别对应输入改进后的EVM模型中进行放大，并且输出第一输出视频；

在所述步骤S1中，将所述第一输入视频按照视频中物体运动的类型分为三个类别，包括：第一类别、第二类别和第三类别；

所述第一类别为：第一输入视频中的物体呈现周期性运动；

所述第二类别为：第一输入视频中的物体存在肉眼看不见的运动；

所述第三类别为：第一输入视频中物体的运动呈现衰减；

所述步骤S3具体包括：

针对属于第一类别的第一输入视频，构建第一关系模型，具体包括：

设置从视频中物体运动起伏度变小的时间段逐渐增大的放大因子，以及物体运动起伏度变大的时间段内逐渐减小的放大因子，以此构建放大因子与时间的周期分段函数，所述第一关系模型的表达式为：

公式(1)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁是视频中物体起伏幅度变到最小的截至帧数,T₁是这段时间内的周期，fr₂是视频中物体起伏幅度变到最大的截至帧数，T₂是视频中物体起伏幅度变大的这段时间内的周期，k₁、k₂、b₁、b₂均为常数，其中k₁为正数，k₂负数；

针对属于第二类别的第一输入视频，构建第二关系模型，具体包括：

利用EVM方法放大属于第二类别的第一输入视频，对放大后的第二类别的第一输入视频进行分段，分段的规则是：观察放大后的视频目标在各个时间段的运动幅度大小，当运动幅度大于预设值时，划分为一段，当运动幅度小于预设值时，划分为一段，以此分段设置放大因子与时间的函数关系式，所述第二关系模型的表达式为：

公式(2)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，fr₁为第一段视频的截至帧数，fr₂为第二段视频的截至帧数，fr₃为整段视频的截至帧数，b₁、b₂、b₃均为常数；

若第一段视频中视频目标的运动幅度低于预设值时，k₁为正数，则，第二段视频中视频目标的运动幅度高于预设值，k₂为负数，则第三段视频中视频目标的运动幅度低于预设值，k₃为正数；

若第一段视频中视频目标的运动幅度高于预设值时，k₁为负数，则，第二段视频中视频目标的运动幅度低于预设值，k₂为正数，则第三段视频中视频目标的运动幅度高于预设值，k₃为负数；

针对属于第三类别的第一输入视频，构建第三关系模型，具体包括：

公式(3)中，α为放大因子，fr为视频帧率，固定为30帧/s，i是每个时刻的帧数，k和b均是常数。

2.根据权利要求1所述的一种基于改进欧拉放大的分段平稳视频放大方法，其特征在于，所述步骤S2具体包括：首先将所述第一输入视频均剪成一样的时长，保存为统一的MP4格式或者AVI格式，然后对经过剪辑的第一输入视频先后进行空域分解处理和时域滤波处理，所述空域分解处理采用图像金字塔算法，所述图像金字塔算法采用高斯金字塔或者拉普拉斯金字塔；所述时域滤波处理采用巴特沃兹带通滤波器。

3.根据权利要求2所述的一种基于改进欧拉放大的分段平稳视频放大方法，其特征在于，

对步骤S4中得到的第一输出视频进行处理，得到第一输出视频的第一时空切片图，对第一输入视频采用EVM方法放大，得到第二输出视频，对第二输出视频进行处理，得到第二输出视频的第二时空切片图，通过比对分析第一时空切片图和第二时空切片图的区别，预测视频中物体的运动趋势。

4.根据权利要求3所述的一种基于改进欧拉放大的分段平稳视频放大方法，其特征在于，计算第一输出视频中每一帧的PSNR值和SSIM值，计算第二输出视频中每一帧的PSNR值和SSIM值，并且比对第一输出视频的PSNR值与第二输出视频的PSNR值，对比第一输出视频的SSIM值与第二输出视频的SSIM值；

所述PSNR值的表达式为：

公式(4)中，

表示为图片可能的最大像素值，MSE表示为均方误差，MSE的表达式如下：

公式(5)中，m、n为图像的尺寸，I代表干净图像，K代表噪声图像；

所述SSIM值的表达式为：

SSIM(x,y)＝[l(x,y)^α·c(x,y)^β·s(x,y)^γ] (6)

公式(6)中，α＞0,β＞0,γ＞0，l(x,y)，c(x,y)以及s(x,y)的表达式如下：

公式(7)，公式(8)以及公式(9)，l(x,y)表示亮度相似度，c(x,y)表示对比度相似度，s(x,y)表示结构相似度，μ_x和μ_y分别代表x,y的平均值，σ_x和σ_y分别代表x,y的标准差，σ_xy代表x和y的协方差，c₁，c₂，c₃分别为常数。

Images