CN109063763A - 基于pca的视频微小变化放大方法 - Google Patents

Abstract

本发明公开了一种基于PCA的视频微小变化放大方法，其实现过程是：首先将输入的视频图像从RGB颜色空间转换到YIQ颜色空间，然后按照帧循环的方式对视频中每一帧图像进行空间高斯/拉普拉斯金字塔分解，接着对空间尺度分解的数据进行PCA处理，得到感兴趣的微小变化信号，然后通过直接乘以一个人为设定的放大系数，实现对微小信号幅度的增强，而后进行高斯/拉普拉斯金字塔重建，最后与原始视频源进行相加，并将处理之后的视频图像从YIQ颜色空间转化到RGB颜色空间，得到视频微小变化放大结果。由于PCA处理本身具有抑制噪声的功能，使得本发明的方法能在放大微小变化的同时有效地抑制噪声，拓展了视频放大方法的实际应用。

Description

基于PCA的视频微小变化放大方法

技术领域

本发明属于视频图像处理领域，具体涉及一种基于PCA的视频微小变化放大方法。

背景技术

人类视觉***有其空间域敏感性限制，对于超出感知域的变化，裸眼无法感知。然而，很多人类视觉能力之外的信号有很强的信息性。例如，血液循环使得人体的皮肤发生细微的周期性变化，这个裸眼无法感知的变化却和人的心率非常吻合。手腕部位空间域的小幅度的振动，对肉眼来说很难看到，但放大后可以明显感知，从而揭示有趣的人体生理特征。机械磨具的微小振动，桥梁建筑物的轻微晃动等等，这些都是人眼无法直接感知的，但这些微小的运动均蕴含了有意义的信息。

视频微小变化放大技术是近年来兴起的一种用于改变视频中感兴信号变化幅度的技术，这类技术犹如视频中微小信息的“显微镜”，可以将这些微弱的信号放大到肉眼可以感知的程度，从而挖掘出视频中有价值的信息，进一步用于心率估计、脉搏波提取、磨具质量检测、桥梁振动监测等。鉴于此，研究开发高性能的视频微小变化放大方法已发展为目前国内外研究的热点。

线性欧拉视频放大技术既可以用于运动放大也可以用于颜色放大。例如，利用视频放大技术进行人体面部皮肤颜色变化放大，可以将看不见的血液容积脉冲(BloodVolume Pulse,BVP)信号增强到人肉眼可以直接感知的程度。如此可以使得心率信号变得可以直接被人肉眼可见的信号，进一步地用于非接触式心率的测量或者监测。这其中一个很重要的问题是，基于线性欧拉视频放大技术对BVP信号进行增强时，噪声的水平是与该微小变化的信号相当。这样在放大BVP信号的同时，噪声信号也会被同时放大，而且随着放大倍数的增加而增加，造成噪声极有可能会淹没有用的BVP信号，从而影响后续对BVP信号的提取和测量。对于线性欧拉视频放大技术的噪声问题的解决，Wadhwa等人在2013年对欧拉视频放大技术进行了改进，提出了基于相位的视频微小变化处理技术^[7]。基于相位的欧拉视频放大技术在放大动作的同时不会放大噪声，而是平移了噪声，因而可以达到更好的放大效果。但是该方法具有较大的计算量，难以满足实际应用的需求。故在2014年Wadhwa等人又开发了基于Riesz金字塔的视频微小变化放大技术。基于Riesz金字塔的放大技术与基于相位的视频放大技术相比，具有与之相当的效果，但其计算效率大大提升，一定程度上满足处理的需求。但是，远没有达到快速的实时处理的需要。因此，亟待提出一种能高效快速的抗噪的视频放大技术，实现在对视频微小变化放大的同时抑制噪声干扰。

发明内容

本发明的目的是针对线性欧拉视频放大技术对噪声敏感的问题，提出了一种基于PCA的视频微小变化放大方法，针对噪声情况下利用PCA处理结合欧拉视角对视频中微小变化进行放大，可用于心率检测、脉搏波提取和检测等健康医疗领域，也可用于监测桥梁振动、机械振动以及磨具质量检测等工程应用领域；解决传统线性EVM在放大颜色信号或者运动信号的同时放大噪声的问题，提升视频微小变化放大方法的抗噪性能，进一步拓展视频放大技术在实际场景中的应用。

本发明采用的技术方案是：

一种基于PCA的视频微小变化放大方法，其特征在于，包括以下步骤：

(1)输入视频：

输入一段含有微小变化(或运动)的视频，其分辨率和帧率一般没有特别的要求，可以通过普通摄像机或手机获取；

(2)空域滤波：

2a)颜色空间转换

将输入的视频序列由RGB颜色空间转换到YIQ颜色空间，将视频图像的亮度信息和色度信息分离，以备后续按不同需求对亮度和色度进行单独处理。YIQ是NTSC(NationalTelevision Standards Committee)彩色电视***所采用的颜色空间，其中，Y通道是图像的亮度信号，I和Q通道是图像的色度信号。RGB和YIQ的转换关系为：

当进行视频微小颜色变化放大时，选择对I和Q通道的色度信号进行处理，而进行微小运动放大时，选择对Y通道的亮度信号进行处理；

2b)空间金字塔

对视频的每一帧进行高斯/拉普拉斯金字塔多分辨率分解，得到不同空间频率的基带。进行空间金字塔分解的主要目的是为了防止视频帧之间物体运动位移较大时，算法会出现较大的误差。因此，在进行视频小运动放大处理之前先对视频图像进行金字塔分层处理，能有效地保证被放大的信号为较小的运动，从而进一步保证算法利用视频图像亮度变化与位移变化等效的理论前提；通过对视频的每一帧图像进行L层高斯/拉普拉斯金字塔多分层处理，视频中的运动可以逐层精细化，从而可以保证视频中待放大小运动位移不超过1个像素点；其中，金字塔分解层数L可由下式计算：

其中round表示四舍五入计算，h和w是原始视频图像的高度和宽度。

对视频图像进行空间高斯金字塔分解，具体如下：

①输入视频，提取视频帧长K，并进行帧循环处理；

②以第k(k＝1,2,3…)帧图像作为第0层，计算总的分解层数L；

③当前层是通过对前一层图像进行高斯滤波和降采样处理得到，其图像大小变为前一层的1/4；

④将步骤③迭代执行L-1次，得到第L层子带图像；

⑤令k＝k+1，循环执行以上步骤，直到k＝K为止，得到不同空间频率的基带；

(3)PCA处理：

以每个基带的图像作为样本，基带的图像的像素个数作为维数，进行PCA(principal Component Analysis)处理，得到感兴趣的包含微小变化的若干像素数据；

3a)计算协方差矩阵

将K帧视频图像对应的不同空间频率的基带构成K个样本，记此K维样本数据为：I_r＝[I_r1 I_r2 … I_rK]，其中样本数据的维数是由输入视频的尺度和金字塔分解的层数决定。下面计算矩阵I_r的均值和协方差矩阵如下：

3b)计算协方差矩阵的特征值和特征向量

利用下面的公式求解计算协方差矩阵的特征值和特征向量：

其中是由特征向量组成的矩阵，是由特征值组成的对角矩阵；

3c)数据投影

选取前L个较大的特征值和其对应的特征向量，并将样本点投影到选取的特征向量上如下：

这里，即为包含微小变化的若干像素数据。通过PCA处理，视频中的微小变化被选择出来，而且有一定程度上的抑制噪声的效果，所以，在光线不是很好的场景中，或噪声比较大的环境下，该方法与传统的EVM(Eulerian Vide oMagnification)相比，对噪声不敏感且与EVM效率相当；另外，利用PCA选择微小变化，无需视频中微小变化的先验信息；

(4)微小变化放大：

通过对PCA处理得到的数据乘以一个人为设定的系数，实现对微小变化的线性放大；如果是颜色放大，将I和Q通道的数据与该系数相乘；如果是进行运动放大，将Y通过的数据与该系数相乘；

(5)合成视频：

将放大后是序列数据进行高斯/拉普拉斯金字塔重建，并与原始的视频数据对应相加，得到放大后的视频；再将放大后的视频数据进行颜色空间转换，即将数据有YIQ颜色空间转回到RGB颜色空间，输出视频。

本发明与线性EVM相比具有如下优点：

1)本发明由于利用PCA对视频中的变化信号进行处理，从而无需已知视频中变化信号的频率等先验信息；

2)本发明在选择视频中微小信号的同时能抑制噪声，从而解决了线性EVM在放大微小信号的同时也会放大噪声的问题；

3)本发明结合线性EVM的计算效率高的优点，开拓了算法在实际场景中的应用空间；

实验结果表明，本发明与线性EVM方法相比，具有更强的抗噪声能力。

附图说明

图1是本发明方法的实现流程图。

图2是本发明应用于婴儿呼吸胸部微弱起伏运动放大的结果图。

图3是本发明应用于人体手腕部脉搏波动放大的结果图。

图4是婴儿呼吸运动放大的具体波形提取和分析图。

图5是人体手腕部脉搏波动放大的具体波形提取和分析图。

具体实施方式

参照图1所示，基于PCA的视频微小变化放大方法，包括以下步骤：

步骤1.输入视频：输入一段普通摄像机或手机获取含有微小变化的视频；

步骤2.空域滤波：首先将视频序列由RGB颜色空间转换到YIQ颜色空间，然后利用高斯/拉普拉斯金字塔对视频图像进行空间尺度分解；

步骤3.PCA处理：将空间尺度分解后的数据进行PCA处理，主要是计算协方差矩阵以及协方差矩阵的特征值和特征向量，然后重新按照从大到小的顺序对特征值进行排序，并选择前10个特征值所对应的特征向量作为新的基，投影空间尺度化之后的数据，从而得到待放大的微小信号；

步骤4.微小变化放大：将PCA处理后得到的数据直接与一个人为设定的放大系数相乘，实现对微小信号的幅度放大；

步骤5.合成视频：将放大后是序列数据进行高斯/拉普拉斯金字塔重建，并与原始的视频数据对应相加，得到放大后的YIQ颜色空间的视频，进一步将数据转换到RGB颜色空间，输出视频。

至此，基于胸口视频处理的呼吸率检测技术基本完成。

通过以下两组真是场景的视频运动放大实验进一步说明本发明的有效性。

1.实验设置：

实验环境：MATLAB R2014，Intel(R)Core(TM)i7-3770CPU 16GB RAM，Window7旗舰版。

实验数据：图2为婴儿睡觉时拍摄的视频，数据来源于Massachusetts InstituteOf Technology(MIT)Computer Science and Artificial Intelligence Lab(CSAIL)网站，该视频格式为AVI，帧率为30fps，大小为960×544像素；图3为利用普通摄像机拍摄的人体手腕部视频，并通过一定的格式的转换，变成AVI格式，帧率为30fps，大小为640×360像素。

实验参数：两个视频通过高斯/拉普拉斯金字塔分解层数均为8，图2所示的放大系数为50，与之对比的线性EVM的带通滤波器上下限为0.4Hz～3Hz；图3所示的放大系数为16，与之对比的线性EVM的带通滤波器上下限为0.4Hz～4Hz。

实验对比方法：主要是传统的线性EVM进行对比。

实验结果评价指标：相同放大倍数下噪声抑制情况，分别通过图像主观观察和提取波形的进行噪声分析的方式。

2.实验结果与分析：

实验1分别利用传统线性EVM和本发明方法对婴儿呼吸视频中的胸部起伏运动进行放大。该实验主要验证较低噪声的视频源在放大时噪声的放大情况。实验结果如图2所示，其中图2(a)上部分为视频源中第3帧图像，下部分为图2(a)上部分对应红线位置沿着时间轴的Y-T切面图；图2(b)为利用线性EVM对视频进行放大的结果和Y-T切面图；图2(c)为本发明方法进行视频放大的结果和Y-T切面图。

实验2分别利用传统线性EVM和本发明方法对人体手腕部脉搏波动进行放大。该实验主要验证在光线较弱噪声较大的情况下对视频放大噪声的处理效果。实验结果如图3所示，其中图3(a)是上部分为视频源中第6帧图像，下部分为图3(a)上部分对应红线位置沿着时间轴的Y-T切面图；图3(b)为利用线性EVM对视频进行放大的结果和Y-T切面图；图4(c)为本发明方法进行视频放大的结果和Y-T切面图。

从图2和图4可以看出，本发明对较低噪声的婴儿呼吸视频源在较大放大倍数下噪声抑制能力比传统线性EVM好。这是由于本发明利用的PCA处理的方式选择感兴趣的变化，其在选择变化信号的同时，能较好的抑制噪声。当时放大倍数较小时，噪声抑制效果不明显，但是放大倍数较大时，线性EVM会明显放大噪声，而本发明的方法对噪声的抑制效果很好。从图4的提取的波形也可以明显看出，本发明的方法相比线性EVM的方法具有较好的噪声抑制能力。

从图3显示，在光线较弱噪声较大的情况下，本发明方法的噪声抑制效果优于传统线性EVM。从图5不同位置提取的脉搏波波形可以也看出，经过PCA处理的视频放大结果在噪声的抑制上明显优于传统的EVM方法。

Claims (2)

1.一种基于PCA的视频微小变化放大方法，其特征在于，包括以下步骤：

(1)输入视频：

输入一段通过摄像机或手机获取的含有微小变化或运动的视频；

(2)空域滤波：

2a)颜色空间转换

将输入的视频序列由RGB颜色空间转换到YIQ颜色空间，将视频图像的亮度信息和色度信息分离，以备后续按不同需求对亮度和色度进行单独处理；YIQ是NTSC彩色电视***所采用的颜色空间，其中，Y通道是图像的亮度信号，I和Q通道是图像的色度信号；RGB和YIQ的转换关系为：

当进行视频微小颜色变化放大时，选择对I和Q通道的色度信号进行处理，而进行微小运动放大时，选择对Y通道的亮度信号进行处理；

2b)空间金字塔

对视频的每一帧图像进行L层高斯/拉普拉斯金字塔多分辨率分解，得到不同空间频率的基带；其中，金字塔分解层数L可由下式计算：

其中round表示四舍五入计算，h和w是原始视频图像的高度和宽度；

(3)PCA处理：

以每个基带的图像作为样本，基带的图像的像素个数作为维数，进行PCA处理，得到感兴趣的包含微小变化的若干像素数据；

3a)计算协方差矩阵

将K帧视频图像对应的不同空间频率的基带构成K个样本，记此K维样本数据为：I_r＝[I_r1 I_r2 … I_rK]，其中样本数据的维数是由输入视频的尺度和金字塔分解的层数决定；下面计算矩阵I_r的均值和协方差矩阵如下：

3b)计算协方差矩阵的特征值和特征向量

利用下面的公式求解计算协方差矩阵的特征值和特征向量：

其中是由特征向量组成的矩阵，是由特征值组成的对角矩阵；

3c)数据投影

选取前L个较大的特征值和其对应的特征向量，并将样本点投影到选取的特征向量上如下：

这里，即为包含微小变化的若干像素数据；

(4)微小变化放大：

通过对PCA处理得到的数据乘以一个人为设定的系数，实现对微小变化的线性放大；如果是颜色放大，将I和Q通道的数据与该系数相乘；如果是进行运动放大，将Y通过的数据与该系数相乘；

(5)合成视频：

将放大后是序列数据进行高斯/拉普拉斯金字塔重建，并与原始的视频数据对应相加，得到放大后的视频；再将放大后的视频数据进行颜色空间转换，即将数据有YIQ颜色空间转回到RGB颜色空间，输出视频。

2.根据权利要求1所述的基于PCA的视频微小变化放大方法，其特征在于，所述步骤(2)中，对视频的每一帧图像进行空间高斯金字塔多分辨率分解，具体如下：

①输入视频，提取视频帧长K，并进行帧循环处理；

②以第k(k＝1,2,3…)帧图像作为第0层，计算总的分解层数L；

③当前层是通过对前一层图像进行高斯滤波和降采样处理得到，其图像大小变为前一层的1/4；

④将步骤③迭代执行L-1次，得到第L层子带图像；

⑤令k＝k+1，循环执行以上步骤，直到k＝K为止，得到不同空间频率的基带。