CN109168002A - 基于压缩感知和卷积神经网络的视频信号测量域估计方法 - Google Patents

Abstract

本发明涉及一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：将参考帧图像数据划分为若干宏块；随机选取待估计宏块，选择与待估计宏块在第一方向和第二方向上相邻四个宏块；根据相邻四个宏块计算待估计宏块的像素值和真实测量值；构建卷积神经网络模型，计算待估计宏块的预测测量值；根据真实测量值和预测测量值对卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。本发明克服了现有技术不能兼顾计算复杂度与模型鲁棒性的问题，可快速分析出视频帧的时间相关性，在非常低的测量率和任意改变的运动向量的条件下仍能实现实时、准确地任意位置宏块分析。

Description

基于压缩感知和卷积神经网络的视频信号测量域估计方法

技术领域

本发明属于视频处理技术领域，具体涉及一种基于压缩感知和卷积神经网络的视频信号测量域估计方法。

背景技术

随着信息技术的飞速发展，人们对于图像、视频等多媒体信息的要求越来越高，照相机、摄像机等信号采集设备的压力也越来越大。传统的奈奎斯特(Nyquist)采样定理表明，为了不失真地恢复模拟信号，采样频率要求不低于信号最大频率的两倍。经过该采样方法得到的数字信号数据量巨大，且存在信息冗余，不利于存储和传输。基于压缩感知(Compressed Sensing，CS)理论的采样技术降低了对采样频率的要求，可以实现低功耗、低复杂度的信息采集，利用该技术可以实现更有效的信息采集、传输、存储以及处理。

为了高效地处理视频，基于CS理论的视频压缩感知(Compressed Video Sensing，CVS)编解码***被提出。它为我们提供了一个低复杂度处理视频信息的有效方法。然而，在CVS***中，一次采样过后，原始像素域信号转换到了测量域上，由于我们仅仅获得了块的测量值，视频帧间的时间相关性很难准确得到，这使得在测量域上直接获取视频序列的运动信息是不可能的，而视频序列间的运动信息，可以保证解码端在能够良好恢复原视频信号的前提下，减少编码端所需传输的数据量，进一步提高压缩采样效率。

另一方面，在视觉信息、语音信息和自然语言处理过程中有很多新兴的工具，深度学习作为一种非常有效工具得到了广泛的应用。其中，卷积神经网络(ConvolutionalNeural Network，CNN)是最具有代表性的深度学习网络模型，非常适用于处理图像和视频数据。1959年，Hubel&Wiesel发现，动物视觉皮层细胞负责检测光学信号。20世纪90年代，L.Cun等人发表论文，确立了CNN的现代结构。2012年CNN在ImageNet竞赛中一鸣惊人，直接奠定了它的重要地位。经过结构、算法上的不断完善，现在CNN的强大特征提取和拟合能力使得它广泛用在各种领域。

近年来，很多研究学者寻求CS与CNN的有效结合来解决CVS中存在的难题。Y.Shen,T.Han等人提出的“CS-CNN”方法中，直接利用CNN结构实现CS的采样和重构过程，该方法带来了计算复杂度的增加，并且忽略了视频帧间的时间相关性。另外，文章“Estimation ofmeasurements for block-based compressed video sensing:study of correlationnoise in measurement domain”提出了基于宏块的CVS测量域估计模型，该方法的不足在于，测量矩阵的伪逆矩阵通过奇异值分解近似得到，模型鲁棒性不高，当使用高斯矩阵作为测量矩阵时，估计误差非常大。

发明内容

为了解决现有技术中存在的问题，本发明提出了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：

将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块；

在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块；

根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值；

构建卷积神经网络模型，计算待估计宏块的预测测量值；

根据所述真实测量值和所述预测测量值对所述卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。

在本发明的一个实施例中，所述计算待估计宏块的像素值，包括：

对所述待估计宏块与所述相邻四个宏块进行建模运算，得到待估计宏块的像素值。

在本发明的一个实施例中，所述建模运算的公式为：

其中，x(B′)表示待估计宏块像素值，∑表示求和操作，Γ_i表示相邻四个宏块的位置关系矩阵，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4。

在本发明的一个实施例中，所述计算待估计宏块的真实测量值，包括：

根据预设规则，计算相邻四个宏块的测量值；

根据所述相邻四个宏块的测量值计算待估计宏块的真实测量值。

在本发明的一个实施例中，所述预设规则为：

y(B_i)＝Φx(B_i)

其中，y(B_i)表示宏块的测量值，x(B_i)表示宏块的像素值，i表示宏块的索引，Φ表示测量矩阵。

在本发明的一个实施例中，所述待估计宏块的真实测量值为：

其中，y_ture表示待估计宏块的真实测量值，∑表示求和操作，Λ_i表示由运动向量和测量矩阵确定的加权系数矩阵，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

在本发明的一个实施例中，所述卷积神经网络模型，包括：四个卷积神经网络和一个感知器层。

在本发明的一个实施例中，所述待估计宏块的预测测量值为：

其中，y_pred表示待估计宏块的预测测量值，∑表示求和操作，w_i代表相邻四个宏块的权重分布，f_i表示相邻四个宏块对应的卷积神经网络，ΦΓ_i表示卷积神经网络的输入，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

在本发明的一个实施例中，所述损失函数为测量域相关噪声，表达式为：

J＝||y_pred-y_true||₂/||y_true||₂

其中，J表示测量域相关噪声，y_true表示待估计宏块的真实测量值，y_pred表示待估计宏块的预测测量值。

在本发明的一个实施例中，所述预设阈值为0.003。

与现有技术相比，本发明的有益效果：

1、本发明通过将卷积神经网络引入视频压缩感知***当中，使用卷积神经网络训练测量矩阵的伪逆和块权重，克服了现有技术不能兼顾计算复杂度与模型鲁棒性的问题，使得本发明在准确性和实时性上优于现有技术，实现在测量域上建立任意位置宏块的精确估计，从而用于快速分析视频帧的时间相关性。

2、本发明基于有标签数据集的有监督训练，借助卷积神经网络结构的优点，通过降采样来充分利用数据本身包含的局部性等特征，并且保证一定程度上的位移和变形的不变性，使得模型获得很强的泛化能力。克服了现有技术由于测量率的要求使得资源受限条件下多媒体信息处理具有一定难度的不足，本发明即使在非常低的测量率和任意改变的运动向量条件下，相比于现有技术，仍然能够实现准确、实时的任意位置宏块分析，有效地在资源受限的环境中处理图像和视频信息。

附图说明

图1是本发明实施例提供的基于压缩感知和卷积神经网络的视频信号测量域估计方法的流程图；

图2是本发明实施例提供的待估计宏块的相对位置分解示意图；

图3是本发明实施例提供的卷积神经网络结构示意图；

图4是本发明实施例提供的卷积神经网络模型整体框架图；

图5是本发明实施例提供的仿真实验内容1相关噪声对比图；

图6是本发明实施例提供的仿真实验内容2相关噪声和时间复杂度对比结果。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的基于压缩感知和卷积神经网络的视频信号测量域估计方法的流程图。

本发明提供了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：

将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块。

为了采集足够多的样本，本发明具体实施例选取了视频序列的前15帧进行分析和建模，每两帧图像数据为一个图像组。

首先，将参考帧图像数据分成n个二维宏块并进行二维到一维变换，得到每个宏块的列向量x_i，其中每个宏块大小相同，互不重叠，i代表宏块的索引，n为大于1的整数。本发明的具体实施例是将每一帧图像分成大小为8×8的固定宏块。

在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块。

下面结合附图2对所述待估计宏块向量的分解做进一步说明：

图2中，假设运动向量MV＝(m，n)，待估计宏块B′的像素值可以分解为第一方向和第二方向上相邻四个宏块B_i，i＝1,2,3,4像素值的组合。其中，B₁′为第一方向上宏块B_i，i＝1,2的像素值组合，B₂′为第一方向上宏块B_i，i＝3,4的像素值组合。B′为第二方向上宏块B_i′，i＝1,2的像素值组合。

根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值。

所述计算待估计宏块的像素值，包括：

对所述待估计宏块与所述相邻四个宏块进行建模运算，得到所述待估计宏块像素值。

所述建模运算的公式为：

其中，x(B′)表示待估计宏块像素值，∑表示求和操作，Γ_i表示相邻四个宏块的位置关系矩阵，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4。

所述计算待估计宏块的真实测量值，包括：

根据预设规则，计算所述相邻四个宏块的测量值。

所述预设规则为：

y(B_i)＝Φx(B_i)

其中，y(B_i)表示宏块的测量值，x(B_i)表示宏块的像素值，i表示宏块的索引，Φ表示测量矩阵。

本发明的具体实施例分别采用高斯矩阵和部分哈达玛矩阵作为测量矩阵；测量矩阵的行数与列数之比表示测量率MR。本发明具体的实施例中MR的范围为0.1-0.7，验证了本发明良好的泛化能力。

根据所述相邻四个宏块的测量值计算所述待估计宏块的真实测量值。

所述待估计宏块的真实测量值为：

其中，y_ture表示待估计宏块的真实测量值，∑表示求和操作，Λ_i表示由运动向量和测量矩阵确定的加权系数矩阵，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

构建卷积神经网络模型，计算待估计宏块的预测测量值。

所述的卷积神经网络模型包括四个卷积神经网络和一个感知器层。每一个卷积神经网络包括3个卷积层，每个卷积层由多个二维特征映射平面组成，激活函数采用ReLu激活函数y＝max(0,x)；特别地由于测量域向量维度相对较低，本发明的卷积神经网络中不包含池化层；感知器层采用全连接网络结构，该层的激活函数采用恒等函数y＝x。

下面结合附图3对卷积神经网络模型中的卷积神经网络进行说明。

图3中卷积神经网络的输入大小为64*64，中间每一层的由多个特征映射图组成，每个特征映射图由多个神经单元组成，同一个特征映射图的所有神经单元共用一个卷积核。第一层卷积核的大小设置为1*1，第一层步长设置为(1，3)，第二层卷积核的大小为1*1，第二层步长设置为(1，3)，第一层的特征映射图数目设置为1，第二层的特征映射图数目设置为1。经过卷积核在二维平面上平移，并且卷积核的每个元素与被卷积图像对应位置相乘，再求和。通过卷积核的不断移动，得到下一层的特征输出。通过卷积运算，可以使原信号特征增强，并且降低噪音。

下面结合附图4对卷积神经网络模型的整体框架进行说明。

图4中将ΦΓ_i输入到对应的卷积神经网络f_i中，经过卷积神经网络的变换和运算得到对应的输出，标记为f_i(ΦΓ_i)，i＝1,2,3,4。将待估计宏块在第一方向和第二方向相邻四个宏块的测量值y_i与对应的卷积神经网络的输出f_i(ΦΓ_i)，i＝1,2,3,4，通过感知器层权重参数w_i加权线性求和得到卷积神经网络模型的输出y_pred，即：

其中，y_pred表示待估计宏块的预测测量值，∑表示求和操作，w_i代表相邻四个宏块的权重分布，f_i表示相邻四个宏块对应的卷积神经网络，ΦΓ_i表示卷积神经网络的输入，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

卷积神经网络实现了输入ΦΓ_i转换为加权系数矩阵Λ_i，这与测量矩阵Φ的伪逆矩阵有相同变换的作用。

根据真实测量值和预测测量值对卷积神经网络模型进行训练，本发明的具体实施例中采用mini-batch随机梯度下降优化方法，渐进的学习率调整方式，损失函数定义为测量域相关噪声J＝||y_pred-y_true||₂/||y_true||₂。

令X代表输入，X包括：测量矩阵Φ、相邻四个宏块的空间位置关系矩阵Γ_i以及相邻四个宏块的测量值y(B_i)，i＝1,2,3,4；y代表标签，y＝y_ture。

根据真实测量值和预测测量值对卷积神经网络模型进行训练的步骤为：

(1)向前传播阶段；将一个batch的样本集合X输入卷积神经网络模型计算相应的输出，在此阶段，信息从卷积神经网络模型的输入层经过逐级变换，利用卷积层共享权值、局部连接的特点进行足够复杂的非线性特征提取与合并，传送到卷积神经网络模型的输出层。

(2)向后传播阶段；计算卷积神经网络模型实际输出y_pred与样本标签y_true之间的误差，利用误差反向传播算法，使得残差逐级回传调整卷积神经网络模型的权值，从而不断降低测量域相关噪声。

(3)重复(1)和(2)的操作，不断将下一batch输入到卷积神经网络模型中进行训练，直到卷积神经网络模型输出层的损失函数低于0.003为止，训练得到最优的参数w₁、w₂、w₃、w₄以及卷积神经网络f₁、f₂、f₃、f₄中的权重和偏置。

基于训练完成的模型，在给定MR＝0.3、MV＝(3,1)时测得平均相对误差为0.0038。当MR和MV改变时，测得平均相对误差在0.0039到0.0068之间浮动。表明卷积神经网络模型具有比传统方法更强大的建模能力。

本发明的效果可以通过以下仿真实验作进一步说明。

1.仿真实验条件：

本发明的实验仿真环境为：

操作***：ubuntu 14.04，python2.7

实验平台：Tensorflow-1.4

处理器：Intel Core i7-7700k [email protected]×8

显卡：NVIDIA 1080Ti GPU

内存：15.6GB

本发明的仿真实验所用到的数据来源为代表性的视频序列Foreman CIF序列。压缩采样了Foreman CIF序列的前15帧，总样本数为11424，训练集和测试集随机划分为9632和1792；运动向量设置为MV＝(3,1)，3表示水平运动，1表示垂直运动；测量率MR＝0.3。

2.仿真实验内容：

本发明的仿真实验具体分为两个仿真实验。

仿真实验一：测量矩阵为高斯矩阵和部分哈达玛矩阵的宏块精确估计实验，在相同的实验仿真环境中，图5中，基准方法和本发明提出方法同采用高斯测量矩阵，本发明提出方法的相关噪声几乎是基准方法相关噪声的六十分之一。特别的，为了在一幅图上看到清晰的对比，利用高斯测量矩阵的本发明提出方法的对数相关误差缩小了15倍。

在相同的实验仿真环境中，图5中，基准方法和本发明提出方法同采用部分哈达玛矩阵测量矩阵，基准方法相关噪声是本发明提出方法的相关噪声的2-3倍(为了在一幅图上看到清晰的对比，两种方法的对数相关误差同时缩小了15倍)。

仿真实验二：不同运动向量和测量率条件下的宏块精确估计实验

利用高斯测量矩阵，batch＝300的条件下，设置不同的MV和MR进行相关分析实验。在图6中，以测量域的相关噪声(用CN表示)和时间复杂度(单位为秒)为衡量准则，当MV和MR发生改变，本发明提出方法总是大幅度优于基准方法。

3.仿真实验结果分析：

由图5可以看出，当给定测量率和运动向量，测量矩阵分别为高斯矩阵和部分哈达玛矩阵时，本发明提出的方法的在测量域的相关噪声对数误差相比于现有的近似模型有很大的优势。由图6可以看出，随着测量率在0.1-0.7的范围内改变，运动向量分别取(2,2)和(-2,-2)时，本发明提出的方法在相关噪声误差指标上和时间复杂度上远优于现有的近似模型。综上所述，本发明使用卷积神经网络来训练测量矩阵的伪逆和块的权重使得视频帧内任意宏块估计模型在精度和鲁棒性方面可以得到明显改善，甚至超过两个数量级。同时，本发明提出模型是接近实时的，处理时间几乎是现有近似模型的八分之一，可在资源受限的环境中处理图像和视频信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，其特征在于，包括：

将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块；

在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块；

根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值；

构建卷积神经网络模型，计算待估计宏块的预测测量值；

根据所述真实测量值和所述预测测量值对所述卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。

2.根据权利要求1所述的方法，其特征在于，所述计算待估计宏块的像素值，包括：

对所述待估计宏块与所述相邻四个宏块进行建模运算，得到待估计宏块的像素值。

3.根据权利要求2所述的方法，其特征在于，所述建模运算的公式为：

其中，x(B′)表示待估计宏块像素值，Σ表示求和操作，Γ_i表示相邻四个宏块的位置关系矩阵，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4。

4.根据权利要求1所述的方法，其特征在于，所述计算待估计宏块的真实测量值，包括：

根据预设规则，计算相邻四个宏块的测量值；

根据所述相邻四个宏块的测量值计算待估计宏块的真实测量值。

5.根据权利要求4所述的方法，其特征在于，所述预设规则为：

y(B_i)＝Φx(B_i)

其中，y(B_i)表示宏块的测量值，x(B_i)表示宏块的像素值，i表示宏块的索引，Φ表示测量矩阵。

6.根据权利要求4所述的方法，其特征在于，所述待估计宏块的真实测量值为：

其中，y_ture表示待估计宏块的真实测量值，Σ表示求和操作，Λ_i表示由运动向量和测量矩阵确定的加权系数矩阵，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

7.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型，包括：四个卷积神经网络和一个感知器层。

8.根据权利要求1所述的方法，其特征在于，所述待估计宏块的预测测量值为：

其中，y_pred表示待估计宏块的预测测量值，Σ表示求和操作，w_i代表相邻四个宏块的权重分布，f_i表示相邻四个宏块对应的卷积神经网络，ΦΓ_i表示卷积神经网络的输入，y(B_i)表示相邻四个宏块的测量值，x(B_i)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。

9.根据权利要求1所述的方法，其特征在于，所述损失函数为测量域相关噪声，表达式为：

J＝||y_pred-y_true||₂/||y_true||₂

其中，J表示测量域相关噪声，y_true表示待估计宏块的真实测量值，y_pred表示待估计宏块的预测测量值。

10.根据权利要求1所述的方法，其特征在于，所述预设阈值为0.003。