CN104867162B - 基于多成分鲁棒pca的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多成分鲁棒PCA的运动目标检测方法，包括：S101、对待检测视频序列进行行列向量化，获得视频数据矩阵；S102、根据所述视频数据矩阵，构建多成分鲁棒PCA模型；S103、采用增广拉格朗日乘子法对所述多成分鲁棒PCA模型进行交替迭代优化和乘子更新；S104、更新迭代次数，计算并判断当前次迭代是否收敛；S105、若当前次迭代收敛，则根据当前次迭代结果计算得到背景矩阵、所检测得到的运动目标矩阵和背景中的动态变化矩阵，从而实现运动目标检测，否则返回执行步骤S103。本发明可以从背景扰动中分离出有意义的显著运动目标，提升检测算法的鲁棒性。

Description

基于多成分鲁棒PCA的运动目标检测方法

技术领域

本发明涉及图像信息处理技术领域，尤其涉及一种基于多成分鲁棒PCA的运动目标检测方法。

背景技术

视频运动目标检测是智能视频信号处理中的一个基本问题，也是当前计算机视觉领域中受人关注的热点问题之一。由于视频图像中经常会包含不同样式的信息，但我们感兴趣的往往只是其中的运动目标。视频运动目标检测的目的就是将运动目标从这些复杂的背景环境中自动提取出来，从模式识别的角度看，我们可以认为这是复杂的背景环境和运动的前景目标的分类问题。视频运动目标检测是实现视频分析的重要基础，在基于对象的视频编码、基于内容的视频检索、智能视频监控、基于视频的人机交互、视频编辑等领域中也具有广泛的应用。

近年来，国内外科研工作者提出了诸多的运动目标检测算法，根据检测模型的不同，主要可分为背景差分法、帧间差分法和光流法。虽然这些目标检测方法取得了一定成功，但它们对场景中复杂动态的变化仍不够稳健。视频中光照的改变，目标运动形式的多样性(非刚性形变)，运动目标同背景间的相似性，场景背景的动态变化(雨、波浪、喷泉、随风摆动的树叶和摄像机的抖动)等因素均给运动目标检测的研究带来了挑战。实践表明关于视频对象检测的算法还远未成熟，如何寻求一个更为有效的检测模型是一个难点问题。

当前，研究者们将鲁棒PCA(Robust Principe Component Analysis，RPCA)理论引入视频运动目标检测问题，鲁棒PCA模型假设数据矩阵M由两个成分L与S组成，其中矩阵L具有低秩特性，数据矩阵S具有稀疏特性，在一定相干性约束等条件下，通过矩阵的低秩(核范数)与稀疏性(1范数)约束，运用凸优化方法可恢复出矩阵的低秩成分L和稀疏成分S。视频中的背景通常具有较强的相关性，近似位于同一低秩的子空间内，而前景目标呈现出与背景不同的运动样式以及纹理特征，可被视为偏离该低秩空间的显著误差或异常点，同时运动目标通常只占整个场景中的一小部分，符合误差稀疏性的约束，因此应用鲁棒PCA模型进行背景与前景分离是非常合适的，矩阵的低秩成分L可较好建模背景，而稀疏部分S则可有效分离运动目标，对视频背景的建模取得了为较为出色的结果，有助于提升算法的鲁棒性与准确性，为运动目标检测问题开辟了新的研究方向。在后续的研究中，Zhou等提出了GoDec分解模型(GoDecomposition:GoDec)，在原有鲁棒PCA模型上引入了噪声部分G，允许原矩阵存在一定的噪声成分。另外，GoDec通过非凸的秩rank(A)和稀疏度card(S)约束来进行成分分离。GoDec能够对背景中的噪声以及光照变化保持一定的鲁棒性，但是在复杂的动态背景下，检测到的运动目标仍然包含大量的背景部分。Wang等提出用基于概率的鲁棒矩阵因子分解(AProbabilistic Approach to Robust Matrix Factorization:PRMF)进行背景建模。PRMF假定低秩部分满足高斯分布，运用l₂范数来对矩阵的秩进行约束。PRMF在对视频序列中的运动目标检测有一定的效果，能够对一些噪声点保持鲁棒性，但是在复杂的动态背景下，PRMF对背景的表示仍然不足。

因此现有的鲁棒PCA模型仍存在的许多不足，例如将视频序列分解为低秩成分A和运动成分E后，E成分中同时包含了复杂背景中的动态扰动，常将其误判为有意义的运动目标。

发明内容

本发明所要解决的技术问题在于，提供一种基于多成分鲁棒PCA的运动目标检测方法，本发明引入成分分解思想，通过相干性约束将E成分进一步分解为E1和E2两个成分，期望E1成分为显著的前景目标，E2成分为背景扰动，进而从背景扰动中分离出有意义的显著运动目标，提升检测算法的鲁棒性。

为了解决上述技术问题，本发明提供了一种基于多成分鲁棒PCA的运动目标检测方法，包括：

S101、对待检测视频序列进行行列向量化，获得视频数据矩阵；

S102、根据所述视频数据矩阵，构建多成分鲁棒PCA模型；

S103、采用增广拉格朗日乘子法对所述多成分鲁棒PCA模型进行交替迭代优化和乘子更新；

S104、更新迭代次数，计算并判断当前次迭代是否收敛；

S105、若当前次迭代收敛，则根据当前次迭代结果计算得到背景矩阵、所检测得到的运动目标矩阵和背景中的动态变化矩阵，从而实现运动目标检测，否则返回执行步骤S103。

进一步的，所述S101具体包括：

对视频序列进行行列向量化，获得视频数据矩阵，其中，X∈R^m×n，X表示视频数据矩阵，R表示视频帧，m为视频帧的像素数，n为视频帧数。

进一步的，所述S102具体包括：

根据所述视频数据矩阵，构建多成分鲁棒PCA模型，其中，所述多成分鲁棒PCA模型为：

式中，A∈R^m×n为低秩成分，为矩阵A的核范数，表示背景矩阵，E₁、E₂∈R^m×n为稀疏成分，λ₁、λ₂为正则化参数，E₁₁为稀疏成分E₁的1范数，表示运动目标矩阵，为稀疏成分E₂的F范数，表示背景中的动态变化矩阵，表示E₁、E₂的相干性约束，γ表示相干性权重参数。

进一步的，所述S103具体包括：

S1031、构建所述多成分鲁棒PCA模型的增广拉格朗日函数为：

式中，Y∈R^m×n为拉格朗日乘子，β表示惩罚系数；

S1032、固定所述增广拉格朗日函数中的E₁和E₂，计算参数T＝X-E₁ ^k-E₂ ^k-Y_kβ_k，对计算参数T进行skinny奇异值阈值收缩，从而求得本次迭代更新后的低秩成分A_k+1，其中，k为上次迭代次数，E₁ ^k表示本次迭代时E₁的值，E₂ ^k表示本次迭代时E₂的值，Y_k表示本次迭代时拉格朗日乘子的值，β_k表示本次迭代时惩罚系数的值；

S1033、固定所述增广拉格朗日函数中的A和E₂，计算参数对计算参数T进行阈值为的软阈值收缩，从而求得本次迭代更新后的稀疏成分E₁ ^k+1；

S1034、固定所述增广拉格朗日函数中的A和E₁，并进行求导后得到本次迭代更新后的稀疏成分E₂ ^k+1；

S1035、更新拉格朗日乘子为

Y_k+1＝Y_k+β_k(X-A_k+1-E₁ ^k+1-E₂ ^k+1)和惩罚参数β_k+1＝min(ρβ_k,β_max)，其中，ρ为倍数因子，且ρ＞1。

进一步的，所述S104具体包括：

S1041、更新迭代次数；

S1042、计算收敛性条件RelErr1和RelErr2，其中，

RelErr2＝||Y_k+1-Y_k||_F/||X||_F；

S1043、当RelErr1＞ε₁或RelErr2＞ε₂时，判定为当前次迭代收敛，否则判定为不收敛，其中ε₁、ε₂表示第一阈值和第二阈值。

进一步的，所述S105具体包括：

S1051、若当前次迭代收敛，则输出当前次迭代更新后的低秩成分A_k+1、稀疏成分E₁ ^{k +1}和稀疏成分E₂ ^k+1；

S1052、根据所述低秩成分A_k+1、稀疏成分E₁ ^k+1和稀疏成分E₂ ^k+1计算得到背景矩阵||A||_*、运动目标矩阵||E₁||₁和背景中的动态变化矩阵从而实现运动目标检测；

S1053、若当前次迭代不收敛，则返回执行步骤S103。

实施本发明，具有如下有益效果：本发明利用多成分相干性约束，建立一种多成分鲁棒PCA的运动目标检测模型，模型在保持A成分低秩约束的同时，让E成分包含更多的运动信息，并利用相干性约束对E进行分解，分离为显著运动前景E1和背景扰动E2两种不同的运动形式，进而从中检测出有意义的运动目标E1，对复杂的背景运动更加鲁棒，达到了运动目标鲁棒检测的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明提供的基于多成分鲁棒PCA的运动目标检测方法的一个实施例的流程示意图；

图2是各算法对于WaterSurface序列中的运动目标检测效果对比图；

图3是各算法对于Campous序列中的运动目标检测效果对比图；

图4是本发明实施例对于Campous序列进行处理后的输出与原图的对比图；

图5是本发明实施例对于Bottle序列进行处理后的输出与原图的对比图；

图6是各算法在WaterSurface序列中的F-score值对比图；

图7是各算法在Campous序列中的F-score值对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决上述技术问题，本发明提供了一种基于多成分鲁棒PCA的运动目标检测方法，如图1所示，包括：

S101、对待检测视频序列进行行列向量化，获得视频数据矩阵。

其中，X∈R^m×n，X表示视频数据矩阵，R表示视频帧，m为视频帧的像素数，n为视频帧数。

S102、根据所述视频数据矩阵，构建多成分鲁棒PCA模型。

其中，所述多成分鲁棒PCA模型为：

式中，A∈R^m×n为低秩成分，为矩阵A的核范数，表示背景矩阵，E₁、为稀疏成分，用于表示各帧间偏离低秩成分的差异性，λ₁、λ₂为正则化参数，权衡低秩成分与稀疏成分的比率，||E₁||₁为稀疏成分E₁的1范数，表示运动目标矩阵，为稀疏成分E₂的F范数，表示背景中的动态变化矩阵，表示E₁、E₂的相干性约束，约束两者内积最小。γ表示相干性权重参数。

S103、采用增广拉格朗日乘子法对所述多成分鲁棒PCA模型进行交替迭代优化和乘子更新。

具体的，所述S103具体包括步骤：

S1031、构建所述多成分鲁棒PCA模型的增广拉格朗日函数为：

式中，Y∈R^m×n为拉格朗日乘子，β表示惩罚系数；

S1032、固定所述增广拉格朗日函数中的E₁和E₂，计算参数T＝X-E₁ ^k-E₂ ^k-Y_k/β_k，对计算参数T进行skinny奇异值阈值收缩，从而求得本次迭代更新后的低秩成分A_k+1，其中，k为上次迭代次数，E₁ ^k表示上次迭代后E₁的值，E₂ ^k表示上次迭代后E₂的值，Y_k表示上次迭代后拉格朗日乘子的值，β_k表示上次迭代后惩罚系数的值。

具体的，当固定所述增广拉格朗日函数中的E₁和E₂后，增广拉格朗日算法的目标函数化简为：

计算参数T＝X-E₁ ^k-E₂ ^k-Y_k/β_k，对计算参数T进行skinny奇异值阈值收缩Skin-SVD(T)＝UΛD^T，又式中 为收缩后的奇异值，因此计算得到此次迭代更新后的低秩成分

S1033、固定所述增广拉格朗日函数中的A和E₂，计算参数对计算参数T进行阈值为的软阈值收缩，从而求得本次迭代更新后的稀疏成分E₁ ^k+1。

具体的，当固定所述增广拉格朗日函数中的A和E₂时，增广拉格朗日算法的目标函数化简为：

计算参数对计算参数T进行阈值为的软阈值收缩，从而求得本次迭代更新后的稀疏成分E₁ ^k+1为：

S1034、固定所述增广拉格朗日函数中的A和E₁，并进行求导后得到本次迭代更新后的稀疏成分E₂ ^k+1；

S1035、更新拉格朗日乘子为

Y_k+1＝Y_k+β_k(X-A_k+1-E₁ ^k+1-E₂ ^k+1)和惩罚参数β_k+1＝min(ρβ_k,β_max)，其中，ρ为倍数因子，且ρ＞1。

S104、更新迭代次数，计算并判断当前次迭代是否收敛。

具体的，所述S104具体包括：

S1041、更新迭代次数；

S1042、计算收敛性条件RelErr1和RelErr2，其中，

RelErr2＝||Y_k+1-Y_k||_F/||X||_F；

S1043、当RelErr1＞ε₁或RelErr2＞ε₂时，判定为当前次迭代收敛，否则判定为不收敛，其中，ε₁、ε₂表示第一阈值和第二阈值。

S105、若当前次迭代收敛，则根据当前次迭代结果计算得到背景矩阵、所检测得到的运动目标矩阵和背景中的动态变化矩阵，从而实现运动目标检测，否则返回执行步骤S103。

具体的，所述S105具体包括：

S1051、若当前次迭代收敛，则输出当前次迭代更新后的低秩成分A_k+1、稀疏成分E₁ ^{k +1}和稀疏成分E₂ ^k+1；

S1052、根据所述低秩成分A_k+1、稀疏成分E₁ ^k+1和稀疏成分E₂ ^k+1计算得到背景矩阵||A||_*、运动目标矩阵||E₁||₁和背景中的动态变化矩阵从而实现运动目标检测；

S1053、若当前次迭代不收敛，则返回执行步骤S103。

为验证本发明的效果，对本发明进行仿真实验，测试序列规格是288×384，共100帧，测试序列来自标准的公共视频测试序列库，设置相关参数A₁＝0， Y₁＝0，β₀＝2×10^-3，β_max＝μ×10⁷，ρ＝1.1，γ＝6.5×10^-4，λ₁＝7.5×10^-3，λ₂＝5×10^-3，m＝288，n＝384，k＝1。

实验的评价使用定性和定量两种分析方法。

图2和图3给出了本发明和RPCA算法对运动目标检测效果的比较。从图2和图3可以看出，对于同一个测试视频序列，本发明的运动目标检测效果明显优于经典RPCA算法。

关于定量比较分析，使用F-score来评判。其中，F-score同时将真阳性(TruePositive，TP)、假阳性(False Positive，FP)和假阴性(False Negative，FN)都考虑在内，计算如下：

TP、FP和FN分别是真阳性、假阳性和假阴性。在背景建模问题中，F-score的计算如下：

其中R_s由背景建模得到的区域，R_g是真实的目标区域。好的背景建模应该提供大的F-score值。

选取两个测试序列，分别为Campous序列和Bottle序列，利用本模型分解后，原图、生成的背景、运动目标和背景中的扰动，通过图4和图5展示了本专利算法的效果。

从图4和图5可以看出，本发明在对存在复杂动态背景的视频序列的处理中起到了很大的效果，把背景中的大多数的动态扰动部分分解到了E2中，分解结果达到本算法预期的效果，使得检测的显著运动目标结果背景更加干净整洁，大大提高了运动目标检测的精度。

在作定量比较时，我们在从两个测试视频序列数据库上抽取部分帧，将每帧图片中检测到的运动目标与Groundtruth比对，计算出对应的F-score值。图6和图7给出了本发明算法和RPCA分别在测试集WaterSurface和Campous的F-score值。

综上可知，相对于传统目标检测并不能够有效的去除背景中的动态变化扰动，分离出的检测目标存在很大的背景动态扰动问题。本发明利用多成分相干性约束，建立一种多成分鲁棒PCA的运动目标检测模型，让稀疏部分E成分包含尽可能多的目标运动和背景运动，利用相干性约束对E进行分解，分为E1和E2两种不同的运动形式，将运动成分分解为显著运动前景E1和背景扰动E2，进而从中检测出有意义的运动目标E1，这对于复杂的动态背景目标检测保持较好的鲁棒，本文的算法对于背景动态变化扰动有了较大的抑制作用，可以更有效的检测出我们感兴趣的运动目标，无论是从检测的准确率还是从视觉效果上来看，都呈现出一定的优势。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于多成分鲁棒PCA的运动目标检测方法，其特征在于，包括：

S101、对待检测视频序列进行行列向量化，获得视频数据矩阵；

S102、根据所述视频数据矩阵，构建多成分鲁棒PCA模型；

S103、采用增广拉格朗日乘子法对所述多成分鲁棒PCA模型进行交替迭代优化和乘子更新；

S104、更新迭代次数，计算并判断当前次迭代是否收敛；

S105、若当前次迭代收敛，则根据当前次迭代结果计算得到背景矩阵、所检测得到的运动目标矩阵和背景中的动态变化矩阵，从而实现运动目标检测，否则返回执行步骤S103；

所述S101具体包括：

对视频序列进行行列向量化，获得视频数据矩阵，其中，X∈R^m×n，X表示视频数据矩阵，R表示视频帧，m为视频帧的像素数，n为视频帧数；

所述S102具体包括：

根据所述视频数据矩阵，构建多成分鲁棒PCA模型，其中，所述多成分鲁棒PCA模型为：

式中，A∈R^m×n为低秩成分，为矩阵A的核范数，表示背景矩阵，E₁、E₂∈R^m×n为稀疏成分，λ₁、λ₂为正则化参数，||E₁||₁为稀疏成分E₁的1范数，表示运动目标矩阵，为稀疏成分E₂的F范数，表示背景中的动态变化矩阵，表示E₁、E₂的相干性约束，γ表示相干性权重参数。

2.如权利要求1所述的基于多成分鲁棒PCA的运动目标检测方法，其特征在于，所述S103具体包括：

S1031、构建所述多成分鲁棒PCA模型的增广拉格朗日函数为：式中，Y∈R^m×n为拉格朗日乘子，β表示惩罚系数；

S1032、固定所述增广拉格朗日函数中的E₁和E₂，计算参数T＝X-E₁ ^k-E₂ ^k-Y_k/β_k，对计算参数T进行skinny奇异值阈值收缩，从而求得本次迭代更新后的低秩成分A_k+1，其中，k为上次迭代次数，E₁ ^k表示上次迭代后E₁的值，E₂ ^k表示上次迭代后E₂的值，Y_k表示上次迭代后拉格朗日乘子的值，β_k表示上次迭代后惩罚系数的值；

S1033、固定所述增广拉格朗日函数中的A和E₂，计算参数对计算参数T进行阈值为的软阈值收缩，从而求得本次迭代更新后的稀疏成分E₁ ^k+1；

S1034、固定所述增广拉格朗日函数中的A和E₁，并进行求导后得到本次迭代更新后的稀疏成分E₂ ^k+1；

S1035、更新拉格朗日乘子为Y_k+1＝Y_k+β_k(X-A_k+1-E₁ ^k+1-E₂ ^k+1)和惩罚参数β_k+1＝min(ρβ_k,β_max)，其中，ρ为倍数因子，且ρ＞1。

3.如权利要求2所述的基于多成分鲁棒PCA的运动目标检测方法，其特征在于，所述S104具体包括：

S1041、更新迭代次数；

S1042、计算收敛性条件RelErr1和RelErr2，其中，

RelErr1＝max(||A_k+1-A_k||_F,||E₁ ^k+1-E_1k||_F,||E₂ ^k+1-E₂ ^k||_F)/||X||_F，

RelErr2＝||Y_k+1-Y_k||_F/||X||_F；

S1043、当RelErr1＞ε₁或RelErr2＞ε₂时，判定为当前次迭代收敛，否则判定为不收敛，其中，ε₁、ε₂表示第一阈值和第二阈值。

4.如权利要求3所述的基于多成分鲁棒PCA的运动目标检测方法，其特征在于，所述S105具体包括：

S1051、若当前次迭代收敛，则输出当前次迭代更新后的低秩成分A_k+1、稀疏成分E₁ ^k+1和稀疏成分E₂ ^k+1；

S1052、根据所述低秩成分A_k+1、稀疏成分E₁ ^k+1和稀疏成分E₂ ^k+1计算得到背景矩阵||A||_*、运动目标矩阵||E₁||₁和背景中的动态变化矩阵从而实现运动目标检测；

S1053、若当前次迭代不收敛，则返回执行步骤S103。