CN113177462B - 适用于法庭庭审监控的目标检测方法 - Google Patents

Abstract

本发明公开了一种适用于法庭庭审监控的目标检测方法，首先将法庭庭审视频帧序列逐帧进行列向量化得到待观测矩阵X；再依据得到的待观测矩阵X，对构建的运动目标函数进行求解，得到相应的低秩矩阵和稀疏矩阵，其中低秩矩阵即为背景，稀疏矩阵即为需检测的目标；将稀疏矩阵提取出即得到需检测的目标。本发明针对法庭庭审监控视频中目标识别，基于拉普拉斯混合尺度和最大相关熵准则构建运动目标函数，利用最大相关熵准则对图像中的噪声进行约束，尤其是对非高斯噪声具有更好的鲁棒性，能够对起到很好的噪声抑制效果，使模型能够更加准确地检测出运动目标。

Description

适用于法庭庭审监控的目标检测方法

技术领域

本发明属于视频监控技术领域，涉及监控视频中的目标检测技术，尤其涉及适用于法庭庭审监控视频中的目标检测方法。

背景技术

法院信息化建设随着时代发展，信息化程度及业务也向更深的方向发展。其中，庭审监控视频处理是非常重要的一环。通过现代计算机技术辅助法官审判，帮助法警维护法庭秩序以及受到了广泛的关注，例如法庭违规行为的识别、法院庭审监控实时编码处理等，都离不开目标检测技术，目标检测是众多计算机视觉应用当中的基础步骤之一。

适用于法庭庭审监控视频中比较成熟的目标检测方法主要包括帧间差分法、背景差分法，但是这些方法既不能检测出运动物体的整体轮廓，也不能很好地适用于具有动态变化背景的场景当中；基于高斯混合模型的目标检测算法，但这类算法不能很好地克服动态背景和光照剧烈变化的场景。

近些年来，涌现出越来越多的基于鲁棒主成分分析(Robust PrincipleComponent Analysis，RPCA)的目标检测方法，这类算法在处理被噪声污染的数据时具有较强的鲁棒性，可以在不同场景下，例如动态背景、相机抖动等，对视频帧背景进行良好地建模，进而有效对前景目标进行提取。从原理上来说，RPCA就是将矩阵分解成一个尽可能的低秩矩阵和一个尽可能的稀疏矩阵，矩阵的秩代表着该矩阵所包含信息的丰富程度，低秩意味着矩阵有很多行或列是线性相关的，也意味着该矩阵的信息冗余程度比较高；稀疏则意味着矩阵中存在很多“零”值，可以对矩阵进行压缩处理。RPCA技术本质上是寻找待观测数据在低维空间上的最佳投影，当待处理数据较大或者包含有噪声时，RPCA技术在原理上可以恢复出其本质的低秩数据。将RPCA技术应用于目标检测任务的时候，一般会将图像的背景部分定义为低秩成分，而将图像中的目标定义为稀疏部分；操作流程即是将视频帧序列向量化为一个待观测矩阵，然后使用RPCA技术对该矩阵进行分解，得到一个尽可能低秩的矩阵和一个尽可能稀疏的矩阵，得到的低秩矩阵即为背景，稀疏矩阵即为所需检测的目标。

理论上，经典的RPCA模型检测运动目标是通过求解目标函数(1)得到的，

式中，X＝[x₁,x₂,…,x_T]∈R^m×T表示待处理视频帧序列经过向量化而成的矩阵，x_t是待处理视频帧序列的第t帧经过向量化得到，L＝[l₁,l₂,…,l_T]∈R^m×T和S＝[s₁,s₂,…,s_T]∈R^m×T分别表示低秩矩阵和稀疏矩阵，||·||₁表示一范式，||·||₂表示二范式，||·||_*表示核范式。使用批处理求解目标函数(1)的方法即为PCP(Principal Component Pursuit)方法，批处理的操作方式需要获取全部的待处理视频帧序列，当序列过长的时，该算法的计算复杂程度将会大大提高，而且该算法也并不符合实际视频帧实时处理的要求，因此目标函数(1)的在线求解方法被提了出来，即为ORPCA(Online RPCA)方法，该方法将目标函数(1)中的核范式使用公式(2)中的二范式来替代，

式中，U∈R^m×r和V∈R^T×r分别表示矩阵X的基和系数，r表示矩阵X的秩。将公式(2)带入目标函数(1)中即可得到ORPCA检测运动目标的目标函数(3)，

式中，v_t表示V^T的第t列，ORPCA方法通过求解目标函数(3)可以按照时间顺序逐帧检测运动目标，不需要像PCP方法那样，在获取全部待处理帧之后才能检测提取目标部分。

通过目标函数(1)和(3)可以得知，经典的RPCA方法(包括PCP方法和ORPCA方法)在应用于目标检测任务时通常会使用一范式来约束矩阵的稀疏部分，使用二范式约束矩阵的噪声部分，这也正是限制RPCA方法目标检测精度的原因所在：

(1)一范式对目标成分的稀疏约束在理论上是过于严格的，在实际的应用场景中不一定适用。图1给出了RPCA方法对运动目标提取结果；如图1所示，第一列为视频帧原始图像，第二列为使用批处理的RPCA方法(PCP)提取出的运动目标，第三列为使用在线处理的RPCA方法(ORPCA)提取出的运动目标。虽然经典的RPCA方法，例如PCP和ORPCA，可以检测出部分运动目标，但是检测的结果不是那么完整，这正是一范式的稀疏约束过于严格的结果。此外，通过图1中第一行的实验结果可观察出PCP方法有可能会将背景部分识别为运动目标，这是由于在原始视频中行人身后的树木是在左右摇摆的，因此PCP方法将其试别成了运动的目标；通过图1中第二行的实验结果可以看出，如果运动物体占据视频帧中很大像素的时候，其目标试别效果也会减低很多。

(2)二范式一般用来约束满足高斯分布的噪声，但是二范式对非高斯噪声相对敏感，不能对非高斯噪声有效建模。而在实际应用场景中视频帧序列所包含的噪声类型一般都是非高斯噪声。图2给出了RPCA方法对实际应用场景分析获得的噪声分布；如图2所示，第一列为视频帧原始图像，第二列为使用PCP方法所获得的噪声分布，第三列为使用ORPCA方法所获得的噪声分布。通过实验可以看出，使用二范式约束噪声部分，明显与高斯分布偏离，这是由于二范式对非高斯噪声较为敏感，所有基于二范式的噪声建模方法都不能对非高斯噪声有效建模。因此，在实际应用场景中难以得到有效应用，尤其对于含有非高斯噪声的实际应用场景。

综上所述，应用于法庭庭审监控视频的传统目标检测方法对于运动目标的识别准确度不高，难以实现目标的有效提取。而传统的RPCA方法虽然能够对运动目标实现一定的识别，但是由于一范式和二范式的约束，使得最终识别效果不够理想。

发明内容

针对目前法庭庭审监控中存在的目标识别准确度不高、识别效果不理想的技术现状，本发明的目的旨在提供一种适用于法庭庭审监控的目标检测方法，基于拉普拉斯混合尺度和最大相关熵准则对经典RPCA方法进行改进，在法庭庭审监控应用场景中，获得更加准确的目标检测结果。

本发明的发明思路为：基于拉普拉斯混合尺度和最大相关熵准则构建运动目标检测模型的目标函数，然后依据法庭庭审视频待处理帧序列，对目标函数进行求解，得到相应的低秩矩阵和稀疏矩阵，其中低秩矩阵记为背景，稀疏矩阵记为所需检测的目标。

基于上述发明思路，本发明提供的适用于法庭庭审监控的目标检测方法包括以下步骤：

S1将法庭庭审视频帧序列逐帧进行列向量化得到待观测矩阵X；

S2依据得到的待观测矩阵X，对构建的运动目标函数进行求解，得到相应的低秩矩阵和稀疏矩阵，其中低秩矩阵即为背景，稀疏矩阵即为需检测的目标；

所述运动目标函数为：

式中，

表示待观测矩阵，x_t为待处理视频帧序列的第t帧经过向量化得到，m表示每个视频帧中包含的像素个数，t_end表示待处理视频帧序列中总帧数，W表示权值矩阵，

表示矩阵之间的对应位置的元素相乘操作，U∈R^m×r和

分别表示矩阵X的基和系数，V^T表示V的转置，r表示矩阵X的秩，

表示稀疏矩阵，B表示隐藏乘子矩阵，A表示拉普拉斯变量矩阵，η表示给定的平衡因子，

表示模型误差的方差，

表示(·)L2范数的平方，下标2表示L2范数，上标2表示平方，b_i,t和α_i,t分别表示隐藏乘子和拉普拉斯变量，i＝1,2,…,m，t＝1,2,…,t_end，ε表示给定的非常小的接近零的非零值；

S3将稀疏矩阵提取出即得到需检测的目标。

上述

表示噪声约束部分。本发明为了使模型对非高斯噪声更加健壮，使用最大相关熵模型(Maximum Correntropy Criterion，MCC)对法庭庭审视频帧序列的噪声部分进行约束。相关熵是可以对非高斯噪声进行有效建模，对于两个随机变量X和Y，可以使用公式V_σ(X,Y)＝E[k_σ(X,Y)]＝∫k_σ(x,y)dF_XY(x,y)来刻画这两个变量之间的相关熵，其中E[·]表示期望，F_XY(x,y)表示(X,Y)的联合分布函数，k_σ(·)表示核函数，本发明中选取高斯核范数，即k_σ(e)＝exp(-e²/(2σ²))，σ表示高斯核宽度，e表示高斯核函数的输入参数，用以控制高斯核函数的径向范围，exp(·)表示对输入参数的每个元素进行相应的指数运算。

由于在实际应用中，随机变量之间的联合概率密度分布是不容易得到的，所以当给定确定个数的变量集

(n表示变量集的个数)的时候，计算随机变量相关熵可以通过公式

得到，最大相关熵准则(MCC)即是使得变量间的相关熵达到最大，也就是使得公式

达到最小，基于此，目标函数(3)中的二范式可以使用上式代替，用于约束模型的噪声部分：

基于半二次优化理论，公式(5)中的最大相关熵约束部分可以转换为权值矩阵的分解问题，因而目标函数(5)可转换为目标函数(6)

式中，W表示权值矩阵，该矩阵中的元素值可以通过模型误差即模型的噪声值获得，表示矩阵之间的对应位置的元素相乘操作。公式(6)即为使用MCC替代二范式约束模型误差的目标函数。

上述

表示目标前景部分。在LSM(Laplacian Scale Mixture)模型当中，图像中的每个目标像素被表示为由一个随机拉普拉斯变量与一个隐藏的正乘子相乘的形式，即

其中α_i,t表示随机拉普拉斯变量，b_i,t表示隐藏的正乘子。s_i,t则表示视频帧s_t的第i个元素，其假设性的先验分布可以由一个位置参数为零、尺度参数为b_i,t的拉普拉斯分布表示，即P(s_i,t|b_i,t)＝(1/(2b_i,t))exp(-|s_i,t|/b_i,t)，标准差b_i,t的先验分布设定为P(b_i,t)＝1/(b_i,t+ε)，其中ε表示设定的非常小的接近于零的非零值。由于目标元素s_i,t的概率分布可以被表示为

因此在LSM模型当中目标元素的概率分布可被表示出来。

使用最大后验估计(MAP)准则从已知矩阵X中分离出低秩矩阵L和稀疏矩阵S的目标函数为，

(L,S,B)＝arg max log P(X|L,S)+log P(L)+log P(S|B)+log(B) (7)

式中，P(X|L,S)表示均值为零、方差为

的高斯似然项，B表示隐藏乘子b_i，t的矩阵，低秩矩阵L的概率分布满足P(L)∝exp(-η||L||_*)。通过假设b_i,t和s_i,t是相互独立的，S中的元素是独立同分布的，目标函数(7)可以被进一步表示为，

其中，

表示目标前景部分，A表示拉普拉斯变量α_i,t的矩阵。公式(8)即为使用LSM对运动前景部分进行建模的目标函数。

上述步骤S2中，为了适应于视频帧实时处理的任务要求，运动目标函数(4)在线处理方式可被表示为目标函数(9)所示：

式中，b_t，α_t和w_t分别表示矩阵B，A和W^1/2的第t列，

表示视频帧x_t的稀疏部分(即前景部分)。目标函数(9)即为本发明中提出的运动目标检测最终目标函数。目标函数(9)中结合了最大相关熵准则(MCC)和拉普拉斯混合尺度(LSM)模型。

上述步骤S2中，依据得到的待观测矩阵X及目标函数(9)，基于以下优化思路进行求解：

(1)关于权重矩阵W的优化

对于待观测矩阵第t帧，w_t的优化解可表示为：

w_t＝sqrt(k_σ(x_t-l_t-s_t))(10)；

式中，sqrt(·)表示对每个输入像素均进行开方处理，l_t＝Uv_t表示低秩部分，

表示稀疏部分，w_t中每个元素w_i,t可以通过公式

获得，k_σ＝exp(-e²/(2σ²))，e＝x_t-l_t-s_t。

(2)关于待观测矩阵V的优化

对于待观测矩阵第t帧，v_t的优化公式如下：

通过对公式(11)求导可获得v_t的封闭解，即

式中，diag(·)表示对向量进行对角化操作，I是一个r×r的单位矩阵；

(3)关于稀疏矩阵S的优化

对于待观测矩阵第t帧，可以先分别确定b_t和α_t，然后根据

确定s_t：

(31)b_t的优化：

对于第t帧的第i个单独像素，b_i,t可以通过公式(13)单独获得：

虽然公式(13)是非凸的，但是b_i,t的封闭解可以通过求解公式(13)等号右边部分的导数获得，将公式(13)等号右边部分定义为f(b_i,t)，即

令df(b_i,t)/db_i,t＝0，可获得b_i,t的解为：

式中，

h＝-2w_i,t(x_i,t-l_i,t)α_i,t，

T_i,t＝min{f(0),f(b^*)}，b^*表示函数f(b_i,t)的稳定点，定义为公式(15)：

(32)α_t的优化：

对于第t帧的第i个单独像素，其α_i,t可以通过公式(16)单独获得：

α_i,t的封闭解为：

式中，

是软阈值运算，其阈值为

软阈值定义为：S_τ(ρ)＝sign(ρ)·max(|ρ|-τ_i,t,0)，sign(ρ)表示获取ρ的正负号，ρ＝(x_i,t-l_i,t)/(b_i,t+ε)。

在获取b_i,t和α_i,t之后，该帧的稀疏部分可由

得到；

(4)关于U的优化

对于待观测矩阵第t帧，U可以通过以下公式进行优化更新：

式中，Tr(·)表示计算矩阵的迹，I为一个r×r的单位矩阵；

C_t和F_t可以通过以下公式组进行更新：

式中，C₀＝0，F₀＝0，x_t′＝diag(w_t)x_t，s_t′＝diag(w_t)s_t，v_t′＝(U^TU)^-1U^Tdiag(w_t)Uv_t；

在实际应用中，U的第k列u_k可以按照以下公式进行优化更新：

式中，

和f_k分别表示矩阵的

和F_t的第k列，

表示矩阵

的对角线元素，k＝1,2,…,r。

依据待观测矩阵X以及初始化基U⁽⁰⁾、初始化低秩矩阵L⁽⁰⁾、初始化稀疏矩阵S⁽⁰⁾，给定r、ε、σ、η、

对构建的运动目标函数进行求解的过程为：对于视频帧序列第t帧，首先利用公式(20)对U进行更新，再利用公式(10)、(12)、(14)、(17)进行迭代求解，得到待观测矩阵的权重矩阵W、系数V、稀疏矩阵S和低秩矩阵L，并判断当前帧是否满足给定的收敛条件，若满足收敛条件，按照时间顺序重复上述操作，对待观测矩阵的各帧进行处理，纸质待观测矩阵X的所有帧数都处理完；若不满足收敛条件，则以当前迭代结果为基础，对当前帧重复上述操作，直至满足收敛条件。所述收敛条件为：

或当前帧迭代次数达到设定阈值；其中，

表示第t帧s_t的第(l+1)次迭代结果，

表示第t帧s_t的第l次迭代结果。

上述初始化基U⁽⁰⁾、初始化低秩矩阵L⁽⁰⁾、初始化稀疏矩阵S⁽⁰⁾包括以下分步骤：

M1初始化低秩矩阵L⁽⁰⁾，依据法庭庭审视频帧序列开始的若干帧，通过计算各帧对应位置平均值得到视频帧序列的中值，并以此作为初始化的低秩矩阵L⁽⁰⁾，即初始化背景；

M2初始化U⁽⁰⁾，按照以下公式得到待观测矩阵X的初始化基U⁽⁰⁾：

式中，U⁽⁰⁾表示待观测矩阵X的初始化基，R₁和R₂表示两个随机投影矩阵，随机投影矩阵满足高斯分布，A₁＝L⁽⁰⁾R₁，A₂＝L^(0)TR₂；L⁽⁰⁾为初始化背景；

M3初始化稀疏矩阵S⁽⁰⁾，任意给定初始稀疏矩阵S⁽⁰⁾。

本发明中，由于S⁽⁰⁾主要用于视频帧序列第1帧的第1次迭代，因此，该初始值的大小对于最终稀疏矩阵的确定影响不大，可以设定任意给定值，例如默认初始稀疏矩阵S⁽⁰⁾中各元素初始值为0，或者根据S⁽⁰⁾＝X-L⁽⁰⁾得到。

本发明提供的适用于法庭庭审监控的目标检测方法具有以下有益效果：

(1)本发明针对法庭庭审监控视频中目标识别，基于拉普拉斯混合尺度和最大相关熵准则构建运动目标函数，利用最大相关熵准则对图像中的噪声进行约束，尤其是对非高斯噪声具有更好的鲁棒性，能够对起到很好的噪声抑制效果；同时基于拉普拉斯混合尺度模型，将图像中的每个目标像素表示为由一个随机拉普拉斯变量与一个隐藏的正乘子相乘的形式，并使用最大后验估计准则将低秩矩阵和稀疏矩阵分离出，使模型能够更加准确地检测出运动目标。

(2)本发明在对法庭庭审监控视频的目标函数进行求解过程中，使用了逐帧迭代优化求解的方法，对视频帧序列进行实时处理。

附图说明

图1为传统PCP方法和ORPCA方法的目标检测结果；第一列为视频帧序列的原始图像，第二列为使用PCP方法检测的目标结果，第三列为使用ORPCA方法检测的目标结果。

图2为传统PCP方法和ORPCA方法获得的噪声分布；其中，(a)为视频帧序列的原始图像，(b)为PCP方法获得的噪声分布，(c)为ORPCA方法获得的噪声分布。

图3为本发明提供的适用于法庭庭审监控的目标检测方法流程示意图。

图4为本发明实施例中不同方法的背景提取结果；其中，第一列为被非高斯噪声污染的视频帧序列原始图像，第二列为背景标签，第三列为使用PCP方法提取到的背景，第四列为使用ORPCA方法提取到的背景，第五列为使用本实施例方法提取到的背景。

图5为本发明实施例中不同方法的目标检测结果；其中，第一列为视频帧序列的原始图像，第二列为目标前景的标签，第三列为使用PCP方法检测的目标结果，第四列为使用ORPCA方法检测的目标结果，第五列为使用本实施例方法提取到的目标结果。

图6为本发明实施例中不同方法对目标检测的检测结果；其中，第一行为6组数据集上视频序列的原始图像，第二行为原始标签，第三行为使用PCP方法获得的目标检测结果，第四行为使用ORPCA方法获得的目标检测结果，第五行为使用本实施例提供的目标检测方法获得的目标检测结果。

图7为本发明应用例中不同方法对目标检测的检测结果；其中，第一行为四组模拟法庭场景视频帧序列数据集上视频序列的原始图像，第二行为使用PCP方法获得的目标检测结果，第三行为使用ORPCA方法获得的目标检测结果，第四行为使用本实施例提供的目标检测方法获得的目标检测结果。

具体实施方式

结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明。

实施例

本实施例对本发明提供的适用于法庭庭审监控的目标检测方法进行详细说明。

如图3所示，本实施例提供的适用于法庭庭审监控的目标检测方法包括以下步骤：

S1将法庭庭审视频帧序列逐帧进行向量化得到待观测矩阵X；

本步骤中，依据模拟法庭庭审的视频数据，将视频帧序列中的每帧二维图像进行向量化处理(即将每帧二维图像拉成一列)，得到待观测矩阵X，

x_t为待处理视频帧序列的第t帧经过向量化得到，m表示每一视频帧中所包含的像素个数，t_end表示待处理视频帧序列中总帧数。

S2依据得到的待观测矩阵X，对构建的运动目标函数进行求解，得到相应的低秩矩阵和稀疏矩阵，其中低秩矩阵即为背景，稀疏矩阵即为需检测的目标。

上述运动目标函数为：

式中，

表示待观测矩阵，x_t为待处理视频帧序列的第t帧经过向量化得到，m表示每一帧中所包含的像素个数，t_end表示待处理视频帧序列中总帧数，W表示权值矩阵，

表示矩阵之间的对应位置的元素相乘操作，U∈R^m×r和

分别表示矩阵X的基和系数，V^T表示V的转置，r表示矩阵X的秩，

表示稀疏矩阵，B表示隐藏乘子矩阵，A表示拉普拉斯变量矩阵，η表示给定的平衡因子，

表示表示方差，||·||₂表示二范式，b_i,t和α_i,t分别表示隐藏乘子和拉普拉斯变量，i＝1,2,…,m，t＝1,2,…,t_end，ε表示给定的非常小的接近零的非零值。

本步骤中，依据待观测矩阵X以及初始化U⁽⁰⁾、初始化低秩矩阵L⁽⁰⁾、初始化稀疏矩阵S⁽⁰⁾，给定r、ε、σ、η、

利用公式(20)对U进行更新，并利用上式(10)、(12)、(14)、(17)进行迭代求解，得到待观测矩阵的权重矩阵W、系数V、稀疏矩阵S和低秩矩阵L。本实施例中给定r＝25、ε＝1×10^-5、σ＝1×10³、

具体实现方式可以参见以下算法流程：

基于上述算法流程，该步骤具体包括以下分步骤：

S21获取初始化基U⁽⁰⁾、初始化低秩矩阵L⁽⁰⁾、初始化稀疏矩阵S⁽⁰⁾，包括以下分步骤：

M1初始化低秩矩阵S⁽⁰⁾，依据法庭庭审视频帧序列开始的若干帧，通过计算各帧对应位置平均值得到视频帧序列的中值，并以此作为初始化的低秩矩阵L⁽⁰⁾，即初始化背景；

M2初始化U⁽⁰⁾，按照以下公式得到待观测矩阵X的初始化基U⁽⁰⁾：

式中，U⁽⁰⁾表示待观测矩阵X的初始化基，R₁和R₂表示两个随机投影矩阵，随机投影矩阵满足高斯分布，A₁＝L⁽⁰⁾R₁，A₂＝L^(0)TR₂；L⁽⁰⁾为初始化背景；

M3初始化稀疏矩阵S₀，本实施例中，默认初始稀疏矩阵S⁽⁰⁾中各元素初始值为0。

S22对于待观测矩阵X的第t帧，t＝1,2，…，t_end，利用公式(20)对U进行更新，得到第t帧对应的U^(t)；

S23对于待观测矩阵X的第t帧，利用公式(10)、(12)、(14)、(17)进行迭代求解，得到w_t、v_t、b_t和α_t，并按照

计算得到s_t，同时将其赋值给S的第t列，即S(:,t)←s_t；

S24利用l_t＝U^(t)v_t，计算得到l_t，同时将其赋值给L的第t列，即L(:,t)←l_t；

S25判断是否满足收敛条件，若满足收敛条件，进入步骤S26；否则则重复步骤S22～S25，对第t帧进行迭代求解，直至满足收敛条件；收敛条件为：

或当前帧迭代次数达到设定阈值(本实施例设定的阈值为100)；其中，

表示第t帧s_t的第(l+1)次迭代结果，

表示第t帧s_t的第l次迭代结果；

S26按照时间顺序对待观测矩阵的各帧进行处理，即在第t帧基础上增加1帧，之后返回步骤S22，直至待观测矩阵X的所有帧数都处理完。

S3将稀疏矩阵提取出即得到需检测的目标。

为了使目标提取效果更佳，可以进一步对提取的稀疏矩阵进行掩模处理，即首先给定一个掩模阈值，将稀疏矩阵中高于阈值的元素设置为1，其余设置为0；则1即表示运动目标所在位置，设置为1的图像即为掩模得到的前景目标。本实施例中，先计算提取到的稀疏矩阵的标准差，并以其作为掩模阈值，稀疏矩阵中元素绝对值大于标准差的将该元素设置为1，否则设置为0。

为了说明本发明中所提供的技术方案对非高斯噪声的抑制效果以及前景目标建模效果，这里对了本发明提供的目标检测方法与传统目标检测方法的测试效果。这里使用的图像数据均来自公共数据集http://www.changedetection.net/。

(一)噪声抑制

以两组不同场景的经非高斯噪声污染的视频帧序列作为原始数据集(图4中第一列给出了两组不同场景的经非高斯噪声污染的视频帧序列中的其中一帧图像，第二列为没有被噪声污染的对应帧的背景标签图像)。使用前述背景技术中目标函数(1)对应的PCP方法、目标函数(3)的ORPCA方法对其进行目标检测。同时按照上述步骤S1-S2处理。

PCP方法和ORPCA方法提取到的背景，以及按照上述步骤S1-S2处理，从步骤S2提取的背景(即低秩矩阵L)如图4所示，第三列为使用PCP方法提取到的背景，第四列为使用ORPCA方法提取到的背景，第五列为使用本实施例方法提取到的背景。从图中可以看出，由于二范式对高斯噪声比较敏感，使用最大相关熵准则对模型噪声进行建模可以使模型对非高斯噪声更加鲁棒。因此，使用最大相关熵准则取代二范式对模型的噪声部分进行建模，可以很好的克制非高斯噪声带来的影响，使模型可以有效对非高斯噪声建模。

(二)前景目标识别

以两组不同场景的视频帧序列作为原始数据集，图5中第一列给出了两组不同场景的视频帧序列中的其中一帧图像，第二列为对应帧经掩模处理后的目标前景标签图像。使用前述背景技术中目标函数(1)对应的PCP方法、目标函数(3)的ORPCA方法对其进行目标检测。同时按照上述步骤S1-S3处理。

PCP方法和ORPCA方法提取到的目标，以及按照上述步骤S1-S3处理，提取的目标(即稀疏矩阵S)如图5所示。第二列为目标前景的标签，第三列为使用PCP方法检测的目标结果，第四列为使用ORPCA方法检测的目标结果，第五列为使用本实施例方法提取到的目标结果。从图中可以看出，由于一范式对目标部分的稀疏约束过于严格，使用拉普拉斯混合尺度模型对目标前景进行建模可以更加准确地检测出运动物体；使用本实施例方法检测的目标标签与原始标签更加接近，证明使用LSM模型对前景目标部分进行建模更加贴合实际场景的应用情况。

为进一步证明本发明所提供的目标检测方法的检测效果，本实施例进一步以六组不同场景的视频帧序列作为原始数据集，图6中第一行给出了六组不同场景的视频帧序列中的其中一帧图像，第二行为对应帧经掩模处理后的目标前景标签图像。使用前述背景技术中目标函数(1)对应的PCP方法、目标函数(3)的ORPCA方法对其进行目标检测。同时按照上述步骤S1-S3处理。目标检测结果如图6所示，第三行为使用PCP方法获得的目标检测结果，第四行为使用ORPCA方法获得的目标检测结果，第五行为使用本实施例提供的目标检测方法获得的目标检测结果。

使用F-measure值作为检测性能优劣的评价标准，值越高说明目标检测的性能越好。目标检测结果的F-measure值对比结果如表1所示，从表1可以看出，本实施例所提供的目标检测方法在6组视频帧数据集上的目标检测效果达到了最佳，虽然经典的RPCA方法，例如PCP与ORPCA方法在目标检测任务上也可以取得一定的效果，但是与本实施例提供的目标检测方法相比，还存在一定的差距，本实施例提供的目标检测方法在6组视频帧数据集上均获得了良好的性能表现。

(1)表1目标检测结果的F-measure值对比

根据图6给出的上述6组视频帧数据集上的目标检测结果的视觉对比效果，可以看出，使用本实施例提供的目标检测方法所得到的目标检测结果与实际标签结果最为接近，也从另一个角度证明了，本发明所提供的目标检测方法较之经典的RPCA算法更为良好。

应用例

本应用例，以四组模拟法庭场景的视频帧序列作为原始数据集，图7中第一行给出了四组模拟法庭场景的视频帧序列中的其中一帧图像。使用前述背景技术中目标函数(1)对应的PCP方法、目标函数(3)的ORPCA方法对其进行目标检测。同时按照实施例中给出的步骤S1-S3处理，在处理过程中，给定r＝25、ε＝1×10^-5、σ＝1×10³、

使用的掩模阈值为提取到的稀疏矩阵的标准差。目标检测结果如图6所示，第二行为使用PCP方法获得的目标检测结果，第三行为使用ORPCA方法获得的目标检测结果，第四行为使用本实施例提供的目标检测方法获得的目标检测结果。

通过图7中的视觉效果对比可以看出，使用本实施例提供的目标检测方法所得到的目标检测结果与实际标签结果最为接近，也从另一个角度证明了，本发明所提供的目标检测方法较之经典的RPCA算法更为良好。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种适用于法庭庭审监控的目标检测方法，其特征在于包括以下步骤：

S1 将法庭庭审视频帧序列逐帧进行列向量化得到待观测矩阵X；

S2 依据得到的待观测矩阵X，对构建的运动目标函数进行求解，得到相应的低秩矩阵和稀疏矩阵，其中低秩矩阵即为背景，稀疏矩阵即为需检测的目标；

所述运动目标函数为：

式中，

表示待观测矩阵，x _t 为待处理视频帧序 列的第t帧经过向量化得到，m表示每个视频帧中包含的像素个数，t _end 表示待处理视频帧序 列中总帧数，W表示权值矩阵，

表示矩阵之间的对应位置的元素相乘操作，

和

分别表示矩阵X的基和系数，V ^T 表示V的转置，r表示矩阵X的秩，

表示 稀疏矩阵，B表示隐藏乘子矩阵，A表示拉普拉斯变量矩阵，b _t ，α _t 和w _t 分别表示矩阵B，A和W ^1/2 的第t列，

表示视频帧x _t 的稀疏部分；η表示给定的平衡因子，

表示模型误差 的方差，

表示二范式，b _i,t 和α _i,t 分别表示隐藏乘子和拉普拉斯变量，i=1,2,…,m， t=1, 2,…,t _end ，ε表示给定的非常小的接近零的非零值；

该步骤包括以下分步骤：

S21 获取初始化基U ⁽⁰⁾、初始化低秩矩阵L ⁽⁰⁾、初始化稀疏矩阵S ⁽⁰⁾；

S22对于待观测矩阵X的第t帧，t=1,2，…，t _end ，利用以下公式对U进行更新，得到第t帧对应的U ^(t)；

式中，

，

和f _k 分别表示矩阵的

和F _t 的第k列，

表示矩阵

的 对角线元素，k=1,2,…,r；

；

式中，C ₀=0，F ₀=0，

，

，

；

表示对向量进行对角化操作；

S23对于待观测矩阵X的记为第t帧，利用以下公式进行迭代求解，得到w _t 、v _t 、b _t 和α _t ，并 按照

，计算得到s _t ，同时将其赋值给S的第t列，即

；

式中，

表示对每个输入像素均进行开方处理，l _t=Uv _t 表示低秩部分，

表示稀疏部分；I是一个

的单位矩阵；

，

，

，

，b ^*表示函数f(b _i,t )的稳定点，定义为：

是软阈值运算，其阈值为

；

S24 利用

，计算得到l _t ，同时将其赋值给L的第t列，即

；

S25判断是否满足收敛条件，若满足收敛条件，进入步骤S26；否则则重复步骤S22~S25， 对第t帧进行迭代求解，直至满足收敛条件；收敛条件为：

或当前帧迭代 次数达到设定阈值；其中，

表示第t帧s _t 的第(l+1)次迭代结果，

表示第t帧s _t 的第l 次迭代结果；

S26 按照时间顺序对待观测矩阵的各帧进行处理，即在第t帧基础上增加1帧，之后返回步骤S22，直至待观测矩阵X的所有帧数都处理完；

S3 将稀疏矩阵提取出即得到需检测的目标。

2.根据权利要求1所述适用于法庭庭审监控的目标检测方法，其特征在于步骤S21中初始化基U ⁽⁰⁾、初始化低秩矩阵L ⁽⁰⁾、初始化稀疏矩阵S ⁽⁰⁾按照以下分步骤得到：

M1初始化低秩矩阵L ⁽⁰⁾，依据法庭庭审视频帧序列开始的若干帧，通过计算各帧对应位置平均值得到视频帧序列的中值，并以此作为初始化的低秩矩阵L ⁽⁰⁾，即初始化背景；

M2 初始化U ⁽⁰⁾，按照以下公式得到待观测矩阵X的初始化基U ⁽⁰⁾：

式中，U ⁽⁰⁾表示待观测矩阵X的初始化基，R ₁和 R ₂表示两个随机投影矩阵，随机投影矩阵 满足高斯分布，

，

；L ⁽⁰⁾为初始化背景；

M3初始化稀疏矩阵S ⁽⁰⁾，任意给定初始稀疏矩阵S ⁽⁰⁾。

Images