CN112653886A - 一种基于无线信号的监控视频流伪造检测方法和定位方法 - Google Patents

Abstract

本发明公开一种基于无线信号的监控视频流伪造检测方法和定位方法，属于视频流伪造检测领域。包括：实时等时间间隔采集视频监控区域的无线信号，得到与每个监控视频帧对应的相同个数的无线信号；分别从监控视频帧与无线信号中提取出JHM和PAF张量；若监控视频帧JHM和无线信号JHM相差大，判定当前监控视频帧为伪造。当监控摄像头与无线信号接收端处在同一空间时，视觉信号与无线信号同时能感知到人体的语义信息，从无线信号中提取人体语义信息。由于不存在伪造攻击时从视频帧与无线信号中分别提取的JHM张量相似，反之不相似，逐帧比较监控视频帧和无线信号的JHM张量差异实现伪造判断，满足实时性与细粒度检测。

Description

一种基于无线信号的监控视频流伪造检测方法和定位方法

技术领域

本发明属于监控视频流伪造检测领域，更具体地，涉及一种基于无线信号的监控视频流伪造检测方法和定位方法。

背景技术

随着人们在日常生活中对安全需求的不断增加，视频监控***在室内、室外的应用范围越来越广，如银行的犯罪预防、零售店的客户监控等。由于在现实世界中的普及率和显著性迅速增长，视频监控***不可避免地成为网络安全领域中具有吸引力的攻击对象。最近的研究表明，恶意攻击者可以通过利用监控摄像头的漏安全洞或劫持其连接以太网电缆潜入监控***，然后篡改真实的视频流内容，并进一步掩盖被监控区域内的非法活动，而留下任何可察觉的线索。在这种攻击威胁下，迅速对正在进行的网络攻击发出警报，并实时地追踪潜在的入侵者对监控***十分重要。

针对camera looping attacks(摄像头回放攻击)问题，Nitya Lakshmanan等人于2019年在《SurFi:detecting surveillance camera looping attacks with wi-fichannel state information》提出一种视频伪造检测方法，主要思想是基于同一空间中的视觉与WiFi CSI信号的相关时频域特征(事件的起止时间、主要频率成分)，对比两种信号特征的相似性，从而判断当前视频流是非与当前的无线信号匹配。如果不匹配检测为存在攻击。然而，该方法依赖视觉与无线信号中的事件级别的特征，造成以下问题：一是检测时间长，需要10-30s的原始信号序列作为检测单元；二是精度低，如果只用一个事件对应的数据，其***精度不足40％；三是假设感兴趣区域只有一个人，无法支持多人出现在摄像头覆盖范围内的情况；四是，即使检测出攻击存在，该***并不能定位出入侵者在监控区域的哪一个位置、做什么事情。因此，不能满足监控视频流对入侵检测的实时性、高精度和细粒度要求。

Cao Zhe等人于2016年提出一种定位方法，主要思想是基于人体语义信息PAF张量，设计了人体关节点的快速关联算法，进而从一张图片中估计出人体的2D姿态。然而，如果直接利用该方案分别从视觉与无线的JHM张量和PAF张量中恢复出各自的人体姿态，再逐一对比两种人体姿态的差异，从而实现入侵者定位。这种直接的方法会对每一张图片进行两次关节点关联算法，计算复杂度较大。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于无线信号的监控视频流伪造检测方法和定位方法，其目的在于解决现有视频监控***中的视频流伪造攻击检测中不能同时满足实时性与细粒度检测能力的要求。

为实现上述目的，按照本发明的第一方面，提供了一种基于无线信号的监控视频流伪造检测方法，该方法包括：

S1.实时等时间间隔采集视频监控区域的无线信号，得到与每个监控视频帧对应的相同个数的无线信号；

S2.分别从监控视频帧与无线信号中提取出人体关节热度图和PAF张量；

S3.若监控视频帧人体关节热度图和无线信号人体关节热度图相差大，判定当前监控视频帧为伪造。

优选地，步骤S2中，采用预训练好的OpenPose网络从监控视频帧中提取出人体关节热度图和PAF张量；采用预训练好的RF2Pose网络从无线信号中提取出人体关节热度图和PAF张量；

所述RF2Pose网络包括：

无线信号变换模块，用于将每个监控视频帧对应的所有无线信号变换为与监控视频帧长宽维度相同的中间特征，并输出给人体关节热度图生成模块和PAF张量生成模块；

人体关节热度图生成模块，用于根据中间特征生成人体关节热度图；

PAF张量生成模块，用于根据中间特征生成PAF张量；

RF2Pose网络的训练样本为无线信号，标签为OpenPose网络输出的对应人体关节热度图和PAF张量。

有益效果：本发明通过深度神经网络从每一视频帧对应的无线信号中提取人体语义信息，由于无线信号复杂多变，其与人体的影响关系难以通过传统方法建模，而深度学习方法具有极强的特征映射能力，因此，利用深度神经网络可以有效从每一视频帧对应的无线信号中恢复出人体语义信息，从而可实现逐帧的伪造检测。此外，在训练阶段，本发明利用跨模态训练的方法对RF2Pose网络进行训练，由于对无线信号进行人工的标签标定需要大量的时间和劳力，因此通过已经训练好的OpenPose网络输出作为对应无线信号的标签，可以省点大量的人工成本。

优选地，所述无线信号变换模块包括依次串联的一个反卷积网络、一个卷积网络和一个残差网络；所述人体关节热度图生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构；所述PAF张量生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构。

有益效果：本发明设计了一种新的深度神经网络结构，包括一个无线信号变换模块、一个人体关节热度图生成模块和一个PAF张量生成模块，以从复杂多变的无线信号中提取出人体关节热度图和PAF张量。由于无线信号空间分辨率较低，无线信号变换模块首先利用一个反卷积网络对输入的无线信号进行上采样，使其具有更高的空间分辨率，接着再输入一个卷积网络和残差网络得到将人体信息与视频帧空间信息关联的中间特征；由于中间特征的人体语义信息还比较粗糙，其与人体关节热度图的映射关系还需进一步明确，因此人体关节热度图生成模块首先利用一个解码网络通过一层反卷积层加两层卷积层的重复结构逐步细化中间特征，接着利用一个全卷积网络将细化后的中间特征图转换为人体关节热度图；类似的，由于中间特征的人体语义信息还比较粗糙，其与PAF张量的映射关系还需进一步明确，因此PAF张量生成模块首先利用一个解码网络通过一层反卷积层加两层卷积层的重复结构逐步细化中间特征，接着利用一个全卷积网络将细化后的中间特征图转换为PAF张量。

优选地，所述RF2Pose网络在训练阶段的损失函数如下：

其中，

和

分别表示对应人体关节热度图JHM和PAF的损失函数，

分别表示第y个训练样本视频帧输入到OpenPose网络得到的JHM和PAF张量，

分别表示第y个训练样本无线信号输入到RF2Pose网络得到的JHM和PAF张量，Y表示训练样本个数，J表示人体抽象出的连接关节点个数，C表示人体部分数量，h,w表示像素点坐标，

和

分别表示JHM和PAF张量逐像素点的权重因子，λ₁、λ₂、β₁和β₂表示

和

在总的目标函数中的影响的平衡系数，

表示第j个关节点在视觉JHM像素点(h,w)上的置信度，

表示第j个关节点在无线JHM像素点(h,w)上的置信度，

表示第c个人体部分在视觉PAF像素点(h,w)上的位置和方向信息，

表示第c个人体部分在无线PAF像素点(h,w)上的位置和方向信息。

有益效果：本发明提出了一种新的损失函数，由于视频帧中背景时常占据了大多数像素，因此JHM(PAF)张量中大多数的元素值等于零，而传统L2损失函数倾向于减少总体(所有元素)的误差，因此造成视觉JHM(PAF)和无线JHM(PAF)张量之间的差距较大。为此，因此本发明通过设置

与第(h,w)个元素的绝对值线性相关来提高非零元素得权重，使得RF2Pose网络更多地关注有人体存在得区域，而忽略背景区域，进而大大降低视觉JHM(PAF)和无线JHM(PAF)张量之间的差距；另外，考虑到JHM和PAF张量指示了不同的人体语义信息且具有不同的数值尺度，本发明通过设置不同的系数λ₁、λ₁、β₁和β₂去平衡

和

在总的目标函数中的影响。经过上述训练过程，使得深度神经网络能从无线信号中提取更有效的PAF信息，从无线信号中恢复的JHM张量更加准确。

优选地，步骤S3中，采用人体关节热度图的相似度或者差值为依据，设定阈值或者构建二分类器，判断监控视频帧人体关节热度图和无线信号人体关节热度图差异大小。

有益效果：本发明利用人体关节热度图的相似度或者差值为判断依据。如果攻击不存在则其相似度较高或者差值较小；反之，则相似度较低或者差值较大。因此，基于上述关系，利用其相似度或者差值可以减少两种人体关节热度图中的冗余信息，实现简单快速的伪造检测。

为实现上述目的，按照本发明的第二方面，提供了一种基于无线信号的监控视频流伪造定位方法，该方法包括：

(T1)采用如第一方面所述的检测方法对监控视频流进行伪造检测；

(T2)对于检测结果为伪造的监控视频帧，计算当前监控视频帧人体关节热度图和无线信号人体关节热度图的差值绝对值、PAF张量和值；

(T3)基于人体关节热度图的差值绝对值，选出当前监控视频帧对应的异常人体关节点集合；

(T4)对当前监控视频帧的PAF张量和值与异常人体关节点集合进行关节点关联运算，得到的异常人体关节点之间的关联状态，从而确定伪造的人体对象在当前监控视频帧中的位置。

优选地，步骤(T3)中，通过非极大值抑制方法选出当前监控视频帧对应的异常人体关节点集合。

有益效果：本发明通过非极大值抑制方法选出当前监控视频帧对应的异常人体关节点，由于JHM差值张量里面的元素有正有负，而非极大值抑制操作只有在正值上才有相应的意义。

为实现上述目的，按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个第一程序，所述一个或者多个第一程序被一个或者多个处理器执行，以实现如第一方面所述的基于无线信号的监控视频流伪造检测方法的步骤；或，所述计算机可读存储介质存储有一个或者多个第二程序，所述一个或者多个第二程序被一个或者多个处理器执行，以实现如第二方面所述的基于无线信号的监控视频流伪造定位方法的步骤。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明通过将从监控视频帧中提取的JHM张量与处于同一空间的无线信号中提取的JHM张量进行差异比较，判断这一视频帧是否为伪造的。由于人体电解质常数较大，无线电磁信号遇到人体会遭到很强的反射作用。因此当监控摄像头与无线信号接收端处在同一空间时，视觉信号与无线信号同时能感知到人体的语义信息，因此，可从广泛存在的无线信号中提取这些人体语义信息。由于不存在伪造攻击时从同一时刻对应的视频帧与无线信号中分别提取的JHM张量相似，存在攻击时JHM张量不相似，因此，逐帧比较监控视频帧和对应无线信号的JHM张量差异比较实现伪造判断，从而同时满足实时性与细粒度检测能力的要求。

(2)本发明在定位阶段，将视觉与无线的JHM差值张量的绝对值做非极大值抑制，从而选出候选的异常人体关节点集合。此后，将视觉PAF张量与无线PAF张量求和，得到PAF和值张量。最后利用人体关节点关联算法，就可定位出异常人体目标所在图片中的位置和姿态。直接基于JHM差值张量的绝对值选出异常人体关节点集合，可避免分别从视觉与无线JHM张量中选取各自的人体关节点集合；对视觉与无线PAF张量求和，得到PAF和值张量，对之后的人体关节点关联没有太大的影响并且可以减少计算量；只需使用一次人体关节点关联算法，从而减少计算开销。

附图说明

图1为本发明实施例提供的视频监控***中存在的视频帧伪造攻击场景示意图；

图2为本发明实施例提供的一种基于无线信号的监控视频流伪造攻击检测与定位方法流程图；

图3(a)为本发明实施例提供的CSI重采样示意图；

图3(b)为本发明实施例提供的异常点分布示意图；

图4为本发明实施例提供的基于视频帧与无线信号的人体语义特征提取物示意图；

图5为本发明实施例提供的基于人体语义特征的视频帧伪造检测与定位示意图；

图6为本发明实施例提供的基于人体语义特征的视频帧帧间攻击下的伪造定位结果；

图7为本发明实施例提供的基于人体语义特征的视频帧伪造帧内攻击下的伪造定位结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

由于在现实世界中的普及率和显著性迅速增长，视频监控***不可避免地成为网络安全领域中具有吸引力的攻击对象。如图1所示，恶意攻击者可以通过劫持其电缆潜入监控***，然后篡改真实的视频流内容，并进一步掩盖监控区域内的非法活动。在这种攻击威胁下，迅速对正在进行的伪造攻击进行检测，并实时地追踪潜在的入侵者对视频监控***十分重要。然而，现有的方法都不能同时满足监控视频流伪造检测的实时性和细粒度要求。

为此，本发明提出一种如图2所示的基于无线信号的监控视频流伪造攻击检测与定位方法。特别地，本实施例以WiFi信号为例，验证本发明的可行性。如今，很多监控摄像头所覆盖的区域，如商店、家庭等，也被WiFi热点所覆盖。由于人体对WiFi信号具有较高的反射系数。在这些区域，同步的监控视频信号和接收到的WiFi信号会携带一致的人体语义信息。一旦攻击者对监控视频流进行伪造攻击，这种跨模态的信息对应关系将被解耦。因此，可以利用这种信息的对应关系进行实时的视频帧伪造检测和定位。如图2所示，***包括多模态信号处理、人体语义信息提取和伪造检测与定位三个功能模块。

在多模态信号处理模块，首先解压来自于监控摄像头的实时视频流，并将其记为

II＝(I¹，…，I^m，…，I^M)

这里M是视频流中一个GOP(Group of Pictures)包含的视频帧的个数，I^m是一张解压之后的图片。与此同时，***接收来自于位于同一区域的WiFi接收端的CSI幅值数据流，并记其为

其中，Aⁿ是一个CSI幅值矩阵，包括第n个CSI采样点的全部幅值特征。

针对无线信号的测量值之间的时间间隔往往变化较大，降低了无线信号测量值的周期性，不利于视觉信息与无线信息的精准对应，本发明在无线信号处理阶段，先基于视频流的时间戳对接收的无线信号测量值进行等时间间距的重采样，经过重采样之后，视觉与无线信号之间的信息对应将更加地准确。

如图3(a)所示，由于随机接入机制以及丢包现象的存在，相邻两个原始CSI采样点之间的时间间隔并不固定。这样会导致单位时间内的CSI采样点个数不固定，降低了CSI数据的周期性，不利于视觉信息与无线信息的精准对应。

为了解决这个问题，考虑到视频流II的时间戳更加精准，***基于II与

的时间戳对

中的CSI测量值进行重采样。具体方法如下：计t_m-1和t_m分别为连续两个视频帧I^m-1和I^m对应的时间戳。由于WiFi信号的采样率F_w往往大于视频流的帧率F_I，因此***对于视频帧I^m可重采样F≤F_w/F_I个CSI采样点，并记为

其中，各采样点之间的时间间隔固定，且为(t_m-t_m-1)/F。为了实现以上目标，可以利用低计算复杂度的线性插值方法实现。

另外，由于环境噪声的干扰，***将对

对应的重采样点进行异常点消除。特别地，异常点的数值相对于周围的数值相差巨大，因此会影响重采样值的有效性。针对异常点的数值相对于周围的数值变化较大，因此会影响重采样值的有效性，本发明对重采样后的无线信号进行异常点消除，重采样与异常点消除可以让深度神经网络从无线信号中更好地提取JHM和PAF张量。

为了解决这个问题，本实施例利用Hampel滤波对CSI的重采样值进行异常点消除。如图3(b)所示，经过Hampel滤波之后，CSI中的异常点可被有效检测和剔除。经过以上操作，对应于视频帧I^m，可以得到一组包含F个CSI幅值特征的集合R^m，并将其命名为RF帧。或者采用邻域均值替换异常值。

在人体语义信息提取模块，***将分别从视频帧I^m和RF帧R^m中提取相应的人体语义信息。***将人体的语义信息表示为JHM特征(Joint Heat Maps)和PAF特征(PartAffinity Fields)。具体地，将人体抽象为J个连接的关节点。JHM代表了不同关节点在I^m不同位置上的置信度。对于某一视频帧

JHM是一个三维的张量

并记为

其中，

是第j个关节点在图像空间上的置信度。另外，PAF指示了C个人体部分(一个部分由两个连接的关节点决定)的空间信息。特别地，PAF可表示为一个4维的张量

比记为

其中，

代表了第c个人体部分在图像空间上的位置和方向信息。如图4所示，***利用一个OpenPose神经网络与一个RF2Pose神经网络分别从频帧I^m和RF帧R^m中提取相应JHM和PAF张量。具体地，对于视频帧I^m，OpenPose神经网络首先利用一个FPN(Feature Pyramid Network)网络从视频帧中提取多尺度的视觉特征。接着，OpenPose神经网络再利用一个两阶段的CNN网络(卷积神经网络)提取出JHM和PAF特征。上述两个步骤可记为

其中，

代表OpenPose神经网络的参数。对于RF帧R^m，RF2Pose神经网络包含一个CSI转换器、一个JHM生成器和一个PAF生成器。CSI转换器将输入的R^m转换为包含人体语义信息的中间特征，JHM生成器从中间特征中提取出JHM张量，PAF生成器从中间特征中提取出PAF张量。因此，给定输入R^m，RF2Pose神经网络的输出可记为

其中，

代表RF2Pose神经网络的参数。对于

可以利用已有的公开数据集训练OpenPose网络得到。对于

由于缺少相应的公开数据集，因此需要设计一个跨模态学习的方法获得。具体地，在训练阶段，给定一组训练集{(I^y,R^y)}_y＝1:Y，首先将{I^y}_y＝1:Y输入到OpenPose神经网络中并得到相应的视觉语义特征集合

随后，将{R^y}_y＝1:Y作为RF2Pose神经网络

的输入，

作为对应的训练标签。因此，

的训练目标为最小化它的输出与

输出的差异：

其中

和

分别是对应JHM和PAF的损失函数，它们可进一步表示为

在上面两个公式中，

和

分别是JHM和PAF张量逐像素点的权重因子。由于JHM和PAF张量中大多数的元素值接近于零，设置

和

与第(h,w)个元素的绝对值线性相关，以给非零元素更大的权重。另外，考虑到JHM和PAF张量指示了不同的人体语义信息且具有不同的数值尺度，本实施例设置不同的系数λ₁、λ₂、β₁和β₂去平衡

和

在总的目标函数中的影响。因此可得

在伪造检测与定位模块，***基于获得的JHM张量

和

与PAF张量

和

对于视频帧I^m进行伪造检测与定位。在视频帧伪造检测阶段，将两个JHM张量

和

做差，得到JHM差分张量D^m为

上式的差分运算可以有效保留伪造信息并去除冗余的不相关信息。这是因为，如果视频帧I^m不是伪造的，那么

和

就应该很相似，那么它们之间的差异就应该很小。反之，它们的差异就应该很大。基于JHM差分张量，可将其输入一个二分类的检测网络去估计I^m被攻击的概率。特别地，将二分类的检测网络记为

则其输出为一个概率向量

在获得

之后，***可以根据

与

的数值大小做出判决：

本实施例中，伪造概率阈值大于0.5判定为伪造。一旦检测到伪造攻击，那么视频监控***对伪造攻击做出及时的响应，例如预警。并进一步对伪造区域中的异常人体目标进行定位，从而准确地追踪入侵者的轨迹与行为。

如图5所示，本发明提供了一种定位方法，包括：采用如上述检测方法对监控视频流进行伪造检测；对于检测结果为伪造的监控视频帧，计算当前监控视频帧人体关节热度图和无线信号人体关节热度图的差值绝对值、PAF张量和值；基于人体关节热度图的差值绝对值，选出当前监控视频帧对应的异常人体关节点集合；对当前监控视频帧的PAF张量和值与异常人体关节点集合进行关节点关联运算，得到的异常人体关节点之间的关联状态，从而确定伪造的人体对象在当前监控视频帧中的位置。

为此，首先从JHM差分张量D^m中选取候选的人体关节点。由于D^m是

与

的差值，所以它的数值有正有负。因此，***基于D^m中每个元素的绝对值做非极大值抑制操作，选出一个候选关节点集合：

其中，N_j代表第j个关节点的个数，

是第j个关节点的第n个候选点。接着，基于两个PAF张量

和

将

中的候选关节点关联起来，从而选出异常人体目标。为此，***先将

和

求和得到PAF和张量：

然后，基于

和

估计出异常人体目标的所在区域及姿态。特别地，人体姿态可以表征为一组关联的关节点，而

中最佳的关联方式

可以通过以下方式获得

其中，

代表关联函数。另外，

中的每一个元素是一个二元变量

并指示了第k₁个节点与第k₂个节点的关联状态。基于上述操作，***可获得异常人体目标所在的位置以及其状态，从而实现伪造区域的定位。

图6所示为帧间攻击下的伪造定位效果，上半部代表原始的视频帧，下半部代表伪造的视频帧，定位结果(关联起来的人体关节点)重叠在伪造帧上。图6中原始视频帧被一张不包含人体目标的视频帧替换。使用本发明提出的方法有效定位出帧间攻击下所有伪造人体目标的位置。

图7所示为帧内攻击下的伪造定位效果，上半部代表原始的视频帧，下半部代表伪造的视频帧，定位结果(关联起来的人体关节点)重叠在伪造帧上。图7中原始视频帧中左边人体目标被背景替换。使用本发明提出的方法有效定位出帧内攻击下所有伪造人体目标的位置。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于无线信号的监控视频流伪造检测方法，其特征在于，该方法包括：

S1.实时等时间间隔采集视频监控区域的无线信号，得到与每个监控视频帧对应的相同个数的无线信号；

S2.分别从监控视频帧与无线信号中提取出人体关节热度图和PAF张量；

S3.若监控视频帧人体关节热度图和无线信号人体关节热度图相差大，判定当前监控视频帧为伪造。

2.如权利要求1所述的检测方法，其特征在于，步骤S2中，采用预训练好的OpenPose网络从监控视频帧中提取出人体关节热度图和PAF张量；采用预训练好的RF2Pose网络从无线信号中提取出人体关节热度图和PAF张量；

所述RF2Pose网络包括：

无线信号变换模块，用于将每个监控视频帧对应的所有无线信号变换为与监控视频帧长宽维度相同的中间特征，并输出给人体关节热度图生成模块和PAF张量生成模块；

人体关节热度图生成模块，用于根据中间特征生成人体关节热度图；

PAF张量生成模块，用于根据中间特征生成PAF张量；

RF2Pose网络的训练样本为无线信号，标签为OpenPose网络输出的对应人体关节热度图和PAF张量。

3.如权利要求2所述的检测方法，其特征在于，所述无线信号变换模块包括依次串联的一个反卷积网络、一个卷积网络和一个残差网络；所述人体关节热度图生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构；所述PAF张量生成模块包括依次串联的一个解码网络和一个全卷积网络，其中，解码网络为一层反卷积层和两层卷积层的重复结构。

4.如权利要求2或3所述的检测方法，其特征在于，所述RF2Pose网络在训练阶段的损失函数如下：

其中，

和

分别表示对应人体关节热度图JHM和PAF的损失函数，

分别表示第y个训练样本视频帧输入到OpenPose网络得到的JHM和PAF张量，

分别表示第y个训练样本无线信号输入到RF2Pose网络得到的JHM和PAF张量，Y表示训练样本个数，J表示人体抽象出的连接关节点个数，C表示人体部分数量，h,w表示像素点坐标，

和

分别表示JHM和PAF张量逐像素点的权重因子，λ₁、λ₂、β₁和β₂表示

和

在总的目标函数中的影响的平衡系数，

表示第j个关节点在视觉JHM像素点(h,w)上的置信度，

表示第j个关节点在无线JHM像素点(h,w)上的置信度，

表示第c个人体部分在视觉PAF像素点(h,w)上的位置和方向信息，

表示第c个人体部分在无线PAF像素点(h,w)上的位置和方向信息。

5.如权利要求1所述的检测方法，其特征在于，步骤S3中，采用人体关节热度图的相似度或者差值为依据，设定阈值或者构建二分类器，判断监控视频帧人体关节热度图和无线信号人体关节热度图差异大小。

6.一种基于无线信号的监控视频流伪造定位方法，其特征在于，该方法包括：

(T1)采用如权利要求1至5任一项所述的检测方法对监控视频流进行伪造检测；

(T2)对于检测结果为伪造的监控视频帧，计算当前监控视频帧人体关节热度图和无线信号人体关节热度图的差值绝对值、PAF张量和值；

(T3)基于人体关节热度图的差值绝对值，选出当前监控视频帧对应的异常人体关节点集合；

(T4)对当前监控视频帧的PAF张量和值与异常人体关节点集合进行关节点关联运算，得到的异常人体关节点之间的关联状态，从而确定伪造的人体对象在当前监控视频帧中的位置。

7.如权利要求6所述的定位方法，其特征在于，步骤(T3)中，通过非极大值抑制方法选出当前监控视频帧对应的异常人体关节点集合。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个第一程序，所述一个或者多个第一程序被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于无线信号的监控视频流伪造检测方法的步骤；或，所述计算机可读存储介质存储有一个或者多个第二程序，所述一个或者多个第二程序被一个或者多个处理器执行，以实现如权利要求6或7所述的基于无线信号的监控视频流伪造定位方法的步骤。

Images