CN111640137A - 监控视频关键帧评价方法 - Google Patents

Abstract

本发明公开了一种监控视频关键帧评价方法，涉及视频监控图像处理技术领域。所述方法包括如下步骤：利用运动目标检测和追踪，提取出视频序列中目标的运动轨迹，形成目标的原运动轨迹集；对视频序列进行处理，提取出视频序列中的关键帧，根据提取关键帧的目标运动轨迹，利用线性插值算法，重构目标的运动轨迹集；将原运动轨迹集与重构后的运动轨迹集进行对比，重合度越高表明关键帧提取方法捕捉目标运动状态变化的能力越强，相反则越弱。所述方法能够对监控视频关键帧从捕捉目标全局和局部运动状态变化方面进行有效评价。

Description

监控视频关键帧评价方法

技术领域

本发明涉及监控视频图像处理方法技术领域，尤其涉及一种监控视频关键帧评价方法。

背景技术

目前对于关键帧的评价方法并没有统一，并且关键帧提取结果的好坏因人而异。然而主观评价并不能用于视频的自动分析。同时，现存的比较广泛应用的关键帧评价标准并不太适用于监控视频的关键帧评价。现有技术中至少有以下两种评价方法：

保真度准则是一种基于semi-Hausdorff距离的度量方法来评价关键帧集的保真度。保真度通常被计算为关键帧集与视频镜头之间的最小距离的最大值，或者称为半Hausdorff距离。

假设S为含有N帧的视频序列，S可以表示为：

S＝{F(t+nΔt),n＝1,2,...,N} (1)

从S中选择的关键帧集KF：

KF＝{F(t+n_kΔt),k＝1,2,...,K} (2)

用Diff(·)表示两帧图像之间的距离函数，然后关键帧集KF与视频序列S中某帧F(t+nΔt)之间的距离，可以被计算为：

然后关键帧帧集KF与视频序列S之间的semi-Hausdorff距离可以定义为：

通过以上四个公式可以计算出关键帧集与原视频序列的保真度，保真度准则应用比较广泛。

SRD准则是从镜头重建的角度出发，对关键帧提取问题进行了研究。基于视频镜头保持运动动力学程度，提出了镜头重构度。与广泛使用的保真度准则相比，SRD更注重捕捉镜头的细节动态，如图1所示。

图1中所示的矩形点和圆点具有相同的保真度，或者说，它们到曲线的semi-Hausdorff距离都是0。但是，很明显，它们的概括能力完全不同。圆形点不能捕捉曲线的演变趋势，而矩形点可以。换句话说，圆点的概括能力比矩形点的概括能力差。因此，该准则更侧重于视频镜头的局部细节和演变趋势。该准则基本思想是，如果通过内插关键帧重建的镜头可以很好地近似原始镜头，也就是提取关键帧集可以很好地捕捉镜头的详细动态。换句话说，镜头的运动动态得到很好的保留。

在某种帧内插算法(记为FIP)下，SRD准则下的最优关键帧集选择如下。

假设θ为某一种关键帧提取算法，对于N帧的视频序列，可以表示为：

S＝{F(t+nΔt),n＝1,2,...,N}， (5)

通过关键帧提取算法θ提取的关键帧集KF可以表示为：

KF＝{F(t+n_k(θ)Δt),K＝1,2,...,R} (6)

假设n_k(θ)≤n＜n_k+1(θ)，基于F(t+n_k(θ)Δt)和F(t+n_k+1(θ)Δt)，通过式(7)重构视频帧F(t+nΔt)，得到F^*(t+nΔt，θ)：

F^*(t+nΔt，θ)＝FIP(F(t+n_k(θ)Δt),F(t+n_k+1(θ)Δt),n_k(θ),n,n_k+1(θ)) (7)

面向SRD准则下，可以用式(8)对关键帧集进行优化

式中:

式中Sim(·)可以利用PSNR公式计算获得。

通过分析以上两种方法的原理以及计算过程可知，保真度准则忽略了视频局部细节和演变趋势，SRD准则是从镜头重构的角度，利用关键帧重构视频帧，再计算重构视频与原视频的PSNR。然而，对于监控视频，相邻视频帧的相似度较高，这也就导致SRD准则可能会忽略目标运动过程中发生的运动状态的变化。

通过对上述客观评价方法的分析和总结，可以发现对于监控视频，现有的视频关键帧评价方法，并不能很好地评价提取的关键帧是否能够捕捉监控视频中目标的运动状态的变化。

发明内容

本发明所要解决的技术问题是如何提供一种能够对监控视频关键帧从捕捉目标全局和局部运动状态变化方面进行有效评价的方法。

为解决上述技术问题，本发明所采取的技术方案是：一种监控视频关键帧评价方法，其特征在于包括如下步骤：

利用运动目标检测和追踪，提取出视频序列中目标的运动轨迹，形成目标的原运动轨迹集；

对视频序列进行处理，提取出视频序列中的关键帧，根据提取关键帧的目标运动轨迹，利用线性插值算法，重构目标的运动轨迹集；

将原运动轨迹集与重构后的运动轨迹集进行对比，重合度越高表明关键帧提取方法捕捉目标运动状态变化的能力越强，相反则越弱。

进一步的技术方案在于，目标的原运动轨迹集通过如下方法获取：

计算视频序列中运动目标的中心点的像素位置，然后按照视频序列的顺序依次连接形成目标运动轨迹曲线。

进一步的技术方案在于，原运动轨迹集如下：

首先对输入的N帧监控视频序列，进行运动目标检测和目标跟踪提取目标的运动轨迹，其运动轨迹集表示为：

T＝{P(t+nΔt),n＝1,2,...,N}

式中，T表示N帧监控视频目标运动轨迹集，P(t+nΔt)表示得到的第n帧视频序列的运动轨迹，t表示时间，Δt表示每帧的时间间隔。

进一步的技术方案在于，重构目标运动轨迹集的方法如下：

监控视频序列通过关键帧提取算法α，提取出的β帧关键帧的运动轨迹集可以表示为：

βT＝{P(t+n_β(α)Δt),β＝1,2,...,R}

式中，βT表示提取关键帧的运动轨迹集，α表示某种关键帧提取算法，t表示时间，Δt表示每帧的时间间隔，设公式中n_β(α)≤n＜n_β+1(α)，故在P(t+n_β(α)Δt)和P(t+n_β+1(α)Δt)的基础上，通过线性插值算法可以得到P(t+nΔt)的运动轨迹集可以表示为：

P^*(t+nΔt，α)＝PLI(P(t+n_β(α)Δt)：P(t+n_β+1(α)Δt))

式中，PLI表示点线性插值算法，P^*(t+nΔt，α)表示通过线性插值算法得到的第n帧的运动轨迹。

采用上述技术方案所产生的有益效果在于：所述方法首先利用运动目标检测和追踪，提取出视频中目标的运动轨迹，形成目标的原运动轨迹集。然后，根据提取关键帧的目标运动轨迹，利用线性插值算法，重构目标的运动轨迹集。最后，将原运动轨迹集与重构后运动轨迹集进行对比，重合度越高，关键帧提取方法捕捉目标运动状态变化的能力越强。实验结果表明，本申请所述方法能够从捕捉目标全局和局部运动状态变化的方面对监控视频关键帧进行有效评价。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是现有技术中关于保真度准则无效的示例图；

图2是本发明实施例中视频目标的运动轨迹图

图3是本发明实施例所述方法的流程图；

图4是本发明实施例中三种方法的运动轨迹重构结果图(提取8帧关键帧)；

图5是本发明实施例中三种方法的运动轨迹重构结果图(提取12帧关键帧)；

图6是本发明实施例中三种方法的运动轨迹重构结果图(提取16帧关键帧)。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本发明实施例公开了一种监控视频关键帧评价方法，下面结合具体内容对上述方法进行详细说明：

本申请从监控视频中目标的运动轨迹出发，提出了一种监控视频关键帧评价机制—运动轨迹重构(Reconstruction of Motion Trajectory,MTR)。

目标运动轨迹：

目标运动轨迹作为能够为描述视频中的运动变化提供关键相关特征的一种描述符，可以为研究目标运动特征提供简洁、信息丰富的线索。目标运动轨迹是指目标在经过监控场景时，目标经过的空间位置。它可以为研究目标加速、减速、速度和伸手等运动状态变化提供重要的分析和基础数据。对于监控视频，人们更为关注运动的目标，并且会被目标运动的变化吸引。目标的运动轨迹不仅仅只是可以反映出目标的位置信息，还可以反应出目标运动过程的变化。示例视频目标的运动轨迹，如图2所示。

从图2可以发现，图中曲线是由视频中每一帧运动目标中心点的像素位置构成的目标运动轨迹曲线。当目标的运动方向发生改变、运动速度快慢变化或目标做局部动作(伸手、下蹲等)时，都会引起曲线发生变化。人们往往容易被目标运动改变的动作吸引，故目标运动轨迹曲线不仅可以反映目标的局部和全局运动状态的变化，可以在很大程度上符合人类视觉感知。基于以上分析，本申请从目标运动轨迹可以反映目标运动状态变化的角度入手，提出目标运动轨迹重构的关键帧评价机制。所述方法从视频关键帧提取方法捕捉目标运动状态变化能力方面进行评价，关键帧提取方法提取的关键帧中目标运动轨迹重构与原轨迹越接近表明所提关键帧的捕捉目标全部运动状态变化的能力越强，包含有更多的目标运动状态变化的信息，更符合人类的视觉感知。

运动轨迹重构

MTR表示提取的关键帧中目标运动轨迹重构与原视频中目标运动轨迹的重合度。运动轨迹重构的基本思想是将解决关键帧提取过程作为目标运动轨迹重构的问题，即尽可能还原监控视频序列中运动目标的运动轨迹，这里的运动轨迹不仅仅是指运动目标整体的运动轨迹，也包含目标局部的运动轨迹。运动轨迹重构机制的评价过程，如图3所示。

如图3所示，所述方法首先利用运动目标检测和追踪，提取出视频中目标的运动轨迹，形成目标的原运动轨迹集。然后，根据提取关键帧的目标运动轨迹，利用线性插值算法，重构目标的运动轨迹集。最后，将原运动轨迹集与重构后运动轨迹集进行对比，重合度越高，关键帧提取方法捕捉目标运动状态变化的能力越强。

观察图3，在MTR评价机制下首先对输入的N帧监控视频序列，可以进行运动目标检测和目标跟踪提取目标的运动轨迹，其运动轨迹集可以表示为：

T＝{P(t+nΔt),n＝1,2,...,N} (10)

式(10)中，T表示N帧监控视频目标运动轨迹集，P(t+nΔt)表示得到的第n帧视频序列的运动轨迹，t表示时间，Δt表示每帧的时间间隔。

监控视频序列通过关键帧提取算法α，提取出的β帧关键帧的运动轨迹集可以表示为：

βT＝{P(t+n_β(α)Δt),β＝1,2,...,R} (11)

式(11)中，βT表示提取关键帧的运动轨迹集，α表示某种关键帧提取算法。假设公式中n_β(α)≤n＜n_β+1(α)，故在P(t+n_β(α)Δt)和P(t+n_β+1(α)Δt)的基础上，通过线性插值算法可以得到P(t+nΔt)的运动轨迹集可以表示为：

P^*(t+nΔt，α)＝PLI(P(t+n_β(α)Δt)：P(t+n_β+1(α)Δt)) (12)

式中，PLI表示点线性插值算法，P^*(t+nΔt，α)表示通过线性插值算法得到的第n帧的运动轨迹。

综上所述，新的运动轨迹重构评价机制在人类视觉感知方面更优于SRD准则，能够评价关键帧提取方法提取的视频关键帧能否符合人的主视觉感知。与SRD准则不同的是运动轨迹重构评价机制能够从捕捉目标运动状态变化角度，评价关键帧提取方法捕捉视频中目标运动状态变化的能力。

实验结果与分析：

为验证本申请所述的运动轨迹重构机制的性能。将ME、基于运动速度的监控视频关键帧提取(记为MV)及基于频域分析的监控视频关键帧提取(记为MSE)这三种方法对表1中Video5的关键帧提取结果，利用运动轨迹重构评价机制进行评价。

本次验证实验的完成环境与验证上述关键帧提取方法的运行环境相同。本次所使用的MV和MSE关键帧提取方法实验参数设置为N＝1，然后提取规定数目的关键帧。

当提取的关键帧为8帧时，三种方法的运动轨迹重构结果，如图4所示。

观察图4中的目标运动轨迹重构结果可以发现，三种方法的运动轨迹重构结果与目标原运动过程相差较大，但与ME关键帧重构目标运动轨迹相比，MV和MSE两种方法的运动轨迹重构结果与目标原运动轨迹更接近。MV和MSE两种关键帧提取方法捕捉目标运动状态的能力更强，提取到目标运动状态变化的视频帧，更具有吸引力，更符合人类的视觉感知。这就表明了本申请所述方法能够评价关键帧提取方法捕捉目标运动状态变化的能力。

当提取的关键帧为12帧时，不同方法的关键帧重构目标运动轨迹重构的结果如图5所示。观察图5不同方法关键帧的目标运动轨迹重构结果可以发现，当提取的关键帧为12帧时，运动轨迹重构结果与关键帧为8帧时相比，重构目标的运动轨迹与目标的运动轨迹的重合度变高。与ME关键帧重构的运动轨迹相比，MV和MSE两种方法关键帧重构的运动轨迹与原目标运动轨迹重合度更高。

当提取的关键帧为16帧时，两种方法的运动轨迹重构结果如图6所示。观察图6可知，与ME所提方法相比，MV和MSE两种方法关键帧重构的运动轨迹与原目标运动轨迹重合度更高，MSE关键帧重构的目标运动轨迹与原运动轨迹更接近。但是MV关键帧重构的目标运动轨迹也比ME关键帧重构的目标运动轨迹更接近于目标原运动轨迹，尤其是前面帧的重构运动轨迹与原轨迹基本相同。

通过以上的运动轨迹重构结果可以发现，随着提取关键帧数目的不断增多，重构的目标运动轨迹与原轨迹越来越接近。通过以上的分析可以总结出，MV和MSE关键帧提取结果重构目标运动轨迹的能力要优于ME关键帧重构目标运动轨迹的能力。原因在于MV和MSE两种关键帧提取方法是为了能够更好地捕捉目标运动状态变化提出的，而ME是面向SRD准则提出的关键帧提取方法。这也就从反面论证了本申请所述方法能够从捕捉目标全局和局部运动状态变化方面对提取的监控视频关键帧进行评价。

Claims (4)

1.一种监控视频关键帧评价方法，其特征在于包括如下步骤：

利用运动目标检测和追踪，提取出视频序列中目标的运动轨迹，形成目标的原运动轨迹集；

对视频序列进行处理，提取出视频序列中的关键帧，根据提取关键帧的目标运动轨迹，利用线性插值算法，重构目标的运动轨迹集；

将原运动轨迹集与重构后的运动轨迹集进行对比，重合度越高表明关键帧提取方法捕捉目标运动状态变化的能力越强，相反则越弱。

2.如权利要求1所述的监控视频关键帧评价方法，其特征在于：目标的原运动轨迹集通过如下方法获取：

计算视频序列中运动目标的中心点的像素位置，然后按照视频序列的顺序依次连接形成目标运动轨迹曲线。

3.如权利要求1所述的监控视频关键帧评价方法，其特征在于：原运动轨迹集如下：

首先对输入的N帧监控视频序列，进行运动目标检测和目标跟踪提取目标的运动轨迹，其运动轨迹集表示为：

T＝{P(t+nΔt),n＝1,2,...,N}

式中，T表示N帧监控视频目标运动轨迹集，P(t+nΔt)表示得到的第n帧视频序列的运动轨迹，t表示时间，Δt表示每帧的时间间隔。

4.如权利要求1所述的监控视频关键帧评价方法，其特征在于：重构目标运动轨迹集的方法如下：

监控视频序列通过关键帧提取算法α，提取出的β帧关键帧的运动轨迹集可以表示为：

βT＝{P(t+n_β(α)Δt),β＝1,2,...,R}

式中，βT表示提取关键帧的运动轨迹集，α表示某种关键帧提取算法，t表示时间，Δt表示每帧的时间间隔，设公式中n_β(α)≤n＜n_β+1(α)，故在P(t+n_β(α)Δt)和P(t+n_β+1(α)Δt)的基础上，通过线性插值算法可以得到P(t+nΔt)的运动轨迹集可以表示为：

P^*(t+nΔt，α)＝PLI(P(t+n_β(α)Δt)：P(t+n_β+1(α)Δt))

式中，PLI表示点线性插值算法，P^*(t+nΔt，α)表示通过线性插值算法得到的第n帧的运动轨迹。

Images