CN103227963A - 基于视频运动目标检测和跟踪的静态监控视频摘要方法 - Google Patents

Abstract

本发明公开了一种基于视频运动目标检测和跟踪的静态监控视频摘要方法，包括以下步骤：（1）建立混合高斯背景模型检测视频运动目标；（2）卡尔曼滤波算法进行多运动目标的跟踪并保存跟踪数据；（3）根据跟踪数据将原始视频分割成多个小片段；（4）提取每个视频片段的关键帧同时添加运动轨迹。该方法实现简单，性能较高。

Description

基于视频运动目标检测和跟踪的静态监控视频摘要方法

技术领域

本发明属于智能视频监控领域，尤其是智能监控视频摘要方法，具体涉及一种基于视频运动目标检测和跟踪的静态监控视频摘要方法。

背景技术

随着数字视频处理技术的发展和社会安全意识的提高，监控设备广泛应用于各行各业，这样便产生了海量的监控视频数据，使视频的存储，检索和浏览等操作变得复杂而耗时。为了快速浏览以及高效利用这些监控数据，视频摘要技术就显得尤为重要。

视频摘要技术是通过对视频内容和结构的分析，提取视频中主要信息，并将它们以某种方式合并成能充分表达视频语义内容的简短视频或者视频图像帧。视频摘要的目的是去掉原始视频中的冗余信息，从而提高视频的利用率。

目前广泛应用的视频摘要方法有基于关键帧，聚类，语义等方法。基于关键帧的摘要提取方法是用几个关键帧来表示原始视频。由于通过帧与帧之间颜色分布，运动方向等信息的差异性来提取关键帧，所以选取的过程过于依赖阈值的选择，计算量也大。基于聚类的摘要提取方法利用每一帧的彩色直方图进行聚类，与聚类中心最接近的直方图对应的帧作为关键帧，此方法实时性较差，而且可能会丢失关键信息。基于语义的摘要提取方法将同样语义的视频归为一类，然后提取关键帧，实现难度较大。本发明因此而来。

发明内容

本发明目的在于提供一种基于视频运动目标检测和跟踪的静态监控视频摘要方法，解决了现有技术中视频摘要方法容易丢失关键信息、计算量巨大以及实现难度较大等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于视频运动目标检测和跟踪的静态监控视频摘要方法，其特征在于所述方法包括以下步骤：

(1)建立混合高斯背景模型检测静态监控视频中运动目标；

(2)采用卡尔曼滤波算法跟踪运动目标并保存跟踪数据；

(3)根据跟踪数据将原始静态监控视频分割成多个视频片段；

(4)提取每个视频片段的关键帧，同时添加运动轨迹。

优选的，所述方法步骤(1)中运动目标检测的步骤包括：

(A)建立混合高斯背景模型提取静态监控视频中背景图像并初步得到前景图像；

(B)通过对前景图像进行初始化处理、连通域标记、边缘检测和阈值处理步骤检测前景图像中运动目标。

优选的，所述方法(B)中边缘检测是使用多尺度形态学梯度算子进行的，所述多尺度形态学梯度算子定义为：

$\mathrm{MG}\left(f\right)=\frac{1}{n}\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\left[((f\⊕B_i)-\left(\mathrm{f\Θ}{B}_i\right))\mathrm{\Θ}{B}_{i-1}\right];$

其中f为原始图像，B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为(2i+1)×(2i+1)个像素点；f⊕B_i表示利用结构元对输入图像f进行膨胀操作，fΘB_i表示利用结构元对输入图像f进行腐蚀操作。

优选的，所述方法步骤(2)中跟踪运动目标的方法是采用卡尔曼滤波算法进行运动目标的跟踪，根据前一帧的估计值得到当前帧的预测值，再由预测值和当前帧的观测值得到当前帧的估计值。

优选的，所述方法中卡尔曼滤波算法包括预测，匹配和更新过程，首先根据当前帧中目标的位置信息预测下一帧中目标的大致位置，然后在预测位置周围进行目标匹配，如果匹配成功，则匹配目标就是当前目标的后继，将匹配目标加入跟踪列表保存，并对卡尔曼滤波器进行更新；否则，跟踪失败。

优选的，所述方法中卡尔曼滤波匹配采用基于中心颜色比例变化的核带宽颜色直方图的匹配准则、基于检测矩形框的质心匹配准则、基于检测矩形框的面积匹配准则进行匹配的，其中基于质心的匹配准则是采用D(i,j)表示第k帧的第i个运动目标的质心和第k+1帧的第j个运动目标的质心之间的欧氏距离：

$D(i,j)=\sqrt{{(x_i\left(k\right)-x_j(k+1))}^2+{(y_i\left(k\right)-y_j(k+1))}^2};$

基于面积的匹配准则是采用A(i,j)表示第k帧的第i个运动目标的面积和第k+1帧的第j个运动目标的面积之间的相似度：

A(i,j)＝|w_i(k)·h_i(k)-w_j(k+1)·h_j(k+1)|；

基于中心颜色比例变化的核带宽颜色直方图的匹配准则采用两个颜色直方图之间的Bhattacharyya距离：

$W(i,j)=\sqrt{1-\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{h_i{\left(k\right)}^{\left(u\right)}*h_j{(k+1)}^{\left(u\right)}}};$

其中颜色直方图矩阵h_i(k)＝{h_i(k)^(u)}_u＝1,…m，h_j(k+1)＝{h_j(k+1)^(u)}_u＝1,…m通过以下步骤得到；

假设(xc(k)_i,yc(k)_i)，(xc(k+1)_j,yc(k+1)_j)表示第k帧的第i个运动目标和第k+1帧的第j个运动目标中心点坐标；则目标带宽为:

h_i(k)＝xc(k)_i ²+yc(k)_i ²；h_j(k+1)＝xc(k+1)_j ²+yc(k+1)_j ²；

权值矩阵wei_i(k)，wei_j(k+1)表示目标中各像素点在颜色直方图中所占的比重，dist(a,b)表示目标中每个像素点(a,b)到中心点(xc(k)_i,yc(k)_i)或(xc(k+1)_j,yc(k+1)_j)的距离：

dist_i(a,b)＝(a-xc(k)_i)²+(b-yc(k)_i)²；wei_i(a,b)＝1-dist_i(a,b)/h_i(k)；

dist_j(a,b)＝(a-xc(k+1)_j)²+(b-yc(k+1)_j)²；wei_j(a,b)＝1-dist_j(a,b)/h_j(k+1)；

归一化处理后wei_i(k)＝1/∑∑wei_i(a,b)；wei_j(k+1)＝1/∑∑wei_j(a,b)；

h_i(a,b)，h_j(a,b)表示像素点(a,b)的色彩分布:

h_i(a,b)＝(h_i(a,b)+wei_i(a,b))*wei_i(k)；h_j(a,b)＝(h_j(a,b)+wei_j(a,b))*wei_j(k)即可得到颜色直方图矩阵。

优选的，所述方法中视频分割得到多个视频分段的方法是基于跟踪信息的视频分段方法，根据跟踪链表中的数据判断此刻运动目标是否有比较的大的变动，即是否有运动目标进入或者离开，以此为分割界限将视频划分成多个小片段。

优选的，所述方法步骤(4)中采用视频片段的倒数第一帧作为关键帧，提取运动轨迹的方法是根据跟踪的运动目标的位置信息在相应视频片段的最后一帧中连接各运动物体的运动质心并显示出来形成运动轨迹。

本发明提供一种基于视频运动目标检测和跟踪的静态监控视频摘要方法，解决了现有技术计算量大，难以实现，主要信息丢失等问题。

相对于现有技术中的方案，本发明的优点是：

本发明提出了一种基于视频运动目标检测和跟踪的静态监控视频摘要方法。首先提取视频运动目标，进而对运动目标进行跟踪得到跟踪数据，接着根据跟踪数据对视频进行分段处理，提取每个视频片段的关键帧并加入运动轨迹。本发明能完整的保留视频的运动信息，克服了传统摘要方法的局限性并且易于实现，计算量小。目标检测采用的是混合高斯模型，具有较高的实时性和适应性，加上后期的形态学处理以及边缘检测处理，提高了检测的准确率。跟踪过程采用的是卡尔曼滤波算法，匹配阶段不同匹配准则相结合，这样既提高了算法的运算效率，又提高了跟踪的准确率。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于视频运动目标检测和跟踪的静态监控视频摘要方法的流程图；

图2为本发明中背景图像和前景图像提取效果图；其中从左到右分别为原始图像，背景图像，前景图像。

图3为形态学处理过程图；其中a灰度图像；b滤波后图像；c区域标记后图像；d阈值处理后图像；e最小外界矩阵；f检测结果。

图4为本发明基于多尺度形态学梯度算子进行边缘检测的结果；其中a灰度图像；b区域标记后图像；c边缘检测；d边缘检测后区域标记图像；

图5为本发明跟踪实施流程图；

图6为本发明卡尔曼滤波算法进行运动目标的跟踪结果；a第一段视频的跟踪图；b第二段视频的跟踪图；

图7为本发明为静态视频摘要结果；a第一段视频的跟踪图；b第二段视频的跟踪图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

本发明中基于视频运动目标检测和跟踪的静态监控视频摘要方法，包括以下步骤：

(1)建立混合高斯背景模型检测视频运动目标；

(2)卡尔曼滤波算法进行多运动目标的跟踪并保存跟踪数据；

(3)根据跟踪数据将原始视频分割成多个小片段；

(4)提取每个视频片段的关键帧同时添加运动轨迹。

步骤(1)中运动目标检测的步骤包括：

(A)建立混合高斯背景模型提取背景图像并初步得到前景图像；

(B)前景图像中运动目标的检测：包括对前景图像进行初始化处理，连通域标记，形态学处理和阈值处理等过程。当一些视频帧灰度化处理后，前景图像中运动目标轮廓不明显时，边缘检测过程就显得很有必要。

步骤(B)中使用多尺度形态学梯度算子方法进行边缘检测。

由于前景图像中的噪声点比较多，而常用的Canny,Sobel算子对噪声比较敏感，往往会在检测边缘的同时加强噪声。而形态边缘检测器主要利用形态梯度的概念，虽然对噪声也比较敏感，但不会加强噪声。单尺度形态学梯度的定义为：

Grad[f(x)]＝(f⊕g)-(fΘg)；(1)；

f为原始图像，g为结构元素。f⊕g表示利用结构元对输入图像f进行膨胀操作，fΘg表示利用结构元对输入图像f进行腐蚀操作。

单尺度形态学处理算子的性能取决于结构元g的大小。但g过大，将会造成边缘间严重的相互影响，导致梯度极大值与边缘不一致。若g过小，对斜坡边缘会产生一个很小的输出结果。为了利用大结构元素和小结构元素的各自有点，这里我们采用多尺度形态学梯度算子，则多尺度梯度的定义为：

$\mathrm{MG}\left(f\right)=\frac{1}{n}\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\left[((f\⊕B_i)-\left(\mathrm{f\Θ}{B}_i\right))\mathrm{\Θ}{B}_{i-1}\right]---\left(2\right);$

假设B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为(2i+1)×(2i+1)个像素点。

步骤（2）中采用卡尔曼滤波算法进行运动目标跟踪。

本发明采用卡尔曼滤波算法进行运动目标的跟踪，卡尔曼算法的思想是根据前一帧的估计值得到当前帧的预测值，再由预测值和当前帧的观测值得到当前帧的估计值。它无需保留前面所有帧的数据，仅仅需要前一帧的状态估值和当前的测量数据，按照一套递推公式，即可算出当前帧的状态估值。这个估计值即为最后的输出结果。预测，匹配和更新是卡尔曼的三个核心过程，算法实现：根据当前帧中目标的位置信息预测下一帧中目标的大致位置，然后在预测位置周围进行目标匹配，匹配成功，则匹配目标就是当前目标的后继，将匹配目标加入跟踪列表保存，并对卡尔曼滤波器进行更新。否则，跟踪失败。卡尔曼滤波能够预测目标在下一帧中的大致位置这一特点降低了匹配过程的复杂度，提高了跟踪效率。

使用卡尔曼滤波匹配过程的方法是根据具体情况灵活选择采用检测矩形框的质心、面积和基于中心颜色比例变化的核带宽的颜色直方图三种匹配方法。

卡尔曼算法中匹配准则的选取是关键，在匹配过程中，采用了检测矩形框的质心，面积和基于中心颜色比例变化的核带宽的颜色直方图这三种匹配方法并根据具体情况灵活选择不同的匹配方法。

基于质心的匹配准则：采用D(i,j)表示第k帧的第i个运动目标的质心和第k+1帧的第j个运动目标的质心之间的欧氏距离，由于两帧之间的距离较小，所以D(i,j)越小表示两个目标越匹配。

$D(i,j)=\sqrt{{(x_i\left(k\right)-x_j(k+1))}^2+{(y_i\left(k\right)-y_j(k+1))}^2}---\left(3\right);$

为了方便处理，我们将它归一化：

$d(i,j)=\frac{D(i,j)}{{\max }_{n}D(i,n)};---\left(4\right);$

基于面积的匹配准则：采用A(i,j)表示第k帧的第i个运动目标的面积和第k+1帧的第j个运动目标的面积之间的相似度，由于两帧之间的差距较小，所以A(i,j)越小表示两个目标越匹配。

A(i,j)＝|w_i(k)·h_i(k)-w_j(k+1)·h_j(k+1)|；   (5)

归一化:

$a(i,j)=\frac{A(i,j)}{{\max }_{n}A(i,n)};---\left(6\right)$

仅用质心和面积两个指标进行匹配，当遇到物体的形状发生了变化，或者两个运动目标位置相近等问题，难免会出现跟踪错误的现象（图像说明）。基于颜色特征对图像尺寸，方向，视角依赖性小的特点，本文也结合了颜色直方图进行匹配。由于颜色特征比较容易提取并且对噪声具有鲁棒性，这里采用了基于比例变化的核带宽的颜色直方图算法，中心点颜色所占比例最大，***的依次减小，这样更提高了算法的准确性。

基于中心颜色比例变化的核带宽颜色直方图的匹配准则：我们分别用(xc(k)_i,yc(k)_i)，(xc(k+1)_j,yc(k+1)_j)来表示第k帧的第i个运动目标和第k+1帧的第j个运动目标中心点坐标。目标带宽为:

h_i(k)＝xc(k)_i ²+yc(k)_i ²；h_j(k+1)＝xc(k+1)_j ²+yc(k+1)_j ²；   (7)

权值矩阵wei_i(k)，wei_j(k+1)表示目标中各像素点在颜色直方图中所占的比重，由于各个目标越靠近中心点可比度越高，所以中心点所占的比重最大，往外扩展依次减小。dist(a,b)表示目标中每个像素点(a,b)到中心点(xc(k)_i,yc(k)_i)或(xc(k+1)_j,yc(k+1)_j)的距离

dist_i(a,b)＝(a-xc(k)_i)²+(b-yc(k)_i)²；

wei_i(a,b)＝1-dist_i(a,b)/h_i(k)；dist_j(a,b)＝(a-xc(k+1)_j)²+(b-yc(k+1)_j)²

wei_j(a,b)＝1-dist_j(a,b)/h_j(k+1)；    (8)；

归一化处理后:

wei_i(k)＝1/∑∑wei_i(a,b)；

h_i(a,b)，h_j(a,b)表示像素点(a,b)的色彩分布:

h_i(a,b)＝(h_i(a,b)+wei_i(a,b))*wei_i(k)

可以得到颜色直方图矩阵h_i(k)＝{h_i(k)^(u)}_u＝1,…m，h_j(k+1)＝{h_j(k+1)^(u)}_u＝1,…m

我们可以通过Bhattacharyya距离来计算颜色直方图相似性度量

$W(i,j)=\sqrt{1-\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{h_i{\left(k\right)}^{\left(u\right)}*h_j{(k+1)}^{\left(u\right)}}};---\left(11\right)$ $w(i,j)=\frac{W(i,j)}{{\max }_{n}W(i,n)};---\left(12\right)$ $\left(12\right)$

w(i,j)为两个颜色直方图之间的距离，其值越小则两个目标的颜色直方图越相近。为了简化运算，具体情况具体处理：

(a)若当前帧和下一帧中都没有检测到运动目标，就直接跳过该帧;

(b)若当前跟踪的目标数和下一帧中目标数都有且仅有一个的话，就直接判断二者的颜色直方图的匹配程度。如果在阈值内，就认为是当前目标的后继，否则就认为当前目标和下一帧的目标不是同一个目标。T₁表示匹配的阈值，具体取值由实验得到。此时w(i,j)＝W(1,1),如果w(i,j)≤T₁表示k+1帧中的这个目标就是当前帧的后继，否则，k帧目标丢失，k+1帧出现了新目标。

(c)若不满足上述情况，我们就将三个匹配准备结合，T₂表示匹配的阈值，0＜T₂＜1,具体取值由实验得到。若αd(i,j)+βa(i,j)+γw(i,j)≤T₂，表示k+1帧中第j个目标是第k帧中第i个目标的后继，否则k帧中第i个目标的没能找到后继，目标丢失。

所述方法步骤(3)中视频分段的方法是：

视频分段是把视频流分割成一系列有意义，便于处理的视频片段。目前存在很多视频分段方法，大部分都是以视频内容的不连续性作为划分依据。现有算法通常选取视频的某个特征来度量视频内容的不连续性，如运动矢量特征、颜色特征、边缘特征等。本发明采用的是基于跟踪信息的视频分段方法。它根据跟踪链表中的数据判断此刻运动目标是否有比较的大的变动，即是否有运动目标进入或者离开，以此为分割界限将视频划分成多个小片段，每个片段都表示一个故事情节并且这个故事发生的背景和运动目标都是一样的。以此为依据划分视频，简单准确，容易实现，方便理解并且保留了主要信息。

所述方法步骤(4)中关键帧和运动轨迹的提取方法是：

所谓视频摘要，就是要用尽量少的视频帧去表示整个视频段而不遗漏主要的信息。由于监控视频背景变动极小，所以背景信息就存在着时间和空间上冗余，我们仅需要用一个关键帧背景信息来表示这个故事情节的发生场景。对于监控视频片段来说，关键帧的提取比较简单，取视频段的中间任何一帧就可以表示本段视频的发生背景，但是提取出的关键帧并不能直观表现出这些物体的运动历史，分析可知，每个视频片段的最后一帧是显示视频片段中存在的运动物体将要退出监控区域，信息量较大，并且便于我们画轨迹线和分析轨迹方向等信息。本发明采用倒数第一帧作为关键帧。

由于监控视频更多的是对某个特定运动目标的查找，所以摘要应该表现出运动目标及他们的运动历史。而运动目标的轨迹是运动历史主要体现。现在运动目标的位置信息已经存储在跟踪序列了，只需要将各运动物体的运动质心在本小段视频的最后一帧中显示出来并连接成运动轨迹，即可得到本段的静态摘要。根据这种方法，我们可以得到每个视频片段的静态摘要，这些视频摘要就可以表示整段视频并且保留了主要信息。大大节省了查看和存储时间。

具体实施例中基于视频运动目标检测和跟踪的静态监控视频摘要方法采用了两段视频，一个是在高速公路上拍摄的视频，一个是苏州独墅湖高教区公安局提供的在大学校门口拍摄的视频。

具体实施的流程图如图1所示，具体实施方案为：

1、建立混合高斯背景模型检测视频运动目标

(A)采用混合高斯背景模型提取背景图像并得到初始前景图像，如图2所示。

(B)前景图像中运动目标的检测：包括对前景图像进行初始化处理，连通域标记，形态学处理和阈值处理等过程。如图3所示。特别注意的是当一些视频帧灰度化处理后，前景图像中运动目标轮廓不明显时，边缘检测过程就显得很有必要。本发明采用的多尺度形态学梯度算子进行边缘检测，相对于常用的Canny,Sobel算子来说不会加强噪声。边缘检测结果如图4所示。

2、卡尔曼滤波算法进行多运动目标的跟踪并保存跟踪数据

运动目标的跟踪是在目标检测的基础上完成的，将检测出来的运动目标作为感兴趣区域，在后继各帧中建立运动目标的对应关系，实现多目标的跟踪。跟踪流程图如图5所示。预测，匹配和更新过程是卡尔曼滤波跟踪算法的核心。预测运动目标在下一帧可能出现的位置，在预测范围内进行目标匹配，减小了计算量。匹配过程采用的质心，面积和颜色分布相结合的方法，提高了准确率。当获得最佳匹配结果后，需要用当前的状态估计值更新卡尔曼滤波器的状态。跟踪结果如图6所示。特别注意，本实例中我们选取了第一段视频中具体代表性的17帧图像进行跟踪，跟踪效果如图6(a)所示。

3、根据跟踪数据将原始视频分割成多个小片段

视频分段是把视频流分割成一系列有意义，便于处理的视频片段。本发明的分段算法是在跟踪的基础上实现的。目前存在很多视频分段方法，大部分都是以视频内容的不连续性作为划分依据。现有算法通常选取视频的某个特征来度量视频内容的不连续性，如运动矢量特征、颜色特征、边缘特征等。本发明采用的是基于跟踪信息的视频分段方法。它根据跟踪链表中的数据判断此刻运动目标是否有比较的大的变动，即是否有运动目标进入或者离开，以此为分割界限将视频划分成多个小片段，每个片段都表示一个故事情节并且这个故事发生的背景和运动目标都是一样的。以此为依据划分视频，简单准确，容易实现，方便理解并且保留了主要信息。

4、提取每个视频片段的关键帧同时添加运动轨迹

由于监控视频背景变动极小，所以背景信息就存在着时间和空间上冗余，我们仅需要用一个关键帧背景信息来表示这个故事情节的发生场景。对于监控视频片段来说，关键帧的提取比较简单，取视频段的中间任何一帧就可以表示本段视频的发生背景，但是提取出的关键帧并不能直观表现出这些物体的运动历史，分析可知，每个视频片段的最后一帧是显示视频片段中存在的运动物体将要退出监控区域，信息量较大，并且便于我们画轨迹线和分析轨迹方向等信息。本发明采用倒数第一帧作为关键帧。

由于监控视频更多的是对某个特定运动目标的查找，所以摘要应该表现出运动目标及他们的运动历史。而运动目标的轨迹是运动历史主要体现。现在运动目标的位置信息已经存储在跟踪序列了，只需要将各运动物体的运动质心在本小段视频的最后一帧中显示出来并连接成运动轨迹，即可得到本段的静态摘要。根据这种方法，我们可以得到每个视频片段的静态摘要，这些视频摘要就可以表示整段视频并且保留了主要信息。大大节省了查看和存储时间。摘要效果图如图7所示。从图7(a)中看出，17帧图像完全可以由三帧图像表示，代表着这17帧中运动目标从开始的四个目标到第五个目标出现再到第四个目标消失的全过程。而每个目标的运动信息体现在它们的运动轨迹中。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于视频运动目标检测和跟踪的静态监控视频摘要方法，其特征在于所述方法包括以下步骤：

(1)建立混合高斯背景模型检测静态监控视频中运动目标；

(2)采用卡尔曼滤波算法跟踪运动目标并保存跟踪数据；

(3)根据跟踪数据将原始静态监控视频分割成多个视频片段；

(4)提取每个视频片段的关键帧，同时添加运动轨迹。

2.根据权利要求1所述的静态监控视频摘要方法，其特征在于所述方法步骤(1)中运动目标检测的步骤包括：

(A)建立混合高斯背景模型提取静态监控视频中背景图像并初步得到前景图像；

(B)通过对前景图像进行初始化处理、连通域标记、边缘检测和阈值处理步骤检测前景图像中运动目标。

3.根据权利要求2所述的运动目标检测方法，其特征在于所述方法(B)中边缘检测是使用多尺度形态学梯度算子进行的，所述多尺度形态学梯度算子定义为：

$\mathrm{MG}\left(f\right)=\frac{1}{n}\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\left[((f\⊕B_i)-\left(\mathrm{f\Θ}{B}_i\right))\mathrm{\Θ}{B}_{i-1}\right];$

其中f为原始图像，B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为(2i+1)×(2i+1)个像素点；f⊕B_i表示利用结构元对输入图像f进行膨胀操作，fΘB_i表示利用结构元对输入图像f进行腐蚀操作。

4.根据权利要求1所述的静态监控视频摘要方法，其特征在于所述方法步骤(2)中跟踪运动目标的方法是采用卡尔曼滤波算法进行运动目标的跟踪，根据前一帧的估计值得到当前帧的预测值，再由预测值和当前帧的观测值得到当前帧的估计值。

5.根据权利要求4所述的静态监控视频摘要方法，其特征在于所述方法中卡尔曼滤波算法包括预测，匹配和更新过程，首先根据当前帧中目标的位置信息预测下一帧中目标的大致位置，然后在预测位置周围进行目标匹配，如果匹配成功，则匹配目标就是当前目标的后继，将匹配目标加入跟踪列表保存，并对卡尔曼滤波器进行更新；否则，跟踪失败。

6.根据权利要求5所述的静态监控视频摘要方法，其特征在于所述方法中卡尔曼滤波匹配采用基于中心颜色比例变化的核带宽颜色直方图的匹配准则、基于检测矩形框的质心匹配准则、基于检测矩形框的面积匹配准则进行匹配的，其中基于质心的匹配准则是采用D(i,j)表示第k帧的第i个运动目标的质心和第k+1帧的第j个运动目标的质心之间的欧氏距离：

$D(i,j)=\sqrt{{(x_i\left(k\right)-x_j(k+1))}^2+{(y_i\left(k\right)-y_j(k+1))}^2};$

基于面积的匹配准则是采用A(i,j)表示第k帧的第i个运动目标的面积和第k+1帧的第j个运动目标的面积之间的相似度：

A(i,j)＝|w_i(k)·h_i(k)-w_j(k+1)·h_j(k+1)|；

基于中心颜色比例变化的核带宽颜色直方图的匹配准则采用两个颜色直方图之间的Bhattacharyya距离：

$W(i,j)=\sqrt{1-\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{h_i{\left(k\right)}^{\left(u\right)}*h_j{(k+1)}^{\left(u\right)}}};$

其中颜色直方图矩阵h_i(k)＝{h_i(k)^(u)}_u＝1,…m，h_j(k+1)＝{h_j(k+1)^(u)}_u＝1,…m通过以下步骤得到；

假设(xc(k)_i,yc(k)_i)，(xc(k+1)_j,yc(k+1)_j)表示第k帧的第i个运动目标和第k+1帧的第j个运动目标中心点坐标；则目标带宽为:

h_i(k)＝xc(k)_i ²+yc(k)_i ²；h_j(k+1)＝xc(k+1)_j ²+yc(k+1)_j ²；

权值矩阵wei_i(k)，wei_j(k+1)表示目标中各像素点在颜色直方图中所占的比重，dist(a,b)表示目标中每个像素点(a,b)到中心点(xc(k)_i,yc(k)_i)或(xc(k+1)_j,yc(k+1)_j)的距离：

dist_i(a,b)＝(a-xc(k)_i)²+(b-yc(k)_i)²；wei_i(a,b)＝1-dist_i(a,b)/h_i(k)；

dist_j(a,b)＝(a-xc(k+1)_j)²+(b-yc(k+1)_j)²；wei_j(a,b)＝1-dist_j(a,b)/h_j(k+1)；

归一化处理后wei_i(k)＝1/∑∑wei_i(a,b)；wei_j(k+1)＝1/∑∑wei_j(a,b)；

h_i(a,b)，h_j(a,b)表示像素点(a,b)的色彩分布:

h_i(a,b)＝(h_i(a,b)+wei_i(a,b))*wei_i(k)；h_j(a,b)＝(h_j(a,b)+wei_j(a,b))*wei_j(k)即可得到颜色直方图矩阵。

7.根据权利要求1所述的静态监控视频摘要方法，其特征在于所述方法中视频分割得到多个视频分段的方法是基于跟踪信息的视频分段方法，根据跟踪链表中的数据判断此刻运动目标是否有比较的大的变动，即是否有运动目标进入或者离开，以此为分割界限将视频划分成多个小片段。

8.根据权利要求1所述的静态监控视频摘要方法，其特征在于所述方法步骤(4)中采用视频片段的倒数第一帧作为关键帧，提取运动轨迹的方法是根据跟踪的运动目标的位置信息在相应视频片段的最后一帧中连接各运动物体的运动质心并显示出来形成运动轨迹。

Images