CN105023271A - 基于多线索信息的行为集体度衡量方法 - Google Patents

Abstract

本发明公开了一种基于多线索信息的行为集体度衡量方法，用于解决现有行为集体度衡量方法准确性差的技术问题。技术方案是检测并跟踪视频中的特征点，得到初始特征点集合，将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体衡量其行为集体度。所有个体行为集体度的均值即为整体行为的集体度。本发明通过对多线索信息的利用，使行为集体度计算的准确性得到了提升。

Description

基于多线索信息的行为集体度衡量方法

技术领域

本发明涉及一种行为集体度衡量方法，特别是涉及一种基于多线索信息的行为集体度衡量方法。

背景技术

随着人口增长，拥挤现象日益增加，针对拥挤场景的视频分析也变得格外重要。在人类社会和自然界的拥挤场景中，个体往往倾向于组成集体，并表现出一些集体行为，如鱼群效应、动物迁徙等。对于集体运动的研究可以应用于很多领域，如集体行为分析、群体仿真、拥挤场景分析等。为了对集体运动进行定量分析，Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEETransactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中首次提出了行为集体度的概念。行为集体度是指多个个体的运动可以被视为集体运动的程度，对于跨场景研究集体运动具有重要意义。

目前衡量行为集体度的方法有两种：第一种是Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on PatternAnalysis and Machine Intelligence,36,1586-1599,2014.”中提出的方法，这种方法通过跟踪提取个体，并使用流形学习方法计算个体行为相似度，进而衡量行为集体度。第二种是Shao等人在文献“J.Shao,C.Loy,and X.Wang.Scene-independent group profiling incrowd.IEEE Conference on Computer Vision and Pattern Recognition,2227-2235,2014.”中提出的方法，通过跟踪提取个体后，对于所有个体的空间位置变化计算出一个变换矩阵，通过变换误差衡量行为集体度。以上两种方法存在提取个体时，从视频中检测并追踪特征点，进而直接把特征点当作个体，但是特征点并不能很好地代表个体，因为同一个体上不可避免地存在多个特征点。因此，这两种方法不能够准确衡量行为集体度。

发明内容

为了克服现有行为集体度衡量方法准确性差的不足，本发明提供一种基于多线索信息的行为集体度衡量方法。该方法检测并跟踪视频中的特征点，得到初始特征点集合。采用分割算法将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度；衡量个体的速度稳定度以及与邻域个体速度偏差，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体，根据其与其他个体的拓扑相似度，衡量其个体行为集体度。所有个体行为集体度的均值，即为整体行为的集体度。本发明通过对多线索信息的利用，挖掘更多信息，使行为集体度计算的准确性得到提升。

本发明解决其技术问题所采用的技术方案是：一种基于多线索信息的行为集体度衡量方法，其特点是采用以下步骤：

步骤一、检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体。

1)检测并跟踪视频中的特征点，得到初始特征点集合；

2)采用分割算法将视频中每一帧图像分割为图像块；

3)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：

$C_t(i,j)=max(\frac{v_i\·v_j}{\left|v_i\right|\·\left|v_j\right|},0)---\left(1\right)$

式中i和j分别代表两个特征点，t为图像帧数，v_i和v_j代表特征点速度，C_t(i,j)代表i和j在第t帧中的速度相似度。

若C_t(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个。反复迭代，直至找到保留的特征点属于不同个体。得到筛选后的特征点集合，将其中的特征点视为个体。

步骤二、利用多线索信息，计算个体相似度。

1)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：

$D_t(i,j)=\left\{\begin{array}{cc}\sqrt{{(x_i-x_j)}^2-{(y_i-y_j)}^2}& j\∈N\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.---\left(2\right)$

式中x_i,y_i代表i的空间坐标，x_j,y_j代表j的空间坐标，D_t(i,j)代表i和j在第t帧中的空间位置相似度。

2)结合第t-1帧图像中i与j的相似度S_t-1(i,j)，计算两个体在第t帧图像中的相似度：

$S_t(i,j)=\left\{\begin{array}{cc}\frac{C_t(i,j)}{f\left(D_t(i,j)\right)}+\mathrm{\β}{S}_{t-1}(i,j)& D_t(i,j)>0\\ 0& F_t(i,j)=0\end{array}\right.---\left(3\right)$

式中β为调节权重的参数，f为正比例函数，S_t(i,j)代表i和j在第t帧中的相似度。

步骤三、衡量个体稳定性，去除不稳定个体。

1)衡量每个个体i的速度稳定性：

2)衡量个体与临近点的速度偏差：

3)计算个体稳定程度：

ST_i(t)＝SP_i(t)+αSN_i(t)   (4)

式中α为权重，ST_i(t)为个体i在t时刻的稳定程度。得到所有个体的稳定程度后，将稳定程度低的个体去除。

步骤四、利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度。

1)对于个体i与j，假设γ_l(i,j)＝{p_i->p_i+1->…p_j-1->p_j}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

2)i到j沿所有路径上的相似度为：

${\mathrm{\τ}}_{i,j}=\underset{l=1}{\overset{\mathrm{\∞}}{\Σ}}\underset{{\mathrm{\γ}}_l\∈P_l}{\Σ}{v}_{{\mathrm{\γ}}_l}(i,j)---\left(5\right)$

式中P_l为i到j长度为l路径的集合，τ_i,j为i到j沿所有路径上的相似度。

利用S_t对τ_i,j进行计算：

τ_i,j＝[(I-S_t)^-1-I]_ij   (6)

式中I表示单位矩阵。

因此，个体i的行为集体度即为：

${\mathrm{\φ}}_t\left(i\right)=\underset{j\∈C,j\≠i}{\Σ}{\mathrm{\τ}}_{i,j}---\left(7\right)$

式中C为个体集合。

场景行为集体度为：

${\mathrm{\Φ}}_t=\frac{1}{\left|C\right|}\underset{i\∈C}{\Σ}{\mathrm{\φ}}_t\left(i\right)---\left(8\right)$

式中，|C|表示场景中的个体数量。

本发明的有益效果是：该方法检测并跟踪视频中的特征点，得到初始特征点集合。采用分割算法将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度；衡量个体的速度稳定度以及与邻域个体速度偏差，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体，根据其与其他个体的拓扑相似度，衡量其个体行为集体度。所有个体行为集体度的均值，即为整体行为的集体度。本发明通过对多线索信息的利用，挖掘更多信息，使行为集体度计算的准确性得到提升，达到了79％以上。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于多线索信息的行为集体度衡量方法的流程图。

图2是本发明方法在对视频帧进行筛选特征点前后的效果对比图，其中图2(a)是初始特征点集合，图2(b)是经过筛选的特征点集合。

具体实施方式

参照图1-2。本发明基于多线索信息的行为集体度衡量方法具体步骤如下：

步骤1，检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体。

(1a)检测并跟踪视频中的特征点，得到初始特征点集合；

(1b)采用分割算法将视频中每一帧图像分割为图像块。同一图像块中的特征点在颜色、空间分布上具有较高相似度。

(1c)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：

$C_t(i,j)=max(\frac{v_i\·v_i}{\left|v_i\right|\·\left|v_j\right|},0)---\left(8\right)$

式中i和j分别代表两个特征点，t为图像帧数，v_i和v_j代表特征点速度，C_t(i,j)代表i和j在第t帧中的速度相似度。

若C_t(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个。反复迭代，直至找到保留的特征点属于不同个体。得到筛选后的特征点集合，将其中的特征点视为个体。

步骤2，利用多线索信息，计算个体相似度。

(2a)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：

$D_t(i,j)=\left\{\begin{array}{cc}\sqrt{{(x_i-x_j)}^2-{(y_i-y_j)}^2}& j\∈N\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.---\left(9\right)$

式中x_i,y_i代表i的空间坐标，x_j,y_j代表j的空间坐标，D_t(i,j)代表i和j在第t帧中的空间位置相似度。

(2b)结合第t-1帧图像中i与j的相似度S_t-1(i,j)，计算两个体在第t帧图像中的相似度：

$S_t(i,j)=\left\{\begin{array}{cc}\frac{C_t(i,j)}{f\left(D_t\right(i,j))}+{\mathrm{\βS}}_{t-1}(i,j)& D_t(i,j)>0\\ 0& D_t(i,j)=0\end{array}\right.$

(10)式中β为调节权重的参数，f为正比例函数，S_t(i,j)代表i和j在第t帧中的相似度。

步骤3，衡量个体稳定性，去除不稳定个体。

(3a)衡量每个个体i的速度稳定性：

(3b)衡量个体与临近点的速度偏差：

(3c)计算个体稳定程度：

ST_i(t)＝SP_i(t)+αSN_i(t)   (11)

式中α为权重，ST_i(t)为个体i在t时刻的稳定程度。得到所有个体的稳定程度后，将稳定程度低的个体去除。

步骤4，利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度。

(4a)利用图论知识，对于个体i与j，假设γ_l(i,j)＝{p_i->p_i+1->…p_j-1->p_j}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

(4b)i到j沿所有路径上的相似度为：

${\mathrm{\τ}}_{i,j}=\underset{l=1}{\overset{\mathrm{\∞}}{\Σ}}\underset{{\mathrm{\γ}}_l\∈P_l}{\Σ}{v}_{{\mathrm{\γ}}_l}(i,j)$

(12)式中P_l为i到j长度为l路径的集合，τ_i,j为i到j沿所有路径上的相似度。

Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring CrowdCollectiveness.IEEE Transactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中指出可以利用S_t对τ_i,j进行计算：

τ_i,j＝[(I-S_t)^-1-I]_ij

(13)式中I表示单位矩阵。

因此，个体i的行为集体度即为：

${\mathrm{\φ}}_t\left(i\right)=\underset{j\∈C,j\≠i}{\Σ}{\mathrm{\τ}}_{i,j}$

(14)式中C为个体集合。

场景行为集体度为：

${\mathrm{\Φ}}_t=\frac{1}{\left|C\right|}\underset{i\∈C}{\Σ}{\mathrm{\φ}}_t\left(i\right)---\left(8\right)$

式中，|C|表示场景中的个体数量。

本发明的效果通过以下仿真实验做进一步的说明。

1.仿真条件。

本发明是在中央处理器为i5-34703.2GHz CPU、内存4G、WINDOWS 7操作***上，运用MATLAB软件进行的仿真。

实验中使用的测试视频来来自于Collective Motion数据库，该数据库由Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEETransactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中提出，包括413个拥挤场景的视频片段，每个视频片段由100帧图像构成。根据场景行为集体度，视频片段被人工分为三个等级：低、中、高。

2.仿真内容。

计算场景行为集体度，用于分别提取三个等级的视频片段。为了对比本发明的有效性，选取了Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.MeasuringCrowd Collectiveness.IEEE Transactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中提到的衡量场景行为集体度的方法(MCC)。调节参数，计算平均准确率、查全率与F值。对比结果如表1所示。

表1 实验结果对比

从表1可见，在提取低、中等级视频时，本发明准确率、召回率及F值均优于MCC；在提取中等级视频时，MCC准确率略高，但召回率与F值均低于本发明。总体来看，本发明在提取三个等级的视频片段时，取得更好的结果。本发明由于在图像分割的基础上筛选特征点，有效的移除冗余点，使个体的提取更为准确，如图2；本发明利用多线索信息，充分挖掘场景信息；本发明将不稳定个体去除，并采用流形学习的方法，能够处理拥挤场景的复杂结构。

图2为初始特征点集合与筛选后特征点集合的对比。图2(a)为未经筛选的特征点集合，可以看出体积大的个体上包含更多更密集的特征点，说明未经筛选的特征点并不能很好地代表物体。说明了筛选后的特征点集合更能代表场景中的个体。图2(b)为经过筛选的特征点集合，可以看出经过筛选后的特征点在物体上的分布比较均匀，特征点数目受个体体积影响较小，可以更好地代表场景中的个体。

Claims (1)

1.一种基于多线索信息的行为集体度衡量方法，其特征在于包括以下步骤：

步骤一、检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体；

1)检测并跟踪视频中的特征点，得到初始特征点集合；

2)采用分割算法将视频中每一帧图像分割为图像块；

3)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：

$C_t(i,j)=max(\frac{v_i\·v_j}{\left|v_i\right|\·\left|v_j\right|},0)---\left(1\right)$

式中i和j分别代表两个特征点，t为图像帧数，v_i和v_j代表特征点速度，C_t(i,j)代表i和j在第t帧中的速度相似度；

若C_t(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个；反复迭代，直至找到保留的特征点属于不同个体；得到筛选后的特征点集合，将其中的特征点视为个体；

步骤二、利用多线索信息，计算个体相似度；

1)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：

$D_t(i,j)=\left\{\begin{array}{cc}\sqrt{{(x_i-x_j)}^2-{(y_i-y_j)}^2}& j\∈N\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.---\left(2\right)$

式中x_i,y_i代表i的空间坐标，x_j,y_j代表j的空间坐标，D_t(i,j)代表i和j在第t帧中的空间位置相似度；

2)结合第t-1帧图像中i与j的相似度S_t-1(i,j)，计算两个体在第t帧图像中的相似度：

$S_i(i,j)=\left\{\begin{array}{cc}\frac{C_t(i,j)}{f\left(D_t\right(i,j))}+{\mathrm{\βS}}_{t-1}(i,j)& D_t(i.j)>0\\ 0& D_t(i.j)=0\end{array}\right.---\left(3\right)$

式中β为调节权重的参数，f为正比例函数，S_t(i,j)代表i和j在第t帧中的相似度；

步骤三、衡量个体稳定性，去除不稳定个体；

1)衡量每个个体i的速度稳定性：

2)衡量个体与临近点的速度偏差：

3)计算个体稳定程度：

ST_i(t)＝SP_i(t)+αSN_i(t)    (4)

式中α为权重，ST_i(t)为个体i在t时刻的稳定程度；得到所有个体的稳定程度后，将稳定程度低的个体去除；

步骤四、利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度；

1)对于个体i与j，假设γ_l(i,j)＝{p_i->p_i+1->…p_j-1->p_j}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

2)i到j沿所有路径上的相似度为：

${\mathrm{\τ}}_{i,j}=\underset{l=1}{\overset{\mathrm{\∞}}{\Σ}}\underset{{\mathrm{\γ}}_l\∈P_l}{\Σ}{v}_{{\mathrm{\γ}}_l}(i,j)---\left(5\right)$

式中P_l为i到j长度为l路径的集合，τ_i,j为i到j沿所有路径上的相似度；

利用S_t对τ_i,j进行计算：

τ_i,j＝[(I-S_t)^-1-I]_ij   (6)式中I表示单位矩阵；

因此，个体i的行为集体度即为：

${\mathrm{\φ}}_t\left(i\right)=\underset{j\∈C,j\≠i}{\Σ}{\mathrm{\τ}}_{i,j}---\left(7\right)$

式中C为个体集合；

场景行为集体度为：

${\mathrm{\Φ}}_t=\frac{1}{\left|C\right|}\underset{i\∈C}{\Σ}{\mathrm{\φ}}_t\left(i\right)---\left(8\right)$

式中，|C|表示场景中的个体数量。