CN108537118A - 基于流体力学三种描述子的行为识别方法 - Google Patents

Abstract

本发明提供一种基于流体力学三种描述子的行为识别方法，包括：计算图片基于流体力学的三种描述子，分别得到该图片的平流描述子、扩散描述子和压力描述子；将所得到的同一帧的不同描述子的热力图整合成所采用神经网络的输入的数据类型，输入到已经训练好的所述神经网络中，对所述神经网络进行微调得到不同人群行为的模型；通过得到的所述模型对人群行为进行分类，得到所测的人群行为种类，实现行为识别。本发明对于行为识别的准确率较高，可以减少将无事件发生的帧检测为事件发生的帧，同时在也可以检测出更多的事件发生的帧。

Description

基于流体力学三种描述子的行为识别方法

技术领域

本发明属于计算机视频处理技术领域，具体地说，涉及的是一种基于流体力学三种描述子的行为识别方法。

背景技术

人群行为分析是计算机视觉领域的重要研究课题，主要是对真实场景中人群运动行为进行分析，人群行为分析的方法可以分为基于整体和基于对象两种，基于整体的分析方法将人群作为一个整体，可以将人群分类为正常或异常，或者识别预先定义过的人群行为；而后者将人群看成不同个人的集合，考虑场景中行人个体间的相互作用，检测场景中的异常和正常活动。

基于整体的人群行为识别方法常用于在高密度监控场景中(参见：Mehran R,Moore B E,Shah M.A Streakline Representation of Flow in Crowded Scenes[M]//Computer Vision–ECCV 2010.Springer Berlin Heidelberg,2010:439-452.)；而基于对象的方法在不考虑人群密度的情况下，对每个个体进行检测和分割完成行为分析(参见：Wang X,Ma X,Grimson W E.Unsupervised activity perception in crowded andcomplicated scenes using hierarchical bayesian models.[J].IEEE Transactionson Pattern Analysis&Machine Intelligence,2009,31(3):539-555.)。

现有的人群行为识别的方法面临以下问题：

1)高密度监控场景中运动目标较小，从单个个体中检测和提取的特征极小，对于人群行为的描述力也不够；

2)抽象成粒子后进行分析的特征失去了对于人群行为描述的连续性；

3)关注局部的运动行为，没有考虑整体的影响，缺乏整个群体的描述。

发明内容

为克服上述现有技术的不足之处，本发明的目的在于提供一种基于流体力学三种描述子的行为识别方法。本发明受到流体力学的启发，计算人群中的三种描述子，通过三种描述子来对不同人群行为进行识别。

本发明是通过以下技术方案实现的：

本发明提供一种基于流体力学三种描述子的行为识别方法，包括：

计算图片基于流体力学的三种描述子，分别得到该图片的平流描述子、扩散描述子和压力描述子；

将所得到的同一帧的不同描述子的热力图整合成所采用神经网络的输入的数据类型，输入到已经训练好的所述神经网络中，对所述神经网络进行微调得到不同人群行为的模型；

通过得到的所述模型对人群行为进行分类，得到所测的人群行为种类，实现行为识别。

优选地，所述基于流体力学的三种描述子，是基于流体力学基本方程Navier-Stokes方程的平流描述子，扩散描述子和压力描述子。

优选地，所述平流描述子，定义为：平流描述子在二维空间内表示为：

u_x，u_y分别表示粒子速度在x，y方向(即水平和垂直)的分量，分别表示对其进行偏导。

优选地，所述扩散描述子，定义为：扩散描述子在二维空间内表示为：

其中ν表示为流体力学中的运动粘滞系数，表达流体中粒子对于其他粒子的阻碍作用。

更优选地，所述运动粘滞系数，定义为粒子在整体中的运动一致性，具体为：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：I为对角矩阵，φ(i)为个体i在人群中的运动一致性，W为该人群个体所形成的图的邻接矩阵，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边；z为一致性系数在0～1之间，e表示单位矩阵；

W为该人群个体所形成的图的邻接矩阵，其中W每个位置的元素为其行与列之间个体的一致性，表示如下：

ω_t(i,j)＝max(C_t(i,j),0)(j∈N(i))

其中C_t(i,j)定义为在t时间时个体i和个体j的速度相关；N(i)是指个体i邻域个体的集合。

优选地，所述压力描述子由以下公式进行计算得到：

其中为粒子i的速度，为粒子i周围粒子的平均速度，为粒子i所处位置的局部密度ρ(t)随时间t的导数。

进一步的，在得到所述三种描述子后，将三种描述子连接成一个矩阵，整个矩阵所构成的行为特征对应一个类型的人群行为，生成模型所需要的数据类型；选取部分数据作为训练数据，输入到神经网络里面进行训练，多次迭代得到相应的模型。

与现有技术相比，本发明的具有以下有益效果：

1)本发明采用的三种描述子包含底层特征描述和中层语义特征，可以从多个层级对人群行为进行描述，减少单一层级描述所带来的不完整性；

2)本发明采用三种描述子抽取局部和整体，空间域和时间域运动特性分析人群的行为特征，从粒子角度描述人群整体行为充分考虑人群中的流动性，考虑空间中不同粒子之间的相互作用和粒子在不同时刻的运动特性，充分描述人群粒子的特征；

本发明通过从物理学的流体动力学出发，提出基于流体力学三种描述子的人群行为识别方法，对于场景中出现的奔跑、集合、分流、四散和逆行等事件进行检测，对于行为识别的准确率较高，可以减少将无事件发生的帧检测为事件发生的帧，同时在也可以检测出更多的事件发生的帧。

附图说明

图1为本发明一实施例中方法流程图；

图2为本发明一实施例中不同人群行为平流描述子热力图对比图；

图3为本发明一实施例中不同人群行为扩散描述子热力图对比图；

图4为本发明一实施例中不同人群行为压力描述子热力图对比图；

图5为本发明一实施例中不同方法指标对比图；

图6为本发明一实施例中不同方法人群行为识别的条状对比图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例采用的图像来自PETS09的人群行为数据库。PETS09数据库是IEEE跟踪和监控性能评估国际专题讨论会2009年所提出的数据集。

如图1所示，本实施例涉及的基于流体力学三种描述子的行为识别方法，包括如下具体实施步骤：

第一步：通过光流法得到图片的运动特性其中u_x、u_y是粒子速度在水平和垂直方向的分量。

第二步：基于流体力学理论抽取人群三种描述子，即平流描述子，扩散描述子和压力描述子；

根据现有技术，已知流体力学基本方程Navier-Stokes方程如下：

可以参见：Grassi V,Leo R A,Soliani G,et al.Navier-Stokes equations[J].Acta Applicandae Mathematica,1992,28(3):295-296。其中公式中为粒子速度关于时间t的偏导数，为粒子所受外力，ρ为粒子所处局部密度，▽p为粒子所受粒子之间相互压力的梯度，ν为粒子的运动粘滞力系数。

本实施例中，上述的平流描述子，扩散描述子和压力描述子的定义分别为：

1、平流描述子：平流描述子在二维空间内表示为：

通过光流法计算得到不同人群行为模式下的平流描述子，比较跑步、汇合、分流、逆行、绕障碍和小散不同人群行为下平流描述子的热力图。如图2中(a)、(b)、(c)所示，其中：(a)、(b)、(c)分别是等待和小散、走路和跑、绕障碍逆行汇合和分流不同行为状态下平流描述子热力图。

通过对比聚集状态与行人向外小散平流描述可以发现出现行人小散的位置在平流描述子热力图中颜色较深，说明通过平流描述子可以表现出稳定的聚合人群中有人向外扩散的情况，出现与原有状态不同的平流描述子热力图；正常行走状态和跑步状态两者的平流描述子热力图相差不大；对于场景出现绕障碍、逆行、汇合和分流在行为事件发生的位置会有比较深的像素点出现。

2、扩散描述子：扩散描述子在二维空间内表示为：

其中ν表示为流体力学中的运动粘滞系数，表达流体中粒子对于其他粒子的阻碍作用。

进一步的，所述运动粘滞系数，定义为粒子在整体中的运动一致性，具体为：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：I为对角矩阵，φ(i)为个体i在人群中的运动一致性，W为该人群个体所形成的图的邻接矩阵，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边；z为一致性系数在0～1之间，e表示单位矩阵；

W为该人群个体所形成的图的邻接矩阵，其中W每个位置的元素为其行与列之间个体的一致性，表示如下：

ω_t(i,j)＝max(C_t(i,j),0)(j∈N(i))

其中C_t(i,j)定义为在t时间时个体i和个体j的速度相关。

通过光流法计算得到不同人群行为模式下的扩散描述子，比较跑步、汇合、分流、逆行、绕障碍和小散不同人群行为下扩散描述子的热力图。如图3中(a)、(b)、(c)所示，其中：(a)、(b)、(c)分别是等待和小散、走路和跑、绕障碍逆行汇合和分流不同行为状态下扩散描述子热力图。

通过对比聚集状态与行人向外小散扩展描述时可以发现出现行人小散的位置在扩散描述子热力图中颜色较深，说明通过扩散描述子可以表现出稳定的聚合人群中有人向外扩散的情况；正常行走状态与跑步状态和人群个体中出现分流状态的扩散描述子，两者情况下的散度描述子热力图的区别不大；场景中出现人群绕行、逆行、分流和聚合场景，在对应行为出现的位置对应热力图有较深像素点。

3、定义压力描述子：

其中p为流体粒子之间的相互压力，为受到的外力作用，两者相结合得到的压力描述子是基于粒子之间的相互作用，粒子所受到外力及所在位置局部密度共同决定；ρ是指粒子所在的局部密度；

本发明定义的压力描述子由以下公式进行计算：

其中为粒子i的速度，为粒子i周围粒子的平均速度，为粒子i所处位置的局部密度随时间的变化率，上述公式为压力描述子的具体计算方式。

通过光流法计算得到不同人群行为模式下的压力描述子，比较跑步、汇合、分流、逆行、绕障碍和小散不同人群行为下扩散描述子的热力图。如图4中(a)、(b)、(c)所示，其中：(a)、(b)、(c)分别是等待和小散、走路和跑、绕障碍逆行汇合和分流不同行为状态下压力描述子热力图。

压力描述子对于走路状态到跑步状态，压力描述子热力图中人群所处的位置会有颜色较深的色素点出现；对于聚集和小散场景中，出现运动的行人个***置也会出现较深的像素点表明其发生了小散的行为；对于逆行、绕障碍汇合行为，对应位置会有较深的像素点出现；压力描述子无法描述分流行为。压力描述子总体对于场景内的无用粒子的描述信息较少。

第三步：得到三种描述子，依据选择的网络对于输入的要求，如图1所示，本实施例中将三种描述子对应的热力图重新调整大小到227×227，所选取的网络为Alexnet网络，网络深度为8层，包含有5层卷基层和3层全连接层，5层卷积层的卷积核个数分别为96、256、384、384、256，三层全连接层的输出向量维度分别为4096×1、4096×1、6×1，最后全连接层输出的维度为所分类的人群行为的种类此处为6，Alexnet网络采用Softmax函数作为损失函数，公式如下：

其中K为分类的类别数量，θ_i和θ_k分别表示网络的第i和k个输出结果，将三种描述子连接成一个矩阵，整个矩阵所构成227×227×3行为特征对应一个类型的人群行为，生成模型所需要的数据类型HDF5。当然，此步骤中所选择的网络、图片等均是本发明一实施例中的情况，在其他实施例中，也可以选择其他的网络、图片等只要能实现相应的目的即可。

第四步：从所有数据中随机选取部分数据作为训练数据；

本实施例中，选取40％的数据作为训练数据，输入到合适的神经网络里面进行训练，采用Caffnet所提供的已经训练好的网络进行微调，经过10000迭代得到相应的模型，学习率为0.0001。当然，在其他实施例中，也可以选择其他的网络、迭代次数等只要能实现相应的目的即可。

第五步：对于剩下的60％要进行预测的人群行为，使用获得的模型进行预测。

通过实验证明，本实施例能与之前的人群行为识别方法相比，有较好的进步。其中Precision，Recall和F₁-score的定义如下：

图5是不同事件在不同方法下的不同评价指标结果，由图5所示可以看出，由本实施例方法对于人群行为识别所得到的各项参数都比较高，能准确的识别出人群的汇合、逆行、分流、跑步、四散行为，便于后续的进一步处理。

图6为不同方法人群行为识别的条状对比，其中：(a)、(b)、(c)、(d)分别是四散、汇合、跑、分流的条状对比图，其中深色的表示发生对应人群行为的时刻，浅色表示未发生对应人群行为的时刻。

通过上述实施例可以看出，本发明通过从物理学的流体动力学出发，得到三种描述子，说明了三种描述子对于人群状态的描述的异同，提出基于流体力学三种描述子的人群行为识别方法，对于场景中出现的奔跑、集合、分流、四散和逆行等事件进行检测，对于行为识别的准确率较高，可以减少将无事件发生的帧检测为事件发生的帧，同时在也可以检测出更多的事件发生的帧。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于流体力学三种描述子的行为识别方法，其特征在于，包括：

计算图片基于流体力学的三种描述子，分别得到该图片的平流描述子、扩散描述子和压力描述子；

将所得到的同一帧的不同描述子的热力图整合成所采用神经网络的输入的数据类型，输入到已经训练好的所述神经网络中，对所述神经网络进行微调得到不同人群行为的模型；

通过得到的所述模型对人群行为进行分类，得到所测的人群行为种类，实现行为识别。

2.根据权利要求1所述的基于流体力学三种描述子的行为识别方法，其特征在于，所述基于流体力学的三种描述子，是基于流体力学基本方程Navier-Stokes方程的平流描述子，扩散描述子和压力描述子。

3.根据权利要求2所述的基于流体力学三种描述子的行为识别方法，其特征在于，所述平流描述子，定义为：平流描述子在二维空间内表示为：

u_x，u_y分别表示粒子速度在x，y方向(即水平和垂直)的分量，分别表示对其进行偏导。

4.根据权利要求2所述的基于流体力学三种描述子的行为识别方法，其特征在于，所述扩散描述子，定义为：扩散描述子在二维空间内表示为：

其中ν表示为流体力学中的运动粘滞系数，表达流体中粒子对于其他粒子的阻碍作用。

5.根据权利要求4所述的基于流体力学三种描述子的行为识别方法，其特征在于，所述运动粘滞系数，定义为粒子在整体中的运动一致性，具体为：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：I为对角矩阵，φ(i)为个体i在人群中的运动一致性，W为该人群个体所形成的图的邻接矩阵，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边；z为一致性系数在0～1之间，e表示单位矩阵；

W为该人群个体所形成的图的邻接矩阵，其中W每个位置的元素为其行与列之间个体的一致性，表示如下：

ω_t(i,j)＝max(C_t(i,j),0)(j∈N(i))

其中C_t(i,j)定义为在t时间时个体i和个体j的速度相关；N(i)是指个体i邻域个体的集合。

6.根据权利要求2所述的基于流体力学三种描述子的行为识别方法，其特征在于，所述压力描述子由以下公式进行计算得到：

其中为粒子i的速度，为粒子i周围粒子的平均速度，为粒子i所处位置的局部密度ρ(t)随时间t的导数。

7.根据权利要求1-6任一项所述的基于流体力学三种描述子的行为识别方法，其特征在于，在得到所述三种描述子后，将三种描述子连接成一个矩阵，整个矩阵所构成的行为特征对应一个类型的人群行为，生成模型所需要的数据类型；选取部分数据作为训练数据，输入到神经网络里面进行训练，多次迭代得到相应的模型。