CN111325153B - 一种基于多维数据的学生行为特征智能分析方法 - Google Patents

Abstract

本发明属于多维数据智能处理的技术领域，涉及一种基于多维数据的学生行为特征智能分析方法；包括S1、构建高低频3D残差神经网络模型进行视频结构化处理得到目标的空间位置、行为类别；S2、将采集学生的信息存入数据库中，生成学生的轨迹序列；S3、构建出目标的可描述信息序列，筛选出与目标匹配度最高的学生的轨迹序列，构建出学生的轨迹‑行为序列对；S4、利用学生轨迹‑行为序列对，生成学生的日常活动规律图表，并进行长时间的规律统计，判定是否存在异常行为；所述方法能够结合学生行为数据、学生定位数据等多个维度的数据，进行智能综合分析，帮助学校发掘每一位学生的行为特征，以及及时发现学生的异常行为，做到快速预警。

Description

一种基于多维数据的学生行为特征智能分析方法

技术领域：

本发明属于多维数据智能处理的技术领域，涉及一种多维数据智能分析方法，特别涉及一种基于多维数据的学生行为特征智能分析方法。

背景技术：

学校不仅要教授学生文化知识，也担负着教导学生养成良好行为习惯的重任。准确分析学生的行为特征，对学生的学习能力提升、教师的教学手段改善、学生之间以及学生与教师之间的良好互动关系都有着极大的帮助。然而学生数量庞大，在校期间的活动不能被全面监管，如何利用有效手段监督学生的行为是亟待解决的问题。

当前大数据、物联网、人工智能等高新技术在教育领域的应用逐渐展开，对学生行为分析也有一定的涉及。在现有技术中，公开号为CN108268854A的中国专利，公开了一种基于特征识别的教学辅助大数据智能分析方法，包括如下步骤：S1、获取学生静态图像；S2、提取出图像的方向梯度特征；S3、机器学习；S4、滑动窗口；S5、选取动作分类下的概率最大的动作，识别动作；S6、对S5中动作发出人进行脸部识别。公开号为CN108242035A的中国专利，公开了一种基于大数据的校园安全监测方法,其特征在于，包括以下步骤：采集校园数据；对校园数据进行分析处理得到学生行为模型；将学生行为模型与参照模型进行对比分析并输出评估结果。本发明实现对在校学生的安全监测，监测内容包括：活动轨迹、课堂表现、作息习惯、消费习惯等，通过数据分析及时发现异常情况，提高了校园的安全性。公开号为CN109145818A的中国专利，公开了一种流量统计方法、装置及***，涉及大数据的技术领域，应用于服务器端，包括接收待进行流量统计的感兴趣特征的目标特征信息；在预设存储区域内查找特征描述信息与目标特征信息相匹配的特征图，预设存储区域内的特征描述信息是对终端发送的最优图像中的特征图进行结构化处理后得到的；统计查找到的特征描述信息所对应的特征图的数量，得到感兴趣特征的流量统计结果，实现对具有相同目标特征信息的特征图进行准确的统计，进而实现对感兴趣特征的流量统计。而对于学生在校期间课上、课下行为识别以及活动轨迹的综合行为特征分析则缺乏相关的统计和分析方法。

发明内容：

本发明的目的在于克服现有前景图像处理存在的缺点，针对当前在校学生因数量多难以对其进行在校行为的监督、以及难以准确分析学生的行为特征、不能及时发现学生的异常举动等不足，设计提供一种基于多维数据的学生行为特征智能分析方法。

为实现上述目的，本发明涉及的一种基于多维数据的学生行为特征智能分析方法，其具体工艺步骤如下：

S1、视频结构化处理

以连续16帧作为一个处理单元、每个处理单元中的视频帧默认为3通道、构建一种高低频3D残差神经网络模型进行视频结构化处理，将文本信息和视频快照数据存入相应的结构化数据库中，高低频3D残差神经网络模型包括低频3D残差神经网络和高频3D残差神经网络，其中低频3D残差神经网络进行人员结构化处理提取目标特征，高频3D残差神经网络进行行为结构化处理提取行为特征；将目标特征和行为特征进行连接，并处理得到目标T的空间位置、行为类别；

S2、采集学生的实时定位数据；

学生佩戴具有GPS+北斗+WiFi+基站定位功能的定位设备，以固定频率对学生进行定位，并将定位结果、定位时间、学生ID信息存入数据库中，生成学生的轨迹序列；

S3、时空研判分析

利用目标T的空间位置抽提出目标T的空间特征，并根据相似度匹配查找出L时间段内目标T的全部相似目标，将每个相似目标的空间特征、行为类别、所在监控摄像头的安装位置按照时间顺序排列，构建出目标T的可描述信息序列；截取出L时间段内多个学生的轨迹序列，并结合目标T的可描述信息序列，利用轨迹匹配从多个学生的轨迹序列中筛选出与目标T匹配度最高的学生S的轨迹序列，即可认定为目标T即为学生S，从而构建出学生S的轨迹-行为序列对；

S4、学生行为特征分析

利用S3获得的学生轨迹-行为序列对，结合学生在L时间段内的课时安排、学校作息时间安排、学生基本信息等，绘制生成学生的日常活动规律图表，并进行数据挖掘，发现学生在校期间的活动爱好，帮助老师根据不同学生的特点，有效改善教学计划；通过对学生的轨迹-行为序列对进行长时间的规律统计，结合人为监督，构建出数据预测告警功能，判定学生是否存在异常行为，如长时间的聚集、徘徊行为、轨迹偏离等，做到实时预警，防止意外发生。

本发明所述步骤S1的视频结构化处理的具体过程为：

S1.1目标特征提取

使用低频3D残差网络结构进行目标特征提取，低频3D残差网络结构对视频帧的采样间隔设定为inv_l＝16，低频3D残差网络结构用于提取目标的空间和语义信息；

S1.2行为特征提取

使用高频3D残差网络结构进行行为特征提取，计算提取的行为特征尺寸为{8,256,7,7}；高频3D残差网络结构对视频帧的采样间隔设定为inv_h＝inv_l/α，其中α＝8，卷积核的个数为低频3D残差网络中卷积核个数的β倍，其中β＝1/8；

S1.3视频分类

首先通过矩阵操作将行为特征进行尺寸转换，其次采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，再次将处理过的目标特征和行为特征进行横向连接，最后将目标特征和行为特征输入全连接层，最终得到目标的空间位置、行为类别；具体过程如下：

(1)行为特征尺寸转换

S1.2计算获得的行为特征尺寸为{8,256,7,7}，通过矩阵操作将行为特征尺寸转换成为{1,8×256,7,7}＝{1,2048,7,7}，即将α个特征图转换为单个特征图的卷积核个数，完成特征尺寸的转换；

(2)特征全局均值池化

采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，池化核尺寸为{1,7,7},池化后的特征尺寸均为{1,1,1,2048}；

(3)特征连接

将上面两步骤处理过的目标特征和行为特征进行横向连接，得到连接后的特征长度为4096；

(4)全连接操作

将上步得到的特征输入全连接层，最终得到目标的空间位置、行为类别。

所述S1.1、S1.2、S1.3步骤运算过程中使用Kinetics-400数据集上预训练的模型参数；

S1.4视频结构化

由S1.3得到目标T的空间位置、行为类别以及S1.1得到的目标T的空间特征共同构建出目标T的可描述信息{location_T,spatial_Feature_T,action_ID},用于视频结构化处理，其中行为类别包含写字、绘画、走路、跑步、拉伸肢体、打篮球、踢足球、跳舞、游泳、骑自行车、握手、拥抱、喝水、吃东西、相互推搡多个种类；视频结构化包括目标匹配和生成目标的可描述信息序列，具体过程如下：

(1)目标匹配

通过计算两个相邻处理单元生成的全部目标空间特征之间的余弦距离，实现两个相邻处理单元之间的目标跟踪，即上一个16帧和当前16帧之间的目标跟踪，两个相邻处理单元生成的全部目标空间特征之间的余弦距离计算公式为：

其中，x_i为上一个处理单元生成的x目标的第i个空间特征值，y_i为当前处理单元生成的y目标的第i个空间特征值，θ为两个空间特征向量之间的夹角；

当θ<Threshold_θ，则认为目标匹配，将y目标标记x目标的编号num_x；

当θ≥Threshold_θ，则认为目标不匹配，将y目标标记成新的标号num_y；

其中Threshold_θ＝0.33为夹角阈值；

(2)生成目标的可描述信息序列

将上述处理结果按照时间顺序存入对应结构化数据库中，包括时间、监控摄像头编号、目标编号，行为类型标记、空间特征，即目标T的可描述信息序列，可描述信息序列的具体形式为：

info_Seq_T＝{time_1,camera_ID,num_T,action_ID,spatial_Feature_T；…；time_i,camera_ID,num_T,action_ID,spatial_Feature_T；}

其中i∈N+。

本发明所述S2步骤中学生S的轨迹序列的具体形式为：

traj_S＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}

其中i∈N+；

本发明所述S3步骤时空研判分析具体过程如下：

S3.1全局目标检索

根据目标T的空间特征，利用余弦距离对校区内的多路摄像头生成目标进行全局搜索，查找出L时间段内目标T的全部可描述信息序列，并按照时间顺序排列；

S3.2时空匹配

(1)利用L时间段内目标T的全部相似目标所在监控摄像头的时间分布、以及监控摄像头的安装位置，构建出时空匹配序列，时空匹配序列具体形式为：

camera_Time_Seq_T_L＝{time_1,camera_m_lat,camera_m_lon；…；time_i,camera_n_lat,camera_n_lon；}

其中i∈(1,…,L)，time_i为第i个时间点，camera_m_Lat表示监控摄像头m的安装位置-纬度，camera_m_Lon表示监控摄像头m的安装位置-经度；

(2)截取出L时间段内学生S的轨迹序列，截取的学生轨迹序列具体形式为：

traj_S_L＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}

其中i∈(1,…,L)，loaction_Time_i表示为与time_i最邻近的时间点，lat_i表示：loaction_Time_i时刻学生的纬度，lon_i表示：loaction_Time_i时刻学生的经度，camera_Time_Seq_T_L与traj_S_L之间的欧式距离的计算公式如下：

若dist(S,T)≥Threshold_dist，则表示目标T不是学生S；

若dist(S,T)<Threshold_dist，则表示目标T可能是学生S；

其中Threshold_dist＝0.8为欧式距离阈值，s_i_lat为学生S在loaction_Time_i时刻的纬度，s_i_lon为学生S在loaction_Time_i时刻的经度，t_i_lat为目标T在time_i时刻的纬度，s_i_lon为目标T在time_i时刻的经度；

(3)依次对比多个截取的学生轨迹序列，筛选出dist(F,T)值最小的学生F，即可认定学生F为目标T，生成该学生的轨迹-行为序列对，该学生轨迹-行为序列对具体形式为：

其中i∈(1,…,L)。

本发明所述低频3D残差网络结构包括：一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为16，即每16帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到目标特征。

本发明所述低频3D残差网络结构的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层，这种方式有助于解决梯度消失和梯度***的问题，在利用更深的网络提取特征的同时保障了网络良好的运算性能。

本发明所述低频3D残差网络中各层具体参数为：其中输入层Input：输出尺寸为{1,3,224,224}，采样间隔为16，视频帧尺寸为{3,224,224}；卷积层Conv1：输出尺寸为{1,64,112,112}，卷积核个数为64，步长为{1,2,2}，尺寸为{1,3,7,7}；池化层Pool1：输出尺寸为{1,64,56,56}，池化核步长为{1,2,2}，尺寸为{1,3,3}，方式为最大值；

残差块Res2：输出尺寸为{1,256,56,56}，

残差块Res3：输出尺寸为{1,512,28,28}，

残差块Res4：输出尺寸为{1,1024,14,14}，

残差块Res5：输出尺寸为{1,2048,7,7}，

其中上述数字或者符号含义为：视频帧尺寸“{3,224,224}”对应为{视频帧通道数,视频帧宽度,视频帧高度}；卷积核尺寸“{3,1,7,7}”对应为{[视频帧通道数,]视频帧深度,视频帧宽度,视频帧高度}，中括号中的数值可不存在；卷积核步长“{1,2,2}”对应为{时间步长,横向空间步长,纵向空间步长}；池化核尺寸“{1,3,3}”对应为{视频帧深度,视频帧宽度,视频帧高度}；池化核步长“{1,2,2}”对应为{时间步长,横向空间步长,纵向空间步长}；输出尺寸(如“{1,3,224,224}”)对应为{特征图深度,卷积核个数,特征图宽度,特征图高度}，残差块参数中乘号后的因数(如“×6”)表示卷积操作的重复的次数；

本发明所述的高频3D残差网络包括一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为2，即每2帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法，对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到行为特征。

本发明所述高频3D残差网络的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层，这种方式有助于解决梯度消失和梯度***的问题，在利用更深的网络提取特征的同时保障了网络良好的运算性能。

本发明所述高频3D残差网络中各层具体参数为：其中输入层Input：输出尺寸为{8,3,224,224}，采样间隔为2，图像尺寸为{3,224,224}；卷积层Conv1：输出尺寸为{8,8,112,112}，卷积核个数为8，步长为{1,2,2}，尺寸为{5,3，7,7}；池化层Pool1：输出尺寸为{8,8,56,56}，池化核步长为{1,2,2}，尺寸为{1,3,3}，方式为最大值{1,64,56,56}；

残差块Res2：输出尺寸为{8,32,56,56}，

残差块Res3：输出尺寸为{8,64,28,28}，

残差块Res4：输出尺寸为{8,128,14,14}，

残差块Res5：输出尺寸为{8,256,7,7}，

其中所述高频3D残差网络中各层具体参数中数字或者符号含义同所述低频3D残差网络中各层具体参数中数字或者符号含义；

本发明与现有技术相比，所设计的一种基于多维数据的学生行为特征智能分析方法，能够结合基于视频结构化生成的学生行为数据、基于穿戴式定位设备标定的学生定位数据以及详实的多方面的文本信息等多个维度的数据，进行智能综合分析，帮助学校发掘每一位学生的行为特征，并通过长时间的跟踪学习，帮助学校及时发现学生的异常行为，做到快速预警。

附图说明：

图1为本发明涉及的低频3D残差网络结构的示意图。

图2为本发明涉及的高频3D残差网络结构的示意图。

图3为本发明涉及的基于多维数据的学生行为特征智能分析方法的工艺流程示意框图。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及的一种基于多维数据的学生行为特征智能分析方法，其具体工艺步骤如下：

S1、视频结构化处理

视频结构化是指将视频内容按照语义关系，进行目标分割、时序分析、目标识别等深度学习处理手段，分析和识别目标信息，然后组织成可供计算机和人理解的文本信息的技术。通过视频结构化处理，将文本信息和视频快照数据存入相应的结构化数据库中，能够大大提升视频查找速度、降低视频存储容量、提升了视频数据的应用价值，便于后续的视频数据分析和预测；

所述视频结构化处理以连续16帧作为一个处理单元，每个处理单元中的视频帧默认为3通道；视频结构化通过构建一种高低频3D残差神经网络模型进行处理，高低频3D残差神经网络模型包括低频3D残差神经网络和高频3D残差神经网络，其中低频3D残差神经网络进行人员结构化处理，高频3D残差神经网络进行行为结构化处理；视频结构化处理的具体过程为：

S1.1目标特征提取

由于在视频中检测目标的类别基本不会发生变化，因此目标特征的提取仅需要依靠单个或者少数视频帧，本步骤中使用低频3D残差网络结构进行目标特征提取，低频3D残差网络结构对视频帧的采样间隔设定为inv_l＝16，低频3D残差网络结构用于提取目标的空间和语义信息，低频3D残差网络结构示意图如下图所示：

本实施例所述低频3D残差网络结构低频3D残差网络结构包括：一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为16，即每16帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到目标特征；

本实施例所述低频3D残差网络结构的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层，这种方式有助于解决梯度消失和梯度***的问题，在利用更深的网络提取特征的同时保障了网络良好的运算性能；低频3D残差网络结构具体参数如下表所示：

其中上述表格中数字或者符号含义为：视频帧尺寸“{3,224,224}”对应为{视频帧通道数,视频帧宽度,视频帧高度}；卷积核尺寸“{1,3,7,7}”对应为{[视频帧通道数,]视频帧深度,视频帧宽度,视频帧高度}，中括号中的数值可不存在；卷积核步长“{1,2,2}”对应为{时间步长,横向空间步长,纵向空间步长}；池化核尺寸“{1,3,3}”对应为{视频帧深度,视频帧宽度,视频帧高度}；池化核步长“{1,2,2}”对应为{时间步长,横向空间步长,纵向空间步长}；输出尺寸(如“{1,3,224,224}”)对应为{特征图深度,卷积核个数,特征图宽度,特征图高度}，残差块参数中乘号后的因数(如“×6”)表示卷积操作的重复的次数；

S1.2行为特征提取

由于目标的行为有时会在极短的时间内发生改变，因此本步骤中使用高频3D残差网络结构进行行为特征提取，计算提取的行为特征尺寸为{8,256,7,7}；高频3D残差网络结构对视频帧的采样间隔设定为inv_h＝inv_l/α，其中α＝8，卷积核的个数为低频3D残差网络中卷积核个数的β倍，其中β＝1/8；高频3D残差网络结构具备更高的时间分辨率和更少的卷积核个数，这种结构有利于以更快的速度发掘目标的有用时序信息，高频3D残差网络结构示意图如图2所示，

本实施例所述的高频3D残差网络包括一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为2，即每2帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法，对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到低分辨率的行为特征。

本实施例所述高频3D残差网络的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层，这种方式有助于解决梯度消失和梯度***的问题，在利用更深的网络提取特征的同时保障了网络良好的运算性能；所述高频3D残差网络参数如下表所示：

其中上述表格中数字或者符号含义同S1.1表格中数字或者符号含义；

S1.3视频分类

首先通过矩阵操作将行为特征进行尺寸转换，其次采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，再次处理过的目标特征和行为特征进行横向连接，最后将目标特征和行为特征输入全连接层，最终得到目标的空间位置、行为类别；具体过程如下：

(1)行为特征尺寸转换

S1.2计算获得的行为特征尺寸为{8,256,7,7}，为能够实现与S1.1计算获得的目标特征进行特征连接，需要进行尺寸转换，本步骤通过矩阵操作将行为特征尺寸转换成为{1,8×256,7,7}＝{1,2048,7,7}，即将α个特征图转换为单个特征图的卷积核个数，完成特征尺寸的转换；

(2)特征全局均值池化

采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，池化核尺寸{1,7,7},池化后的特征尺寸均为{1,1,1,2048}；

(3)特征连接

将上面两步骤处理过的目标特征和行为特征进行横向连接，得到连接后的特征长度为4096；

(4)全连接操作

将上步得到的特征输入全连接层，最终得到目标的空间位置、行为类别。

所述S1.1、S1.2、S1.3步骤运算过程中使用Kinetics-400数据集上预训练的模型参数；

S1.4视频结构化

由S1.3得到目标T的空间位置、行为类别以及S1.1得到的目标T的空间特征共同构建出目标T的可描述信息{location_T,spatial_Feature_T,action_ID},用于视频结构化处理，其中行为类别包含写字、绘画、走路、跑步、拉伸肢体、打篮球、踢足球、跳舞、游泳、骑自行车、握手、拥抱、喝水、吃东西、相互推搡等多个种类；视频结构化包括目标匹配和生成目标的可描述信息序列，具体过程如下：

(1)目标匹配

通过计算两个相邻处理单元生成的全部目标空间特征之间的余弦距离，实现两个相邻处理单元之间的目标跟踪，即上一个16帧和当前16帧之间的目标跟踪，两个相邻处理单元生成的全部目标空间特征之间的余弦距离计算公式为：

其中，x_i为上一个处理单元生成的x目标的第i个空间特征值，y_i为当前处理单元生成的y目标的第i个空间特征值，θ为两个空间特征向量之间的夹角；

当θ<Threshold_θ，则认为目标匹配，将y目标标记x目标的编号num_x；

当θ≥Threshold_θ，则认为目标不匹配，将y目标标记成新的标号num_y；

其中Threshold_θ＝0.33为夹角阈值。

(2)生成目标的可描述信息序列

将上述处理结果按照时间顺序存入对应结构化数据库中，包括时间、监控摄像头编号、目标编号，行为类型标记、空间特征，即目标T的可描述信息序列，可描述信息序列的具体形式为：

info_Seq_T＝{time_1,camera_ID,num_T,action_ID,spatial_Feature_T；…；time_i,camera_ID,num_T,action_ID,spatial_Feature_T；}

其中i∈N+；

S2、采集学生的实时定位数据；

学生佩戴具有GPS+北斗+WiFi+基站定位功能的定位设备(定位手环/***)，以固定频率对学生进行定位，并将定位结果、定位时间、学生ID信息存入数据库中，生成学生S的轨迹序列；则学生S的轨迹序列的具体形式为：

traj_S＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}

其中i∈N+；

S3、时空研判分析

根据目标T的空间特征，查找出L时间段内目标T的全部可描述信息序列，并按照时间顺序排列；利用L时间段内目标T的全部相似目标所在监控摄像头的时间分布、以及监控摄像头的安装位置，构建出时空匹配序列，截取出L时间段内相似的多个学生的轨迹序列，最后从多个学生的轨迹序列中筛选出学生的轨迹-行为序列对，具体过程如下：

S3.1全局目标检索

根据目标T的空间特征，利用余弦距离对校区内的多路摄像头生成目标进行全局搜索，查找出L时间段内目标T的全部可描述信息序列，并按照时间顺序排列；

S3.2时空匹配

(1)利用L时间段内目标T的全部相似目标所在监控摄像头的时间分布、以及监控摄像头的安装位置，构建出时空匹配序列，时空匹配序列具体形式为：

camera_Time_Seq_T_L＝{time_1,camera_m_lat,camera_m_lon；…；time_i,camera_n_lat,camera_n_lon；}

其中i∈(1,…,L)，time_i为第i个时间点，camera_m_Lat表示监控摄像头m的安装位置-纬度，camera_m_Lon表示监控摄像头m的安装位置-经度；

(2)截取出L时间段内学生S的轨迹序列，截取的学生轨迹序列具体形式为：

traj_S_L＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}

其中i∈(1,…,L)，loaction_Time_i表示为与time_i最邻近的时间点，lat_i表示：loaction_Time_i时刻学生的纬度，lon_i表示：loaction_Time_i时刻学生的经度，camera_Time_Seq_T_L与traj_S_L之间的欧式距离的计算公式如下：

若dist(S,T)≥Threshold_dist，则表示目标T不是学生S；

若dist(S,T)<Threshold_dist，则表示目标T可能是学生S；

其中Threshold_dist＝0.8为欧式距离阈值，s_i_lat为学生S在loaction_Time_i时刻的纬度，s_i_lon为学生S在loaction_Time_i时刻的经度，t_i_lat为目标T在time_i时刻的纬度，s_i_lon为目标T在time_i时刻的经度；

(3)依次对比多个截取的学生轨迹序列，筛选出dist(F,T)值最小的学生F，即可认定学生F为目标T，生成该学生的轨迹-行为序列对，该学生轨迹-行为序列对具体形式为：

其中i∈(1,…,L)。

S4、学生行为特征分析

利用S3获得的学生轨迹-行为序列对，结合学生T时间段内的课时安排、学校作息时间安排、学生基本信息等，绘制生成学生的日常活动规律图表，并进行数据挖掘，发现学生在校期间的活动爱好，帮助老师根据不同学生的特点，有效改善教学计划；通过对学生的轨迹-行为序列对进行长时间的规律统计，结合人为监督，构建出数据预测告警功能，判定是否存在异常行为，如长时间的聚集、徘徊行为、轨迹偏离等，做到实时预警，防止意外发生。

本实施例所述基于多维数据的学生行为特征智能分析方法，通过终端设备自动采集学生行为、轨迹原始数据，利用多种深度学习方法以及视频结构化技术构建学生行为-轨迹序列对，并联合其他文本信息，构建出多维度学生行为数据网，利用数据挖掘技术对学生行为特征进行深层次分析和挖掘，帮助学校发掘学生兴趣爱好、在校期间活动规律，同时利用数据预测功能做到异常行为轨迹实时预警，做到提前干预。本发明应用环境友好，极具市场前景。

本实施例所述基于多维数据的学生行为特征智能分析方法或可适用于精神病医院精神病人、监狱中的罪犯等进行行为特征分析；通过对精神病人的日常表现智能判断精神病人的病情状况、健康恢复程度等，进而依据精神病人的分析结果做出进一步的治疗方案；或通过对监狱中罪犯的日常行为进行采集和分析，确定罪犯的改造程度，从而判断该罪犯是否适用减刑等措施。

Claims (10)

1.一种基于多维数据的学生行为特征智能分析方法，其特征在于：其具体工艺步骤如下：

S1、视频结构化处理

以连续16帧作为一个处理单元、每个处理单元中的视频帧默认为3通道、构建一种高低频3D残差神经网络模型进行视频结构化处理，将文本信息和视频快照数据存入相应的结构化数据库中，高低频3D残差神经网络模型包括低频3D残差网络结构和高频3D残差网络结构，其中低频3D残差网络结构进行人员结构化处理提取目标特征，高频3D残差网络结构进行行为结构化处理提取行为特征；将目标特征和行为特征进行连接，并处理得到目标T的空间位置、行为类别；

其中低频3D残差网络结构对视频帧的采样间隔设定为inv_l＝16，低频3D残差网络结构用于提取目标的空间和语义信息；高频3D残差网络结构对视频帧的采样间隔设定为inv_h＝inv_l/α，其中α＝8，卷积核的个数为低频3D残差网络中卷积核个数的β倍，其中β＝1/8；

S2、采集学生的实时定位数据；

学生佩戴具有GPS+北斗+WiFi+基站定位功能的定位设备，以固定频率对学生进行定位，并将定位结果、定位时间、学生ID信息存入数据库中，生成学生的轨迹序列；

S3、时空研判分析

利用目标T的空间位置抽提出目标T的空间特征，并根据相似度匹配查找出L时间段内目标T的全部相似目标，将每个相似目标的空间特征、行为类别、所在监控摄像头的安装位置按照时间顺序排列，构建出目标T的可描述信息序列；截取出L时间段内多个学生的轨迹序列，并结合目标T的可描述信息序列，利用轨迹匹配从多个学生的轨迹序列中筛选出与目标T匹配度最高的学生S的轨迹序列，即认定为目标T即为学生S，从而构建出学生S的轨迹-行为序列对；

S4、学生行为特征分析

利用S3获得的学生轨迹-行为序列对，结合学生在L时间段内的课时安排、学校作息时间安排、学生基本信息等，绘制生成学生的日常活动规律图表，并进行数据挖掘，发现学生在校期间的活动爱好，帮助老师根据不同学生的特点，有效改善教学计划；通过对学生的轨迹-行为序列对进行长时间的规律统计，结合人为监督，构建出数据预测告警功能，判定学生是否存在异常行为，异常行为包括长时间的聚集、徘徊行为、轨迹偏离，做到实时预警，防止意外发生。

2.根据权利要求1所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S1步骤的视频结构化处理的具体过程为：

S1.1目标特征提取

使用低频3D残差网络结构进行目标特征提取；

S1.2行为特征提取

使用高频3D残差网络结构进行行为特征提取，计算提取的行为特征尺寸为{8,256,7,7}；

S1.3视频分类

首先通过矩阵操作将行为特征进行尺寸转换，其次采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，再次将处理过的目标特征和行为特征进行横向连接，最后将目标特征和行为特征输入全连接层，最终得到目标的空间位置、行为类别；

S1.4视频结构化

由S1.3得到目标T的空间位置、行为类别以及S1.1得到的目标T的空间特征共同构建出目标T的可描述信息{location_T,spatial_Feature_T,action_ID},用于视频结构化处理，其中行为类别包含写字、绘画、走路、跑步、拉伸肢体、打篮球、踢足球、跳舞、游泳、骑自行车、握手、拥抱、喝水、吃东西、相互推搡多个种类；视频结构化包括目标匹配和生成目标的可描述信息序列。

3.根据权利要求2所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S1.3步骤视频分类的具体过程如下：

(1)行为特征尺寸转换

S1.2计算获得的行为特征尺寸为{8,256,7,7}，通过矩阵操作将行为特征尺寸转换成为{1,8×256,7,7}＝{1,2048,7,7}，即将α个特征图转换为单个特征图的卷积核个数，完成特征尺寸的转换；

(2)特征全局均值池化

采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，池化核尺寸为{1,7,7},池化后的特征尺寸均为{1,1,1,2048}；

(3)特征连接

将上面两步骤处理过的目标特征和行为特征进行横向连接，得到连接后的特征长度为4096；

(4)全连接操作

将上步得到的特征输入全连接层，最终得到目标的空间位置、行为类别；

所述S1.1、S1.2、S1.3步骤运算过程中使用Kinetics-400数据集上预训练的模型参数。

4.根据权利要求2或权利要求3所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S1.4步骤视频结构化的具体过程如下：

(1)目标匹配

通过计算两个相邻处理单元生成的全部目标空间特征之间的余弦距离，实现两个相邻处理单元之间的目标跟踪，即上一个16帧和当前16帧之间的目标跟踪，两个相邻处理单元生成的全部目标空间特征之间的余弦距离计算公式为：

其中，x_i为上一个处理单元生成的x目标的第i个空间特征值，y_i为当前处理单元生成的y目标的第i个空间特征值，θ为两个空间特征向量之间的夹角；

当θ<Threshold_θ，则认为目标匹配，将y目标标记x目标的编号num_x；

当θ≥Threshold_θ，则认为目标不匹配，将y目标标记成新的标号num_y；

其中Threshold_θ＝0.33为夹角阈值；

(2)生成目标的可描述信息序列

将上述处理结果按照时间顺序存入对应结构化数据库中，包括时间、监控摄像头编号、目标编号，行为类型标记、空间特征，即目标T的可描述信息序列，可描述信息序列的具体形式为：

info_Seq_T＝{time_1,camera_ID,num_T,action_ID,spatial_Feature_T；…；

time_i,camera_ID,num_T,action_ID,spatial_Feature_T；}

其中i∈N+。

5.根据权利要求4所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S2步骤中学生S的轨迹序列的具体形式为：

traj_S＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}其中i∈N+。

6.根据权利要求5所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S3步骤时空研判分析的具体过程如下：

S3.1全局目标检索

根据目标T的空间特征，利用余弦距离对校区内的多路摄像头生成目标进行全局搜索，查找出L时间段内目标T的全部可描述信息序列，并按照时间顺序排列；

S3.2时空匹配

(1)利用L时间段内目标T的全部相似目标所在监控摄像头的时间分布、以及监控摄像头的安装位置，构建出时空匹配序列，时空匹配序列具体形式为：

camera_Time_Seq_T_L＝{time_1,camera_m_lat,camera_m_lon；…；

time_i,camera_n_lat,camera_n_lon；}

其中i∈(1,…,L)，time_i为第i个时间点，camera_m_Lat表示监控摄像头m的安装位置-纬度，camera_m_Lon表示监控摄像头m的安装位置-经度；

(2)截取出L时间段内学生S的轨迹序列，截取的学生轨迹序列具体形式为：

traj_S_L＝{location_Time_1,lat_1,lon_1,ID_S；…；location_Time_i,lat_i,lon_i,ID_S；}其中i∈(1,…,L)，loaction_Time_i表示为与time_i最邻近的时间点，lat_i表示：loaction_Time_i时刻学生的纬度，lon_i表示：loaction_Time_i时刻学生的经度，camera_Time_Seq_T_L与traj_S_L之间的欧式距离的计算公式如下：

若dist(S,T)≥Threshold_dist，则表示目标T不是学生S；

若dist(S,T)<Threshold_dist，则表示目标T可能是学生S；

其中Threshold_dist＝0.8为欧式距离阈值，s_i_lat为学生S在loaction_Time_i时刻的纬度，s_i_lon为学生S在loaction_Time_i时刻的经度，t_i_lat为目标T在time_i时刻的纬度，s_i_lon为目标T在time_i时刻的经度；

(3)依次对比多个截取的学生轨迹序列，筛选出dist(F,T)值最小的学生F，即可认定学生F为目标T，生成该学生的轨迹-行为序列对，该学生轨迹-行为序列对具体形式为：

其中i∈(1,…,L)。

7.根据权利要求6所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述低频3D残差网络结构包括：一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为16，即每16帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到目标特征；

所述低频3D残差网络结构的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层。

8.根据权利要求7所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述低频3D残差网络中各层具体参数为：其中输入层Input：输出尺寸为{1,3,224,224}，采样间隔为16，视频帧尺寸为{3,224,224}；卷积层Conv1：输出尺寸为{1,64,112,112}，卷积核个数为64，步长为{1,2,2}，尺寸为{1,3,7,7}；池化层Pool1：输出尺寸为{1,64,56,56}，池化核步长为{1,2,2}，尺寸为{1,3,3}，方式为最大值；

残差块Res2：输出尺寸为{1,256,56,56}，

残差块Res3：输出尺寸为{1,512,28,28}，

残差块Res4：输出尺寸为{1,1024,14,14}，

残差块Res5：输出尺寸为{1,2048,7,7}，

其中残差块参数中乘号后的因数表示卷积操作的重复的次数。

9.根据权利要求8所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述高频3D残差网络包括一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5；其中输入层Input对接入的视频流进行抽样，其抽样间隔为2，即每2帧选取一帧作为输入，输入视频帧大小为224×224，默认为三通道；输入层Input的输出端连接有卷积层Conv1，卷积层Conv1用于提取高分辨率特征；卷积层Conv1的输出端连接有池化层Pool1；池化层Pool1采用最大池化的方法，对特征图进行降采样，减少特征数量，防止计算量过大；池化层Pool1的输出端连接残差块，四个残差块Res2、Res3、Res4、Res5依次有序连接；经过Res2到Res5残差块，最终输出得到行为特征；

所述高频3D残差网络的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成：主路径由N×3个卷积层，其中N表示残差块中3个卷积层的重复次数，不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同；捷径为一个卷积层，捷径直接将信息传递到网络深层，不同的残差块中卷积核的尺寸均为1×1×1，卷积核大小不同；通过Res2到Res5，其主路径共同构建出了一个很深的网络结构，而每个残差块中的捷径又跳过一层或者多层进入到网络深层。

10.根据权利要求9所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述高频3D残差网络中各层具体参数为：其中输入层Input：输出尺寸为{8,3,224,224}，采样间隔为2，图像尺寸为{3,224,224}；卷积层Conv1：输出尺寸为{8,8,112,112}，卷积核个数为8，步长为{1,2,2}，尺寸为{5,3，7,7}；池化层Pool1：输出尺寸为{8,8,56,56}，池化核步长为{1,2,2}，尺寸为{1,3,3}，方式为最大值{1,64,56,56}；

残差块Res2：输出尺寸为{8,32,56,56}，

残差块Res3：输出尺寸为{8,64,28,28}，

残差块Res4：输出尺寸为{8,128,14,14}，

残差块Res5：输出尺寸为{8,256,7,7}，

其中残差块参数中乘号后的因数表示卷积操作的重复的次数。

Images