CN109886358B - 基于多时空信息融合卷积神经网络的人体行为识别方法 - Google Patents
基于多时空信息融合卷积神经网络的人体行为识别方法 Download PDFInfo
- Publication number
- CN109886358B CN109886358B CN201910216232.3A CN201910216232A CN109886358B CN 109886358 B CN109886358 B CN 109886358B CN 201910216232 A CN201910216232 A CN 201910216232A CN 109886358 B CN109886358 B CN 109886358B
- Authority
- CN
- China
- Prior art keywords
- layer
- mst
- neural network
- behavior recognition
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多时空信息融合卷积神经网络的人体行为识别方法,首先构建(2+1)D卷积神经网络,经训练后直到网络模型评估准确率达到稳定值后,使用网格模型进行视频人体行为识别。本发明中提出的(2+1)D卷积神经网络同时使用不同尺度空间感受野的空间卷积层进行空间信息提取,同时使用多个不同尺度时域感受野的时域卷积层进行时域信息提取,将提取的特征信息融合后作为下一层的输入,将包含n种尺度空间感受野的卷积核与包含m种尺度时域感受野的卷积核进行串联,设计了包含k种时空感受野的多时空融合卷积层,能够同时利用视频较长和较短时间范围内的特征信息建模,更准确地识别人体行为。
Description
技术领域
本发明涉及一种视频人体行为识别方法,具体涉及一种基于多时空信息融合卷积神经网络的人体行为识别方法。
背景技术
视频人体行为识别是计算机视觉中最具挑战性的任务之一,而且可以在众多领域具有广泛的应用,如视频监控、运动检索、人机交互、智能家居以及医疗保健。传统的视频行为识别方法一般是通过人工设计的视频时空特征,如SIFT-3D、STIPs、HOG3D、HOF、密集轨迹(iDT)等。随着卷积神经网络在静态图像识别领域取得了引人注目的进步,涌现出了一大批具有强大特征提取能力的网络结构。近年,将卷积神经网络应用于视频行为识别成为了国内外研究热点。Ji等人将2D卷积扩展为能够获取时域信息的3D卷积,并应用到了视频行为识别中。Tran等人进一步研究时间建模在行为识别中的作用(对视频进行3D卷积),设计了一个只输入RGB图像的卷积神经网络模型,取得了不错的效果,同时也证明了在视频行为识别中3D卷积神经网络显著优于2D卷积神经网络。利用时空信息而不仅仅是空间信息进行视频分类的优势在各种研究成果中已经得到验证。例如3D卷积神经网络的变体(2+1)D卷积、P3D卷积等。
但上述方法都存在一定的缺陷:第一,计算复杂,存在参数冗余;第二这些方法都只对单一时空感受野的信息建模,存在一定的局限性,难以提取多变的时空信息,影响了卷积网络性能,不能有效地识别复杂的人体行为。
发明内容
为克服现有技术中的问题,本发明提出的一种基于多时空信息融合卷积神经网络的人体行为识别方法,包括如下步骤:
步骤一:制作样本标签,将样本数据集根据类别制作不同的标签,将样本数据集分为训练数据集和评估数据集;
步骤二:构建(2+1)D卷积神经网络,使用MST单元替换(2+1)D网络中的卷积单元,构建MST-(2+1)D模型;
步骤三:初始化和设置网络模型,将网络模型参数随机初始化;
步骤四:训练和评估模型,将所述训练数据集的每一帧图像裁剪成尺寸为112*112的图像输入网络模型进行训练,在每一轮训练后对网络模型进行评估;经多次训练后直到网络模型评估准确率达到一个稳定值后停止训练,保留网格模型的权重;
步骤五:将得到的权重导入构建的MST-(2+1)D模型中,使用网格模型进行视频人体行为识别,进行人体行为识别。
本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中,训练数据集和评估数据集的比例为2:1。
本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中,所述MST(2+1)D模型中含有一个输入层、6个MST单元、一个全局池化层、一个全连接层、一个softmax分类层;每一个MST单元都包含一个空间卷积层、一个时域卷积层、两个BN层、两个非线性层,其中空间卷积层含有两种空间感受野,大小分别为1*1、3*3,时域卷积层含有三种时域感受野大小分别为1、3、5;对卷积层输出的张量进行池化,然后输入全连接层,将全连接层的输出作为最终的特征输入到softmax分类层进行分类。
本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中,采用4个步长为2*2*1的空间下采样层,3个步长为1*1*2的时域下采样层;将3个时域下采样层分别设置在第4、5、6个MST单元,将4个空间下采样层分别设置在第1、4、5、6个MST单元,每个下采样层紧接在非线性层后。
本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中,步骤三中,初始学习率设置为0.005,在第10、20、30轮迭代时分别再乘以0.1,权重衰减设置为0.005,训练以n段子视频/批进行迭代,每段子视频含有m帧RGB图像。
本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中,利用训练过程中学习到的参数对输入的子视频同时进行不同尺度的空间信息和时域信息的特征提取,并在每一个卷积层后进行特征融合,将低维特征转换为高维特征,并将高维特征经过全连接层,最终输入softmax分类层进行人体行为识别。
与现有技术相比,本发明的有益效果:本发明在进行人体行为识别过程中不仅利用不同尺度的空间信息对动作幅度不同的人体行为进行建模,而且通过不同深度的时域信息有效地对动作周期不同的人体行为进行建模,然后对空间信息和时域信息进行交叉组合,有效地识别不同空间幅度、不同时间周期的人体行为。本发明中的方法是一种更有效的视频人体行为特征描述符,能够同时利用视频较长和较短时间范围内的特征信息建模,能够更准确的对不同的人体行为识别。
附图说明
图1为基于多时空信息融合卷积神经网络的人体行为识别方法的流程图。
图2为多时空信息融合层的结构图。
图3为具体实例网络结构示意图。
具体实施方式
下面将结合示意图对本发明提出的基于多时空信息融合卷积神经网络的人体行为识别方法进行更详细的描述,其中表示了本发明的优选实施例,应该理解本领域技术人员可以修改在此描述的本发明,而仍然实现本发明的有利效果。因此,下列描述应当被理解为对于本领域技术人员的广泛知道,而并不作为对本发明的限制。
图1显示的是本发明基于多时空信息融合卷积神经网络的人体行为识别方法的流程图。其中,包括如下步骤:
步骤一:制作样本标签,将样本数据集根据类别制作成不同的标签,将样本数据集分为训练数据集和评估数据集;
步骤二:构建(2+1)D卷积神经网络,使用MST单元替换(2+1)D网络中的卷积单元,构建MST-(2+1)D模型;
步骤三:初始化和设置网络模型,将网络模型参数随机初始化;
步骤四:训练和评估模型,将所述训练数据集的每一帧图像裁剪成尺寸为112*112的图像输入网络模型进行训练,在每一轮训练后对网络模型进行评估;经多次训练后直到网络模型评估准确率达到一个稳定值后停止训练,保留网格模型的权重;
步骤五:将权重导入构建的MST-(2+1)D模型中,使用网格模型进行视频人体行为识别,进行人体行为识别。
其中,本发明提出了一种应用于卷积神经网络的(2+1)D多时空信息融合层(Multi-time-space fusion convolution layer-MST),如图2所示。本发明充分利用(2+1)D卷积将时间和空间在一定程度上解耦,以便于优化的特性,分别在空间和时间信息上应用不同尺度的感受野获取人体行为多运动幅度、多时间周期信息。将输入的特征图,首先使用多个不同尺度空间感受野的空间卷积层进行空间信息提取,将提取到的特征信息进行融合作为时域卷积层的输入,然后使用多个不同尺度时域感受野的时域卷积层进行时域信息提取,将提取到的特征信息进行融合作为下一个层的输入。本发明将n种尺度空间感受野的卷积核与m种尺度时域感受野的卷积核进行串联,设计了一个包含k种不同时空感受野的多时空融合卷积层(MST),如图2所示。每一个MST包含k种感受野,计算如(1)式所示:
k=m*n (1)
本发明在进行人体行为识别过程中不仅利用不同尺度的空间信息对动作幅度不同的人体行为进行建模,而且通过不同深度的时域信息有效地对动作周期不同的人体行为进行建模,然后对空间信息和时域信息进行交叉组合,有效地识别不同空间幅度、不同时间周期的人体行为。本发明中的方法是一种更有效的视频人体行为特征描述符,能够同时利用视频较长和较短时间范围内的特征信息建模,能够更准确的对不同的人体行为识别。
下述一个构建包含6个MST的多时空信息融合(2+1)D网络(MST-(2+1)D)并进行人体行为识别的过程。
第一步制作样本标签,首先将样本数据集根据类别制作成不同的标签,然后将样本数据集分为训练数据集和评估数据集,二者之间的比例为2:1。
第二步构建(2+1)D网络,然后用MST单元替换(2+1)D网络中的卷积单元,构建MST-(2+1)D模型。MST-(2+1)D模型中含有一个输入层、6个MST单元、一个全局池化层、一个全连接层、一个softmax分类层,模型框架如图3所示。每一个MST单元都包含一个空间卷积层、一个时域卷积层、两个BN层、两个非线性层,其中空间卷积层含有两种空间感受野,大小分别为1*1、3*3,时域卷积层含有三种时域感受野大小分别为1、3、5。在整个网络结构中,我们采用4个步长为2*2*1的空间下采样层,3个步长为1*1*2的时域下采样层。最后对卷积层输出的张量进行平均池化,然后输入全连接层,将全连接层的输出作为最终的特征输入到softmax分类层进行分类。我们将3个时域下采样层分别设置在第4、5、6个MST单元。除了第2、3个MST单元,其他MST单元各有一个空间下采样层。每个下采样层紧接在非线性层后。
第三步网络模型的初始化和设置。在训练开始前,将网络模型参数随机初始化。初始学习率设置为0.005,在第10、20、30轮迭代时分别再乘以0.1,权重衰减设置为0.005,训练以16段子视频/批进行迭代,每段子视频含有16帧RGB图像。
第四步模型训练和评估,将每一个样本视频均匀地分为若干个连续的16帧子视频,并将每一帧图像的大小调整为128*171。训练时,将子视频中的每一帧图像随机裁剪出尺寸大小为112*112的图像作为网络的输入。在训练过程中采用随机梯度下降法对网络模型参数进行优化,每一轮训练结束后对模型进行评估。评估时,在子视频中的每一帧图像的中心位置裁剪出尺寸大小为112*112的图像作为网络的输入。经过多次训练,直到模型评估准确率达到一个相对稳定的值,停止训练,保留权重。
第五步进行视频人体行为识别,将第四步中保留的权重,导入第二步构建的模型中,进行人体行为识别。在识别过程中,将输入的视频或摄像头捕捉到的视频均匀地分为若干个连续的16帧子视频,在子视频中的每一帧图像的中心位置裁剪出尺寸大小为112*112的图像作为网络的输入。该模型利用训练过程中学习到的参数对输入的子视频进行一系列的特征提取,将低维特征转换为高维特征,并将高维特征经过全连接层,最终输入softmax分类层进行人体行为识别。
上述仅为本发明的优选实施例而已,并不对本发明起到任何限制作用。任何所属技术领域的技术人员,在不脱离本发明的技术方案的范围内,对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动,均属未脱离本发明的技术方案的内容,仍属于本发明的保护范围之内。
Claims (6)
1.一种基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,包括如下步骤:
步骤一:制作样本标签,将样本数据集根据类别制作不同的标签,将样本数据集分为训练数据集和评估数据集;
步骤二:构建(2+1)D卷积神经网络,使用MST单元替换(2+1)D网络中的卷积单元,构建MST-(2+1)D模型;
步骤三:初始化和设置网络模型,将网络模型参数随机初始化;
步骤四:训练和评估模型,将所述训练数据集的每一帧图像裁剪成固定大小的图像输入网络模型进行训练,在每一轮训练后对网络模型进行评估;经多次训练后直到网络模型评估准确率达到一个稳定值后停止训练,保留网格模型的权重;
步骤五:将权重导入构建的MST-(2+1)D模型中,使用网格模型进行视频人体行为识别,进行人体行为识别。
2.根据权利要求1所述的基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,训练数据集和评估数据集的比例为2:1。
3.根据权利要求1所述的基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,所述MST-(2+1)D模型中含有一个输入层、6个MST单元、一个全局池化层、一个全连接层、一个softmax分类层;每一个MST单元都包含一个空间卷积层、一个时域卷积层、两个BN层、两个非线性层,其中空间卷积层含有两种空间感受野,大小分别为1*1、3*3,时域卷积层含有三种时域感受野大小分别为1、3、5;全局池化层对最后一个MST单元输出的张量进行平均池化,然后输入全连接层,将全连接层的输出作为最终的特征输入到softmax分类层进行分类。
4.根据权利要求3所述的基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,采用4个步长为2*2*1的空间下采样层,3个步长为1*1*2的时域下采样层;将3个时域下采样层分别设置在第4、5、6个MST单元,将4个空间下采样层分别设置在第1、4、5、6个MST单元,每个下采样层紧接在非线性层后。
5.根据权利要求1所述的基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,步骤三中,初始学习率设置为0.005,在第10、20、30轮迭代时分别再乘以0.1,权重衰减设置为0.005,训练以n段子视频/批进行迭代,每段子视频含有m帧RGB图像。
6.根据权利要求1所述的基于多时空信息融合卷积神经网络的人体行为识别方法,其特征在于,利用训练过程中学习到的参数对输入的子视频同时进行不同尺度的空间信息和时域信息的特征提取,并在每一个卷积层后进行特征融合,将低维特征转换为高维特征,并将高维特征经过全连接层,最终输入softmax分类层进行人体行为识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910216232.3A CN109886358B (zh) | 2019-03-21 | 2019-03-21 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910216232.3A CN109886358B (zh) | 2019-03-21 | 2019-03-21 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109886358A CN109886358A (zh) | 2019-06-14 |
CN109886358B true CN109886358B (zh) | 2022-03-08 |
Family
ID=66933297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910216232.3A Active CN109886358B (zh) | 2019-03-21 | 2019-03-21 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109886358B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427807B (zh) * | 2019-06-21 | 2022-11-15 | 诸暨思阔信息科技有限公司 | 一种时序事件动作检测方法 |
CN110532861B (zh) * | 2019-07-18 | 2021-03-23 | 西安电子科技大学 | 基于骨架引导多模态融合神经网络的行为识别方法 |
CN110674845B (zh) * | 2019-08-28 | 2022-05-31 | 电子科技大学 | 一种结合多感受野注意与特征再校准的菜品识别方法 |
CN110796069B (zh) * | 2019-10-28 | 2021-02-05 | 广州云从博衍智能科技有限公司 | 一种行为检测方法、***、设备及机器可读介质 |
CN113055666B (zh) * | 2019-12-26 | 2022-08-09 | 武汉Tcl集团工业研究院有限公司 | 一种视频质量评估方法及装置 |
CN111317468B (zh) * | 2020-02-27 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111401149B (zh) * | 2020-02-27 | 2022-05-13 | 西北工业大学 | 基于长短期时域建模算法的轻量级视频行为识别方法 |
CN113359076B (zh) * | 2020-03-06 | 2022-09-27 | 上海联影医疗科技股份有限公司 | 磁共振成像方法、装置、计算机设备和存储介质 |
CN111508504B (zh) * | 2020-04-08 | 2022-06-07 | 郑州大学 | 基于听觉中枢感知机理的说话人识别方法 |
CN111783936B (zh) * | 2020-05-15 | 2024-05-07 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
CN111985617B (zh) * | 2020-08-14 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
CN112329739A (zh) * | 2020-12-01 | 2021-02-05 | 上海大学 | 一种基于时间非对称三维卷积神经网络的动作识别方法 |
CN112348125B (zh) * | 2021-01-06 | 2021-04-02 | 安翰科技(武汉)股份有限公司 | 基于深度学习的胶囊内窥镜影像识别方法、设备及介质 |
CN113052059A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于时空特征融合的实时动作识别方法 |
CN113065451B (zh) * | 2021-03-29 | 2022-08-09 | 四川翼飞视科技有限公司 | 一种多模态融合的动作识别装置、方法和存储介质 |
CN113343760A (zh) * | 2021-04-29 | 2021-09-03 | 暖屋信息科技(苏州)有限公司 | 一种基于多尺度特征神经网络的人体行为识别方法 |
CN113378722B (zh) * | 2021-06-11 | 2023-04-07 | 西安电子科技大学 | 基于3d卷积和多级语义信息融合的行为识别方法及*** |
CN114677704B (zh) * | 2022-02-23 | 2024-03-26 | 西北大学 | 一种基于三维卷积的时空特征多层次融合的行为识别方法 |
CN114663980B (zh) * | 2022-04-01 | 2023-04-18 | 北京百度网讯科技有限公司 | 行为识别方法、深度学习模型的训练方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933417A (zh) * | 2015-06-26 | 2015-09-23 | 苏州大学 | 一种基于稀疏时空特征的行为识别方法 |
CN107292247A (zh) * | 2017-06-05 | 2017-10-24 | 浙江理工大学 | 一种基于残差网络的人体行为识别方法及装置 |
CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
CN109061569A (zh) * | 2018-08-03 | 2018-12-21 | 中国人民解放军战略支援部队信息工程大学 | 一种时空信息融合的目标检测方法及*** |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
-
2019
- 2019-03-21 CN CN201910216232.3A patent/CN109886358B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933417A (zh) * | 2015-06-26 | 2015-09-23 | 苏州大学 | 一种基于稀疏时空特征的行为识别方法 |
CN107292247A (zh) * | 2017-06-05 | 2017-10-24 | 浙江理工大学 | 一种基于残差网络的人体行为识别方法及装置 |
CN107341452A (zh) * | 2017-06-20 | 2017-11-10 | 东北电力大学 | 基于四元数时空卷积神经网络的人体行为识别方法 |
CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
CN109061569A (zh) * | 2018-08-03 | 2018-12-21 | 中国人民解放军战略支援部队信息工程大学 | 一种时空信息融合的目标检测方法及*** |
Non-Patent Citations (1)
Title |
---|
A Closer Look at Spatiotemporal Convolutions for Action Recognition;Du Tran 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第6450-6459页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109886358A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886358B (zh) | 基于多时空信息融合卷积神经网络的人体行为识别方法 | |
CN106709461B (zh) | 基于视频的行为识别方法及装置 | |
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
CN111126258B (zh) | 图像识别方法及相关装置 | |
CN104268594B (zh) | 一种视频异常事件检测方法及装置 | |
CN107564025A (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN110309732A (zh) | 基于骨架视频的行为识别方法 | |
CN113673510B (zh) | 一种结合特征点和锚框共同预测和回归的目标检测方法 | |
CN110163813A (zh) | 一种图像去雨方法、装置、可读存储介质及终端设备 | |
CN110097029B (zh) | 基于Highway网络多视角步态识别的身份认证方法 | |
CN110070029A (zh) | 一种步态识别方法及装置 | |
CN110232361B (zh) | 基于三维残差稠密网络的人体行为意图识别方法与*** | |
CN109389035A (zh) | 基于多特征和帧置信分数的低延迟视频动作检测方法 | |
CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
CN111046821A (zh) | 一种视频行为识别方法、***及电子设备 | |
CN106570522A (zh) | 物体识别模型的建立方法及物体识别方法 | |
CN104537684A (zh) | 一种静态场景中的实时运动目标提取方法 | |
CN111144168B (zh) | 农作物生长周期的识别方法、设备以及*** | |
Xiong et al. | Contextual Sa-attention convolutional LSTM for precipitation nowcasting: A spatiotemporal sequence forecasting view | |
CN112651360A (zh) | 一种小样本下骨架动作识别方法 | |
CN115937693A (zh) | 一种基于遥感图像的道路识别方法及*** | |
CN110866445A (zh) | 一种基于深度学习的人群计数和密度估计方法 | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
CN115546491B (zh) | 一种跌倒报警方法、***、电子设备及存储介质 | |
CN112580529A (zh) | 移动机器人感知识别方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |