CN110598598A - 基于有限样本集的双流卷积神经网络人体行为识别方法 - Google Patents
基于有限样本集的双流卷积神经网络人体行为识别方法 Download PDFInfo
- Publication number
- CN110598598A CN110598598A CN201910812117.2A CN201910812117A CN110598598A CN 110598598 A CN110598598 A CN 110598598A CN 201910812117 A CN201910812117 A CN 201910812117A CN 110598598 A CN110598598 A CN 110598598A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- current
- video
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于有限样本集的双流卷积神经网络人体行为识别方法,首先建立取样样本;对样本进行划分和预处理,得到即将处理的单帧视频片段和视频帧彩色光流图,然后改进双流卷积神经网络,将单帧原始图像输入到空间流卷积神经网络,用于学习视频中物体的空间特征;再将多帧光流图堆叠在一起输入到时间流卷积神经网络,用于学习视频中行为的时间特征;最后对其进行网络训练和测试;从而分别得到空间流卷积神经网络和时间流卷积神经网络对当前行为的预测标签概率特征,然后进行空间和时间的得分特征融合,最后通过综合特征判断输出识别结果。本发明解决了现有技术中存在的人体行为识别技术人力、物力耗费量大,且识别结果差的问题。
Description
技术领域
本发明属于图像处理方法技术领域,具体涉及一种基于有限样本集的双流卷积神经网络人体行为识别方法。
背景技术
从古至今,人体行为动作在人们的交谈过程中扮演重要组成部分,通过他人的行为动作可以更加清楚的理解他人的信息反馈。随着计算机技术的迅猛发展及监控设备的飞速普及,促使人体行为识别技术发挥着越来越重要的作用。现有的传统人体行为识别技术不仅需要耗费大量的人力、物力,而且识别结果往往不尽人意。
鉴于以上种种原因,如何精确的完成特征提取,并且将其适当划分类别,从而得到好的识别效果,成为当前急需解决的一个问题。
发明内容
本发明的目的是提供一种基于有限样本集的双流卷积神经网络人体行为识别方法,解决了现有技术中存在的人体行为识别技术人力、物力耗费量大,且识别结果差的问题。
本发明所采用的技术方案是,基于有限样本集的双流卷积神经网络人体行为识别方法,具体按照以下步骤实施:
步骤1、建立取样样本;
步骤2、对步骤1中的样本进行划分和预处理,得到即将处理的单帧视频片段和视频帧彩色光流图。
步骤3、改进双流卷积神经网络,双流卷积神经网络是由空间流卷积神经网络和时间流卷积神经网络组成,它们具有相似的结构,将步骤2中得到的单帧原始图像输入到空间流卷积神经网络,用于学习视频中物体的空间特征;再将步骤2中得到的多帧光流图堆叠在一起输入到时间流卷积神经网络,用于学习视频中行为的时间特征;
步骤4、对双流卷积神经网络做出改进后,对其进行网络训练和测试;从而分别得到空间流卷积神经网络和时间流卷积神经网络对当前行为的预测标签概率特征,然后进行空间和时间的得分特征融合,最后通过综合特征判断输出识别结果。
本发明的特点还在于,
步骤1具体如下:
样本共采集25人,累计600个视频序列,600个视频序列分别包含6个类别,每个类别4种情境,其中3种室外情境,1种室内情境,视频规格为:160*120,25fps。
步骤2具体如下:
将步骤1中每条视频均分割为3~4个完整片段,总计2391个行为片段,随机抽取其中16人的行为片段组成训练集,其余9人组成测试集,依次求得每个视频片段的帧图像,再利用Horn-Schunck光流法获得视频帧的彩色光流图,并且将图片的尺寸调整为80×60大小。
步骤3具体按照以下步骤实施:
步骤3.1、使用Maxout函数替换原来双流卷积神经网络中的ReLU函数,此时在神经网络的隐含层之间加入一个“内置隐含层”,从而增加k个节点,计算当前隐含层中第i个神经元值,公式表示为(1)所示:
其中,hi(x)的值表示当前隐含层中第i个神经元的值,k值表示当前隐含层中的节点个数,当前隐含层中的第i个神经元对应k个节点,所以zij表示内置隐含层中第i个神经元的第j个节点,其计算表达式如公式(2)所示:
zij=XW...ij+bij (2)
其中,X表示大小为1×d的输入矩阵,W表示大小为d×m×k三维矩阵,b表示大小为m×k的偏置值矩阵,d为前一隐含层中神经元的个数,m为当前隐含层中神经元的个数,k为内置隐含层中节点的个数,W...ij表示前一隐含层到当前隐含层中第i个神经元所对应的内置隐含层中第j个节点的一组权值,bij表示当前层的第i个神经元所对应的内置隐含层中第j个节点上的偏置值;
步骤3.2、使用Stochastic Pooling池化方法代替原来的MaxPooling池化方法,为步骤2中所得的单帧图像和光流图的每个像素值计算对应的概率值并以此值设定池化窗口,概率值的计算如公式(3)所示:
其中,value(i,j)表示第i行第j列的像素值,M、N表示池化窗口覆盖区域的尺寸;
步骤3.3、利用上述(3)式计算出步骤2中所有单帧视频片段和视频帧彩色光流图的特征图中待池化区域的概率值,最终计算出池化窗口当前停留区域的池化值。
双流卷积神经网络训练采用误差反向传播算法,包括前向传播过程和反向传播过程,在前向传播过程中,首先随机初始化双流卷积网络中所有的权重和偏置值;然后将图像样本分别输入到空间流卷积神经网络和时间流卷积神经网络,通过卷积层操作和步骤3.2中的池化层操作计算每层隐藏层的输出;其次选用Softmax分类器分别计算时间流卷积神经网络和空间流卷积神经网络的概率输出;最后将空间流卷积神经网络和时间流卷积神经网络的Softmax输出进行融合得到双流网络的最终概率输出。
反向传播过程具体如下:
使用预测向量和真实向量之间的交叉熵作为双流卷积神经网络的损失函数,记为L(θ),用于评判预测向量和真实向量之间的接近程度,其中,预测向量表示改进后双流卷积神经网络对视频样本的预测值,真实向量表示视频样本的实际值,从而计算网络的损失值即误差值,计算表达式如公式(4)所示:
其中,m表示样本个数,θ表示双流卷积神经网络中需要学习的参数,j是输入样本x(i)属于每种行为类型的所有概率值,j取值范围为1,...,k,x(i)表示输入样本,y(i)表示输出向量,y(i)中有k个值,每个值的范围均在(0,1)区间内且所有值相加和为1,使用Softmax分类器得到具有k维向量的y(i),作为对行为识别分类的得分特征或概率特征,其中每个数值表示输入样本属于某类行为的概率;
然后使用梯度下降算法最小化损失函数,在优化过程中损失函数对权值参数求偏导,如公式(5)所示:
使用式(5)计算损失函数对权值参数的梯度,从而反向更新双流卷积神经网络参数θ,如公式(6)所示:
其中,α为学习率,进行如上操作后网络模型的识别性能会随着损失函数值的下降而提高,以此类推,利用更新后权值和偏置值再次计算网络输出值,并与步骤2中的样本数据所得到的真实数据做比较,再次计算当前网络损失函数值,进而继续更新网络参数,直到网络输出的损失函数值稳定不变或网络学习次数达到上限,训练结束。
步骤4中双流卷积神经网络测试过程具体如下:
测试过程将全部测试集输入到训练好的双流卷积神经网络中,对比预测结果与真实结果,并统计得到网络的正识别率,其中,在测试阶段将网络的Dropout丢弃率设置为1,对于某段行为视频的最终概率输出为P=(p1,...,pk)T,选取其中概率最大的预测类型即为最终类别预测结果,如公式(7)所示:
y′k=arg max(P) (7)
其中,y′k为某段视频的预测行为标签,则最终双流网络模型的识别率为:
式(8)中,M为测试时使用的视频段总个数,yk为其中某段视频的实际行为标签。
步骤4中进行空间和时间的得分特征融合,最后通过综合特征来判断输出识别结果,具体如下:
首先根据所述步骤2分别提取其中的一个时间流视频单帧特征和一个空间流视频单帧特征,从而得到一个完整的视频单帧时空特征,然后按照此方法得到所有视频帧的时空特征,并且将其融合提取得到视频时空特征,从而形成最终的双流卷积神经网络,最后取出步骤1中的人体行为数据集,将其输入到最终的双流卷积神经网络上以得出识别结果。
本发明的有益效果是,基于双流卷积神经网络进行人体行为识别技术,从而识别出基本的人体行为,为基于深度学习的人体行为识别技术做出了有益贡献。通过改进它的激活函数和池化方法,最终改善了网络收敛速度慢和网络过拟合问题。通过双结构的多任务学习,既可扩充数据,也提高了网络的识别能力,使最终实验结果达到最优。
附图说明
图1是基于有限样本集的双流卷积神经网络人体行为识别方法中的流程图;
图2是改进激活函数后的双流卷积神经网络结构图;
图3是使用了Maxout激活函数的神经网络结构图;
图4是改进池化方法后双流网络中的卷积神经网络结构;
图5是特征图中待池化区域元素值图;
图6是特征图对应的概率矩阵图;
图7是使用Stochastic Pooling池化方法得到的特征图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示,本发明基于有限样本集的双流卷积神经网络人体行为识别方法,具体按照以下步骤实施:
步骤1、建立取样样本,具体如下:
样本共采集25人,累计600个视频序列,600个视频序列分别包含6个类别,每个类别4种情境,其中3种室外情境,1种室内情境,视频规格为:160*120,25fps。
步骤2、对步骤1中的样本进行划分和预处理,得到即将处理的单帧视频片段和视频帧彩色光流图,具体如下:
将步骤1中每条视频均分割为3~4个完整片段,总计2391个行为片段,随机抽取其中16人的行为片段组成训练集,其余9人组成测试集,依次求得每个视频片段的帧图像,再利用Horn-Schunck光流法获得视频帧的彩色光流图,并且将图片的尺寸调整为80×60大小。详细划分情况如表1所示:
表1 KTH数据集详细划分表
步骤3、改进双流卷积神经网络,双流卷积神经网络是由空间流卷积神经网络和时间流卷积神经网络组成,它们具有相似的结构,将步骤2中得到的单帧原始图像输入到空间流卷积神经网络,用于学习视频中物体的空间特征;再将步骤2中得到的多帧光流图堆叠在一起输入到时间流卷积神经网络,用于学习视频中行为的时间特征,具体按照以下步骤实施:
步骤3.1、使用Maxout函数替换原来双流卷积神经网络中的ReLU函数,改进激活函数后的双流卷积神经网络结构图如图2所示,此时在神经网络的隐含层之间加入一个“内置隐含层”,从而增加k个节点,计算当前隐含层中第i个神经元值,公式表示为(1)所示:
其中,hi(x)的值表示当前隐含层中第i个神经元的值,k值表示当前隐含层中的节点个数,当前隐含层中的第i个神经元对应k个节点,所以zij表示内置隐含层中第i个神经元的第j个节点,其计算表达式如公式(2)所示:
zij=XW...ij+bij (2)
其中,X表示大小为1×d的输入矩阵,W表示大小为d×m×k三维矩阵,b表示大小为m×k的偏置值矩阵,d为前一隐含层中神经元的个数,m为当前隐含层中神经元的个数,k为内置隐含层中节点的个数,W...ij表示前一隐含层到当前隐含层中第i个神经元所对应的内置隐含层中第j个节点的一组权值,bij表示当前层的第i个神经元所对应的内置隐含层中第j个节点上的偏置值;使用Maxout激活函数的神经网络局部结构详解图如图3所示。
步骤3.2、使用Stochastic Pooling池化方法代替原来的MaxPooling池化方法,改进池化方法后双流网络中的卷积神经网络结构如图4所示,为步骤2中所得的单帧图像和光流图的每个像素值计算对应的概率值并以此值设定池化窗口,概率值的计算如公式(3)所示:
其中,value(i,j)表示第i行第j列的像素值,M、N表示池化窗口覆盖区域的尺寸;假设特征图中待池化区域元素值如图5所示;
步骤3.3、利用上述(3)式计算出步骤2中所有单帧视频片段和视频帧彩色光流图的特征图中待池化区域的概率值,结果如图6所示,使用图6得到的结果最终计算出池化窗口当前停留区域的池化值,结果如图7所示。
双流卷积神经网络训练采用误差反向传播算法,包括前向传播过程和反向传播过程,在前向传播过程中,首先随机初始化双流卷积网络中所有的权重和偏置值;然后将图像样本分别输入到空间流卷积神经网络和时间流卷积神经网络,通过卷积层操作和步骤3.2中的池化层操作计算每层隐藏层的输出;其次选用Softmax分类器分别计算时间流卷积神经网络和空间流卷积神经网络的概率输出;最后将空间流卷积神经网络和时间流卷积神经网络的Softmax输出进行融合得到双流网络的最终概率输出。
反向传播过程具体如下:
使用预测向量和真实向量之间的交叉熵作为双流卷积神经网络的损失函数,记为L(θ),用于评判预测向量和真实向量之间的接近程度,其中,预测向量表示改进后双流卷积神经网络对视频样本的预测值,真实向量表示视频样本的实际值,从而计算网络的损失值即误差值,计算表达式如公式(4)所示:
其中,m表示样本个数,θ表示双流卷积神经网络中需要学习的参数,j是输入样本x(i)属于每种行为类型的所有概率值,j取值范围为1,...,k,x(i)表示输入样本,y(i)表示输出向量,y(i)中有k个值,每个值的范围均在(0,1)区间内且所有值相加和为1,使用Softmax分类器得到具有k维向量的y(i),作为对行为识别分类的得分特征或概率特征,其中每个数值表示输入样本属于某类行为的概率;
然后使用梯度下降算法最小化损失函数,在优化过程中损失函数对权值参数求偏导,如公式(5)所示:
使用式(5)计算损失函数对权值参数的梯度,从而反向更新双流卷积神经网络参数θ,如公式(6)所示:
其中,α为学习率,进行如上操作后网络模型的识别性能会随着损失函数值的下降而提高,以此类推,利用更新后权值和偏置值再次计算网络输出值,并与步骤2中的样本数据所得到的真实数据做比较,再次计算当前网络损失函数值,进而继续更新网络参数,直到网络输出的损失函数值稳定不变或网络学习次数达到上限,训练结束。在训练网络时各项超参数的设定如表2所示:
表2各项超参数的设定
步骤4、对双流卷积神经网络做出改进后,对其进行网络训练和测试;从而分别得到空间流卷积神经网络和时间流卷积神经网络对当前行为的预测标签概率特征,然后进行空间和时间的得分特征融合,最后通过综合特征判断输出识别结果。
步骤4中双流卷积神经网络测试过程具体如下:
测试过程将全部测试集输入到训练好的双流卷积神经网络中,对比预测结果与真实结果,并统计得到网络的正识别率,其中,在测试阶段将网络的Dropout丢弃率设置为1,对于某段行为视频的最终概率输出为P=(p1,...,pk)T,选取其中概率最大的预测类型即为最终类别预测结果,如公式(7)所示:
y′k=arg max(P) (7)
其中,y′k为某段视频的预测行为标签,则最终双流网络模型的识别率为:
式(8)中,M为测试时使用的视频段总个数,yk为其中某段视频的实际行为标签。
步骤4中进行空间和时间的得分特征融合,最后通过综合特征来判断输出识别结果,具体如下:
首先根据所述步骤2分别提取其中的一个时间流视频单帧特征和一个空间流视频单帧特征,从而得到一个完整的视频单帧时空特征,然后按照此方法得到所有视频帧的时空特征,并且将其融合提取得到视频时空特征,从而形成最终的双流卷积神经网络,最后取出步骤1中的人体行为数据集,将其输入到最终的双流卷积神经网络上以得出识别结果。
Claims (8)
1.基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,具体按照以下步骤实施:
步骤1、建立取样样本;
步骤2、对步骤1中的样本进行划分和预处理,得到即将处理的单帧视频片段和视频帧彩色光流图;
步骤3、改进双流卷积神经网络,双流卷积神经网络是由空间流卷积神经网络和时间流卷积神经网络组成,它们具有相似的结构,将步骤2中得到的单帧原始图像输入到空间流卷积神经网络,用于学习视频中物体的空间特征;再将步骤2中得到的多帧光流图堆叠在一起输入到时间流卷积神经网络,用于学习视频中行为的时间特征;
步骤4、对双流卷积神经网络做出改进后,对其进行网络训练和测试;从而分别得到空间流卷积神经网络和时间流卷积神经网络对当前行为的预测标签概率特征,然后进行空间和时间的得分特征融合,最后通过综合特征判断输出识别结果。
2.根据权利要求1所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,所述步骤1具体如下:
样本共采集25人,累计600个视频序列,600个视频序列分别包含6个类别,每个类别4种情境,其中3种室外情境,1种室内情境,视频规格为:160*120,25fps。
3.根据权利要求2所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,所述步骤2具体如下:
将步骤1中每条视频均分割为3~4个完整片段,总计2391个行为片段,随机抽取其中16人的行为片段组成训练集,其余9人组成测试集,依次求得每个视频片段的帧图像,再利用Horn-Schunck光流法获得视频帧的彩色光流图,并且将图片的尺寸调整为80×60大小。
4.根据权利要求3所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,所述步骤3具体按照以下步骤实施:
步骤3.1、使用Maxout函数替换原来双流卷积神经网络中的ReLU函数,此时在神经网络的隐含层之间加入一个“内置隐含层”,从而增加k个节点,计算当前隐含层中第i个神经元值,公式表示为(1)所示:
其中,hi(x)的值表示当前隐含层中第i个神经元的值,k值表示当前隐含层中的节点个数,当前隐含层中的第i个神经元对应k个节点,所以zij表示内置隐含层中第i个神经元的第j个节点,其计算表达式如公式(2)所示:
zij=XW...ij+bij (2)
其中,X表示大小为1×d的输入矩阵,W表示大小为d×m×k三维矩阵,b表示大小为m×k的偏置值矩阵,d为前一隐含层中神经元的个数,m为当前隐含层中神经元的个数,k为内置隐含层中节点的个数,W...ij表示前一隐含层到当前隐含层中第i个神经元所对应的内置隐含层中第j个节点的一组权值,bij表示当前层的第i个神经元所对应的内置隐含层中第j个节点上的偏置值;
步骤3.2、使用Stochastic Pooling池化方法代替原来的MaxPooling池化方法,为步骤2中所得的单帧图像和光流图的每个像素值计算对应的概率值并以此值设定池化窗口,概率值的计算如公式(3)所示:
其中,value(i,j)表示第i行第j列的像素值,M、N表示池化窗口覆盖区域的尺寸;
步骤3.3、利用上述(3)式计算出步骤2中所有单帧视频片段和视频帧彩色光流图的特征图中待池化区域的概率值,最终计算出池化窗口当前停留区域的池化值。
5.根据权利要求4所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,双流卷积神经网络训练采用误差反向传播算法,包括前向传播过程和反向传播过程,在前向传播过程中,首先随机初始化双流卷积网络中所有的权重和偏置值;然后将图像样本分别输入到空间流卷积神经网络和时间流卷积神经网络,通过卷积层操作和步骤3.2中的池化层操作计算每层隐藏层的输出;其次选用Softmax分类器分别计算时间流卷积神经网络和空间流卷积神经网络的概率输出;最后将空间流卷积神经网络和时间流卷积神经网络的Softmax输出进行融合得到双流网络的最终概率输出。
6.根据权利要求5所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,反向传播过程具体如下:
使用预测向量和真实向量之间的交叉熵作为双流卷积神经网络的损失函数,记为L(θ),用于评判预测向量和真实向量之间的接近程度,其中,预测向量表示改进后双流卷积神经网络对视频样本的预测值,真实向量表示视频样本的实际值,从而计算网络的损失值即误差值,计算表达式如公式(4)所示:
其中,m表示样本个数,θ表示双流卷积神经网络中需要学习的参数,j是输入样本x(i)属于每种行为类型的所有概率值,j取值范围为1,…,k,x(i)表示输入样本,y(i)表示输出向量,y(i)中有k个值,每个值的范围均在(0,1)区间内且所有值相加和为1,使用Softmax分类器得到具有k维向量的y(i),作为对行为识别分类的得分特征或概率特征,其中每个数值表示输入样本属于某类行为的概率;
然后使用梯度下降算法最小化损失函数,在优化过程中损失函数对权值参数求偏导,如公式(5)所示:
使用式(5)计算损失函数对权值参数的梯度,从而反向更新双流卷积神经网络参数θ,如公式(6)所示:
其中,α为学习率,进行如上操作后网络模型的识别性能会随着损失函数值的下降而提高,以此类推,利用更新后权值和偏置值再次计算网络输出值,并与步骤2中的样本数据所得到的真实数据做比较,再次计算当前网络损失函数值,进而继续更新网络参数,直到网络输出的损失函数值稳定不变或网络学习次数达到上限,训练结束。
7.根据权利要求6所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,所述步骤4中双流卷积神经网络测试过程具体如下:
测试过程将全部测试集输入到训练好的双流卷积神经网络中,对比预测结果与真实结果,并统计得到网络的正识别率,其中,在测试阶段将网络的Dropout丢弃率设置为1,对于某段行为视频的最终概率输出为P=(p1,...,pk)T,选取其中概率最大的预测类型即为最终类别预测结果,如公式(7)所示:
y′k=arg max(P) (7)
其中,y’k为某段视频的预测行为标签,则最终双流网络模型的识别率为:
式(8)中,M为测试时使用的视频段总个数,yk为其中某段视频的实际行为标签。
8.根据权利要求7所述的基于有限样本集的双流卷积神经网络人体行为识别方法,其特征在于,所述步骤4中进行空间和时间的得分特征融合,最后通过综合特征来判断输出识别结果,具体如下:
首先根据所述步骤2分别提取其中的一个时间流视频单帧特征和一个空间流视频单帧特征,从而得到一个完整的视频单帧时空特征,然后按照此方法得到所有视频帧的时空特征,并且将其融合提取得到视频时空特征,从而形成最终的双流卷积神经网络,最后取出步骤1中的人体行为数据集,将其输入到最终的双流卷积神经网络上以得出识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812117.2A CN110598598A (zh) | 2019-08-30 | 2019-08-30 | 基于有限样本集的双流卷积神经网络人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812117.2A CN110598598A (zh) | 2019-08-30 | 2019-08-30 | 基于有限样本集的双流卷积神经网络人体行为识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110598598A true CN110598598A (zh) | 2019-12-20 |
Family
ID=68856451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910812117.2A Pending CN110598598A (zh) | 2019-08-30 | 2019-08-30 | 基于有限样本集的双流卷积神经网络人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110598598A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008616A (zh) * | 2019-12-25 | 2020-04-14 | 南京猫头鹰智能科技有限公司 | 一种基于卷积神经网络和深度核网络的视频行为识别方法 |
CN111242068A (zh) * | 2020-01-17 | 2020-06-05 | 科大讯飞(苏州)科技有限公司 | 基于视频的行为识别方法、装置、电子设备和存储介质 |
CN111462192A (zh) * | 2020-02-24 | 2020-07-28 | 江苏大学 | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 |
CN111523421A (zh) * | 2020-04-14 | 2020-08-11 | 上海交通大学 | 基于深度学习融合各种交互信息的多人行为检测方法及*** |
CN111626178A (zh) * | 2020-05-24 | 2020-09-04 | 中南民族大学 | 一种基于新时空特征流的压缩域视频动作识别方法和*** |
CN111626245A (zh) * | 2020-06-01 | 2020-09-04 | 安徽大学 | 一种基于视频关键帧的人体行为识别方法 |
CN111783892A (zh) * | 2020-07-06 | 2020-10-16 | 广东工业大学 | 一种机器人指令识别方法、装置及电子设备和存储介质 |
CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN111860278A (zh) * | 2020-07-14 | 2020-10-30 | 陕西理工大学 | 一种基于深度学习的人体行为识别算法 |
CN111860353A (zh) * | 2020-07-23 | 2020-10-30 | 北京以萨技术股份有限公司 | 基于双流神经网络的视频行为预测方法、装置及介质 |
CN112052816A (zh) * | 2020-09-15 | 2020-12-08 | 山东大学 | 基于自适应图卷积对抗网络的人体行为预测方法及*** |
CN112183240A (zh) * | 2020-09-11 | 2021-01-05 | 山东大学 | 一种基于3d时间流和并行空间流的双流卷积行为识别方法 |
CN112446348A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
CN112580589A (zh) * | 2020-12-28 | 2021-03-30 | 国网上海市电力公司 | 基于双流法考虑非均衡数据的行为识别方法、介质及设备 |
CN112749654A (zh) * | 2020-12-31 | 2021-05-04 | 南京恩瑞特实业有限公司 | 一种用于视频大雾监测的深度神经网络模型构建方法、***及装置 |
CN112861708A (zh) * | 2021-02-05 | 2021-05-28 | 北京理工大学前沿技术研究院 | 一种雷达图像的语义分割方法、设备及存储介质 |
CN112989955A (zh) * | 2021-02-20 | 2021-06-18 | 北方工业大学 | 基于空时双流异构嫁接卷积神经网络人体动作识别方法 |
CN113343764A (zh) * | 2021-05-10 | 2021-09-03 | 武汉理工大学 | 一种基于级联式网络架构的驾驶员分心检测方法及*** |
TWI770967B (zh) * | 2020-06-19 | 2022-07-11 | 大陸商深圳市商湯科技有限公司 | 一種神經網路的訓練方法、視頻識別方法及電腦設備和電腦可讀儲存介質 |
CN116645917A (zh) * | 2023-06-09 | 2023-08-25 | 浙江技加智能科技有限公司 | Led显示屏亮度调节***及其方法 |
CN118135496A (zh) * | 2024-05-06 | 2024-06-04 | 武汉纺织大学 | 一种基于双流卷积神经网络的课堂行为识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132785A1 (en) * | 2015-11-09 | 2017-05-11 | Xerox Corporation | Method and system for evaluating the quality of a surgical procedure from in-vivo video |
CN108664922A (zh) * | 2018-05-10 | 2018-10-16 | 东华大学 | 一种基于人身安全的红外视频人体行为识别方法 |
CN109508684A (zh) * | 2018-11-21 | 2019-03-22 | 中山大学 | 一种视频中人体行为识别的方法 |
CN110084228A (zh) * | 2019-06-25 | 2019-08-02 | 江苏德劭信息科技有限公司 | 一种基于双流卷积神经网络的危险行为自动识别方法 |
CN110110686A (zh) * | 2019-05-14 | 2019-08-09 | 中国石油大学(华东) | 基于多损失双流卷积神经网络的人体动作识别方法 |
-
2019
- 2019-08-30 CN CN201910812117.2A patent/CN110598598A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132785A1 (en) * | 2015-11-09 | 2017-05-11 | Xerox Corporation | Method and system for evaluating the quality of a surgical procedure from in-vivo video |
CN108664922A (zh) * | 2018-05-10 | 2018-10-16 | 东华大学 | 一种基于人身安全的红外视频人体行为识别方法 |
CN109508684A (zh) * | 2018-11-21 | 2019-03-22 | 中山大学 | 一种视频中人体行为识别的方法 |
CN110110686A (zh) * | 2019-05-14 | 2019-08-09 | 中国石油大学(华东) | 基于多损失双流卷积神经网络的人体动作识别方法 |
CN110084228A (zh) * | 2019-06-25 | 2019-08-02 | 江苏德劭信息科技有限公司 | 一种基于双流卷积神经网络的危险行为自动识别方法 |
Non-Patent Citations (1)
Title |
---|
董博源: "基于深度学习的视频人体行为识别研究", 《中国优秀博硕士学位论文全文数据库(硕士),信息科技辑》 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008616A (zh) * | 2019-12-25 | 2020-04-14 | 南京猫头鹰智能科技有限公司 | 一种基于卷积神经网络和深度核网络的视频行为识别方法 |
CN111008616B (zh) * | 2019-12-25 | 2023-09-12 | 南京猫头鹰智能科技有限公司 | 一种基于卷积神经网络和深度核网络的视频行为识别方法 |
CN111242068A (zh) * | 2020-01-17 | 2020-06-05 | 科大讯飞(苏州)科技有限公司 | 基于视频的行为识别方法、装置、电子设备和存储介质 |
CN111462192A (zh) * | 2020-02-24 | 2020-07-28 | 江苏大学 | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 |
CN111523421A (zh) * | 2020-04-14 | 2020-08-11 | 上海交通大学 | 基于深度学习融合各种交互信息的多人行为检测方法及*** |
CN111523421B (zh) * | 2020-04-14 | 2023-05-19 | 上海交通大学 | 基于深度学习融合各种交互信息的多人行为检测方法及*** |
CN111626178B (zh) * | 2020-05-24 | 2020-12-01 | 中南民族大学 | 一种基于新时空特征流的压缩域视频动作识别方法和*** |
CN111626178A (zh) * | 2020-05-24 | 2020-09-04 | 中南民族大学 | 一种基于新时空特征流的压缩域视频动作识别方法和*** |
CN111626245A (zh) * | 2020-06-01 | 2020-09-04 | 安徽大学 | 一种基于视频关键帧的人体行为识别方法 |
CN111626245B (zh) * | 2020-06-01 | 2023-04-07 | 安徽大学 | 一种基于视频关键帧的人体行为识别方法 |
TWI770967B (zh) * | 2020-06-19 | 2022-07-11 | 大陸商深圳市商湯科技有限公司 | 一種神經網路的訓練方法、視頻識別方法及電腦設備和電腦可讀儲存介質 |
CN111783892B (zh) * | 2020-07-06 | 2021-10-01 | 广东工业大学 | 一种机器人指令识别方法、装置及电子设备和存储介质 |
CN111783892A (zh) * | 2020-07-06 | 2020-10-16 | 广东工业大学 | 一种机器人指令识别方法、装置及电子设备和存储介质 |
CN111860278A (zh) * | 2020-07-14 | 2020-10-30 | 陕西理工大学 | 一种基于深度学习的人体行为识别算法 |
CN111860278B (zh) * | 2020-07-14 | 2024-05-14 | 陕西理工大学 | 一种基于深度学习的人体行为识别算法 |
CN111860353A (zh) * | 2020-07-23 | 2020-10-30 | 北京以萨技术股份有限公司 | 基于双流神经网络的视频行为预测方法、装置及介质 |
CN111860678B (zh) * | 2020-07-29 | 2024-02-27 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN112183240A (zh) * | 2020-09-11 | 2021-01-05 | 山东大学 | 一种基于3d时间流和并行空间流的双流卷积行为识别方法 |
CN112183240B (zh) * | 2020-09-11 | 2022-07-22 | 山东大学 | 一种基于3d时间流和并行空间流的双流卷积行为识别方法 |
CN112052816B (zh) * | 2020-09-15 | 2022-07-12 | 山东大学 | 基于自适应图卷积对抗网络的人体行为预测方法及*** |
CN112052816A (zh) * | 2020-09-15 | 2020-12-08 | 山东大学 | 基于自适应图卷积对抗网络的人体行为预测方法及*** |
CN112446348A (zh) * | 2020-12-08 | 2021-03-05 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
CN112446348B (zh) * | 2020-12-08 | 2022-05-31 | 电子科技大学 | 一种基于特征谱流的行为识别方法 |
CN112580589A (zh) * | 2020-12-28 | 2021-03-30 | 国网上海市电力公司 | 基于双流法考虑非均衡数据的行为识别方法、介质及设备 |
CN112749654A (zh) * | 2020-12-31 | 2021-05-04 | 南京恩瑞特实业有限公司 | 一种用于视频大雾监测的深度神经网络模型构建方法、***及装置 |
CN112861708A (zh) * | 2021-02-05 | 2021-05-28 | 北京理工大学前沿技术研究院 | 一种雷达图像的语义分割方法、设备及存储介质 |
CN112861708B (zh) * | 2021-02-05 | 2023-04-07 | 北京理工大学前沿技术研究院 | 一种雷达图像的语义分割方法、设备及存储介质 |
CN112989955B (zh) * | 2021-02-20 | 2023-09-29 | 北方工业大学 | 基于空时双流异构嫁接卷积神经网络人体动作识别方法 |
CN112989955A (zh) * | 2021-02-20 | 2021-06-18 | 北方工业大学 | 基于空时双流异构嫁接卷积神经网络人体动作识别方法 |
CN113343764A (zh) * | 2021-05-10 | 2021-09-03 | 武汉理工大学 | 一种基于级联式网络架构的驾驶员分心检测方法及*** |
CN116645917A (zh) * | 2023-06-09 | 2023-08-25 | 浙江技加智能科技有限公司 | Led显示屏亮度调节***及其方法 |
CN118135496A (zh) * | 2024-05-06 | 2024-06-04 | 武汉纺织大学 | 一种基于双流卷积神经网络的课堂行为识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598598A (zh) | 基于有限样本集的双流卷积神经网络人体行为识别方法 | |
CN109961034B (zh) | 基于卷积门控循环神经单元的视频目标检测方法 | |
CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
CN110084151B (zh) | 基于非局部网络深度学习的视频异常行为判别方法 | |
CN109214441A (zh) | 一种细粒度车型识别***及方法 | |
CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
CN105512676A (zh) | 一种智能终端上的食物识别方法 | |
CN104217214A (zh) | 基于可配置卷积神经网络的rgb-d人物行为识别方法 | |
CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 | |
CN113221663B (zh) | 一种实时手语智能识别方法、装置及*** | |
CN110263236B (zh) | 基于动态多视图学习模型的社交网络用户多标签分类方法 | |
CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
CN110334589A (zh) | 一种基于空洞卷积的高时序3d神经网络的动作识别方法 | |
CN111178319A (zh) | 基于压缩奖惩机制的视频行为识别方法 | |
CN112115849A (zh) | 基于多粒度视频信息和注意力机制的视频场景识别方法 | |
CN111368660A (zh) | 一种单阶段半监督图像人体目标检测方法 | |
CN111723667A (zh) | 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置 | |
CN111832479B (zh) | 基于改进的自适应锚点r-cnn的视频目标检测方法 | |
CN110096976A (zh) | 基于稀疏迁移网络的人体行为微多普勒分类方法 | |
CN116503776A (zh) | 一种基于时间自适应的时空注意力视频行为识别方法 | |
CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
CN114417975A (zh) | 基于深度pu学习与类别先验估计的数据分类方法及*** | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |