CN110222665B - 一种基于深度学习和姿态估计的监控中人体动作识别方法 - Google Patents

一种基于深度学习和姿态估计的监控中人体动作识别方法 Download PDF

Info

Publication number
CN110222665B
CN110222665B CN201910513337.5A CN201910513337A CN110222665B CN 110222665 B CN110222665 B CN 110222665B CN 201910513337 A CN201910513337 A CN 201910513337A CN 110222665 B CN110222665 B CN 110222665B
Authority
CN
China
Prior art keywords
skeleton
human body
action
monitoring
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910513337.5A
Other languages
English (en)
Other versions
CN110222665A (zh
Inventor
秦臻
张扬
丁熠
秦志光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910513337.5A priority Critical patent/CN110222665B/zh
Publication of CN110222665A publication Critical patent/CN110222665A/zh
Application granted granted Critical
Publication of CN110222665B publication Critical patent/CN110222665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和姿态估计的监控中人体动作识别方法，包括构建基于相对部位关节特征表示的多流动作识别模型；对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；将转换后的相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并其进行预处理；对预处理后的骨骼动作序列进行特征表示转换；使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。

Description

一种基于深度学习和姿态估计的监控中人体动作识别方法
技术领域
本发明属于计算机图像处理和动作识别的技术领域，具体涉及一种基于深度学习和姿态估计的监控中人体动作识别方法。
背景技术
随着“平安城市”计划的推进和监控摄像头成本的下降，监控摄像头布满了大街小巷，实时监控公共场景，为公共安全提供了保障，但由此产生了大量的监控视频数据，现有的大多数监控摄像由人工实时监控，多个监控画面集中到同一监控室，然后由人工实时监控画面判断是否有危险行为的发生，这种原始的监控方式费时费力，效率不高。
使用计算机自动识别监控视频中对象的动作，从而对危险行为发出预警，是一种更为高效的监控方法；以往的人体动作识别都是直接基于视频的，计算机在根据监控视频自动识别人体动作时，容易受到场景光照、镜头分辨率和拍摄视角的影响，导致识别准确率的降低。基于视频的姿态估计能够将视频帧中的人体对象使用有限的关节点描述出来，视频数据被转换为描述人体主要关节点移动的骨骼运动序列，这种数据能够更简洁清晰地描述出人体的动作变化，而且减少了背景等噪声的干扰。现有的基于深度学习的姿态估计算法已能够实现实时地估计出场景中多个对象(人)的骨骼，具有较高的可信度。
在基于深度学习的方法中，大多是端到端(end-to-end)的模型，即输入到输出的模式，在这个过程中，模型自动完成运动特征的提取和特征到类别标签的映射，省去了传统机器学习中特征设计的复杂工序。在大多的深度学习方法中，使用RNN，CNN两种常用神经网络来提取运动特征，或混合两种网络，使用RNN网络或其特殊形式(LSTM、GRU等)来获取动作的时间依赖性，使用CNN来获取动作关键部位的空间分布特征。监控中的人体动作识别通过监控视频接口不断获取实时的监控片段，输入到动作识别模型中，识别出视频片段中的动作类别，返回结果与设定的危险行为或动作进行比对，达到自动监控的目的。这种监控方式具有效率高、漏检低、覆盖全的特点。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于深度学习和姿态估计的监控中人体动作识别方法，以解决原始的监控方式费时费力、效率不高的问题。
为达到上述目的，本发明采取的技术方案是：
一种基于深度学习和姿态估计的监控中人体动作识别方法，其包括：
S1、构建基于相对部位关节特征表示的多流动作识别模型；
S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；
S3、将转换后的所述相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；
S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；
S5、对预处理后的骨骼动作序列进行特征表示转换；
S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；
S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。
优选地，步骤S1构建多流动作识别模型的方法为：
复合CNN和LSTM网络单元，在CNN和LSTM之间引入激活函数、随机失活和维度变换，整合成LSTM-CNN单元，用以提取运动骨骼序列的时空运动特征，并采用LSTM-CNN单元搭建得到多流动作识别模型。
优选地，使用一层公共的LSTM-CNN网络单元来提取低层运动特征，5个三层的LSTM-CNN多流网络并行提取人体骨骼不同部位的不同运动特征；
5个不同部位的运动特征图在时空池化过后，运用全连接和分类器将特征映射到分类得分向量；
采用权重融合策略，将5个分类得分融合得到最后的分类结果。
优选地，步骤S2中人体骨骼动作数据进行预处理的方法为：
采用随机滑动窗口策略，设定窗口长度，在运动骨骼序列中随机截取一段作为输入，当序列长度小于窗口长度时，采用零填充补全。
优选地，步骤S2中将原始骨骼序列关节的特征表示转换为相对部位关节特征表示的方法为：
将骨骼序列中的人体骨骼关节分为5个部分，包括左臂、右臂、左腿、右腿、躯干，每一部位包含若干个关节点；
每个部位选取一个靠近骨骼重心的关节点作为局部根节点；
计算每个部位中其它关节点到相应局部根节点的相对位置；
计算5个局部根节点到骨骼重心的相对位置，得到的新的坐标表示即为相对部位关节特征表示，其计算公式为：
Figure BDA0002094200260000031
Figure BDA0002094200260000032
Figure BDA0002094200260000033
其中，
Figure BDA0002094200260000034
是特征表示转换前第t帧中关节点j的特征表示，xj,t是特征转换之后的表示，ri表示第i个部位的局部根节点关节，c表示人体骨骼的重心，n是关节点的个数，xc,t表示t帧中重心的特征表示。
优选地，步骤S3中模型的训练和评估的方法为：
将转换后的运动骨骼序列输入到多流动作识别模型中，设定训练轮数为60轮，每5轮使用测试集进行一次评估，模型训练的初始学习率设定为0.01，在10轮和50轮后学习率降为原来的十分之一；
每5轮的模型评估中，使用识别准确率作为评估标准，选取12次评估中识别准确率最高的模型作为输出模型进行保存，作为应用阶段使用的最优模型。
优选地，步骤S4中得到并预处理骨骼动作序列的方法为：
截取监控视频中固定长度的视频，采用局部亲和域姿态估计算法逐帧估计人体姿态，得到骨骼动作序列；并对所述骨骼动作序列进行标准化和去中心化，消除尺度和坐标的影响。
优选地，步骤S6中将预处理和特征转换过后的骨骼动作序列输入到训练得到的最优模型中，得到动作分类结果。
本发明提供的基于深度学习和姿态估计的监控中人体动作识别方法，具有以下有益效果：
本发明通过对监控视频中的人体进行姿态估计获取人体骨骼运动数据，基于深度学习模型对这些人体骨骼运动数据进行自动识别，能够有效的节省公共安全人工监控的开销，提高监控的效率。
附图说明
图1为基于深度学习和姿态估计的监控中人体动作识别方法的流程图。
图2为模型中进行特征表示转换关节点的划分、部位局部根节点的选取和计算的示意图。
图3为基于深度学习的人体骨骼动作识别模型结构。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图1，本方案的基于深度学习和姿态估计的监控中人体动作识别方法，包括：
S1、构建基于相对部位关节特征表示的多流动作识别模型；
S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；
S3、将转换后的所述相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；
S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；
S5、对预处理后的骨骼动作序列进行特征表示转换；
S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；
S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。
以下对上述步骤进行详细描述
步骤S1、参考图3，构建多流动作识别模型；
复合长短期记忆网络(LSTM)和卷积神经网络(CNN)的混合网络结构作为模型的基本层，称之为LSTM-CNN单元，其中，CNN在空间尺度上使用一维卷积来提取骨骼序列关节点的空间特征，LSTM在时间尺度上提取骨骼序列关节的时间特征；
使用一层公共的LSTM-CNN来提取人体低层运动特征，5个三层的LSTM-CNN多流网络并行提取人体骨骼不同部位的不同运动特征；
5个不同部位的运动特征图在时空池化过后，运用全连接和分类器将特征映射到分类得分向量；
使用权重融合策略，将5个分类得分融合得到最后的分类结果。
步骤S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；
参考图2，其中，骨骼序列中的人体骨骼包括25个关节点，分别为脊基部关节点base of the spine，脊中关节点middle of the spine，脖子关节点neck，头关节点head，左肩关节点left shoulder，左肘关节点left elbow，左腕关节点left wrist，左手关节点left hand，右肩关节点right shoulder，右肘关节点right elbow，右腕关节点rightwrist，右手关节点right hand，左髋关节点left hip，左膝关节点left knee，左脚踝关节点left ankle，左脚关节点left foot，右髋关节点right hip，右膝关节点right knee，右脚踝关节点right ankle，右脚关节点right foot，脊椎关节点spine，左手尖关节点tip ofthe left hand，左拇指关节点left thumb，右手尖关节点tip of the right hand，右拇指关节点right thumb。
数据预处理主要为运动骨骼序列长度的规整化，采用随机滑动窗口策略，设定窗口长度为120，在运动骨骼序列中随机截取一段帧数为120的片段作为输入，当序列长度小于窗口长度120时，采用零填充补全。
首先将骨骼25个关节点划分为5个部位，分别为左臂、右臂、左腿、右腿和躯干，各部位包含的关节点如下：
左臂部位包含6个关节点：左肩关节点left shoulder，左肘关节点left elbow，左腕关节点left wrist，左手关节点left hand，左手尖关节点tip of the left hand和左拇指关节点left thumb；
右臂部位包含6个关节点：右肩关节点right shoulder，右肘关节点right elbow，右腕关节点right wrist，右手关节点right hand，右手尖关节点tip of the right hand和右拇指关节点right thumb；
左腿部位包含4个关节点：左髋关节点left hip，左膝关节点left knee，左脚踝关节点left ankle和左脚关节点left foot；
右腿部位包含4个关节点：右髋关节点right hip，右膝关节点right knee，右脚踝关节点right ankle和右脚关节点right foot；
躯干部位包含5个关节点：头关节点head，脖子关节点neck，脊椎关节点spine，脊中关节点middle of the spine和脊基部关节点base of the spine；
选取脊关节spine、左肩关节left shoulder、右肩关节right shoulder、左髋关节left hip和右髋关节right hip作为5个部位各自的局部根节点关节。
计算各个部位中其它关节相对于各自局部根节点关节的相对位置；
计算5个局部根节点相对于骨骼重心的相对位置，骨骼重心为骨骼所有关节点位置的均值。
得到的新的坐标表示称之为相对部位关节特征表示，具体计算方式如下：
Figure BDA0002094200260000071
Figure BDA0002094200260000072
Figure BDA0002094200260000073
其中，
Figure BDA0002094200260000074
是特征表示转换前第t帧中关节点j的坐标表示，xj,t是特征转换之后的坐标表示，ri表示第i个部位的局部根节点关节，c表示人体骨骼的重心，n是关节点的个数，xc,t表示t帧中重心的坐标表示。
步骤S3、将转换后的相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型，其训练和评估的方法为：
将转换后的运动骨骼序列输入到模型中，设定训练轮数为60轮，每5轮使用测试集进行一次评估，模型训练的初始学习率设定为0.01，在10轮和50轮后学习率降为原来的十分之一。
每5轮的模型评估中，使用识别准确率作为评估标准，选取12次评估中识别准确率最高的模型作为输出模型进行保存，作为应用阶段使用的最优模型。
模型的训练和评估过程中，遵循公共数据集给出的测试集和训练集的划分方法；模型的训练采用随机梯度下降(SGD)作为优化器，交叉熵损失作为目标函数，采用随机失活(Dropout)来降低模型的过拟合。
步骤S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；
从监控接口获取实时场景下的监控片段，使用姿态估计算法得到骨骼动作序列数据；
截取监控视频中固定长度的视频，采用局部亲和域姿态估计算法逐帧估计人体姿态，得到骨骼动作序列；并对所述骨骼动作序列进行标准化和去中心化，消除尺度和坐标的影响。
其中，姿态估计算法具体采用局部亲和域(part affinity fields)，此姿态估计算法能够编码全局上下文，采用贪婪地自下而上的解析步骤，能够估计同一图像中的多个2D姿态，并能保证精确度和实时性。将此姿态估计算法与视频接口集成，能够实时准确地将视频数据转换为骨骼运动序列。
步骤S5、对预处理后的骨骼动作序列进行特征表示转换；
对转换后的骨骼运动序列，采用与模型训练和评估阶段相同的预处理方式，特征表示的转换方法也相同；此外，由于不同监控摄像头具有不同的分辨率和坐标***，在姿态估计后，需要对骨骼运动数据进行标准化和去中心化，消除尺度和坐标的影响。
步骤S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；
步骤S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。
根据本申请的一个实施例，本发明通过使用公开的人体骨骼动作识别数据集来训练和评估动作识别模型，将得到的最优模型与监控视频接口集成，在接口处引入姿态估计算法，将视频数据进行转化，能够消除转动监控摄像带来的背景变化的影响，然后将人体骨骼运动序列进行预处理，转化特征表示后输入到训练得到的模型中，输出识别结果，与设定的危险动作类别对比，判断是否存在危险动作，将对比结果返回给监控人员处理。
由于不同监控摄像头具有不同的分辨率和坐标***，在姿态估计后，需要对骨骼运动数据进行标准化和去中心化，消除尺度和坐标的影响。
本发明的具体训练过程如下：首先将人体骨骼关节点按身体部位划分为多组，一般为五组，选取每组中接近重心的关节点作为组中局部根节点，计算组中其它点到组中局部根节点的相对位置，计算所有关节点位置的重心(坐标的平均)，局部根节点的位置是到重心的相对位置。
模型的构建，复合LSTM和CNN的基本层，称之为LSTM-CNN，作为共享的网络层来提取低层运动特征，然后这些特征被输入到多流的三层LSTM-CNN网络中，输出后进过全局池化和全连接，由softmax分类器得到分类结果，在训练模型时，将转换后的关节坐标表示输入到模型中进行训练，统计识别准确率，选取最优识别模型进行保存。
具体运用过程如下：通过监控视频接口获取到视频片段后，使用姿态估计算法得到骨骼运动序列，进行数据的预处理后进行特征表示转化，输入到保存的模型中，识别出序列中的动作后，返回识别结果与预设的危险行为作对比，将对比结果返回给监控工作人员。
本发明无需时刻专注于摄像，在识别出危险动作后，只需将摄像画面返回给监控工作人员处理即可，能够显著提高监控人员监控公共摄像的效率，节省人工成本。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (5)

1.一种基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，包括：
S1、构建基于相对部位关节特征表示的多流动作识别模型；
S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；
S3、将转换后的所述相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；
S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；
S5、对预处理后的骨骼动作序列进行特征表示转换；
S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；
S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员；
所述步骤S1构建多流动作识别模型的方法为：
复合CNN和LSTM网络单元，在CNN和LSTM之间引入激活函数、随机失活和维度变换，整合成LSTM-CNN单元，用以提取运动骨骼序列的时空运动特征，并采用LSTM-CNN单元搭建得到多流动作识别模型；
使用一层公共的LSTM-CNN网络单元来提取低层运动特征，5个三层的LSTM-CNN多流网络并行提取人体骨骼不同部位的不同运动特征；
5个不同部位的运动特征图在时空池化过后，运用全连接和分类器将特征映射到分类得分向量；
采用权重融合策略，将5个分类得分融合得到最后的分类结果；
所述步骤S2中将原始骨骼序列关节的特征表示转换为相对部位关节特征表示的方法为：
将骨骼序列中的人体骨骼关节分为5个部分，包括左臂、右臂、左腿、右腿、躯干，每一部位包含若干个关节点；
每个部位选取一个靠近骨骼重心的关节点作为局部根节点；
计算每个部位中其它关节点到相应局部根节点的相对位置；
计算5个局部根节点到骨骼重心的相对位置，得到的新的坐标表示即为相对部位关节特征表示，其计算公式为：
Figure FDA0003918012500000021
Figure FDA0003918012500000022
Figure FDA0003918012500000023
其中，
Figure FDA0003918012500000024
是特征表示转换前第t帧中关节点j的特征表示，xj,t是特征转换之后的表示，ri表示第i个部位的局部根节点关节，c表示人体骨骼的重心，n是关节点的个数，xc,t表示t帧中重心的特征表示。
2.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S2中人体骨骼动作数据进行预处理的方法为：
采用随机滑动窗口策略，设定窗口长度，在运动骨骼序列中随机截取一段作为输入，当序列长度小于窗口长度时，采用零填充补全。
3.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S3中模型的训练和评估的方法为：
将转换后的运动骨骼序列输入到多流动作识别模型中，设定训练轮数为60轮，每5轮使用测试集进行一次评估，模型训练的初始学习率设定为0.01，在10轮和50轮后学习率降为原来的十分之一；
每5轮的模型评估中，使用识别准确率作为评估标准，选取12次评估中识别准确率最高的模型作为输出模型进行保存，作为应用阶段使用的最优模型。
4.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S4中得到并预处理骨骼动作序列的方法为：
截取监控视频中固定长度的视频，采用局部亲和域姿态估计算法逐帧估计人体姿态，得到骨骼动作序列；并对所述骨骼动作序列进行标准化和去中心化，消除尺度和坐标的影响。
5.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S6中将预处理和特征转换过后的骨骼动作序列输入到训练得到的最优模型中，得到动作分类结果。
CN201910513337.5A 2019-06-14 2019-06-14 一种基于深度学习和姿态估计的监控中人体动作识别方法 Active CN110222665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910513337.5A CN110222665B (zh) 2019-06-14 2019-06-14 一种基于深度学习和姿态估计的监控中人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910513337.5A CN110222665B (zh) 2019-06-14 2019-06-14 一种基于深度学习和姿态估计的监控中人体动作识别方法

Publications (2)

Publication Number Publication Date
CN110222665A CN110222665A (zh) 2019-09-10
CN110222665B true CN110222665B (zh) 2023-02-24

Family

ID=67817033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910513337.5A Active CN110222665B (zh) 2019-06-14 2019-06-14 一种基于深度学习和姿态估计的监控中人体动作识别方法

Country Status (1)

Country Link
CN (1) CN110222665B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650368B (zh) * 2019-09-25 2022-04-26 新东方教育科技集团有限公司 视频处理方法、装置和电子设备
CN110826453B (zh) * 2019-10-30 2023-04-07 西安工程大学 一种通过提取人体关节点坐标的行为识别方法
CN110852305A (zh) * 2019-11-18 2020-02-28 哈尔滨工程大学 一种人体步态特征提取方法
CN111062356B (zh) * 2019-12-26 2024-03-26 沈阳理工大学 一种从监控视频自动识别人体动作异常的方法
CN113128283A (zh) * 2019-12-31 2021-07-16 沸腾时刻智能科技(深圳)有限公司 评估方法、模型构建方法、教学机、教学***及电子设备
CN111401270A (zh) * 2020-03-19 2020-07-10 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其***
CN111723688B (zh) * 2020-06-02 2024-03-12 合肥的卢深视科技有限公司 人体动作识别结果的评价方法、装置和电子设备
CN111898571A (zh) * 2020-08-05 2020-11-06 北京华捷艾米科技有限公司 动作识别***及方法
CN111967379B (zh) * 2020-08-14 2022-04-08 西北工业大学 一种基于rgb视频和骨架序列的人体行为识别方法
CN111967400B (zh) * 2020-08-19 2021-02-26 青岛伟东云教育集团有限公司 一种基于人工智能的校园安全监测预警管理***
CN112036291A (zh) * 2020-08-27 2020-12-04 东北电力大学 基于运动大数据和深度学习的运动学数据模型构建方法
CN112131985B (zh) * 2020-09-11 2024-01-09 同济人工智能研究院(苏州)有限公司 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN112712019B (zh) * 2020-12-28 2023-08-01 湖南大学 一种基于图卷积网络的三维人体姿态估计方法
CN112966628A (zh) * 2021-03-17 2021-06-15 广东工业大学 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法
CN113205043B (zh) * 2021-04-30 2022-06-07 武汉大学 一种基于强化学习的视频序列二维姿态估计方法
CN113936038A (zh) * 2021-10-13 2022-01-14 支付宝(杭州)信息技术有限公司 骨骼检测装置及其使用方法、训练方法和训练装置
CN113749651B (zh) * 2021-10-18 2023-05-26 长春理工大学 一种基于人体姿势识别的压力评估方法及压力评估***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099982A (ja) * 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108305283A (zh) * 2018-01-22 2018-07-20 清华大学 基于深度相机和基本姿势的人体行为识别方法及装置
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109858407A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于多种信息流特征和异步融合的视频行为识别方法
CN109871750A (zh) * 2019-01-02 2019-06-11 东南大学 一种基于骨架图序列异常关节修复的步态识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099982A (ja) * 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108305283A (zh) * 2018-01-22 2018-07-20 清华大学 基于深度相机和基本姿势的人体行为识别方法及装置
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109871750A (zh) * 2019-01-02 2019-06-11 东南大学 一种基于骨架图序列异常关节修复的步态识别方法
CN109858407A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于多种信息流特征和异步融合的视频行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multisource learning for skeleton-based action recognition using deep LSTM and CNN;Ran Cui 等;《Journal of Electronic Imaging》;20180831;043050-1：10 *
SKELETON-BASED ACTION RECOGNITION USING LSTM AND CNN;Chuankun Li 等;《arXiv》;20170706;1-6 *
基于姿态和骨架信息的行为识别方法研究与实现;马静;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190115(第12期);I138-994 *
基于深度学习的动作识别方法研究;韩敏捷;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20170715(第7期);I138-666 *

Also Published As

Publication number Publication date
CN110222665A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110222665B (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN110020611B (zh) 一种基于三维假设空间聚类的多人动作捕捉方法
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN111414797B (zh) 用于估计对象的姿势和姿态信息的***和方法
CN114220176A (zh) 一种基于深度学习的人体行为的识别方法
WO2020225562A1 (en) Processing captured images
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及***
CN108628306B (zh) 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112800905A (zh) 一种基于rgbd相机姿态估计的引体向上计数方法
CN113435236A (zh) 居家老人姿态检测方法、***、存储介质、设备及应用
CN114511931A (zh) 基于视频图像的动作识别方法、装置、设备及存储介质
CN113920326A (zh) 基于人体骨骼关键点检测的摔倒行为识别方法
CN112966628A (zh) 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法
CN113591774A (zh) 基于Transformer的行为识别算法
Yan et al. Human-object interaction recognition using multitask neural network
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
CN111178201A (zh) 基于OpenPose姿态检测的人体分段式跟踪方法
CN113111733A (zh) 一种基于姿态流的打架行为识别方法
CN116229507A (zh) 人体姿态检测方法及***
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
CN109711271A (zh) 一种基于关节连接线的动作判断方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant