CN111027481A - 基于人体关键点检测的行为分析方法及装置 - Google Patents

基于人体关键点检测的行为分析方法及装置 Download PDF

Info

Publication number
CN111027481A
CN111027481A CN201911260368.0A CN201911260368A CN111027481A CN 111027481 A CN111027481 A CN 111027481A CN 201911260368 A CN201911260368 A CN 201911260368A CN 111027481 A CN111027481 A CN 111027481A
Authority
CN
China
Prior art keywords
pedestrian
human body
key point
video
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911260368.0A
Other languages
English (en)
Other versions
CN111027481B (zh
Inventor
王锦文
李观喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haoyun Technologies Co Ltd
Original Assignee
Haoyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haoyun Technologies Co Ltd filed Critical Haoyun Technologies Co Ltd
Priority to CN201911260368.0A priority Critical patent/CN111027481B/zh
Publication of CN111027481A publication Critical patent/CN111027481A/zh
Application granted granted Critical
Publication of CN111027481B publication Critical patent/CN111027481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

为了解决上述技术问题中的行为分析的准确低的问题，本公开提供了一种基于人体关键点检测的行为分析方法及装置，提高行为分析的准确性。基于人体关键点检测的行为分析方法，包括：检测待识别视频中的行人；跟踪检测到的待识别视频中的行人；提取跟踪到的待识别视频中的行人的人体关键点序列；基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。装置包括检测模块、跟踪模块提取模块判断模块。本公开基于人体关键点序列和预设的行为分类器获得行人行为，相对于现有技术具有更高的效率和准确性。

Description

基于人体关键点检测的行为分析方法及装置
技术领域
本公开涉及一种行为分析方法，尤其涉及一种基于人体关键点检测的行为分析方法及装置。
背景技术
行为分析是当前计算机视觉研究比较热门的领域之一,当前用于行为分析的方法主要包括传统特征提取并预测的方法,典型的算法包括使用光流算法提取特征,然后使用svm进行分类,另一类方法是使用深度学习训练的方法分析行为,典型的方法是:使用双流神经网络的行为分析,首先对视频序列中的每两帧计算稠密光流,得到稠密光流序列,然后对视频图像和稠密光流分别使用CNN训练,两个分支的网络分别对动作的类别进行判断,最后对两个网络的分类结果进行融合得到最终分类结果，其不足在于：传统方法对噪声,视角变化等非常敏感,使用神经网络方法则比较耗时,而且使用神经网络方法容易受外观因素的影响,如色调,图像噪声等，进而导致传统分析方法准确性较低。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了一种基于人体关键点检测的行为分析方法及装置，提高行为分析的准确性。
本公开的一方面，基于人体关键点检测的行为分析方法，包括：
检测待识别视频中的行人；
跟踪检测到的待识别视频中的行人；
提取跟踪到的待识别视频中的行人的人体关键点序列；
基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
可选的，所述检测待识别视频中的行人包括根据预设的yolov3行人检测模型检测行人，其中，所述yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
所述跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
可选的，提取跟踪到的待识别视频中的行人的人体关键点序列：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：
裁剪ResNet50卷积网络第44层之后的网络；
在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构；
在RFB网络结构后,接入第一上采样层，用以进行第一次上采样操作；
拼接第一上采样层与ResNet50卷积网络的第41层网络；
拼接后，再接入第一卷积操作层，用于进行卷积操作；
在第一卷积操作层后接入第二上采样层，用于进行第二次上采样操作；
在第二上采样层后接入第二卷积操作层，用于进行卷积操作；
在第二卷积操作层后接入第三卷积操作层，用于卷积操作，输出关节点关节点热图；
在第二卷积操作层后接入第四卷积操作层，用于卷积操作，输出人体连接的亲和域图。
可选的，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。
可选的，所述对人体关键点序列进行归一化包括：对数据帧中的所有人体关键点按如下公式处理：
其中，X为归一化后的行人关键点的横坐标，Y为归一化后的行人关键点的纵坐标，x为归一化前的行人关键点的横坐标，y为归一化前的行人关键点的纵坐标，xmax为行人关键点所在视频帧中所有人体关键点的横坐标的最大值，ymax为行人关键点所在视频帧中所有人体关键点的纵坐标的最大值，xmin为行人关键点所在视频帧中所有人体关键点的横坐标的最小值，ymin为行人关键点所在视频帧中所有人体关键点的纵坐标的最小值，xu为行人关键点所在视频帧中所有人体关键点的横坐标的平均值，yu为行人关键点所在视频帧中所有人体关键点的纵坐标的平均值。
可选的，方法还包括行人关键点补齐的步骤：
获取未检测到的行人关键点；
判断未检测到的行人关键点是否存在对称的行人关键点，若存在，则以对称的行人关键点作为代替未检测到的行人关键点坐标。
本公开的另一方面，基于人体关键点检测的行为分析装置，包括：
检测模块，用于检测待识别视频中的行人；
跟踪模块，用于跟踪检测到的待识别视频中的行人；
提取模块，用于提取跟踪到的待识别视频中的行人的人体关键点序列；
判断模块，用于基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
可选的，所述检测待识别视频中的行人包括根据预设的yolov3行人检测模型检测行人，其中，所述yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
所述跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
可选的，提取跟踪到的待识别视频中的行人的人体关键点序列：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：
裁剪ResNet50卷积网络第44层之后的网络；
在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构；
在RFB网络结构后,接入第一上采样层，用以进行第一次上采样操作；
拼接第一上采样层与ResNet50卷积网络的第41层网络；
拼接后，再接入第一卷积操作层，用于进行卷积操作；
在第一卷积操作层后接入第二上采样层，用于进行第二次上采样操作；
在第二上采样层后接入第二卷积操作层，用于进行卷积操作；
在第二卷积操作层后接入第三卷积操作层，用于卷积操作，输出关节点关节点热图；
在第二卷积操作层后接入第四卷积操作层，用于卷积操作，输出人体连接的亲和域图。
可选的，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。
本公开的技术方案，检测并跟踪待识别视频中的行人，并提取跟踪到的待识别视频中的行人的人体关键点序列，并基于人体关键点序列和预设的行为分类器获得行人行为，相对于现有技术具有更高的效率和准确性；而且本公开的技术方案在检测跟踪到行人后，再提取人体关键点序列，以及根据人体关键点序列判断行人行为，在保证行为判断精度的同时，提高了效率。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的示例性实施方式中基于人体关键点检测的行为分析方法的流程图；
图2是本公开的示例性实施方式中人体关键点的提取流程图；
图3是本公开的示例性实施方式中基于人体关键点检测的行为分析装置的连接示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
如图1所示，基于人体关键点检测的行为分析方法，包括：
步骤S1：检测待识别视频中的行人；
步骤S2：跟踪检测到的待识别视频中的行人；
步骤S3：提取跟踪到的待识别视频中的行人的人体关键点序列；
步骤S4：基于人体关键点序列和预设的行为分类器获得行人行为，其中，行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
人体关键点序列指的是：将预设数量帧特定图像中的同一个行人的人体关键点排列后形成的序列。其中，预设数量帧特定图像指的是待识别视频中连续的预设数量帧的图像。预设数量帧可以根据需要设置，如10帧。
以预设数量帧为10帧时，提取待识别视频中的行人A的人体关键点序列为例；假设待识别视频中的第1帧图像中行人A的人体关键点为[A1],第2帧图像中行人A的人体关键点为[A2]，……,第10帧图像中行人A的人体关键点为[A10]；那么行人A的人体关键点序列可以是：[A1、A2、……、A10]。当然，需要说明的是人体关键点序列并不一定需要按上述的顺序排列；只要与分类器训练时采用的人体关键点序列的排列方式一致即可。
人体关键点指的是图像中人体的脖子、肩膀,手肘、膝盖和脚等关键点位置。
本实施例中，检测并跟踪待识别视频中的行人，并提取跟踪到的待识别视频中的行人的人体关键点序列，并基于人体关键点序列和预设的行为分类器获得行人行为。相对于现有技术具有更高的效率；而且本实施例中在检测跟踪到行人后，再提取人体关键点序列，以及根据人体关键点序列判断行人行为，在保证行为判断精度的同时，提高了效率。
作为上述实施方式的可选方案，检测待识别视频中的行人包括根据预设的yolov3行人检测模型检测行人，其中，yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
对于yolov3行人检测模型，首先收集一定数量的行人样本，使用yolov3模型进行训练行人检测得到yolov3行人检测模型，对行人进行检测，yoloV3的主要优点是在保持优势的前提下，提升了预测的精度，增强了小目标检测的能力。
对检测到的目标进行跟踪，SORT模型主要是：sort跟踪，其主要原理是：1.对第一帧检测到的行人初始化并创建新的***，并分配id，后续进来的帧，需要先用卡尔曼滤波得到上一帧目标框产生的状态预测和协方差预测；2.求当前***所有目标状态预测与当前帧检测框的重叠度，通过匈牙利匹配算法得到重叠度最大的唯一匹配；3.用当前帧匹配到的目标检测框去更新卡尔曼增益和状态更新以及协方差更新，将状态更新后的值输出，作为当前帧跟踪的结果框，对于当前帧中没有匹配到的目标重新分配和初始化***。
以ID为主键，人的特征信息为值，使得算法针对每个人进行分析而不是对区域内所有人一起分析，对跟踪到的目标进行人体关键点的提取，人体关键点提取。
作为上述实施方式的可选方案，提取跟踪的行人的人体关键点序列包括：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50网络以ResNet50网络为基础，裁剪ResNet50网络第44层后的ResNet网络，并在ResNet50卷积网络第44层后接入一个RFB网络结构，接一个上采样模块，上采样模块与ResNet50网络的第41层进行拼接，拼接得到的信息进行卷积操作，卷积操作后再进行第二次上采样操作，上采样操作后再进行卷积操作，并在此层后接两个卷积操作分别输出人头关节点热图以及人体连接的亲和域图。
为了能实时对目标进行处理，人体关键点的提取使用了改进的ResNet50卷积网络进行训练和检测，如图2所示，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：
裁剪ResNet50卷积网络第44层之后的网络；
在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构101；
在RFB网络结构101后,接入第一上采样层102，用以进行第一次上采样操作；
拼接第一上采样层102与ResNet50卷积网络的第41层网络；
拼接后，再接入第一卷积操作层103，用于进行卷积操作；
在第一卷积操作层103后接入第二上采样层104，用于进行第二次上采样操作；
在第二上采样层104后接入第二卷积操作层105，用于进行卷积操作；
在第二卷积操作层105后接入第三卷积操作层106，用于卷积操作，输出关节点关节点热图；
在第二卷积操作层105后接入第四卷积操作层107，用于卷积操作，输出人体连接的亲和域图；
人头关节点热图，共19维，人体连接的亲和域图PAF共38维，其中，人体关节点热点图是关键点的置信度,我们在训练的时候使用了18个身体热点图再加上一幅背景图片,因此身体热点图共有19个,因此人体热点图输出为19维,另外,PAF是一个2D矢量场,保留了点的位置和方向,它表示了身体部位之间的关联程度,输出38个维度是因为PAF一共定义了19个关键点间的连接,对于每个连接,都包含了x方向和y方向的信息,因此共有38维输出.然后进行后处理得到人体关键点。经过改进后的网络结构，能达到实时处理的效果。对检测跟踪到的行人框以框中心为参考点，对宽度和高度各放大1.2倍，并将框缩放到128*128分辨率，送入改进的人体检测网络提取关键点。
作为上述实施方式的可选方案，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。
作为上述实施方式的可选方案，对人体关键点序列进行归一化包括：对数据帧中的所有人体关键点按如下公式处理：
其中，X为归一化后的行人关键点的横坐标，Y为归一化后的行人关键点的纵坐标，x为归一化前的行人关键点的横坐标，y为归一化前的行人关键点的纵坐标，xmax为行人关键点所在视频帧中所有人体关键点的横坐标的最大值，ymax为行人关键点所在视频帧中所有人体关键点的纵坐标的最大值，xmin为行人关键点所在视频帧中所有人体关键点的横坐标的最小值，ymin为行人关键点所在视频帧中所有人体关键点的纵坐标的最小值，xu为行人关键点所在视频帧中所有人体关键点的横坐标的平均值，yu为行人关键点所在视频帧中所有人体关键点的纵坐标的平均值。
以下对上述可选方案做进一步说明，由于检测出的人体关键点不仅与姿态有关，与其在画面中的位置也有关系，比如在画面的左右，或者画面的远近有关，为了消除这些影响，需要对特征进行归一化，归一化步骤为：求对当前帧中所有的关键点x，y的最大值xmax和ymax，以及最小值xmin和ymin，以及关键点的平均值xu，yu。，然后对当前帧的关键点逐个按照如下公式处理：
Figure BDA0002311451480000081
Figure BDA0002311451480000082
作为上述实施方式的可选方案，方法还包括行人关键点补齐的步骤：
获取未检测到的行人关键点；
判断未检测到的行人关键点是否存在对称的行人关键点，若存在，则以对称的行人关键点作为代替未检测到的行人关键点坐标。
由于相机角度问题，可能存在关键点丢失问题，因此需要对关键点进行补齐，具体的补齐方法可以为：(1)当重要关键点丢失时，则对此帧进行丢弃，(2)当对称的关键点种有一个关键点检测不到，则用另一个对称检测到的关键点坐标代替未检测到的关键点坐标，如果两个对称关键点均未检测到，则设置为(0，0)，然后再将关键点进行归一化，得到当前帧的空间特征。进一步地，由于行为分析常常是一个时间序列的过程，因此我们构建一个时间序列的特征，具体地就是将当前跟踪目标的之前的连续若干帧特征和当前帧的特征组成一个具有时间和空间特性的特征，作为最终的当前帧特征，经过测试验证，取10帧作为一个特征。
对于行为分类器，使用的机器学习方法可以为：SVM，选用的核函数是RFB函数，通过网格搜索自动选优的方法获取最优参数C和gamma，其中C是惩罚系数，C越高，说明越不能容忍出现误差，容易过拟合，C越小，则容易欠拟合。gamma则确定支持向量的多少，gamma越大，则支持向量只会作用于样本附近，对未知样本分类效果比较差，造成过拟合，如果gamma太小，则无法在训练集上得到特别高的准确率，测试集的准确率也会受影响。根据人的ID进行提取各自的特征，并分别进行预测，得到不同人的行为分析结果。
实施例2：
如图3所示，基于人体关键点检测的行为分析装置，包括：
检测模块1，用于检测待识别视频中的行人；
跟踪模块2，用于跟踪检测到的待识别视频中的行人；
提取模块3，用于提取跟踪到的待识别视频中的行人的人体关键点序列；
判断模块4，用于基于人体关键点序列和预设的行为分类器获得行人行为，其中，行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
作为上述实施方式的可选方案，检测待识别视频中的行人包括根据预设的yolov3行人检测模型检测行人，其中，yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
作为上述实施方式的可选方案，提取跟踪的行人的人体关键点序列包括：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50网络以ResNet50网络为基础，裁剪ResNet50网络第44层后的ResNet50网络，并在ResNet50卷积网络第44层后接入一个RFB网络结构101，接一个上采样模块，上采样模块与ResNet50网络的第41层进行拼接，拼接得到的信息进行卷积操作，卷积操作后再进行第二次上采样操作，上采样操作后再进行卷积操作，并在此层后接两个卷积操作分别输出人头关节点热图以及人体连接的亲和域图。
作为上述实施方式的可选方案，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
作为上述实施方式的可选方案，对人体关键点序列进行归一化包括：对数据帧中的所有人体关键点按如下公式处理：
Figure BDA0002311451480000101
Figure BDA0002311451480000102
其中，X为归一化后的行人关键点的横坐标，Y为归一化后的行人关键点的纵坐标，x为归一化前的行人关键点的横坐标，y为归一化前的行人关键点的纵坐标，xmax为行人关键点所在视频帧中所有人体关键点的横坐标的最大值，ymax为行人关键点所在视频帧中所有人体关键点的纵坐标的最大值，xmin为行人关键点所在视频帧中所有人体关键点的横坐标的最小值，ymin为行人关键点所在视频帧中所有人体关键点的纵坐标的最小值，xu为行人关键点所在视频帧中所有人体关键点的横坐标的平均值，yu为行人关键点所在视频帧中所有人体关键点的纵坐标的平均值。
作为上述实施方式的可选方案，方法还包括关键点补齐模块，关键点补齐模块用于：
获取未检测到的行人关键点；
判断未检测到的行人关键点是否存在对称的行人关键点，若存在，则以对称的行人关键点作为代替未检测到的行人关键点坐标。
本实施例的原理和效果与实施例1中的一致，本实施例不再重复描述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.基于人体关键点检测的行为分析方法，其特征在于，包括：
检测待识别视频中的行人；
跟踪检测到的待识别视频中的行人；
提取跟踪到的待识别视频中的行人的人体关键点序列；
基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
2.如权利要求1所述的方法，其特征在于，所述检测待识别视频中的行人包括：根据预设的yolov3行人检测模型检测行人，其中，所述yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
所述跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
3.如权利要求1所述的方法，其特征在于，提取跟踪到的待识别视频中的行人的人体关键点序列：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：
裁剪ResNet50卷积网络第44层之后的网络；
在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构；
在RFB网络结构后,接入第一上采样层，用以进行第一次上采样操作；
拼接第一上采样层与ResNet50卷积网络的第41层网络；
拼接后，再接入第一卷积操作层，用于进行卷积操作；
在第一卷积操作层后接入第二上采样层，用于进行第二次上采样操作；
在第二上采样层后接入第二卷积操作层，用于进行卷积操作；
在第二卷积操作层后接入第三卷积操作层，用于卷积操作，输出关节点关节点热图；
在第二卷积操作层后接入第四卷积操作层，用于卷积操作，输出人体连接的亲和域图。
4.如权利要求1所述的方法，其特征在于，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。
5.如权利要求4所述的方法，其特征在于，所述对人体关键点序列进行归一化包括：对数据帧中的所有人体关键点按如下公式处理：
Figure FDA0002311451470000021
Figure FDA0002311451470000022
其中，X为归一化后的行人关键点的横坐标，Y为归一化后的行人关键点的纵坐标，x为归一化前的行人关键点的横坐标，y为归一化前的行人关键点的纵坐标，xmax为行人关键点所在视频帧中所有人体关键点的横坐标的最大值，ymax为行人关键点所在视频帧中所有人体关键点的纵坐标的最大值，xmin为行人关键点所在视频帧中所有人体关键点的横坐标的最小值，ymin为行人关键点所在视频帧中所有人体关键点的纵坐标的最小值，xu为行人关键点所在视频帧中所有人体关键点的横坐标的平均值，yu为行人关键点所在视频帧中所有人体关键点的纵坐标的平均值。
6.如权利要求1所述的方法，其特征在于，方法还包括行人关键点补齐的步骤：
获取未检测到的行人关键点；
判断未检测到的行人关键点是否存在对称的行人关键点，若存在，则以对称的行人关键点作为代替未检测到的行人关键点坐标。
7.基于人体关键点检测的行为分析装置，其特征在于，包括：
检测模块，用于检测待识别视频中的行人；
跟踪模块，用于跟踪检测到的待识别视频中的行人；
提取模块，用于提取跟踪到的待识别视频中的行人的人体关键点序列；
判断模块，用于基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。
8.如权利要求1所述的装置，其特征在于，所述检测待识别视频中的行人包括根据预设的yolov3行人检测模型检测行人，其中，所述yolov3行人检测模型为基于视频帧和行人检测结果训练得到的yolov3模型；
所述跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。
9.如权利要求1所述的装置，其特征在于，提取跟踪到的待识别视频中的行人的人体关键点序列：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：
裁剪ResNet50卷积网络第44层之后的网络；
在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构；
在RFB网络结构后,接入第一上采样层，用以进行第一次上采样操作；
拼接第一上采样层与ResNet50卷积网络的第41层网络；
拼接后，再接入第一卷积操作层，用于进行卷积操作；
在第一卷积操作层后接入第二上采样层，用于进行第二次上采样操作；
在第二上采样层后接入第二卷积操作层，用于进行卷积操作；
在第二卷积操作层后接入第三卷积操作层，用于卷积操作，输出关节点关节点热图；
在第二卷积操作层后接入第四卷积操作层，用于卷积操作，输出人体连接的亲和域图。
10.如权利要求1所述的装置，其特征在于，基于人体关键点序列和预设的行为分类器获得行人行为包括：对人体关键点序列进行归一化，并将归一化后的人体关键点序列输入行为分类器得到行人行为。
CN201911260368.0A 2019-12-10 2019-12-10 基于人体关键点检测的行为分析方法及装置 Active CN111027481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911260368.0A CN111027481B (zh) 2019-12-10 2019-12-10 基于人体关键点检测的行为分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911260368.0A CN111027481B (zh) 2019-12-10 2019-12-10 基于人体关键点检测的行为分析方法及装置

Publications (2)

Publication Number Publication Date
CN111027481A true CN111027481A (zh) 2020-04-17
CN111027481B CN111027481B (zh) 2023-04-07

Family

ID=70205502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260368.0A Active CN111027481B (zh) 2019-12-10 2019-12-10 基于人体关键点检测的行为分析方法及装置

Country Status (1)

Country Link
CN (1) CN111027481B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611971A (zh) * 2020-06-01 2020-09-01 城云科技（中国）有限公司 一种基于卷积神经网络的行为检测方法及***
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的***及方法
CN112347916A (zh) * 2020-11-05 2021-02-09 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN113469144A (zh) * 2021-08-31 2021-10-01 北京文安智能技术股份有限公司 基于视频的行人性别及年龄识别方法和模型
WO2023195305A1 (ja) * 2022-04-08 2023-10-12 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、機械学習装置、および機械学習プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611971A (zh) * 2020-06-01 2020-09-01 城云科技（中国）有限公司 一种基于卷积神经网络的行为检测方法及***
CN111611971B (zh) * 2020-06-01 2023-06-30 城云科技（中国）有限公司 一种基于卷积神经网络的行为检测方法及***
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的***及方法
CN112347916A (zh) * 2020-11-05 2021-02-09 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112347916B (zh) * 2020-11-05 2023-11-17 安徽继远软件有限公司 基于视频图像分析的电力现场作业安全监控方法及装置
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN112861696B (zh) * 2021-02-01 2023-08-18 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN113469144A (zh) * 2021-08-31 2021-10-01 北京文安智能技术股份有限公司 基于视频的行人性别及年龄识别方法和模型
CN113469144B (zh) * 2021-08-31 2021-11-09 北京文安智能技术股份有限公司 基于视频的行人性别及年龄识别方法和模型
WO2023195305A1 (ja) * 2022-04-08 2023-10-12 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、機械学習装置、および機械学習プログラム

Also Published As

Publication number Publication date
CN111027481B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频***
CN111696128B (zh) 一种高速多目标检测跟踪和目标图像优选方法及存储介质
CN109101865A (zh) 一种基于深度学习的行人重识别方法
US20150302240A1 (en) Method and device for locating feature points on human face and storage medium
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN110765906A (zh) 一种基于关键点的行人检测算法
CN111914642B (zh) 一种行人重识别方法、装置、设备及介质
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN106570491A (zh) 一种机器人智能互动的方法及智能机器人
Bertoni et al. Perceiving humans: from monocular 3d localization to social distancing
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN109558790B (zh) 一种行人目标检测方法、装置及***
CN114283355A (zh) 一种基于小样本学习的多目标濒危动物跟踪方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
Liu et al. Visual object tracking with partition loss schemes
CN111310720A (zh) 基于图度量学习的行人重识别方法及***
CN117152719B (zh) 除草障碍物检测方法、设备、存储介质及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant