CN111008583B - 一种利用肢体特征辅助的行人和骑车人姿态估计方法 - Google Patents

一种利用肢体特征辅助的行人和骑车人姿态估计方法 Download PDF

Info

Publication number
CN111008583B
CN111008583B CN201911190502.4A CN201911190502A CN111008583B CN 111008583 B CN111008583 B CN 111008583B CN 201911190502 A CN201911190502 A CN 201911190502A CN 111008583 B CN111008583 B CN 111008583B
Authority
CN
China
Prior art keywords
heat map
limb
joint
heat
joint point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911190502.4A
Other languages
English (en)
Other versions
CN111008583A (zh
Inventor
杨殿阁
王思佳
江昆
杨蒙蒙
温拓朴
熊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911190502.4A priority Critical patent/CN111008583B/zh
Publication of CN111008583A publication Critical patent/CN111008583A/zh
Application granted granted Critical
Publication of CN111008583B publication Critical patent/CN111008583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种利用肢体特征辅助的行人和骑车人姿态估计方法，其步骤：准备数据：包括公开的通用姿态数据集和自行标注的行人姿态数据；选择基础网络模型，定义网络输入、输出，使用数据集中标注的关节点坐标构造关节点真值热图与肢体真值热图，定义损失函数和超参数，训练网络使之能够输出接近真值热图的肢体估计热图和关节点估计热图；对于每张输入的图像，两组网络分别输出13幅肢体热图和13幅关节点热图，对其进行后融合，使最终输出的关节点热图能整合肢体检测与关节点检测结果；搜索输出关节点热图中的最大热值和次大热值，获取最大热值的相应位置坐标和次大热值的相应位置坐标，最后得到的关节点坐标。

Description

一种利用肢体特征辅助的行人和骑车人姿态估计方法
技术领域
本发明涉及一种人体姿态估计方法，特别是关于一种基于计算机视觉，针对交通场景的利用肢体特征辅助的行人和骑车人姿态估计方法。
背景技术
环境感知技术是车辆智能化发展的基础，对行人、骑车人等道路使用者的感知一直是其中重要的研究内容。随着车辆智能化对环境感知能力要求的不断提升，不仅需要获取车辆周围目标的当前位置，还希望能够具备理解目标行为、预测目标意图的能力，而针对行人、骑车人等道路使用者，其姿态特征能够更直接地表征其动作和行为，例如ZhijieFang等人实验证明了行人的二维姿态特征能够辅助行人穿行意图的识别，LorenzoBertoni等人将人体二维姿态用于单目视觉三维定位。因此有必要对行人和骑车人这一类道路使用者的姿态估计进行研究，以获得更准确的姿态用于后续任务。
二维人体姿态估计是计算机视觉领域的热点问题，当前姿态估计效果最好的方法都属于基于卷积神经网络的深度学习方法，而这类方法通常需要大规模的数据集才能训练得到泛化能力较强的模型。然而，当前尚无公开的行人和骑车人姿态数据集，且大规模数据集的准备成本较高，所以相关研究还不够充分。通过车载相机拍摄的交通场景图像中的行人和骑车人样本具备如下特点：尺寸小(像素低)、背景混杂、存在运动模糊、遮挡或截断，与通用姿态数据集中的人体样本特点不一致。瑞士洛桑联邦理工学院VITA实验室提出了适用于自动驾驶汽车领域的人体姿态估计方法PifPaf，但由于缺乏行人和骑车人姿态数据，无法量化评价，所以其有效性验证受限。研究者可基于现有的行人数据集构造小规模的姿态数据集，但对比当前广泛使用、图片数量上万的的MSCOCO、MPII等通用姿态数据集，小规模数据集难以支撑深度神经网络模型的训练，难以达到能够应对复杂交通场景的感知能力。
发明内容
针对上述问题，本发明的目的是提供一种利用肢体特征辅助的行人和骑车人姿态估计方法，该方法通过肢体特征的学习增强模型估计关节点的性能，同时将肢体估计输出与关节点估计输出融合，改善遮挡情况下的关节点检测效果，适用于基于自行标注姿态数据的小规模数据集进行深度学习训练，解决自动驾驶领域交通场景下的行人和骑车人姿态估计问题。
为实现上述目的，本发明采取以下技术方案：一种利用肢体特征辅助的行人和骑车人姿态估计方法，其包括以下步骤：1)准备数据：包括公开的通用姿态数据集和自行标注的行人姿态数据；2)选择基础网络模型，定义网络输入、输出，使用数据集中标注的关节点坐标构造关节点真值热图与肢体真值热图，定义损失函数和超参数，训练网络使之能够输出接近真值热图的肢体估计热图和关节点估计热图；3)对于每张输入的图像，两组网络分别输出肢体热图和关节点热图，对其进行后融合，使最终输出的关节点热图能整合肢体检测与关节点检测结果；4)搜索输出关节点热图中的最大热值和次大热值，获取最大热值的相应位置坐标
Figure BDA0002293441970000021
和次大热值的相应位置坐标
Figure BDA0002293441970000022
最后得到的关节点坐标。
进一步，所述步骤1)中，选取大规模公开数据对网络进行预训练使网络具有基本的提取特征的能力，或直接选择已完成预训练的网络模型及预训练参数；另选含行人和骑车人样本的小规模数据集进行人体关节点标注。
进一步，所述步骤2)中，训练肢体检测网络与关节点检测网络的具体步骤如下：2.1)构造关节点真值热图；2.2)定义肢体并构造肢体真值热图：肢体定义为由相邻关节点构成的线段，肢体真值热图的构造借鉴关节点真值热图构造方式，距离肢体线段近的点热值高，距离肢体线段远的点热值低；2.3)训练肢体检测网络：选择基础网络结构并根据网络特性对图像做相应的预处理；首先用预训练数据集对网络进行预训练得到预训练模型，或直接使用已有的预训练模型，在此基础上再使用已进行人体关节标注的小规模训练数据进行微调；最后得到一组肢体检测网络模型参数；2.4)训练关节点检测网络：在所述步骤2.3)得到的模型参数基础上，进一步使用同一批已进行人体关节标注的训练数据对关节点检测任务进行训练，最后得到一组关节点检测网络模型参数，模型输出关节点热图。
进一步，所述步骤2.1)中，遵循人体姿态估计任务中常见的关节点真值热图构建方法，采用二维高斯分布模拟关节点的热图分布：
Figure BDA0002293441970000023
式中，Hk(x)表示关节点k的热值图上坐标为x＝(x,y)处的热值，xk是关节点k的二维坐标，σ2是高斯分布的方差。
进一步，所述步骤2.2)中，假设对于第i个关节点ki、第j个关节点kj连接构成的肢体
Figure BDA0002293441970000024
其热图中任意位置
Figure BDA0002293441970000025
处的热值计算方法如下：
设关节点ki为点
Figure BDA0002293441970000026
关节点kj为点
Figure BDA0002293441970000027
任意位置x为点P(x,y)，令
Figure BDA0002293441970000031
则点P到肢体
Figure BDA0002293441970000032
的距离d为：
Figure BDA0002293441970000033
点P的热值
Figure BDA0002293441970000034
为：
Figure BDA0002293441970000035
进一步，所述步骤2.3)中，基础网络结构选用堆叠沙漏网络，损失函数选用交叉熵函数。
进一步，所述步骤3)中，根据肢体的定义，一些肢体有共同的关节点，所以这些共同的关节点的热图用相关的肢体热图表达，由肢体热图计算得到的关节点热图作为辅助热图。
进一步，由肢体热图计算得到的关节点热图作为辅助热图的计算方式如下：
Figure BDA0002293441970000036
式中，
Figure BDA0002293441970000037
表示辅助热图，即由肢体热图计算得到的关节点热图，
Figure BDA0002293441970000038
表示含有关节点k的肢体li的估计热图，i是序号，
Figure BDA0002293441970000039
是关节点k的估计热图，<··>F表示Frobenius内积；
融合后输出的关节点热图
Figure BDA00022934419700000310
为：
Figure BDA00022934419700000311
式中，
Figure BDA00022934419700000312
是输出的关节点热图，α和β分别为关节点的辅助热图和关节点估计热图的权重。
进一步，所述步骤4)中，关节点坐标为：
Figure BDA0002293441970000041
式中，
Figure BDA0002293441970000042
分别是输出关节点热图中最大热值和次大热值的相应位置坐标。
本发明由于采取以上技术方案，其具有以下优点：1、本发明引入肢体特征作为一种迁移学习和数据增强手段，可突破小规模数据集的局限性，在数据总量不变的条件下提高模型估计关节点的准确率。2、本发明针对该模型使用的算法，能够改善部分遮挡情况下的姿态估计效果。
附图说明
图1是本发明的整体流程示意图；
图2是本发明中所应用的人体关节点和肢体模型示意图；
图3是融合肢体检测结果与关节点检测结果的效果示例图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明提供一种利用肢体特征辅助的行人和骑车人姿态估计方法，该方法是针对交通场景下的行人和骑车人，利用肢体特征辅助的二维人体姿态估计方法。
如图1所示，本发明包括以下步骤：
1)准备数据：包括公开的通用姿态数据集和自行标注的行人姿态数据。
在本实施例中使用了图像、人的包围框坐标、人的关节点坐标及其可见性数据。用于预训练的数据为MSCOCO 2014训练集(共105235个人的样本)，通过大规模公开数据对网络进行预训练使网络具有基本的提取特征的能力，也可直接选择已完成预训练的网络模型及预训练参数。
并选含行人和骑车人样本的小规模数据集进行人体关节点标注；在本实施例中，选用Tsinghua-Daimler Cyclist Benchmark数据集中的行人和骑车人样本进行人体关节点标注，共标注了1950张(共5915个行人或骑车人样本)，称之为TDCB-Pose数据集，相比于用于预训练使用的数据集，可认为是小规模数据集。TDCB-Pose中标注的人体关节点如图2中的空心点所示，包括鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝的图像像素坐标，为了更好地评测模型性能，还对关节点的可见性进行了标注(0-不可见，2-可见)。本实施例仅用于说明本发明，使用的数据集以及标注内容、顺序、格式可以有所变化。
2)选择基础网络模型，定义网络输入、输出，使用数据集中标注的关节点坐标构造关节点真值热图与肢体真值热图，定义损失函数和超参数，训练网络使之能够输出接近真值热图的肢体估计热图和关节点估计热图。
训练肢体检测网络与关节点检测网络的具体步骤如下：
2.1)构造关节点真值热图。
遵循人体姿态估计任务中常见的关节点真值热图构建方法，采用二维高斯分布模拟关节点的热图分布：
Figure BDA0002293441970000051
式中，Hk(x)表示关节点k的热值图上坐标为x＝(x,y)处的热值，xk是关节点k的二维坐标，σ2是高斯分布的方差，可自定义。
2.2)定义肢体并构造肢体真值热图。
在本实施例中，肢体定义为由相邻关节点构成的线段，包括鼻-两肩中心、左肩-右肩、右肩-右肘、右肘-右腕、左肩-左肘、左肘-左腕、右肩-右胯、左肩-左胯、左胯-右胯、右胯-右膝、右膝-右踝、左胯-左膝、左膝-左踝，共13段，如图2实线段所示。肢体真值热图的构造借鉴关节点真值热图构造方式，距离肢体线段近的点热值高，距离肢体线段远的点热值低。
假设对于肢体
Figure BDA0002293441970000052
(由第i个关节点ki、第j个关节点kj连接构成的肢体)，其热图中任意位置
Figure BDA0002293441970000053
处的热值计算方法如下：
设关节点ki为点
Figure BDA0002293441970000054
关节点kj为点
Figure BDA0002293441970000055
任意位置x为点P(x,y)，令
Figure BDA0002293441970000056
则点P到肢体
Figure BDA0002293441970000057
的距离d由式(2)计算得到：
Figure BDA0002293441970000058
点P的热值
Figure BDA0002293441970000059
为：
Figure BDA0002293441970000061
2.3)训练肢体检测网络。
选择基础网络结构并根据网络特性对图像做相应的预处理；首先用预训练数据集对网络进行预训练得到预训练模型，或直接使用已有的预训练模型，在此基础上再使用已进行人体关节标注的小规模训练数据进行微调。最后得到一组肢体检测网络模型参数，模型输出肢体热图。
在本实施例中，选用了堆叠沙漏网络，该网络以残差单元为基本单元，以多次池化和上采样的沙漏结构为模块，根据实际算力和估计效果需求进行模块内部结构调整和模块整体堆叠，最终输出估计热图，相关技术内容可参考论文《Stacked Hourglass Networksfor Human Pose Estimation》。本实施例中将该网络用于单人姿态估计，输入为batch*256*256的图像，输出为batch*13*64*64的热图，其中batch为训练时的批尺寸，由算力决定；损失函数选用交叉熵函数，其余设置与论文中保持一致。由于所用数据集中的图片含有未知数量的人，实施例中直接根据标注的包围框坐标提取出以每个单人的图像区域，并以单人为中心扩展局部区域至256*256，需确保图像不变形，超出原图的部分用0值补足。若包围框坐标未知，可通过目标检测器获取。使用MSCOCO 2014训练集预训练得到初始模型，取出TDCB-Pose数据集中的4215个行人或骑车人样本作为训练集，剩余1000个样本作为测试集，训练集与测试集中不存在相同的样本。
2.4)训练关节点检测网络。
由于肢体检测与关节点检测的特征提取部分存在相似性，因此在步骤2.3)得到的模型参数基础上，进一步使用同一批已进行人体关节标注的训练数据对关节点检测任务进行训练。最后得到一组关节点检测网络模型参数，模型输出关节点热图。
3)对于每张输入的图像，两组网络分别输出13幅肢体热图和13幅关节点热图，对其进行后融合，使最终输出的关节点热图能整合肢体检测与关节点检测结果。
根据肢体的定义，一些肢体有共同的关节点，所以这些共同的关节点(包括两肩、两肘、两胯、两膝)的热图可用相关的肢体热图表达，由肢体热图计算得到的关节点热图作为辅助热图，计算方式如下：
Figure BDA0002293441970000071
式中，
Figure BDA0002293441970000072
表示辅助热图，即由肢体热图计算得到的关节点热图，
Figure BDA0002293441970000073
表示含有关节点k的肢体li的估计热图，i是序号，
Figure BDA0002293441970000074
是关节点k的估计热图，<·,·>F表示Frobenius内积。
融合后输出的关节点热图
Figure BDA0002293441970000075
为：
Figure BDA0002293441970000076
式中，
Figure BDA0002293441970000077
是输出的关节点热图，α和β分别为关节点的辅助热图和关节点估计热图的权重，在本实施例中，α＝β＝1，后融合效果的一个示例如图3所示。
4)遵循论文《Stacked Hourglass Networks for Human Pose Estimation》中的关节点坐标确定方法，搜索输出关节点热图中的最大热值和次大热值，获取最大热值的相应位置坐标
Figure BDA0002293441970000078
和次大热值的相应位置坐标
Figure BDA0002293441970000079
最后得到的关节点坐标为：
Figure BDA00022934419700000710
在实施例中，使用上述方法对TDCB-Pose测试集数据进行测试，采用式(7)计算估计关节点
Figure BDA00022934419700000711
与真值关节点xk的归一化距离d归一化，采用值较为稳定的左右肩-胯距离的平均值作为归一化分母，若某关节点的d归一化小于0.2，则认为该点估计准确，将准确率记为[email protected](Percentage of Correct Keypoints，PCK)。
Figure BDA00022934419700000712
其中，x左肩,x左胯,x右肩,x右胯分别表示左肩、左胯、右肩、右胯的图像像素坐标。
将本发明与原堆叠沙漏网络(SHN)和论文《Multi-Context Attention for HumanPose Estimation》中的方法(MCAM)的效果进行对比，SHN和MCAM均针对关节点估计任务使用MSCOCO 2014训练集预训练，使用TDCB-Pose训练集微调，训练所用的超参数与本发明方法中设置的超参数一致。对测试数据中所有标注的关节点的估计效果进行评测，本发明的平均[email protected]比SHN方法提高了5.2％，比MCAM方法提高了3.9％，表明本发明可在小规模数据集总量不变的限制下，提高模型估计行人和骑车人姿态的准确率。
上述实施例仅用于说明本发明，其中各部件的基础结构、连接方式和数据样式等都是可以有所变化的，凡根据本发明原理对个别环节进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (7)

1.一种利用肢体特征辅助的行人和骑车人姿态估计方法，其特征在于包括以下步骤：
1)准备数据：包括公开的通用姿态数据集和自行标注的行人姿态数据；
2)选择基础网络模型，定义网络输入、输出，使用数据集中标注的关节点坐标构造关节点真值热图与肢体真值热图，定义损失函数和超参数，训练网络使之能够输出接近真值热图的肢体估计热图和关节点估计热图；
3)对于每张输入的图像，两组网络分别输出肢体热图和关节点热图，对其进行后融合，使最终输出的关节点热图能整合肢体检测与关节点检测结果；
4)搜索输出关节点热图中的最大热值和次大热值，获取最大热值的相应位置坐标
Figure FDA0003937559820000018
和次大热值的相应位置坐标
Figure FDA0003937559820000019
最后得到的关节点坐标；
所述步骤3)中，根据肢体的定义，一些肢体有共同的关节点，所以这些共同的关节点的热图用相关的肢体热图表达，由肢体热图计算得到的关节点热图作为辅助热图；
由肢体热图计算得到的关节点热图作为辅助热图的计算方式如下：
Figure FDA0003937559820000011
式中，
Figure FDA0003937559820000012
表示辅助热图，即由肢体热图计算得到的关节点热图，
Figure FDA0003937559820000013
表示含有关节点k的肢体li的估计热图，i是序号，
Figure FDA0003937559820000014
是关节点k的估计热图，<·,·>F表示Frobenius内积；
融合后输出的关节点热图
Figure FDA0003937559820000015
为：
Figure FDA0003937559820000016
式中，
Figure FDA0003937559820000017
是输出的关节点热图，α和β分别为关节点的辅助热图和关节点估计热图的权重。
2.如权利要求1所述姿态估计方法，其特征在于：所述步骤1)中，选取大规模公开数据对网络进行预训练使网络具有提取特征的能力，或直接选择已完成预训练的网络模型及预训练参数；另选含行人和骑车人样本的小规模数据集进行人体关节点标注。
3.如权利要求1所述姿态估计方法，其特征在于：所述步骤2)中，训练肢体检测网络与关节点检测网络的具体步骤如下：
2.1)构造关节点真值热图；
2.2)定义肢体并构造肢体真值热图：肢体定义为由相邻关节点构成的线段，肢体真值热图的构造借鉴关节点真值热图构造方式，距离肢体线段近的点热值高，距离肢体线段远的点热值低；
2.3)训练肢体检测网络：选择基础网络结构并根据网络特性对图像做相应的预处理；首先用预训练数据集对网络进行预训练得到预训练模型，或直接使用已有的预训练模型，在此基础上再使用已进行人体关节标注的小规模训练数据进行微调；最后得到一组肢体检测网络模型参数；
2.4)训练关节点检测网络：在所述步骤2.3)得到的模型参数基础上，进一步使用同一批已进行人体关节标注的训练数据对关节点检测任务进行训练，最后得到一组关节点检测网络模型参数，模型输出关节点热图。
4.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.1)中，遵循人体姿态估计任务中常见的关节点真值热图构建方法，采用二维高斯分布模拟关节点的热图分布：
Figure FDA0003937559820000021
式中，Hk(x)表示关节点k的热值图上坐标为x＝(x,y)处的热值，xk是关节点k的二维坐标，σ2是高斯分布的方差。
5.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.2)中，假设对于第i个关节点ki、第j个关节点kj连接构成的肢体
Figure FDA0003937559820000022
其热图中任意位置x∈R2处的热值计算方法如下：
设关节点ki为点
Figure FDA0003937559820000023
关节点kj为点
Figure FDA0003937559820000024
任意位置x为点P(x,y)，令
Figure FDA0003937559820000025
则点P到肢体
Figure FDA0003937559820000026
的距离d为：
Figure FDA0003937559820000031
点P的热值
Figure FDA0003937559820000032
为：
Figure FDA0003937559820000033
6.如权利要求3所述姿态估计方法，其特征在于：所述步骤2.3)中，基础网络结构选用堆叠沙漏网络，损失函数选用交叉熵函数。
7.如权利要求1所述姿态估计方法，其特征在于：所述步骤4)中，关节点坐标为：
Figure FDA0003937559820000034
式中，
Figure FDA0003937559820000035
分别是输出关节点热图中最大热值和次大热值的相应位置坐标。
CN201911190502.4A 2019-11-28 2019-11-28 一种利用肢体特征辅助的行人和骑车人姿态估计方法 Active CN111008583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911190502.4A CN111008583B (zh) 2019-11-28 2019-11-28 一种利用肢体特征辅助的行人和骑车人姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190502.4A CN111008583B (zh) 2019-11-28 2019-11-28 一种利用肢体特征辅助的行人和骑车人姿态估计方法

Publications (2)

Publication Number Publication Date
CN111008583A CN111008583A (zh) 2020-04-14
CN111008583B true CN111008583B (zh) 2023-01-06

Family

ID=70112241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190502.4A Active CN111008583B (zh) 2019-11-28 2019-11-28 一种利用肢体特征辅助的行人和骑车人姿态估计方法

Country Status (1)

Country Link
CN (1) CN111008583B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881773B (zh) * 2020-07-06 2023-08-25 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及***
CN112101259A (zh) * 2020-09-21 2020-12-18 中国农业大学 一种基于堆叠沙漏网络的单只猪体姿态识别***及方法
CN112102358B (zh) * 2020-09-29 2023-04-07 南开大学 一种无侵入动物行为特征观测方法
CN114426030B (zh) * 2020-10-29 2024-04-09 华为技术有限公司 一种行人穿行意图估计方法、装置、设备和汽车
CA3202649A1 (en) * 2020-12-21 2022-06-30 Huy Quoc PHAN Joint angle determination under limited visibility
CN112990060B (zh) * 2021-03-30 2024-05-28 北京工业大学 一种关节点分类和关节点推理的人体姿态估计分析方法
CN113158870B (zh) * 2021-04-15 2023-07-18 华南理工大学 2d多人姿态估计网络的对抗式训练方法、***及介质
CN113361333B (zh) * 2021-05-17 2022-09-27 重庆邮电大学 一种非接触式骑行运动状态监测方法及其***
CN114463856B (zh) * 2022-04-13 2022-07-19 深圳金信诺高新技术股份有限公司 姿态估计模型的训练与姿态估计方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599792B (zh) * 2016-11-23 2020-02-18 南京信息工程大学 一种手部驾驶违规行为的检测方法
CN108345843B (zh) * 2018-01-25 2020-12-29 电子科技大学 一种基于混合深度回归网络的头部姿态估计方法
CN108717531B (zh) * 2018-05-21 2021-06-08 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN109948472A (zh) * 2019-03-04 2019-06-28 南京邮电大学 一种基于姿态估计的非侵入式人体热舒适检测方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法

Also Published As

Publication number Publication date
CN111008583A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111008583B (zh) 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN109145979B (zh) 敏感图像鉴定方法及终端***
CN106600626B (zh) 三维人体运动捕获方法与***
CN110163187A (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN111046732B (zh) 一种基于多粒度语义解析的行人重识别方法及存储介质
Cao et al. Rapid detection of blind roads and crosswalks by using a lightweight semantic segmentation network
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN109376610B (zh) 视频监控中基于图像概念网络的行人不安全行为检测方法
US11475577B2 (en) Markerless motion capture of animate subject with prediction of future motion
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN111860269A (zh) 一种多特征融合的串联rnn结构及行人预测方法
CN104699781B (zh) 基于双层锚图散列的sar图像检索方法
CN109033321B (zh) 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
Li et al. Multi-view-based siamese convolutional neural network for 3D object retrieval
CN115222954A (zh) 弱感知目标检测方法及相关设备
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant