CN115578753A - 人体关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种人体关键点检测方法、装置、电子设备及存储介质，其中所述人体关键点检测方法包括：获取待检测人体图像；基于待检测人体图像，生成待检测人体图像对应的第一特征图及第二特征图；基于第一特征图、第二特征图及关键点密集度先验知识，确定待检测人体图像对应的关键点检测结果；关键点密集度先验知识用于区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。通过上述方法，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

Description

人体关键点检测方法、装置、电子设备及存储介质

技术领域

本发明涉人工智能技术领域，尤其涉及一种人体关键点检测方法、装置、电子设备及存储介质。

背景技术

随着社会的进步和科技的发展，在线教育、智慧医疗、智能机器人等行业不断的兴起，基于人体关键点信息进行互动的功能需求越来越多。其中，人体关键点检测是很多高层视觉任务的基础，例如利用人体关键点检测技术可以进行行为识别、服饰解析、行人重识别等。

相关技术中，通常采用卷积神经网络通过监督学习的方式学习出图片或视频中的人体关键点，但此种方法主要是针对人体稀疏部位的关键点进行检测。

然而对于人体稠密关键点，由于人体稠密关键点在人体各部位分布密度差异较大，因此相关技术中对人体所有关键点采用同样的网络结构进行检测，会导致对关键点稠密的部位检测精度低；因此，如何提高对人体全身关键点的检测精度是目前亟待解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种人体关键点检测方法、装置、电子设备及存储介质。

本发明提供一种人体关键点检测方法，包括：

获取待检测人体图像；

基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；

基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

可选地，所述关键点密集度先验知识通过以下方式得到：

获取各人体部位的关键点数量；

基于所述关键点数量及各所述人体部位对应的二维矩形面积，确定所述关键点密集度先验知识。

可选地，所述基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果，包括：

基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果；

基于所述第一特征图，确定所述第二特征图对应的多个身体部件检测框，所述身体部件检测框用于对所述第二特征图进行裁剪；

基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果。

可选地，所述基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果，包括：

将所述第一特征图进行下采样操作，得到第一目标特征图；

将所述第一目标特征图输入卷积层，得到所述卷积层输出的所述第一检测结果。

可选地，所述基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果，包括：

利用所述身体部件检测框对所述第二特征图裁剪，得到各所述人体部位对应的第三特征图；

基于所述关键点密集度先验知识，确定至少一个第二目标特征图，所述第二目标特征图为各所述第三特征图中属于人体关键点稠密部位对应的特征图；

基于各所述第二目标特征图，确定所述第二检测结果。

可选地，所述基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图，包括：

将所述待检测人体图像输入残差网络模型，得到所述残差网络模型输出的初始特征图；

将所述初始特征图进行多次上采样操作，得到所述第一特征图及所述第二特征图。

本发明还提供一种人体关键点检测装置，包括：

第一获取模块，用于获取待检测人体图像；

生成模块，用于基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；

第一确定模块，用于基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人体关键点检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人体关键点检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人体关键点检测方法。

本发明提供的人体关键点检测方法、装置、电子设备及存储介质，基于获取到的待检测人体图像，生成分辨率不同的第一特征图及第二特征图；由于关键点密集度先验知识能够区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的人体关键点检测方法的流程示意图之一；

图2是本发明提供的人体关键点检测方法的流程示意图之二；

图3是本发明提供的人体关键点检测装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于更加清晰地理解本申请各实施例，首先对一些相关的背景知识进行如下介绍。

由于人体关节关键点分布稀疏并且均匀，因此直接采用卷积神经网络，利用监督学习方式便可以直接学习从图像到人体关键点的映射。

但是对于人体稠密关键点，在身体各部位分布密度差异较大，对所有关键点采用同样的网络结构导致关键点稠密的部分检测精度低。

并且，相关技术中对人体全身关键点检测的手段为将人体分成不同部件，对每个部件分别训练一个模型，这种非端到端的方法对模型管理，训练，数据制作等带来了额外的挑战和负担，使得在实际使用中大大受限。

因此，针对上述存在的技术问题，为了提高对人体全身关键点的检测精度，本发明提供一种人体关键点检测方法、装置、电子设备及存储介质。

下面结合图1对本发明提供的人体关键点检测方法进行具体描述。图1是本发明提供的人体关键点检测方法的流程示意图之一，参见图1所示，该方法包括步骤101-步骤103，其中：

步骤101、获取待检测人体图像。

首先需要说明的是，本发明的执行主体可以是具有人体关键点检测功能的任何电子设备，例如可以为智能手机、智能手表、台式电脑、手提电脑等任何一种。

由于人体稠密关键点在人体各部位分布密度差异较大，如果对人体所有关键点采取同样的网络结构进行检测，会导致对关键点稠密的部位检测精度低。

因此，为了提高对人体全身关键点的检测精度，在本实施例中，首先需要获取待检测人体图像。

具体地，待检测人体图像是指待关键点检测的人体全身图像，在该待检测的人体全身图像中包括人的头部、上臂、下臂、躯干、大腿、小腿、手、脚等部位。

步骤102、基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同。

在本实施例中，在获取到待检测人体图像之后，需要基于待检测人体图像，生成分辨率不同的第一特征图以及第二特征图；

其中，第一特征图为低分辨率的特征图，例如分辨率为128*128；第二特征图为高分辨率的特征图，例如分辨率为512*512。

步骤103、基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

在本实施例中，需要基于第一特征图、第二特征图及关键点密集度先验知识，确定待检测人体图像对应的关键点检测结果。

具体地，由于关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此待检测人体图像对应的关键点检测结果具体可以分为：人体关键点稀疏部位对应的第一检测结果以及人体关键点稠密部位对应的第二检测结果。

可选地，在本发明实施例一种可能的实现方式中，所述关键点密集度先验知识具体可以通过以下步骤[1]-步骤[2]得到：

步骤[1]、获取各人体部位的关键点数量；

步骤[2]、基于所述关键点数量及各所述人体部位对应的二维矩形面积，确定所述关键点密集度先验知识。

在本实施例中，关键点密集度先验知识用于区分人体关键点稠密部位和人体关键点稀疏部位；其中，人体的各个部位分别为：头部、上臂、下臂、躯干、大腿、小腿、手、脚，在每一个部位中都有预设的关键点数量。

在获取到各人体部位的关键点数量之后，针对每一个人体部位，需要用该部位的关键点数量除以该部位对应的二维矩形面积，得到该部位对应的目标结果；

然后设置一个阈值，在目标结果大于此阈值的情况下，该部位为人体关键点稠密部位；反之，在目标结果小于此阈值的情况下，该部位为人体关键点稀疏部位。

在上述实施方式中，引入关键点密集度先验知识，基于关键点数量及各人体部位对应的二维矩形面积，能够确定出第二特征图中的人体关键点稠密部位和人体关键点稀疏部位；进而能够实现针对不同关键点部位采用不同分辨率的特征图进行检测。

本发明提供的人体关键点检测方法，基于获取到的待检测人体图像，生成分辨率不同的第一特征图及第二特征图；由于关键点密集度先验知识能够区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

可选地，所述基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图，具体可以通过以下步骤a)-步骤b)实现：

步骤a)、将所述待检测人体图像输入残差网络模型，得到所述残差网络模型输出的初始特征图；

步骤b)、将所述初始特征图进行多次上采样操作，得到所述第一特征图及所述第二特征图。

在本实施例中，在获取到待检测人体图像(例如分辨率为512*512)之后，需要将待检测人体图像输入残差网络模型(例如ResNet-50)进行基础特征提取，得到残差网络模型输出的初始特征图(例如分辨率为16*16)的特征图。

然后将初始特征图进行多次上采样操作，得到第一特征图及第二特征图。

具体地，在得到分辨率为16*16的初始特征图之后，将该初始特征图输入多个上采样模块，最终分别得到不同上采样模块输出的第一特征图(例如分辨率为128*128)及第二特征图(例如分辨率为512*512)；

其中，每个上采样模块包括2倍上采样层、3*3尺度的卷积层、批归一化层和ReLU层。

在上述实施方式中，通过将待检测人体图像输入残差网络模型，然后将残差网络模型输出的初始特征图进行多次上采样操作，得到分辨率不同的第一特征图及第二特征图，进而可以针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

可选地，所述基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果，可以通过以下步骤1)-步骤3)实现：

步骤1)、基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果；

步骤2)、基于所述第一特征图，确定所述第二特征图对应的多个身体部件检测框，所述身体部件检测框用于对所述第二特征图进行裁剪；

步骤3)、基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果。

在本实施例中，由于人体关键点稀疏部位并不需要高分辨率的特征图进行检测，因此可以直接基于第一特征图，确定待检测人体图像中人体关键点稀疏部位对应的第一检测结果。

为了能在高分辨率的特征图(即第二特征图)上裁剪出人体关键点稠密部位的特征，排除其他部位特征干扰；

因此，在本实施例中，需要在第一特征图后同时接一个人体部位检测网络，分别输出头，上臂，下臂，躯干，大腿，小腿，手，脚部位在第一特征图上的身体部件检测框，并将该身体部件检测框等比放大到第二特征图上；各身体部件检测框用于对第二特征图进行裁剪，得到各人体部位对应的特征图。

最后，基于第二特征图、各身体部件检测框及关键点密集度先验知识，即可确定待检测人体图像中人体关键点稠密部位对应的第二检测结果。

在上述实施方式中，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

可选地，所述基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果，具体可以通过以下步骤(1)-步骤(2)实现：

步骤(1)、将所述第一特征图进行下采样操作，得到第一目标特征图；

步骤(2)、将所述第一目标特征图输入卷积层，得到所述卷积层输出的所述第一检测结果。

在本实施例中，由于人体关键点稀疏部位并不需要高分辨率的特征图进行检测，因此直接将第一特征图进行下采样操作，得到第一目标特征图；然后将第一目标特征图输入卷积层，得到第一检测结果。

具体地，首先将第一特征图(例如分辨率为128*128)输入下采样模块，其中，下采样模块至少包括3*3卷积层、最大池化层、批归一化层以及ReLU层。

在将分辨率为128*128的第一特征图输入下采样模块后，即可得到第一目标特征图(即第一目标特征图的分辨率降低至64*64)。

最后将分辨率为64*64的第一目标特征图输入1*1卷积层，即可得到多通道的热力图，以热力图方式输出待检测人体图像中人体关键点稀疏部位对应的第一检测结果。

在上述实施方式中，针对人体关键点稀疏部位，直接采用第一特征图进行关键点检测，保证了人体关键点稀疏部位的检测精度。

可选地，所述基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果，具体可以通过以下步骤[a]-步骤[c]实现：

步骤[a]、利用所述身体部件检测框对所述第二特征图裁剪，得到各所述人体部位对应的第三特征图；

步骤[b]、基于所述关键点密集度先验知识，确定至少一个第二目标特征图，所述第二目标特征图为各所述第三特征图中属于人体关键点稠密部位对应的特征图；

步骤[c]、基于各所述第二目标特征图，确定所述第二检测结果。

在本实施例中，由于基于身体部件检测框已经得到人身体各个部位在第二特征图上的位置和大小信息，因此利用身体部件检测框可以对第二特征图裁剪，得到各人体部位对应的第三特征图。

例如，在第一特征图后接一个人体部位检测网络，分别输出头，上臂，下臂，躯干，大腿，小腿，手，脚部位在第一特征图上的身体部件检测框，并将该身体部件检测框等比放大到第二特征图上；利用该身体部件检测框对第二特征图进行裁剪，进而得到头，上臂，下臂，躯干，大腿，小腿，手，脚部位对应的第三特征图；

然后基于关键点密集度先验知识，确定出各第三特征图中属于人体关键点稠密部位对应的特征图作为第二目标特征图。

为了对所有特征图采取与第一特征图相同的关键点检测网络，需要将第二目标特征图进行缩放，直至与第一特征图的分辨率相同；

最后将缩放后的第二目标特征图输入下采样模块以及1*1卷积层，即可得到待检测人体图像中人体关键点稠密部位对应的第二检测结果；其中，下采样模块至少包括3*3卷积层、最大池化层、批归一化层以及ReLU层。

在上述实施方式中，基于获取到的待检测人体图像，生成分辨率不同的第一特征图及第二特征图；由于关键点密集度先验知识能够区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度；同时本方法为端到端的检测方式，针对人体关键点稠密部位和关键点稀疏部位均采用相同的关键点检测网络，无需针对人体不同部位训练不同模型，从而降低了人体关键点检测的复杂度，避免了非端到端、关键点检测模型训练复杂、模型管理困难、数据制作成本高等问题，节省了人力、物力资源。

图2是本发明提供的人体关键点检测方法的流程示意图之二，参见图2所示，该方法包括步骤201-步骤208，其中：

步骤201、获取待检测人体图像。

步骤202、将待检测人体图像输入残差网络模型，得到残差网络模型输出的初始特征图。

步骤203、将初始特征图进行多次上采样操作，得到第一特征图及第二特征图；第一特征图和第二特征图的分辨率不同。

步骤204、将第一特征图进行下采样操作，得到第一目标特征图。

步骤205、将第一目标特征图输入卷积层，得到卷积层输出的第一检测结果。

步骤206、利用身体部件检测框对第二特征图裁剪，得到各人体部位对应的第三特征图。

步骤207、基于关键点密集度先验知识，确定至少一个第二目标特征图，其中，第二目标特征图为各第三特征图中属于人体关键点稠密部位对应的特征图。

需要说明的是，关键点密集度先验知识具体可以通过以下步骤[1]-步骤[2]得到：

步骤[1]、获取各人体部位的关键点数量；

步骤[2]、基于所述关键点数量及各所述人体部位对应的二维矩形面积，确定所述关键点密集度先验知识。

步骤208、基于各第二目标特征图，确定第二检测结果。

需要说明的是，本发明对步骤204-步骤205与步骤206-步骤208的执行顺序不作限定，即执行顺序不分先后。

本发明提供的人体关键点检测方法，基于获取到的待检测人体图像，生成分辨率不同的第一特征图及第二特征图；由于关键点密集度先验知识能够区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度；同时本方法为端到端的检测方式，针对人体关键点稠密部位和关键点稀疏部位均采用相同的关键点检测网络，无需针对人体不同部位训练不同模型，从而降低了人体关键点检测的复杂度，避免了非端到端、关键点检测模型训练复杂、模型管理困难、数据制作成本高等问题，节省了人力、物力资源节省了人力、物力资源。

下面对本发明提供的人体关键点检测装置进行描述，下文描述的人体关键点检测装置与上文描述的人体关键点检测方法可相互对应参照。图3是本发明提供的人体关键点检测装置的结构示意图，如图3所示，该人体关键点检测装置300包括：获取模块301、生成模块302及确定模块303，其中：

第一获取模块301，用于获取待检测人体图像；

生成模块302，用于基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；

第一确定模块303，用于基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

本发明提供的人体关键点检测装置，基于获取到的待检测人体图像，生成分辨率不同的第一特征图及第二特征图；由于关键点密集度先验知识能够区分第二特征图中的人体关键点稠密部位和人体关键点稀疏部位，因此，基于第一特征图、第二特征图及关键点密集度先验知识，能够针对不同关键点部位采用不同分辨率的特征图进行检测，在保证人体关键点稀疏部位检测精度的基础上，实现了对人体关键点稠密部位的精确检测，进而提高了对人体全身关键点的检测精度。

可选地，所述装置还包括：

第二获取模块，用于获取各人体部位的关键点数量；

第二确定模块，用于基于所述关键点数量及各所述人体部位对应的二维矩形面积，确定所述关键点密集度先验知识。

可选地，第一确定模块303，进一步用于：

基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果；

基于所述第一特征图，确定所述第二特征图对应的多个身体部件检测框，所述身体部件检测框用于对所述第二特征图进行裁剪；

基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果。

可选地，第一确定模块303，进一步用于：

将所述第一特征图进行下采样操作，得到第一目标特征图；

将所述第一目标特征图输入卷积层，得到所述卷积层输出的所述第一检测结果。

可选地，第一确定模块303，进一步用于：

利用所述身体部件检测框对所述第二特征图裁剪，得到各所述人体部位对应的第三特征图；

基于所述关键点密集度先验知识，确定至少一个第二目标特征图，所述第二目标特征图为各所述第三特征图中属于人体关键点稠密部位对应的特征图；

基于各所述第二目标特征图，确定所述第二检测结果。

可选地，生成模块302，进一步用于：

将所述待检测人体图像输入残差网络模型，得到所述残差网络模型输出的初始特征图；

将所述初始特征图进行多次上采样操作，得到所述第一特征图及所述第二特征图。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行人体关键点检测方法，该方法包括：获取待检测人体图像；基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人体关键点检测方法，该方法包括：获取待检测人体图像；基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人体关键点检测方法，该方法包括：获取待检测人体图像；基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人体关键点检测方法，其特征在于，包括：

获取待检测人体图像；

基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；

基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

2.根据权利要求1所述的人体关键点检测方法，其特征在于，所述关键点密集度先验知识通过以下方式得到：

获取各人体部位的关键点数量；

基于所述关键点数量及各所述人体部位对应的二维矩形面积，确定所述关键点密集度先验知识。

3.根据权利要求1或2所述的人体关键点检测方法，其特征在于，所述基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果，包括：

基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果；

基于所述第一特征图，确定所述第二特征图对应的多个身体部件检测框，所述身体部件检测框用于对所述第二特征图进行裁剪；

基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果。

4.根据权利要求3所述的人体关键点检测方法，其特征在于，所述基于所述第一特征图，确定所述待检测人体图像中人体关键点稀疏部位对应的第一检测结果，包括：

将所述第一特征图进行下采样操作，得到第一目标特征图；

将所述第一目标特征图输入卷积层，得到所述卷积层输出的所述第一检测结果。

5.根据权利要求3所述的人体关键点检测方法，其特征在于，所述基于第二特征图、各所述身体部件检测框及所述关键点密集度先验知识，确定所述待检测人体图像中人体关键点稠密部位对应的第二检测结果，包括：

利用所述身体部件检测框对所述第二特征图裁剪，得到各所述人体部位对应的第三特征图；

基于所述关键点密集度先验知识，确定至少一个第二目标特征图，所述第二目标特征图为各所述第三特征图中属于人体关键点稠密部位对应的特征图；

基于各所述第二目标特征图，确定所述第二检测结果。

6.根据权利要求1所述的人体关键点检测方法，其特征在于，所述基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图，包括：

将所述待检测人体图像输入残差网络模型，得到所述残差网络模型输出的初始特征图；

将所述初始特征图进行多次上采样操作，得到所述第一特征图及所述第二特征图。

7.一种人体关键点检测装置，其特征在于，包括：

第一获取模块，用于获取待检测人体图像；

生成模块，用于基于所述待检测人体图像，生成所述待检测人体图像对应的第一特征图及第二特征图；所述第一特征图和所述第二特征图的分辨率不同；

第一确定模块，用于基于所述第一特征图、所述第二特征图及关键点密集度先验知识，确定所述待检测人体图像对应的关键点检测结果；所述关键点密集度先验知识用于区分所述第二特征图中的人体关键点稠密部位和人体关键点稀疏部位。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述人体关键点检测方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人体关键点检测方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人体关键点检测方法。

Images