CN109726659A - 人体骨骼关键点的检测方法、装置、电子设备和可读介质 - Google Patents

Abstract

本申请是关于一种人体骨骼关键点的检测方法、装置、电子设备和可读介质。该检测方法包括：获取待检测图像，其中，所述待检测图像中包括人体图像；以及将待检测图像输入堆叠沙漏网络结构中，以得到人体图像中的人体骨骼关键点的热力图，堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。本发明实施例利用稠密块能够将每一层的特征传递给之后所有层的特点，充分提取人体图像中的特征信息，从而提升人体骨骼关键点的检测效果。

Description

人体骨骼关键点的检测方法、装置、电子设备和可读介质

技术领域

本申请属于计算机软件应用领域，尤其是人体骨骼关键点的检测方法、装置、电子设备和可读介质。

背景技术

人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点的检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。人体骨骼关键点的检测，主要检测人体的一些关键点，如关节、四肢、五官等，通过关键点描述人体姿态信息。由于人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态。同时，其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响。

相关技术中，采用已经训练好的沙漏网络进行人体骨骼关键点的检测。图1所示为一个一阶沙漏网络的结构图。如图上所示，沙漏网络100包括上级路和下级路，输入的待检测图像经过上级路和下级路的处理后相加输出。如图上所示，上级路包括三个残差(residual)模块101，用于将原尺寸的待检测图像经过三次残差模块的卷积操作，输出原尺寸的特征图。下级路包括降采样模块102，五个残差模块101和升采样模块103。下级路首先将原尺寸的待检测图像进行降采样处理，得到分辨率降低的图像，然后将分辨率降低的图像输入到随后连接的多个残差模块101，多个残差模块依次进行卷积操作，得到分辨率降低的图像对应的特征图，再将特征图经由升采样模块103，得到和原尺寸相同的特征图，最终将上级路和下级路得到的特征图的像素相加，得到检测结果。一阶沙漏网络是相对比较简单的沙漏网络。更复杂的沙漏网络，例如二阶沙漏网络，三级沙漏网络，这里就不再赘述。

但是，沙漏网络的结构仍存在不合理之处，尤其是，没有充分利用特征图中包含的丰富信息。

发明内容

针对相关技术中存在的问题，本申请公开一种人体骨骼关键点的检测方法、***、装置和计算机可读存储介质，改进沙漏网络的结构，以更充分地利用特征图中包含的丰富信息。

第一方面，本发明实施例提供一种人体骨骼关键点的检测方法，包括：

获取待检测图像，其中，所述待检测图像中包括人体图像；以及

将所述待检测图像输入堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图，所述堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在所述堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。

可选地，所述将所述待检测图像输入到所述堆叠沙漏网络结构，以得到所述人体图像中的人体骨骼关键点的热力图包括：

将所述待检测图像进行下采样和卷积操作得到多个第一图像；

将所述多个第一图像输入到所述堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图。

可选地，所述堆叠沙漏网络结构包括第一沙漏网络和第二沙漏网络，所述第一沙漏网络和所述第二沙漏网络在采用所述稠密块之后采用注意力机制模块得到所述特征图的权重值，并将所述权重值作用在所述特征图中。

可选地，所述第一沙漏网络和所述第二沙漏网络的结构相同，所述第一沙漏和所述第二沙漏各包括上级路和下级路，所述上级路保留原尺寸的特征图，所述下级路对于原尺寸的特征图进行降采样之后再进行升采样。

可选地，所述降采样采用最大池化或平均池化采样，所述升采样采用最近邻插值。

可选地，在所述注意力机制模块中，采用串联的全局池化层、多个全连接层和非线性激活层获得输入的所述特征图的每个特征通道的权重，并将所述权重和所述特征图融合。

第二方面，提供一种人体骨骼关键点的检测装置，包括：

图像获取模块，用于获取待检测图像，其中，所述待检测图像中包括人体图像；

关键点检测模块，用于将所述待检测图像输入堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图，所述堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在所述堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。

可选地，还包括：

数据预处理，用于将所述待检测图像进行下采样和卷积操作得到多个第一图像，所述第一图像被输入到所述堆叠沙漏网络结构中。

可选地，所述堆叠沙漏网络结构包括第一沙漏网络和第二沙漏网络，所述第一沙漏网络和所述第二沙漏网络在采用所述稠密块之后采用注意力机制模块得到所述特征图的权重值，并将所述权重值作用在所述特征图中。

可选地，所述第一沙漏和所述第二沙漏的结构相同，所述第一沙漏和所述第二沙漏各包括上级路和下级路，所述上级路保留原尺寸的特征图，所述下级路对于原尺寸的特征图进行降采样之后再进行升采样。

可选地，所述降采样采用最大池化或平均池化采样，所述升采样采用最近邻插值。

第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一项所述的检测方法。

第四方面，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述任一项所述的检测方法。

第五方面，还提供了计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被模型服务装置执行时，使所述模型服务装置执行上述检测方法。

本申请的实施例提供的技术方案可以包括以下有益效果：在沙漏网络中包含稠密块，利用稠密块能够将每一层的特征传递给之后所有层的特点，充分提取人体图像中的特征信息，从而提升人体骨骼关键点的检测效果。而且，基于多个已经训练成功的包含稠密块的沙漏网络构建堆叠沙漏网络，在堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，以进一步地更好地提高人体骨骼关键点的检测效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1所示为一个一阶沙漏网络的结构图；

图2所示是本发明实施例的人体骨骼关键点的检测方法的流程图；

图3所示是由两个沙漏网络组成的堆叠沙漏网络的结构示意图；

图4所示是本发明一个优选实施例的沙漏网络的结构示意图；

图5所示是本发明实施例的注意力机制模块的结构示意图；

图6所示为本发明实施例的检测装置的结构图；

图7所示为本发明实施例提供的用于执行上述检测方法的电子设备的结构框图；

图8所示为本发明实施例提供的另一种用于执行上述检测方法的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了获得较好的检测效果，本发明实施例对沙漏网络进行了改进，在沙漏网络中采用稠密块(Dense Block)代替残差模块。具体如图2所示。图2是本发明实施例的人体骨骼关键点的检测方法的流程图。具体包括以下步骤

在步骤S201中，获取待检测图像，其中，所述待检测图像中包括人体图像。

在步骤S202中，将待检测图像输入堆叠沙漏网络结构中，以得到人体图像中的人体骨骼关键点的热力图，堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。

一个示例性的堆叠沙漏网络结构如图3所示。在图3中，沙漏网络组成的堆叠沙漏网络的结构示意图。在该图中，堆叠沙漏网络结构由训练成功的沙漏网络1和沙漏网络2组成。从图2可知，特征图I1输入到沙漏网络1中得到热力图O1，沙漏网络2的输入是O1和特征图I1的组合，输出热力图O2。堆叠沙漏网络结构的主要贡献在于利用多尺度特征来识别骨骼关键点。使用一个沙漏网络识别骨骼关键点，可能只使用了最后一层的卷积特征，这样会造成信息的丢失。使用堆叠沙漏网络结构，则可以使用多层卷积特征识别骨骼关键点，通过能够充分提取输入图像中包含的信息，达到提升人体骨骼关键点的检测效果的目的。

进一步地，在每个沙漏网络中采用稠密块代替现有技术中的残差模块。对于替换后的沙漏网络可以参见图1，即图1中的残差模块均被稠密块替换。由此得到的沙漏网络包括上级路和下级路。上级路包括三个稠密块，用于将原尺寸的待检测图像经过原样映射，得到特征图。下级路包括降采样模块102，五个稠密块和升采样模块103。下级路先将特征图进行降采样，然后经过多个稠密块的特征提取，将提取后的特征图进行升采样，最终将上级路的特征图和下级路的特征图相加。由于稠密块在处理图像时，能够将每一层的特征都输入给之后的所有层，使所有层的特征都串联(concatenate)起来，从而为沙漏网络带来了减轻梯度消失、加强特征传播、支持特征复用、减少参数数量的优点。

一个示例性的稠密块如图4所示。稠密块从输入的初始图像中提取信息。白色圆圈表示输入的初始图像。灰色圆圈表示卷积操作。从图上可以看出，输入的初始图像经过级联的多个卷积操作得到输出的特征图，而且，输入的初始图像和每个卷积操作的输入串联，每个卷积操作的输出和该卷积操作之后的每个卷积操作的输入串联。应该指出的是，这里的串联指的是特征通道数的连接。以图上的卷积操作A-C举例，如果卷积操作A的输出特征图的特征通道数为5，卷积操作B的输出特征图的特征通道数为6个，则输入到卷积操作C为特征图的特征通道数为11(5+6)个。

综上，在沙漏网络中包含稠密块，利用稠密块能够将每一层的特征传递给之后所有层的特点，充分提取人体图像中的特征信息，从而达到提升人体骨骼关键点的检测效果的目的。而且，基于多个已经训练成功的包含稠密块的沙漏网络构建堆叠沙漏网络，在堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，从而进一步地提高人体骨骼关键点的检测效果。

图5所示是本发明一个优选实施例的沙漏网络的结构示意图。在图5中，在稠密块501之后增加了注意力机制模块502。

如图上所示，沙漏网络500包括上级路和下级路。输入的待检测图像经过上级路和下级路的处理后相加输出。如图上所示，上级路包括三个稠密块501和注意力机制模块502。下级路包括降采样模块503，稠密块501、注意力机制模块502和升采样模块504。上级路用于将原尺寸的待检测图像经过三次卷积操作和注意力机制，输出原尺寸的特征图。下级路首先将原尺寸的待检测图像进行降采样处理，得到分辨率降低的图像，然后经过稠密块和注意力机制模块的深度特征学习，得到分辨率降低的图像对应的特征图，再将特征图经由升采样模块504，得到和原尺寸相同的特征图，最终将上级路和下级路得到的特征图的像素相加，得到检测结果。

下面结合图6具体说明基于沙漏网络的稠密块和注意力机制模块的深层特征学习过程。在稠密块501中输出c×h×w的特征图。在注意力机制模块502里中，将输入的特征图分为下级路网络和上级路网络传输。如图6所示，在上级路网络，首先通过全局池化层(global pool)将c×h×w的特征图进行处理。全局池化层将整个特征图求得c个数，即global pool就是把h×w的特征图得到1×1的数。然后，通过两个全连接层(FC,FullyConnected)，先通过一个全连接层将特征维度降低到输入特征图的1/2，然后再通过一个全连接层层升回到原来的维度。两个全连接层比直接用一个全连接层的好处在于：1)具有更多的非线性，可以更好地拟合通道间复杂的相关性；2)极大地减少了参数量和计算量。最后，通过一个非线性激活层的Sigmoid的门获得0～1之间的归一化的权重。在下级路网络中，将归一化后的权重加权到每个通道的特征上。神经网络中的全连接层的数目可以任意设定。其中，c×h×w中c表示特征通道(channel)数目，h表示特征图的高，w表示特征图的宽。在神经网络的全连接层可以直接指定通道(channel)数目。

在本实施例中，在人体骨骼关键点的检测过程中引入注意力机制，基于注意力机制得到特征图的权重值，将权重值应用到特征图上，使得特征图上反映了不同信息的重要程度，有利于人体骨骼关键点的检测的准确性。

对于上述实施例中提及的图像的降采样和升采样，为了帮助理解，下面进行示例描述。原始图像的大小为3×128×128，其中3指的是图像特征的通道数。这里原始图像为R、G和B编码格式的图像。128×128指的是RGB图像的分辨率。降采样是指将图像的分辨率降低的操作。例如，对3×128×128的原始图像进行一次最大池化采样或平均池化采样，得到多个3×64×64的图像。升采样是指将图像的分辨率提升的操作。例如，对于3×64×64的图像，采用最近邻插值得到3×128×128的图像。而对于卷积操作而言，通过卷积操作改变的是图像特征的通道数。例如，将3×128×128输入到卷积操作中得到n×128×128,n可以大于3或小于3。

在一些实施例中，将图像输入到沙漏网络之前，还会对图像进行降采样和/或卷积操作的预处理，以便于沙漏网络的处理。

图6所示是一个人体骨骼关键点的检测装置的结构图。如图6所示，检测装置600包括图像获取模块601和关键点检测模块602。

图像获取模块601用于获取待检测图像，其中，待检测图像中包括人体图像。

关键点检测模块602用于将待检测图像输入到堆叠沙漏网络结构中，以得到人体图像中的人体骨骼关键点的热力图，堆叠沙漏网络结构由第一沙漏网络和第二沙漏网络组成，在堆叠沙漏网络结构中，将第一沙漏网络的输出和输入连接作为第二沙漏网络的输入，并且，第一沙漏网络和第二沙漏网络至少之一采用稠密块获取特征图。

在一些实施例中，检测装置还包括数据预处理模块，用于在将图像输入到堆叠沙漏网络结构之前，对待检测图像进行下采样和卷积操作得到多个第一图像，然后将第一图像输入到堆叠沙漏网络结构中。

在一些实施例中，第一沙漏网络和第二沙漏网络在采用稠密块之后采用注意力机制模块得到特征图的权重值，并将权重值作用在特征图中。

在一些实施例中，第一沙漏网络和第二沙漏网络的结构相同，第一沙漏网络和第二沙漏网络均包括至少一次降采样和升采样。

在一些实施例中，降采样采用最大池化或平均池化采样，升采样采用最近邻插值。

在一些实施例中，在第一沙漏网络和第二沙漏网络中，在每次降采样之前，分出上半路保留原尺寸的特征图，在每次升采样之后，和上一个尺度的特征数据相加

图7所示为本发明实施例提供的用于执行上述检测方法的电子设备的结构框图。所述电子设备包括处理器和用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一项所述的检测方法。

例如，模型服务装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，模型服务装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。

处理组件1202通常控制模型服务装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。

存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在模型服务装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1206为模型服务装置1200的各种组件提供电力。电源组件1206可以包括电源管理***，一个或多个电源，及其他与为模型服务装置1200生成、管理和分配电力相关联的组件。

多媒体组件1208包括在模型服务装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当模型服务装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。

I/O接口1212为处理组件1202和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启用按钮和锁定按钮。

传感器组件1214包括一个或多个传感器，用于为模型服务装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为模型服务装置1200的显示器和小键盘，传感器组件1214还可以检测模型服务装置1200或模型服务装置1200一个组件的位置改变，用户与模型服务装置1200接触的存在或不存在，模型服务装置1200方位或加速/减速和模型服务装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1216被配置为便于模型服务装置1200和其他设备之间有线或无线方式的通信。模型服务装置1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，模型服务装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由模型服务装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图8所示为本发明实施例提供的另一种用于执行上述检测方法的电子设备的结构框图。例如，装置1300可以被提供为一服务器。参照图8，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述检测方法。

装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作***，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被模型服务装置执行时，使所述模型服务装置执行上述检测方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人体骨骼关键点的检测方法，其特征在于，包括：

获取待检测图像，其中，所述待检测图像中包括人体图像；以及

将所述待检测图像输入堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图，所述堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在所述堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。

2.根据权利要求1所述的检测方法，其特征在于，所述将所述待检测图像输入到所述堆叠沙漏网络结构，以得到所述人体图像中的人体骨骼关键点的热力图包括：

将所述待检测图像进行下采样和卷积操作得到多个第一图像；

将所述多个第一图像输入到所述堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图。

3.根据权利要求1所述的检测方法，其特征在于，所述堆叠沙漏网络结构包括第一沙漏网络和第二沙漏网络，所述第一沙漏网络和所述第二沙漏网络在采用所述稠密块之后采用注意力机制模块得到所述特征图的权重值，并将所述权重值作用在所述特征图中。

4.根据权利要求3所述的检测方法，其特征在于，所述第一沙漏网络和所述第二沙漏网络的结构相同，所述第一沙漏网络和所述第二沙漏网络各包括上级路和下级路，所述上级路处理原尺寸的特征图，所述下级路对于原尺寸的特征图进行降采样之后再进行升采样处理。

5.根据权利要求4所述的检测方法，其特征在于，所述降采样采用最大池化或平均池化采样，所述升采样采用最近邻插值。

6.根据权利要求3所述的检测方法，其特征在于，在所述注意力机制模块中，采用串联的全局池化层、多个全连接层和非线性激活层获得输入的所述特征图的每个特征通道的权重，并将所述权重和所述特征图融合。

7.一种人体骨骼关键点的检测装置，其特征在于，包括：

图像获取模块，用于获取待检测图像，其中，所述待检测图像中包括人体图像；

关键点检测模块，用于将所述待检测图像输入堆叠沙漏网络结构中，以得到所述人体图像中的人体骨骼关键点的热力图，所述堆叠沙漏网络结构由多个已经训练成功的沙漏网络组成，在所述堆叠沙漏网络结构中，前一个沙漏网络的输出和输入作为后一个沙漏网络的输入，并且，每个沙漏网络均采用稠密块获取特征图。

8.根据权利要求7所述的检测装置，其特征在于，还包括：

数据预处理模块，用于将所述待检测图像进行下采样和卷积操作得到多个第一图像，所述第一图像被输入到所述堆叠沙漏网络结构中。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1-6任意一项所述的检测方法。

10.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如权利要求1至6任一项所述的检测方法。