CN114299581A - 一种人体动作展示的方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明提供了一种人体动作展示的方法、装置、设备及可读存储介质，所述方法包括：获取图像采集设备所采集的人体图像信息；根据人体图像信息，得到人体关节点信息；根据人体图像信息，提取人脸信息，并根据提取的人脸信息进行性别检测，得到性别信息；将人体关节点信息和性别信息发送至客户端，人体关节点信息和性别信息用于触发客户端依次执行根据性别信息选定对应的模型的命令，根据选定的模型和人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。本发明不需要外部服务器资源，速度快，节省资源，可以满足实时采集并处理的要求，本发明通过AR环境或MR环境进行展示，教学过程更贴近真实场景。

Description

一种人体动作展示的方法、装置、设备及可读存储介质

技术领域

本发明涉及视觉技术领域，具体而言，涉及一种人体动作展示的方法、装置、设备及可读存储介质。

背景技术

目前对于人体动作追踪及展示的方法中，在对实时场景进行展示时通常会出现大量的卡顿，展现滞后的情况，因此很难对实时场景进行即时展示；此外，在展示过程中没有MR(混合现实)和AR(增强现实)效果，从而导致展示作用有限，教学意义不足。

发明内容

本发明的目的在于提供一种人体动作展示的方法、装置、设备及可读存储介质，以改善上述问题。

为了实现上述目的，本申请实施例提供了如下技术方案：

一方面，本申请实施例提供了一种人体动作展示的方法，所述方法包括：

获取图像采集设备所采集的人体图像信息；

根据所述人体图像信息，得到人体关节点信息；

根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

可选的，所述获取图像采集设备所采集的人体图像信息，包括：

获取所述图像采集设备采集的3D深度图像；

采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

可选的，所述根据所述人体图像信息，得到人体关节点信息，包括：

对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息。

可选的，所述根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息，包括：

截取所述人体图像信息中的人体图像的人脸，得到人脸框；

对所述人脸框进行检测，得到性别信息。

第二方面，本申请实施例提供了一种人体动作展示的装置，所述装置包括：获取模块、人体关节点识别模块、性别检测模块和发送模块。

所述获取模块，用于获取图像采集设备所采集的人体图像信息；

所述人体关节点识别模块，用于根据所述人体图像信息，得到人体关节点信息；

所述性别检测模块，根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

所述发送模块，用于将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

可选的，所述获取模块包括：

获取单元，用于获取所述图像采集设备采集的3D深度图像；

第一检测单元，用于采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

预测单元，用于利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

可选的，所述人体关节点识别模块包括：

识别单元，用于对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息。

可选的，所述性别检测模块包括：

截取单元，用于截取所述人体图像信息中的人体图像的人脸，得到人脸框；

第二检测单元，用于对所述人脸框进行检测，得到性别信息。

第三方面，本申请实施例提供了一种人体动作展示的设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述人体动作展示的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述人体动作展示的方法的步骤。

本发明的有益效果为：

1、本发明通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息，能够最准确地评估人体关节点所处位置，速度快，准确率和鲁棒性较好；同时本发明对图像处理的方法内置在所述图像采集设备中，不需要外部服务器资源，速度快，节省资源，可以满足实时采集并处理的要求。

2、本发明将人物性别信息发送给客户端后，客户端自动显示对应人体模型，通过AR环境或MR环境进行展示，使教学过程更贴近真实场景，有助于提升客户体验，提高教学亲和度，教学过程更友好。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例中所述的一种人体动作展示的方法流程示意图；

图2是本发明实施例中所述的一种人体动作展示的装置结构示意图；

图3是本发明实施例中所述的一种人体动作展示的设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

如图1所示，本实施例提供了一种人体动作展示的方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。

步骤S1、获取图像采集设备所采集的人体图像信息；

步骤S2、根据所述人体图像信息，得到人体关节点信息；

步骤S3、根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

步骤S4、将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

本实施例在将所述人体关节点信息和所述性别信息发送至客户端时，由于本发明的一大应用场景为在线教育动作类相关的课程(如武术、瑜伽、舞蹈等)直播，考虑到服务器端和客户端(一个服务器可对应多个客户端)之间可能的物理距离，为了避免数据传输过程造成的延迟和卡顿情况，通过5G网络将数据传输到客户端成为首选。

本实施例采用两个5G wifi路由器通过5G网络连接服务器和客户端，建立通讯后把服务器数据通过socket用udp协议发送给客户端，客户端实时等待接收数据。可以实现实时展示，画面流畅，无延迟，无丢包，效果明显，教学体验明显上升，课程质量显著改善。

本实施例中，AR，增强现实技术(Augmented Reality)，是在屏幕上把虚拟世界套在现实世界并进行互动。MR，混合现实(Mix reality)，指的是合并现实和虚拟世界而产生的新的可视化环境。其中，AR立体效果突出，MR动作跟踪效果逼真，互动性好。本实施例采用Zspace混合现实一体机作为显示客户端。客户端场景模型和人物模型用Unity3D生成，适用性高。所述unity3D程序中设置有一男一女两个人物模型，根据服务器端发送的性别信息，unity3D程序自动匹配对应的模型；根据服务器端发送到客户端的人体关节点信息，转化为人体关节点世界坐标系，操控人物模型进行AR环境或MR环境展示，针对一些动作类课程，有效发挥教学示范作用，给学生更好的互动体验和感受。

本实施例中，上述方法内置在所述图像采集设备中，不需要外部服务器资源，速度快，节省资源，可以满足实时采集并处理的要求。

在本公开的一种具体实施方式中，所述步骤S1，还可以包括步骤S11、步骤S12和步骤S13。

步骤S11、获取所述图像采集设备采集的3D深度图像；

步骤S12、采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

步骤S13、利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

其中，本实施例中采用的所述图像采集设备可以为kinect摄像头，kinect配置双摄像头，RGB和红外装置，并采用先进的TOF技术。红外发射器主动投射经调制的近红外光线，红外光线照到视野里的物体上就会发生反射，红外相机接收反射回来的红外线，采用TOF技术测量深度，计算光的时间差(通常是通过相位差来计算的)，可得物体的深度(即物体到深度相机的距离)。

在本公开的一种具体实施方式中，所述步骤S2，还可以包括步骤S21。

步骤S21、对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息，通过这种方式能够基于充分的信息最准确地评估人体关节点所处位置，速度快，准确率和鲁棒性较好。

在本公开的一种具体实施方式中，所述步骤S3，还可以包括步骤S31和步骤S32。

步骤S31、截取所述人体图像信息中的人体图像的人脸，得到人脸框；

步骤S32、对所述人脸框进行检测，得到性别信息。

其中在截取所述人体图像信息中的人体图像的人脸，得到人脸框步骤中，本实施例采取间隔20ms截取5桢画面分别进行性别检测，得到每一次的性别检测结果，最终根据5次性别检测结果中性别比例高的性别作为最终人物的性别，例如，5次性别检测结果中3次检测结果为男性，2次检测结果为女性，则最终人物的性别信息确定为男性，采取上述方式可以增强检测的准确率和鲁棒性。

此外，性别信息发送给客户端后，客户端自动显示对应人体模型，教学过程更贴近真实场景，有助于提升客户体验，提高教学亲和度，教学过程更友好。

实施例2

如图2所示，本实施例提供了一种人体动作展示的装置，所述装置包括：获取模块701、人体关节点识别模块702、性别检测模块703和发送模块704。

所述获取模块701，用于获取图像采集设备所采集的人体图像信息；

所述人体关节点识别模块702，用于根据所述人体图像信息，得到人体关节点信息；

所述性别检测模块703，根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

所述发送模块704，用于将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

在本公开的一种具体实施方式中，所述获取模块701包括获取单元7011、第一检测单元7012和预测单元7012。

所述获取单元7011，用于获取所述图像采集设备采集的3D深度图像；

所述第一检测单元7012，用于采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

所述预测单元7013，用于利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

在本公开的一种具体实施方式中，所述人体关节点识别模块702包括识别单元7021，所述识别单元7021中包括人体关节点识别模型，所述人体关节点识别模型是通过对人体关节点训练集经过万亿数量级训练得到的，所述识别单元7021用于对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息。

在本公开的一种具体实施方式中，所述性别检测模块703包括截取单元7031和第二检测单元7032。

所述截取单元7031，用于截取所述人体图像信息中的人体图像的人脸，得到人脸框，其中所述截取单元7031包括人脸识别模型，所述人脸识别模型通过对人脸图像训练集训练获得；

所述第二检测单元7032，用于对所述人脸框进行检测，得到性别信息，其中所述第二检测单元7032包括性别检测模型，所述性别检测模型具有EfficientNet网络结构，所述性别检测模型通过对性别检测训练集训练获得。

需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3

相应于上面的方法实施例，本公开实施例还提供了一种人体动作展示的设备，下文描述的一种人体动作展示的设备与上文描述的一种人体动作展示的方法可相互对应参照。

图3是根据一示例性实施例示出的一种人体动作展示的设备800的框图。如图3所示，该人体动作展示的设备800可以包括：处理器801，存储器802。该人体动作展示的设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该人体动作展示的设备800的整体操作，以完成上述的人体动作展示的方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该人体动作展示的设备800的操作，这些数据例如可以包括用于在该人体动作展示的设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该人体动作展示的设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，该人体动作展示的设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的人体动作展示的方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的人体动作展示的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该人体动作展示的设备800的处理器801执行以完成上述的人体动作展示的方法。

实施例4

相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种人体动作展示的方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的人体动作展示的方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人体动作展示的方法，其特征在于，包括：

获取图像采集设备所采集的人体图像信息；

根据所述人体图像信息，得到人体关节点信息；

根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

2.根据权利要求1所述的人体动作展示的方法，其特征在于，所述获取图像采集设备所采集的人体图像信息，包括：

获取所述图像采集设备采集的3D深度图像；

采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

3.根据权利要求1所述的人体动作展示的方法，其特征在于，所述根据所述人体图像信息，得到人体关节点信息，包括：

对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息。

4.根据权利要求1所述的人体动作展示的方法，其特征在于，所述根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息，包括：

截取所述人体图像信息中的人体图像的人脸，得到人脸框；

对所述人脸框进行检测，得到性别信息。

5.一种人体动作展示的装置，其特征在于，包括：

获取模块，用于获取图像采集设备所采集的人体图像信息；

人体关节点识别模块，用于根据所述人体图像信息，得到人体关节点信息；

性别检测模块，根据所述人体图像信息，提取人脸信息，并根据提取的所述人脸信息进行性别检测，得到性别信息；

发送模块，用于将所述人体关节点信息和所述性别信息发送至客户端，所述人体关节点信息和所述性别信息用于触发所述客户端执行第一命令和第二命令，所述第一命令包括根据所述性别信息选定对应的模型的命令，所述第二命令包括根据选定的所述模型和所述人体关节点信息进行MR或AR动画播放，并跟踪和展示所述图像采集设备前的人体的动作的命令。

6.根据权利要求5所述的人体动作展示的装置，其特征在于，所述获取模块包括：

获取单元，用于获取所述图像采集设备采集的3D深度图像；

第一检测单元，用于采用Mask R-CNN思想对所述3D深度图像进行人物检测，得到人物框；

预测单元，用于利用全卷积神经网络的Mask层对所述人物框进行预测，得到第一结果，对所述第一结果逐像素进行回归，得到所述图像采集设备前的人体图像和背景图像。

7.根据权利要求5所述的人体动作展示的装置，其特征在于，所述人体关节点识别模块包括：

识别单元，用于对所述人体图像信息进行预测，通过所述人体图像信息中的人体图像识别出所述人体图像中的人体的不同部位，得到所述人体关节点信息。

8.根据权利要求5所述的人体动作展示的装置，其特征在于，所述性别检测模块包括：

截取单元，用于截取所述人体图像信息中的人体图像的人脸，得到人脸框；

第二检测单元，用于对所述人脸框进行检测，得到性别信息。

9.一种人体动作展示的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述人体动作展示的方法的步骤。

10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述人体动作展示的方法的步骤。

Images