CN117115400A - 实时显示全身人体动作的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种实时显示全身人体动作的方法、装置、计算机设备及存储介质，方法包括：获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；将所述虚拟画面同步至VR设备。本发明可以在VR设备中实时显示人体的全身动作，提高了便利性。

Description

实时显示全身人体动作的方法、装置、计算机设备及存储介质

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种实时显示全身人体动作的方法、装置、计算机设备及存储介质。

背景技术

大量的虚拟现实设备(以下简称VR设备)都需要全身追踪***，可以让用户在VR设备中看到自身虚拟的身体，进一步强化沉浸感。而目前大多数追踪***是通过跟踪VR设备的头部显示器和手部动作控制器来模拟用户的上身虚拟形态。但是随着VR技术的发展，用户也越来越需要在VR设备中看到自身全身虚拟形态，便于用户能够及时调整姿态，但是目前的追踪***并不能实现对下身虚拟形态的模拟，导致VR设备中无法显示全身的虚拟形态，降低了用户的使用体验。

发明内容

本发明实施例提供了一种实时显示全身人体动作的方法、装置、计算机设备及存储介质，旨在于解决目前的VR设备无法显示全身的虚拟形态的问题。

第一方面，本发明实施例提供了一种实时显示全身人体动作的方法，该方法包括：

获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；

若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；

控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；

将所述虚拟画面同步至VR设备。

第二方面，本发明实施例还提供了一种实时显示全身人体动作的装置，该装置包括：

第一获取单元，用于获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；

第一生成单元，用于若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；

第一同步单元，用于控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；

第一发送单元，用于将所述虚拟画面同步至VR设备。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

本发明实施例提供了一种实时显示全身人体动作的方法、装置、计算机设备及存储介质。其中，所述方法包括：获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；将所述虚拟画面同步至VR设备。本发明实施例可以获取实时画面，并且当实时画面中存在符合特征标准的特征用户时，可以生成与特征用户相匹配的人体姿态模型，并且控制人体姿态模型模拟实时画面中特征用户的动作，并生成一虚拟画面，再将虚拟画面发送至VR设备，使得用户可以在VR设备中看到自身全身的虚拟形态，提高了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的实时显示全身人体动作的方法的流程示意图；

图2是本发明实施例提供的实时显示全身人体动作的装置的示意性框图；

图3是本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本发明实施例提供的实时显示全身人体动作的方法的流程示意图。本发明实施例的实时显示全身人体动作的方法应用于计算机设备，该计算机设备具有摄像头，摄像头用于拍摄用户，并将拍摄的实时画面发送至计算机设备。如图1所示，该方法包括步骤S110～S140。

S110，获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户。

在本发明实施例中，实时画面可以是由具备摄像功能的设备拍摄所获得，例如，摄像机和摄像头，以摄像头为例。在使用VR设备时，一般会设有一相对独立的空间来供用户使用VR设备，可以在该空间内安装一个或者多个摄像头，优选的，可以在该空间内，安装多个摄像头，便于捕捉用户的所有动作。摄像头可以是具备追踪功能的摄像头，可以跟随用户的移动而调整镜头的位置。当用户开始使用VR设备后，摄像头会启动并将实时画面发送至所连接的控制设备，例如计算机。当然，也可以在摄像头上设有无线通信模块，例如WIFI模块，则可以通过WIFI模块，将所拍摄到的实时画面传输至手机等通信设备上。控制设备在接收到实时画面后，提取实时画面中的所有信息，并判断在实时画面中是否存在有符合特征标准的特征用户。摄像头所拍摄的实时画面记录有所有人的所有动作，包括上身动作和下身动作。

一般情况下，VR设备会有一个相对独立的空间，该空间内除了有佩戴有VR设备的用户外，还有一些未佩戴有VR设备的人员，例如，工作人员，或者用户的陪同人员。因此，需要对实时画面中的人员进行甄别，确认特征玩家。特征标准可以是判断玩家是否有佩戴VR设备或者是否有佩戴相应的标识，例如，可以为每一个特征用户佩戴一个手环，该手环上有相应标识，则佩戴有手环的为特征用户。优选地，可以通过用户是否佩戴有VR设备来筛选特征用户。

在某些实施例，例如本实施例中，所述步骤S110可以包括如下步骤：

在所述实时画面中确认是否有用户携带VR设备；

若在所述实时画面中存在有用户携带所述VR设备，确认所述VR设备是否与预设VR设备一致；

若所述VR设备与所述预设VR设备一致，则将所述用户标识为所述特征用户。

在本发明实施例中，实时画面所包含的信息较为杂乱，人员也一般较多，可以通过是否佩戴VR设备来筛选特征用户。当实时画面中存在有用户佩戴有VR设备时，可进一步判断所佩戴的VR设备的型号是否与预设VR设备一致，若用户所佩戴的VR设备的型号与预设VR设备一致，则可以将用户标识为特征用户。特征用户的数量可以是一个或者多个，当有多个特征用户时，可以进一步对特征用户进行分类，例如，将特征用户分为第一特征用户、第二特征用户以及第三特征用户，并将其中一个特征用户设为主用户，便于与其他特征用户进行连接。

S120，若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型。

在本发明实施例中，当实时画面中存在符合特征标准的特征用户时，则可以根据特征用户生成人体姿态模型。人体姿态模型可以是采用现有的算法生成一人体骨骼图，该人体骨骼图与相应的特征用户的特征一致。若有多个特征用户，则可以为每个特征用户均生成一个人体姿态模型。所生成的人体姿态模型为静态模型，并且大小形状与该人体姿态模型所对应的特征用户一致。

在某些实施例，例如本实施例中，所述若所述实时画面中存在符合所述特征标准的特征用户的步骤之后可以包括如下步骤：

确认所述特征用户是否处于预设区域内；

若所述特征用户处于所述预设区域内，则进入所述根据所述特征用户生成人体姿态模型的步骤。

在本发明实施例中，当确认了特征用户后，可以判断用户是否处于预设区域。由于大多数VR设备均需要在特定的区域内才能够更好的使用，因此，可以进一步判断特征用户是否处于预设区域内。当特征用户处于预设区域内时，表明特征用户准备开始使用，则可以生成该特征用户的人体姿态模型，当特征用户未处于预设区域时，表明特征用户可能并不打算使用VR设备，则可以暂时不生成特征用户的人体姿态模型，降低对资源的占用。

S130，控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面。

在本发明实施例中，人体姿态模型为一静态模型，其大小形状与特征用户一致。在生成人体姿态模型后，可以控制该人体姿态模型模拟所对应的特征用户的动作。例如，当特征用户举起右手时，该特征用户所对应的人体姿态模型同步举起右手，当特征用户伸出左脚时，该特征用户所对应的人体姿态模型同步伸出左脚，当特征用户起跳时，该特征用户所对应的人体姿态模型同步起跳。然后将人体姿态模型所执行的一系列动作生成一虚拟画面，该虚拟画面为人体姿态模型模拟特征用户的画面。当有多个特征用户时，每个特征用户均生成一个对应的人体姿态模型，每个人体姿态模型均模拟其相对应的特征用户的动作。

S140，将所述虚拟画面同步至VR设备。

在本发明实施例中，将所生成的虚拟画面发送给VR设备，从而可以在VR设备呈现出该VR设备所对应的特征用户的虚拟姿态，便于用户及时调整自己的动作。当有多个特征用户时，可以将每个特征用户所对应的虚拟画面合成为一个虚拟画面，并同步发送给所有的特征用户，也可以每个特征用户所对应的虚拟画面单独发给其对应的特征用户。另外需要注意的是，虚拟画面可以在VR设备所提供的虚拟显示区域中的任一区域呈现，例如，可以将虚拟画面以窗口的形式在虚拟显示区域的左下角呈现。

在某些实施例，例如本实施例中，本发明实施例的实时显示全身人体动作的方法还包括如下步骤：

若在所述实时画面中存在多个符合所述特征标准的特征用户，确认是否接收到授权请求；

若接收到所述授权请求，则将多个所述特征用户中的一个特征用户设为主用户，将多个所述特征用户中的其他特征用户设为非主用户；

根据所述主用户生成第一人体姿态模型，以及根据所述非主用户生成第二人体姿态模型；

控制所述第一人体姿态模型同步所述实时画面中所述主用户的动作，以及控制所述第二人体姿态模型同步所述实时画面中所述非主用户的动作，并生成一合成虚拟画面；

将所述合成虚拟画面分别发送至所述主用户所对应的VR设备以及所述非主用户所对应的VR设备。

在本发明实施例中，当实时画面中有多个符合特征标准的特征用户时，则可以判断是否接收到授权请求。在大多数多人同时使用VR设备的场景，人数一般为两个到三个，以两个为例。当实时画面中有两个符合特征标准的特征用户时，可以将其中一个用户设置为主用户，将另外一个用户设置为非主用户，则可以建立主用户与非主用户之间的连接，从而将VR场景由单人场景切换到多人场景，在多人场景下，双方共享虚拟画面。然后根据主用户生成第一人体姿态模型，根据非主用户生成第二人体姿态模型，控制第一人体姿态模型模拟主用户的动作，控制第二人体姿态模型模拟非主用户的动作，并生成一虚拟画面。该虚拟画面可以是第一人体姿态模型对应一个虚拟画面，例如第一画面，第二人体姿态模型对应另一个虚拟画面，例如，第二画面，将第一画面发送给第一人体姿态模型所对应的VR设备，将第二画面发送给第二人体姿态模型所对应的VR设备。也可以是将第一画面和第二画面合成为第三画面，将第三画面分别发送给第一人体姿态模型所对应的VR设备以及第二人体姿态模型所对应的VR设备。

在某些实施例，例如本实施例中，本发明实施例的实时显示全身人体动作的方法还包括如下步骤：若在所述实时画面中检测到所述特征用户所对应的VR设备离开所述特征用户，则停止所述人体姿态模型的生成。

在本发明实施例中，当特征用户将VR设备从头上摘下时，可以停止人体姿态模型的生成，避免资源的浪费。另外，摄像头所拍摄到的实时画面发送至控制设备时，控制设备可以先对实时画面中的用户的头像进行马赛克处理，防止隐私泄露。

图2是本发明实施例提供的一种实时显示全身人体动作的装置100的示意性框图。如图2所示，对应于以上实时显示全身人体动作的方法，本发明还提供一种实时显示全身人体动作的装置100。该实时显示全身人体动作的装置100包括用于执行上述实时显示全身人体动作的方法的单元。具体地，请参阅图2，该实时显示全身人体动作的装置100包括第一获取单元110、第一生成单元120、第一同步单元130和第一发送单元140。

其中，第一获取单元110用于获取实时画面并确认所述实时画面中是否存在符合特征标准的特征用户；第一生成单元120用于若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；第一同步单元130用于控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；第一发送单元140用于将所述虚拟画面同步至VR设备。

在某些实施例，例如本实施例中，所述第一获取单元110包括第一确认单元、第二确认单元以及第一标识单元。

其中，第一确认单元用于在所述实时画面中确认是否有用户携带VR设备；第二确认单元用于若在所述实时画面中存在有用户携带所述VR设备，则确认所述VR设备是否与预设VR设备一致；第一标识单元用于若所述VR设备与所述预设VR设备一致，则将所述用户标识为所述特征用户。

本发明另一实施例还提供了一种实时显示全身人体动作的装置，本实施例的实时显示全身人体动作的装置是在上述实施例的基础上增加了第三确认单元和第一进入单元。

其中，第三确认单元用于确认所述特征用户是否处于预设区域内；第一进入单元用于若所述特征用户处于所述预设区域内，则进入所述根据所述特征用户生成人体姿态模型的步骤。

本发明另一实施例还提供了一种实时显示全身人体动作的装置，本实施例的实时显示全身人体动作的装置是在上述实施例的基础上增加了第四确认单元、第一设定单元、第二生成单元、第二同步单元以及第二发送单元。

其中，第四确认单元用于若在所述实时画面中存在多个符合所述特征标准的特征用户，确认是否接收到授权请求；第一设定单元用于若接收到所述授权请求，则将多个所述特征用户中的一个特征用户设为主用户，将多个所述特征用户中的其他特征用户设为非主用户；第二生成单元用于根据所述主用户生成第一人体姿态模型，以及根据所述非主用户生成第二人体姿态模型；第二同步单元用于控制所述第一人体姿态模型同步所述实时画面中所述主用户的动作，以及控制所述第二人体姿态模型同步所述实时画面中所述非主用户的动作，并生成一合成虚拟画面；第二发送单元用于将所述合成虚拟画面分别发送至所述主用户所对应的VR设备以及所述非主用户所对应的VR设备。

本发明另一实施例还提供了一种实时显示全身人体动作的装置，本实施例的实时显示全身人体动作的装置是在上述实施例的基础上增加了第一检测单元。

其中，第一检测单元用于若在所述实时画面中检测到所述特征用户所对应的VR设备离开所述特征用户，则停止所述人体姿态模型的生成。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述实时显示全身人体动作的装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述实时显示全身人体动作的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。

请参阅图3，图3是本申请实施例提供的一种计算机设备的示意性框图。参阅图3，该计算机设备500包括通过***总线501连接的处理器502、存储器和接口507，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种实时显示全身人体动作的方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种实时显示全身人体动作的方法。

该接口505用于与其它设备进行通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(FigitalSignal Processor，FSP)、专用集成电路(Application Specific IntegrateF Circuit，ASIC)、现成可编程门阵列(FielF-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序当被处理器执行时实现上述基于域分离的语音转换模型的训练方法的任一实施例。

所述存储介质可以是U盘、移动硬盘、只读存储器(ReaF-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本发明各个实施例所述方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种实时显示全身人体动作的方法，其特征在于，所述方法包括：

获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；

若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；

控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；

将所述虚拟画面同步至VR设备。

2.如权利要求1所述的方法，其特征在于，所述确认所述实时画面中是否存在符合特征标准的特征用户的步骤，包括：

在所述实时画面中确认是否有用户携带VR设备；

若在所述实时画面中存在有用户携带所述VR设备，则将所述用户标识为所述特征用户。

3.权利要求2所述的方法，其特征在于，所述若在所述实时画面中存在有用户携带所述VR设备的步骤之后，还包括：

确认所述VR设备是否与预设VR设备一致；

若所述VR设备与所述预设VR设备一致，则进入所述将所述用户标识为所述特征用户的步骤。

4.如权利要求1所述的方法，其特征在于，所述若所述实时画面中存在符合所述特征标准的特征用户的步骤之后，还包括：

确认所述特征用户是否处于预设区域内；

若所述特征用户处于所述预设区域内，则进入所述根据所述特征用户生成人体姿态模型的步骤。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

若在所述实时画面中存在多个符合所述特征标准的特征用户，确认是否接收到授权请求；

若接收到所述授权请求，则将多个所述特征用户中的一个特征用户设为主用户，将多个所述特征用户中的其他特征用户设为非主用户。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述主用户生成第一人体姿态模型，以及根据所述非主用户生成第二人体姿态模型；

控制所述第一人体姿态模型同步所述实时画面中所述主用户的动作，以及控制所述第二人体姿态模型同步所述实时画面中所述非主用户的动作，并生成一合成虚拟画面；

将所述合成虚拟画面分别发送至所述主用户所对应的VR设备以及所述非主用户所对应的VR设备。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

若在所述实时画面中检测到所述特征用户所对应的VR设备离开所述特征用户，则停止所述人体姿态模型的生成。

8.一种实时显示全身人体动作的装置，其特征在于，所述装置包括：

第一获取单元，用于获取实时画面，并确认所述实时画面中是否存在符合特征标准的特征用户；

第一生成单元，用于若所述实时画面中存在符合所述特征标准的特征用户，则根据所述特征用户生成人体姿态模型；

第一同步单元，用于控制所述人体姿态模型同步所述实时画面中所述特征用户的动作，并生成一虚拟画面；

第一发送单元，用于将所述虚拟画面同步至VR设备。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可于具有电容触摸屏的计算机设备上实现如权利要求1-7中任一项所述方法的步骤。