CN109753152A - 基于人体姿态的交互方法及装置、计算机设备 - Google Patents

基于人体姿态的交互方法及装置、计算机设备 Download PDF

Info

Publication number
CN109753152A
CN109753152A CN201811571232.7A CN201811571232A CN109753152A CN 109753152 A CN109753152 A CN 109753152A CN 201811571232 A CN201811571232 A CN 201811571232A CN 109753152 A CN109753152 A CN 109753152A
Authority
CN
China
Prior art keywords
human body
body attitude
key point
location information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811571232.7A
Other languages
English (en)
Inventor
陈楷佳
黄頔
于志兴
董亚魁
陆雨柔
张帆
彭彬绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811571232.7A priority Critical patent/CN109753152A/zh
Publication of CN109753152A publication Critical patent/CN109753152A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开一种基于人体姿态的交互方法及装置、计算机设备,所述方法包括:基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;基于匹配结果,显示展示效果。

Description

基于人体姿态的交互方法及装置、计算机设备
技术领域
本申请涉及交互领域,尤其涉及一种基于人体姿态的交互方法及装置、计算机设备。
背景技术
随着科技的发展,终端的性能飞速提高,从而给越来越多的应用的产生和发展提供了有力的技术支持。为了增加用户对应用的粘性,一种较为常见的服务是为用户提供个性化、人性化的交互方式,以提高用户的交互兴趣。
目前的交互方式较为单一,一般都是通过触摸操作、键盘操作、鼠标操作等来实现交互,无法解放双手,交互体验较为乏味。
申请内容
为解决上述技术问题,本申请实施例提供了一种基于人体姿态的交互方法及装置、存储介质、计算机程序产品、计算机设备。
本申请实施例提供的基于人体姿态的交互方法,包括:
基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;
采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;
基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;
基于匹配结果,显示展示效果。
本申请实施例中,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,所述第二人体姿态数据包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息,N≥3。
本申请实施例中,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的N个关键点的至少一个第一位置信息和所述第二人体姿态对应的N个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系;
所述判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配,包括:
判断所述第一人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
从所述第一人体姿态对应的N个关键点中选取M个关键点,从所述第二人体姿态对应的N个关键点中选取M个关键点;2≤M<N;
判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的M个关键点的至少一个第一位置信息和所述第二人体姿态对应的M个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述M个关键点的选取基于所述第一人体姿态确定。
本申请实施例中,所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系;
所述判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配,包括:
判断所述第一人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中,所述基于第一人体姿态数据展示第一交互对象,包括:
基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
本申请实施例中,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对。
本申请实施例中,所述采集触发对象的第二人体姿态数据,包括:采集至少一个触发对象分别对应的至少一个第二人体姿态数据;
所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
将所述至少一个第二人体姿态数据与所述至少一个第一人体姿态数据进行比对。
本申请实施例中,所述将所述至少一个第二人体姿态数据与所述至少一个第一人体姿态数据进行比对,包括:
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对;或者,
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,所述第二人体姿态数据与所述至少一个第一人体姿态数据中的部分第一人体姿态数据具有对应关系,将所述二人体姿态数据与对应的部分第一人体姿态数据分别进行比对。
本申请实施例中,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
响应于所述第一交互对象位于目标展示区域,则基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配。
本申请实施例中,所述基于匹配结果,显示展示效果,包括:
所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;
所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
本申请实施例中,所述基于匹配结果,显示展示效果,包括:
所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。
本申请实施例提供的基于人体姿态的交互装置,包括:
显示单元,用于基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;
采集单元,用于采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;
判断单元,用于基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;
控制单元,用于基于匹配结果,显示展示效果。
本申请实施例中,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,所述第二人体姿态数据包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息,N≥3。
本申请实施例中,所述判断单元,用于:
判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的N个关键点的至少一个第一位置信息和所述第二人体姿态对应的N个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系;
所述判断单元,用于:判断所述第一人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中,所述判断单元,用于:
从所述第一人体姿态对应的N个关键点中选取M个关键点,从所述第二人体姿态对应的N个关键点中选取M个关键点;2≤M<N;
判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的M个关键点的至少一个第一位置信息和所述第二人体姿态对应的M个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述M个关键点的选取基于所述第一人体姿态确定。
本申请实施例中,所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系;
所述判断单元,用于:判断所述第一人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中,所述展示单元,用于基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
本申请实施例中,所述判断单元,用于:将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对。
本申请实施例中,所述采集单元,用于:采集至少一个触发对象分别对应的至少一个第二人体姿态数据;
所述判断单元,用于:将所述至少一个第二人体姿态数据与所述至少一个第一人体姿态数据进行比对。
本申请实施例中,所述判断单元,用于:
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对;或者,
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,所述第二人体姿态数据与所述至少一个第一人体姿态数据中的部分第一人体姿态数据具有对应关系,将所述二人体姿态数据与对应的部分第一人体姿态数据分别进行比对。
本申请实施例中,所述显示单元显示所述第一交互对象位于目标展示区域时,所述判断单元基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配。
本申请实施例中,所述控制单元,用于:所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
本申请实施例中,所述控制单元,用于:所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。
本申请实施例提供的计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现上述的基于人体姿态的交互方法。
本申请实施例提供的存储介质上存储有可执行指令,该可执行指令被处理器执行时实现上述的基于人体姿态的交互方法。
本申请实施例提供的计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现上述的基于人体姿态的交互方法。
本申请实施例的技术方案中,基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;基于匹配结果,显示展示效果。采用本申请实施例的技术方案,实现了通过触发对象的人体姿态来触发对交互对象的控制,这种交互方式解放了双手,可进行体感类的交互,增加了交互的趣味性,大大提高了用户对交互操作的使用体验;另一方面,由于是基于触发对象的人体姿态来触发对交互对象的控制,因而支持触发对象与交互对象具有一定距离的交互,无须触发对象接触屏幕或使用控制器(如游戏手柄);再者,本申请通过简单有效的方式,不需要判断人体姿态的完全匹配,仅需要匹配人体姿态的关键点(也即人体姿态的部分位置)即可,使得终端处理速度更快。
附图说明
图1为本申请实施例提供的基于人体姿态的交互方法的流程示意图一;
图2为本申请实施例提供的N个关键点在人体上的位置分布图;
图3(a)为本申请实施例提供的显示界面示意图一;
图3(b)为本申请实施例提供的显示界面示意图二;
图4为本申请实施例提供的基于人体姿态的交互方法的流程示意图二;
图5为本申请实施例提供的基于人体姿态的交互方法的流程示意图三;
图6为本申请实施例提供的基于人体姿态的交互装置的结构组成示意图;
图7为本发明实施例的计算机设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于固定终端/移动终端等终端设备,例如:手机、平板电脑、游戏机、台式机、一体机、车载终端等等。在本申请实施例中,该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
互动类应用(APP)产品中,如舞蹈类游戏,主要以触屏或按键的方式进行交互,通过此种方式来向APP传递交互指令,如控制APP中人物的动作反应等。但是通过此种方式进行交互时,用户在完成动作过程中,行为动作较为受限,且无法进行如舞蹈等须全身肢体进行配合的操作,且用户需要与APP的终端保持较近的距离。为此,本申请实施例提出了一种基于人体姿态的交互方法,以下对本申请实施例的技术方案进行详细说明。
图1为本申请实施例提供的基于人体姿态的交互方法的流程示意图一,如图1所示,所述基于人体姿态的交互方法包括以下步骤:
步骤101:基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态。
本申请实施例中,交互对象是一种用户能够对其进行操作的对象,交互对象通过一个特定的图案进行展示,例如:APP中的游戏对象。
本申请实施例中,通过显示装置展示第一交互对象,显示装置可以是普通的显示屏、广告机、一体机、投影仪、虚拟现实(VR,Virtual Reality)设备、增强现实(AR,Augmented Reality)设备等等。其中,通过显示装置对第一交互对象展示时,基于第一人体姿态数据展示出具有第一人体姿态的第一交互对象。
本申请实施例中,显示装置上可以展示一个第一交互对象,也可以同时展示多个第一交互对象,每个第一交互对象都是根据一个第一人体姿态数据进行展示,具体地,基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
在一个例子中,在显示装置上显示1个游戏对象,具体为一个卡通人物,该卡通人物基于描述文件(包含卡通人物对应的第一人体姿态数据)在显示装置上呈现出一个特定的人体姿态(例如抬腿)。
在一个例子中,在显示装置上显示多个游戏对象,分别为卡通人物1、卡通人物2和卡通人物3,其中,卡通人物1基于描述文件1(包含卡通人物1对应的第一人体姿态数据)在显示装置上呈现出人体姿态1(例如弯腰),卡通人物2基于描述文件2(包含卡通人物2对应的第一人体姿态数据)在显示装置上呈现出人体姿态2(例如举起双手),卡通人物3基于描述文件3(包含卡通人物3对应的第一人体姿态数据)在显示装置上呈现出人体姿态3(例如扭腰)。
基于上述例子,第一人体姿态数据可以通过一个描述文件进行表达,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,其中,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,N≥3。进一步,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第一位置信息包括所述N个关键点分别对应的坐标位置信息。
举个例子,参照图2,图2为N个关键点在人体上的位置分布图,图2中N的取值为14,本申请实施例的技术方案不局限于此,N的取值还可以是其他的数值,例如10、18等等。N个关键点在人体上的位置分布尽量全面且均匀,能够涵盖人体的躯干和四肢。具体实现时,还可以对N个关键点的每个关键点进行编号,例如图2中的14个关键点的编号是从0到13。对于一个描述文件中的第一人体姿态数据,包含了14个关键点中的两两关键点之间的相对位置关系。为了便于说明,以下通过N=3个关键点进行举例,关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括:关键点1和关键点2之间的相对位置关系、关键点2和关键点3之间的相对位置关系、关键点1和关键点3之间的相对位置关系。进一步,两个关键点之间的相对位置关系可以但不局限于是通过以下方式进行表示:
方法一:一个关键点相对于另一个关键点的坐标信息(坐标系的类型不限,例如笛卡尔坐标系、极坐标系等等)。
方式二:一个关键点相对于另一个关键点的距离信息和方向信息。
本申请实施例中,不同的人体姿态对应的描述文件(也即第一人体姿态数据)不同,例如,人体姿态1(例如弯腰)对应的描述文件中的14个关键点的位置信息与人体姿态2(例如举起双手)对应的描述文件中的14个关键点的位置信息不同。
步骤102:采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态。
具体地,终端设备开启摄像头,实时采集触发对象的连续图像,对于每一幅图像,对该图像进行特征分析,从该图像中提取出触发对象的第二人体姿态数据。这里,摄像头可以是普通的二维摄像头,也可以是三维立体摄像头。通过对连续的图像的采集能够捕获触发对象随时间发生变化的第二人体姿态,当然,也可能捕获到的第二人体姿态随时间并未发生变化。
举个例子:用户面对终端设备的摄像头做出第二人体姿态(例如弯腰动作),摄像头采集到该第二人体姿态(例如弯腰动作)对应的第二人体姿态数据。
本申请实施例中,所述第二人体姿态数据与所述第一人体姿态数据同理,包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,其中,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息。需要说明的是,所述第一人体姿态对应的各个关键点与所述第二人体姿态对应的各个关键点具有对应关系。具体实现时,可以对第二人体姿态的N个关键点的每个关键点进行编号,例如编号从0到N-1。这样,就可以根据各个关键点的编号,将第二人体姿态的各个关键点与第一人体姿态的各个关键点对应起来。
本申请实施例中,对于第二人体姿态数据,所述N个关键点的第二位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第二位置信息包括所述N个关键点分别对应的坐标位置信息。这里,第二人体姿态数据中的两两关键点之间的相对位置关系与第一人体姿态数据中的两两关键点之间的相对位置关系同理,不再赘述。
步骤103:基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配。
在一实施方式中,显示装置上展示有一个第一交互对象,将采集到的第二人体姿态数据与该第一交互对象的第一人体姿态数据进行比对;如果一致,则确定所述第二人体姿态与所述第一人体姿态匹配;如果不一致,则确定所述第二人体姿态与所述第一人体姿态不匹配。
在另一实施方式中,显示装置上展示有多个第一交互对象,将采集到的第二人体姿态数据与多个第一人体姿态数据分别进行比对;如果与其中一个第一人体姿态数据一致,则确定所述第二人体姿态与该第一人体姿态数据对应的第一人体姿态匹配;如果与全部的第一人体姿态数据都不一致,则确定所述第二人体姿态与显示展示上展示的多个人体姿态都不匹配。举个例子:参照图3(a),在显示装置上显示两个游戏对象,分别为卡通人物1和卡通人物2,其中,卡通人物1基于描述文件1(包含卡通人物1对应的第一人体姿态数据)在显示装置上呈现出人体姿态1(例如曲腿加举起右臂),卡通人物2基于描述文件2(包含卡通人物2对应的第一人体姿态数据)在显示装置上呈现出人体姿态2(例如摆臂加抬右脚)。用户做出第二人体姿态(例如举起右手加抬起右脚),摄像头将采集到的第二人体姿态数据与卡通人物1和卡通人物2的第一人体姿态数据分别进行比较,最终确定出与两个第一人体姿态都不一致。
在又一实施方式中,显示装置上展示有多个第一交互对象,触发对象的个数为多个,采集多个触发对象分别对应的多个第二人体姿态数据,将采集到的多个第二人体姿态数据与多个第一人体姿态数据分别进行比对;如果某个触发对象的第二人体姿态数据与一个第一人体姿态数据一致,则确定该触发对象呈现的第二人体姿态与该第一人体姿态数据对应的第一人体姿态匹配。在一个例子中,显示装置上展示的多个第一交互对象对于多个触发对象而言是共享的,即多个触发对象中的每个触发对象都可以通过自己的第二人体姿态数据来与任意一个第一交互对象的第一人体姿态数据进行匹配,具体实现时,对于采集到的多个第二人体姿态数据中的每个第二人体姿态数据,将所述第二人体姿态数据与所述多个第一人体姿态数据分别进行比对。在另一个例子中,显示装置上展示的多个第一交互对象与多个触发对象之间具有对应关系,只有具有对应关系的触发对象才可以通过自己的第二人体姿态数据来与对应的第一交互对象的第一人体姿态数据进行匹配,具体实现时,对于采集到的多个第二人体姿态数据中的每个第二人体姿态数据,所述第二人体姿态数据与所述多个第一人体姿态数据中的部分第一人体姿态数据具有对应关系,将所述二人体姿态数据与对应的部分第一人体姿态数据分别进行比对,其中,对应关系比如多个第一交互对象分别展示在不同的显示区域,不同的触发对象对应不同的显示区域。举个例子:显示装置上显示有4个游戏对象,分别为卡通人物1、卡通人物2,卡通人物3、卡通人物4,用户1可以做出动作来实现与这4个卡通人物中的任意一个卡通人物的动作一致,用户2也可以做出动作来实现与这4个卡通人物中的任意一个卡通人物的动作一致,这4个卡通人物对于用户1和用户2而言是共享的。再举个例子:显示装置上显示有4个游戏对象,分别为卡通人物1、卡通人物2,卡通人物3、卡通人物4,其中,卡通人物1和卡通人物2位于左侧显示区域,卡通人物3和卡通人物4位于右侧显示区域,左侧显示区域与用户1对应,右侧显示区域与用户2对应,用户1可以做出动作来实现与左侧显示区域内的2个卡通人物中的任意一个卡通人物的动作一致,用户2可以做出动作来实现与右侧显示区域内的2个卡通人物中的任意一个卡通人物的动作一致。
上述方案中的一个或多个第一交互对象可以显示在显示装置的任意区域,进一步,显示装置上具有一个目标展示区域,响应于所述第一交互对象位于目标展示区域,则基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配。这里,目标展示区域是第一交互对象的有效区域,例如显示装置的中央区域(具体的区域大小以及位置可以灵活设置),只有位于该有效区域内的第一交互对象才是有效的交互对象,触发对象的第二人体姿态数据仅需要与该有效区域内的第一交互对象的第一人体姿态数据进行匹配即可。举个例子:某个第一交互对象从显示装置的下方开始出现,并从下至上进行移动,在移动的过程中经过有效区域,那么,触发对象可以观察第一交互对象的移动,当第一交互对象位于有效区域的时候做出动作来与第一交互对象的动作匹配;而对于移出有效区域的第一交互对象则不进行匹配操作。
步骤104:基于匹配结果,显示展示效果。
在一实施方式中,如果所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;如果所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
这里,第一提示信息和第二提示信息可以是文字类的提示信息,例如第一提示信息为好(good)或完美(perfect)或精彩(wonderful)或击杀(kill)等等,第二提示信息为失误(miss)。不局限于此,第一提示信息和第二提示信息还可以是图片类的提示信息,例如第一提示信息为对号(√),第二提示信息为错号(X),再例如第一提示信息为笑脸,第二提示信息为哭脸等等。
进一步,如果所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。本申请实施例的技术方案不局限于此,如果所述第二人体姿态与所述第一人体姿态匹配,所述第一交互对象改变展示效果的方式,还可以是从第一展示效果改变成第二展示效果。所述第一交互对象改变展示效果的方式可以根据应用的实现来灵活设计。
此外,本申请实施例可以引入AR技术,具体地,展示所述第一交互对象时,采集所述触发对象的图像;将所述第一交互对象叠加显示在所述触发对象的图像上。
参照图3(a),图3(a)为本申请实施例的一个应用场景示意图,本示例中,交互对象是两个卡通人物,触发对象为用户,用户可以通过做出特定的动作,实现对某个卡通人物的击杀,这种交互方式趣味性很强。图3(b)为用户的最终得分的示意图。进一步,用户可以将自己的得分界面分享给好友或者发布到朋友圈进行分享。本申请实施例的技术方案可以应用在各种类型的显示终端上,如电视机、广告机、落地大屏等,支持用户进行体感类互动,如跳舞类游戏等。
本申请实施例的技术方案,引入基于人体姿态的人机交互方式,实现人与机器的体感式互动,增强了互动类产品的趣味性。
图4为本申请实施例提供的基于人体姿态的交互方法的流程示意图二,如图4所示,所述基于人体姿态的交互方法包括以下步骤:
步骤401:基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态。
本申请实施例中,交互对象是一种用户能够对其进行操作的对象,交互对象通过一个特定的图案进行展示,例如:APP中的游戏对象。
本申请实施例中,通过显示装置展示第一交互对象,显示装置可以是普通的显示屏、广告机、一体机、投影仪、VR设备、AR设备等等。其中,通过显示装置对第一交互对象展示时,基于第一人体姿态数据展示出具有第一人体姿态的第一交互对象。
本申请实施例中,显示装置上可以展示一个第一交互对象,也可以同时展示多个第一交互对象,每个第一交互对象都是根据一个第一人体姿态数据进行展示,具体地,基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
第一人体姿态数据可以通过一个描述文件进行表达,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,其中,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,N≥3。进一步,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第一位置信息包括所述N个关键点分别对应的坐标位置信息。
本申请实施例中,不同的人体姿态对应的描述文件(也即第一人体姿态数据)不同,例如,人体姿态1(例如弯腰)对应的描述文件中的14个关键点的位置信息与人体姿态2(例如举起双手)对应的描述文件中的14个关键点的位置信息不同。
步骤402:采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态。
具体地,终端设备开启摄像头,实时采集触发对象的连续图像,对于每一幅图像,对该图像进行特征分析,从该图像中提取出触发对象的第二人体姿态数据。这里,摄像头可以是普通的二维摄像头,也可以是三维立体摄像头。通过对连续的图像的采集能够捕获触发对象随时间发生变化的第二人体姿态,当然,也可能捕获到的第二人体姿态随时间并未发生变化。
本申请实施例中,所述第二人体姿态数据与所述第一人体姿态数据同理,包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,其中,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息。需要说明的是,所述第一人体姿态对应的各个关键点与所述第二人体姿态对应的各个关键点具有对应关系。具体实现时,可以对第二人体姿态的N个关键点的每个关键点进行编号,例如编号从0到N-1。这样,就可以根据各个关键点的编号,将第二人体姿态的各个关键点与第一人体姿态的各个关键点对应起来。
本申请实施例中,对于第二人体姿态数据,所述N个关键点的第二位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第二位置信息包括所述N个关键点分别对应的坐标位置信息。这里,第二人体姿态数据中的两两关键点之间的相对位置关系与第一人体姿态数据中的两两关键点之间的相对位置关系同理,不再赘述。
步骤403:判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配;所述第一人体姿态对应的N个关键点的至少一个第一位置信息和所述第二人体姿态对应的N个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系;基于此,判断所述第一人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
为了便于说明,以下通过N=3个关键点进行举例,所述第一人体姿态中的关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括:关键点1和关键点2之间的相对位置关系R1、关键点2和关键点3之间的相对位置关系S1、关键点1和关键点3之间的相对位置关系T1;所述第二人体姿态中的关键点1、关键点2和关键点3中的两两关键点之间的相对位置关系包括:关键点1和关键点2之间的相对位置关系R2、关键点2和关键点3之间的相对位置关系S2、关键点1和关键点3之间的相对位置关系T2。将R1与R2进行比对,将S1和S2进行比对,将T1和T2进行比对,如果都比对成功,则表明第二人体姿态与第一人体姿态匹配。
步骤404:基于匹配结果,显示展示效果。
在一实施方式中,如果所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;如果所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
这里,第一提示信息和第二提示信息可以是文字类的提示信息或图片类的提示信息等。
进一步,如果所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。本申请实施例的技术方案不局限于此,如果所述第二人体姿态与所述第一人体姿态匹配,所述第一交互对象改变展示效果的方式,还可以是从第一展示效果改变成第二展示效果。所述第一交互对象改变展示效果的方式可以根据应用的实现来灵活设计。
此外,本申请实施例可以引入AR技术,具体地,展示所述第一交互对象时,采集所述触发对象的图像;将所述第一交互对象叠加显示在所述触发对象的图像上。
本申请实施例的技术方案,引入基于人体姿态的人机交互方式,实现人与机器的体感式互动,增强了互动类产品的趣味性。
图5为本申请实施例提供的基于人体姿态的交互方法的流程示意图三,如图5所示,所述基于人体姿态的交互方法包括以下步骤:
步骤501:基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态。
本申请实施例中,交互对象是一种用户能够对其进行操作的对象,交互对象通过一个特定的图案进行展示,例如:APP中的游戏对象。
本申请实施例中,通过显示装置展示第一交互对象,显示装置可以是普通的显示屏、广告机、一体机、投影仪、VR设备、AR设备等等。其中,通过显示装置对第一交互对象展示时,基于第一人体姿态数据展示出具有第一人体姿态的第一交互对象。
本申请实施例中,显示装置上可以展示一个第一交互对象,也可以同时展示多个第一交互对象,每个第一交互对象都是根据一个第一人体姿态数据进行展示,具体地,基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
第一人体姿态数据可以通过一个描述文件进行表达,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,其中,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,N≥3。进一步,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第一位置信息包括所述N个关键点分别对应的坐标位置信息。
本申请实施例中,不同的人体姿态对应的描述文件(也即第一人体姿态数据)不同,例如,人体姿态1(例如弯腰)对应的描述文件中的14个关键点的位置信息与人体姿态2(例如举起双手)对应的描述文件中的14个关键点的位置信息不同。
步骤502:采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态。
具体地,终端设备开启摄像头,实时采集触发对象的连续图像,对于每一幅图像,对该图像进行特征分析,从该图像中提取出触发对象的第二人体姿态数据。这里,摄像头可以是普通的二维摄像头,也可以是三维立体摄像头。通过对连续的图像的采集能够捕获触发对象随时间发生变化的第二人体姿态,当然,也可能捕获到的第二人体姿态随时间并未发生变化。
本申请实施例中,所述第二人体姿态数据与所述第一人体姿态数据同理,包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,其中,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息。需要说明的是,所述第一人体姿态对应的各个关键点与所述第二人体姿态对应的各个关键点具有对应关系。具体实现时,可以对第二人体姿态的N个关键点的每个关键点进行编号,例如编号从0到N-1。这样,就可以根据各个关键点的编号,将第二人体姿态的各个关键点与第一人体姿态的各个关键点对应起来。
本申请实施例中,对于第二人体姿态数据,所述N个关键点的第二位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系(如N个关键点中两两关键点之间的相对位置关系),或者,所述N个关键点的第二位置信息包括所述N个关键点分别对应的坐标位置信息。这里,第二人体姿态数据中的两两关键点之间的相对位置关系与第一人体姿态数据中的两两关键点之间的相对位置关系同理,不再赘述。
步骤503:从所述第一人体姿态对应的N个关键点中选取M个关键点,从所述第二人体姿态对应的N个关键点中选取M个关键点;2≤M<N;判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配;所述第一人体姿态对应的M个关键点的至少一个第一位置信息和所述第二人体姿态对应的M个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
本申请实施例中,所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系;基于此,判断所述第一人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
本申请实施例中,所述M个关键点的选取基于所述第一人体姿态确定。具体地,人体姿态可以通过一些少量的特定的关键点来进行粗略的表征,在对人体姿态进行比对时,可以仅仅比对这些少量的特定的关键点,从而降低计算量,提高处理速度,不同的人体姿态可以选取不同的关键点,进一步,可以选取不同数量的关键点和/或选取不同位置的关键点。
举个例子:如图2所示,人体姿态数据包括N=14个关键点的位置信息,某个特定的人体姿态可以仅对比其中的3个关键点,例如水平举起双臂的动作,可以选取关键点0、关键点6、关键点7这三个关键点,基于此,所述第一人体姿态中的关键点0、关键点6和关键点7中的两两关键点之间的相对位置关系包括:关键点0和关键点6之间的相对位置关系R1、关键点6和关键点7之间的相对位置关系S1、关键点0和关键点7之间的相对位置关系T1;所述第二人体姿态中的关键点0、关键点6和关键点7中的两两关键点之间的相对位置关系包括:关键点0和关键点6之间的相对位置关系R2、关键点6和关键点7之间的相对位置关系S2、关键点0和关键点7之间的相对位置关系T2。将R1与R2进行比对,将S1和S2进行比对,将T1和T2进行比对,如果都比对成功,则表明第二人体姿态与第一人体姿态匹配。
步骤504:基于匹配结果,显示展示效果。
在一实施方式中,如果所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;如果所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
这里,第一提示信息和第二提示信息可以是文字类的提示信息或图片类的提示信息等。
进一步,如果所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。本申请实施例的技术方案不局限于此,如果所述第二人体姿态与所述第一人体姿态匹配,所述第一交互对象改变展示效果的方式,还可以是从第一展示效果改变成第二展示效果。所述第一交互对象改变展示效果的方式可以根据应用的实现来灵活设计。
此外,本申请实施例可以引入AR技术,具体地,展示所述第一交互对象时,采集所述触发对象的图像;将所述第一交互对象叠加显示在所述触发对象的图像上。
本申请实施例的技术方案,引入基于人体姿态的人机交互方式,实现人与机器的体感式互动,增强了互动类产品的趣味性。
图3(a)和图3(b)为本申请实施例的一个应用场景示意图,本示例中,交互对象是两个卡通人物,触发对象为用户,用户可以通过做出特定的动作,实现对某个卡通人物的击杀。具体地,通过检测用户肢体的关键点的位置信息,并与显示装置上展现的卡通人物的动作进行对比,若动作匹配,则可改变卡通人物的展示效果,例如击杀该卡通人物。具体实现时,.通过描述文件表达每个卡通人物的动作,然后,基于某种规则将卡通人物的动作依次展示在显示装置上,可选地,可以搭配上音乐效果以增强交互的体验,通过摄像头捕捉用户肢体动作,判断用户当前动作与显示装置上卡通人物的动作是否匹配,若匹配则击杀该卡通人物并得分。图3(b)为用户的最终得分的示意图。进一步,用户可以将自己的得分界面分享给好友或者发布到朋友圈进行分享。本申请实施例的技术方案可以应用在各种类型的显示终端上,如电视机、落地大屏等,支持用户进行体感类互动,如跳舞类游戏等。
图6为本申请实施例提供的基于人体姿态的交互装置的结构组成示意图,如图6所示,所述装置包括:
显示单元601,用于基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;
采集单元602,用于采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;
判断单元603,用于基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;
控制单元604,用于基于匹配结果,显示展示效果。
在一实施方式中,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,所述第二人体姿态数据包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息,N≥3。
在一实施方式中,所述判断单元603,用于:
判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的N个关键点的至少一个第一位置信息和所述第二人体姿态对应的N个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
在一实施方式中,所述N个关键点的第一位置信息包括所述N个关键点自身与其他关键点之间的相对位置关系;
所述判断单元603,用于:判断所述第一人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的N个关键点自身与其他关键点之间的相对位置关系是否匹配。
在一实施方式中,所述判断单元603,用于:
从所述第一人体姿态对应的N个关键点中选取M个关键点,从所述第二人体姿态对应的N个关键点中选取M个关键点;2≤M<N;
判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的M个关键点的至少一个第一位置信息和所述第二人体姿态对应的M个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
在一实施方式中,所述M个关键点的选取基于所述第一人体姿态确定。
在一实施方式中,所述M个关键点的第一位置信息包括所述M个关键点自身与其他关键点之间的相对位置关系;
所述判断单元603,用于:判断所述第一人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系,与所述第二人体姿态对应的M个关键点自身与其他关键点之间的相对位置关系是否匹配。
在一实施方式中,所述展示单元601,用于基于至少一个第一人体姿态数据展示相应的至少一个第一交互对象;其中,不同的第一交互对象呈现不同的第一人体姿态。
在一实施方式中,所述判断单元603,用于:将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对。
在一实施方式中,所述采集单元602,用于:采集至少一个触发对象分别对应的至少一个第二人体姿态数据;
所述判断单元603,用于:将所述至少一个第二人体姿态数据与所述至少一个第一人体姿态数据进行比对。
在一实施方式中,所述判断单元603,用于:
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,将所述第二人体姿态数据与所述至少一个第一人体姿态数据分别进行比对;或者,
对于所述至少一个第二人体姿态数据中的每个第二人体姿态数据,所述第二人体姿态数据与所述至少一个第一人体姿态数据中的部分第一人体姿态数据具有对应关系,将所述二人体姿态数据与对应的部分第一人体姿态数据分别进行比对。
在一实施方式中,所述显示单元601显示所述第一交互对象位于目标展示区域时,所述判断单元603基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配。
在一实施方式中,所述控制单元604,用于:所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
在一实施方式中,所述控制单元604,用于:所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。
本领域技术人员应当理解,图6所示的基于人体姿态的交互装置中的各单元的实现功能可参照前述基于人体姿态的交互方法的相关描述而理解。图6所示的基于人体姿态的交互装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本发明实施例上述基于人体姿态的交互装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
相应地,本发明实施例还提供一种计算机程序产品,其中存储有计算机可执行指令,该计算机可执行指令被执行时能够实现本发明实施例的上述基于人体姿态的交互方法。
图7为本发明实施例的计算机设备的结构组成示意图,如图7所示,计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU,Micro Controller Unit)或可编程逻辑器件(FPGA,Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机设备100还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。
存储器1004可用于存储应用软件的软件程序以及模块,如本发明实施例中的方法对应的程序指令/模块,处理器1002通过运行存储在存储器1004内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器1004可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1004可进一步包括相对于处理器1002远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中,传输装置1006包括一个网络适配器(NIC,Network Interface Controller),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置1006可以为射频(RF,Radio Frequency)模块,其用于通过无线方式与互联网进行通讯。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于人体姿态的交互方法,其特征在于,所述方法包括:
基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;
采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;
基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;
基于匹配结果,显示展示效果。
2.根据权利要求1所述的方法,其特征在于,所述第一人体姿态数据包括所述第一人体姿态对应的N个关键点的全部或部分第一位置信息,所述第一位置信息为所述第一人体姿态对应的N个关键点所分别对应的位置信息,所述第二人体姿态数据包括所述第二人体姿态对应的N个关键点的全部或部分第二位置信息,所述第二位置信息为所述第二人体姿态对应的N个关键点所分别对应的位置信息,N≥3。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
判断所述第一人体姿态对应的N个关键点的第一位置信息和所述第二人体姿态对应的N个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的N个关键点的至少一个第一位置信息和所述第二人体姿态对应的N个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配,包括:
从所述第一人体姿态对应的N个关键点中选取M个关键点,从所述第二人体姿态对应的N个关键点中选取M个关键点;2≤M<N;
判断所述第一人体姿态对应的M个关键点的第一位置信息和所述第二人体姿态对应的M个关键点的第二位置信息是否匹配;
所述第一人体姿态对应的M个关键点的至少一个第一位置信息和所述第二人体姿态对应的M个关键点的至少一个第二位置信息匹配,则确定所述第二人体姿态与所述第一人体姿态匹配。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于匹配结果,显示展示效果,包括:
所述第二人体姿态与所述第一人体姿态匹配,则显示第一提示信息,所述第一提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态匹配;
所述第二人体姿态与所述第一人体姿态不匹配,则显示第二提示信息,所述第二提示信息用于提示所述触发对象呈现的所述第二人体姿态与所述第一人体姿态不匹配。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于匹配结果,显示展示效果,包括:
所述第二人体姿态与所述第一人体姿态匹配,则控制所述第一交互对象从展示状态改变成消失状态。
7.一种基于人体姿态的交互装置,其特征在于,所述装置包括:
显示单元,用于基于第一人体姿态数据展示第一交互对象,所述第一交互对象呈现第一人体姿态;
采集单元,用于采集触发对象的第二人体姿态数据,所述触发对象呈现第二人体姿态;
判断单元,用于基于所述第二人体姿态数据和所述第一人体姿态数据,确定所述第二人体姿态是否与所述第一人体姿态匹配;
控制单元,用于基于匹配结果,显示展示效果。
8.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要求1至6任一项所述的方法步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有可执行指令,该可执行指令被处理器执行时实现权利要求1至6任一项所述的方法步骤。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至6任一项所述的方法步骤。
CN201811571232.7A 2018-12-21 2018-12-21 基于人体姿态的交互方法及装置、计算机设备 Pending CN109753152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811571232.7A CN109753152A (zh) 2018-12-21 2018-12-21 基于人体姿态的交互方法及装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811571232.7A CN109753152A (zh) 2018-12-21 2018-12-21 基于人体姿态的交互方法及装置、计算机设备

Publications (1)

Publication Number Publication Date
CN109753152A true CN109753152A (zh) 2019-05-14

Family

ID=66402899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811571232.7A Pending CN109753152A (zh) 2018-12-21 2018-12-21 基于人体姿态的交互方法及装置、计算机设备

Country Status (1)

Country Link
CN (1) CN109753152A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264499A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 基于人体关键点的交互位置控制方法、装置及电子设备
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201540A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 体感交互界面的设置方法以及设置装置
CN106569707A (zh) * 2016-10-21 2017-04-19 深圳众思科技有限公司 基于触控屏的触控屏蔽方法和终端
CN106708363A (zh) * 2016-12-16 2017-05-24 广东欧珀移动通信有限公司 一种显示界面的防误触方法、装置及移动终端
CN107967062A (zh) * 2017-12-26 2018-04-27 石狮市森科智能科技有限公司 一种基于体感交互的智能试衣方法、***和橱窗
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201540A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 体感交互界面的设置方法以及设置装置
CN106569707A (zh) * 2016-10-21 2017-04-19 深圳众思科技有限公司 基于触控屏的触控屏蔽方法和终端
CN106708363A (zh) * 2016-12-16 2017-05-24 广东欧珀移动通信有限公司 一种显示界面的防误触方法、装置及移动终端
CN107967062A (zh) * 2017-12-26 2018-04-27 石狮市森科智能科技有限公司 一种基于体感交互的智能试衣方法、***和橱窗
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264499A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 基于人体关键点的交互位置控制方法、装置及电子设备
CN110928411A (zh) * 2019-11-18 2020-03-27 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11587297B2 (en) Virtual content generation
CN106254848B (zh) 一种基于增强现实的学习方法及终端
CN110168618A (zh) 增强现实控制***和方法
US8661354B2 (en) Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices
CN106233227A (zh) 具有体积感测的游戏装置
CN108984087A (zh) 基于三维虚拟形象的社交互动方法及装置
WO2018042176A1 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN107850948A (zh) 混合现实社交
CN108234276A (zh) 一种虚拟形象之间互动的方法、终端及***
CN109978975A (zh) 一种动作的迁移方法及装置、计算机设备
CN109420336A (zh) 基于增强现实的游戏实现方法和装置
CN104077101B (zh) 一种投影方法及电子设备
CN109218648A (zh) 一种显示控制方法及终端设备
JP2022516930A (ja) 結合された拡張環境のためのシステム及び方法
US20220167044A1 (en) Video distribution device, video distribution method, and video distribution process
CN111640200A (zh) 一种ar场景特效生成的方法及装置
CN108109209A (zh) 一种基于增强现实的视频处理方法及其装置
CN109947510A (zh) 一种界面推荐方法及装置、计算机设备
CN109529318A (zh) 虚拟视觉***
CN108525306B (zh) 游戏实现方法、装置、存储介质及电子设备
CN110232743A (zh) 一种通过增强现实技术展示物品的方法和装置
CN109753152A (zh) 基于人体姿态的交互方法及装置、计算机设备
CN111694431A (zh) 一种人物形象生成的方法及装置
CN111429543B (zh) 一种素材生成方法、装置、电子设备及介质
CN111899350A (zh) 增强现实ar图像的呈现方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination