CN109840016A - 一种虚拟交互方法及终端设备 - Google Patents
一种虚拟交互方法及终端设备 Download PDFInfo
- Publication number
- CN109840016A CN109840016A CN201811536448.XA CN201811536448A CN109840016A CN 109840016 A CN109840016 A CN 109840016A CN 201811536448 A CN201811536448 A CN 201811536448A CN 109840016 A CN109840016 A CN 109840016A
- Authority
- CN
- China
- Prior art keywords
- user
- dimensional model
- terminal equipment
- posture information
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种虚拟交互方法及终端设备,涉及通信技术领域,可以解决用户通过终端设备的视频功能只能进行视频交流,而无法进行与其他用户之间的虚拟交互的问题。具体方案为:采集第一用户的第一姿态信息,并接收第二终端设备发送的第二姿态信息,该第一姿态信息用于指示第一用户的姿态,该第二姿态信息用于指示第二用户的姿态;根据第一姿态信息,更新与第一用户对应的第一立体模型;并根据第二姿态信息,更新与第二用户对应的第二立体模型;显示更新后的第一立体模型和更新后的第二立体模型。本发明实施例应用于用户之间进行虚拟交互的过程中。
Description
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种虚拟交互方法及终端设备。
背景技术
随着终端技术的发展,用户对终端设备的功能的需求越来越高,用户已不再满足于语音输入、键盘输入等交流模式。
目前,用户可以通过终端设备的视频功能进行视频通话,以实现用户之间的交流。例如,用户1通过终端设备1中的某个应用程序的视频功能,以及用户2通过终端设备2中的某个应用程序的视频功能进行视频通话时,终端设备1可以在终端设备1的界面上显示用户1当前的图像和用户2当前的图像,以实现用户之间的视频交流。但是,目前用户通过终端设备的视频功能只能进行视频交流(例如观看其他用户的行为),而无法进行与其他用户之间的虚拟交互(例如用户之间的握手交互)。
发明内容
本发明实施例提供一种虚拟交互方法及终端设备,可以解决用户通过终端设备的视频功能只能进行视频交流,而无法进行与其他用户之间的虚拟交互的问题。
为了解决上述技术问题,本发明实施例采用如下技术方案:
本发明实施例的第一方面,提供一种虚拟交互方法,可以应用于第一终端设备,该虚拟交互方法可以包括:采集第一用户的第一姿态信息,并接收第二终端设备发送的第二姿态信息,该第一姿态信息用于指示第一用户的姿态,该第二姿态信息用于指示第二用户的姿态;根据第一姿态信息,更新与第一用户对应的第一立体模型;并根据第二姿态信息,更新与第二用户对应的第二立体模型;显示更新后的第一立体模型和更新后的第二立体模型。
本发明实施例的第二方面,提供一种终端设备,该终端设备为第一终端设备,该终端设备可以包括:采集单元、接收单元、更新单元和显示单元。其中,采集单元,用于采集第一用户的第一姿态信息,该第一姿态信息用于指示第一用户的姿态。接收单元,用于接收第二终端设备发送的第二姿态信息,该第二姿态信息用于指示第二用户的姿态。更新单元,用于根据采集单元采集的第一姿态信息,更新与第一用户对应的第一立体模型;并根据接收单元接收的第二姿态信息,更新与第二用户对应的第二立体模型。显示单元,用于显示更新单元更新后的第一立体模型和更新单元更新后的第二立体模型。
本发明实施例的第三方面,提供一种终端设备,该终端设备包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现如第一方面所述的虚拟交互方法的步骤。
本发明实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现如第一方面所述的虚拟交互方法的步骤。
在本发明实施例中,第一终端设备可以根据采集的第一用户的第一姿态信息,更新与第一用户第一的第一立体模型,并根据接收的第二用户的第二姿态信息,更新与第二用户对应的第二立体模型,以及显示更新后的第一立体模型和更新后的第二立体模型。由于第一终端设备可以通过将第一姿态信息赋予给第一立体模型,并将第二姿态信息赋予给第二立体模型,以使得第一立体模型具有与第一用户相同的姿态,且第二立体模型具有与第二用户相同的姿态,因此第一终端设备可以通过控制第一立体模型和第二立体模型,以实现第一立体模型与第二立体模型之间的交互,从而可以实现第一用户与第二用户之间的虚拟交互。
附图说明
图1为本发明实施例提供的一种安卓操作***的架构示意图;
图2为本发明实施例提供的一种虚拟交互方法的示意图之一;
图3为本发明实施例提供的一种虚拟交互方法的示意图之二;
图4为本发明实施例提供的一种手机的界面的实例示意图;
图5为本发明实施例提供的一种虚拟交互方法的示意图之三;
图6为本发明实施例提供的一种虚拟交互方法的示意图之四;
图7为本发明实施例提供的一种终端设备的结构示意图之一;
图8为本发明实施例提供的一种终端设备的结构示意图之二;
图9为本发明实施例提供的一种终端设备的硬件示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一姿态信息和第二姿态信息等是用于区别不同的姿态信息,而不是用于描述姿态信息的特定顺序。在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系,例如A/B表示A或者B。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
下面对本发明实施例提供的虚拟交互方法及终端设备中涉及的一些概念和/或术语做一下解释说明。
目前,用户可以通过终端设备的虚拟现实(Virtual Reality,VR)技术实现人机虚拟交互。VR技术是一种可以创建和体验虚拟世界的计算机仿真***的技术,其可以在多维空间上创建一个虚拟信息环境,为用户提供身临其境的沉浸感。在实际应用中,终端设备可以感知用户的人体行为动作(例如用户的姿态信息),并对与人体行为动作对应的数据进行处理,以生成实时的、动态的三维立体逼真图像(即视频的每帧图像),用户可以通过佩戴的VR设备观看视频,从而实现人机交互。
本发明实施例提供一种虚拟交互方法及终端设备,第一终端设备可以根据采集的第一用户的第一姿态信息,更新与第一用户第一的第一立体模型,并根据接收的第二用户的第二姿态信息,更新与第二用户对应的第二立体模型,以及显示更新后的第一立体模型和更新后的第二立体模型。由于第一终端设备可以通过将第一姿态信息赋予给第一立体模型,并将第二姿态信息赋予给第二立体模型,以使得第一立体模型具有与第一用户相同的姿态,且第二立体模型具有与第二用户相同的姿态,因此第一终端设备可以通过控制第一立体模型和第二立体模型,以实现第一立体模型与第二立体模型之间的交互,从而可以实现第一用户与第二用户之间的虚拟交互。
本发明实施例提供的虚拟交互方法及终端设备,可以应用于用户之间进行虚拟交互的过程中。具体的,可以应用于第一用户和第二用户通过终端设备进行虚拟交互的过程中。
本发明实施例中的终端设备可以为具有操作***的终端设备。该操作***可以为安卓(Android)操作***,可以为ios操作***,还可以为其他可能的操作***,本发明实施例不作具体限定。
下面以安卓操作***为例,介绍一下本发明实施例提供的虚拟交互方法所应用的软件环境。
如图1所示,为本发明实施例提供的一种可能的安卓操作***的架构示意图。在图1中,安卓操作***的架构包括4层,分别为:应用程序层、应用程序框架层、***运行库层和内核层(具体可以为Linux内核层)。
其中,应用程序层包括安卓操作***中的各个应用程序(包括***应用程序和第三方应用程序)。
应用程序框架层是应用程序的框架,开发人员可以在遵守应用程序的框架的开发原则的情况下,基于应用程序框架层开发一些应用程序。
***运行库层包括库(也称为***库)和安卓操作***运行环境。库主要为安卓操作***提供其所需的各类资源。安卓操作***运行环境用于为安卓操作***提供软件环境。
内核层是安卓操作***的操作***层,属于安卓操作***软件层次的最底层。内核层基于Linux内核为安卓操作***提供核心***服务和与硬件相关的驱动程序。
以安卓操作***为例,本发明实施例中,开发人员可以基于上述如图1所示的安卓操作***的***架构,开发实现本发明实施例提供的虚拟交互方法的软件程序,从而使得该虚拟交互方法可以基于如图1所示的安卓操作***运行。即处理器或者终端设备可以通过在安卓操作***中运行该软件程序实现本发明实施例提供的虚拟交互方法。
下面结合附图,通过具体的实施例及其应用场景对本发明实施例提供的一种虚拟交互方法及终端设备进行详细地说明。
本发明实施例提供的一种虚拟交互方法,图2示出了本发明实施例提供的一种虚拟交互方法的流程图,该方法可以应用于具有如图1所示的安卓操作***的终端设备。如图2所示,本发明实施例提供的虚拟交互方法可以包括下述的步骤201至步骤206。
步骤201、第一终端设备采集第一用户的第一姿态信息。
本发明实施例中,上述第一姿态信息用于指示第一用户的姿态。
本发明实施例中,第一终端设备可以实时采集第一用户的第一姿态信息。
可选的,本发明实施例中,第一终端设备可以在检测到第一终端设备启动虚拟交互模式的情况下,采集第一用户的第一姿态信息。
可选的,本发明实施例中,第一用户可以打开第一终端设备中的第一应用程序(例如具有视频通话功能的应用程序),并开启第一应用程序中的与第二终端设备之间进行视频通话的视频通话功能,则第一终端设备可以向第二终端设备发送请求消息(该请求消息用于请求与第二终端设备建立连接),并在成功建立连接之后,采集第一用户的第一姿态信息。
可选的,本发明实施例中,第一终端设备可以通过摄像头(例如深度摄像头)采集第一用户的第一姿态信息。
可选的,本发明实施例中,上述第一姿态信息可以包括以下至少一项:第一用户的站立姿态、第一用户的身体的各个部位的运动状态(例如行走姿态)以及第一用户的身体的各个部位的位置等。
步骤202、第二终端设备采集第二用户的第二姿态信息。
本发明实施例中,上述第二姿态信息用于指示第二用户的姿态。
本发明点实施例中,第二终端设备可以实时采集第二用户的第二姿态信息。
需要说明的是,本发明实施例中,第二终端设备采集第二姿态信息的具体方法与第一终端设备采集第一姿态信息的方法类似,可以参考上述步骤201中的具体描述,此处不再赘述。
可选的,本发明实施例中,上述第二姿态信息可以包括以下至少一项:第二用户的站立姿态、第二用户的身体的各个部位的运动状态(例如行走姿态)以及第二用户的身体的各个部位的位置等。
步骤203、第二终端设备向第一终端设备发送第二姿态信息。
步骤204、第一终端设备接收第二终端设备发送的第二姿态信息。
步骤205、第一终端设备根据第一姿态信息,更新与第一用户对应的第一立体模型;并根据第二姿态信息,更新与第二用户对应的第二立体模型。
本发明实施例中,第一终端设备可以将第一姿态信息映射到第一终端设备当前显示的第一立体模型中,以更新第一立体模型;并将第二姿态信息映射到第一终端设备当前显示的第二立体模型中,以更新第二立体模型。
本发明实施例中,上述第一立体模型为第一用户的形象模型,第二立体模型为第二用户的形象模型。
可以理解,本发明实施例中,在第一终端设备的当前界面显示第一立体模型和第二立体模型的情况下,第一终端设备可以将第一姿态信息映射到第一立体模型中,并将第二姿态信息映射到第二立体模型中。
可选的,本发明实施例中,在第一终端设备和第二终端设备成功建立连接之后,第一终端设备可以在第一终端设备的当前界面(例如视频通话界面)显示第一立体模型和第二立体模型。
可选的,本发明实施例中,第一终端设备可以将第一姿态信息映射到第一立体模型中,以控制第一立体模型具有与第一用户相同的姿态。
可选的,本发明实施例中,第一终端设备可以将第二姿态信息映射到第二立体模型中,以控制第二立体模型具有与第二用户相同的姿态。
步骤206、第一终端设备显示更新后的第一立体模型和更新后的第二立体模型。
本发明实施例中,第一终端设备可以更新显示第一立体模型和第二立体模型。
可以理解,第一终端设备在将第一姿态信息映射到第一立体模型中,以及将第二姿态信息映射到第二立体模型中之后,第一终端设备的当前界面显示的更新后的第一立体模型的姿态与第一姿态信息指示的姿态相同,并且更新后的第二立体模型的姿态与第二姿态信息指示的姿态相同。
示例性的,假设第一用户抬起右手,第二用户抬起右手。第一终端设备可以将采集的第一用户的第一姿态信息(例如第一用户的抬手动作信息)映射到第一立体模型中,并将接收的第二用户的第二姿态信息(例如第二用户的抬手动作信息)映射到第二立体模型中,以使得第一立体模型和第二立体模型均具有抬手动作,且第一立体模型中的右手和第二立体模型中的右手接触(即第一立体模型和第二立体模型进行握手交互)。
可选的,本发明实施例中,第一立体模型可以为第一用户对应的立体模型(例如第一用户对应的人物模型或动漫模型等),第二立体模型可以为第二用户对应的立体模型(例如第二用户对应的人物模型或动漫模型等)。
可选的,本发明实施例中,第一用户可以通过在第一终端设备上进行操作,以控制第一终端设备的界面中显示的第一立体模型和第二立体模型之间的距离;或者,第一终端设备可以通过获取第一用户与第一终端设备之间的距离,以及第二用户与第二终端设备之间的距离,以控制第一终端设备的界面中显示的第一立体模型和第二立体模型之间的距离。
需要说明的是,针对第一立体模型和第二立体模型的获取方法,将在下述实施例中进行具体描述,此处不予赘述。
需要说明的是,本发明实施例中,对于上述步骤201和步骤202的执行顺序,本发明实施例不作限制。具体的,在一种可能的实现方式中,可以先执行步骤201,再执行步骤202,即可以先执行“第一终端设备采集第一用户的第一姿态信息”,再执行“第二终端设备采集第二用户的第二姿态信息”;在另一种可能的实现方式中,可以先执行步骤202,再执行步骤201,即可以先执行“第二终端设备采集第二用户的第二姿态信息”,再执行“第一终端设备采集第一用户的第一姿态信息”;在又一种可能的实现方式中,可以同时执行步骤201和步骤202,即可以同时执行“第一终端设备采集第一用户的第一姿态信息”,以及“第二终端设备采集第二用户的第二姿态信息”。
本发明实施例提供一种虚拟交互方法,第一终端设备可以根据采集的第一用户的第一姿态信息,更新与第一用户第一的第一立体模型,并根据接收的第二用户的第二姿态信息,更新与第二用户对应的第二立体模型,以及显示更新后的第一立体模型和更新后的第二立体模型。由于第一终端设备可以通过将第一姿态信息赋予给第一立体模型,并将第二姿态信息赋予给第二立体模型,以使得第一立体模型具有与第一用户相同的姿态,且第二立体模型具有与第二用户相同的姿态,因此第一终端设备可以通过控制第一立体模型和第二立体模型,以实现第一立体模型与第二立体模型之间的交互,从而可以实现第一用户与第二用户之间的虚拟交互。
可选的,本发明实施例中,结合图2,如图3所示,上述步骤205具体可以通过下述的步骤205a至步骤205c实现,并且上述步骤206具体可以通过下述的步骤206a实现。
步骤205a、第一终端设备将第一姿态信息输入第一立体模型,得到第一图像数据。
本发明实施例中,第一终端设备在将第一姿态信息输入第一立体模型之后,第一终端设备可以生成与第一立体模型对应的第一图像数据,该第一图像数据可以用于指示具有第一姿态信息指示的姿态的第一立体模型。
示例性的,当第一用户抬起右手时,第一终端设备采集的第一用户的第一姿态信息为第一用户的抬手动作信息,则第一终端设备可以将该第一用户的抬手动作信息输入至第一立体模型,以得到第一图像数据,该第一图像数据用于指示第一立体模型的姿态为右手抬起状态。
步骤205b、第一终端设备将第二姿态信息输入第二立体模型,得到第二图像数据。
需要说明的是,第一终端设备得到第二图像数据的方法与第一终端设备得到第一图像数据的方法类似,可以参考上述步骤205a中的具体描述,此处不再赘述。
步骤205c、第一终端设备根据第一图像数据和第二图像数据,生成目标图像。
本发明实施例中,上述目标图像中包括输入第一姿态信息后的第一立体模型和输入第二姿态信息后的第二立体模型。可以理解,目标图像中的第一立体模型的姿态与第一姿态信息指示的姿态相同,且目标图像中的第二立体模型的姿态与第二姿态信息指示的姿态相同。
示例性的,在第一用户和第二用户分别抬起右手之后,第一终端设备可以根据得到的第一图像数据和第二图像数据生成目标图像,该目标图像中的第一立体模型的姿态为右手抬起状态,且第二立体模型的姿态为右手抬起状态(第一立体模型中的右手和第二立体模型中的右手有接触),即第一立体模型和第二立体模型进行握手交互。
步骤206a、第一终端设备在第一终端设备的界面上显示目标图像。
可以理解,目标图像中包括更新后的第一立体模型和更新后的第二立体模型。
示例性的,以第一终端设备为手机为例进行说明。第一用户与第二用户通过终端设备(例如第一终端设备和第二终端设备)进行视频通话,如图4所示,手机显示手机的视频通话界面,手机在根据第一图像数据(例如第一图像数据用于指示第一立体模型的姿态为右手抬起状态)和第二图像数据(例如第二图像数据用于指示第二立体模型的姿态为右手抬起状态)生成目标图像10之后,手机可以在该视频通话界面上显示目标图像10,该目标图像中包括第一立体模型11和第二立体模型12,且该第一立体模型11和第二立体模型12进行握手交互。
需要说明的是,本发明实施例中,对于上述步骤205a和步骤205b的执行顺序,本发明实施例不作限制。具体的,在一种可能的实现方式中,可以先执行步骤205a,再执行步骤205b,即可以先执行“第一终端设备将第一姿态信息输入第一立体模型,得到第一图像”,再执行“第一终端设备将第二姿态信息输入第二立体模型,得到第二图像”;在另一种可能的实现方式中,可以先执行步骤205b,再执行步骤205a,即可以先执行“第一终端设备将第二姿态信息输入第二立体模型,得到第二图像”,再执行“第一终端设备将第一姿态信息输入第一立体模型,得到第一图像”;在又一种可能的实现方式中,可以同时执行步骤205a和步骤205b,即可以同时执行“第一终端设备将第一姿态信息输入第一立体模型,得到第一图像”,以及“第一终端设备将第二姿态信息输入第二立体模型,得到第二图像”。
本发明实施例中,第一终端设备可以根据第一图像数据和第二图像数据,生成目标图像,并在第一终端设备的界面上显示目标图像,因此可以便于第一用户在第一终端设备的界面上查看第一用户和第二用户之间的虚拟交互情况,从而可以提高用户的体验。
可选的,本发明实施例中,结合图2,如图5所示,在上述步骤201之前,本发明实施例提供的虚拟交互方法还可以包括下述的步骤301和步骤302。
步骤301、第一终端设备获取第一用户的第一深度信息。
本发明实施例中,上述第一深度信息为第一终端设备采集的第一用户的深度图像的信息。
可选的,本发明实施例中,第一终端设备可以先通过深度摄像头采集第一用户的深度图像(例如点云图),然后再获取该深度图像的深度信息。
步骤302、第一终端设备根据第一深度信息,建立第一立体模型。
可选的,本发明实施例中,第一终端设备可以根据第一深度信息,建立与第一用户的深度图像等比例的第一立体模型。
可选的,本发明实施例中,第一终端设备可以根据第一用户的深度图像的每个像素点在空间中的分布信息,在空间坐标系中构建第一立体模型。
可选的,本发明实施例中,上述第一立体模型为三维立体模型。
可选的,本发明实施例中,第一终端设备可以通过摄像头采集第一用户的二维图像,并获取该二维图像的二维信息(例如纹理信息),然后将该二维信息映射到第一立体模型中,以得到处理后的第一立体模型。
可选的,本发明实施例中,第一终端设备可以将第一终端设备中预先保存的一个立体模型确定为第一立体模型。
可选的,本发明实施例中,结合图2,如图6所示,在上述步骤202之前,本发明实施例提供的虚拟交互方法还可以包括下述的步骤401至步骤403。
步骤401、第二终端设备获取第二用户的第二深度信息。
本发明实施例中,上述第二深度信息为第二终端设备采集的第二用户的深度图像的信息。
可选的,本发明实施例中,第二终端设备可以先通过深度摄像头采集第二用户的深度图像(例如点云图),然后再获取该深度图像的深度信息。
步骤402、第二终端设备向第一终端设备发送第二深度信息。
步骤403、第一终端设备接收第二终端设备发送的第二深度信息,并根据该第二深度信息,建立第二立体模型。
可选的,本发明实施例中,第一终端设备可以根据第二用户的深度图像的每个像素点在空间中的分布信息,在空间坐标系中构建第二立体模型。
可选的,本发明实施例中,上述第二立体模型为三维立体模型。
可选的,本发明实施例中,第一终端设备可以将第一终端设备中预先保存的一个立体模型确定为第二立体模型。
可选的,本发明实施例中,在图2中的步骤202之前,本发明实施例提供的虚拟交互方法还可以包括下述的步骤501和步骤502。
步骤501、第二终端设备向第一终端设备发送第二立体模型。
可选的,本发明实施例中,第二终端设备可以先获取第二用户的第二深度信息,并根据该第二深度信息建立第二立体模型,然后再将该第二立体模型发送至第一终端设备。
需要说明的是,第二终端设备根据第二深度信息建立第二立体模型的方法,与第一终端设备根据第一深度信息建立第一立体模型的方法类似,可以参考上述步骤301和步骤302中的描述,此处不再赘述。
可选的,本发明实施例中,第二终端设备可以将第二终端设备中预先保存的第二立体模型发送至第一终端设备。
步骤502、第一终端设备接收第二终端设备发送的第二立体模型。
可选的,本发明实施例中,在上述步骤205之前,本发明实施例提供的虚拟交互方法还可以包括下述的步骤601至步骤603。
步骤601、第一终端设备接收第一用户的第一输入。
可选的,本发明实施例中,上述第一输入可以为第一用户对第一终端设备中的第一图像的选择输入。
可选的,本发明实施例中,上述第一输入可以为第一用户对第一终端设备的输入,该第一输入用于触发第一终端设备采集第一图像。
步骤602、第一终端设备响应于第一输入,在第一终端设备的界面上显示第一图像。
本发明实施例中,上述第一图像用于指示第一虚拟环境。
步骤603、在得到第一立体模型和第二立体模型之后,第一终端设备在第一图像中显示第一立体模型和第二立体模型。
本发明实施例中,第一终端设备可以在第一终端设备的界面上显示第一图像,且在该第一图像中显示第一立体模型和第二立体模型,因此可以使得第一用户能够体验处于第一虚拟环境中进行虚拟交互,提高了用户的体验。
可选的,本发明实施例中,第一图像中包括目标对象。在上述步骤603之后,本发明实施例提供的虚拟交互方法还可以包括下述的步骤701和步骤702。
步骤701、第一终端设备采集第一用户的第三姿态信息。
本发明实施例中,上述第三姿态信息为第一用户针对目标对象输入时采集的姿态信息。
可以理解,本发明实施例中,上述第三姿态信息用于指示第一用户当前的姿态。
步骤702、第一终端设备根据第三姿态信息,更新第一终端设备当前显示的第一立体模型,以控制第一立体模型对目标对象操作。
本发明实施例中,第一终端设备可以将第三姿态信息映射到第一终端设备当前显示的第一立体模型中,以控制第一立体模型对目标对象操作。
示例性的,假设目标对象为虚拟足球。第一用户在进行踢脚的动作之后,第一终端设备可以采集第一用户当前的第三姿态信息(即第一用户进行踢脚的动作时的姿态信息),并将该第三姿态信息输入到第一立体模型中,以使得第一立体模型进行与第一用户的动作相同的动作,即第一立体模型对第一终端设备当前界面显示的虚拟足球进行踢脚的动作。
本发明实施例中,第一终端设备可以通过将第三姿态信息映射到第一立体模型中,以控制第一立体模型对目标对象操作,因此可以进一步地实现第一用户与第二用户之间的虚拟交互,从而可以提高用户的体验。
图7示出了本发明实施例中涉及的终端设备的一种可能的结构示意图,该终端设备可以为第一终端设备。如图7所示,终端设备70可以包括:采集单元71、接收单元72、更新单元73和显示单元74。
其中,采集单元71,用于采集第一用户的第一姿态信息,该第一姿态信息用于指示第一用户的姿态。接收单元72,用于接收第二终端设备发送的第二姿态信息,该第二姿态信息用于指示第二用户的姿态。更新单元73,用于根据采集单元71采集的第一姿态信息,更新与第一用户对应的第一立体模型;并根据接收单元72接收的第二姿态信息,更新与第二用户对应的第二立体模型。显示单元74,用于显示更新单元73更新后的第一立体模型和更新单元73更新后的第二立体模型。
在一种可能的实现方式中,结合图7,如图8所示,本发明实施例提供的终端设备70还可以包括:获取单元75和建立单元76。其中,获取单元75,用于在采集单元71采集第一用户的第一姿态信息之前,获取第一用户的第一深度信息,该第一深度信息为第一终端设备采集的第一用户的深度图像的信息。建立单元76,用于根据获取单元75获取的第一深度信息,建立第一立体模型。
在一种可能的实现方式中,上述接收单元72,还用于在接收第二终端设备发送的第二姿态信息之前,接收第二终端设备发送的第二深度信息,并根据第二深度信息,建立第二立体模型,该第二深度信息为第二终端设备采集的第二用户的深度图像的信息;或者,接收第二终端设备发送的第二立体模型。
在一种可能的实现方式中,上述接收单元72,还用于接收第一用户的第一输入。显示单元74,还用于响应于接收单元72接收的第一输入,在第一终端设备的界面上显示第一图像,该第一图像用于指示第一虚拟环境;并在得到第一立体模型和第二立体模型之后,在第一图像中显示第一立体模型和第二立体模型。
在一种可能的实现方式中,上述第一图像中包括目标对象。采集单元71,还用于在显示单元76在第一图像中显示第一立体模型和第二立体模型之后,采集第一用户的第三姿态信息,该第三姿态信息为第一用户针对目标对象输入时采集的姿态信息。更新单元73,还用于根据采集单元71采集的第三姿态信息,更新第一终端设备当前显示的第一立体模型,以控制第一立体模型对目标对象操作。
在一种可能的实现方式中,更新单元73,具体用于将采集单元71采集的第一姿态信息输入第一立体模型,得到第一图像数据;并将接收单元72接收的第二姿态信息输入第二立体模型,得到第二图像数据;以及根据第一图像数据和第二图像数据,生成目标图像,该目标图像中包括输入第一姿态信息后的第一立体模型和输入第二姿态信息后的第二立体模型。
本发明实施例提供的终端设备能够实现上述方法实施例中终端设备实现的各个过程,为避免重复,详细描述这里不再赘述。
本发明实施例提供一种终端设备,第一终端设备可以根据采集的第一用户的第一姿态信息,更新与第一用户第一的第一立体模型,并根据接收的第二用户的第二姿态信息,更新与第二用户对应的第二立体模型,以及显示更新后的第一立体模型和更新后的第二立体模型。由于第一终端设备可以通过将第一姿态信息赋予给第一立体模型,并将第二姿态信息赋予给第二立体模型,以使得第一立体模型具有与第一用户相同的姿态,且第二立体模型具有与第二用户相同的姿态,因此第一终端设备可以通过控制第一立体模型和第二立体模型,以实现第一立体模型与第二立体模型之间的交互,从而可以实现第一用户与第二用户之间的虚拟交互。
图9为实现本发明各个实施例的一种终端设备的硬件示意图,该终端设备可以为第一终端设备。如图9所示,终端设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。
需要说明的是,本领域技术人员可以理解,图9中示出的终端设备结构并不构成对终端设备的限定,终端设备可以包括比图9所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,终端设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器110,用于采集第一用户的第一姿态信息,该第一姿态信息用于指示第一用户的姿态。
射频单元101,用于接收第二终端设备发送的第二姿态信息,该第二姿态信息用于指示第二用户的姿态。
处理器110,还用于根据第一姿态信息,更新与第一用户对应的第一立体模型;并根据第二姿态信息,更新与第二用户对应的第二立体模型。
显示单元106,用于显示处理器110更新后的第一立体模型和处理器110更新后的第二立体模型。
本发明实施例提供一种终端设备,第一终端设备可以根据采集的第一用户的第一姿态信息,更新与第一用户第一的第一立体模型,并根据接收的第二用户的第二姿态信息,更新与第二用户对应的第二立体模型,以及显示更新后的第一立体模型和更新后的第二立体模型。由于第一终端设备可以通过将第一姿态信息赋予给第一立体模型,并将第二姿态信息赋予给第二立体模型,以使得第一立体模型具有与第一用户相同的姿态,且第二立体模型具有与第二用户相同的姿态,因此第一终端设备可以通过控制第一立体模型和第二立体模型,以实现第一立体模型与第二立体模型之间的交互,从而可以实现第一用户与第二用户之间的虚拟交互。
应理解的是,本发明实施例中,射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信***与网络和其他设备通信。
终端设备通过网络模块102为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与终端设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
终端设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在终端设备100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1071可覆盖在显示面板1061上,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图9中,触控面板1071与显示面板1061是作为两个独立的部件来实现终端设备的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现终端设备的输入和输出功能,具体此处不做限定。
接口单元108为外部装置与终端设备100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到终端设备100内的一个或多个元件或者可以用于在终端设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
终端设备100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理***与处理器110逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,终端设备100包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种终端设备,包括如图9所示的处理器110,存储器109,存储在存储器109上并可在所述处理器110上运行的计算机程序,该计算机程序被处理器110执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (10)
1.一种虚拟交互方法,应用于第一终端设备,其特征在于,所述方法包括:
采集第一用户的第一姿态信息,并接收第二终端设备发送的第二姿态信息,所述第一姿态信息用于指示所述第一用户的姿态,所述第二姿态信息用于指示第二用户的姿态;
根据所述第一姿态信息,更新与所述第一用户对应的第一立体模型;并根据所述第二姿态信息,更新与所述第二用户对应的第二立体模型;
显示更新后的所述第一立体模型和更新后的所述第二立体模型。
2.根据权利要求1所述的方法,其特征在于,所述采集第一用户的第一姿态信息之前,所述方法还包括:
获取所述第一用户的第一深度信息,所述第一深度信息为所述第一终端设备采集的所述第一用户的深度图像的信息;
根据所述第一深度信息,建立所述第一立体模型。
3.根据权利要求1所述的方法,其特征在于,所述接收第二终端设备发送的第二姿态信息之前,所述方法还包括:
接收所述第二终端设备发送的第二深度信息,并根据所述第二深度信息,建立所述第二立体模型,所述第二深度信息为所述第二终端设备采集的所述第二用户的深度图像的信息;
或者,
接收所述第二终端设备发送的所述第二立体模型。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
接收所述第一用户的第一输入;
响应于所述第一输入,在所述第一终端设备的界面上显示第一图像,所述第一图像用于指示第一虚拟环境;
在得到所述第一立体模型和所述第二立体模型之后,在所述第一图像中显示所述第一立体模型和所述第二立体模型。
5.根据权利要求4所述的方法,其特征在于,所述第一图像中包括目标对象;
所述在所述第一图像中显示所述第一立体模型和所述第二立体模型之后,所述方法还包括:
采集所述第一用户的第三姿态信息,所述第三姿态信息为所述第一用户针对所述目标对象输入时采集的姿态信息;
根据所述第三姿态信息,更新所述第一终端设备当前显示的所述第一立体模型,以控制所述第一立体模型对所述目标对象操作。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一姿态信息,更新与所述第一用户对应的第一立体模型;并根据所述第二姿态信息,更新与所述第二用户对应的第二立体模型,包括:
将所述第一姿态信息输入所述第一立体模型,得到第一图像数据;
将所述第二姿态信息输入所述第二立体模型,得到第二图像数据;
根据所述第一图像数据和所述第二图像数据,生成目标图像,所述目标图像中包括输入所述第一姿态信息后的第一立体模型和输入所述第二姿态信息后的第二立体模型。
7.一种终端设备,所述终端设备为第一终端设备,其特征在于,所述终端设备包括:采集单元、接收单元、更新单元和显示单元;
所述采集单元,用于采集第一用户的第一姿态信息,所述第一姿态信息用于指示所述第一用户的姿态;
所述接收单元,用于接收第二终端设备发送的第二姿态信息,所述第二姿态信息用于指示第二用户的姿态;
所述更新单元,用于根据所述采集单元采集的所述第一姿态信息,更新与所述第一用户对应的第一立体模型;并根据所述接收单元接收的所述第二姿态信息,更新与所述第二用户对应的第二立体模型;
所述显示单元,用于显示所述更新单元更新后的所述第一立体模型和所述更新单元更新后的所述第二立体模型。
8.根据权利要求7所述的终端设备,其特征在于,所述终端设备还包括:获取单元和建立单元;
所述获取单元,用于在所述采集单元采集第一用户的第一姿态信息之前,获取所述第一用户的第一深度信息,所述第一深度信息为所述第一终端设备采集的所述第一用户的深度图像的信息;
所述建立单元,用于根据所述获取单元获取的所述第一深度信息,建立所述第一立体模型。
9.根据权利要求7所述的终端设备,其特征在于,所述接收单元,还用于在接收第二终端设备发送的第二姿态信息之前,接收所述第二终端设备发送的第二深度信息,并根据所述第二深度信息,建立所述第二立体模型,所述第二深度信息为所述第二终端设备采集的所述第二用户的深度图像的信息;或者,接收所述第二终端设备发送的所述第二立体模型。
10.一种终端设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的虚拟交互方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811536448.XA CN109840016A (zh) | 2018-12-14 | 2018-12-14 | 一种虚拟交互方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811536448.XA CN109840016A (zh) | 2018-12-14 | 2018-12-14 | 一种虚拟交互方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109840016A true CN109840016A (zh) | 2019-06-04 |
Family
ID=66883218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811536448.XA Pending CN109840016A (zh) | 2018-12-14 | 2018-12-14 | 一种虚拟交互方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109840016A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102763422A (zh) * | 2010-02-23 | 2012-10-31 | 微软公司 | 用于无设备的增强的现实与交互的投影仪和深度相机 |
CN102968549A (zh) * | 2012-10-17 | 2013-03-13 | 北京大学 | 基于智能移动终端设备的多人在线交互方法与*** |
CN105359063A (zh) * | 2013-06-09 | 2016-02-24 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
CN105391858A (zh) * | 2015-11-04 | 2016-03-09 | 深圳维爱特科技有限公司 | 虚拟现实眼镜及其控制方法、装置和*** |
CN106534142A (zh) * | 2016-11-22 | 2017-03-22 | 包磊 | 多媒体数据的实时传输方法及装置 |
CN106582005A (zh) * | 2016-11-14 | 2017-04-26 | 深圳市豆娱科技有限公司 | 一种虚拟游戏中数据同步交互方法及装置 |
CN107463261A (zh) * | 2017-08-11 | 2017-12-12 | 北京铂石空间科技有限公司 | 立体交互***及方法 |
-
2018
- 2018-12-14 CN CN201811536448.XA patent/CN109840016A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102763422A (zh) * | 2010-02-23 | 2012-10-31 | 微软公司 | 用于无设备的增强的现实与交互的投影仪和深度相机 |
CN102968549A (zh) * | 2012-10-17 | 2013-03-13 | 北京大学 | 基于智能移动终端设备的多人在线交互方法与*** |
CN105359063A (zh) * | 2013-06-09 | 2016-02-24 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
CN105391858A (zh) * | 2015-11-04 | 2016-03-09 | 深圳维爱特科技有限公司 | 虚拟现实眼镜及其控制方法、装置和*** |
CN106582005A (zh) * | 2016-11-14 | 2017-04-26 | 深圳市豆娱科技有限公司 | 一种虚拟游戏中数据同步交互方法及装置 |
CN106534142A (zh) * | 2016-11-22 | 2017-03-22 | 包磊 | 多媒体数据的实时传输方法及装置 |
CN107463261A (zh) * | 2017-08-11 | 2017-12-12 | 北京铂石空间科技有限公司 | 立体交互***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109814968A (zh) | 一种信息输入方法、终端设备和计算机可读存储介质 | |
CN109889348A (zh) | 一种图像分享方法及装置 | |
CN109218648A (zh) | 一种显示控制方法及终端设备 | |
CN109491738A (zh) | 一种终端设备的控制方法及终端设备 | |
CN109871164A (zh) | 一种消息发送方法及终端设备 | |
CN110058836A (zh) | 一种音频信号的输出方法及终端设备 | |
CN109343788A (zh) | 一种移动终端的操作控制方法及移动终端 | |
CN109710165A (zh) | 一种绘图处理方法及移动终端 | |
CN110445984A (zh) | 一种拍摄提示方法及电子设备 | |
CN109407832A (zh) | 一种终端设备的控制方法及终端设备 | |
CN109656437A (zh) | 一种信息显示方法及终端设备 | |
CN109257505A (zh) | 一种屏幕控制方法及移动终端 | |
CN109743449A (zh) | 一种虚拟按键显示方法及终端 | |
CN108898555A (zh) | 一种图像处理方法及终端设备 | |
CN109669611A (zh) | 试衣方法及终端 | |
CN110096203A (zh) | 一种截图方法及移动终端 | |
CN110049187A (zh) | 一种显示方法及终端设备 | |
CN109544445A (zh) | 一种图像处理方法、装置及移动终端 | |
CN110058686A (zh) | 一种控制方法及终端设备 | |
CN108833791A (zh) | 一种拍摄方法和装置 | |
CN109117037A (zh) | 一种图像处理的方法及终端设备 | |
CN109005297A (zh) | 一种导航应用的显示方法和移动终端 | |
CN109327568A (zh) | 一种切换摄像头的方法及移动终端 | |
CN109166164A (zh) | 一种表情图片的生成方法及终端 | |
CN108898000A (zh) | 一种解锁屏幕的方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |