CN114167997A - 一种模型显示方法、装置、设备和存储介质 - Google Patents

一种模型显示方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114167997A
CN114167997A CN202210137976.8A CN202210137976A CN114167997A CN 114167997 A CN114167997 A CN 114167997A CN 202210137976 A CN202210137976 A CN 202210137976A CN 114167997 A CN114167997 A CN 114167997A
Authority
CN
China
Prior art keywords
dimensional model
position information
model
information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210137976.8A
Other languages
English (en)
Other versions
CN114167997B (zh
Inventor
罗子雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sosi Information Technology Co ltd
Original Assignee
Beijing Sosi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sosi Information Technology Co ltd filed Critical Beijing Sosi Information Technology Co ltd
Priority to CN202210137976.8A priority Critical patent/CN114167997B/zh
Publication of CN114167997A publication Critical patent/CN114167997A/zh
Application granted granted Critical
Publication of CN114167997B publication Critical patent/CN114167997B/zh
Priority to PCT/CN2023/073666 priority patent/WO2023155672A1/en
Priority to PCT/CN2023/073649 priority patent/WO2023155670A1/en
Priority to US18/198,828 priority patent/US20230290071A1/en
Priority to US18/209,471 priority patent/US11869145B2/en
Priority to US18/518,871 priority patent/US20240144603A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及一种模型显示方法、装置、设备和存储介质。方法具体包括:实时获取操控输入设备的手部对应的手部模型在虚拟现实场景中的第一定位信息,同时接收输入设备的输入信号,并确定输入信号对应的按键在三维模型中的位置信息,随后根据输入信号对应的按键在三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息,并在虚拟现实***对应的虚拟现实场景中、第二定位信息处显示三维模型,能够将现实空间中的输入设备对应的模型准确的显示在虚拟现实场景中,方法简便,便于实施。

Description

一种模型显示方法、装置、设备和存储介质
技术领域
本公开涉及数据技术领域,尤其涉及一种模型显示方法、装置、设备和存储介质。
背景技术
目前,在虚拟现实应用场景中,要实现虚拟和现实的交互,通常需要识别现实中设备的整体外形,或是在设备上安装其他装置,来对设备进行识别和定位,但是,设备在操作的过程中会存在被手部大面积遮挡的情况,通过拍摄图像识别和定位的准确性比较低;对于在设备上安装其他装置的方法,需要预先通过繁琐的步骤安装其他装置,无法在实际应用中便捷的使用,受到的限制比较多。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种模型显示方法、装置、设备和存储介质,能够虚拟现实场景中快速准确的显示键盘模型,操作简便,便于后续根据虚拟现实场景中的键盘模型,使用键盘设备进行交互操作。
第一方面,本公开实施例提供了一种模型显示方法,包括:
获取手部对应的手部模型在虚拟现实***中的第一定位信息;
接收输入设备的至少一个输入信号;
根据输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息;
在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型。
可选的,根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息,包括:
根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;
根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;
根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实***中的第二定位信息。
可选的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,包括:
根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;
根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可选的,根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,包括:
若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;
基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,包括:
若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;
根据第一定位信息中的姿态信息,确定目标部位所在平面的空间位置信息和目标部位的朝向;
基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;
根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,显示三维模型之后,方法还包括:
若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的***控效果。
可选的,输入设备包括键盘和鼠标。
可选的,在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型后,方法还包括:
接收输入设备的输入信号,得到更新后的输入信号;
获取更新后的第一定位信息;
根据更新后的输入信号和更新后的第一定位信息,在虚拟现实场景中更新三维模型。
第二方面,本公开实施例提供了一种模型显示装置,包括:
获取单元,用于获取手部对应的手部模型在虚拟现实***中的第一定位信息;
接收单元,用于接收输入设备的至少一个输入信号;
确定单元,用于根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息;
显示单元,用于在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型。
第三方面,本公开实施例提供了一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上述的模型显示方法。
第四方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述的模型显示方法的步骤。
本公开实施例提供的一种模型显示方法,实时获取手部对应的手部模型在虚拟现实***中的第一定位信息,也可以显示手部模型,接收输入设备的输入信号,并确定输入信号对应的按键在输入设备对应的三维模型中的位置信息,随后将输入信号对应的按键在三维模型中的位置信息和手部模型在虚拟现实***中的第一定位信息对应,确定三维模型在虚拟现实***中的第二定位信息,随后在虚拟现实***对应的虚拟现实场景中、第二定位信息处显示三维模型。本公开的模型显示方法,通过手部按键的方式,不需要拍摄输入设备的图像,不受手部遮挡输入设备问题的影响,且也不需要安装外置装置,就能够在虚拟现实场景中快速准确的显示现实空间中的输入设备对应的三维模型,在实际应用中能够快速上手,方便性大大提升,也便于后续用户根据虚拟现实场景中显示的三维模型高效的使用输入设备进行交互操作。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种虚拟现实设备的示意图;
图2为本公开实施例提供的一种模型显示方法的流程示意图;
图3a为本公开实施例提供的另一种应用场景的示意图;
图3b为本公开实施例提供的一种键盘的示意图;
图3c为本公开实施例提供的一种虚拟现实场景的示意图;
图4为本公开实施例提供的一种模型显示方法的流程示意图;
图5为本公开实施例提供的一种模型显示方法的流程示意图;
图6为本公开实施例提供的一种模型显示装置的结构示意图;
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
随着虚拟现实技术的快速发展,基于虚拟现实技术的设备被广泛应用,例如图1所示的虚拟现实设备100,图1所示的虚拟现实设备100可以称为头戴式显示器,一种可行的实现方式为:头戴式显示器执行本公开提供的模型显示方法,三维模型具体可以显示在头戴式显示器的显示屏幕上;另一种可行的实现方式为,头戴式显示器获取输入信号,将输入信号传输至头戴式显示器连接的主机进行处理得到第二定位信息,随后主机将第二定位信息发送至头戴式显示器,头戴式显示器基于第二定位信息显示三维模型,实现虚拟和现实的交互。
针对上述技术问题,本公开实施例提供了一种模型显示方法,通过实时获取用户控制输入设备的手部对应的手部模型在虚拟现实***中的第一定位信息,随后接收输入设备发出的一个或多个输入信号,确定输入信号对应的按键,最后将确定的按键在三维模型上的位置信息和手部模型在虚拟现实***上的第一行为信息对应,确定三维模型在虚拟现实***中的第二定位信息,随后基于该第二定位信息将三维模型在虚拟现实***对应的虚拟现实场景中显示出来,不需要安装其他设备就能够将现实空间中的输入设备对应的三维模型准确的映射到虚拟现实场景中,且能够最大限度降低遮挡的影响,用户还可以在虚拟现实场景中观看到手部模型显示在三维模型上,可以准确的确定在现实空间中,用户手部在输入设备上的具***置,便于后续根据虚拟现实场景中显示的三维模型和手部模型的状况,高效的使用输入设备进行交互。具体的,通过下述一个或多个实施例对模型显示方法进行详细说明。
图2为本公开实施例提供的一种模型显示方法的流程示意图,应用于虚拟现实***,具体包括如图2所示的步骤S210至S250:
可理解的,输入设备包括键盘和鼠标,下述实施例以输入设备是键盘为例进行说明。
示例性的,参见图3a,图3a为本公开实施例提供的另一种应用场景的示意图,图3a中包括键盘310、头戴式显示器320和用户手部330,用户头部佩戴头戴式显示器320,用户手部330操作键盘310,用户手部330是指用户双手,用户双手操控键盘310,按下按键A会产生一个键盘信号,键盘310的操作效果为按键A按下和按键A抬起,按下按键W会产生一个键盘信号,按键W同样会产生按键W按下和按键W抬起的效果;其中,键盘310内按键的具体布局如图3b中所示的键盘310,图3c中的340是图3a中头戴式显示器320上运行的虚拟现实软件***内构建的场景,可以称为虚拟现实场景340。
针对上述用户和虚拟场景的交互存在的问题,本公开实施例提供的方法能够根据键盘310在现实空间中的空间位置和姿态,将键盘310对应的键盘模型350映射到头戴式显示器320构建的虚拟现实场景340中,实现用户观看虚拟现实场景340中显示的键盘310对应的键盘模型350来了解并操控键盘310,可理解的是,用户实际操作键盘310的情况和虚拟现实场景中显示的情况在一定程度上是同步的,例如,在图3c中,虚拟现实场景340中显示手部模型360中右手放置在键盘模型350右侧数字区域,此时,现实空间中,也就是图3a的场景中,用户手部330也放置在键盘310的右侧数字区域,便于用户根据虚拟现实场景340中显示的情况,操作现实空间中键盘310。
S210、获取手部对应的手部模型在虚拟现实***中的第一定位信息。
可理解的,虚拟现实***包括上述图1中头戴式显示器(虚拟现实设备)和虚拟现实软件***,例如虚拟现实软件***可以指头戴式显示器上运行的操作***,还可以指和头戴式显示器相连的主机上的操作***。
可理解的,可以采用相关技术中图像识别或者手部跟踪设备来确定用户手部对应的手部模型在虚拟现实***中的第一定位信息,手部跟踪设备可以佩戴在用户的双手上,对手部跟踪设备不作限定,只要可以根据手部轮廓构建完整的手部模型、展示手部姿势以及确定手部模型在虚拟现实***中的第一定位信息即可。虚拟现实软件***还可以根据获取的手部模型的模型信息,构建手部模型,随后根据第一定位信息将手部模型在虚拟现实***对应的虚拟现实场景中进行显示,其中第一定位信息包括位置信息和姿态信息。
示例性的,图3a中显示的头戴式显示器320会配置多个摄像头,用于实时拍摄用户头部周围的环境信息,根据环境信息构建目标空间,目标空间可以是以头戴式显示器为中心构建的立体空间,上述应用场景中的键盘310和用户手部330就在确定的目标空间内,手部模型在虚拟现实***中的第一定位信息也就是手部模型在目标空间的定位信息,虚拟现实场景中显示目标空间内的物体,也就是实现虚拟现实场景和目标空间的交互。第一定位信息包括位置信息和姿态信息,姿态信息是指在目标空间中的旋转角、俯仰角和翻滚角等,位置信息是指是指在目标空间内的三维坐标。
S220、接收输入设备的至少一个输入信号。
可理解的,在上述S210的基础上,虚拟现实软件***接收键盘设备的至少一个输入信号,输入信号是指键盘设备上每个按键的按下或抬起时产生的信号,每个按键产生的信号不同,也就是键盘设备上的每个按键都存在对应的信号,虚拟现实软件***可以根据接收到的信号判断是哪个按键产生的。可理解的是,在图3a所示的应用场景中,键盘310可以和头戴式显示器320连接,头戴式显示器320上运行虚拟现实软件***,头戴式显示器320相当于一体机,同时虚拟现实软件***可以对头戴式显示器320进行控制,虚拟现实软件***执行本公开提供的模型显示方法。
可理解的,虚拟现实软件***还可以接收鼠标按下按键产生的输入信号,输入设备为鼠标时的鼠标模型的显示方法和键盘模型的显示方法相同,在此不作赘述。
S230、根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息。
可选的,在确定三维模型在虚拟现实***中的第二定位信息之前,需要确定输入设备对应的三维模型,具体包括:获取输入设备的配置信息,配置信息包括型号信息;根据型号信息,确定输入设备对应的三维模型。
示例性的,键盘设备的输入信号的按键为A,在键盘模型中找到按键A的位置信息,在虚拟现实场景中,显示的手部模型中左手中指按下了按键A,也就是现实空间中用户左手的中指按下了物理键盘上的按键A,产生了关于按键A的输入信号,现实空间中的手部状态发生了变化,在虚拟现实场景中显示的手部模型也会同步发生改变,此时,获取手部模型的左手中指在虚拟现实***中的第一定位信息,也就是手部模型的左手中指在目标空间中的第一定位信息,将手部模型的左手中指在虚拟现实***中的第一定位信息和键盘模型上字符A的位置信息对应,即键盘模型上字符A的位置信息和手部模型的左手中指在虚拟现实***中的第一定位信息相同。最后,根据键盘模型上字符A的位置信息,将包括按键A的键盘模型映射到虚拟现实场景中,在虚拟现实场景中就可以观看到手部模型的左手中指与键盘模型的按键A有接触。
可理解的,在确定键盘模型后,每个按键在键盘模型上的位置信息就确定了,每个按键在键盘模型上的位置信息也是固定的,或是可以确定的,每个按键在键盘模型上的位置信息包括每个按键在键盘模型上的距离、每个按键之间的空间距离和每个按键之间的相对位置,还可以是按键相对预设标识之间的空间距离和相对位置,预设标识可以是预先在键盘设备上设置的,预设标识在键盘上的位置不作限定,例如预设标识可以是白色的点,其中每个型号的键盘对应的三维模型上的按键之间的距离以及按键之间的方向是固定的,例如,不管键盘模型的位置以及姿态信息,按键A和按键W之间的空间距离是固定的,按键W在按键A的斜上方的相对位置关系也是固定的。
可选的,根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息,包括:根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实***中的第二定位信息。
可理解的,获取手部模型在虚拟现实***中的第一定位信息,也就是手部模型在上述目标空间中的第一定位信息,具体是指现实空间中手指按下按键时,手部模型中该手指在目标空间中的第一定位信息,因为手部模型中该手指也对应执行了按下操作,所以可以按照预设规则,根据手部模型中该手指的在目标空间中的第一定位信息中的空间位置信息,得到被按下的按键在目标空间中的空间位置信息,每次手指按下按键均会得到一个输入信号,根据输入信号确定是哪个按键被按下了,进而确定该按键在目标空间中的空间位置信息;确定任一按键的空间位置信息后,根据该按键在三维模型中的位置信息和该按键的空间位置信息,可以确定整个三维模型的空间位置信息。
可理解的,确定键盘设备的空间位置信息后,继续确定键盘设备在目标空间中的姿态信息,主要是确定键盘所在平面和键盘设备朝向,也就确定了三维模型所在的平面和三维模型的朝向。具体的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,姿态信息包括横滚角、俯仰角和偏航角,预设数量可以是第一数量或第二数量,第一数量为3个及以上按键,第二数量为3个以下按键。
可理解的,确定三维模型的姿态信息和空间位置信息后,根据三维模型的姿态信息和空间位置信息,确定整个三维模型在目标空间中的第二定位信息。
S240、在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型。
可理解的,在上述S240的基础上,确定键盘模型在虚拟现实***中的定位信息后,也就是确定键盘模型在目标空间内的定位信息后,将键盘模型映射到虚拟现实***构建的虚拟现实场景中,也就是将确定的键盘对应的待显示的键盘模型在虚拟现实***中虚拟现实软件***所构建的虚拟现实场景中显示出来。在虚拟现实场景中该三维模型在目标空间中的位置和姿态和键盘(物理键盘)在现实空间的位置和姿态相同,用户可以通过头戴式显示器中显示屏幕上显示的虚拟现实场景中键盘模型的状态,来确定现实空间中物理键盘的情况,进而去控制物理键盘实现文字的快速输入或其他功能。
可选的,显示三维模型之后,方法还包括:若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的***控效果。
可理解的,在虚拟现实场景显示三维模型后,用户在现实中使用输入设备后,例如按下输入设备的某一按键后,该按键产生输入信号,虚拟现实软件***接收到该输入信号后,在三维模型中显示该按键被按下的***控效果。
本公开实施例提供的一种模型显示方法,确定输入设备对应的三维模型,同时实时获取手部对应的手部模型在虚拟现实***中的定位信息,也可以显示手部模型,接收输入设备的输入信号,并确定输入信号对应的按键在三维模型中的位置信息,随后将输入信号对应的按键在三维模型中的位置信息和手部模型在虚拟现实***中的定位信息对应,确定三维模型在虚拟现实***中的定位信息,随后将三维模型映射到虚拟现实***对应的虚拟现实场景中。本公开的三维模型的映射方法,能够将现实空间中的输入对应的三维模型准确的映射到虚拟现实场景中,方法简便,不需要外接其他设备,且能够对大限度的减少遮挡的影响,用户可以在虚拟现实场景中观看到手部模型显示在三维模型上,便于后续根据虚拟现实场景中显示的三维模型,高效的使用输入设备进行交互。
在上述实施例的基础上,图4为本公开实施例提供的一种模型显示方法的流程示意图,可选的,根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,具体还包括如图4所示的如下步骤S410至S430:
S410、根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息。
可理解的,手部按下按键时,会产生输入信号,根据此时手部模型的第一定位信息中的空间位置信息,可以确定该按键的空间位置信息,具体的,手部可以按下预设数量的按键,产生预设数量的输入信号,预设数量具体可以是第一数量或第二数量。例如,手部指尖按下按键时,手部模型中该指尖的空间位置信息可以近似等于按键的空间位置信息。手部可以同时按下多个按键,也可以一次只按下一个按键,具体按下方式不做限定。可理解的是,能按下按键的情况默认有按键的键盘正面朝上。
S420、根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向。
可选的,上述S420具体包括:若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可理解的,在上述S410的基础上,若预设数量是第一数量,第一数量为3个及3个以上,以按下3个按键为例,根据不在一条直线上的3个按键的空间位置确定键盘设备所在平面的空间位置信息,键盘设备所在平面的空间位置信息也就是三维模型所在平面的空间位置信息,三维模型所在平面的空间位置信息中包括三维模型姿态的横滚角和俯仰角;随后根据不在一条直线上的3个按键构成三角形(多边形)的朝向、3个按键的空间位置信息和3个按键在三维模型中的位置信息,确定三维模型的朝向,三维模型的朝向包括三维模型姿态的偏航角。
可选的,上述S420具体包括:若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;根据第一定位信息中的姿态信息,确定目标部件所在平面的空间位置信息和目标部位的朝向;基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可理解的,在上述S410的基础上,若预设数量是第二数量,第二数量的按键可以是1个和或2个按键,手指按下按键A后,获取到的第一定位信息中包括该手指在按下按键A时的空间位置信息,下述实施例以按下1个按键A为例进行说明。确定手部模型中按下第二数量的按键的目标部位,目标部位可以是按下按键的手指的指肚,例如右手食指按下按键A时,右手食指的指肚记为目标部位,目标部位还可以是手指的指关节;随后根据第一定位信息中目标部位的姿态信息,也就是指肚的姿态信息,确定目标部位所在平面的空间位置信息;随后对指肚所在平面的空间位置信息进行估算,确定放置键盘的平面的空间位置信息,也就是确定三维模型所在平面的空间位置信息,三维模型所在平面的空间位置信息包括横滚角和俯仰角,具体的估算方法不作限定;最后根据第一定位信息中按下的按键A的指尖的朝向确定被按下的按键A的朝向,例如键盘面对用户,用户按下的按键A时指尖是斜向下的,键盘处于不同位置,指尖的朝向不同,再基于按键A的朝向和按键A在三维模型中的位置信息,确定三维模型的朝向,三维模型的朝向包括偏航角。
S430、根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可理解的,在上述S420的基础上,根据三维模型所在平面的空间位置信息和三维模型的朝向,确定三维模型在虚拟现实***中的姿态信息。
本公开实施例提供的一种模型显示方法,通过根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键在虚拟现实***中的空间位置信息;根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;最后根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。本公开提供的方法,根据手部模型的定位信息,基于较少的输入信号即可确定三维模型的定位信息,方法简便的同时,采用按键按下产生的输入信号确定按键的方式还能够最大限度的降低遮挡的影响,应用的场景比较广泛。
在上述实施例的基础上,图5为本公开实施例提供的一种模型显示方法的流程示意图,可选的,在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型后,方法具体还包括如图5所示的如下步骤S510至S530:
S510、接收输入设备的输入信号,得到更新后的输入信号。
可理解的,在将键盘的键盘模型映射到虚拟现实场景中后,实时接收键盘设备的输入信号,用于随时调整虚拟现实场景中键盘模型的姿态和位置等,确保虚拟现实场景中模型显示状态和现实空间中键盘设备的状态同步。
S520、获取更新后第一定位信息。
可理解的,实时获取更新后的手部模型在虚拟现实场景中的定位信息,随后可以根据获取的更新后的关于用户手部的定位信息和模型信息,更新手部模型在虚拟现实场景中的定位信息,更新手部模型是指更新手部模型在虚拟现实场景中的显示状态,包括用户手部中各手指的显示状态等,例如用户左手产生了位移,在虚拟现实场景中左手的显示状态就发生了变化。
S530、根据更新后的输入信号和更新后第一定位信息,在虚拟现实场景中更新三维模型。
可理解的,在上述S510和S520的基础上,将更新后的输入信号对应的按键在键盘模型的位置信息和更新后的手部模型在虚拟现实***中的第一定位信息对应,将更新后的键盘模型映射到虚拟现实场景中,也就是改变键盘模型在虚拟现实场景中的显示状态。可以理解为,键盘模型随着手部模型发生了“跳转”现象,根据手部模型在虚拟现实***中的定位信息,将键盘模型“移动”到手部模型处。
可以理解的是,物理键盘设备以及用户手部是随时移动的,手部跟踪设备检测的关于手部的数据也是实时生成的,可以实时确定手部模型在目标空间中的定位信息,也就是随时改变手部模型在虚拟现实场景中的显示状态,再根据手部模型在目标空间中的定位信息,确定键盘模型在目标空间中的定位信息。其中,首次确定键盘模型后,若没有更换键盘设备,后续可以不用根据物理键盘的型号重新选择键盘模型,可以直接确定输入信号的字符的定位信息即可,从而加快更新键盘模型显示状态的速率。
可理解的,当用户没有按下键盘上的按键,但是键盘发生了移动时,可以获取键盘设备上设置的惯性传感器实时采集到的数据,也就是对于键盘模型在目标空间中的定位信息的确定还可以通过惯性传感器确定,惯性传感器会实时采集键盘设备的相关数据,该数据包括键盘的定位信息。
可选的,在虚拟现实***的虚拟场景中、第二定位信息处显示所述三维模型后,方法还包括:接收输入设备的输入信号;根据输入信号更新三维模型在虚拟现实场景中的显示状态,并在虚拟现实场景中显示输入信号对应的按键的操作效果。
可理解的,在将键盘模型显示在虚拟现实场景中后,用户可以操作键盘,按下或抬起键盘上的按键,虚拟现实软件***接收到该按键的输入信号后,在键盘模型上同步显示该按键按下或抬起的操作,也就是根据用户对键盘的操作实时改变键盘模型在虚拟现实场景中的显示状态,同时在虚拟现实场景中显示该按键对应的字符,后续根据该字符实现对应的操作。
本公开实施例提供的一种模型显示方法,通过实时接收的输入信号,以及实时获取手部模型在目标空间中的定位信息,能够及时准确的将现实空间中输入设备和手部的位置变化同步到虚拟现实场景中,也就是最大限度的保证虚拟现实场景中显示的三维模型和手部模型的对应关系与现实空间中输入设备和用户手部的对应关系一致,以便于用户通过观看虚拟现实场景就能够了解现实空间的情况,近而对输入设备进行操控。
图6为本公开实施例提供的模型显示装置的结构示意图。本公开实施例提供的模型显示装置可以执行上述模型显示方法实施例提供的处理流程,如图6所示,装置600包括:
获取单元610,用于获取手部对应的手部模型在虚拟现实***中的第一定位信息;
接收单元620,用于接收输入设备的至少一个输入信号;
确定单元630,用于根据输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息;
映射单元640,用于在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型。
可选的,确定单元630中根据至少一个输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息,确定三维模型在虚拟现实***中的第二定位信息,具体用于:
根据至少一个输入信号中任一输入信号对应的按键在输入设备对应的三维模型中的位置信息和第一定位信息中的空间位置信息,确定三维模型的空间位置信息;
根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息;
根据三维模型的空间位置信息和三维模型的姿态信息,确定三维模型在虚拟现实***中的第二定位信息。
可选的,确定单元630中根据第一定位信息和预设数量的输入信号对应的按键在三维模型中的位置信息,确定三维模型的姿态信息,具体用于:
根据第一定位信息中的空间位置信息,确定预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向;
根据平面的空间位置信息和三维模型的朝向,确定三维模型的姿态信息。
可选的,确定单元630中根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,具体用于:
若预设数量为第一数量,则根据第一数量的第一定位信息中的空间位置信息,确定三维模型所在平面的空间位置信息;
基于第一数量的按键构成的多边形的朝向、第一数量的空间位置信息和第一数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,确定单元630中根据预设数量的第一定位信息和预设数量的按键在三维模型中的位置信息,确定三维模型所在平面的空间位置信息和三维模型的朝向,具体用于:
若预设数量为第二数量,则确定手部模型中按下第二数量的按键的目标部位;
根据第一定位信息中的姿态信息,确定目标部位所在平面的空间位置信息和目标部位的朝向;
基于目标部位所在平面的空间位置信息进行推算,确定三维模型所在平面的空间位置信息;
根据目标部位的朝向确定第二数量的按键的朝向,并基于按键的朝向和第二数量的按键在三维模型中的位置信息,确定三维模型的朝向。
可选的,装置600还包括效果单元,效果单元用于显示三维模型之后,具体用于:
若接收到输入设备的至少一个输入信号,则在三维模型中显示至少一个输入信号对应的按键的***控效果。
可选的,装置600中输入设备包括键盘和鼠标。
可选的,装置600还包括更新单元,更新单元用于在虚拟现实***的虚拟场景中、第二定位信息处显示三维模型后,具体用于:
接收输入设备的输入信号,得到更新后的输入信号;
获取更新后的第一定位信息;
根据更新后的输入信号和更新后的第一定位信息,在虚拟现实场景中更新三维模型。
图6所示实施例的模型显示装置可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本公开实施例提供的一种电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程,如图7所示,电子设备700包括:处理器710、通讯接口720和存储器730;其中,计算机程序存储在存储器730中,并被配置为由处理器710执行如上述的模型显示方法。
另外,本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的模型显示方法。
此外,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上所述的模型显示方法。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种模型显示方法,其特征在于,包括:
获取手部对应的手部模型在虚拟现实***中的第一定位信息;
接收输入设备的至少一个输入信号;
根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实***中的第二定位信息;
在所述虚拟现实***的虚拟场景中、所述第二定位信息处显示所述三维模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实***中的第二定位信息,包括:
根据所述至少一个输入信号中任一输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息中的空间位置信息,确定所述三维模型的空间位置信息;
根据所述第一定位信息和预设数量的输入信号对应的按键在所述三维模型中的位置信息,确定所述三维模型的姿态信息;
根据所述三维模型的空间位置信息和所述三维模型的姿态信息,确定所述三维模型在所述虚拟现实***中的第二定位信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一定位信息和预设数量的输入信号对应的按键在所述三维模型中的位置信息,确定所述三维模型的姿态信息,包括:
根据所述第一定位信息中的空间位置信息,确定所述预设数量的输入信号对应的按键的空间位置信息;
根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向;
根据所述平面的空间位置信息和所述三维模型的朝向,确定所述三维模型的姿态信息。
4.根据权利要求3所述的方法,其特征在于,所述根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向,包括:
若预设数量为第一数量,则根据所述第一数量的第一定位信息中的空间位置信息,确定所述三维模型所在平面的空间位置信息;
基于所述第一数量的按键构成的多边形的朝向、所述第一数量的空间位置信息和所述第一数量的按键在所述三维模型中的位置信息,确定所述三维模型的朝向。
5.根据权利要求3所述的方法,其特征在于,所述根据预设数量的第一定位信息和预设数量的按键在所述三维模型中的位置信息,确定所述三维模型所在平面的空间位置信息和所述三维模型的朝向,包括:
若预设数量为第二数量,则确定所述手部模型中按下所述第二数量的按键的目标部位;
根据所述第一定位信息中的姿态信息,确定所述目标部位所在平面的空间位置信息和所述目标部位的朝向;
基于所述目标部位所在平面的空间位置信息进行推算,确定所述三维模型所在平面的空间位置信息;
根据所述目标部位的朝向确定所述第二数量的按键的朝向,并基于所述按键的朝向和所述第二数量的按键在所述三维模型中的位置信息,确定所述三维模型的朝向。
6.根据权利要求1所述的方法,其特征在于,所述显示所述三维模型之后,所述方法还包括:
若接收到所述输入设备的至少一个输入信号,则在所述三维模型中显示所述至少一个输入信号对应的按键的***控效果。
7.根据权利要求1所述的方法,所述输入设备包括键盘和鼠标。
8.根据权利要求1所述的方法,其特征在于,在所述虚拟现实***的虚拟场景中、所述第二定位信息处显示所述三维模型后,所述方法还包括:
接收所述输入设备的输入信号,得到更新后的所述输入信号;
获取更新后的第一定位信息;
根据所述更新后的输入信号和所述更新后的第一定位信息,在所述虚拟现实场景中更新所述三维模型。
9.一种模型显示装置,其特征在于,包括:
获取单元,用于获取手部对应的手部模型在虚拟现实***中的第一定位信息;
接收单元,用于接收输入设备的至少一个输入信号;
确定单元,用于根据所述至少一个输入信号对应的按键在所述输入设备对应的三维模型中的位置信息和所述第一定位信息,确定所述三维模型在所述虚拟现实***中的第二定位信息;
显示单元,用于在所述虚拟现实***的虚拟场景中、所述第二定位信息处显示所述三维模型。
10.一种电子设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1至8中任一所述的模型显示方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的模型显示方法的步骤。
CN202210137976.8A 2022-02-15 2022-02-15 一种模型显示方法、装置、设备和存储介质 Active CN114167997B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202210137976.8A CN114167997B (zh) 2022-02-15 2022-02-15 一种模型显示方法、装置、设备和存储介质
PCT/CN2023/073666 WO2023155672A1 (en) 2022-02-15 2023-01-29 Input device model projecting method, apparatus and system
PCT/CN2023/073649 WO2023155670A1 (en) 2022-02-15 2023-01-29 Model display method, apparatus and system
US18/198,828 US20230290071A1 (en) 2022-02-15 2023-05-17 Model display method, apparatus and system
US18/209,471 US11869145B2 (en) 2022-02-15 2023-06-13 Input device model projecting method, apparatus and system
US18/518,871 US20240144603A1 (en) 2022-02-15 2023-11-24 Input device model projecting method, apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210137976.8A CN114167997B (zh) 2022-02-15 2022-02-15 一种模型显示方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114167997A true CN114167997A (zh) 2022-03-11
CN114167997B CN114167997B (zh) 2022-05-17

Family

ID=80490026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210137976.8A Active CN114167997B (zh) 2022-02-15 2022-02-15 一种模型显示方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114167997B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算***的***和方法
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN105320258A (zh) * 2014-08-05 2016-02-10 深圳Tcl新技术有限公司 虚拟键盘***及其键入方法
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及***
CN105975067A (zh) * 2016-04-28 2016-09-28 上海创米科技有限公司 应用于虚拟现实产品的按键输入设备及方法
CN106537261A (zh) * 2014-07-15 2017-03-22 微软技术许可有限责任公司 全息键盘显示
CN107357434A (zh) * 2017-07-19 2017-11-17 广州大西洲科技有限公司 一种虚拟现实环境下的信息输入设备、***及方法
US20180188923A1 (en) * 2016-12-30 2018-07-05 Cirque Corporation Arbitrary control mapping of input device
JP2021033978A (ja) * 2019-08-14 2021-03-01 藤沼 伊代子 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード(vr・キーボード、仮想キーボード、エア・キーボード、ar・キーボード、エア・キーボード入力方式)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算***的***和方法
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN106537261A (zh) * 2014-07-15 2017-03-22 微软技术许可有限责任公司 全息键盘显示
CN105320258A (zh) * 2014-08-05 2016-02-10 深圳Tcl新技术有限公司 虚拟键盘***及其键入方法
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及***
CN105975067A (zh) * 2016-04-28 2016-09-28 上海创米科技有限公司 应用于虚拟现实产品的按键输入设备及方法
US20180188923A1 (en) * 2016-12-30 2018-07-05 Cirque Corporation Arbitrary control mapping of input device
CN107357434A (zh) * 2017-07-19 2017-11-17 广州大西洲科技有限公司 一种虚拟现实环境下的信息输入设备、***及方法
JP2021033978A (ja) * 2019-08-14 2021-03-01 藤沼 伊代子 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード(vr・キーボード、仮想キーボード、エア・キーボード、ar・キーボード、エア・キーボード入力方式)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
WO2023155670A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Model display method, apparatus and system

Also Published As

Publication number Publication date
CN114167997B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11896893B2 (en) Information processing device, control method of information processing device, and program
CN107615214B (zh) 界面控制***、界面控制装置、界面控制方法及程序
WO2019120032A1 (zh) 模型构建方法、拍照方法、装置、存储介质及终端
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US20050264527A1 (en) Audio-visual three-dimensional input/output
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
MXPA02005288A (es) Procesador de imagen, metodo de procesamiento de imagen, medio de registro, programa de computadora y dispositivo esmi conductor.
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
JP2005227876A (ja) 画像処理方法、画像処理装置
CN114170407B (zh) 输入设备的模型映射方法、装置、设备和存储介质
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
CN114706489B (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
US11500453B2 (en) Information processing apparatus
WO2018149318A1 (zh) 一种输入方法、装置、设备、***和计算机存储介质
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
JP7513262B2 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
CN114740997A (zh) 交互控制装置及交互控制方法
US11869145B2 (en) Input device model projecting method, apparatus and system
CN112529770A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP7373090B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP7480408B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant