CN110968194A - 交互对象的驱动方法、装置、设备以及存储介质 - Google Patents

交互对象的驱动方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN110968194A
CN110968194A CN201911193989.1A CN201911193989A CN110968194A CN 110968194 A CN110968194 A CN 110968194A CN 201911193989 A CN201911193989 A CN 201911193989A CN 110968194 A CN110968194 A CN 110968194A
Authority
CN
China
Prior art keywords
interactive object
virtual space
image
driving
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911193989.1A
Other languages
English (en)
Inventor
孙林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911193989.1A priority Critical patent/CN110968194A/zh
Publication of CN110968194A publication Critical patent/CN110968194A/zh
Priority to JP2021556969A priority patent/JP2022526512A/ja
Priority to KR1020217031143A priority patent/KR20210131414A/ko
Priority to PCT/CN2020/104593 priority patent/WO2021103613A1/zh
Priority to TW109132226A priority patent/TWI758869B/zh
Priority to US17/703,499 priority patent/US20220215607A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种交互对象的驱动方法、装置、设备以及存储介质。所述方法包括：获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；获取目标对象在所述第一图像中的第一位置；以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。

Description

交互对象的驱动方法、装置、设备以及存储介质
技术领域
本公开涉及计算机技术领域，具体涉及一种交互对象的驱动方法、装置、设备以及存储介质。
背景技术
人机交互的方式大多基于按键、触摸、语音进行输入，通过在显示屏上呈现图像、文本或虚拟人物进行回应。目前虚拟人物多是在语音助理的基础上改进得到的，其只是对设备的语音进行输出，用户与虚拟人物的交互还停留表面上。
发明内容
本公开实施例提供一种交互对象的驱动方案。
根据本公开的一方面，提供一种交互对象的驱动方法。所述方法包括：获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；获取目标对象在所述第一图像中的第一位置；以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作，包括：根据所述映射关系，将所述第一位置映射到所述虚拟空间中，得到目标对象在所述虚拟空间中对应的第二位置；根据所述第二位置，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述根据所述第二位置，驱动所述交互对象执行动作，包括：根据所述第二位置，确定映射到虚拟空间中的目标对象和所述交互对象之间的第一相对角度；确定所述交互对象的一个或多个身体部位执行动作的权重；按照所述第一相对角度以及所述权重，驱动所述交互对象的各个身体部位转动对应的偏转角度，以使所述交互对象朝向所述映射到虚拟空间中的目标对象。
结合本公开提供的任一实施方式，所述虚拟空间和所述交互对象是将虚拟摄像设备获取的图像数据在所述显示设备的屏幕上进行显示而得到的。
结合本公开提供的任一实施方式，所述根据所述第二位置，驱动所述交互对象执行动作，包括：将所述虚拟摄像设备移动至所述第二位置处；将所述交互对象的视线设置为对准所述虚拟摄像设备。
结合本公开提供的任一实施方式，所述根据所述第二位置，驱动所述交互对象执行动作，包括：驱动所述交互对象执行将视线移动至所述第二位置处的动作。
结合本公开提供的任一实施方式，所述根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作，包括：根据所述映射关系，将所述第一图像映射至所述虚拟空间中，得到第二图像；将所述第一图像划分为多个第一子区域，并将所述第二图像划分为与所述多个第一子区域分别对应的多个第二子区域；在所述第一图像中确定所述目标对象所在的目标第一子区域，根据所述目标第一子区域确定对应的目标第二子区域；根据所述目标第二子区域，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述根据所述目标第二子区域，驱动所述交互对象执行动作，包括：确定所述交互对象与所述目标第二子区域之间的第二相对角度；驱动所述交互对象转动所述第二相对角度，以使所述交互对象朝向所述目标第二子区域。
结合本公开提供的任一实施方式，所述以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系，包括：确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系；
确定所述第一图像的像素平面在所述虚拟空间中对应的映射平面，所述映射平面为将所述第一图像的像素平面投影到所述虚拟空间中得到的；确定所述交互对象与所述映射平面之间的轴向距离。
结合本公开提供的任一实施方式，所述确定所述第一图像的像素与虚拟空间之间的比例关系，包括：确定所述第一图像的单位像素距离与真实空间单位距离的第一比例关系；确定真实空间单位距离与虚拟空间单位距离的第二比例关系；根据所述第一比例关系和所述第二比例关系，确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系。
结合本公开提供的任一实施方式，所述目标对象在所述第一图像中的第一位置包括目标对象的人脸的位置和/或目标对象的身体的位置。
根据本公开的一方面，提供一种交互对象的驱动装置。所述装置包括：第一获取单元，用于获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；第二获取单元，用于获取目标对象在所述第一图像中的第一位置；确定单元，用于以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；驱动单元，用于根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述驱动单元具体用于：根据所述映射关系，将所述第一位置映射到所述虚拟空间中，得到目标对象在所述虚拟空间中对应的第二位置；根据所述第二位置，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述驱动单元在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：根据所述第二位置，确定映射到虚拟空间中的目标对象和所述交互对象之间的第一相对角度；确定所述交互对象的一个或多个身体部位执行动作的权重；按照所述第一相对角度以及所述权重，驱动所述交互对象的各个身体部位转动对应的偏转角度，以使所述交互对象朝向所述映射到虚拟空间中的目标对象。
结合本公开提供的任一实施方式，所述虚拟空间和所述交互对象是将虚拟摄像设备获取的图像数据在所述显示设备的屏幕上进行显示而得到的。
结合本公开提供的任一实施方式，所述驱动单元在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：将所述虚拟摄像设备移动至所述第二位置处；将所述交互对象的视线设置为对准所述虚拟摄像设备。
结合本公开提供的任一实施方式，所述驱动单元在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：驱动所述交互对象执行将视线移动至所述第二位置处的动作。
结合本公开提供的任一实施方式，所述驱动单元具体用于：根据所述映射关系，将所述第一图像映射至所述虚拟空间中，得到第二图像；将所述第一图像划分为多个第一子区域，并将所述第二图像划分为与所述多个第一子区域分别对应的多个第二子区域；在所述第一图像中确定所述目标对象所在的目标第一子区域，根据所述目标第一子区域确定对应的目标第二子区域；根据所述目标第二子区域，驱动所述交互对象执行动作。
结合本公开提供的任一实施方式，所述驱动单元在用于根据所述目标第二子区域，驱动所述交互对象执行动作时，具体用于：确定所述交互对象与所述目标第二子区域之间的第二相对角度；驱动所述交互对象转动所述第二相对角度，以使所述交互对象朝向所述目标第二子区域。
结合本公开提供的任一实施方式，所述确定单元具体用于：确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系；确定所述第一图像的像素平面在所述虚拟空间中对应的映射平面，所述映射平面为将所述第一图像的像素平面投影到所述虚拟空间中得到的；确定所述交互对象与所述映射平面之间的轴向距离。
结合本公开提供的任一实施方式，所述确定单元在用于确定所述第一图像的像素与虚拟空间之间的比例关系时，具体用于：确定所述第一图像的单位像素距离与真实空间单位距离的第一比例关系；确定真实空间单位距离与虚拟空间单位距离的第二比例关系；根据所述第一比例关系和所述第二比例关系，确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系。
结合本公开提供的任一实施方式，所述目标对象在所述第一图像中的第一位置包括目标对象的人脸的位置和/或目标对象的身体的位置。
根据本公开的一方面，提出一种显示设备，所述显示设备配置有透明显示屏，所述透明显示屏用于显示交互对象，所述显示设备执行如本公开提供的任一实施方式所述的方法，以驱动所述透明显示屏中显示的交互对象执行动作。
根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
本公开一个或多个实施例的交互对象的驱动方法、装置、设备及计算机可读存储价质，通过获取显示设备周边的第一图像，并获得与交互对象进行交互的目标对象在所述第一图像中的第一位置，以及所述第一图像与显示设备所显示的虚拟空间的映射关系，通过该第一位置以及该映射关系来驱动交互对象执行动作，使所述交互对象能够保持与目标对象面对面，从而使目标对象与交互对象之间的交互更加逼真，提升了目标对象的交互体验。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开至少一个实施例的交互对象的驱动方法中显示设备的示意图；
图2示出根据本公开至少一个实施例的交互对象的驱动方法的流程图；
图3示出根据本公开至少一个实施例的第二位置与交互对象的相对位置示意图；
图4示出根据本公开至少一个实施例的交互对象的驱动装置的结构示意图；
图5示出根据本公开至少一个实施例的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开至少一个实施例提供了一种交互对象的驱动方法，所述驱动方法可以由终端设备或服务器等电子设备执行，所述终端设备可以是固定终端或移动终端，例如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端等等，所述方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在本公开实施例中，交互对象可以是任意一种能够与目标对象进行交互的交互对象，其可以是虚拟人物，还可以是虚拟动物、虚拟物品、卡通形象等等其他能够实现交互功能的虚拟形象。所述目标对象可以是用户，也可以是机器人，还可以是其他智能设备。所述交互对象和所述目标对象之间的交互方式可以是主动交互方式，也可以是被动交互方式。一示例中，目标对象可以通过做出手势或者肢体动作来发出需求，通过主动交互的方式来触发交互对象与其交互。另一示例中，交互对象可以通过主动打招呼、提示目标对象做出动作等方式，使得目标对象采用被动方式与交互对象进行交互。
所述交互对象可以通过显示设备进行展示，所述显示设备可以是普通的显示屏、一体机、投影仪、虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备，也可以是具有特殊效果的显示设备。
图1示出本公开至少一个实施例提出的显示设备。如图1所示，该显示设备具有透明显示屏的显示设备，其可以在透明显示屏上显示立体画面，以呈现出具有立体效果的虚拟场景以及交互对象。例如图1中透明显示屏显示的交互对象有虚拟卡通人物。在一些实施例中，本公开中所述的终端设备也可以为上述具有透明显示屏的显示设备，显示设备中配置有存储器和处理器，存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的交互对象的驱动方法，以驱动透明显示屏中显示的交互对象执行动作。
在一些实施例中，响应于显示设备接收到用于驱动交互对象动作、呈现表情或输出语音的驱动数据，交互对象可以对目标对象做出指定的动作、表情或发出指定的语音。可以根据显示设备周边目标对象的动作、表情、身份、偏好等，生成驱动数据，以驱动交互对象进行回应，以为目标对象提供拟人化的服务。在交互对象与目标对象的交互过程中，存在着交互对象无法获知准确获知所述目标对象的位置，保持与所述目标对象面对面交流，导致交互对象与目标对象之间的交互生硬、不自然的问题。基于此，本公开至少一个实施例提出一种交互对象的驱动方法，以提升目标对象与交互对象进行交互的体验。
图2示出根据本公开至少一个实施例的交互对象的驱动方法的流程图，如图2所示，所述方法包括步骤201～步骤204。
在步骤201中，获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间。
所述显示设备周边，包括所述显示设备的设定范围内任意方向，例如可以包括所述显示设备的前向、侧向、后方、上方中的一个或多个方向。
可以利用图像采集设备来采集第一图像，所述图像采集设备可以是显示设备内置的摄像头，也可以是独立于显示设备之外的摄像头。所述图像采集设备的数量可以为一个或多个。
可选的，第一图像可以是视频流中的一帧，也可以是实时获取的图像。
在本公开实施例中，所述虚拟空间可以是在显示设备的屏幕上所呈现的虚拟场景；所述交互对象，可以是呈现在该虚拟场景中的虚拟人物、虚拟物品、卡通形象等等能够实现交互功能的虚拟形象。
在步骤202中，获取目标对象在所述第一图像中的第一位置。
在本公开实施例中，可以通过将所述第一图像输入至预先训练的神经网络模型，对所述第一图像进行人脸和/或人体检测，以检测所述第一图像中是否包含目标对象。其中，所述目标对象是指与所述交互对象进行交互的用户对象，例如人、动物或者可以执行动作、指令的物体等等，本公开无意对目标对象的类型进行限制。
响应于所述第一图像的检测结果中包含人脸检测框和/或人体检测框，通过获知人脸检测框和/或人体检测框在第一图像中的位置而确定所述目标对象在图像中的第一位置。本领域技术人员应当理解，也可以通过其他方式获得目标对象在第一图像中的第一位置，本公开对此不进行限制。
在步骤203中，以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系。
第一图像与虚拟空间的映射关系，是指将第一图像映射到虚拟空间时，所述第一图像相对于所述虚拟空间所呈现的大小和所在的位置。以所述交互对象为参考点来确定该映射关系，是指以所述交互对象的视角，映射到虚拟空间中的第一图像所呈现的大小和所在的位置。
在步骤204中，根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
根据目标对象在所述第一图像中的第一位置，以及所述第一图像与虚拟空间之间的映射关系，即可以确定以交互对象的视角，映射在虚拟空间中的目标对象与交互对象之间的相对位置，根据该相对位置来驱动所述交互对象执行动作，例如驱动所述交互对象转身、侧身、转头等等，可以使所述交互对象保持与目标对象面对面，从而使目标对象与交互对象之间的交互更加真实，提升了目标对象的交互体验。
本公开实施例中，通过获取显示设备周边的第一图像，并获得与交互对象进行交互的目标对象在所述第一图像中的第一位置，以及所述第一图像与显示设备所显示的虚拟空间的映射关系，通过该第一位置以及该映射关系来驱动交互对象执行动作，使所述交互对象能够保持与目标对象面对面，从而使目标对象与交互对象之间的交互更加逼真，提升了目标对象的交互体验。
在本公开实施例中，所述虚拟空间和所述交互对象是将虚拟摄像设备获取的图像数据在所述显示设备的屏幕上进行显示而得到的。也即，所述虚拟空间的图像和所述交互对象的图像可以是通过虚拟摄像设备获取的，也可以是虚拟摄像设备调用的。虚拟摄像设备是应用于3D软件、用于在屏幕中呈现3D图像的相机组件，虚拟空间是通过将所述虚拟摄像设备获取的3D图像显示在屏幕上而得到的。因此目标对象的视角可以理解为3D软件中虚拟摄像设备的视角。
目标对象与图像采集设备所在的空间可以被理解成为真实空间，包含目标对象的第一图像可以被理解为像素空间；交互对象、虚拟摄像设备所对应的是虚拟空间。像素空间与真实空间的对应关系，可以根据目标对象与图像采集设备的距离以及图像采集设备的参数确定；而真实空间与虚拟空间的对应关系，可以通过显示设备的参数以及虚拟摄像设备的参数来确定。在确定了像素空间与真实空间的对应关系以及真实空间与虚拟空间的对应关系后，即可以确定像素空间与虚拟空间的对应关系，也即可以确定第一图像与所述虚拟空间之间的映射关系。
在一些实施例中，可以以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系。
首先，确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系n。
其中，单位像素距离是指每个像素所对应的尺寸或者长度；虚拟空间单位距离是指虚拟空间中的单位尺寸或者单位长度。
在一个示例中，可以通过确定第一图像的单位像素距离与真实空间单位距离之间的第一比例关系n1，以及真实空间单位距离与虚拟空间单位距离之间的第二比例关系n2来确定。其中，真实空间单位距离是指真实空间中的单位尺寸或者单位长度。
可以通过公式(1)计算得到第一比例关系n1：
Figure BDA0002294258730000101
其中，d表示目标对象与图像采集设备之间的距离，示例性的，可以取目标对象的脸部与图像采集设备之间的距离，a表示第一图像的宽度，b表示第一图像的高度，c＝b/2/tan((FOV1/2)*con)，其中，FOV1表示图像采集设备在竖直方向的视场角度，con为角度到弧度转变的常量值。
可以通过公式(2)计算得到第二比例关系n2：
n2＝hs/hv (2)
其中，hs表示显示设备的屏幕高度，hv表示虚拟摄像设备高度，hv＝tan((FOV2/2)*con*dz*2)，其中，FOV2表示虚拟摄像设备在竖直方向的视场角度，con为角度到弧度转变的常量值，dz表示交互对象与虚拟摄像设备之间的轴向距离。
所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系n可以通过公式(3)计算得到：
n＝n1/n2 (3)
接下来，确定所述第一图像的像素平面在所述虚拟空间中对应的映射平面，以及所述交互对象与所述映射平面之间的轴向距离fz。
可以通过公式(4)计算得到所述映射平面与所述交互对象之间的轴向距离fz：
fz＝c*n1/n2 (4)
在确定了所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系n，以及在虚拟空间中映射平面与交互对象之间的轴向距离fz的情况下，即可以确定第一图像与虚拟空间之间的映射关系。
在一些实施例中，可以根据所述映射关系，将所述第一位置映射到所述虚拟空间中，得到目标对象在所述虚拟空间中对应的第二位置，根据所述第二位置，驱动所述交互对象执行动作。
所述第二位置在虚拟空间中的坐标(fx、fy、fz)可以通过以下公式计算：
Figure BDA0002294258730000111
其中，rx、ry为目标对象在第一图像中的第一位置在x方向和y方向的坐标。
通过将目标对象在第一图像中的第一位置映射到虚拟空间中，得到目标对象在虚拟空间中对应的第二位置，可以确定在虚拟空间中，目标对象与交互对象之间的相对位置关系。通过该相对位置关系驱动交互对象执行动作，可以使所述交互对象对于目标对象的位置变换产生动作反馈，从而提升了目标对象的交互体验。
在一个示例中，可以通过以下方式来驱动交互对象执行动作。
首先，根据所述第二位置，确定映射到虚拟空间中的目标对象和所述交互对象之间的第一相对角度。所述第一相对角度指的是交互对象的正面朝向(人体矢状剖面对应的方向)与第二位置之间的角度。如图3所示，310表示交互对象，其正面朝向如图3中的虚线所示；320表示第二位置所对应的坐标点(第二位置点)。第二位置点与交互对象所在位置点(例如可以将交互对象的横向剖面上的重心确定为交互对象所在的位置点)之间的连线与交互对象的正面朝向之间的角度θ1即为第一相对角度。
接下来，确定所述交互对象的一个或多个身体部位执行动作的权重。交互对象的一个或多个身体部位是指执行动作所涉及的身体部位。交互对象完成一个动作，例如转身90对以面对某一对象时，可以由下半身、上半身、头部共同完成。例如，下半身偏转30度，上半身偏转30度，头部偏转30度，即可以实现交互对象转身90度。其中，各个身体部位所偏转的幅度比例，即为执行动作的权重。可以根据需要，将其中一个身体部位执行动作的权重设置的较高，则在执行动作时该身体部位的运动幅度较大，而其他身体部位的运动幅度较小，共同完成执照定的动作。本领域技术人员应当理解，该步骤所包含的身体部位，以及各个身体部位所对应的权重，可以根据所执行的动作，以及对动作效果的要求具体设置，或者可以是渲染器或者软件内部自动设定的。
最后，按照所述第一相对角度以及所述权重，驱动所述交互对象的各个部位转动对应的偏转角度，以使所述交互对象朝向所述映射到虚拟空间中的目标对象。
在本公开实施例中，根据映射到虚拟空间中的目标对象与交互对象之间的相对角度，以及交互对象执行动作的权重，驱动交互对象的各个身体部位转动对应的偏转角度，实现交互对象通过身体部位不同幅度的运动，实现交互对象的身体自然、生动地朝向追踪目标对象的效果，提高了目标对象的交互体验。
在一些实施例中，可以将交互对象的视线设置为对准虚拟摄像设备。在确定了目标对象在虚拟空间中对应的第二位置后，将所述虚拟摄像设备移动至所述第二位置处，由于交互对象的视线被设置为始终对准虚拟摄像设备，对于目标对象来说，会产生交互对象的视线始终跟随着自己的感觉，从而可以提升目标对象的交互体验。
在一些实施例中，可以驱动交互对象执行将视线移动至所述第二位置处的动作，使交互对象的视线追踪目标对象，从而提升目标对象的交互感受。
在本公开实施例中，还可以通过以下方式驱动所述交互对象执行动作：
首先，根据所述映射关系，将所述第一图像映射至所述虚拟空间中，得到第二图像。由于上述映射关系是以交互对象为参考点的，也即是以交互对象的视角出发的，因此可以将所述图像映射至所述虚拟空间后得到的第二图像作为交互对象的视野范围。
接下来，将所述第一图像划分为多个第一子区域，并将所述第二图像划分为与所述多个第一子区域对应的多个第二子区域。此处的对应是指，所述第一子区域的数目与所述第二子区域的数目是相等的，各个第一子区域与各个第二子区域的大小呈相同的比例关系，并且每个第一子区域在第二图像中都有对应的第二子区域。
由于映射至虚拟空间中的第二图像交互对象的视野范围，因此对于第二图像的划分，相当于对交互对象的视野范围进行划分。视野范围中的各个第二子区域即为交互对象的视线可以对准的各个区域。
在所述第一图像中确定所述目标对象所在的目标第一子区域，根据所述目标第一子区域确定对应的目标第二子区域。可以将所述目标对象的人脸所在的第一子区域作为目标第一子区域，也可以将目标对象的身体所在的第一子区域作为目标第一子区域，还可以将目标对象的人脸和身体所在的第一子区域共同作为目标第一子区域。所述目标第一子区域中可以包含多个第一子区域。
在确定了目标第二子区域后，可以根据目标第二子区域所在的位置驱动交互对象执行动作。
在本公开实施例中，通过对交互对象的视野范围进行分割，通过目标对象在第一图像中的区域位置确定在交互对象的视野范围中的相应位置区域，能够快速、有效地驱动交互动向执行动作。
在确定了目标第二子区域的情况下，可以确定交互对象与所述目标第二子区域之间的第二相对角度，通过驱动交互对象转动该第二相对角度，使交互对象朝向目标第二子区域，从而实现交互目标对象随着目标对象的移动而始终与目标对象保持面对面的效果。
在一个示例中，可以驱动交互对象整体转动该第二相对角度，所交互对象朝向目标子区域；也可以根据以上所述，按照所述第二相对角度以及所述权重，驱动所述交互对象的各个部位转动对应的偏转角度，以使所述交互对象朝向所述目标第二子区域。
在一些实施例中，所述显示设备可以是透明的显示屏，其上所显示的交互对象包括具有立体效果的虚拟形象。在目标对象出现在显示设备的后面，也即在交互对象的背后时，目标对象在第一图像中的第一位置映射在虚拟空间中交互对象的后方，通过交互对象的正面朝向与映射的第一位置(第二位置)之间的第一相对角度驱动所述交互对象进行动作，可以使交互对象转身面对所述目标对象。
图4示出根据本公开至少一个实施例的交互对象的驱动装置的结构示意图，如图4所示，该装置可以包括：第一获取单元401、第二获取单元402、确定单元403和驱动单元404。
其中，第一获取单元401，用于获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；第二获取单元402，用于获取目标对象在所述第一图像中的第一位置；确定单元403，用于以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；驱动单元404，用于根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
在一些实施例中，驱动单元404具体用于：根据所述映射关系，将所述第一位置映射到所述虚拟空间中，得到目标对象在所述虚拟空间中对应的第二位置；根据所述第二位置，驱动所述交互对象执行动作。
在一些实施例中，驱动单元404在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：根据所述第二位置，确定映射到虚拟空间中的目标对象和所述交互对象之间的第一相对角度；确定所述交互对象的一个或多个身体部位执行动作的权重；按照所述第一相对角度以及所述权重，驱动所述交互对象的各个身体部位转动对应的偏转角度，以使所述交互对象朝向所述映射到虚拟空间中的目标对象。
在一些实施例中，所述虚拟空间和所述交互对象是将虚拟摄像设备获取的图像数据在所述显示设备的屏幕上进行显示而得到的。
在一些实施例中，驱动单元404在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：将所述虚拟摄像设备移动至所述第二位置处；将所述交互对象的视线设置为对准所述虚拟摄像设备。
在一些实施例中，驱动单元404在用于根据所述第二位置，驱动所述交互对象执行动作时，具体用于：驱动所述交互对象执行将视线移动至所述第二位置处的动作。
在一些实施例中，驱动单元404具体用于：根据所述映射关系，将所述第一图像映射至所述虚拟空间中，得到第二图像；将所述第一图像划分为多个第一子区域，并将所述第二图像划分为与所述多个第一子区域分别对应的多个第二子区域；在所述第一图像中确定所述目标对象所在的目标第一子区域，根据所述目标第一子区域确定对应的目标第二子区域；根据所述目标第二子区域，驱动所述交互对象执行动作。
在一些实施例中，驱动单元404在用于根据所述目标第二子区域，驱动所述交互对象执行动作时，具体用于：确定所述交互对象与所述目标第二子区域之间的第二相对角度；驱动所述交互对象转动所述第二相对角度，以使所述交互对象朝向所述目标第二子区域。
在一些实施例中，确定单元403具体用于：确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系；确定所述第一图像的像素平面在所述虚拟空间中对应的映射平面，所述映射平面为将所述第一图像的像素平面投影到所述虚拟空间中得到的；确定所述交互对象与所述映射平面之间的轴向距离。
在一些实施例中，确定单元403在用于确定所述第一图像的像素与虚拟空间之间的比例关系时，具体用于：确定所述第一图像的单位像素距离与真实空间单位距离的第一比例关系；确定真实空间单位距离与虚拟空间单位距离的第二比例关系；根据所述第一比例关系和所述第二比例关系，确定所述第一图像的单位像素距离与虚拟空间单位距离之间的比例关系。
在一些实施例中，所述目标对象在所述第一图像中的第一位置包括目标对象的人脸的位置和/或目标对象的身体的位置。
本说明书至少一个实施例还提供了一种电子设备，如图5所示，所述设备包括存储器、处理器，存储器用于存储可在处理器上运行的计算机指令，处理器用于在执行所述计算机指令时实现本公开任一实施例所述的交互对象的驱动方法。本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的交互对象的驱动方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种交互对象的驱动方法，其特征在于，所述方法包括：
获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；
获取目标对象在所述第一图像中的第一位置；
以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；
根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作，包括：
根据所述映射关系，将所述第一位置映射到所述虚拟空间中，得到目标对象在所述虚拟空间中对应的第二位置；
根据所述第二位置，驱动所述交互对象执行动作。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二位置，驱动所述交互对象执行动作，包括：
根据所述第二位置，确定映射到虚拟空间中的目标对象和所述交互对象之间的第一相对角度；
确定所述交互对象的一个或多个身体部位执行动作的权重；
按照所述第一相对角度以及所述权重，驱动所述交互对象的各个身体部位转动对应的偏转角度，以使所述交互对象朝向所述映射到虚拟空间中的目标对象。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述虚拟空间和所述交互对象是将虚拟摄像设备获取的图像数据在所述显示设备的屏幕上进行显示而得到的。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二位置，驱动所述交互对象执行动作，包括：
将所述虚拟摄像设备移动至所述第二位置处；
将所述交互对象的视线设置为对准所述虚拟摄像设备。
6.根据权利要求2至4任一项所述的方法，其特征在于，所述根据所述第二位置，驱动所述交互对象执行动作，包括：
驱动所述交互对象执行将视线移动至所述第二位置处的动作。
7.一种交互对象的驱动装置，其特征在于，所述装置包括：
第一获取单元，用于获取显示设备周边的第一图像，所述显示设备用于显示交互对象和所述交互对象所在的虚拟空间；
第二获取单元，用于获取目标对象在所述第一图像中的第一位置；
确定单元，用于以所述交互对象在所述虚拟空间中的位置为参考点，确定所述第一图像与所述虚拟空间之间的映射关系；
驱动单元，用于根据所述第一位置以及所述映射关系，驱动所述交互对象执行动作。
8.一种显示设备，其特征在于，所述显示设备配置有透明显示屏，所述透明显示屏用于显示交互对象，所述显示设备执行如权利要求1至6任一项所述的方法，以驱动所述透明显示屏中显示的交互对象执行动作。
9.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一所述的方法。
CN201911193989.1A 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质 Pending CN110968194A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201911193989.1A CN110968194A (zh) 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质
JP2021556969A JP2022526512A (ja) 2019-11-28 2020-07-24 インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体
KR1020217031143A KR20210131414A (ko) 2019-11-28 2020-07-24 인터랙티브 오브젝트 구동 방법, 장치, 디바이스 및 기록 매체
PCT/CN2020/104593 WO2021103613A1 (zh) 2019-11-28 2020-07-24 交互对象的驱动方法、装置、设备以及存储介质
TW109132226A TWI758869B (zh) 2019-11-28 2020-09-18 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質
US17/703,499 US20220215607A1 (en) 2019-11-28 2022-03-24 Method and apparatus for driving interactive object and devices and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911193989.1A CN110968194A (zh) 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN110968194A true CN110968194A (zh) 2020-04-07

Family

ID=70032085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911193989.1A Pending CN110968194A (zh) 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质

Country Status (6)

Country Link
US (1) US20220215607A1 (zh)
JP (1) JP2022526512A (zh)
KR (1) KR20210131414A (zh)
CN (1) CN110968194A (zh)
TW (1) TWI758869B (zh)
WO (1) WO2021103613A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互***、电子设备及存储介质
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
WO2021103613A1 (zh) * 2019-11-28 2021-06-03 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN114385002A (zh) * 2021-12-07 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004840A (zh) * 2009-08-28 2011-04-06 深圳泰山在线科技有限公司 一种基于计算机实现虚拟拳击的方法和***
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
CN105183154A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示方法
CN108805989A (zh) * 2018-06-28 2018-11-13 百度在线网络技术（北京）有限公司 场景穿越的方法、装置、存储介质和终端设备
CN109658573A (zh) * 2018-12-24 2019-04-19 上海爱观视觉科技有限公司 一种智能门锁***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244322A (ja) * 2009-04-07 2010-10-28 Bitto Design Kk コミュニケーションキャラクター装置、及びそのプログラム
CN101930284B (zh) * 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和***
TWI423114B (zh) * 2011-02-25 2014-01-11 Liao Li Shih 互動式裝置及其運作方法
TWM440803U (en) * 2011-11-11 2012-11-11 Yu-Chieh Lin Somatosensory deivice and application system thereof
EP3062219A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC A mixed reality system and method for displaying data therein
US20180353869A1 (en) * 2015-12-17 2018-12-13 Lyrebird Interactive Holdings Pty Ltd Apparatus and method for an interactive entertainment media device
US10282912B1 (en) * 2017-05-26 2019-05-07 Meta View, Inc. Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和***
US20190196690A1 (en) * 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
CN107341829A (zh) * 2017-06-27 2017-11-10 歌尔科技有限公司 虚拟现实交互部件的定位方法和装置
JP2018116684A (ja) * 2017-10-23 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6970757B2 (ja) * 2017-12-26 2021-11-24 株式会社Ｎｔｔドコモ 情報処理装置
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
JP7041888B2 (ja) * 2018-02-08 2022-03-25 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004840A (zh) * 2009-08-28 2011-04-06 深圳泰山在线科技有限公司 一种基于计算机实现虚拟拳击的方法和***
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
CN105183154A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示方法
CN108805989A (zh) * 2018-06-28 2018-11-13 百度在线网络技术（北京）有限公司 场景穿越的方法、装置、存储介质和终端设备
CN109658573A (zh) * 2018-12-24 2019-04-19 上海爱观视觉科技有限公司 一种智能门锁***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103613A1 (zh) * 2019-11-28 2021-06-03 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互***、电子设备及存储介质
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114385002A (zh) * 2021-12-07 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
TW202121155A (zh) 2021-06-01
US20220215607A1 (en) 2022-07-07
JP2022526512A (ja) 2022-05-25
KR20210131414A (ko) 2021-11-02
TWI758869B (zh) 2022-03-21
WO2021103613A1 (zh) 2021-06-03

Similar Documents

Publication Publication Date Title
CN110968194A (zh) 交互对象的驱动方法、装置、设备以及存储介质
US9952820B2 (en) Augmented reality representations across multiple devices
US20170193706A1 (en) Apparatuses, methods and systems for application of forces within a 3d virtual environment
EP3106963B1 (en) Mediated reality
CN108028871A (zh) 移动设备上的无标记的多用户多对象增强现实
US11854211B2 (en) Training multi-object tracking models using simulation
CN110322542A (zh) 重建真实世界3d场景的视图
US20210407125A1 (en) Object recognition neural network for amodal center prediction
US11212501B2 (en) Portable device and operation method for tracking user's viewpoint and adjusting viewport
CN108431871A (zh) 在三维模型上显示对象的方法
US10902625B1 (en) Planar surface detection
US20160343138A1 (en) Head pose determination using a camera and a distance determination
CN115500083A (zh) 使用神经网络的深度估计
CN108027647B (zh) 用于与虚拟对象交互的方法和设备
CN108446023B (zh) 虚拟现实反馈装置及其定位方法、反馈方法和定位***
CN106384365B (zh) 一种包含深度信息获取的扩增实境***及其方法
US20180365884A1 (en) Methods, devices, and systems for determining field of view and producing augmented reality
US20180135996A1 (en) Navigation system and navigation method
US20230319426A1 (en) Traveling in time and space continuum
US10650595B2 (en) Mediated reality
CN117784987A (zh) 虚拟控制方法、显示设备、电子设备及介质
CN118279971A (zh) 一种手部动作识别方法及设备
Park et al. Virtual Flying Experience Contents Using Upper-Body Gesture Recognition
Aparicio Carranza et al. Plane Detection Based Object Recognition for Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021880

Country of ref document: HK