CN107621881A - 虚拟内容控制方法及控制设备 - Google Patents

虚拟内容控制方法及控制设备 Download PDF

Info

Publication number
CN107621881A
CN107621881A CN201710909416.9A CN201710909416A CN107621881A CN 107621881 A CN107621881 A CN 107621881A CN 201710909416 A CN201710909416 A CN 201710909416A CN 107621881 A CN107621881 A CN 107621881A
Authority
CN
China
Prior art keywords
content
control
virtual content
virtual
operation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710909416.9A
Other languages
English (en)
Inventor
尹左水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710909416.9A priority Critical patent/CN107621881A/zh
Publication of CN107621881A publication Critical patent/CN107621881A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种虚拟内容控制方法及控制设备,所述方法包括:响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;基于所述交互动作,对所述虚拟内容执行对应的控制操作。本申请实施例提高了所述虚拟内容的控制成功率。

Description

虚拟内容控制方法及控制设备
技术领域
本申请属于智能技术领域,具体地说,涉及一种虚拟内容控制方法及控制设备。
背景技术
头戴式VR(Virtual Reality,虚拟现实)设备是一种可以佩戴在用户头部并可以实现观看或者体验虚拟内容的智能设备,其利用VR技术为用户构造虚拟的视觉和听觉效果,为用户提供沉浸式的体验效果,引导用户产生一种在虚拟场景中的感觉。
由于用户佩戴头戴式VR设备沉浸到虚拟场景中时,眼睛可以直观地观看头戴式VR设备营造的虚拟场景中的虚拟内容,为了方便对虚拟内容的控制,多是采用眼镜的动作行为对虚拟内容进行控制,实现互动。例如,当眼睛凝视到虚拟场景中的声音控件时,可以触发该声音控件执行声音变大或者变小的控制操作;当眼睛向下注视时,虚拟内容可以向下翻页等。
但是,通过眼睛与虚拟内容交互时,眼睛由于其自身灵活性较高对产品精度要求较高,在控制所述虚拟内容时,现有的产品精度不能及时确定眼睛的动作变化,可能产生识别误差,进而造成控制虚拟内容失败。
发明内容
有鉴于此,本申请提供了一种虚拟内容控制方法及控制设备,以解决现有技术中,交互实现较为困难的现象。
为了解决上述技术问题,本申请的第一方面提供一种虚拟内容控制方法,所述方法包括:
响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;
识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;
显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;
基于所述交互动作,对所述虚拟内容执行对应的控制操作。
优选地,所述识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容包括:
识别所述控制图像中的所述操作对象,并显示所述操作对象;
显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容;
检测所述校准区域中的显示内容是否符合交互特征规则;
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
优选地,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作包括:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
优选地,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作包括:
确定所述虚拟内容中所述标识物操作的虚拟对象;
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
优选地,所述识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述方法包括:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
本申请的第二方面提供一种虚拟内容控制设备,所述设备包括:存储器,与所述存储器连接的处理器;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器用于:
响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;
识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;
显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;
基于所述交互动作,对所述虚拟内容执行对应的控制操作。
优选地,所述处理器识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容具体是:
识别所述控制图像中的所述操作对象,并显示所述操作对象;
显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容;
检测所述校准区域中的显示内容是否符合交互特征规则;
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
优选地,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
优选地,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
确定所述虚拟内容中所述标识物操作的虚拟对象;
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
优选地,所述处理器识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述处理器还用于:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
本申请实施例中,虚拟现实设备可以接收针对虚拟内容的控制请求。所述操作对象可以在所述虚拟现实设备之外进行控制,所述虚拟现实设备响应于所述控制请求,可以采集操作对象的控制图像,从所述控制图像中可以识别出所述操作对象,并确定所述操作对象中的标志内容,以显示与所述标志内容对应的标识物,进而可以在虚拟现实设备显示的虚拟内容中显示所述操作对象的标识物,使用户可以通过所述操作对象的标识物对虚拟内容进行交互控制,虚拟现实设备可以检测其交互动作,并基于所述交互动作对所述虚拟内容执行对应的控制操作。通过上述方式能够以更加便捷的方式实现对所述虚拟内容的精确控制,提高了控制成功率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的一种虚拟内容控制方法的一个实施例的流程图;
图2是本申请实施例的一种虚拟内容控制方法的又一个实施例的流程图;
图3为本申请实施例提供的一种虚拟内容控制设备的一个实施例的结构示意图;
图4为本申请实施例提供的一种虚拟内容控制装置的一个实施例的结构示意图;
图5为本申请实施例提供的一种头戴显示VR设备的内部配置结构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式,藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本申请实施例主要应用于虚拟现实设备中,特别是头戴式的虚拟现实设备,通过利用摄像头采集操作对象的交互动作,实现对虚拟内容的准确控制。
现有技术中,虚拟现实设备,特别是头戴式虚拟现实设备,例如,虚拟头盔、虚拟眼镜等,是通过佩戴在用户头部,并为用户显示相应的虚拟内容。用户观看到所述虚拟内容时,有一种沉浸于虚拟的现实场景中的感受。用户佩戴头戴式的虚拟现实设备时,眼睛可以直接观看到虚拟内容,因此,现有的虚拟内容控制方式多是采集眼睛的动作行为以实现相应的控制。由于眼镜的灵活程度较高,因此,现有的利用眼睛动作行为进行控制的方式对产品精度的要求较高。但是,现有产品往往不能够准确及时判断眼睛的动作行为,导致控制通过眼睛控制虚拟内容的失败。
发明人经研究发现,虽然人眼此时被头戴式的虚拟设备所包围,通过眼睛不能实现准确控制,但是,人的手指等部位均可以自由移动,因此,发明人想到是否可以通过手指等其他灵活的人体部位来控制虚拟现实设备显示的虚拟内容。发明人想到,可以虚拟现实设备上增加摄像机以采集手指等部位的动作变化,并将手指等部位的动作变化融合到虚拟内容中进行显示,以实现对所述虚拟内容进行相应的控制。因此,发明人提出了本申请的技术方案。
本申请实施例中,所述虚拟现实设备可以响应于所述虚拟内容的控制请求,采集操作对象以获得控制图像,识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容,相应的标志内容对应的标识物可以在所述虚拟内容中显示,用户可以通过控制操作对象而实现所述标识物在所述虚拟内容中进行移动,进而可以检测所述标识物在所述虚拟内容中的交互动作,并基于所述交互动作,对所述虚拟内容执行对应的控制操作。通过在虚拟内容中检测与所述交互对象的标志内容对应的标识物进行相应的交互动作,可以控制所述虚拟内容,解决了现有的通过眼睛进行控制虚内容时,容易控制失败的现状,提高了控制的成功率。
下面将结合附图对本申请实施例进行详细描述。
如图1所示,为本申请实施例提供的一种虚拟内容控制方法的一个实施例的流程图,该方法可以包括以下几个步骤:
101:响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像。
本申请主要应用于头戴式虚拟现实设备中,例如VR(Virtual Reality,虚拟现实)头盔、VR眼镜等设备。头戴式VR设备在佩戴过程中,可以营造出虚拟的显示环境,为用户提供一种沉浸式体验。
所述针对所述虚拟内容的控制请求可以是用户操作所述头戴式VR设备提供的交互控件而触发生成的。所述交互控件具体可以安装于所述头戴式VR设备上,用户可以随时发起触发操作的位置;所述交互控件具体还可以位于与所述头戴式VR可以进行通信连接的遥控设备上,所述遥控设备检测到所述交互控件被开启时,可以发送针对所述虚拟内容的控制请求至所述头戴式VR设备。
所述针对所述虚拟内容的控制请求还可以是所述头戴式VR设备检测到需要交互时,自行生成的。可以预先在所述头戴式VR设备播放的虚拟内容中,相应的交互位置,所述头戴式VR设备检测到播放至所述虚拟内容的交互位置时,即可以生成针对所述虚拟内容的控制请求。
响应于针对所述虚拟内容的控制请求,所述头戴式VR设备可以发送采集指令至其对应的图像采集设备;所述图像采集设备可以接收所述VR设备发送的采集指令,并响应于所述采集指令,开始采集位于采集范围内的操作对象以获得控制图像,以使所述头戴式VR设备可以采集操作对象以获得控制图像。所述头戴式VR设备上可以安装有图像采集设备,以采集所述操作对象的控制图像。
所述操作对象可以位于所述头戴式VR设备之外,并在所述头戴式VR设备之外实现对所述头戴式VR设备展示的虚拟内容的控制。所述操作对象可以有多种形式,作为一种可能的实现方式可以是人体除眼镜之外的手指、胳膊等可以实现控制动作的部位;作为又一种可能的实现方式可以是用户可以操作的操作笔、触控笔等。
102:识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容。
所述控制图像中包含相应的操作对象,可以利用图像识别算法识别所述操作对象。可以先确定所述操作对象的对象模型,再识别所述操作对象的对象特征,当所述操作对象的对象特征与所述对象模型匹配时,则可以确定所述控制图像中包含有所述操作对象。
所述操作对象的标志内容具体可以是所述操作对象具有特殊标志的内容,例如,所述操作对象可以包括手指,所述标志内容可以是手指上的具有特殊轮廓的指甲部分;所述操作对象可以包括操作笔,所述标志内容可以是所述操作笔具有特殊标记的笔尖部分。
103:显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容的交互动作。
所述交互场景中可以显示所述操作对象,但是由于所述操作对象完全显示时,可能覆盖部分虚拟内容,使所述虚拟内容不能够及时显示。因此,可以显示标志内容对应的标识物,所述标识物更容易被区分。也即是在所述头戴式VR设备显示的虚拟内容上还可以显示相应的操作对象的标识物,所述操作对象发生运动变化时,相应的标识物随之发生相应的运动变化。
检测所述标识物在所述虚拟内容的交互动作即是所述操作对象在进行动作变化时,所述标识物在所述虚拟内容中随之发生响应的动作变化,进而可以确定相应的交互动作。
所述交互动作的确定可以通过根据所述标识物在所述虚拟内容的运动轨迹获得,可以记录所述标识物在所述虚拟内容中的坐标变化,通过所述坐标变化即可以确定相应的交互动作。所述坐标变化是指所述标识物在所述虚拟内容所在的三维空间中的各个坐标轴的相对变化。例如,所述标识物在所述虚拟内容中执行了一个点击操作,所述头戴式VR设备检测到相应的Z轴坐标轴的坐标变化较大时,可以确定交互动作为点击动作。
作为一个实施例,所述检测所述标识物在所述虚拟内容中的交互动作可以包括:
检测所述标识物移动过程中的位置坐标;
基于所述位置坐标的变化,确定所述标识物在所述虚拟内容中的交互动作。
通过记录所述标识物在运动过程中的坐标点的变化而确定相应的标识物在虚拟内容中的交互动作,可以以更准确的方式确定相应的交互动作,进而可以准确实现对所述虚拟内容的控制。
104:基于所述交互动作,对所述虚拟内容执行对应的控制操作。
基于所述交互动作,可以确定相应的控制操作,以对所述虚拟内容执行对应的控制操作。
可选地,可以维护一个所述交互动作与所述控制操作的数据库或者数据表,确定所述交互动作之后,可以通过查询数据库或者数据表的方式确定所述交互动作对应的控制操作。
作为又一个实施例,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作可以包括:
基于所述交互动作,确定所述交互动作对应的交互指令;
执行所述交互指令,以对所述虚拟内容执行对应的控制操作。
通过确定所述交互动作对应的交互指令,可以提高所述交互动作对应的控制操作的查询效率,以提高所述控制虚拟内容的控制操作的确定速度,提高了控制效率。
本申请实施例中,用户可以通过控制操作对象而实现所述标识物在所述虚拟内容中进行移动,进而可以检测所述标识物在所述虚拟内容中的交互动作,并基于所述交互动作,对所述虚拟内容执行对应的控制操作。通过在虚拟内容中检测与所述交互对象的标志内容对应的标识物进行相应的交互动作,可以控制所述虚拟内容,通过此方式对所述虚拟内容进行控制,所述交互动作检测通过摄像头等图像采集设备即可以完成,实现较为简单,而交互动作由于动作幅度较大,确定过程准确度更高,因此,可以实现对所述虚拟内容的准确的控制,提高了控制的成功率。
如图2所示,为本申请一种虚拟内容控制方法的又一个实施例的流程图,所述方法可以包括以下几个步骤:
201:响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像。
202:识别所述控制图像中的所述操作对象,并显示所述操作对象。
所述头戴式VR设备可以显示所述虚拟对象,可以在显示所述虚拟内容时,显示所述操作对象,具体可以是所述操作对象上浮于所述虚拟内容进行显示,也即是显示所述操作对象的虚拟影像。
可选地,作为一种可能的实现方式,所述识别所述控制图像中的所述操作对象,并显示所述操作对象可以包括:
识别所述控制图像中的所述操作对象;
为所述操作对象建立三维模型;
将所述操作对象的三维模型映射至所述虚拟内容的显示区域,以在所述虚拟内容中显示所述操作对象。
所述控制图像是二维图像,但是所述虚拟内容是三维图像,因此,将所述控制图像中的操作对象在所述虚拟内容中显示时,需要先为所述操作对象建立三维模型,以使所述操作对象能够在所述三维的虚拟内容中正常显示,并达到较为直观的观看效果。
为所述操作对象建立三维模型可以是指以所述操作对象被初始识别时的识别位置为坐标原点建立三维直角坐标系,所述操作对象在移动时,将移动过程中的各个识别的识别位置映射至所述三维直角坐标系中。将所述操作对象的三维模型映射至所述虚拟内容的显示区域具体是指将所述控制图像中的操作对象移动过程中识别位置在所述三维直角坐标系中的坐标点映射至所述虚拟内容所在的空间坐标系中。所述操作对象的坐标点在映射时,按照所述虚拟内容所在的空间坐标系与所述操作对象的三维直角坐标系的模型比例进行映射。
可选地,所述识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述方法可以包括:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
所述头戴式VR设备的虚拟内容在显示了所述操作对象后,可能存在所述虚拟内容的显示与所述操作对象的显示比例不一致的情况,例如,所述虚拟内容中的操作目标较小,而所述操作对象相对所述操作对象较大,不利于所述操作对象对所述操作目标进行选择,因此,为了方便所述操作对象对所述虚拟内容的控制操作,可以针对所述虚拟内容的显示尺寸进行相应的调整。例如,可以调整所述虚拟内容的观看距离,当所述虚拟内容显示较近时,可以将显示距离相应的调远;当所述虚拟内容显示较远时,可以将显示距离相应的调近。当所述虚拟内容显示的大小不符合用户观看习惯时,可以调整所述虚拟内容的显示高度以及显示宽度。
203:显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容。
所述头戴式VR设备可以提供一个校准页面,以在所述校准页面中校准所述操作对象。可以在所述校准页面中显示一个校准区域,以在所述校准区域中完成所述操作对象的校准。
可选地,所述校准区域可以是一个校准圈,所述校准圈可以在所述校准页面中的任意位置,当然,当不包含所述校准页面时,所述校准圈也可以显示于所述虚拟内容中。
所述操作对象可以移动至所述校准区域中,所述校准区域可以对显示的所述操作对象进行校准。所述校准区域对所述操作对象的校准是指对所述操作对象在此校准区域中显示的显示内容进行校准,所述校准区域中可以只放置包含所述操作对象的标志内容的部分内容,以减少在校准过程中通过排除非标志内容的计算方式,可以提高计算速度,进而提高校准效率。例如,所述操作对象是手指时,所述在所述校准区域显示所述操作对象的至少部分内容具体可以是手指的指甲。
204:检测所述校准区域中的显示内容是否符合交互特征规则。
在所述校准区域显示所述操作对象的至少部分内容之后,可以检测所述校准区域中的显示内容是否符合交互特征规则。
可选地,所述检测所述校准区域中的显示内容是否符合交互特征规则可以包括:检测所述校准区域中的显示内容是否与预设模型匹配。
如果所述较准区域中的显示内容的对象特征与预设的对象模型匹配,确定符合交互特征规则;如果所述校准区域中的显示内容的对象特征与预设的对象模型不匹配,确定不符合交互特征规则。
可选地,可以通过所述头戴式VR设备可以提供一个校准页面进行所述操作对象的校准操作,进而可以在所述校准页面中检测所述校准区域中的显示内容是否符合交互特征规则。
205:如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
确定所述显示内容为所述操作对象中的标志内容是指确定所述操作对象对应的标志内容即为所显示的显示内容。
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容之后,可以关闭校准界面。在虚拟内容中显示所述标志内容对应的标识物。
206:显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容的交互动作。
所述标志内容对应的标识物可以是指在所述头戴式VR设备中为所述标志内容对应显示一个标识物,所述标识物可以在虚拟内容中移动并且控制相应的虚拟内容。所述标识物可以是一个与所述虚拟内容区别较为明确的可移动标识物,在实际设置时,可以设置为具有不同颜色、不同形状、不同大小的光标。所述颜色、形状、大小均可以根据需要进行相应的调整。
207:基于所述交互动作,对所述虚拟内容执行对应的控制操作。
本申请实施例中,在利用标识物对虚拟内容进行控制之前,对所述操作对象进行了校准,可以使所述操作对象在移动时,可以以更准确的方式显示相应的校准后的虚拟内容,实现准确的获取与所述操作对象对应的标识物的交互动作,进而可以更准确地实现对虚拟内容的控制操作,进一步提高了控制的成功率。
作为一个实施例,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作可以包括:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
交互动作可以对应不同的动作要求,例如,所述交互事件为点击事件时,所述控制操作就是点击操作,所述动作要求就是停留时长大于预设时长。
可选地,可以将所述交互事件与其对应的动作要求对应设置为相应的数据库或者数据表,所述交互动作发生时,可以确定其对应的动作要求,进而可以通过查询数据库或者数据表而确定对应的交互事件。
本申请实施例中,为交互事件对应了动作要求,可以基于动作要求确定所述交互动作对应的交互事件,这样可以准确获取所述交互动作对应的交互事件,可以提高交互事件的确认准确度,进而对所述虚拟内容执行所述交互事件对应的控制操作,提高所述控制操作的控制准确度。
作为又一个实施例,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作可以包括:
确定所述虚拟内容中所述标识物操作的虚拟对象。
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
所述虚拟内容中可以包括至少一个虚拟对象,所述标识物可以针对所述虚拟对象执行相应的交互动作,进而确定所述标识物操作的虚拟对象时,可以确定对应的交互动作,进而基于所述交互动作,对所述虚拟对象执行对应的控制操作。
本申请实施例中,所述标识物可以针对所述虚拟内容中的虚拟对象进行控制操作,进而基于所述交互操作,可以对所述虚拟对象执行对应的控制操作,可以使所述控制操作的虚拟对象更加明确,进而对虚拟内容的控制更具针对性。
如图3所示,为本申请实施例提供的一种虚拟内容控制设备的一个实施例的结构示意图,所述控制设备可以包括:存储器301,与所述存储器连接的处理器302;
所述存储器301可以用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器302可以用于:
响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;
识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;
显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;
基于所述交互动作,对所述虚拟内容执行对应的控制操作。
本申请主要应用于头戴式虚拟现实设备中,例如VR(Virtual Reality,虚拟现实)头盔、VR眼镜等设备。头戴式VR设备在佩戴过程中,可以营造出虚拟的显示环境,为用户提供一种沉浸式体验。
所述针对所述虚拟内容的控制请求可以是用户操作所述头戴式VR设备提供的交互控件而触发生成的。所述交互控件具体可以安装于所述头戴式VR设备上,用户可以随时发起触发操作的位置;所述交互控件具体还可以位于与所述头戴式VR可以进行通信连接的遥控设备上,所述遥控设备检测到所述交互控件被开启时,可以发送针对所述虚拟内容的控制请求至所述头戴式VR设备。
所述针对所述虚拟内容的控制请求还可以是所述头戴式VR设备检测到需要交互时,自行生成的。可以预先在所述头戴式VR设备播放的虚拟内容中,相应的交互位置,所述头戴式VR设备检测到播放至所述虚拟内容的交互位置时,即可以生成针对所述虚拟内容的控制请求。
响应于针对所述虚拟内容的控制请求,所述头戴式VR设备可以发送采集指令至其对应的图像采集设备;所述图像采集设备可以接收所述VR设备发送的采集指令,并响应于所述采集指令,开始采集位于采集范围内的操作对象以获得控制图像,以使所述头戴式VR设备可以采集操作对象以获得控制图像。所述头戴式VR设备上可以安装有图像采集设备,以采集所述操作对象的控制图像。
所述操作对象可以位于所述头戴式VR设备之外,并在所述头戴式VR设备之外实现对所述头戴式VR设备展示的虚拟内容的控制。所述操作对象可以有多种形式,作为一种可能的实现方式可以是人体除眼镜之外的手指、胳膊等可以实现控制动作的部位;作为又一种可能的实现方式可以是用户可以操作的操作笔、触控笔等。
所述控制图像中包含相应的操作对象,可以利用图像识别算法识别所述操作对象。可以先确定所述操作对象的对象模型,再识别所述操作对象的对象特征,当所述操作对象的对象特征与所述对象模型匹配时,则可以确定所述控制图像中包含有所述操作对象。
所述操作对象的标志内容具体可以是所述操作对象具有特殊标志的内容,例如,所述操作对象可以包括手指,所述标志内容可以是手指上的具有特殊轮廓的指甲部分;所述操作对象可以包括操作笔,所述标志内容可以是所述操作笔具有特殊标记的笔尖部分。
所述交互场景中可以显示所述操作对象,但是由于所述操作对象完全显示时,可能覆盖部分虚拟内容,使所述虚拟内容不能够及时显示。因此,可以显示标志内容对应的标识物,所述标识物更容易被区分。也即是在所述头戴式VR设备显示的虚拟内容上还可以显示相应的操作对象的标识物,所述操作对象发生运动变化时,相应的标识物随之发生相应的运动变化。
检测所述标识物在所述虚拟内容的交互动作即是所述操作对象在进行动作变化时,所述标识物在所述虚拟内容中随之发生响应的动作变化,进而可以确定相应的交互动作。
所述交互动作的确定可以通过根据所述标识物在所述虚拟内容的运动轨迹获得,可以记录所述标识物在所述虚拟内容中的坐标变化,通过所述坐标变化即可以确定相应的交互动作。所述坐标变化是指所述标识物在所述虚拟内容所在的三维空间中的各个坐标轴的相对变化。例如,所述标识物在所述虚拟内容中执行了一个点击操作,所述头戴式VR设备检测到相应的Z轴坐标轴的坐标变化较大时,可以确定交互动作为点击动作。
作为一个实施例,所述处理器检测所述标识物在所述虚拟内容中的交互动作具体可以是:
检测所述标识物移动过程中的位置坐标;
基于所述位置坐标的变化,确定所述标识物在所述虚拟内容中的交互动作。
通过记录所述标识物在运动过程中的坐标点的变化而确定相应的标识物在虚拟内容中的交互动作,可以以更准确的方式确定相应的交互动作,进而可以准确实现对所述虚拟内容的控制。
基于所述交互动作,可以确定相应的控制操作,以对所述虚拟内容执行对应的控制操作。
可选地,可以维护一个所述交互动作与所述控制操作的数据库或者数据表,确定所述交互动作之后,可以通过查询数据库或者数据表的方式确定所述交互动作对应的控制操作。
作为又一个实施例,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体可以是:
基于所述交互动作,确定所述交互动作对应的交互指令;
执行所述交互指令,以对所述虚拟内容执行对应的控制操作。
通过确定所述交互动作对应的交互指令,可以提高所述交互动作对应的控制操作的查询效率,以提高所述控制虚拟内容的控制操作的确定速度,提高了控制效率。
本申请实施例中,用户可以通过控制操作对象而实现所述标识物在所述虚拟内容中进行移动,进而可以检测所述标识物在所述虚拟内容中的交互动作,并基于所述交互动作,对所述虚拟内容执行对应的控制操作。通过在虚拟内容中检测与所述交互对象的标志内容对应的标识物进行相应的交互动作,可以控制所述虚拟内容,通过此方式对所述虚拟内容进行控制,所述交互动作检测通过摄像头等图像采集设备即可以完成,实现较为简单,而交互动作由于动作幅度较大,确定过程准确度更高,因此,可以实现对所述虚拟内容的准确的控制,提高了控制的成功率。
作为一个实施例,所述处理器识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容具体可以是:
识别所述控制图像中的所述操作对象,并显示所述操作对象;
显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容;
检测所述校准区域中的显示内容是否符合交互特征规则;
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
所述头戴式VR设备可以显示所述虚拟对象,可以在显示所述虚拟内容时,显示所述操作对象,具体可以是所述操作对象上浮于所述虚拟内容进行显示,也即是显示所述操作对象的虚拟影像。
可选地,作为一种可能的实现方式,所述处理器识别所述控制图像中的所述操作对象,并显示所述操作对象具体可以是:
识别所述控制图像中的所述操作对象;
为所述操作对象建立三维模型;
将所述操作对象的三维模型映射至所述虚拟内容的显示区域,以在所述虚拟内容中显示所述操作对象。
所述控制图像是二维图像,但是所述虚拟内容是三维图像,因此,将所述控制图像中的操作对象在所述虚拟内容中显示时,需要先为所述操作对象建立三维模型,以使所述操作对象能够在所述三维的虚拟内容中正常显示,并达到较为直观的观看效果。
为所述操作对象建立三维模型可以是指以所述操作对象被初始识别时的识别位置为坐标原点建立三维直角坐标系,所述操作对象在移动时,将移动过程中的各个识别的识别位置映射至所述三维直角坐标系中。将所述操作对象的三维模型映射至所述虚拟内容的显示区域具体是指将所述控制图像中的操作对象移动过程中识别位置在所述三维直角坐标系中的坐标点映射至所述虚拟内容所在的空间坐标系中。所述操作对象的坐标点在映射时,按照所述虚拟内容所在的空间坐标系与所述操作对象的三维直角坐标系的模型比例进行映射。
可选地,所述处理器识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述处理器具体还可以用于:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
所述头戴式VR设备的虚拟内容在显示了所述操作对象后,可能存在所述虚拟内容的显示与所述操作对象的显示比例不一致的情况,例如,所述虚拟内容中的操作目标较小,而所述操作对象相对所述操作对象较大,不利于所述操作对象对所述操作目标进行选择,因此,为了方便所述操作对象对所述虚拟内容的控制操作,可以针对所述虚拟内容的显示尺寸进行相应的调整。例如,可以调整所述虚拟内容的观看距离,当所述虚拟内容显示较近时,可以将显示距离相应的调远;当所述虚拟内容显示较远时,可以将显示距离相应的调近。当所述虚拟内容显示的大小不符合用户观看习惯时,可以调整所述虚拟内容的显示高度以及显示宽度。
所述头戴式VR设备可以提供一个校准页面,以在所述校准页面中校准所述操作对象。可以在所述校准页面中显示一个校准区域,以在所述校准区域中完成所述操作对象的校准。
可选地,所述校准区域可以是一个校准圈,所述校准圈可以在所述校准页面中的任意位置,当然,当不包含所述校准页面时,所述校准圈也可以显示于所述虚拟内容中。
所述操作对象可以移动至所述校准区域中,所述校准区域可以对显示的所述操作对象进行校准。所述校准区域对所述操作对象的校准是指对所述操作对象在此校准区域中显示的显示内容进行校准,所述校准区域中可以只放置包含所述操作对象的标志内容的部分内容,以减少在校准过程中通过排除非标志内容的计算方式,可以提高计算速度,进而提高校准效率。例如,所述操作对象是手指时,所述在所述校准区域显示所述操作对象的至少部分内容具体可以是手指的指甲。
在所述校准区域显示所述操作对象的至少部分内容之后,可以检测所述校准区域中的显示内容是否符合交互特征规则。
可选地,所述处理器检测所述校准区域中的显示内容是否符合交互特征规则具体可以是:检测所述校准区域中的显示内容是否与预设模型匹配。
如果所述较准区域中的显示内容的对象特征与预设的对象模型匹配,确定符合交互特征规则;如果所述校准区域中的显示内容的对象特征与预设的对象模型不匹配,确定不符合交互特征规则。
可选地,可以通过所述头戴式VR设备可以提供一个校准页面进行所述操作对象的校准操作,进而可以在所述校准页面中检测所述校准区域中的显示内容是否符合交互特征规则。
确定所述显示内容为所述操作对象中的标志内容是指确定所述操作对象对应的标志内容即为所显示的显示内容。
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容之后,可以关闭校准界面。在虚拟内容中显示所述标志内容对应的标识物。
所述标志内容对应的标识物可以是指在所述头戴式VR设备中为所述标志内容对应显示一个标识物,所述标识物可以在虚拟内容中移动并且控制相应的虚拟内容。所述标识物可以是一个与所述虚拟内容区别较为明确的可移动标识物,在实际设置时,可以设置为具有不同颜色、不同形状、不同大小的光标。所述颜色、形状、大小均可以根据需要进行相应的调整。
本申请实施例中,在利用标识物对虚拟内容进行控制之前,对所述操作对象进行了校准,可以使所述操作对象在移动时,可以以更准确的方式显示相应的校准后的虚拟内容,实现准确的获取与所述操作对象对应的标识物的交互动作,进而可以更准确地实现对虚拟内容的控制操作,进一步提高了控制的成功率。
作为一个实施例,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
交互动作可以对应不同的动作要求,例如,所述交互事件为点击事件时,所述控制操作就是点击操作,所述动作要求就是停留时长大于预设时长。
可选地,可以将所述交互事件与其对应的动作要求对应设置为相应的数据库或者数据表,所述交互动作发生时,可以确定其对应的动作要求,进而可以通过查询数据库或者数据表而确定对应的交互事件。
本申请实施例中,为交互事件对应了动作要求,可以基于动作要求确定所述交互动作对应的交互事件,这样可以准确获取所述交互动作对应的交互事件,可以提高交互事件的确认准确度,进而对所述虚拟内容执行所述交互事件对应的控制操作,提高所述控制操作的控制准确度。
作为一个实施例,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
确定所述虚拟内容中所述标识物操作的虚拟对象;
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
所述虚拟内容中可以包括至少一个虚拟对象,所述标识物可以针对所述虚拟对象执行相应的交互动作,进而确定所述标识物操作的虚拟对象时,可以确定对应的交互动作,进而基于所述交互动作,对所述虚拟对象执行对应的控制操作。
本申请实施例中,所述标识物可以针对所述虚拟内容中的虚拟对象进行控制操作,进而基于所述交互操作,可以对所述虚拟对象执行对应的控制操作,可以使所述控制操作的虚拟对象更加明确,进而对虚拟内容的控制更具针对性。
如图4所示,为本申请实施例提供的一种虚拟内容控制装置的一个实施例的结构示意图,所述装置可以包括:
请求响应模块401,用于响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像。
本申请主要应用于头戴式虚拟现实设备中,例如VR(Virtual Reality,虚拟现实)头盔、VR眼镜等设备。头戴式VR设备在佩戴过程中,可以营造出虚拟的显示环境,为用户提供一种沉浸式体验。
所述针对所述虚拟内容的控制请求可以是用户操作所述头戴式VR设备提供的交互控件而触发生成的。所述交互控件具体可以安装于所述头戴式VR设备上,用户可以随时发起触发操作的位置;所述交互控件具体还可以位于与所述头戴式VR可以进行通信连接的遥控设备上,所述遥控设备检测到所述交互控件被开启时,可以发送针对所述虚拟内容的控制请求至所述头戴式VR设备。
所述针对所述虚拟内容的控制请求还可以是所述头戴式VR设备检测到需要交互时,自行生成的。可以预先在所述头戴式VR设备播放的虚拟内容中,相应的交互位置,所述头戴式VR设备检测到播放至所述虚拟内容的交互位置时,即可以生成针对所述虚拟内容的控制请求。
响应于针对所述虚拟内容的控制请求,所述头戴式VR设备可以发送采集指令至其对应的图像采集设备;所述图像采集设备可以接收所述VR设备发送的采集指令,并响应于所述采集指令,开始采集位于采集范围内的操作对象以获得控制图像,以使所述头戴式VR设备可以采集操作对象以获得控制图像。所述头戴式VR设备上可以安装有图像采集设备,以采集所述操作对象的控制图像。
所述操作对象可以位于所述头戴式VR设备之外,并在所述头戴式VR设备之外实现对所述头戴式VR设备展示的虚拟内容的控制。所述操作对象可以有多种形式,作为一种可能的实现方式可以是人体除眼镜之外的手指、胳膊等可以实现控制动作的部位;作为又一种可能的实现方式可以是用户可以操作的操作笔、触控笔等。
对象确定模块402,用于识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容。
所述控制图像中包含相应的操作对象,可以利用图像识别算法识别所述操作对象。可以先确定所述操作对象的对象模型,再识别所述操作对象的对象特征,当所述操作对象的对象特征与所述对象模型匹配时,则可以确定所述控制图像中包含有所述操作对象。
所述操作对象的标志内容具体可以是所述操作对象具有特殊标志的内容,例如,所述操作对象可以包括手指,所述标志内容可以是手指上的具有特殊轮廓的指甲部分;所述操作对象可以包括操作笔,所述标志内容可以是所述操作笔具有特殊标记的笔尖部分。
显示检测模块403,用于显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作。
所述交互场景中可以显示所述操作对象,但是由于所述操作对象完全显示时,可能覆盖部分虚拟内容,使所述虚拟内容不能够及时显示。因此,可以显示标志内容对应的标识物,所述标识物更容易被区分。也即是在所述头戴式VR设备显示的虚拟内容上还可以显示相应的操作对象的标识物,所述操作对象发生运动变化时,相应的标识物随之发生相应的运动变化。
检测所述标识物在所述虚拟内容的交互动作即是所述操作对象在进行动作变化时,所述标识物在所述虚拟内容中随之发生响应的动作变化,进而可以确定相应的交互动作。
所述交互动作的确定可以通过根据所述标识物在所述虚拟内容的运动轨迹获得,可以记录所述标识物在所述虚拟内容中的坐标变化,通过所述坐标变化即可以确定相应的交互动作。所述坐标变化是指所述标识物在所述虚拟内容所在的三维空间中的各个坐标轴的相对变化。例如,所述标识物在所述虚拟内容中执行了一个点击操作,所述头戴式VR设备检测到相应的Z轴坐标轴的坐标变化较大时,可以确定交互动作为点击动作。
作为一个实施例,所述显示检测模块具体可以用于:
检测所述标识物移动过程中的位置坐标;
基于所述位置坐标的变化,确定所述标识物在所述虚拟内容中的交互动作。
通过记录所述标识物在运动过程中的坐标点的变化而确定相应的标识物在虚拟内容中的交互动作,可以以更准确的方式确定相应的交互动作,进而可以准确实现对所述虚拟内容的控制。
操作控制模块404,用于基于所述交互动作,对所述虚拟内容执行对应的控制操作。
基于所述交互动作,可以确定相应的控制操作,以对所述虚拟内容执行对应的控制操作。
可选地,可以维护一个所述交互动作与所述控制操作的数据库或者数据表,确定所述交互动作之后,可以通过查询数据库或者数据表的方式确定所述交互动作对应的控制操作。
作为又一个实施例,所述操作控制模块可以用于:
基于所述交互动作,确定所述交互动作对应的交互指令;
执行所述交互指令,以对所述虚拟内容执行对应的控制操作。
通过确定所述交互动作对应的交互指令,可以提高所述交互动作对应的控制操作的查询效率,以提高所述控制虚拟内容的控制操作的确定速度,提高了控制效率。
本申请实施例中,用户可以通过控制操作对象而实现所述标识物在所述虚拟内容中进行移动,进而可以检测所述标识物在所述虚拟内容中的交互动作,并基于所述交互动作,对所述虚拟内容执行对应的控制操作。通过在虚拟内容中检测与所述交互对象的标志内容对应的标识物进行相应的交互动作,可以控制所述虚拟内容,通过此方式对所述虚拟内容进行控制,所述交互动作检测通过摄像头等图像采集设备即可以完成,实现较为简单,而交互动作由于动作幅度较大,确定过程准确度更高,因此,可以实现对所述虚拟内容的准确的控制,提高了控制的成功率。
作为一个实施例,所述对象确定模块可以包括:
识别显示单元,用于识别所述控制图像中的所述操作对象,并显示所述操作对象。
所述头戴式VR设备可以显示所述虚拟对象,可以在显示所述虚拟内容时,显示所述操作对象,具体可以是所述操作对象上浮于所述虚拟内容进行显示,也即是显示所述操作对象的虚拟影像。
可选地,作为一种可能的实现方式,所述识别显示单元具体可以用于:
识别所述控制图像中的所述操作对象;
为所述操作对象建立三维模型;
将所述操作对象的三维模型映射至所述虚拟内容的显示区域,以在所述虚拟内容中显示所述操作对象。
所述控制图像是二维图像,但是所述虚拟内容是三维图像,因此,将所述控制图像中的操作对象在所述虚拟内容中显示时,需要先为所述操作对象建立三维模型,以使所述操作对象能够在所述三维的虚拟内容中正常显示,并达到较为直观的观看效果。
为所述操作对象建立三维模型可以是指以所述操作对象被初始识别时的识别位置为坐标原点建立三维直角坐标系,所述操作对象在移动时,将移动过程中的各个识别的识别位置映射至所述三维直角坐标系中。将所述操作对象的三维模型映射至所述虚拟内容的显示区域具体是指将所述控制图像中的操作对象移动过程中识别位置在所述三维直角坐标系中的坐标点映射至所述虚拟内容所在的空间坐标系中。所述操作对象的坐标点在映射时,按照所述虚拟内容所在的空间坐标系与所述操作对象的三维直角坐标系的模型比例进行映射。
可选地,所述对象确定模块还不包括:
尺寸调整单元,用于响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
所述头戴式VR设备的虚拟内容在显示了所述操作对象后,可能存在所述虚拟内容的显示与所述操作对象的显示比例不一致的情况,例如,所述虚拟内容中的操作目标较小,而所述操作对象相对所述操作对象较大,不利于所述操作对象对所述操作目标进行选择,因此,为了方便所述操作对象对所述虚拟内容的控制操作,可以针对所述虚拟内容的显示尺寸进行相应的调整。例如,可以调整所述虚拟内容的观看距离,当所述虚拟内容显示较近时,可以将显示距离相应的调远;当所述虚拟内容显示较远时,可以将显示距离相应的调近。当所述虚拟内容显示的大小不符合用户观看习惯时,可以调整所述虚拟内容的显示高度以及显示宽度。
显示校准单元,用于显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容。
所述头戴式VR设备可以提供一个校准页面,以在所述校准页面中校准所述操作对象。可以在所述校准页面中显示一个校准区域,以在所述校准区域中完成所述操作对象的校准。
可选地,所述校准区域可以是一个校准圈,所述校准圈可以在所述校准页面中的任意位置,当然,当不包含所述校准页面时,所述校准圈也可以显示于所述虚拟内容中。
所述操作对象可以移动至所述校准区域中,所述校准区域可以对显示的所述操作对象进行校准。所述校准区域对所述操作对象的校准是指对所述操作对象在此校准区域中显示的显示内容进行校准,所述校准区域中可以只放置包含所述操作对象的标志内容的部分内容,以减少在校准过程中通过排除非标志内容的计算方式,可以提高计算速度,进而提高校准效率。例如,所述操作对象是手指时,所述在所述校准区域显示所述操作对象的至少部分内容具体可以是手指的指甲。
特征检测单元,用于检测所述校准区域中的显示内容是否符合交互特征规则。
在所述校准区域显示所述操作对象的至少部分内容之后,可以检测所述校准区域中的显示内容是否符合交互特征规则。
可选地,所述特征检测单元可以用于:检测所述校准区域中的显示内容是否与预设模型匹配。
如果所述较准区域中的显示内容的对象特征与预设的对象模型匹配,确定符合交互特征规则;如果所述校准区域中的显示内容的对象特征与预设的对象模型不匹配,确定不符合交互特征规则。
可选地,可以通过所述头戴式VR设备可以提供一个校准页面进行所述操作对象的校准操作,进而可以在所述校准页面中检测所述校准区域中的显示内容是否符合交互特征规则。
内容确定单元,用于如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
确定所述显示内容为所述操作对象中的标志内容是指确定所述操作对象对应的标志内容即为所显示的显示内容。
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容之后,可以关闭校准界面。在虚拟内容中显示所述标志内容对应的标识物。
本申请实施例中,在利用标识物对虚拟内容进行控制之前,对所述操作对象进行了校准,可以使所述操作对象在移动时,可以以更准确的方式显示相应的校准后的虚拟内容,实现准确的获取与所述操作对象对应的标识物的交互动作,进而可以更准确地实现对虚拟内容的控制操作,进一步提高了控制的成功率。
作为一个实施例,所述操作控制模块可以包括:
事件确定单元,用于基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
操作确定单元,用于对所述虚拟内容执行所述交互事件对应的控制操作。
交互动作可以对应不同的动作要求,例如,所述交互事件为点击事件时,所述控制操作就是点击操作,所述动作要求就是停留时长大于预设时长。
可选地,可以将所述交互事件与其对应的动作要求对应设置为相应的数据库或者数据表,所述交互动作发生时,可以确定其对应的动作要求,进而可以通过查询数据库或者数据表而确定对应的交互事件。
本申请实施例中,为交互事件对应了动作要求,可以基于动作要求确定所述交互动作对应的交互事件,这样可以准确获取所述交互动作对应的交互事件,可以提高交互事件的确认准确度,进而对所述虚拟内容执行所述交互事件对应的控制操作,提高所述控制操作的控制准确度。
作为又一个实施例,所述操作控制模块可以包括:
对象确定单元,用于确定所述虚拟内容中所述标识物操作的虚拟对象;
对象控制单元,用于基于所述交互动作,对所述虚拟对象执行对应的控制操作。
所述虚拟内容中可以包括至少一个虚拟对象,所述标识物可以针对所述虚拟对象执行相应的交互动作,进而确定所述标识物操作的虚拟对象时,可以确定对应的交互动作,进而基于所述交互动作,对所述虚拟对象执行对应的控制操作。
本申请实施例中,所述标识物可以针对所述虚拟内容中的虚拟对象进行控制操作,进而基于所述交互操作,可以对所述虚拟对象执行对应的控制操作,可以使所述控制操作的虚拟对象更加明确,进而对虚拟内容的控制更具针对性。
本申请实施例中,所述头戴式VR设备可以是头戴显示VR设备。
如图5所示,为本申请实施例提供的一种头戴显示VR设备的内部配置结构示意图。
该头戴VR设备可以包括显示单元501、虚拟图像光学单元502、输入操作单元503、状态信息获取单元504、通信单元505。
显示单元501可以包括显示面板,显示面板设置在头戴显示设备500上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元502以放大方式拍摄显示单元501所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元501上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机510拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元502可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元503包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元507输出指令。
状态信息获取单元504用于获取穿戴头戴显示设备500的用户的状态信息。状态信息获取单元504可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元505从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元504可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元504可以包括陀螺仪传感器、加速度传感器、全球定位***(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元504获取穿戴头戴显示设备500的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备500)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元505执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元507可以从通信单元505向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元505可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备500还可以包括存储单元,存储单元506是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元506可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备500观看的内容可以存储在存储单元506中。
一些实施例中,头戴显示设备500还可以包括控制单元,控制单元507可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元507可以用于执行存储单元506存储的应用程序,或者控制单元507还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元508用于执行信号处理,比如与从控制单元507输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元501的屏幕的分辨率。然后,显示驱动单元509依次选择显示单元501的每行像素,并逐行依次扫描显示单元501的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备500还可以包括外部相机。外部相机510可以设置在头戴显示设备500主体前表面,外部相机510可以为一个或者多个。外部相机510可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机510一起使用。外部相机510和距离传感器可以用于检测穿戴头戴显示设备500的用户的身***置、姿态和形状。另外,一定条件下用户可以通过外部相机510直接观看或者预览现实场景。
一些实施例中,头戴显示设备500还可以包括声音处理单元,声音处理单元511可以执行从控制单元507输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元512在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图5中虚线框示出的结构或部件可以独立于头戴显示设备500之外,例如可以设置在外部处理***(例如计算机***)中与头戴显示设备500配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备500内部或者表面上。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式,然所述描述乃以说明本申请的一般原则为目的,并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素
上述说明示出并描述了本申请的若干优选实施例,但如前所述,应当理解本申请并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和场景,并能够在本文所述申请构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围,则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种虚拟内容控制方法,其特征在于,包括:
响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;
识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;
显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;
基于所述交互动作,对所述虚拟内容执行对应的控制操作。
2.根据权利要求1所述的方法,其特征在于,所述识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容包括:
识别所述控制图像中的所述操作对象,并显示所述操作对象;
显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容;
检测所述校准区域中的显示内容是否符合交互特征规则;
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
3.根据权利要求1所述的方法,其特征在于,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作包括:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
4.根据权利要求1所述的方法,其特征在于,所述基于所述交互动作,对所述虚拟内容执行对应的控制操作包括:
确定所述虚拟内容中所述标识物操作的虚拟对象;
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
5.根据权利要求2所述的方法,其特征在于,所述识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述方法包括:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
6.一种虚拟内容控制设备,其特征在于,包括:存储器,与所述存储器连接的处理器;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器用于:
响应于针对所述虚拟内容的控制请求,采集操作对象以获得控制图像;
识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容;
显示所述标志内容对应的标识物,并检测所述标识物在所述虚拟内容中的交互动作;
基于所述交互动作,对所述虚拟内容执行对应的控制操作。
7.根据权利要求6所述的设备,其特征在于,所述处理器识别所述控制图像中的所述操作对象,并确定所述操作对象中的标志内容具体是:
识别所述控制图像中的所述操作对象,并显示所述操作对象;
显示校准区域,以提示用户控制所述操作对象移动,以在所述校准区域显示所述操作对象的至少部分内容;
检测所述校准区域中的显示内容是否符合交互特征规则;
如果所述校准区域中的显示内容符合交互特征规则,确定所述显示内容为所述操作对象中的标志内容。
8.根据权利要求6所述的设备,其特征在于,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
基于不同交互事件的动作要求,确定所述交互动作对应的交互事件;
对所述虚拟内容执行所述交互事件对应的控制操作。
9.根据权利要求6所述的设备,其特征在于,所述处理器基于所述交互动作,对所述虚拟内容执行对应的控制操作具体是:
确定所述虚拟内容中所述标识物操作的虚拟对象;
基于所述交互动作,对所述虚拟对象执行对应的控制操作。
10.根据权利要求7所述的设备,其特征在于,所述处理器识别所述控制图像中的所述操作对象,并显示所述操作对象之后,所述处理器还用于:
响应于用户针对所述虚拟内容的调整操作,调整所述虚拟内容的显示尺寸。
CN201710909416.9A 2017-09-29 2017-09-29 虚拟内容控制方法及控制设备 Pending CN107621881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710909416.9A CN107621881A (zh) 2017-09-29 2017-09-29 虚拟内容控制方法及控制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710909416.9A CN107621881A (zh) 2017-09-29 2017-09-29 虚拟内容控制方法及控制设备

Publications (1)

Publication Number Publication Date
CN107621881A true CN107621881A (zh) 2018-01-23

Family

ID=61091349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909416.9A Pending CN107621881A (zh) 2017-09-29 2017-09-29 虚拟内容控制方法及控制设备

Country Status (1)

Country Link
CN (1) CN107621881A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640183A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种ar数据展示控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置
US20090189855A1 (en) * 2008-01-28 2009-07-30 Primax Electronics Ltd. Computer cursor control system
US8893051B2 (en) * 2011-04-07 2014-11-18 Lsi Corporation Method for selecting an element of a user interface and device implementing such a method
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US20160004315A1 (en) * 2014-07-03 2016-01-07 PACSPoint Inc. System and method of touch-free operation of a picture archiving and communication system
CN106484119A (zh) * 2016-10-24 2017-03-08 网易(杭州)网络有限公司 虚拟现实***及虚拟现实***输入方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US20090189855A1 (en) * 2008-01-28 2009-07-30 Primax Electronics Ltd. Computer cursor control system
US8893051B2 (en) * 2011-04-07 2014-11-18 Lsi Corporation Method for selecting an element of a user interface and device implementing such a method
US20160004315A1 (en) * 2014-07-03 2016-01-07 PACSPoint Inc. System and method of touch-free operation of a picture archiving and communication system
CN106484119A (zh) * 2016-10-24 2017-03-08 网易(杭州)网络有限公司 虚拟现实***及虚拟现实***输入方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640183A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种ar数据展示控制方法及装置

Similar Documents

Publication Publication Date Title
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
CN107678539A (zh) 用于头戴显示设备的显示方法及头戴显示设备
CN109002164A (zh) 头戴显示设备的显示方法、装置及头戴显示设备
CN107479804A (zh) 虚拟现实设备及其内容调整方法
US11889291B2 (en) Head-related transfer function
US20230256297A1 (en) Virtual evaluation tools for augmented reality exercise experiences
EP4341797A1 (en) Audio enhanced augmented reality
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
CN107621881A (zh) 虚拟内容控制方法及控制设备
CN107844197A (zh) 虚拟现实场景显示方法及设备
CN107945100A (zh) 虚拟现实场景的展示方法、虚拟现实设备及***
US11863963B2 (en) Augmented reality spatial audio experience
US12019773B2 (en) Timelapse of generating a collaborative object
US11998798B2 (en) Virtual guided fitness routines for augmented reality experiences
US20240069642A1 (en) Scissor hand gesture for a collaborative object
US20240050831A1 (en) Instructor avatars for augmented reality experiences
US20240070299A1 (en) Revealing collaborative object using countdown timer
US20220358689A1 (en) Curated contextual overlays for augmented reality experiences
US20240070301A1 (en) Timelapse of generating a collaborative object
US20240070302A1 (en) Collaborative object associated with a geographical location
US20240071020A1 (en) Real-world responsiveness of a collaborative object
CN108108019A (zh) 虚拟现实设备及其显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201029

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20180123

RJ01 Rejection of invention patent application after publication