CN108536279B - 一种在虚拟现实环境中进行交互的方法及*** - Google Patents
一种在虚拟现实环境中进行交互的方法及*** Download PDFInfo
- Publication number
- CN108536279B CN108536279B CN201710299815.8A CN201710299815A CN108536279B CN 108536279 B CN108536279 B CN 108536279B CN 201710299815 A CN201710299815 A CN 201710299815A CN 108536279 B CN108536279 B CN 108536279B
- Authority
- CN
- China
- Prior art keywords
- user
- head
- parameter range
- virtual reality
- adjusting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 title abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000004886 head movement Effects 0.000 claims abstract description 35
- 238000006073 displacement reaction Methods 0.000 claims description 100
- 230000004044 response Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 91
- 230000007423 decrease Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002441 reversible effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002354 daily effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种在虚拟现实环境中进行交互的方法,包括在参数范围调整的模式下,通过虚拟现实***运行装置对用户的头部运动进行检测;以及虚拟现实***运行装置根据检测的结果对参数范围进行调整。本申请还公开了一种执行该交互方法的虚拟现实***运行装置和相应的虚拟现实***。
Description
技术领域
本申请涉及智能交互控制的技术领域,更具体地,涉及一种在VR环境中基于头部运动进行数值调节的方法及***。
背景技术
虚拟现实技术(Virtual Reality,简称VR),是指利用计算机接口连接现实中的接口设备,并结合计算机图形***在计算机上生成可交互的沉浸式环境的技术。
当前虚拟现实领域内主要的输出设备包括依靠电脑、主机等设备为运行装置的外接式VR头盔,例如HTC VIVE或Oculus等;将内容平台和显示设备融合制作在一起的一体式VR头盔;以及以智能手机(包括平板电脑)作为运行装置实现穿戴和光学显示的便携式VR***。由于智能手机的便携性及其具有极高的市场保有量的事实,再加上价格的优势,以智能手机为运行装置的虚拟现实***具有非常广阔的发展未来。
发明内容
本申请提供了一种在虚拟现实环境中进行交互的方法,包括在参数范围调整模式下,通过虚拟现实***运行装置对用户的头部运动进行检测;以及虚拟现实***运行装置根据检测的结果对参数范围进行调整。
特别的,所述检测结果至少包括用户头部在第一和第二位置之间在第一方向上的线位移或绕第一方向的角位移;所述调整包括响应于用户头部在所述第一方向上的线位移量或绕所述第一方向的角位移量对所述参数范围增大相应的幅度。
特别的,所述检测结果还包括用户头部在第二和第三位置之间在第二方向上的线位移或绕第二方向的角位移;所述调整包括响应于用户头部在所述第二方向上的线位移量或绕所述第二方向的角位移量对所述参数范围减小相应的幅度;其中所述第一方向和所述第二方向之间的夹角基本上为90度或180度。
特别的,在所述运行装置中预设了在所述第一方向或所述第二方向上的一个或多个位置,每个所述预设位置对应一个对参数范围调整的幅度;当所述检测结果中用户头部的线位移落在一个所述预设位置上时,采用与该预设位置相应的幅度对参数范围进行调整;当所述检测结果中用户头部的线位移没有落在任何一个所述预设位置上时,采用最接近用户头部的一个所述预设位置对应的幅度对参数范围进行调整。
特别的,在所述运行装置中预设了绕所述第一方向或所述第二方向上的一个或多个位置,每个所述预设位置对应一个对参数范围调整的幅度;当所述检测结果中用户头部的角位移落在一个所述预设位置上时,采用与该预设位置相应的幅度对参数范围进行调整;当所述检测结果中用户头部的角位移没有落在任何一个所述预设位置上时,采用最接近用户头部的一个所述预设位置对应的幅度对参数范围进行调整。
特别的,该方法进一步包括在所述运行装置检测到用户发出的退出对所述参数范围进行调整的模式的指令前,根据所述检测结果持续对所述参数范围进行调整。
特别的,所述检测结果包括用户头部在第一方向上的线位移或绕第一方向的角位移,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或每一次绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大预定的幅度。
特别的,该方法还包括根据用户指令或所述检测结果,所述运行装置进入参数范围增大子模式;在所述参数范围增大子模式,所述运行装置忽略用户头部在相邻两次沿所述第一方向移动或绕第一方向的转动过程中穿插的沿与所述第一方向相反的方向上的移动或绕所述第一方向的相反的转动,直到所述运行装置检测到用户发出的退出所述参数范围调整模式的指令。
特别的,所述检测结果包括用户头部在第二方向上的线位移或绕第二方向的角位移,所述调整包括响应于用户头部每次在所述第二方向上的大于或等于预定的阈值的线位移或绕第二方向的大于或等于预定阈值的角位移,对所述参数范围减小预定的幅度;其中所述第一方向和所述第二方向之间的夹角基本上为90度或180度。
特别的,该方法还包括根据用户指令或所述检测结果,所述运行装置进入参数范围减小子模式;在所述参数范围减小子模式下,所述运行装置忽略用户头部在相邻两次沿所述第二方向移动或绕所述第二方向转动的过程中穿插的在与所述第二方向相反的方向上的移动或绕所述第二方向相反的转动,直到所述运行装置检测到用户发出的退出所述参数范围调整模式的指令。
特别的,该方法还包括在所述参数范围调整模式下,所述运行装置向用户提供对所述参数范围进行粗略调整和精细调整的两种状态选择。
特别的,所述检测结果至少包括用户头部在第一和第二位置之间在第一方向上的线位移或绕第一方向的角位移;在粗略调整状态下,所述调整包括响应于用户头部在所述第一方向上的第一线位移量或绕所述第一方向的第一角位移量对所述参数范围增大第一幅度;在精细调整状态下,所述调整包括响应于用户头部在所述第一方向上的第一线位移量或绕所述第一方向的第一角位移量对所述参数范围增大第二幅度;其中所述第一幅度大于所述第二幅度。
特别的,所述检测结果包括用户头部在第一方向上的线位移或绕第一方向的角位移,在粗略调整状态下,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大第一预定的幅度;在精细调整状态下,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大第二预定的幅度;其中所述第一预定幅度大于所述第二预定幅度。
特别的,该方法还包括所述运行装置检测用户发出的进入或退出所述参数范围调整模式的指令。
本申请还提供了一种用于执行前述任一的方法的虚拟现实***运行装置,包括存储模块,用于存储用户头部运动与参数范围调整之间的预定的对应关系;传感器模块,用于检测和收集用户头部运动轨迹数据;以及处理模块,用于基于传感器模块得到的检测结果以及存储模块存储的用户头部运动与参数范围调整之间的预定的对应关系对所述参数的范围进行调整。
特别的,所述虚拟现实***运行装置是智能手机。
本申请还提供了一种虚拟现实***,包括运行装置和穿戴装置,所述穿戴装置用于实现用户对所述运行装置的穿戴;所述运行装置用于执行前述任一方法,所述运行装置包括存储模块,用于存储用户头部运动与参数范围调整之间的预定的对应关系;传感器模块,用于检测和收集用户头部运动轨迹数据;处理模块,用于基于传感器模块得到的检测结果以及存储模块存储的用户头部运动与参数范围调整之间的预定的对应关系对所述参数的范围进行调整。
特别的,所述虚拟现实***运行装置是智能手机。
以下将参照附图对本申请的示例性实施例的详细描述。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且连同其说明一起用于解释本申请的原理。
图1所示为用户佩戴虚拟现实***的示意图;
图2为根据本申请一个实施例在虚拟现实环境中进行交互的方法的流程示意图;
图3为根据本申请另一个实施例在虚拟现实环境中进行交互的方法的流程示意图;
图4为根据本申请又一个实施例在虚拟现实环境中进行交互的方法的流程示意图;
图5为根据本申请再一个实施例在虚拟现实环境中进行交互的方法的流程示意图;
图6为根据本申请一个实施例的在虚拟现实环境中进行交互的方法的流程示意图;以及
图7为根据本申请一个实施例的虚拟现实***运行装置示意图。
具体实施方式
以下将参照附图来详细描述本申请的各示例性实施例。应注意的是,除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意的是,相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
现有虚拟现实领域中所采用的主要的输入设备包括例如游戏手柄、方向盘、模拟枪等平台操作输入设备;以及包括红外摄像头、万向跑步机、手势捕捉手套等行为检测设备。这些外设普遍价格比较高昂,需要通过蓝牙或红外等方式与运行设备通信,会给运行设备或使用者增加额外的通信或携带负担。在成本有限并且对便捷性要求较高的情况下,这些外置输入设备都无法满足用户的需要。
对于采用智能手机作为***运行装置的便携式虚拟现实***来说,由于在使用过程中智能手机与可容纳智能手机的VR镜框作为一个整体被使用者佩戴在头部,且在视觉上阻断了使用者与现实之间的联系,因此用户很难再通过智能手机上的按键来对***进行操控。
视线追踪技术对虚拟现实***、特别是对于基于智能手机的便携式虚拟现实***来说,是比较常用的一种交互手段。视线追踪可以是***预先设定使用者眼睛的位置,并且采用例如十字或圆点等特定形状来代表眼睛的位置,在使用过程中***通过检测代表使用者眼睛位置的十字或圆点的位置及其停留的时间来实现用户与***的交互。
视线追踪还可以通过实时拍摄使用者眼部图片并通过对图形的分析从而确定使用者视线的位置,并基于此实现交互。
但是,事实情况是采用视线追踪技术很难实现对虚拟现实***的精确操控。首先,人眼的运动空间和范围非常有限,而且大多数人在日常生活中并不经常利用眼睛的移动来对外界进行控制。这与人的日常习惯是相违背的,使用者往往需要较长的时间来适应这种控制行为。其次,眼睛定位的准确性存在问题。用户对视线的控制准确性以及虚拟现实***对于用户视线的捕捉的准确性和图像处理的准确性都存在着一定的问题。因此,利用视线追踪技术对参数范围进行调整存在着比较大的困难。特别是对例如音量等需要精确调整的参数这一问题尤为突出。进一步地,视线追踪技术所依赖的是用户的眼部运动,在需要对虚拟现实***进行频繁或者精确的操作的情况下,很容易导致用户眼部的疲劳以及晕眩等生理上的负面影响。这已经成为了VR技术进一步推广的一个难题。
有鉴于此,本申请提供了一种根据用户头部动作控制虚拟现实交互的方法及***,以解决当前虚拟现实***不能简便、快捷且准确地对参数范围进行调整的问题。
图1所示为用户佩戴虚拟现实***的示意图,其中以用户头部位置为原点定义了o-xyz坐标系。以下的说明参考图1的坐标系。
图2所示为根据本申请的一个实施例在虚拟现实环境中进行交互,特别是对参数范围进行调整的流程图。
在步骤202,虚拟现实***的运行装置,例如智能手机,在用户的激发下进入对参数范围的调整模式。
这里提到的参数可以是音量、亮度、对比度、观看进度、视图大小等等与***设置或运行相关的量。例如,用户可以通过注视屏幕上的控制键超过一定阈值时间,或者可以通过声音激发虚拟现实***的运行装置进入参数范围调整模式。进入调整模式的方式可以很多,并不限于此处所列举的例子,虚拟现实***中现有的进行简单的交互手段都可以被用来激发***进入对参数范围进行调整的模式。
在步骤204,在进入参数范围调整模式后,虚拟现实***运行装置对用户的头部运动进行检测。
虚拟现实***的运行装置,例如智能手机,一般都配备了陀螺仪、加速度计、全球定位***(GPS)、和/或磁力计,当用户通过VR镜框将智能手机穿戴在头部后,智能手机可以根据这些传感器收集到的数据来推断出用户的头部的运动轨迹。
可选择的,在步骤206,为了提高操控的准确性,避免将用户的日常头部活动与传达指令的头部运动混为一谈,运行装置可以对用户头部在特定方向上的运动距离和/或加速度进行判断。只有用户头部在该方向上的运动的距离和/或加速度超过一定的阈值才确认是具有指令含义的、对参数范围进行调整的动作。否则,运行装置会将运动距离和加速度小于阈值的动作认定为用户不具备任何指令含义的日常头部动作。
在步骤208,运行装置根据检测的结果以及用户头部运动与参数范围调整之间预定的对应关系,对参数范围进行相应的调整。
图3所示为根据本申请的另一个实施例在虚拟现实环境中进行交互,特别是对参数范围进行调整的流程图。这个方法中,也可以包括类似于图2中步骤202或206的操作。
在步骤302,运行装置收集用户头部运动前后在特定方向上的线位移数据。
在步骤304,运行装置根据用户头部在该特定方向上的线位移与参数范围调整幅度之间的对应关系对参数范围进行调整。
例如,在三维坐标系(o-xyz)中,运行装置仅仅以用户头部运动轨迹沿x轴的位移量作为调整参数范围的参考。而用户头部运动的轨迹是否与x轴平行,是否在y轴或者z轴上有分量,都与参数范围的调整无关。当然,也可以将用户头部运动轨迹在y轴或者z轴上的分量作为参数范围调整的依据,这是可以根据用户的需要、应用的特点以及使用环境来变化的。
根据一个实施例,用户头部运动前后在x轴方向上的线位移越大,运行装置就相应的对参数范围进行越大的调整,例如用户头部在x轴方向上每3cm的位移,则运行装置对参数范围例如音量,调整一个幅度如5dB;或者对于观看进度,用户头部在x轴方向上每3cm的位移可以对应于5分钟的观看进度调整等等。当然这些数值上的对应关系是可以根据用户的需要、应用的特点以及应用的环境的不同而变化的。
根据另一个实施例,虚拟现实***运行装置中可以预先存储一系列预设位置,例如以用户头部初始位置作为原点o,沿x轴距离原点3cm、6cm、9cm等等可以分别定为预设位置,分别对应于对例如音量的5dB、10dB、15dB的调整幅度。当然,预设的点之间及其对应的幅度之间的间隔不一定只有一个,可以是递增或递减等等。当用户的头部运动到恰好这些预设位置时,虚拟现实***运行装置会对参数范围进行相应幅度的调整。当用户的头部运动到这些预设的点之间的位置时,运行装置可以根据预设的规则,例如根据用户头部最靠近的一个预设位置所对应的幅度对参数范围进行调整。例如,当用户头部从原点出发沿x轴的位移是7cm,那么就按照沿x轴距离原点6cm位置所对应的调整幅度对例如音量进行10dB的调整。
进一步的,运行装置可以区分在x轴正反方向的线位移,用于区分对参数范围的增大和减小。例如,沿x轴的正向的线位移对应于对参数范围的增大,沿x轴的反向线位移对应于对参数范围的减小。体现在特定的应用中可以是,例如在需要调整视频观看进度的情况下,用户头部在x轴正向的线位移可以对应于快进,在x轴反向的线位移对应于进度的后退。因此,用户可以连续多次的控制其头部运动的方向和距离接连实现例如快进后退从而最终准确的定位到其想要观看的视频位置。
当然,上述特定方向上的线位移与参数范围的变化幅度的对应关系可以是多种多样的。比如,为了更明确的区别增大和减小,要可以将参数范围的增大对应于例如在x轴的线位移,将参数范围的减小对应于其他方向的线位移,例如在y轴或z轴上的线位移等等。这都是属于本申请保护范围之内的变换。
图4所示为根据本申请的又一个实施例在虚拟现实环境中进行交互,特别是对参数范围进行调整的流程图。在这个方法中,也可以包括类似于图2中步骤202或206的操作。
在步骤402,运行装置收集用户头部运动前后绕特定方向的角位移数据。
在步骤404,运行装置根据用户头部绕该特定方向的角位移与参数范围调整幅度之间的对应关系对参数范围进行调整。
当前的便携式现实***的运行装置,例如智能手机,一般都配备了陀螺仪或加速度计。智能手机可以根据这些传感器收集到的数据来推断出用户的头部运动轨迹的角位移量。
在一个实施例中,运行装置可以仅仅以用户头部运动轨迹绕y轴的角位移量或者说转动的角度,作为调整参数范围的参考。无论用户头部运动的轨迹是否在存在绕x轴或z轴的转动,都不会对参数范围的调整产生影响。当然,也可以将用户头部运动轨迹绕x轴或者z轴上的角位移量作为参数范围调整的依据,这是可以根据用户的需要、应用的特点以及使用环境来变化的。
根据一个实施例,用户头部运动轨迹绕y轴方向上的角位移越大,运行装置就相应的对参数范围进行越大的调整,例如用户头部绕y轴方向上每旋转10度,则运行装置对参数范围,例如音量,的调整幅度可以为如5dB;或者对于观看进度,用户头部绕y轴方向上每旋转10度可以对应于5分钟的观看进度调整等等。当然这些数值上的对应关系是可以根据用户的需要、应用的特点以及应用的环境的不同而变化的。
根据另一个实施例,虚拟现实***运行装置中可以预先存储一系列预设位置,例如以用户头部初始位置作为原点o,绕y轴旋转10度、20度和30度等等的点可以分别定为预设位置,分别对应于对例如音量的5dB、10dB、15dB的调整幅度。当然,预设的点之间及其对应的幅度之间的间隔不一定只有一个,可以是递增或递减等等。当用户的头部运动到恰好这些预设位置时,虚拟现实***运行装置会对参数范围进行相应幅度的调整。当用户的头部运动到这些预设的点之间的位置时,运行装置可以根据预设的规则,例如根据用户头部最靠近的一个预设位置所对应的幅度对参数范围进行调整。例如,当用户头部从原点出发绕y轴转动的角位移是22度,那么就按照绕y轴旋转30度的位置所对应的调整幅度对例如音量进行10dB的调整。如果恰好落在两个预设位置的中点位置,可以利用例如四舍五入的规则来对应相应的调整幅度。
进一步的,运行装置可以区分绕y轴顺时针和逆时针方向的角位移,用于区分对参数范围的增大和减小。例如,绕y轴的顺时针的角位移对应于对参数范围的增大,绕y轴的逆时针的角位移对应于对参数范围的减小。体现在特定的应用中可以是,例如在需要调整视频观看进度的情况下,用户头部在绕y轴顺时针的角位移可以对应于快进,绕y轴逆时针的角位移对应于进度的后退。因此,用户可以连续多次的旋转其头部接连的快进或后退从而最终准确的定位到其想要观看的视频位置。
当然,上述特定方向上的角位移与参数范围的变化幅度的对应关系可以是多种多样的。比如,为了更明确的区别增大和减小,要可以将参数范围的增大对应于例如绕y轴的角位移,将参数范围的减小对应于其他方向的角位移,例如绕x轴或z轴上的角位移等等。这都是属于本申请保护范围之内的变换。
采用上述方法,用户可以对参数范围可以进行反复多次的调整,更有利于提高调整的精确性。另外,由于上述方法并不要求用户的眼睛始终注视虚拟现实***的显示区域,即便可以搭配用户视线的短暂参与,例如进入或退出参数范围调整模式等,但并不要求眼睛做长时间的持续和精确运动。这样一来,对于缓解用户的眼疲劳、晕眩以及相关的误操作都是大有帮助的。
在一些应用情况下,用户可能需要对虚拟现实***的参数范围进行大幅度的调整,然而用户所处的物理环境所允许的头部移动的距离或转动的角度可能是很有限的。本申请的以下部分提供了一些针对上述情况的在虚拟现实***中对参数范围进行调整的方法。
图5所示为根据本申请的再一个实施例在虚拟现实环境中进行交互,特别是对参数范围进行调整的流程图。当然这个方法也可以包括例如图2中步骤202或206的操作。
在步骤502,虚拟现实***的运行装置检测在特定方向上用户头部的运动。在这种情况下用户头部移动的距离长短或转动角度的大小不再重要。当然这些头部动作可能还是要通过例如类似于步骤106的筛选,属于具有指令含义的头部动作,而不是用户日常的头部移动。
在步骤504,响应于用户头部每一次在特定方向上的线位移或绕特定方向的角位移,对所述参数范围进行预定幅度的调整。
在这个实施例中,用户头部在特定方向上的每一次移动或转动对应于对参数范围的预定幅度的调整。例如,在对视频进度进行调整的模式中,用户的头部沿x轴正向的每次移动对应视频向前推进3分钟的进度;或者用户的头部绕x轴顺时针的每次转动对应视频向前推进3分钟的进度。
用户可以通过连续多次的沿特定方向移动或转动头部实现对参数范围的步进式调整。例如,在每次移动或转动后用户的头部可以不断的回到接近初始的位置然后重新开始下一次的运动。这样一来,在虚拟现实***中对参数范围进行调整的交互操作对于物理空间以及用户头部运动幅度的要求可以被大幅降低。
可选择的,在步骤506,根据检测结果,例如用户头部首次运动是沿特定方向的移动或绕特定方向的转动,或者根据用户的指令,运行装置进入对参数范围单向调整的子模式,运行装置忽略用户头部在相邻两次沿该特定方向移动或绕该特定方向转动的过程中穿插的在其他方向的移动或转动,直到运行装置检测到用户发出的退出对参数范围进行调整模式的指令。
例如,在预定的对应关系中,用户头部沿x轴正向的移动或者绕x轴顺时针转动对应对参数范围的增大,用户头部沿x轴反向的移动或者绕x轴逆时针转动对应对参数范围的减小。当用户连续三次沿x轴正向移动或绕x轴顺时针转动头部,运行装置相应的将参数范围增大三个幅度。根据一个实施例,用户头部的三次正向移动或转动中间可能会夹杂着一次或者两次沿x轴反向或者绕x轴的逆时针的头部移动或转动。但是,如果将穿插在三次正向移动或转动之间的反向移动或转动也考虑在内并根据预设规则对应为对参数范围的减小的话,就会与用户本来要增大参数范围的意图产生冲突或者相反的效果。
因此,根据本申请的一个实施例,根据检测结果(例如用户头部的首次运动是沿x轴正向移动或绕x轴的顺时针转动的话)或者用户指令,运行装置进入例如对参数范围增大的子模式,虚拟现实***的运行装置并不会将用户头部的例如三次沿x轴正向的移动中或三次绕x轴顺时针转动之间穿插的沿x轴反向或者绕x轴逆时针的头部移动或转动认为是具有指令含义的头部运动,从而保证在实现头部多次运动对参数范围进行步进式调整的同时避免了对参数范围调整的不必要的干扰。
相应的,在这个实施例中,如果根据检测结果,例如用户头部的首次运动是沿x轴反向的移动或绕x轴逆时针的转动或者根据用户指令,运行装置会进入例如参数范围减小的子模式,运行装置会忽略用户头部例如三次沿x轴反向移动或三次绕x轴逆时针转动之间穿插的任何沿x轴正向或绕x轴顺时针的头部移动或转动。
在步骤508,当运行装置检测到用户发出的退出参数范围调整模式的指令后,会停止对参数范围进行调整。如果用户想要对参数范围进行其他类型的调整,可以通过退出参数调整模式然后重新进入参数范围的调整模式,例如先经过数次对参数范围的增大,然后退出调整模式,再重新进入调整模式,然后进行数次对参数范围的减小。
进一步的,退出参数调整范围指令可以是通过用户的头部状态实现的,例如用户头部停止运动10s。当然,也可以是通过用户眼睛注视或离开特定的区域一定时间来实现的。在虚拟现实***中进行交互的手段都可以用来作为进入或退出参数范围调整模式的指令。
通过上述方法,用户在物理空间有限的应用环境下操作虚拟现实***的时候,也可以实现对参数范围的精确调整。另外,采用上述方法,运行装置仅仅需要检测用户头部在特定方向上的移动或转动次数,而不再需要判断用户头部在特定方向上移动的距离或转动的角度,减少了运行装置的负荷,交互效率也会更高。从用户体验上来讲,用户也不必刻意的控制头部运动的距离或者角度,仅仅需要控制运动或转动的次数,操作更为简便省力。
在一些特定的虚拟现实应用中,可能存在对参数范围进行大幅快速精确的调整的需要。在这种情况下,单一幅度的调整,对于用户来说可能还是不够便捷高效。因此本申请以下提供另一个实施例,用于针对用户的上述类型的需求。
图6所示为根据本申请一个实施例的基于用户头部运动对参数范围进行调整的方法的流程图。
在步骤602,虚拟现实***的运行装置在用户的激发下进入对参数范围的调整模式。
在步骤604,运行装置向用户提供对参数范围进行粗略和精细调整两个选择。
在步骤606,运行装置接收用户的选择指令。
如果用户选择了对参数范围进行粗略调整,在步骤608,运行装置检测用户头部在特定方向的线位移或角位移,并根据用户头部在该方向上的线位移或角位移量与参数范围调整之间预定的对应粗略调整关系对参数范围进行调整。这个对应关系可以具有相对比较大的比例,例如,用户头部沿x轴方向每移动3cm或绕x轴每转动10度,对应视频进度向前推进或向后倒退10分钟。当然,也可以结合前面的方法中的步进式调整机制,当用户头部沿x轴每移动一次或绕x轴每转动一次,无论移动或转动幅度多大,对应视频进度向前推进或向后倒退10分钟。这个对应关系是可以根据需要调整的参数范围、用户的需求以及运行设备的配置的不同而不同的。
如果用户选择了进行对参数范围进行精细调整,在步骤610,运行装置检测用户头部在特定方向的线位移或角位移,且根据预定的用户头部在该方向上的线位移或角位移量与参数范围调整之间的精细调整对应关系对参数范围进行调整。这个对应关系可以具有相对比较小的比例,例如,用户头部沿x轴方向每移动3cm或绕x轴每转动10度,对应视频进度向前推进或向后倒退1分钟。当然,也可以结合前面的方法中的步进式调整机制,当用户头部沿x轴每移动一次或绕x轴每转动一次,无论移动或转动幅度多大,对应视频进度向前推进或向后倒退1分钟。这个对应关系是可以根据需要调整的参数范围、用户的需求以及运行设备的配置的不同而不同的。
上述例子中仅仅区分了粗略和精细两种调整模式,根据不同的需要还可以进行更进一步的区分,但都属于本申请范围之内的变化。
采用不同颗粒度的标准对参数范围进行调整,可以更容易达到用户所需要实现的对参数范围的精确控制。针对例如视频观看进度进行调整这种可能具有大幅和精确调整的需求的应用情况,采用上述方法可以帮助用户更快和更简单的达到所需要的观看进度。
图7所示为根据本申请一个实施例的虚拟现实***运行装置700的示意图。根据一个实施例,运行装置700可以用于执行上述的对参数范围进行调整的方法。运行装置700可以包括处理模块722,存储模块724,和传感器模块726。存储模块724可以用于存储用户头部运动与参数范围调整之间的预定的对应关系。传感器模块726可以用于检测和收集用户头部运动轨迹数据。传感器模块726可以包括例如陀螺仪、加速度计、磁力计、和/或全球定位***等。处理模块722可以用于基于传感器模块得到的检测结果以及存储模块存储的用户头部运动与参数范围调整之间的预定的对应关系对所述参数的范围进行调整。
根据一个实施例,虚拟现实***运行装置700可以是智能手机。
本申请还提供了一种包括例如虚拟现实***运行装置700用于执行前述方法的虚拟现实***。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本申请的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本申请的范围。本领域的技术人员应该理解,可在不脱离本申请的范围和精神的情况下,对以上实施例进行修改。本申请的范围由所附权利要求来限定。
Claims (13)
1.一种在虚拟现实环境中进行交互的方法,包括
在参数范围调整模式下,通过虚拟现实***运行装置对用户的头部运动进行检测;以及
虚拟现实***运行装置根据检测的结果对参数范围进行调整;
其中所述检测结果至少包括用户头部在第一和第二位置之间在第一方向上的线位移或绕第一方向的角位移;所述调整包括响应于用户头部在所述第一方向上的线位移量或绕所述第一方向的角位移量对所述参数范围增大相应的幅度;
其中所述检测结果还包括用户头部在第二和第三位置之间在第二方向上的线位移或绕第二方向的角位移;所述调整包括响应于用户头部在所述第二方向上的线位移量或绕所述第二方向的角位移量对所述参数范围减小相应的幅度;其中所述第一方向和所述第二方向之间的夹角基本上为90度或180度;
根据用户指令或所述检测结果,所述运行装置进入参数范围增大子模式;在所述参数范围增大子模式,所述运行装置忽略用户头部在相邻两次沿所述第一方向移动或绕第一方向的转动过程中穿插的沿与所述第一方向相反的方向上的移动或绕所述第一方向的相反的转动,直到所述运行装置检测到用户发出的退出所述参数范围调整模式的指令;
根据用户指令或所述检测结果,所述运行装置进入参数范围减小子模式;在所述参数范围减小子模式下,所述运行装置忽略用户头部在相邻两次沿所述第二方向移动或绕所述第二方向转动的过程中穿插的在与所述第二方向相反的方向上的移动或绕所述第二方向的相反的转动,直到所述运行装置检测到用户发出的退出所述参数范围调整模式的指令;
其中,在所述参数范围调整模式下,所述运行装置向用户提供对所述参数范围进行粗略调整和精细调整的两种状态选择。
2.如权利要求1所述的方法,其中在所述运行装置中预设了在所述第一方向或所述第二方向上的一个或多个位置,每个预设位置对应一个对参数范围调整的幅度;
当所述检测结果中用户头部的线位移落在一个所述预设位置上时,采用与所述预设位置相应的幅度对参数范围进行调整;
当所述检测结果中用户头部的线位移没有落在任何一个所述预设位置上时,采用最接近用户头部的一个所述预设位置对应的幅度对参数范围进行调整。
3.如权利要求1所述的方法,其中在所述运行装置中预设了绕所述第一方向或所述第二方向上的一个或多个位置,每个预设位置对应一个对参数范围调整的幅度;
当所述检测结果中用户头部的角位移落在一个所述预设位置上时,采用与所述预设位置相应的幅度对参数范围进行调整;
当所述检测结果中用户头部的角位移没有落在任何一个所述预设位置上时,采用最接近用户头部的一个所述预设位置对应的幅度对参数范围进行调整。
4.如权利要求3所述的方法,进一步包括在所述运行装置检测到用户发出的退出对所述参数范围进行调整的模式的指令前,根据所述检测结果持续对所述参数范围进行调整。
5.如权利要求1所述的方法,其中所述检测结果包括用户头部在第一方向上的线位移或绕第一方向的角位移,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或每一次绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大预定的幅度。
6.如权利要求5所述的方法,其中所述检测结果包括用户头部在第二方向上的线位移或绕第二方向的角位移,所述调整包括响应于用户头部每次在所述第二方向上的大于或等于预定的阈值的线位移或绕第二方向的大于或等于预定阈值的角位移,对所述参数范围减小预定的幅度;其中所述第一方向和所述第二方向之间的夹角基本上为90度或180度。
7.如权利要求1所述的方法,其中所述检测结果至少包括用户头部在第一和第二位置之间在第一方向上的线位移或绕第一方向的角位移;
在粗略调整状态下,所述调整包括响应于用户头部在所述第一方向上的第一线位移量或绕所述第一方向的第一角位移量对所述参数范围增大第一幅度;
在精细调整状态下,所述调整包括响应于用户头部在所述第一方向上的第一线位移量或绕所述第一方向的第一角位移量对所述参数范围增大第二幅度;
其中所述第一幅度大于所述第二幅度。
8.如权利要求1所述的方法,其中所述检测结果包括用户头部在第一方向上的线位移或绕第一方向的角位移,
在粗略调整状态下,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大第一预定的幅度;
在精细调整状态下,所述调整包括响应于用户头部每一次在所述第一方向上的大于或等于预定阈值的线位移或绕所述第一方向的大于或等于预定阈值的角位移,对所述参数范围增大第二预定的幅度;
其中所述第一预定的幅度大于所述第二预定的幅度。
9.如权利要求1所述的方法,还包括所述运行装置检测用户发出的进入或退出所述参数范围调整模式的指令。
10.一种用于执行权利要求1-9中任一所述的方法的 虚拟现实***运行装置,包括
存储模块,用于存储用户头部运动与参数范围调整之间的预定的对应关系;
传感器模块,用于检测和收集用户头部运动轨迹数据;以及
处理模块,用于基于传感器模块得到的检测结果以及存储模块存储的用户头部运动与参数范围调整之间的预定的对应关系对所述参数的范围进行调整。
11.如权利要求10所述虚拟现实***运行装置,其中所述虚拟现实***运行装置是智能手机。
12.一种虚拟现实***,包括:
运行装置和穿戴装置,所述穿戴装置用于实现用户对所述运行装置的穿戴;
所述运行装置用于执行权利要求1-9中任一所述的方法,所述运行装置包括:
存储模块,用于存储用户头部运动与参数范围调整之间的预定的对应关系;
传感器模块,用于检测和收集用户头部运动轨迹数据;
处理模块,用于基于传感器模块得到的检测结果以及存储模块存储的用户头部运动与参数范围调整之间的预定的对应关系对所述参数的范围进行调整。
13.如权利要求12所述虚拟现实***,其中所述虚拟现实***运行装置是智能手机。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2017101285882 | 2017-03-06 | ||
CN201710128588 | 2017-03-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108536279A CN108536279A (zh) | 2018-09-14 |
CN108536279B true CN108536279B (zh) | 2021-08-03 |
Family
ID=63488692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710299815.8A Expired - Fee Related CN108536279B (zh) | 2017-03-06 | 2017-04-28 | 一种在虚拟现实环境中进行交互的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108536279B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109240578A (zh) * | 2018-09-26 | 2019-01-18 | 三星电子(中国)研发中心 | 一种参数调节方法和装置 |
US11303849B2 (en) * | 2020-03-30 | 2022-04-12 | Tencent America LLC | Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484047A (zh) * | 2014-12-29 | 2015-04-01 | 北京智谷睿拓技术服务有限公司 | 基于可穿戴设备的交互方法及交互装置、可穿戴设备 |
CN104898822A (zh) * | 2014-03-03 | 2015-09-09 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
CN204679953U (zh) * | 2014-11-14 | 2015-09-30 | 西安中科微光医疗技术有限公司 | 一种基于方位传感器的头戴式3d影音播放器 |
CN106155419A (zh) * | 2008-01-04 | 2016-11-23 | 苹果公司 | 选择性地拒绝触摸表面的边缘区域中的触摸接触 |
CN106200899A (zh) * | 2016-06-24 | 2016-12-07 | 北京奇思信息技术有限公司 | 根据用户头部动作控制虚拟现实交互的方法及*** |
CN106445176A (zh) * | 2016-12-06 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 基于虚拟现实技术的人机交互***及交互方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
-
2017
- 2017-04-28 CN CN201710299815.8A patent/CN108536279B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155419A (zh) * | 2008-01-04 | 2016-11-23 | 苹果公司 | 选择性地拒绝触摸表面的边缘区域中的触摸接触 |
CN104898822A (zh) * | 2014-03-03 | 2015-09-09 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
CN204679953U (zh) * | 2014-11-14 | 2015-09-30 | 西安中科微光医疗技术有限公司 | 一种基于方位传感器的头戴式3d影音播放器 |
CN104484047A (zh) * | 2014-12-29 | 2015-04-01 | 北京智谷睿拓技术服务有限公司 | 基于可穿戴设备的交互方法及交互装置、可穿戴设备 |
CN106200899A (zh) * | 2016-06-24 | 2016-12-07 | 北京奇思信息技术有限公司 | 根据用户头部动作控制虚拟现实交互的方法及*** |
CN106445176A (zh) * | 2016-12-06 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 基于虚拟现实技术的人机交互***及交互方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108536279A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109891367B (zh) | 在增强和/或虚拟现实环境中使用手势生成虚拟符号表面 | |
US20200316473A1 (en) | Virtual object control method and apparatus, computer device, and storage medium | |
EP3548988B1 (en) | Switching of active objects in an augmented and/or virtual reality environment | |
US10330940B1 (en) | Content display methods | |
US10509487B2 (en) | Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment | |
US10545584B2 (en) | Virtual/augmented reality input device | |
EP3488321B1 (en) | Detecting user range of motion for virtual reality user interfaces | |
KR102038638B1 (ko) | 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템 | |
US10684469B2 (en) | Detecting and mitigating motion sickness in augmented and virtual reality systems | |
KR20190122558A (ko) | 몰입형 현실 인터페이스 모드를 제공하는 시스템, 디바이스 및 방법 | |
US20180321737A1 (en) | Integrated mixed-input system | |
EP3596617A1 (en) | Method and system for automated camera collision and composition preservation | |
US9891713B2 (en) | User input processing method and apparatus using vision sensor | |
US20240028129A1 (en) | Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof | |
US10976890B2 (en) | Intelligent command batching in an augmented and/or virtual reality environment | |
CN108536279B (zh) | 一种在虚拟现实环境中进行交互的方法及*** | |
CN110717993B (zh) | 一种分体式ar眼镜***的交互方法、***及介质 | |
US20240094819A1 (en) | Devices, methods, and user interfaces for gesture-based interactions | |
Atia et al. | Interaction with tilting gestures in ubiquitous environments | |
US20240019938A1 (en) | Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof | |
KR102650572B1 (ko) | 전자 장치 및 그의 제어 방법 | |
CN113243000A (zh) | 用于增强现实对象的捕捉范围 | |
WO2019091840A1 (en) | System and method for modulation of control interface feedback | |
Park et al. | Gaze-directed hands-free interface for mobile interaction | |
CN118349138A (zh) | 人机交互方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210803 |
|
CF01 | Termination of patent right due to non-payment of annual fee |