CN109799899B - 交互控制方法、装置、存储介质和计算机设备 - Google Patents

交互控制方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN109799899B
CN109799899B CN201711142437.9A CN201711142437A CN109799899B CN 109799899 B CN109799899 B CN 109799899B CN 201711142437 A CN201711142437 A CN 201711142437A CN 109799899 B CN109799899 B CN 109799899B
Authority
CN
China
Prior art keywords
field
area
virtual reality
origin
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711142437.9A
Other languages
English (en)
Other versions
CN109799899A (zh
Inventor
周扬
王金桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711142437.9A priority Critical patent/CN109799899B/zh
Publication of CN109799899A publication Critical patent/CN109799899A/zh
Application granted granted Critical
Publication of CN109799899B publication Critical patent/CN109799899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种交互控制方法、装置、存储介质和计算机设备,该方法包括:获取并输出画面;确定所述画面中的原点视场区域;检测所述画面中的视线落点位置;当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述画面中所述原点视场区域以外区域的交互对象趋向于所述原点视场区域移动。本申请提供的方案提高了交互控制效率。

Description

交互控制方法、装置、存储介质和计算机设备
技术领域
本发明涉及计算机技术领域,特别是涉及一种交互控制方法、装置、存储介质和计算机设备。
背景技术
随着计算机技术与互联网的发展,计算机技术给人们的生活带来了诸多便利,大大的提升了人们的生活品质。越来越多的用户习惯于通过计算机设备来观看视频或者直播,并在观看过程中进行交互操作。
传统技术中在画面中进行交互控制时,需要用户利用手柄等辅助设备通过类似鼠标的操作进行瞄准控制,并需要通过按键进一步点击等多步骤的操作来实现交互控制,导致交互控制效率低下。
发明内容
基于此,有必要针对目前交互控制效率比较低的问题,提供一种交互控制方法、装置、存储介质和计算机设备。
一种交互控制方法,包括:
获取并输出画面;
确定所述画面中的原点视场区域;
检测所述画面中的视线落点位置;
当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述画面中所述原点视场区域以外区域的交互对象趋向于所述原点视场区域移动。
一种交互控制装置,包括:
获取模块,用于获取并输出画面;
确定模块,用于确定所述画面中的原点视场区域;
检测模块,用于检测所述画面中的视线落点位置;
控制模块,用于当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述画面中所述原点视场区域以外区域的交互对象趋向于所述原点视场区域移动。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
获取并输出画面;
确定所述画面中的原点视场区域;
检测所述画面中的视线落点位置;
当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述画面中所述原点视场区域以外区域的交互对象趋向于所述原点视场区域移动。
一种计算机设备,包括存储器和处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取并输出画面;
确定所述画面中的原点视场区域;
检测所述画面中的视线落点位置;
当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述画面中所述原点视场区域以外区域的交互对象趋向于所述原点视场区域移动。
上述交互控制方法、装置、存储介质和计算机设备,本地在获取并输出画面后,即可自动在画面中确定原点视场区域,然后检测画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,也就是用户意图通过交互对象进行交互时,控制交互对象趋向于原点视场区域移动,以实现根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
附图说明
图1为一个实施例中交互控制方法的应用环境图;
图2为另一个实施例中交互控制方法的应用环境图;
图3为一个实施例中交互控制方法的流程示意图;
图4为一个实施例中画面中的原点视场区域的示意图;
图5为一个实施例中第一视场区域、第二视场区域和原点视场区域的关系示意图;
图6为一个实施例中画面示意图;
图7为另一个实施例中画面示意图;
图8为另一个实施例中画面示意图;
图9为另一个实施例中交互控制方法的流程示意图;
图10为一个实施例中交互控制装置的模块示意图;
图11为另一个实施例中交互控制装置的模块示意图;
图12为一个实施例中计算机设备的内部结构图;
图13为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中交互控制方法的应用环境图。如图1所示,该应用环境包括计算机设备110和用户120。其中,计算机设备110可以是个人计算机、电视或者平板电脑等可播放视频的电子装置。计算机设备110可通过执行交互控制方法,与用户120进行交互。本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案相关的部分场景,并不构成对本申请方案应用环境的限定。
图2为另一个实施例中虚拟现实环境下交互控制方法的应用环境图。如图2所示,该应用环境包括计算机设备210、用户220和虚拟现实设备230。其中,计算机设备210可以是个人计算机、电视或者平板电脑等可播放视频的电子装置。虚拟现实设备230可以是虚拟现实头戴式显示设备,如VR眼镜或者VR眼罩等。虚拟现实设备230可通过执行交互控制方法,与用户120进行交互。
图3为一个实施例中交互控制方法的流程示意图。本实施例主要以该方法应用于上述图1中的计算机设备110来举例说明。参照图3,该交互控制方法具体包括如下步骤:
S302,获取并输出画面。
其中,画面是计算机设备屏幕上呈现的数据。画面具体可以是构成视频流的视频帧在屏幕上显示形成的画面,也可以是从现实世界中采集的图像帧在屏幕上显示形成的画面,还可以是根据页面数据在屏幕上形成的画面。画面具体可以是直播画面。
具体地,计算机设备可通过内置的摄像头或者连接的外部摄像头从现实世界中采集图像帧,将采集的图像帧按照采集的时序逐帧播放,以获取并输出画面。计算机设备还可通过声音采集设备从现实世界中采集声音,根据采集的声音与采集的图像帧得到直播数据流,将直播数据流按照采集的时序播放,以获取并输出直播画面。直播数据流也可仅包括图像数据流。计算机设备也可以从本地存储空间中读取视频流资源,将视频流资源所包括的视频帧逐帧播放,以获取并输出画面。
在一个实施例中,计算机设备还可以接收其他计算机设备发送的图像帧序列或者视频流,将接收到的图像帧序列逐帧播放,或者将接收到的视频流所包括的视频帧逐帧播放,以获取并输出画面。
在一个实施例中,画面具体可以是虚拟现实画面。虚拟现实画面是虚拟现实场景中显示的画面。虚拟现实场景是模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般地观察三度空间内的事物。
在本实施例中,通过虚拟现实设备执行该交互控制方法。虚拟现实画面的图像格式按照画面位置可以分为上下画面的图像格式和左右画面的图像格式,按照视野范围可分为全景的图像格式,半全景的图像格式和固定视野的图像格式。虚拟现实画面具体可以是虚拟现实直播画面。
具体地,虚拟现实设备可获取待播放的视频流的视频标识。视频标识用于标识出视频流的内容,同一视频标识可对应多个同源视频流。同源视频流是指内容相同但在编码方式或者图像处理方式上存在差异的视频流。多个同源视频之间在数据量大小或者图像呈现效果上存在差异。比如,同一个视频流可存在虚拟现实视频格式的视频流资源和普通视频格式的视频流资源。待播放的视频流可以是已经录制完成的视频流,也可以是实时从现实世界中采集的图片帧序列形成的视频流。
虚拟现实设备可在本地根据视频标识和默认的虚拟现实视频格式定位视频文件,进而获取到待播放的视频流资源。虚拟现实设备还可将视频标识发送至计算机设备,并在将视频标识发送至计算机设备时,指定虚拟现实视频格式,使得计算机设备根据该视频标识和指定的虚拟现实视频格式定位视频流资源,并将该视频流资源发送至虚拟现实设备,由虚拟现实设备接收。可以理解的是,计算机设备定位的视频流资源可以是已经录制完成的视频流资源,也可以是实时生成的视频流资源。已经录制完成的视频流资源比如虚拟现实电影资源。实时生成的视频流资源比如虚拟现实直播资源。
具体地,虚拟现实视频格式的视频流可以是全景图像帧序列,虚拟现实设备可将全景图像帧序列逐帧播放。虚拟现实视频格式的视频流也可以包括左眼视频流和右眼视频流,虚拟现实设备可将左眼视频流和右眼视频流同步逐帧播放。通过虚拟现实设备内置或外置的镜片,用户可以观看到类似于现实场景中景物的视觉效果。
S304,确定画面中的原点视场区域。
其中,原点视场区域是静态观测点视野范围内的画面区域。静态观测点表示观测点的空间姿态保持不变。空间姿态可包括观测点的观测方向。在本实施例中,观测点具体可以是自然人的眼睛。观测点的观测视角的大小具体可以是自然人眼球可转动的角度大小。
具体地,计算机设备可获取观测点的观测视角的大小,以及观测点离画面的距离,根据观测点的视角大小和观测点离画面的距离,计算画面中的原点视场区域。
在一个实施例中,在虚拟现实场景下,确定画面中的原点视场区域,包括:根据当前的视场角,在虚拟现实画面中确定原点视场区域。
其中,视场角(Field Of View FOV)是虚拟现实设备的光学镜头的视场角度。视场角是以光学镜头为顶点,以画面可通过光学镜头的最大范围的边界构成的夹角。视场角可包括水平视场角和垂直视场角。不同的光学镜头的视场角不同。视场角的大小决定了光学镜头的视野范围,视场角越大,视野就越大,放大倍率就越大。可以理解的是,视场角对应的放大倍率表示将固定大小的画面,按该放大倍率放大后可充满当前视场角的视野范围。在本实施例中,原点视场区域是静态光学镜头视场内的虚拟现实画面区域。静态光学镜头表示光学镜头的空间姿态保持不变。
在一个实施例中,根据当前的视场角,在虚拟现实画面中确定原点视场区域,包括:确定当前的视场角的角度值;根据参考视场角的角度值在虚拟现实画面中确定原点视场参考区域;根据获取的角度值和原点视场参考区域,在虚拟现实画面中确定原点视场区域。
其中,参考视场角是用于在虚拟现实画面中确定原点视场区域采用的参考数据。在虚拟现实画面中,参考视场角下的视野范围,也就是原点视场参考区域是客观可测量的区域。具体地,参考视场角是放大倍率为1的光学镜头的视场角。在放大倍率为1的光学镜头视野范围下的画面不会被放大。
具体地,虚拟现实设备可获取当前的视场角的角度值,并根据该角度值获取虚拟现实设备的光学镜头的放大倍率,并异步获取参考视场角的角度值在虚拟现实画面中确定原点视场参考区域,以及参考视场角的角度值所对应的参考光学镜头的放大倍率。虚拟现实设备再将原点视场参考区域的大小乘以虚拟现实设备的光学镜头的放大倍率与参考光学镜头的放大倍率的比值,即可得到虚拟现实设备的光学镜头下虚拟现实画面中的原点视场区域的大小。
图4示出了一个实施例中画面中的原点视场区域的示意图。参考图4左图,该左图为观测点下的原点视场区域示意图,包括观测点411、观测视角412、原点视场区域413和画面414。参考图4右图,该右图为虚拟现实场景下的原点视场区域示意图,包括光学镜头421、视场角422、原点视场区域423和虚拟现实画面424。
在本实施例中,通过参考视场角下的原点视场参考区域计算得到当前视场角下的原点视场区域,保证了当前视场角下原点视场区域的准确性。
上述实施例中,将交互控制方法应用于虚拟现实场景中,根据当前设备的视场角确定原点视场区域,继而在确定当前的原点视场区域后,将交互对象置于该原点视场区域以外的区域,并在需要交互对象时才控制交互对象向原点视场区域移动,以在用户正常观看虚拟现实画面时不被交互对象打扰,在需要交互时,又可唤起交互对象进行交互,从而提高了交互控制效率。
S306,检测画面中的视线落点位置。
其中,视线落点位置是观测点观测画面的具***置。在本实施例中,视线落点位置具体可以是用户在画面中的凝视点位置。具体地,计算机设备可根据射线追踪方式,采集观测点图像,根据采集的观测点图像确定由观测点起始的观测射线与画面的交点,确定该交点为画面中的视线落点位置。
在一个实施例中,在虚拟现实环境下,虚拟现实设备也可根据射线追踪方式,检测画面中的视线落点位置;还可根据传感器数据确定视线偏转量,再根据视线偏转量与初始的视线落点位置计算虚拟现实画面中当前的视线落点位置。
S308,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
其中,原点视场区域的边缘是原点视场区域的边界部分。原点视场区域的边缘可以是线状区域,也就是原点视场区域的边界线。原点视场区域的边缘也可以是块状区域,也就是原点视场区域的边界线以内一定距离所形成的区域。
交互对象是用户与计算机设备进行交互的部件。交互对象具体可以是交互界面。交互界面比如功能菜单或者选择菜单等。交互对象可包括交互控件,交互控件比如选择按钮、确认按钮或者取消按钮等。可以理解的是,这里的交互对象也以是任何用户与计算机设备进行交互所依赖的媒介。
在观测点不调整空间姿态时,画面中原点视场区域以外区域不在观测点的视野范围内,也就是说,当观测点为自然人的眼睛时,自然人在不调整头部姿态时,无法观看到画面中原点视场区域以外区域。这样,在用户不需要进行交互时,将交互对象置于用户视野外,保证了用户在观看画面时不被打扰。
计算机设备可预先设置交互对象控制策略,该预先设置的交互对象控制策略将视线落点位置位于原点视场区域的边缘映射为用户意图进行交互操作的行为,以在视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,从而实现将交互对象移动至用户视野范围内以实现交互。
具体地,计算机设备在检测到视线落点位置移动至原点视场区域的边缘时,判定用户意图进行交互操作,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,在虚拟现实场景中,虚拟现实画面中原点视场区域以外区域是光学镜头在调整空间姿态后视场内的区域。比如,用户佩戴头戴式虚拟现实设备并转动头部,即可调整光学镜头的空间姿态。这样,在用户不需要进行交互时,将交互对象置于光学镜头视场外,保证了用户在观看虚拟现实画面时不被打扰。
在一个实施例中,虚拟现实画面还包括第一视场区域和第二视场区域;第二视场区域包围第一视场区域;第一视场区域包围原点视场区域。S308包括:当视线落点位置位于原点视场区域的边缘时,控制位于虚拟现实画面中第一视场区域的交互对象趋向于原点视场区域移动。
具体地,根据虚拟现实设备偏转不同的角度值时的视场区域,将虚拟现实画面中原点视场区域以外区域划分为第一视场区域和第二市场区域。其中,第一视场区域,是虚拟现实设备水平偏转第一预设角度区间内的角度值,或者,垂直偏转第二预设角度区间内的角度值时的视场区域。第一视场区域,是虚拟现实设备水平偏转第三预设角度区间内的角度值,或者,垂直偏转第四预设角度区间内的角度值时的视场区域。第一预设角度区间的最大角度值与第三预设角度区间的最小角度值相同,第二预设角度区间的最大角度值与第四预设角度区间的最小角度值相同。
举例说明,假设虚拟现实设备是头戴式设备时,可根据用户头部偏转后的视场区域来划分第一视场区域和第二视场区域。用户头部的偏转角度具体可根据用户头部转动舒适与否划分为不同的角度区间。水平方向上转动舒适的角度区间为第一预设角度区间,具体可以是-30-30度(即水平向左0-30度,水平向右0-30度),垂直方向上转动舒适的角度区间为第二预设角度区间,具体可以是-12-20度(即垂直向上0-20度,垂直向下0-12度)。水平方向上转动不舒适的角度区间为第三预设角度区间,具体可以是-55-(-30)度,30-55度(即水平向左30-55度,水平向右30-55度),垂直方向上转动舒适的角度区间为第四预设角度区间,具体可以是-40-(-12)度,20-60度(即垂直向上20-60度,垂直向下12-40度)。具体数据因人而异。
在本实施例中,将交互对象置于第一视场区域,在视线落点位置位于原点视场区域的边缘后持续移动时,也可在偏转角度适宜的第一视场区域交互,避免了在偏转角度不适宜的第二视场区域交互的情形,保证了交互舒适度,从而提高了交互控制效率。
图5示出了一个实施例中第一视场区域、第二视场区域和原点视场区域的关系示意图。从图5中可以看出,虚拟现实画面被划分为第一视场区域510、第二视场区域520和原点视场区域530。其中,第二视场区域520包围第一视场区域510,第一视场区域510包围原点视场区域530。
上述交互控制方法,本地在获取并输出画面后,即可自动在画面中确定原点视场区域,然后检测画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,也就是用户意图通过交互对象进行交互时,控制交互对象趋向于原点视场区域移动,以实现根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
在一个实施例中,S306包括:获取眼睛图像;确定眼睛图像中瞳孔成像点在屏幕上的凝视点位置;将凝视点位置转换为画面中的视线落点位置。
其中,眼睛图像中包括瞳孔成像点和光源经角膜反射形成的光源成像点。瞳孔,是眼睛内虹膜中心的小圆孔,为光线进入眼睛的通道。角膜,是位于眼球前壁的一层的透明膜,相当于凸凹镜。角膜的前面凸起,呈球面弯曲。
瞳孔成像点,是瞳孔中心经角膜折射后的瞳孔折射点在被拍摄的眼睛图像中的成像。瞳孔中心,是瞳孔区域的中心点。光源成像点,是光源中心经角膜反射后的瞳孔反射点在被拍摄的眼睛图像中的成像。光源是射向眼睛的入射光。光源中心,是光源区域的中心点。在一个实施例中,光源可以为红外光源。
其中,屏幕是计算机设备的显示屏幕。在虚拟现实环境中,屏幕也可以是虚拟现实设备的显示屏幕。凝视点是眼睛图像所对应的眼睛实体的视线所对应的点。在屏幕上的凝视点位置,是眼睛图像所对应的眼睛实体看向屏幕上的点的位置。
具体地,计算机设备可识别出眼睛图像中的瞳孔成像点和光源成像点,根据瞳孔成像点和光源成像点确定光轴方向,再按照与眼睛图像匹配的光视轴方向角度差以及光轴方向,确定视线方向。计算机设备可以确定视线方向与屏幕的交点,将该交点作为在屏幕上的凝视点。其中,与眼睛图像匹配的光视轴方向角度差,是该眼睛图像所对应的眼睛实体所存在的光视轴方向角度差。可以理解,对于一只正常的眼睛来说,所存在的光视轴方向角度差是固定的,这里并不考虑眼睛变形或发生异常时可能对该眼睛的光视轴方向角度差带来的影响。
进一步地,可以理解的是,在二维画面中与屏幕上的凝视点位置的坐标相应的坐标所在位置即为视线落点位置。在虚拟现实场景中,眼睛通过二维屏幕看到三维场景,为了实现虚拟现实场景的三维立体性,需要按照眼睛视差产生三维场景的原理生成三维的虚拟现实场景。则计算机设备可以根据凝视点位置进行视差转换,得到凝视点位置在虚拟现实场景中所对应的目标点位置,即为视线落点位置。需要说明的是,目标点位置是在虚拟现实场景中的目标点位置,而非在屏幕上的坐标位置。
在一个实施例中,眼睛图像为双目的眼睛图像;凝视点位置为双目的凝视点位置。将凝视点位置转换为画面中的视线落点位置,包括:将双目的凝视点位置进行视差转换,得到双目的凝视点位置在画面中所共同对应的视线落点位置。
可以理解,双目的眼睛图像可以是同时包括双目的眼睛图像(即一个眼睛图像中包括双目),也可以是双目各自的眼睛图像(即一个眼睛图像中只有一只眼睛,计算机设备获取有两只眼睛的眼睛图像),对此不做限定。需要说明的是,本申请各实施例中根据眼睛图像进行处理确定在屏幕上的凝视点位置的过程,是针对一只眼睛的处理过程,如果需要确定双目各自的凝视点位置,则可针对每只眼睛都分别执行相应的处理过程,得到双目的凝视点位置。
具体地,对于二维画面场景下,可将双目的凝视点位置的中间位置作为双目的凝视点位置在画面中所共同对应的视线落点位置。在虚拟现实场景中,则根据双目的凝视点位置进行视差转换,得到双目的凝视点位置在虚拟现实画面中所对应的同一目标点位置,即为双目的视线落点位置。虚拟现实设备可以获取渲染引擎中的虚拟摄像机的参数,根据获取的虚拟摄像机的参数,确定双目的凝视点位置在虚拟现实场景中所对应的目标点位置,从而得到双目的视线落点位置。
在本实施例中,根据双目的眼睛图像追踪用户凝视点,从而实现根据用户视线进行交互控制响应,保证了所确定的视线落点位置的准确性。
上述实施例中,基于视线追踪保证了所确定的凝视点位置的准确性。进而根据双目的凝视点位置确定在画面中的线性落点位置更加的准确。从而根据该线性落点位置执行的交互控制操作更加的准确。
在一个实施例中,在虚拟现实场景中,S306包括:根据初始的传感器数据,在虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据偏移角度和视线落点初始位置,确定当前在虚拟现实画面中的视线落点位置。
其中,传感器数据包括用于反映虚拟现实设备的空间姿态的数据。初始的传感器数据是虚拟现实设备在进入虚拟现实场景渲染之后最初收到的传感器数据,用来确定虚拟现实设备当前所处的状态,定义为初始状态。初始状态包括虚拟现实设备的姿态状态。其中姿态状态包括虚拟现实设备偏转的方向以及偏转的角度等。传感器数据可来自于方向传感器、重力传感器、加速度传感器、以及三轴陀螺仪传感器中的至少一种。
虚拟现实设备可根据虚拟现实设备的三维固定参考坐标系确定虚拟现实设备在三维空间中的初始状态。其中,若固定参考坐标系为三维参考坐标系,包括相互垂直的三轴,其中两轴可以平行于虚拟现实设备的显示屏,而剩余的一轴则垂直于显示屏。虚拟现实设备利用固定参考坐标系确定的初始状态可以准确地反映出虚拟现实设备在固定参考坐标系所表示的三维空间中的初始状态。具体地,虚拟现实设备可根据在三维空间中的初始状态在虚拟现实画面中确定视线落点初始位置。比如,假设虚拟现实设备为头戴式设备时,以头戴式设备中心点位置为坐标原点,建立三维参考坐标系,此时虚拟现实设备为初始无偏转状态,并以原点视场区域中点位置为视线落点初始位置。
进一步地,虚拟现实设备在确定初始状态之后,继续获取后续的传感器数据,从而根据后续的传感器数据确定虚拟现实设备的后续状态,后续状态包括虚拟现实设备的姿态状态。虚拟现实设备以初始状态为基准,将后续状态与初始状态进行比较,从而根据后续状态相对于初始状态所变化的偏转角度确定当前在虚拟现实画面中的视线落点位置。比如虚拟现实设备后续状态相对于初始状态的偏转角度为向左下角倾斜15°,那么当前在虚拟现实画面中的视线落点位置即为视线落点初始位置左下角倾斜15°的位置。
在本实施例中,通过传感器数据确定画面中的视线落点位置,提供了不具备眼球视线追踪基础时的视线落点位置检测方式,丰富了检测视线落点位置的途径,保证在能够在交互控制中检测视线落点位置。
在一个实施例中,S308包括:在视线落点位置位于原点视场区域的边缘时,确定边缘所对应的触发类型;当触发类型为显示控制类型时,在边缘处显示待阅读内容;当触发类型为移动控制类型时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
其中,触发类型为触发的控制操作的类型。显示控制类型是控制显示特定内容的类型。移动控制类型是控制特定内容移动的类型。在本实施例中,控制显示的特定内容为待阅读内容。待阅读内容是用户只需观看,无需进行交互操作的内容。待阅读内容比如弹幕、会话消息或者***消息等。
计算机设备可预先对原点视场区域的边缘进行触发类型划分。具体地,计算机设备可以从原点视场区域的边缘选取部分边缘(第一边缘),将选取的部分边缘所对应的触发类型设置为显示控制类型。选取部分边缘,比如原点视场区域的下边缘左侧部分。计算机设备可以从原点视场区域的边缘另外选取部分边缘(第二边缘),将选取的部分边缘所对应的触发类型设置为移动控制类型。选取部分边缘,比如原点视场区域的下边缘右侧部分。在一个实施例中,为了避免同时触发两种控制操作,可设置显示控制类型对应的边缘与移动控制类型对应的边缘无交集。
计算机设备可预先设置交互对象控制策略,该预先设置的交互对象控制策略将视线落点位置位于原点视场区域的第一边缘映射为用户意图进行阅读的行为,以在视线落点位置位于原点视场区域的第一边缘时,控制在原点视场区域的边缘处显示待阅读内容,从而实现将待阅读内容显示在用户视野范围内。其中,计算机设备可预先设置待阅读内容的显示位置,比如原点视场区域的下边缘区域。在待阅读内容显示时,若待阅读内容的数据量较大,可在原点视场区域的边缘区域滚动显示。
计算机设备还可将视线落点位置位于原点视场区域的第二边缘为用户意图进行交互操作的行为,以在视线落点位置位于原点视场区域的第二边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,从而实现将交互对象移动至用户视野范围内以实现交互。这样,将交互对象的移动出现方式区别于待阅读内容的直接显示方式,避免了交互对象瞬时出现而导致的交互操作误触发,降低交互对象的实用性问题。
举例说明,图6示出了一个实施例中画面示意图。参考图6,该画面被划分为第一视场区域、第二视场区域和原点视场区域,第一视场区域中添加有交互对象610。用户正常观看画面时,视线落点位置位于原点视场区域的中心区域。当用户的视线落点位置移动至原点视场区域的第一边缘620时,如图7所示计算机设备控制在边缘处显示待阅读内容710。当用户的视线落点位置移动至原点视场区域的第二边缘630时,如图8所示计算机设备控制位于画面中原点视场区域以外区域的交互对象610趋向于原点视场区域移动。
在本实施例中,对于只需要用户浏览的内容,在用户转动眼球即可浏览,对于需要触发交互操作时,控制用户视野范围外的交互对象自动向视线落点位置靠近,减少了用户的转头,提高了交互实用性。
在一个实施例中,该交互控制方法还包括:当视线落点位置持续移动并离开原点视场区域的边缘时,则在边缘区域所对应的触发类型为显示控制类型时隐藏待阅读内容;当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为移动控制类型时控制交互对象按照当前移动方向的反方向移动。
具体地,当计算机设备根据前面阐述的检测视线落点位置的方式,检测到视线落点位置由原点视场区域的边缘以外的区域移动至原点视场区域的边缘,并持续无规律移动,且离开原点视场区域的边缘时,判定用户视线移动行为误触发。此时,计算机设备可在显示待阅读内容时,将该待阅读内容隐藏。或者是在控制交互对象趋向于原点视场区域运动时,控制交互对象按照当前移动方向的反方向移动,恢复至初始状态。
在本实施例中,提供了用户误触发控制操作时的应对途径,提交了交互控制的容错性。
在一个实施例中,S308包括:当视线落点位置位于原点视场区域的边缘时,将位于画面中原点视场区域以外区域的交互对象,持续移动至原点视场区域中的预设位置处;或者,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中。
其中,预设位置是计算机设备预先设置的交互对象移动停止的位置。具体地,计算机设备可在检测到视线落点位置位于原点视场区域的边缘时,可控制画面中原点视场区域以外区域的交互对象,持续移动至预先设置的交互对象移动停止的位置,以将交互对象移动至用户视野范围内。
由于,视线落点位置可以在移动至原点视场区域的边缘后,按照此前的移动方向继续移动,计算机设备可控制位于画面中原点视场区域以外区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中,以将交互对象移动至用户视野范围内。这样用户无需再回头即可观看到交互对象。
在本实施例中,通过用户视线实现了交互对象的移动控制,避免了需要利用辅助设备才能实现交互控制的问题,提高了交互控制的实用性。而且丰富了控制交互对象移动时的移动方式。
在一个实施例中,该交互控制方法还包括:在交互对象中确定视线落点位置停留的交互区域;当视线落点位置停留于交互区域的时长超过第一预设时长时,则执行与交互区域相对应的交互操作。
具体地,计算机设备可事先将交互对象的显示区域划分为各交互操作相应的交互区域,并建立交互区域与交互操作的对应关系。比如,确认操作对应的交互区域或者取消操作对应的交互区域等。
计算机设备可在检测到视线落点位置位于交互对象中后,确定视线落点位置停留的交互区域和时长,并异步查询与该交互区域对应的交互操作。在计算机设备判定视线落点位置停留于该交互区域的时长超过第一预设时长时,则执行查询到的该交互操作。其中,第一预设时长是计算设备预先设置的凝视确认时长。当视线落点位置停留于某一交互区域的时长达到第一预设时长时,判定用户确认选择指令计算机设备执行该交互区域对应的交互操作。第一预设时长比如3秒等。
在本实施例中,通过用户视线实现了交互行为的控制过程,避免了需要利用辅助设备才能实现交互控制的问题。
在一个实施例中,该交互控制方法还包括:在视线落点位置移出交互对象时开始计时;当计时超过第二预设时长时,则控制交互对象返回至画面中原点视场区域以外区域。
具体地,计算机设备可在检测到视线落点位置离开交互对象中后,开始计时,当计时时长超过第二预设时长时,判定用户不再需要进行交互,则控制交互对象返回至画面中原点视场区域以外区域。其中,第二预设时长是计算设备预先设置的离开确认时长。当视线落点位置离开交互对象的时长达到第二预设时长时,判定用户确认不再需要进行交互。第一预设时长比如10秒等。
在本实施例中,在判定用户不再需要进行交互时,将交互对象还原至原点视场区域以外的区域,避免了交互对象停留在原点视场区域影响用户观看画面。
如图9所示,在虚拟现实场景下,在一个具体的实施例中,该交互控制方法具体包括以下步骤:
S902,获取并输出虚拟现实画面。
S904,确定当前的视场角的角度值;根据参考视场角的角度值在虚拟现实画面中确定原点视场参考区域;根据获取的角度值和原点视场参考区域,在虚拟现实画面中确定原点视场区域。
S906,获取双目的眼睛图像;确定双目的眼睛图像中瞳孔成像点在屏幕上的双目的凝视点位置;将双目的凝视点位置进行视差转换,得到双目的凝视点位置在画面中所共同对应的视线落点位置。
S908,判断视线落点位置是否位于原点视场区域的边缘;若是,则跳转至步骤S910;若否,则跳转至步骤S906。
S910,判断视线落点位置位于的边缘所对应的触发类型;若触发类型为显示控制类型,则跳转至步骤S912;若触发类型为移动控制类型,则跳转至步骤S916。
S912,在原点视场区域的边缘处显示待阅读内容。
S914,在视线落点位置离开原点视场区域的边缘时隐藏待阅读内容。
S916,将位于第一视场区域的交互对象,持续移动至原点视场区域中的预设位置处;或者,控制位于第一视场区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中;其中,虚拟现实画面还包括第一视场区域和第二视场区域;第二视场区域包围第一视场区域;第一视场区域包围原点视场区域。
S918,在交互对象中确定视线落点位置停留的交互区域;当视线落点位置停留于交互区域的时长超过第一预设时长时,则执行与交互区域相对应的交互操作。
S920,在视线落点位置移出交互对象时开始计时;当计时超过第二预设时长时,则控制交互对象返回至画面中原点视场区域以外区域。
其中,得到视线落点位置的步骤还可以是:根据初始的传感器数据,在虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据偏移角度和视线落点初始位置,确定当前在虚拟现实画面中的视线落点位置。
在本实施例中,本地在获取并输出虚拟现实画面后,即可自动在虚拟现实画面中确定原点视场区域,然后检测虚拟现实画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,在用户意图通过交互对象进行交互时,控制交互对象移动至用户视野内,以使用户通过凝视操作进行交互,并在用户意图浏览待阅读内容时,在原点视场区域的边缘显示待阅读内容。这样实现了根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
应该理解的是,虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,上述各实施例中,交互控制方法的执行主体为计算机设备。但在虚拟现实场景下,交互控制方法的执行主体为交互控制设备。
如图10所示,在一个实施例中,提供了一种交互控制装置1000。参照图10,该交互控制装置1000包括:获取模块1001、确定模块1002、检测模块1003和控制模块1004。
获取模块1001,用于获取并输出画面。
确定模块1002,用于确定画面中的原点视场区域。
检测模块1003,用于检测画面中的视线落点位置。
控制模块1004,用于当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
上述交互控制装置1000,本地在获取并输出画面后,即可自动在画面中确定原点视场区域,然后检测画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,也就是用户意图通过交互对象进行交互时,控制交互对象趋向于原点视场区域移动,以实现根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
在一个实施例中,检测模块1003还用于获取眼睛图像;确定眼睛图像中瞳孔成像点在屏幕上的凝视点位置;将凝视点位置转换为画面中的视线落点位置。
在一个实施例中,眼睛图像为双目的眼睛图像;凝视点位置为双目的凝视点位置。检测模块1003还用于将双目的凝视点位置进行视差转换,得到双目的凝视点位置在画面中所共同对应的视线落点位置。
在一个实施例中,控制模块1004用于在视线落点位置位于原点视场区域的边缘时,确定边缘所对应的触发类型;当触发类型为显示控制类型时,在边缘处显示待阅读内容;当触发类型为移动控制类型时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,控制模块1004还用于当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为显示控制类型时隐藏待阅读内容;当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为移动控制类型时控制交互对象按照当前移动方向的反方向移动。
在一个实施例中,控制模块1004还用于当视线落点位置位于原点视场区域的边缘时,将位于画面中原点视场区域以外区域的交互对象,持续移动至原点视场区域中的预设位置处;或者,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中。
在一个实施例中,交互控制装置1000还包括:交互模块1005。
交互模块1005,用于在交互对象中确定视线落点位置停留的交互区域;当视线落点位置停留于交互区域的时长超过第一预设时长时,则执行与交互区域相对应的交互操作。
如图11所示,在一个实施例中,交互控制装置1000还包括:交互模块1005和返回模块1006。
返回模块1006,用于在视线落点位置移出交互对象时开始计时;当计时超过第二预设时长时,则控制交互对象返回至画面中原点视场区域以外区域。
在一个实施例中,画面为虚拟现实画面。确定模块1002还用于根据当前的视场角,在虚拟现实画面中确定原点视场区域。
在一个实施例中,确定模块1002还用于确定当前的视场角的角度值;根据参考视场角的角度值在虚拟现实画面中确定原点视场参考区域;根据获取的角度值和原点视场参考区域,在虚拟现实画面中确定原点视场区域。
在一个实施例中,检测模块1003还用于根据初始的传感器数据,在虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据偏移角度和视线落点初始位置,确定当前在虚拟现实画面中的视线落点位置。
在一个实施例中,虚拟现实画面还包括第一视场区域和第二视场区域;第二视场区域包围第一视场区域;第一视场区域包围原点视场区域。控制模块1004还用于当视线落点位置位于原点视场区域的边缘时,控制位于虚拟现实画面中第一视场区域的交互对象趋向于原点视场区域移动。
图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备110。如图12所示,该计算机设备包括通过***总线连接的处理器、存储器、网络接口和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现资源分享方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行资源分享方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等。本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图2中的虚拟现实设备110。如图13所示,该计算机设备包括通过***总线连接的处理器、存储器、网络接口、光学镜头和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现资源分享方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行资源分享方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等。本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的交互控制装置可以实现为一种计算机程序的形式,计算机程序可在如图12或图13所示的计算机设备上运行,计算机设备的非易失性存储介质可存储组成该交互控制装置的各个程序模块,比如,图10所示的获取模块1001、确定模块1002、检测模块1003和控制模块1004等。各个程序模块组成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的交互控制方法中的步骤。
例如,图12所示的计算机设备可以通过如图10所示的交互控制装置1000中的获取模块1001获取并输出画面。通过确定模块1002确定画面中的原点视场区域。通过检测模块1003检测画面中的视线落点位置。通过控制模块1004当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。在虚拟显示环境下,则由图13所示的计算机设备可以通过如图10所示的交互控制装置1000的各模块执行相应的操作。
在一个实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时,使得处理器执行以下步骤:获取并输出画面;确定画面中的原点视场区域;检测画面中的视线落点位置;当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,检测画面中的视线落点位置,包括:获取眼睛图像;确定眼睛图像中瞳孔成像点在屏幕上的凝视点位置;将凝视点位置转换为画面中的视线落点位置。
在一个实施例中,眼睛图像为双目的眼睛图像;凝视点位置为双目的凝视点位置。将凝视点位置转换为画面中的视线落点位置,包括:将双目的凝视点位置进行视差转换,得到双目的凝视点位置在画面中所共同对应的视线落点位置。
在一个实施例中,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:在视线落点位置位于原点视场区域的边缘时,确定边缘所对应的触发类型;当触发类型为显示控制类型时,在边缘处显示待阅读内容;当触发类型为移动控制类型时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为显示控制类型时隐藏待阅读内容;当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为移动控制类型时控制交互对象按照当前移动方向的反方向移动。
在一个实施例中,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:当视线落点位置位于原点视场区域的边缘时,将位于画面中原点视场区域以外区域的交互对象,持续移动至原点视场区域中的预设位置处;或者,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:在交互对象中确定视线落点位置停留的交互区域;当视线落点位置停留于交互区域的时长超过第一预设时长时,则执行与交互区域相对应的交互操作。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:在视线落点位置移出交互对象时开始计时;当计时超过第二预设时长时,则控制交互对象返回至画面中原点视场区域以外区域。
在一个实施例中,画面为虚拟现实画面。确定画面中的原点视场区域,包括:根据当前的视场角,在虚拟现实画面中确定原点视场区域。
在一个实施例中,根据当前的视场角,在虚拟现实画面中确定原点视场区域,包括:确定当前的视场角的角度值;根据参考视场角的角度值在虚拟现实画面中确定原点视场参考区域;根据获取的角度值和原点视场参考区域,在虚拟现实画面中确定原点视场区域。
在一个实施例中,检测虚拟现实画面中的视线落点位置,包括:根据初始的传感器数据,在虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据偏移角度和视线落点初始位置,确定当前在虚拟现实画面中的视线落点位置。
在一个实施例中,虚拟现实画面还包括第一视场区域和第二视场区域;第二视场区域包围第一视场区域;第一视场区域包围原点视场区域。当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:当视线落点位置位于原点视场区域的边缘时,控制位于虚拟现实画面中第一视场区域的交互对象趋向于原点视场区域移动。
上述存储介质,本地在获取并输出画面后,即可自动在画面中确定原点视场区域,然后检测画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,也就是用户意图通过交互对象进行交互时,控制交互对象趋向于原点视场区域移动,以实现根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取并输出画面;确定画面中的原点视场区域;检测画面中的视线落点位置;当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,检测画面中的视线落点位置,包括:获取眼睛图像;确定眼睛图像中瞳孔成像点在屏幕上的凝视点位置;将凝视点位置转换为画面中的视线落点位置。
在一个实施例中,眼睛图像为双目的眼睛图像;凝视点位置为双目的凝视点位置。将凝视点位置转换为画面中的视线落点位置,包括:将双目的凝视点位置进行视差转换,得到双目的凝视点位置在画面中所共同对应的视线落点位置。
在一个实施例中,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:在视线落点位置位于原点视场区域的边缘时,确定边缘所对应的触发类型;当触发类型为显示控制类型时,在边缘处显示待阅读内容;当触发类型为移动控制类型时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为显示控制类型时隐藏待阅读内容;当视线落点位置持续移动并离开边缘时,则在边缘区域所对应的触发类型为移动控制类型时控制交互对象按照当前移动方向的反方向移动。
在一个实施例中,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:当视线落点位置位于原点视场区域的边缘时,将位于画面中原点视场区域以外区域的交互对象,持续移动至原点视场区域中的预设位置处;或者,当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象向原点视场区域移动,直至视线落点位置位于交互对象中。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:在交互对象中确定视线落点位置停留的交互区域;当视线落点位置停留于交互区域的时长超过第一预设时长时,则执行与交互区域相对应的交互操作。
在一个实施例中,该计算机程序被处理器执行时,还使得处理器执行以下步骤:在视线落点位置移出交互对象时开始计时;当计时超过第二预设时长时,则控制交互对象返回至画面中原点视场区域以外区域。
在一个实施例中,画面为虚拟现实画面。确定画面中的原点视场区域,包括:根据当前的视场角,在虚拟现实画面中确定原点视场区域。
在一个实施例中,根据当前的视场角,在虚拟现实画面中确定原点视场区域,包括:确定当前的视场角的角度值;根据参考视场角的角度值在虚拟现实画面中确定原点视场参考区域;根据获取的角度值和原点视场参考区域,在虚拟现实画面中确定原点视场区域。
在一个实施例中,检测虚拟现实画面中的视线落点位置,包括:根据初始的传感器数据,在虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据偏移角度和视线落点初始位置,确定当前在虚拟现实画面中的视线落点位置。
在一个实施例中,虚拟现实画面还包括第一视场区域和第二视场区域;第二视场区域包围第一视场区域;第一视场区域包围原点视场区域。当视线落点位置位于原点视场区域的边缘时,控制位于画面中原点视场区域以外区域的交互对象趋向于原点视场区域移动,包括:当视线落点位置位于原点视场区域的边缘时,控制位于虚拟现实画面中第一视场区域的交互对象趋向于原点视场区域移动。
上述计算机设备,本地在获取并输出画面后,即可自动在画面中确定原点视场区域,然后检测画面中的视线落点位置,当检测到视线落点位置移动至原点视场区域的边缘,也就是用户意图通过交互对象进行交互时,控制交互对象趋向于原点视场区域移动,以实现根据用户视线来控制交互对象,避免了需要利用辅助设备实现交互控制的问题,提高了交互控制效率,而且交互对象在默认状态下位于画面中原点视场区域以外的区域,这样避免了交互对象遮挡原点视场区域内的画面内容影响用户观看本地输出的画面。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种交互控制方法,其特征在于,所述方法包括:
获取并输出虚拟现实画面;所述虚拟现实画面包括基于虚拟现实设备偏转不同角度区间时对应的视场区域范围划分的第一视场区域和第二视场区域;所述第二视场区域包围所述第一视场区域;
获取空间姿态固定的静态观测点当前的视场角的角度值;
根据参考视场角的角度值在所述虚拟现实画面中确定原点视场参考区域;
根据获取的所述当前的视场角的角度值和所述原点视场参考区域,在所述虚拟现实画面中确定原点视场区域;所述原点视场区域为所述静态观测点视野范围内的画面区域;所述第一视场区域包围所述原点视场区域;
检测所述虚拟现实画面中的视线落点位置;
当所述视线落点位置位于所述原点视场区域的边缘时,确定所述边缘所对应的触发类型;
当所述触发类型为显示控制类型时,在所述边缘处显示待阅读内容;
当所述触发类型为移动控制类型时,控制位于所述虚拟现实画面中所述第一视场区域的交互对象趋向于所述原点视场区域移动;
当所述视线落点位置持续移动并离开所述边缘时,则在所述边缘区域所对应的触发类型为显示控制类型时隐藏所述待阅读内容;
当所述视线落点位置持续移动并离开所述边缘时,则在所述边缘区域所对应的触发类型为移动控制类型时控制所述交互对象按照当前移动方向的反方向移动。
2.根据权利要求1所述的方法,其特征在于,所述检测所述虚拟现实画面中的视线落点位置,包括:
获取眼睛图像;
确定所述眼睛图像中瞳孔成像点在屏幕上的凝视点位置;
将所述凝视点位置转换为所述虚拟现实画面中的视线落点位置。
3.根据权利要求2所述的方法,其特征在于,所述眼睛图像为双目的眼睛图像;所述凝视点位置为双目的凝视点位置;
所述将所述凝视点位置转换为所述虚拟现实画面中的视线落点位置,包括:
将所述双目的凝视点位置进行视差转换,得到所述双目的凝视点位置在所述虚拟现实画面中所共同对应的视线落点位置。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述视线落点位置位于所述原点视场区域的边缘时,将位于所述虚拟现实画面中所述原点视场区域以外区域的交互对象,持续移动至所述原点视场区域中的预设位置处;或者,
当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述虚拟现实画面中所述原点视场区域以外区域的交互对象向所述原点视场区域移动,直至所述视线落点位置位于所述交互对象中。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述交互对象中确定所述视线落点位置停留的交互区域;
当所述视线落点位置停留于所述交互区域的时长超过第一预设时长时,则
执行与所述交互区域相对应的交互操作。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述视线落点位置移出所述交互对象时开始计时;
当计时超过第二预设时长时,则控制所述交互对象返回至所述虚拟现实画面中所述原点视场区域以外区域。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述视场角包括水平场视角和垂直场视角。
8.根据权利要求1所述的方法,其特征在于,所述检测所述虚拟现实画面中的视线落点位置,包括:
根据初始的传感器数据,在所述虚拟现实画面中确定视线落点初始位置;
获取当前的传感器数据;
根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;
根据所述偏移角度和所述视线落点初始位置,确定当前在所述虚拟现实画面中的视线落点位置。
9.根据权利要求1所述的方法,其特征在于,所述空间姿态包括所述静态观测点的观测方向。
10.一种交互控制装置,其特征在于,所述装置包括:
获取模块,用于获取并输出虚拟现实画面;所述虚拟现实画面包括基于虚拟现实设备偏转不同角度区间时对应的视场区域范围划分的第一视场区域和第二视场区域;所述第二视场区域包围所述第一视场区域;
确定模块,用于获取空间姿态固定的静态观测点当前的视场角的角度值;根据参考视场角的角度值在所述虚拟现实画面中确定原点视场参考区域;根据获取的所述当前的视场角的角度值和所述原点视场参考区域,在所述虚拟现实画面中确定原点视场区域;所述原点视场区域为所述静态观测点视野范围内的画面区域;所述第一视场区域包围所述原点视场区域;
检测模块,用于检测所述虚拟现实画面中的视线落点位置;
控制模块,用于当所述视线落点位置位于所述原点视场区域的边缘时,确定所述边缘所对应的触发类型;当所述触发类型为显示控制类型时,在所述边缘处显示待阅读内容;当所述触发类型为移动控制类型时,控制位于所述虚拟现实画面中所述第一视场区域的交互对象趋向于所述原点视场区域移动;
所述控制模块还用于当所述视线落点位置持续移动并离开所述边缘时,则在所述边缘区域所对应的触发类型为显示控制类型时隐藏所述待阅读内容;当所述视线落点位置持续移动并离开所述边缘时,则在所述边缘区域所对应的触发类型为移动控制类型时控制所述交互对象按照当前移动方向的反方向移动。
11.根据权利要求10所述的装置,其特征在于,所述检测模块还用于获取眼睛图像;确定所述眼睛图像中瞳孔成像点在屏幕上的凝视点位置;将所述凝视点位置转换为所述虚拟现实画面中的视线落点位置。
12.根据权利要求11所述的装置,其特征在于,所述眼睛图像为双目的眼睛图像;所述凝视点位置为双目的凝视点位置;
所述检测模块还用于将所述双目的凝视点位置进行视差转换,得到所述双目的凝视点位置在所述虚拟现实画面中所共同对应的视线落点位置。
13.根据权利要求10所述的装置,其特征在于,所述控制模块还用于当所述视线落点位置位于所述原点视场区域的边缘时,将位于所述虚拟现实画面中所述原点视场区域以外区域的交互对象,持续移动至所述原点视场区域中的预设位置处;或者,当所述视线落点位置位于所述原点视场区域的边缘时,控制位于所述虚拟现实画面中所述原点视场区域以外区域的交互对象向所述原点视场区域移动,直至所述视线落点位置位于所述交互对象中。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
交互模块,用于在所述交互对象中确定所述视线落点位置停留的交互区域;当所述视线落点位置停留于所述交互区域的时长超过第一预设时长时,则执行与所述交互区域相对应的交互操作。
15.根据权利要求13所述的装置,其特征在于,所述装置还包括:
返回模块,用于在所述视线落点位置移出所述交互对象时开始计时;当计时超过第二预设时长时,则控制所述交互对象返回至所述虚拟现实画面中所述原点视场区域以外区域。
16.根据权利要求10至15中任一项所述的装置,其特征在于,所述视场角包括水平场视角和垂直场视角。
17.根据权利要求16所述的装置,其特征在于,所述检测模块还用于根据初始的传感器数据,在所述虚拟现实画面中确定视线落点初始位置;获取当前的传感器数据;根据当前的传感器数据与初始的传感器数据的差值确定偏移角度;根据所述偏移角度和所述视线落点初始位置,确定当前在所述虚拟现实画面中的视线落点位置。
18.根据权利要求10所述的装置,其特征在于,所述空间姿态包括所述静态观测点的观测方向。
19.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
20.一种计算机设备,包括存储器和处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
CN201711142437.9A 2017-11-17 2017-11-17 交互控制方法、装置、存储介质和计算机设备 Active CN109799899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711142437.9A CN109799899B (zh) 2017-11-17 2017-11-17 交互控制方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711142437.9A CN109799899B (zh) 2017-11-17 2017-11-17 交互控制方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN109799899A CN109799899A (zh) 2019-05-24
CN109799899B true CN109799899B (zh) 2021-10-22

Family

ID=66554616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711142437.9A Active CN109799899B (zh) 2017-11-17 2017-11-17 交互控制方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN109799899B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597387B (zh) * 2019-09-05 2021-11-30 腾讯科技(深圳)有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN110478903B (zh) * 2019-09-09 2023-05-26 珠海金山数字网络科技有限公司 一种虚拟摄像机的控制方法和装置
CN114205669B (zh) * 2021-12-27 2023-10-17 咪咕视讯科技有限公司 自由视角视频的播放方法、装置及电子设备
CN114615430B (zh) * 2022-03-07 2022-12-23 清华大学 移动终端与外部对象之间的交互方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN104428732A (zh) * 2012-07-27 2015-03-18 诺基亚公司 与近眼显示器的多模交互
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105425971A (zh) * 2016-01-15 2016-03-23 中意工业设计(湖南)有限责任公司 一种眼动界面的交互方法、装置和近眼显示器
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN106227412A (zh) * 2016-07-27 2016-12-14 深圳羚羊极速科技有限公司 一种利用获取焦点触发手机vr应用的交互方法
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法
CN106648055A (zh) * 2016-09-30 2017-05-10 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254920B2 (en) * 2013-12-01 2019-04-09 Upskill, Inc. Systems and methods for accessing a nested menu
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
CN106527722B (zh) * 2016-11-08 2019-05-10 网易(杭州)网络有限公司 虚拟现实中的交互方法、***及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN104428732A (zh) * 2012-07-27 2015-03-18 诺基亚公司 与近眼显示器的多模交互
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105425971A (zh) * 2016-01-15 2016-03-23 中意工业设计(湖南)有限责任公司 一种眼动界面的交互方法、装置和近眼显示器
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN106227412A (zh) * 2016-07-27 2016-12-14 深圳羚羊极速科技有限公司 一种利用获取焦点触发手机vr应用的交互方法
CN106648055A (zh) * 2016-09-30 2017-05-10 珠海市魅族科技有限公司 一种在虚拟现实环境中管理菜单的方法及虚拟现实设备

Also Published As

Publication number Publication date
CN109799899A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
JP7094266B2 (ja) 単一深度追跡型の遠近調節-両眼転導ソリューション
CN108292489B (zh) 信息处理装置和图像生成方法
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
JP6454851B2 (ja) 3次元上の注視点の位置特定アルゴリズム
US11314088B2 (en) Camera-based mixed reality glass apparatus and mixed reality display method
WO2013175923A1 (ja) シミュレーション装置
KR20190112712A (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
JP2007052304A (ja) 映像表示システム
JPWO2016113951A1 (ja) 頭部装着型表示装置、及び映像表示システム
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
JPH11155152A (ja) 三次元形状情報入力方法及び装置及び画像入力装置
CN111880654A (zh) 一种图像显示方法、装置、穿戴设备及存储介质
JP2011010126A (ja) 画像処理装置、画像処理方法
CN107209949B (zh) 用于产生放大3d图像的方法和***
JP2007501950A (ja) 3次元像表示装置
JP4492597B2 (ja) 立体表示処理装置および立体表示処理方法
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US11212502B2 (en) Method of modifying an image on a computational device
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2012244453A (ja) 画像表示装置、画像表示システム、及び3次元眼鏡
WO2013133057A1 (ja) 画像処理装置および方法、並びにプログラム
JP2021018575A (ja) 画像処理装置、画像配信システム、および画像処理方法
JP7012983B2 (ja) 顔画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant