CN107957781B - 信息显示方法及装置 - Google Patents

信息显示方法及装置 Download PDF

Info

Publication number
CN107957781B
CN107957781B CN201711326613.4A CN201711326613A CN107957781B CN 107957781 B CN107957781 B CN 107957781B CN 201711326613 A CN201711326613 A CN 201711326613A CN 107957781 B CN107957781 B CN 107957781B
Authority
CN
China
Prior art keywords
input device
cursor
environment
display
environment picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711326613.4A
Other languages
English (en)
Other versions
CN107957781A (zh
Inventor
南迪尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201711326613.4A priority Critical patent/CN107957781B/zh
Publication of CN107957781A publication Critical patent/CN107957781A/zh
Application granted granted Critical
Publication of CN107957781B publication Critical patent/CN107957781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开揭示了一种信息显示方法及装置,属于虚拟现实领域,所述方法包括:检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分;当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置;根据相对位置在环境画面中显示指示信息。本公开实施例中,通过自动显示用于指示输入设备光标相对位置的指示信息,使得用户能够有目的地调整输入设备的方位,进而提高将输入设备光标移动至当前环境画面内的效率。

Description

信息显示方法及装置
技术领域
本公开实施例涉及VR(Virtual Reality,虚拟现实)领域,特别涉及一种信息显示方法及装置。
背景技术
VR***作为一种沉浸式交互***,通常包含VR主机、显示设备和输入设备。其中,VR主机用于渲染生成三维虚拟环境,显示设备用于向用户展示三维虚拟环境的环境画面,输入设备则用于控制三维虚拟环境中的虚拟物体。
由于显示设备显示的环境画面有限,因此,当输入设备在三维虚拟环境中对应的输入设备光标在显示设备当前显示的环境画面之外时,用户需要手动调整输入设备的方位,从而将输入设备光标移动至当前环境画面内。
发明内容
为了解决用户在无法知悉当前环境画面外输入设备光标的位置的情况下,需要多次尝试才能将输入设备光标移动至当前环境画面,移动效率较低的问题,本公开实施例提供了一种信息显示方法及装置,该技术方案如下:
第一方面,提供了一种信息显示方法,该方法包括:
检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分;
当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置;
根据相对位置,控制显示设备在环境画面中显示指示信息。
可选的,检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,包括:
获取环境画面在三维虚拟环境中的坐标范围;
获取输入设备光标在三维虚拟环境中的第一坐标;
若第一坐标与坐标范围之间不存在交集,则确定环境画面中不包含输入设备光标。
可选的,确定输入设备光标与环境画面的相对位置,包括:
获取输入设备光标在三维虚拟环境中的第一坐标;
获取环境画面的中点在三维虚拟环境中的第二坐标;
根据第一坐标和第二坐标,确定输入设备光标与环境画面的相对位置。
可选的,确定输入设备光标与环境画面的相对位置之前,该方法,还包括:
获取输入设备发送的传感器数据,传感器数据由输入设备内的运动传感器采集,运动传感器为角速度传感器和/或加速度传感器;
根据传感器数据计算输入设备的振动频率;
确定输入设备光标与环境画面的相对位置,包括:
当环境画面中不包含输入设备光标,且输入设备的振动频率大于频率阈值时,确定输入设备光标与环境画面的相对位置。
可选的,确定输入设备光标与环境画面的相对位置之前,该方法,还包括:
获取输入设备的连续使用时长;
确定输入设备光标与环境画面的相对位置,包括:
当环境画面中不包含输入设备光标,且输入设备的连续使用时长大于时长阈值时,确定输入设备光标与环境画面的相对位置。
可选的,根据相对位置,控制显示设备在环境画面中显示指示信息,包括:
根据相对位置生成有向箭头,有向箭头的方向是由环境画面的中心指向输入设备光标;
控制显示设备在环境画面内的预定位置上显示有向箭头。
可选的,该方法,还包括:
当指示信息的显示时长大于阈值,或,检测到输入设备光标移动至环境画面时,控制显示设备停止显示指示信息。
第二方面,提供了一种信息显示装置,该装置包括:
检测模块,被配置为检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分;
确定模块,被配置为当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置;
显示模块,被配置为根据相对位置,控制显示设备在环境画面中显示指示信息。
可选的,检测模块,包括:
第一获取子模块,被配置为获取环境画面在三维虚拟环境中的坐标范围;
第二获取子模块,被配置为获取输入设备光标在三维虚拟环境中的第一坐标;
第一确定子模块,被配置为若第一坐标与坐标范围之间不存在交集,则确定环境画面中不包含输入设备光标。
可选的,确定模块,包括:
第三获取子模块,被配置为获取输入设备光标在三维虚拟环境中的第一坐标;
第四获取子模块,被配置为获取环境画面的中点在三维虚拟环境中的第二坐标;
第二确定子模块,被配置为根据第一坐标和第二坐标,确定输入设备光标与环境画面的相对位置。
可选的,该装置,还包括:
第一获取模块,被配置为获取输入设备发送的传感器数据,传感器数据由输入设备内的运动传感器采集,运动传感器为角速度传感器和/或加速度传感器;
计算模块,被配置为根据传感器数据计算输入设备的振动频率;
确定模块,还被配置为当环境画面中不包含输入设备光标,且输入设备的振动频率大于频率阈值时,确定输入设备光标与环境画面的相对位置。
可选的,该装置,还包括:
第二获取模块,被配置为获取输入设备的连续使用时长;
确定模块,还被配置为当环境画面中不包含输入设备光标,且输入设备的连续使用时长大于时长阈值时,确定输入设备光标与环境画面的相对位置。
可选的,显示模块,包括:
生成子模块,被配置为根据相对位置生成有向箭头,有向箭头的方向是由环境画面的中心指向输入设备光标;
控制子模块,被配置为控制显示设备在环境画面内的预定位置上显示有向箭头。
可选的,该装置,还包括:
控制模块,被配置为当指示信息的显示时长大于阈值,或,检测到输入设备光标移动至环境画面时,控制显示设备停止显示指示信息。
第三方面,提供了一种信息显示装置,该装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分;
当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置;
根据相对位置,控制显示设备在环境画面中显示指示信息。
第四方面,提供了一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现如上述第一方面所述的信息显示方法。
本公开实施例提供的技术方案带来的有益效果是:
当VR主机检测到输入设备光标在显示设备当前显示的环境画面之外时,通过确定输入设备光标与环境画面在三维虚拟环境中的相对位置,并根据该相对位置控制显示设备在环境画面中显示相应的指示信息,以便用户根据该指示信息快速将输入设备光标移动至环境画面中;相较于相关技术中用户只能盲目调整输入设备的位置,本公开实施例中,通过自动显示用于指示输入设备光标相对位置的指示信息,使得用户能够有目的地调整输入设备的方位,进而提高将输入设备光标移动至当前环境画面内的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开一个示例性实施例提供的VR***的结构示意图;
图2是本公开一个示例性实施例提供的信息显示方法的流程图;
图3是本公开另一个示例性实施例提供的信息显示方法的流程图;
图4是本公开一个示例性实施例提供的空间直角坐标系示意图;
图5是本公开一个示例性实施例提供的界面显示示意图;
图6是本公开另一个示例性实施例提供的信息显示方法的流程图;
图7是本公开另一个示例性实施例提供的信息显示方法的流程图;
图8是本公开一个示例性实施例提供的信息显示装置的结构图;
图9是本公开一个示例性实施例提供的VR主机的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其示出了本公开一个实施例提供的VR***的结构示意图。该VR***包括:VR主机120、显示设备140和输入设备160。
VR主机120用于建模三维虚拟环境、生成三维虚拟环境所对应的三维显示画面、生成三维虚拟环境中的虚拟物体等。当然,VR主机120也可以建模二维虚拟环境、生成二维虚拟环境所对应的二维显示画面、生成二维虚拟环境中的虚拟物体;或者,VR主机120可以建模三维虚拟环境、根据用户的视角位置生成该三维虚拟环境所对应的二维显示画面、生成三维虚拟环境中虚拟物体的二维投影画面等,本实施例对此不作限定。
VR主机120接收输入设备160的输入信号,并根据该输入信号在三维虚拟环境中显示输入设备光标,其中,输入设备光标可以是箭头、十字或虚拟手等图标。VR主机120通常由设置在电路板上的处理器、存储器、图像VR主机等电子器件实现。可选的,VR主机120还包括图像采集装置,用于捕捉用户的头部动作,并根据用户的头部动作改变显示设备140中的显示画面。本公开各个实施例提供的信息显示方法即用于VR主机120中。
显示设备140是用于佩戴在用户头部进行图像显示的显示器。显示设备140通常包括佩戴部和显示部,佩戴部包括用于将显示设备140佩戴在用户头部的眼镜腿及弹性带,显示部包括左眼显示屏和右眼显示屏。可选的,显示设备140能够在左眼显示屏和右眼显示屏显示不同的图像,从而为用户模拟出三维虚拟环境;或直接显示VR主机120生成的三维虚拟环境的环境画面。本实施例中,以显示设备140直接显示VR主机120生成的三维虚拟环境的环境画面为例进行说明,其中,由于显示设备140的显示范围有限,显示设备140中显示的环境画面仅为视野范围内三维虚拟环境中的部分画面。
可选的,显示设备140上设置有运动传感器,用于捕捉用户的头部动作,以使得VR主机120根据用户的头部动作改变显示设备140中显示的环境画面。
显示设备140通过柔性电路板或硬件接口或数据线或无线网络,与VR主机120电性相连。
输入设备160是用于控制三维虚拟环境中虚拟物体的输入外设。可以是体感手套、体感手柄、遥控器、跑步机、鼠标、键盘、人眼聚焦设备中的至少一种。输入设备160通常包括一些物理按键,用于实现启动和/或关闭输入设备、用于实现检测用户是否正在握持输入设备、用于唤起菜单栏等,本实施例在此不再一一列出。
可选的,上述物理按键中的部分或全部可实现为通过触摸屏实现的虚拟按键,本实施例对此不作限定。
可选的,输入设备160上设置有运动传感器,用于采集输入设备160的运动状态,并将运动状态以传感器数据的形式发送给VR主机120,以使得VR主机120根据传感器数据调整输入设备光标的位置。其中,运动传感器可以是加速度传感器、角速度传感器中的任意一种,且各个类型的运动传感器的数量可以为一个,也可以为多个,本实施例对此不作限定。
输入设备160通过线缆、蓝牙或Wi-Fi(Wireless-Fidelity,无线保真),与VR主机120相连。
需要说明的是,VR主机120可以集成在显示设备140的内部,也可以集成在与显示设备140不同的其它设备中。本实施例中,以VR主机120集成在与显示设备140不同的其它设备中为例进行说明。其中,其它设备可以为台式计算机或服务器等,本实施例对此不作限定。
图2是本公开一个示例性实施例提供的信息显示方法的流程图。本实施例以该方法应用于图1所示的VR主机120来举例说明,该信息显示方法包括如下步骤:
在步骤201中,检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分。
由于显示设备的显示范围有限(通常为显示设备正对方向预定尺寸的显示范围,模拟人眼的可视范围),正常使用过程中,当输入设备的空间位置发生改变,并离开该显示范围时,显示设备当前显示的环境画面中即不包含输入设备对应的光标;或者,由于VR主机是对输入设备中惯性传感器采集到的数据进行积分,从而确定输入设备位置的,因此,随着输入设备连续工作时间的增长,积分计算产生的误差也不断累积,导致三维虚拟环境中的输入设备光标与输入设备的实际位置产生角度偏差,致使原本应显示在环境画面中的输入设备光标显示在环境画面之外。
为了识别出输入设备光标是否在当前显示的环境画面之外,在一种可能的实施方式中,VR主机根据显示设备当前显示的环境画面的坐标范围,以及输入设备光标的坐标,检测输入设备光标是否在环境画面中。
在步骤202中,当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置。
为了对环境画面之外输入设备光标所处的方位进行指示,确定环境画面中不包含输入设备光标后,VR主机进一步确定输入设备光标与环境画面的相对位置。
可选的,VR主机根据输入设备光标在三维虚拟环境中的坐标,以及环境画面(中某一参考点)在三维虚拟环境中的坐标,确定输入设备光标与环境画面的相对位置。
在步骤203中,根据相对位置,控制显示设备在环境画面中显示指示信息。
为了便于用户有目标地的调整输入设备的方位,从而将输入设备光标移动至当前显示的环境画面中,在确定出输入设备光标与环境画面的相对位置后,VR主机根据该相对位置控制显示设备显示相应的指示信息。
其中,指示信息用于指示输入设备光标与环境画面的相对方向,且该指示信息可以采用文字、图标或动画的形式。
综上所述,本公开实施例中,当VR主机检测到输入设备光标在显示设备当前显示的环境画面之外时,通过确定输入设备光标与环境画面在三维虚拟环境中的相对位置,并根据该相对位置控制显示设备在环境画面中显示相应的指示信息,以便用户根据该指示信息快速将输入设备光标移动至环境画面中;相较于相关技术中用户只能盲目调整输入设备的位置,本公开实施例中,通过自动显示用于指示输入设备光标相对位置的指示信息,使得用户能够有目的地调整输入设备的方位,进而提高将输入设备光标移动至当前环境画面内的效率。
图3是本公开一个示例性实施例提供的信息显示方法的流程图。本实施例以该方法应用于图1所示的VR主机120来举例说明,该信息显示方法包括如下步骤:
在步骤301中,获取显示设备当前显示的环境画面在三维虚拟环境中的坐标范围,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分。
在一种可能的实现方式中,VR主机中预存一个基于三维虚拟环境的空间直角坐标系,当检测到显示设备中显示环境画面时,即可获取该环境画面在三维虚拟环境中的坐标范围,即环境画面内所有像素点在空间直角坐标系中坐标的集合,其中,当显示设备的姿态发生变化时,当前显示的环境画面的坐标范围也相应发生变化。
示意性的,如图4所示,环境画面41的x坐标范围为x∈[70,150],y坐标为y∈[70,110],z坐标范围为z∈[20,140],进一步的,确定满足上述各坐标范围的全部坐标即为环境画面41在三维虚拟环境中的坐标范围。
在步骤302中,获取输入设备光标在三维虚拟环境中的第一坐标。
输入设备接入VR主机后,VR主机在三维虚拟环境中确定输入设备光标的一个初始坐标。进而,在输入设备的运动过程中,VR主机获取到输入设备中的运动传感器采集到的传感器数据,并根据该传感器数据确定输入设备的运动方向和姿态,从而将现实环境中的动作映射到三维虚拟环境中。进一步的,VR主机即可获取输入设备光标在三维虚拟环境中的第一坐标。
示意性的,如图4所示,VR主机确定输入设备光标B的第一坐标为(-30,15,20)。
在步骤303中,若第一坐标与坐标范围之间不存在交集,则确定环境画面中不包含输入设备光标。
确定出输入设备对应的第一坐标和环境画面的坐标范围后,VR主机继续判断第一坐标与坐标范围之间是否存在交集,当确定第一坐标与环境画面的坐标范围之间不存在交集时,VR主机即确定环境画面内不包含输入设备光标;当第一坐标与环境画面的坐标范围之间存在交集时,VR主机即确定环境画面内包含输入设备光标。
结合步骤301和步骤302中的示例,如图4所示,由于输入设备光标B的第一坐标不在环境画面41的坐标范围内,VR主机即确定第一坐标与坐标范围不存在交集,进一步确定环境画面41中不包含输入设备光标。
在步骤304中,当环境画面中不包含输入设备光标时,获取环境画面的中点在三维虚拟环境中的第二坐标。
当确定出输入设备光标在当前显示的环境画面之外时,VR主机进一步根据环境画面中某一参考点的坐标,确定出输入设备光标与环境画面之间的相对位置。可选的,该参考点为环境画面的中心点。
在一种可能的实现方式中,在确定环境画面的坐标范围后,VR主机即确定x、y和z坐标范围的中值为环境画面中点的x、y和z坐标。
结合步骤303中的示例,如图4所示,VR主机确定环境画面中点A的x坐标为[70,150]的中值110,y坐标为[70,110]的中值90,z坐标即为[20,140]的中值80,进一步的,确定环境画面中点A的坐标为(110,90,80)。
在步骤305中,根据第一坐标和第二坐标,确定输入设备光标与环境画面的相对位置。
获取到输入设备光标对应的第一坐标以及环境画面中点对应的第二坐标后,VR主机即根据两个坐标确定输入设备光标与环境画面的相对位置。
可选的,VR主机根据第一坐标和第二坐标计算方向向量,其中方向向量=第二坐标-第一坐标,进一步的,VR主机将方向向量的方向确定为输入设备光标与环境画面的相对方向,将方向向量的大小确定为输入设备光标与环境画面中点的距离。
示意性的,如图4所示,环境画面中点A的坐标为(110,90,80),输入设备光标B的坐标为(-30,15,20),进一步的,VR主机计算方向向量
Figure BDA0001505785270000091
并将方向向量
Figure BDA0001505785270000092
的方向确定为输入设备光标与环境画面的相对方向,方向向量
Figure BDA0001505785270000101
的大小确定为输入设备光标与环境画面中点的距离。
在步骤306中,根据相对位置生成有向箭头,有向箭头的方向是由环境画面的中心指向输入设备光标。
当VR主机确定输入设备光标与环境画面的相对位置后,根据相对位置生成由环境画面中心指向输入设备光标的有向箭头。
在步骤307中,控制显示设备在环境画面内的预定位置上显示有向箭头。
VR主机根据有向箭头所指的方向确定再环境画面内显示的预定位置,进而控制显示设备在环境画面内的预定位置上显示有向箭头。可选的,该预定位置为环境画面的左侧边缘、右侧边缘、上边缘或下边缘等。
例如,当VR主机检测到有向箭头指向环境画面右侧时,控制显示设备在屏幕画面的右侧边缘显示该有向箭头;当VR主机检测到有向箭头指向环境画面左侧时,控制显示设备在屏幕画面的左侧边缘显示该有向箭头。
结合步骤304中的示例,示意性的,如图5所示,在环境画面51的左侧边缘显示有向箭头52。
当环境画面51中显示了有向箭头52后,为了将输入设备光标移动至当前环境画面内,用户沿着有向箭头52指示的方向,反向移动输入设备,实时的,VR主机接收输入设备中运动传感器采集到的传感器数据,进而根据上述移动过程中输入设备的位置变化,将输入设备光标移动至环境画面51内。
在步骤308中,当指示信息的显示时长大于阈值,或,检测到输入设备光标移动至环境画面时,控制显示设备停止显示指示信息。
为了避免长时间显示提示信息对画面造成遮挡,影响用户进行沉浸式交互,VR主机获取指示信息的显示时长,当显示时长大于阈值时,控制显示设备停止显示指示信息。本实施例中,该指示信息为有向箭头。其中,阈值为5s,可选的,该阈值可以由用户在设置界面内自行设定。
在一种可能的实现方式中,在环境画面中显示提示信息后,根据输入设备方位的调整情况,VR主机实时检测输入设备光标是否移动至环境画面内,当VR主机检测到输入设备光标移动至环境画面内后,控制显示设备停止显示指示信息。
本实施例中,当输入设备光标不在显示范围内时,VR主机根据输入设备光标和环境画面在第一空间直角坐标系中的坐标,确定输入设备光标与环境画面的相对位置;进而,VR主机根据该相对位置,控制显示设备在环境画面的预定位置上显示由环境画面中心指向输入设备光标的有向箭头。用户可以根据该有向箭头有目的的改变输入设备位置,使输入设备光标显示在环境画面内。提高了将输入设备光标显示在环境画面内的效率。
本实施例中,在指示信息的显示时长达到阈值,或,检测到输入设备光标移动至环境画面时,VR主机自动停止显示指示信息,避免了指示信息长时间显示对用户沉浸式体验的影响。
通常情况下,环境画面内未显示输入设备光标,即用户无法看到输入设备光标时,用户会尝试性的晃动输入设备,因此,下述实施例中,以输入设备的晃动作为触发条件触发显示指示信息为例进行说明。
在一种可能的实现方式中,如图6所示,上述步骤304前还包括步骤309至步骤311。
在步骤309中,获取输入设备发送的传感器数据,传感器数据由输入设备内的运动传感器采集,运动传感器为角速度传感器和/或加速度传感器。
可选的,当输入设备中的运动传感器为角速度传感器时,输入设备向VR主机发送的传感器数据即为角速度数据,其中,角速度数据包括角速度方向和角速度大小;相应的,VR主机获取输入设备发送的角速度数据。
可选的,当输入设备中的运动传感器为加速度传感器时,输入设备向VR主机发送的传感器数据即为加速度数据,其中,加速度数据包括加速度方向和加速度大小;相应的,VR主机获取输入设备发送的加速度数据。
在步骤310中,根据传感器数据计算输入设备的振动频率。
其中,振动频率的计算公式为:振动频率=振动次数÷振动时长。
在一种可能的实施方式中,由于输入设备发生振动时,其角速度方向会发生变化,因此,当输入设备中的运动传感器为角速度传感器时,VR主机获取到角速度传感器发送的角速度方向和角速度大小后根据角速度方向变化的次数确定输入设备的振动次数,进一步的,VR主机根据振动次数和振动时长计算振动频率;
相似的,当输入设备中的运动传感器为加速度传感器时,VR主机根据加速度数据指示的加速度方向变化情况,确定出输入设备的振动频率,并进一步计算出输入设备的振动频率。
在步骤311中,判断振动频率是否超过频率阈值。
由于当用户寻找光标时,会下意识的晃动输入设备,因此VR主机中预先设置振动频率阈值,当VR主机通过计算得到输入设备的振动频率后,判断振动频率是否超过频率阈值,其中,频率阈值可以为4次/秒。
进一步的,当环境画面中不包含输入设备光标,且输入设备的振动频率大于频率阈值时,VR主机继续执行步骤304至305中确定输入设备光标与环境画面的相对位置的步骤。
本实施例中,当VR主机检测环境画面中不包含输入设备光标,且输入设备的运动状态符合用户寻找光标时的运动状态时,显示指示信息,显示指示信息的触发条件符合用户的使用习惯,提高了用户将输入设备光标移动至环境画面内的效率。
在输入设备的连续工作过程中,输入设备光标与输入设备实际位置会产生角度偏差。不同于因正常操作导致的输入设备光标在环境画面范围之外,当由于角度偏差导致输入设备光标在环境画面之外时,用户无法确定输入设备光标的具***置,因此显示设备需要对输入设备光标的位置进行提示,如图7所示,上述步骤304前还包括步骤312和313:
在步骤312中,获取输入设备的连续使用时长。
在输入设备连续长时间工作后,由于角度偏差的存在,导致显示设备当前显示的环境画面中不包含输入设备光标。
在确定显示设备当前显示的环境画面中不包含输入设备光标,VR主机进一步获取输入设备的连续使用时长。
在步骤313中,判断连续使用时长是否超过时长阈值。
在一种可能的实现方式中,VR主机中存储有时长阈值,当获取到输入设备的连续使用时长后,VR主机判断连续使用时长是否超过时长阈值。其中,时长阈值可以设置为5min。
进一步的,当环境画面中不包含输入设备光标,且输入设备的连续使用时长大于时长阈值时,VR主机继续执行步骤304至305中确定输入设备光标与环境画面的相对位置的步骤。
本实施例中,当VR主机获取到输入设备的连续使用时长超过时长阈值,且环境画面内不包含输入设备光标时,显示指示信息,解决了因输入设备光标与输入设备实际位置之间存在角度偏差,导致用户无法确定输入设备光标的具***置的问题。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
参考图8,其示出了本公开一个实施例提供的信息显示装置的结构图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或者一部分。该装置包括:检测模块810、确定模块820、显示模块830。
检测模块810,被配置为检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,显示设备当前显示的环境画面为VR主机生成的三维虚拟环境的一部分;
确定模块820,被配置为当环境画面中不包含输入设备光标时,确定输入设备光标与环境画面的相对位置;
显示模块830,被配置为根据相对位置,控制显示设备在环境画面中显示指示信息。
可选的,检测模块810,包括:
第一获取子模块,被配置为获取环境画面在三维虚拟环境中的坐标范围;
第二获取子模块,被配置为获取输入设备光标在三维虚拟环境中的第一坐标;
第一确定子模块,被配置为若第一坐标与坐标范围之间不存在交集,则确定环境画面中不包含输入设备光标。
可选的,确定模块820,包括:
第三获取子模块,被配置为获取输入设备光标在三维虚拟环境中的第一坐标;
第四获取子模块,被配置为获取环境画面的中点在三维虚拟环境中的第二坐标;
第二确定子模块,被配置为根据第一坐标和第二坐标,确定输入设备光标与环境画面的相对位置。
可选的,该装置,还包括:
第一获取模块,被配置为获取输入设备发送的传感器数据,传感器数据由输入设备内的运动传感器采集,运动传感器为角速度传感器和/或加速度传感器;
计算模块,被配置为根据传感器数据计算输入设备的振动频率;
确定模块,还被配置为当环境画面中不包含输入设备光标,且输入设备的振动频率大于频率阈值时,确定输入设备光标与环境画面的相对位置。
可选的,该装置,还包括:
第二获取模块,被配置为获取输入设备的连续使用时长;
确定模块还配置为当环境画面中不包含输入设备光标,且输入设备的连续使用时长大于时长阈值时,确定输入设备光标与环境画面的相对位置。
可选的,显示模块830,包括:
生成子模块,被配置为根据相对位置生成有向箭头,有向箭头的方向是由环境画面的中心指向输入设备光标;
控制子模块,被配置为控制显示设备在环境画面内的预定位置上显示有向箭头。
可选的,该装置,还包括:
控制模块,被配置为当指示信息的显示时长大于阈值,或,检测到输入设备光标移动至环境画面时,控制显示设备停止显示指示信息。
综上所述,本公开实施例中,当VR主机检测到输入设备光标在显示设备当前显示的环境画面之外时,通过确定输入设备光标与环境画面在三维虚拟环境中的相对位置,并根据该相对位置控制显示设备在环境画面中显示相应的指示信息,以便用户根据该指示信息快速将输入设备光标移动至环境画面中;相较于相关技术中用户只能盲目调整输入设备的位置,本公开实施例中,通过自动显示用于指示输入设备光标相对位置的指示信息,使得用户能够有目的地调整输入设备的方位,进而提高将输入设备光标移动至当前环境画面内的效率。
本实施例中,当输入设备光标不在显示范围内时,VR主机根据输入设备光标和环境画面在第一空间直角坐标系中的坐标,确定输入设备光标与环境画面的相对位置;进而,VR主机根据该相对位置,控制显示设备在环境画面的预定位置上显示由环境画面中心指向输入设备光标的有向箭头。用户可以根据该有向箭头有目的的改变输入设备位置,使输入设备光标显示在环境画面内。提高了将输入设备光标显示在环境画面内的效率。
本实施例中,在指示信息的显示时长达到阈值,或,检测到输入设备光标移动至环境画面时,VR主机自动停止显示指示信息,避免了指示信息长时间显示对用户沉浸式体验的影响。
本实施例中,当VR主机检测环境画面中不包含输入设备光标,且输入设备的运动状态符合用户寻找光标时的运动状态时,显示指示信息,显示指示信息的触发条件符合用户的使用习惯,提高了用户将输入设备光标移动至环境画面内的效率。
本实施例中,当VR主机获取到输入设备的连续使用时长超过时长阈值,且环境画面内不包含输入设备光标时,显示指示信息,解决了因输入设备光标与输入设备实际位置之间存在角度偏差,导致用户无法确定输入设备光标的具***置的问题。
图9是根据一示例性实施例示出的一种VR主机900的框图。参照图9,VR主机900可以包括以下一个或多个组件:处理组件902,存储器904,电源组件906以及通信组件916。
处理组件902通常控制VR主机900的整体操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。
存储器904被配置为存储各种类型的数据以支持在VR主机900的操作。这些数据的示例包括用于在VR主机900上操作的任何应用程序或方法的指令。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件906为VR主机900的各种组件提供电力。电源组件906可以包括电源管理***,一个或多个电源,及其他与为VR主机900生成、管理和分配电力相关联的组件。
通信组件916被配置为便于VR主机900和接入设备以及显示设备之间有线或无线方式的通信。VR主机900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由VR主机900的处理器920执行以完成上述信息显示方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种信息显示方法,其特征在于,应用于虚拟现实VR***的VR主机中,所述VR主机分别与输入设备和显示设备相连,所述方法包括:
检测所述显示设备当前显示的环境画面中是否包含所述输入设备对应的输入设备光标,所述显示设备当前显示的环境画面为所述VR主机生成的三维虚拟环境的一部分;
当所述环境画面中不包含所述输入设备光标时,确定所述输入设备光标与所述环境画面的相对位置;
根据所述相对位置,控制所述显示设备在所述环境画面中显示指示信息,所述指示信息用于指示所述输入设备光标与所述环境画面的相对方向。
2.根据权利要求1所述的方法,其特征在于,所述检测所述显示设备当前显示的环境画面中是否包含所述输入设备对应的输入设备光标,包括:
获取所述环境画面在所述三维虚拟环境中的坐标范围;
获取所述输入设备光标在所述三维虚拟环境中的第一坐标;
若所述第一坐标与所述坐标范围之间不存在交集,则确定所述环境画面中不包含所述输入设备光标。
3.根据权利要求1所述的方法,其特征在于,所述确定所述输入设备光标与所述环境画面的相对位置,包括:
获取所述输入设备光标在所述三维虚拟环境中的第一坐标;
获取所述环境画面的中点在所述三维虚拟环境中的第二坐标;
根据所述第一坐标和所述第二坐标,确定所述输入设备光标与所述环境画面的相对位置。
4.根据权利要求1至3任一所述的方法,其特征在于,所述确定所述输入设备光标与所述环境画面的相对位置之前,所述方法,还包括:
获取所述输入设备发送的传感器数据,所述传感器数据由所述输入设备内的运动传感器采集,所述运动传感器为角速度传感器和/或加速度传感器;
根据所述传感器数据计算所述输入设备的振动频率;
所述确定所述输入设备光标与所述环境画面的相对位置,包括:
当所述环境画面中不包含所述输入设备光标,且所述输入设备的振动频率大于频率阈值时,确定所述输入设备光标与所述环境画面的相对位置。
5.根据权利要求1至3任一所述的方法,其特征在于,所述确定所述输入设备光标与所述环境画面的相对位置之前,所述方法,还包括:
获取所述输入设备的连续使用时长;
所述确定所述输入设备光标与所述环境画面的相对位置,包括:
当所述环境画面中不包含所述输入设备光标,且所述输入设备的连续使用时长大于时长阈值时,确定所述输入设备光标与所述环境画面的相对位置。
6.根据权利要求1至3任一所述的方法,其特征在于,所述根据所述相对位置,控制所述显示设备在所述环境画面中显示指示信息,包括:
根据所述相对位置生成有向箭头,所述有向箭头的方向是由所述环境画面的中心指向所述输入设备光标;
控制所述显示设备在所述环境画面内的预定位置上显示所述有向箭头。
7.根据权利要求1至3任一所述的方法,其特征在于,所述方法,还包括:
当所述指示信息的显示时长大于阈值,或,检测到所述输入设备光标移动至所述环境画面时,控制所述显示设备停止显示所述指示信息。
8.一种信息显示装置,其特征在于,应用于虚拟现实VR***的VR主机中,所述VR主机分别与输入设备和显示设备相连,所述装置包括:
检测模块,被配置为检测所述显示设备当前显示的环境画面中是否包含所述输入设备对应的输入设备光标,所述显示设备当前显示的环境画面为所述VR主机生成的三维虚拟环境的一部分;
确定模块,被配置为当所述环境画面中不包含所述输入设备光标时,确定所述输入设备光标与所述环境画面的相对位置;
显示模块,被配置为根据所述相对位置,控制所述显示设备在所述环境画面中显示指示信息,所述指示信息用于指示所述输入设备光标与所述环境画面的相对方向。
9.根据权利要求8所述的装置,其特征在于,所述检测模块,包括:
第一获取子模块,被配置为获取所述环境画面在所述三维虚拟环境中的坐标范围;
第二获取子模块,被配置为获取所述输入设备光标在所述三维虚拟环境中的第一坐标;
第一确定子模块,被配置为若所述第一坐标与所述坐标范围之间不存在交集,则确定所述环境画面中不包含所述输入设备光标。
10.根据权利要求8所述的装置,其特征在于,所述确定模块,包括:
第三获取子模块,被配置为获取所述输入设备光标在所述三维虚拟环境中的第一坐标;
第四获取子模块,被配置为获取所述环境画面的中点在所述三维虚拟环境中的第二坐标;
第二确定子模块,被配置为根据所述第一坐标和所述第二坐标,确定所述输入设备光标与所述环境画面的相对位置。
11.根据权利要求8至10任一所述的装置,其特征在于,所述装置,还包括:
第一获取模块,被配置为获取所述输入设备发送的传感器数据,所述传感器数据由所述输入设备内的运动传感器采集,所述运动传感器为角速度传感器和/或加速度传感器;
计算模块,被配置为根据所述传感器数据计算所述输入设备的振动频率;
所述确定模块,还被配置为当所述环境画面中不包含所述输入设备光标,且所述输入设备的振动频率大于频率阈值时,确定所述输入设备光标与所述环境画面的相对位置。
12.根据权利要求8至10任一所述的装置,其特征在于,所述装置,还包括:
第二获取模块,被配置为获取所述输入设备的连续使用时长;
所述确定模块,还被配置为当所述环境画面中不包含所述输入设备光标,且所述输入设备的连续使用时长大于时长阈值时,确定所述输入设备光标与所述环境画面的相对位置。
13.根据权利要求8至10任一所述的装置,其特征在于,所述显示模块,包括:
生成子模块,被配置为根据所述相对位置生成有向箭头,所述有向箭头的方向是由所述环境画面的中心指向所述输入设备光标;
控制子模块,被配置为控制所述显示设备在所述环境画面内的预定位置上显示所述有向箭头。
14.根据权利要求8至10任一所述的装置,其特征在于,所述装置,还包括:
控制模块,被配置为当所述指示信息的显示时长大于阈值,或,检测到所述输入设备光标移动至所述环境画面时,控制所述显示设备停止显示所述指示信息。
15.一种信息显示装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测显示设备当前显示的环境画面中是否包含输入设备对应的输入设备光标,所述显示设备当前显示的环境画面为虚拟现实VR主机生成的三维虚拟环境的一部分;
当所述环境画面中不包含所述输入设备光标时,确定所述输入设备光标与所述环境画面的相对位置;
根据所述相对位置,控制所述显示设备在所述环境画面中显示指示信息,所述指示信息用于指示所述输入设备光标与所述环境画面的相对方向。
16.一种计算机可读介质,其特征在于,其上存储有程序指令,所述程序指令被处理器执行时实现如权利要求1至7任一所述的信息显示方法。
CN201711326613.4A 2017-12-13 2017-12-13 信息显示方法及装置 Active CN107957781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711326613.4A CN107957781B (zh) 2017-12-13 2017-12-13 信息显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711326613.4A CN107957781B (zh) 2017-12-13 2017-12-13 信息显示方法及装置

Publications (2)

Publication Number Publication Date
CN107957781A CN107957781A (zh) 2018-04-24
CN107957781B true CN107957781B (zh) 2021-02-09

Family

ID=61957808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711326613.4A Active CN107957781B (zh) 2017-12-13 2017-12-13 信息显示方法及装置

Country Status (1)

Country Link
CN (1) CN107957781B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108619721B (zh) 2018-04-27 2020-08-11 腾讯科技(深圳)有限公司 虚拟场景中的距离信息显示方法、装置及计算机设备
CN114138120B (zh) * 2021-12-09 2023-02-14 北京冰镇山竹科技有限公司 一种运用于虚拟现实中的虚拟视角追踪方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066648A1 (en) * 2007-09-07 2009-03-12 Apple Inc. Gui applications for use with 3d remote controller
EP2219101A1 (en) * 2007-12-07 2010-08-18 Sony Corporation Control device, input device, control system, control method, and hand-held device
US8806381B2 (en) * 2009-11-18 2014-08-12 International Business Machines Corporation Method and system to improve GUI use efficiency
US9665250B2 (en) * 2011-02-07 2017-05-30 Blackberry Limited Portable electronic device and method of controlling same
KR20150025114A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US9389706B2 (en) * 2014-11-19 2016-07-12 Screenovate Technologies Ltd. Method and system for mouse control over multiple screens
US20160239110A1 (en) * 2015-02-13 2016-08-18 I/O Interconnect Inc. Method for automatically transferring control right of mouse between personal computer and handheld computer
CN105159522B (zh) * 2015-07-22 2018-03-13 深圳多新哆技术有限责任公司 一种虚拟现实显示设备响应外设设备操作的方法
CN107085489A (zh) * 2017-03-21 2017-08-22 联想(北京)有限公司 一种控制方法及电子设备

Also Published As

Publication number Publication date
CN107957781A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
EP2996017B1 (en) Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US10540022B2 (en) Interactive input controls in a simulated three-dimensional (3D) environment
US20180253152A1 (en) Gesture-controlled augmented reality experience using a mobile communications device
CN108038726B (zh) 物品展示方法及装置
KR20220008281A (ko) 머리 장착 디스플레이들에 대한 동적 장애물 충돌 경고들을 생성하기 위한 시스템들 및 방법들
US10444932B2 (en) Virtual space positioning method and apparatus
RU2751130C1 (ru) Способ координационного совмещения систем координат, используемых устройством генерируемой компьютером реальности и устройством для передачи тактильных ощущений
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
US10296096B2 (en) Operation recognition device and operation recognition method
US10228762B2 (en) Analysis of user interface interactions within a virtual reality environment
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
KR20150040580A (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN107957781B (zh) 信息显示方法及装置
US8591331B1 (en) Display control system, display control method, display control device, and computer-readable storage medium
US10073609B2 (en) Information-processing device, storage medium, information-processing method and information-processing system for controlling movement of a display area
US20240054975A1 (en) Head mounted display and setting method
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
CN113243000A (zh) 用于增强现实对象的捕捉范围
CN113010057B (zh) 位姿控制方法及电子设备、计算机可读存储介质
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
US11604517B2 (en) Information processing device, information processing method for a gesture control user interface
KR20230124363A (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant