CN110456907A - 虚拟画面的控制方法、装置、终端设备及存储介质 - Google Patents
虚拟画面的控制方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110456907A CN110456907A CN201910673070.6A CN201910673070A CN110456907A CN 110456907 A CN110456907 A CN 110456907A CN 201910673070 A CN201910673070 A CN 201910673070A CN 110456907 A CN110456907 A CN 110456907A
- Authority
- CN
- China
- Prior art keywords
- virtual content
- destination virtual
- display
- terminal device
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 104
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000002452 interceptive effect Effects 0.000 claims description 44
- 238000006073 displacement reaction Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 24
- 238000011084 recovery Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 23
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 230000003321 amplification Effects 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 239000011800 void material Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种虚拟画面的控制方法、装置、终端设备及存储介质,涉及显示技术领域。该虚拟画面的控制方法应用于终端设备,方法包括:对虚拟画面进行显示;当获取到变换指令时,响应所述变换指令,获取所述虚拟画面中被选中的目标虚拟内容,并获取所述目标虚拟内容的变换参数;根据所述变换参数,调整所述目标虚拟内容的显示位置;根据调整后的显示位置显示所述目标虚拟内容,显示的目标虚拟内容完整处于所述终端设备可被观察的视野区域内。本方法可根据变换参数调整被选中的目标虚拟内容的显示位置,且显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,提高虚拟画面中的虚拟内容的显示效果。
Description
技术领域
本申请涉及显示技术领域,更具体地,涉及一种虚拟画面的控制方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。用户通过AR/VR显示的虚拟画面,可沉浸在虚拟世界中,并与虚拟世界进行交互。
发明内容
本申请实施例提出了一种虚拟画面的控制方法、装置、终端设备及存储介质,能够提升虚拟画面中被选中的虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
第一方面,本申请实施例提供了一种虚拟画面的控制方法,应用于终端设备,方法包括:对虚拟画面进行显示;当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数;根据变换参数,调整目标虚拟内容的显示位置;根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。
第二方面,本申请实施例提供了一种虚拟画面的控制装置,应用于终端设备,装置包括:显示控制模块、参数获取模块、变换执行模块以及显示调整模块,其中,显示控制模块用于对虚拟画面进行显示;参数获取模块用于当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数;变换执行模块用于根据变换参数,调整目标虚拟内容的显示位置;显示控制模块用于根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。
第三方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述第一方面提供的虚拟画面的控制方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的虚拟画面的控制方法。
本申请实施例提供的方案,在对虚拟画面进行显示后,当获取到变换指令时,通过响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,以根据变换参数,调整目标虚拟内容的显示位置,然后根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,从而基于获取到的变换指令,调整虚拟画面中被选中的目标虚拟内容的显示位置,且保证显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,提升了虚拟画面中被选中的虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图。
图2示出了根据本申请一个实施例的虚拟画面的控制方法流程图。
图3示出了根据本申请实施例的一种显示效果示意图。
图4示出了根据本申请实施例的另一种显示效果示意图。
图5示出了根据本申请另一个实施例的虚拟画面的控制方法流程图。
图6示出了根据本申请实施例的一种显示效果示意图。
图7示出了根据本申请实施例的另一种显示效果示意图。
图8示出了根据本申请实施例的虚拟画面的控制方法中步骤S230的流程图。
图9示出了根据本申请实施例的又一种显示效果示意图。
图10示出了根据本申请一个实施例的虚拟画面的控制装置的框图。
图11是本申请实施例的用于执行根据本申请实施例的虚拟画面的控制方法的终端设备的框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟画面的控制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在传统技术中,用户使用PC(personal computer,个人计算机)的过程中,有的时候会遇到需要迅速查看一个区域的详细信息的情况,用户会凑前去查看详细信息。然而在AR领域中,当AR设备仅能实现三自由度追踪时,AR设备只能识别用户头部的旋转信息,无法使用自然的头部运动来靠近虚拟画面进行查看。
发明人经过研究,提出了本申请实施例中的虚拟画面的控制方法、装置、终端设备及存储介质,使用户能够详细查看虚拟画面中的虚拟内容。
下面对本申请实施例提供的虚拟画面的控制方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的一种显示***,包括终端设备100以及交互设备200,其中,终端设备100与交互设备200通信连接。
在本申请实施例中,终端设备100可以是头戴显示装置,头戴显示装置可以为一体式头戴显示装置,也可以为与外置电子设备连接的头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端,即终端设备100可作为头戴显示装置的处理和存储设备,***或者接入外接式头戴显示装置,通过头戴显示装置对虚拟画面300进行显示。
在本申请实施例中,交互设备200上设有至少一个交互区域,用户可以通过交互区域进行相关控制和交互。其中,交互区域可以包括按键、滚轮和触摸屏中的至少一种。交互设备200的具体形态结构及尺寸大小不受限制,可以是各种形状的,例如正方形、圆形,也可以是各种形态的。作为一种实施方式,交互设备200可以是鼠标、键盘、触控板等输入设备,也可以是同时包含有按键和触控板的电子设备。
在一些实施例中,交互设备200可以通过交互区域检测到的控制操作,生成与该控制操作对应的控制指令,进行相关控制。交互设备200还可以将该控制指令发送给终端设备100,或者是交互设备200根据交互区域检测到的操作生成操作数据,并将操作数据发送至终端设备100。当终端设备100接收到交互设备200发送的控制指令时,可根据控制指令调整虚拟内容的显示状态(例如控制虚拟内容放大、位移等)。
在一些实施例中,终端设备100与交互设备200可以通过蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等无线通信方式连接,也可以通过数据线等进行有线通信连接,当然,终端设备100与交互设备200的连接方式在本申请实施例中并不限定。
在一些实施例中,交互设备200也可以设置有标记物,设置于交互设备200上的标记物的数量并不限定,标记物的数量可以为一个或者多个。在使用终端设备100与交互设备200时,可使标记物位于终端设备100上的图像传感器的视觉范围内,以采集到包含标记物的图像,进而通过识别采集到的包含标记物201的图像对标记物进行识别追踪,得到标记物相对终端设备100的位置、姿态等空间位置信息,以及标记物的身份信息等识别结果,进而得到交互设备200相对终端设备100的位置、姿态等空间位置信息,实现对交互设备200的定位追踪。终端设备100可根据与交互设备200之间的相对位置及姿态信息,显示相应的虚拟内容。下面对具体的虚拟画面的控制方法进行介绍。
请参阅图3,本申请实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法可以包括:
步骤S110:对虚拟画面进行显示。
在本申请实施例中,终端设备在对虚拟画面进行显示时,需要获取待显示的虚拟画面的内容数据,以根据该内容数据构建虚拟画面,并根据终端设备的位置及姿态信息进行虚拟画面的渲染生成。该内容数据可以包括待显示的虚拟画面的模型数据,模型数据为用于渲染虚拟画面的数据。例如,模型数据可以包括用于建立虚拟画面对应的颜色数据、顶点坐标数据、轮廓数据等。其中,待显示的虚拟画面的模型数据可以存储于终端设备中,也可以从服务器或其他电子设备获取。
终端设备构建并渲染出虚拟画面后,可以将渲染后的虚拟画面转化为显示画面,并获取相应的显示数据,该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等,终端设备可根据该显示数据生成显示画面,并将显示画面通过显示屏或投射模组投射到显示镜片上,从而显示出虚拟画面。用户通过头戴显示装置的显示镜片,可以看到三维立体的虚拟画面叠加显示于真实世界中,实现增强现实的效果。
步骤S120:当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数。
在本申请实施例中,在对虚拟画面进行显示后,当需要详细查看虚拟画面中某个区域的目标虚拟内容时,终端设备可以获取到变换指令,并响应该变换指令,以获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,根据变换参数调整目标虚拟内容的显示状态,使目标虚拟内容的显示状态与变化参数符合。
在一些实施例中,上述终端设备获取到变换指令,可以是与终端设备通信连接的交互设备检测到用户的操控操作时,交互设备根据该操控操作生成变换指令,并将该变换指令发送至终端设备,从而终端设备获取到变换指令。其中,交互设备可以是手持控制器、键盘、鼠标、触控板等。作为一种具体实施方式中,用户的操控操作可以包括作用于交互设备上的某个按键或组合键的按压操作,或是触控屏的单指滑动、点击、按压、多指配合滑动等手势操控,在此不作限定,例如,还可以是键盘、鼠标和触控屏中的多种组合操作。
例如,在一种具体的场景下,当检测到用户同时按压键盘上的Windows键和某一按键时,终端设备可以获取到变换指令;在另一种具体的场景下,也可以在键盘上加一个新的按键(如quick peek按键),当检测到用户按压该新的按键时,终端设备可以获取到变换指令;在再一种具体的场景下,还可以在鼠标的侧面增加按键或滚轮,当检测到用户按压该按键或滑动该滚轮时,终端设备可以获取到变换指令;在又一种具体的场景下,当检测到用户在触摸屏上指定手势滑动(如上下滑动)或重按时,终端设备可以获取到变换指令。
在另一些实施例中,用户也可以不借助于交互设备,而是通过手势、声音操控虚拟内容。因此,上述终端设备获取到变换指令,也可以是终端设备在获取到用户的语音数据或者获取到包含用户手势的图像时,根据该语音数据或图像,获取对应的变换指令。其中,用户的手势可以是手臂或手指的上移、下移、左移、右移等,也可以是手指做出的“1、2、3、握拳、OK、五指张开”等固定手势,在此不作限定。用户的语音数据可以是用户发出的“查看、预览、放大、前移”等语音口令,在此不作限定。
在一些实施例中,终端设备获取到变换指令时,可以获取到虚拟画面中被选中的目标虚拟内容。作为一种方式,虚拟画面中被选中的目标虚拟内容可以是虚拟画面中光标停留处的虚拟内容,也可以是以光标为中心的指定范围内的虚拟内容区域,例如,请参见图3,虚拟画面300中,被选中的目标虚拟内容302为以光标301为中心的指定范围内的虚拟内容区域的虚拟内容。作为另一种方式,当虚拟内容通过终端设备以AR的方式叠加显示于触控板时,虚拟画面中被选中的目标虚拟内容也可以是触控板检测到的用户点击区域或按压区域所对应的虚拟内容,在此不作限定。
在一些实施例中,终端设备获取到变换指令时,也可以获取到目标虚拟内容的变换参数,该变换参数可以是默认参数,可存储于终端设备,也可以由用户进行设定,例如,用户可通过在交互设备的交互区域上的具体操控操作设定或改变该变换参数,在此不作限定。在一些实施方式中,变换参数可包括变换类型、变换方向及变换幅度中的至少一种。其中,变换类型可以包括位移变换、尺寸变换等,变换方向指可以包括中心变换、指定方向变换等,变换幅度可以包括位移变化值、尺寸变化值、位移变化范围、尺寸变化范围等,在此不作限定。
在一些实施例中,变换参数可以是在终端设备获取到变换指令时,获取的固定值,以节省用户改变变换参数的操作时间。在另一些实施例中,变换参数也可以是在终端设备获取到变换指令时,实时获取的变动值,以实现用户控制变换范围,提高操作体验。例如,用户可通过使用键盘上的上下按键或者使用鼠标的滚轮,改变变换参数(如改变尺寸放大的等级),用户也可在触摸屏上重按触发变换指令后,继续在触摸屏上进行滑动操作以改变变换参数。
步骤S130:根据变换参数,调整目标虚拟内容的显示位置。
在本申请实施例中,终端设备可根据获取到的变换参数,调整虚拟画面中被选中的目标虚拟内容的显示位置,以使用户在佩戴头戴显示装置查看虚拟画面时,能够详细查看到调整显示位置后的目标虚拟内容。在一些实施方式中,调整目标虚拟内容的显示位置,可以是调整目标虚拟内容在虚拟空间中的显示位置,也可以是调整目标虚拟内容在现实空间中相对头戴显示装置的显示位置,在此不作限定。
在一些实施例中,变换参数可以是与目标虚拟内容的尺寸变化有关,因此,上述调整目标虚拟内容的显示位置,可以是在根据变化参数,调整目标虚拟内容的显示尺寸后,根据调整后的目标虚拟内容的显示尺寸,重新确定目标虚拟内容的显示位置。当然,变化参数也可以仅与目标虚拟内容的位移变化有关,不涉及显示尺寸的变化,从而可以直接根据变换参数,调整目标虚拟内容的显示位置。作为一种方式,可以根据变换参数,在虚拟空间中改变构建目标虚拟内容的顶点坐标数据,从而改变目标虚拟内容在虚拟空间中的显示位置。
步骤S140:根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。
在本申请实施例中,终端设备可根据上述调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。在一些实施方式中,终端设备可被观察的视野区域可以理解为用户通过佩戴的头戴显示装置的镜片能够看到用于显示虚拟内容的区域范围。这样,通过确保调整后显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,避免了过度改变目标虚拟内容的显示位置导致超出终端设备可被观察的视野范围,使得用户通过佩戴的头戴显示装置无法完整查看目标虚拟内容的情况,保证了虚拟内容的显示效果。
在一些实施例中,头戴显示装置显示出虚拟画面时,用户可通过操控与头戴显示装置通信连接的手持控制器,控制虚拟画面中的目标虚拟内容的显示位置,同时头戴显示装置也可确保调整后显示的目标虚拟内容完整处于头戴显示装置可被观察的视野区域内,保证了虚拟内容的显示效果的同时,提高了操控虚拟内容的便捷性。
在一些实施例中,终端设备根据变换参数,调整目标虚拟内容的显示位置后,可根据目标虚拟内容调整后的显示位置,重新进行目标虚拟内容的渲染生成,并显示出目标虚拟内容。从而用户通过头戴显示装置的显示镜片,可以看到调整显示位置后的目标虚拟内容叠加显示于真实世界中。
例如,变换参数与目标虚拟内容的尺寸变化有关时,请参见图3及图4,虚拟画面300中,被选中的目标虚拟内容302以光标301为中心放大,放大后的目标虚拟内容302完整处于终端设备可被观察的视野区域内400。
在一些实施例中,终端设备可以通过实时检测目标虚拟内容调整后的显示位置是否超出终端设备可被观察的视野区域内,以在检测到超出终端设备可被观察的视野区域,进行预设操作,保证将显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。其中,预设操作可以是停止根据变换参数进行目标虚拟内容的显示位置调整的操作,也可以是将目标虚拟内容的显示位置调整回终端设备可被观察的视野区域内,在此不作限定。
本申请实施例提供的虚拟画面的控制方法,在对虚拟画面进行显示后,当获取到变换指令时,通过响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,以根据变换参数,调整目标虚拟内容的显示位置,然后根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,从而基于获取到的变换指令,调整虚拟画面中被选中的目标虚拟内容的显示位置,且保证显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,提升了虚拟画面中被选中的虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
请参阅图5,本申请另一实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法可以包括:
步骤S210:对虚拟画面进行显示。
步骤S220:当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数。
在本申请实施中,步骤S210及步骤S220的具体描述可参阅前述实施例,在此不再赘述。
在一些实施例中,当终端设备获取的变换参数包括目标虚拟内容的位移参数时,上述当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,包括:
当根据交互设备发送的第一操作数据,确定获取到变换指令时,响应变换指令,获取虚拟画面中与第一操作数据对应的目标虚拟内容,并确定预设调整范围内与第一操作数据对应的位移参数,其中,第一操作数据为交互设备根据交互区域检测到的用户操作生成,预设调整范围为预先存储的位移参数的变化范围或基于虚拟画面与终端设备之间的距离确定。
在一些实施方式中,交互设备的交互区域在检测到用户在交互区域做出的操控操作时,例如键盘上的按键按压、鼠标上的滚轮滑动、触摸屏上的触控操作(如单指点击、多指滑动等),交互设备可以根据交互区域检测到的操控操作,生成第一操作数据。其中,第一操作数据可以包括交互区域检测到的操控操作的操作参数。在一些实施方式中,上述第一操作数据可以包括触控操作对应的触控位置、触控操作的类型、触控操作的手指数量、手指按压压力以及触控操作的持续时间等参数,也可以包括滚轮滑动操作对应的滑动圈数、滑动方向、按键按压次数或按键按压时间等参数。当然,具体的第一操作数据可以在本申请实施例中不作为限定,第一操作数据也可以包括其他参数,例如,手指在触摸屏上的滑动轨迹、点击操作的点击频率等。
交互设备在根据交互区域检测到的操控操作生成第一操作数据后,可以将第一操作数据发送至终端设备。相应的,终端设备可以接收到交互设备发送的上述第一操作数据,以便终端设备根据上述第一操作数据,确定虚拟画面中与第一操作数据对应的目标虚拟内容,并确定预设调整范围内与第一操作数据对应的位移参数,并进行相关显示位置调整。
在一些实施方式中,获取虚拟画面中与第一操作数据对应的目标虚拟内容,可以是终端设备获取虚拟画面中与第一操作数据对应的光标位置,从而根据虚拟画面中光标位置,确定虚拟画面中被选中的目标虚拟内容。在另一些实施方式中,交互设备为触控板时,虚拟画面通过终端设备可以AR的方式叠加显示于触控板的触控区域中,终端设备也可以根据第一操作数据确定交互区域上被触控的区域所在位置,获取被触控的区域对应显示的虚拟内容,该虚拟内容即为虚拟画面中与第一操作数据对应的目标虚拟内容。
在一些实施例中,终端设备在根据交互设备发送的第一操作数据,确定获取到变换指令时,可以根据第一操作数据,确立预设调整范围内对应的目标虚拟内容的位移参数。其中,位移参数为移动目标虚拟内容在虚拟空间中的位置变化值,预设调整范围为位移参数的数值调整范围,在预设调整范围内的位移参数的值可根据用户的操控操作进行改变,即位移参数在预设调整范围内与第一操作数据对应。可以理解的是,当位移参数超出了预设调整范围,用户的操控操作无法再继续增大位移参数的值。
在一些实施方式中,预设调整范围可以预先存储于终端设备,也可以基于虚拟画面与终端设备之间的距离确定。作为一种实施方式,终端设备可根据人眼的最佳观看距离,获取虚拟内容的虚像距离人眼的最佳观看距离,将该最佳观看距离转化为虚拟空间中的距离值,并获取虚拟空间中当前显示的虚拟画面与终端设备之间的距离,和该距离值的差值,该差值即为虚拟画面中的目标虚拟内容的最大位移变化值,也即预设调整范围的边界值。
在一些实施方式中,终端设备根据第一操作数据,确立预设调整范围内对应的目标虚拟内容的位移参数,可以是根据键盘上的上下按键的按压次数或者鼠标的滚轮的滑动方向和滑动距离,确定对应的位移参数。例如,用户向前滑动鼠标滚轮,增大目标虚拟内容的移动距离,用户向后滑动鼠标滚轮,减小目标虚拟内容的移动距离。
步骤S230:根据变换参数,调整目标虚拟内容的显示位置。
在一些实施例中,上述调整目标虚拟内容的显示位置,可指的是调整目标虚拟内容在虚拟空间中的渲染坐标,可以包括增大目标虚拟内容的显示尺寸、沿靠近终端设备的方向移动目标虚拟内容的显示位置中的至少一种。
增大目标虚拟内容的显示尺寸可以理解为终端设备对目标虚拟内容进行放大,终端设备通过增大被选中的目标虚拟内容的显示尺寸和/或沿靠近终端设备的方向移动目标虚拟内容在虚拟空间的显示位置,可以避免目标虚拟内容在虚拟画面中由于字体过小、内容过多过密集导致用户无法看清的情况,提高虚拟内容的显示效果,增强了用户与虚拟画面的交互性。沿靠近终端设备的方向移动目标虚拟内容的显示位置,可以为通过减少虚拟空间中目标虚拟空间的渲染坐标与虚拟摄像头之间的距离,以将目标虚拟内容的虚像向靠近人眼的方向移动,其中,虚拟摄像头可用于模拟人眼在虚拟空间中的位置,使用户能够详细查看到目标虚拟内容,避免目标虚拟内容在虚拟画面中由于字体过小、内容过多过密集导致用户无法看清的情况。当然,也可以在放大目标虚拟内容的同时,移动目标虚拟内容的显示位置,提高目标虚拟内容的显示效果。
在一些实施例中,当终端设备根据交互设备发送的第一操作数据,确立预设调整范围内对应的目标虚拟内容的位移参数时,终端设备可以根据位移参数,沿靠近终端设备的方向移动目标虚拟内容的显示位置,从而达到用户通过交互设备控制目标虚拟内容向人眼靠近的效果,增强了用户与虚拟内容的交互性。
进一步地,在一些实施例中,当调整后的目标虚拟内容的显示位置超出虚拟画面的边缘区域时,可对显示位置再次进行调整,使调整后的目标虚拟内容的显示位置处于虚拟画面对应的显示区域内,避免调整后的目标虚拟内容超出虚拟画面的边界,提高虚拟内容的显示效果。例如,请参见图4、图5及图6,虚拟画面300中,将放大后的目标虚拟内容302更新至虚拟画面对应的显示区域内,放大后的目标虚拟内容302的左下角边界与虚拟画面的左下角边界重合。
在一些实施方式中,终端设备将调整后的目标虚拟内容的显示位置更新至虚拟画面对应的显示区域内,可以使将调整后的目标虚拟内容居中,即调整至虚拟画面的中心。例如,请参见图4及图7,虚拟画面300中,放大后的目标虚拟内容302处于虚拟画面的中心。
在另一些实施例中,终端设备可以是在根据变换参数,调整目标虚拟内容的显示位置的同时,实时检测目标虚拟内容的显示位置是否超出终端设备可被观察的视野区域或者虚拟画面的边缘区域,并进行实时调整,以保证调整后的目标虚拟内容的显示位置一直处于终端设备可被观察的视野区域或者虚拟画面对应的显示区域。
在一些应用场景中,虚拟画面通过终端设备以AR的方式叠加显示于触控板上时,当用户利用控制器或者触控板对虚拟画面中的目标虚拟内容进行放大时,通常是以触控点为中心进行放大,放大之后,用户关注的区域可能不在触控板的区域内,或是不在虚拟画面的显示区域内了,用户还需要移动放大后的目标虚拟内容,操作繁琐。例如,交互设备为触控板,用户通过触控板对虚拟汽车进行放大时,以触控点为中心放大虚拟汽车,当用户的关注区域为虚拟汽车的后车轮时,需要对放大后的虚拟汽车进行移动,将后车轮移到对应触控板的位置,操作繁琐。
因此,在一些实施例中,当上述变换参数包括放大参数时,请参阅图8,上述根据变换参数,调整目标虚拟内容的显示位置,可以包括:
步骤S231:获取目标虚拟内容中的兴趣区域。
终端设备在获取到虚拟画面中被选中的目标虚拟内容后,可以获取目标虚拟内容中的兴趣区域,以确定目标虚拟内容中用户感兴趣或关注的内容。其中,兴趣区域为用户感兴趣或者需要关注的区域。
作为一种实施方式,兴趣区域可以是预先设定的区域,可以预存于终端设备,因此,终端设备获取目标虚拟内容中的兴趣区域可以是读取预先存储的目标虚拟内容中的兴趣区域。例如,包含人物的目标虚拟内容,兴趣区域可以是人物的人脸。不同类型的目标虚拟内容可以设定不同的感兴趣区域,例如虚拟风景图像中的建筑物可设为兴趣区域。
作为另一种实施方式,兴趣区域也可以根据用户的操控操作进行确定。具体地,终端设备可以根据接收的选取操作获取目标虚拟内容中被选中的兴趣区域。其中,接收的选取操作可以是鼠标、键盘、触控板上检测到的,也可以是头戴显示装置上的按钮检测到的,在此不作限定。例如,用户通过鼠标确定目标虚拟内容为虚拟人物时,可再此通过鼠标移动虚拟画面上的光标至虚拟人物的服装处,从而终端设备可根据光标位置确定出用户的兴趣区域。
作为再一种实施方式,兴趣区域还可以根据用户的注视方向进行确定。具体地,终端设备可以采集用户的眼球信息,根据眼球信息确定出用户的注视方向,并获取目标虚拟内容中与注视方向对应的兴趣区域。其中,目标虚拟内容中与注视方向对应的兴趣区域可以是注视方向与目标虚拟内容相交的区域。从而通过用户的视线直接确定用户关注的区域,提高了终端设备的智能性。
步骤S232:根据放大参数,以目标点或者兴趣区域为中心,增大目标虚拟内容的显示尺寸。
其中,放大参数为终端设备对目标虚拟内容进行放大操作时,目标虚拟内容的放大程度。该放大参数可以是默认参数,也可由用户进行设定。在一些实施方式中,可通过设定放大区间(放大参数的变化范围),避免目标虚拟内容的过度放大。
在一些实施例中,当终端设备获取到目标虚拟内容中的兴趣区域时,终端设备可以根据放大参数,以目标点为中心,增大目标虚拟内容的显示尺寸,即以目标点为定点,增加目标虚拟内容的显示尺寸,从而目标虚拟内容的显示尺寸增大过程中,目标点的显示位置不变。其中,目标点可以是用户在触控板上的触控点、虚拟画面中的光标位置、用户的注视点,也可以是虚拟画面的画面中心点,还可以是终端设备的视野中心点,在此不做限定。
在另一些实施例中,终端设备也可以直接以兴趣区域为中心,增大目标虚拟内容的显示尺寸,即以兴趣区域为固定区域,增加目标虚拟内容的显示尺寸,从而目标虚拟内容的显示尺寸增大过程中,兴趣区域的显示位置不变,使兴趣区域可以处于虚拟画面的显示区域或者处于触控板区域内。
步骤S233:检测增大显示尺寸后的目标虚拟内容中兴趣区域是否超出目标区域的范围。
在本申请实施例中,终端设备增大目标虚拟内容的显示尺寸时,可以实时获取增大显示尺寸的目标虚拟内容的显示位置,以确定增大显示尺寸的目标虚拟内容中兴趣区域的显示位置,从而终端设备可以检测到增大显示尺寸的目标虚拟内容中兴趣区域是否超出目标区域的范围,以确定增大显示尺寸后的目标虚拟内容中兴趣区域是否适合用户查看。其中,目标区域可以是虚拟画面的中心区域,也可以是终端设备的视野中心区域,也可以是触控区域,在此不作限定。
步骤S234:当超出目标区域的范围时,移动增大显示尺寸后的目标虚拟内容的显示位置,移动后的目标虚拟内容中兴趣区域的显示位置处于目标区域内。
在本申请实施例中,终端设备判断增大显示尺寸后的目标虚拟内容中兴趣区域超出目标区域的范围时,可以移动增大显示尺寸后的目标虚拟内容的显示位置,使移动后的目标虚拟内容中兴趣区域的显示位置处于目标区域内。从而使用户通过佩戴的头戴显示装置可以查看到放大后的目标虚拟内容中的感兴趣或关注的区域,提高了虚拟内容的显示效果。
当终端设备判断增大显示尺寸后的目标虚拟内容中兴趣区域未超出目标区域的范围时,终端设备可以不对增大显示尺寸后的目标虚拟内容进行显示位置移动处理。
步骤S240:根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。
在本申请实施例中,步骤S240具体描述可参阅前述实施例,在此不再赘述。
在一些实施例中,终端设备也可以对整个虚拟画面的显示位置进行调整,从而用户通过佩戴的头戴显示装置查看调整后的虚拟画面中的目标虚拟内容。具体地,该虚拟画面的控制方法还可以包括:
当获取到对虚拟画面的全局缩放指令时,获取虚拟画面的全局缩放参数以及缩放方向;根据全局缩放参数以及缩放方向,调整虚拟画面的显示尺寸和/或显示位置。
在一些实施方式中,终端设备获取到对虚拟画面的全局缩放指令,也可以是在交互设备的交互区域检测到用户的操控操作时,交互设备根据该操控操作生成全局缩放指令,并将该全局缩放指令发送至终端设备,从而终端设备获取到全局缩放指令。具体描述可参阅前述实施例获取变换指令的步骤,在此不再赘述。
当获取到对虚拟画面的全局缩放指令时,终端设备可以获取到虚拟画面的全局缩放参数以及缩放方向。其中,全局缩放参数可包括缩放值、缩放中心、缩放值变化范围等,缩放方向可以中心缩放、指定方向缩放等,在此不作限定。在一些实施方式中,全局缩放参数以及缩放方向可以默认值,也可以由用户设定。具体描述可参阅前述实施例获取变换参数的步骤,在此不再赘述。
终端设备根据获取到的全局缩放参数以及缩放方向,调整虚拟画面的显示尺寸和/或显示位置,对虚拟画面进行缩放,从而可根据调整后的虚拟画面的显示位置显示虚拟画面,从而使用户在佩戴头戴显示装置查看调整后的虚拟画面时,能够详细查看到虚拟画面中的目标虚拟内容。例如,请参阅图9,以左上角为缩放方向,放大虚拟画面300。具体描述可参阅前述实施例调整目标虚拟内容的显示位置的步骤,在此不再赘述。
进一步地,在一些实施方式中,终端设备对整个虚拟画面进行放大时,还可以实时调整虚拟画面的显示位置,以保证调整后的虚拟画面中的目标虚拟内容完整显示于终端设备可被观察的视野区域内,避免了过度放大虚拟画面而导致虚拟画面中的目标虚拟内容超出终端设备的视野范围,使得用户通过佩戴的头戴显示装置无法完整查看目标虚拟内容的情况,保证了虚拟内容的显示效果。
进一步地,终端设备可以实现快速查看目标虚拟内容的效果,然后可以迅速回到原来的默认状态。具体地,该虚拟画面的控制方法还可以包括:
当检测到撤销指令时,将目标虚拟内容恢复成调整前的显示状态并进行显示,其中,撤销指令为显示调整后的目标虚拟内容预设时长时自动生成或者根据交互设备发送的第二操作数据生成。
其中,调整前的显示状态为目标虚拟内容未经过上述放大、移动等调整处理时的在虚拟画面中的显示状态。
在一些实施方式中,撤销指令可以是根据交互设备发送的第二操作数据生成。其中,第二操作数据的生成的具体描述可参阅前述实施例第一操作数据的生成的描述,在此不再赘述。从而用户可通过交互设备迅速详细查看目标虚拟内容,也可以通过交互设备迅速回到原来的默认状态,提高虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
在另一些实施方式中,撤销指令也可以是显示调整后的目标虚拟内容预设时长时自动生成。其中,预设时长为调整后的目标虚拟内容的最大显示时间,即用户详细查看调整后的目标虚拟内容具有时间限制,当用户详细查看目标虚拟内容超过预设时长时,调整后的目标虚拟内容可以自动恢复成调整前的显示状态。作为一种实施方式,终端设备可以在显示调整后的目标虚拟内容时,可以启动计时器,以在计时器计到预设时长时生成撤销指令,以将目标虚拟内容恢复成调整前的显示状态并进行显示。
本申请实施例提供的虚拟画面的控制方法,在对虚拟画面进行显示后,当获取到变换指令时,通过响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,然后获取目标虚拟内容中的兴趣区域,以根据变换参数,调整目标虚拟内容的显示位置,然后根据调整后的显示位置显示目标虚拟内容,调整后的目标虚拟内容中兴趣区域的显示位置处于目标区域,从而基于获取到的变换指令,调整虚拟画面中被选中的目标虚拟内容的显示位置,且保证显示的目标虚拟内容的兴趣区域完整处于目标区域内,提升了虚拟画面中被选中的虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
请参阅图10,其示出了本申请实施例提供的一种虚拟画面的控制装置500的结构框图,该装置可以包括:显示控制模块510、参数获取模块520、变换执行模块530以及显示调整模块540,其中,显示控制模块510用于对虚拟画面进行显示;参数获取模块520用于当获取到变换指令时,响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数;变换执行模块530用于根据变换参数,调整目标虚拟内容的显示位置;显示控制模块540用于根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内。
在一些实施例中,变换执行模块530调整目标虚拟内容的显示位置,可以包括:增大目标虚拟内容的显示尺寸、沿靠近终端设备的方向移动目标虚拟内容的显示位置中的至少一种。该虚拟画面的控制装置500还可以包括:位置更新模块。该位置更新模块用于当调整后的目标虚拟内容的显示位置超出虚拟画面的边缘区域时,将调整后的目标虚拟内容的显示位置更新至虚拟画面对应的显示区域内。
在一些实施例中,上述变换参数包括放大参数,变换执行模块530可以包括:区域获取单元、放大单元、检测单元以及移动单元。其中,区域获取单元用于获取目标虚拟内容中的兴趣区域;放大单元用于根据放大参数,以目标点或者兴趣区域为中心,增大目标虚拟内容的显示尺寸;检测单元用于检测增大显示尺寸后的目标虚拟内容中兴趣区域是否超出目标区域的范围;移动单元用于当超出目标区域的范围时,移动增大显示尺寸后的目标虚拟内容的显示位置,移动后的目标虚拟内容中兴趣区域的显示位置处于目标区域内。
在一些实施例中,区域获取单元可以具体用于:读取预先存储的目标虚拟内容中的兴趣区域;或者根据接收的选取操作获取目标虚拟内容中被选中的兴趣区域;或者确定用户的注视方向,并获取目标虚拟内容中与注视方向对应的兴趣区域。
在一些实施例中,终端设备与交互设备连接,交互设备包括交互区域,上述变换参数包括位移参数,参数获取模块520可以具体用于:当根据交互设备发送的第一操作数据,确定获取到变换指令时,响应变换指令,获取虚拟画面中与第一操作数据对应的目标虚拟内容,并确定预设调整范围内与第一操作数据对应的位移参数,其中,第一操作数据为交互设备根据交互区域检测到的用户操作生成,预设调整范围为预先存储的位移参数的变化范围或基于虚拟画面与终端设备之间的距离确定。变换执行模块530可以具体用于根据位移参数,沿靠近终端设备的方向移动目标虚拟内容的显示位置。
在一些实施例中,该虚拟画面的控制装置500还可以包括:全局参数获取模块以及画面控制模块。其中,全局参数获取模块用于当获取到对虚拟画面的全局缩放指令时,获取虚拟画面的全局缩放参数以及缩放方向;画面控制模块用于根据全局缩放参数以及缩放方向,调整虚拟画面的显示尺寸和/或显示位置。
在一些实施例中,该虚拟画面的控制装置500还可以包括:状态恢复模块。该状态恢复模块用于当检测到撤销指令时,将目标虚拟内容恢复成调整前的显示状态并进行显示,其中,撤销指令为显示调整后的目标虚拟内容预设时长时自动生成或者根据交互设备发送的第二操作数据生成。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上,本申请实施例提供的一种虚拟画面的控制装置,在对虚拟画面进行显示后,当获取到变换指令时,通过响应变换指令,获取虚拟画面中被选中的目标虚拟内容,并获取目标虚拟内容的变换参数,以根据变换参数,调整目标虚拟内容的显示位置,然后根据调整后的显示位置显示目标虚拟内容,显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,从而基于获取到的变换指令,调整虚拟画面中被选中的目标虚拟内容的显示位置,且保证显示的目标虚拟内容完整处于终端设备可被观察的视野区域内,提升了虚拟画面中被选中的虚拟内容的显示效果,增强了用户与虚拟画面的交互性。
在一些实施方式中,终端设备100可以外接式/接入式的头戴显示装置,头戴显示装置与服务器200连接。其中,头戴显示装置可以仅完成虚拟画面的显示,上述关于对眼部信息的分析以及对虚拟画面的生成、清晰度调整等所有的处理操作,均可由服务器200完成,服务器200在生成虚拟画面后,将虚拟画面对应的显示画面传输至头戴显示装置,即可完成虚拟画面的显示。
请参考图11,其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件:处理器110、存储器120,其中存储器120中存储有一个或多个应用程序,一个或多个应用程序被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。
在一些实施例中,终端设备100还可以包括图像传感器130,用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机,也可以是可见光相机,具体类型在本申请实施例中并不作为限定。
在一个实施例中,终端设备为头戴显示装置,除了包括上述的处理器、存储器及图像传感器外,还可包括如下一个或多个部件:显示模组、光学模组、通信模块以及电源。
显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像,然后将该显示图像显示并投射至光学模组上,使用户能够通过光学模组观看到虚拟内容。其中,显示模组可以是显示屏或投射装置等,可用于显示图像。
光学模组可采用离轴光学***或波导光学***,显示模组显示的显示图像经光学模组后,能够被投射至用户的眼睛。用户在通过光学模组看到显示模组投射的显示图像的同时。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的增强现实效果。
通信模块可以是蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等模块,头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置,可以与终端设备进行信息以及指令的交互。例如,头戴显示装置可以通过通信模块接收终端设备的发送的图像数据,根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。
电源可为整个头戴显示装置进行供电,保证头戴显示装置各个部件的正常运行。
请参考图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种虚拟画面的控制方法,其特征在于,应用于终端设备,所述方法包括:
对虚拟画面进行显示;
当获取到变换指令时,响应所述变换指令,获取所述虚拟画面中被选中的目标虚拟内容,并获取所述目标虚拟内容的变换参数;
根据所述变换参数,调整所述目标虚拟内容的显示位置;
根据调整后的显示位置显示所述目标虚拟内容,显示的目标虚拟内容完整处于所述终端设备可被观察的视野区域内。
2.根据权利要求1所述的方法,其特征在于,所述调整所述目标虚拟内容的显示位置,包括增大所述目标虚拟内容的显示尺寸、沿靠近所述终端设备的方向移动所述目标虚拟内容的显示位置中的至少一种;
所述方法还包括:
当调整后的目标虚拟内容的显示位置超出所述虚拟画面的边缘区域时,将所述调整后的目标虚拟内容的显示位置更新至所述虚拟画面对应的显示区域内。
3.根据权利要求1所述的方法,其特征在于,所述变换参数包括放大参数,所述根据所述变换参数,调整所述目标虚拟内容的显示位置,包括:
获取所述目标虚拟内容中的兴趣区域;
根据所述放大参数,以目标点或者所述兴趣区域为中心,增大所述目标虚拟内容的显示尺寸;
检测增大显示尺寸后的目标虚拟内容中所述兴趣区域是否超出目标区域的范围;
当超出目标区域的范围时,移动增大显示尺寸后的目标虚拟内容的显示位置,移动后的目标虚拟内容中所述兴趣区域的显示位置处于目标区域内。
4.根据权利要求3所述的方法,其特征在于,所述获取所述目标虚拟内容中的兴趣区域,包括:
读取预先存储的所述目标虚拟内容中的兴趣区域;或者
根据接收的选取操作获取所述目标虚拟内容中被选中的兴趣区域;或者
确定用户的注视方向,并获取所述目标虚拟内容中与所述注视方向对应的兴趣区域。
5.根据权利要求1所述的方法,其特征在于,所述终端设备与交互设备连接,所述交互设备包括交互区域,所述变换参数包括位移参数,所述当获取到变换指令时,响应所述变换指令,获取所述虚拟画面中被选中的目标虚拟内容,并获取所述目标虚拟内容的变换参数,包括:
当根据交互设备发送的第一操作数据,确定获取到变换指令时,响应所述变换指令,获取所述虚拟画面中与所述第一操作数据对应的目标虚拟内容,并确定预设调整范围内与所述第一操作数据对应的位移参数,其中,所述第一操作数据为所述交互设备根据所述交互区域检测到的用户操作生成,所述预设调整范围为预先存储的所述位移参数的变化范围或基于所述虚拟画面与所述终端设备之间的距离确定;
所述根据所述变换参数,沿靠近所述终端设备的方向移动所述目标虚拟内容的显示位置,包括:
根据所述位移参数,沿靠近所述终端设备的方向移动所述目标虚拟内容的显示位置。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
当获取到对所述虚拟画面的全局缩放指令时,获取所述虚拟画面的全局缩放参数以及缩放方向;
根据所述全局缩放参数以及所述缩放方向,调整所述虚拟画面的显示尺寸和/或显示位置。
7.根据权利要求1-5任一项所述的方法,其特征在于,在所述根据调整后的显示位置显示所述目标虚拟内容,显示的目标虚拟内容完整处于所述终端设备可被观察的视野区域内之后,所述方法还包括:
当检测到撤销指令时,将所述目标虚拟内容恢复成调整前的显示状态并进行显示,其中,所述撤销指令为显示所述调整后的目标虚拟内容预设时长时自动生成或者根据交互设备发送的第二操作数据生成。
8.一种虚拟画面的控制装置,其特征在于,应用于终端设备,所述装置包括:
显示控制模块,用于对虚拟画面进行显示;
参数获取模块,用于当获取到变换指令时,响应所述变换指令,获取所述虚拟画面中被选中的目标虚拟内容,并获取所述目标虚拟内容的变换参数;
变换执行模块,用于根据所述变换参数,调整所述目标虚拟内容的显示位置;
显示调整模块,用于根据调整后的显示位置显示所述目标虚拟内容,显示的目标虚拟内容完整处于所述终端设备可被观察的视野区域内。
9.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910673070.6A CN110456907A (zh) | 2019-07-24 | 2019-07-24 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910673070.6A CN110456907A (zh) | 2019-07-24 | 2019-07-24 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110456907A true CN110456907A (zh) | 2019-11-15 |
Family
ID=68483366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910673070.6A Pending CN110456907A (zh) | 2019-07-24 | 2019-07-24 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110456907A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161396A (zh) * | 2019-11-19 | 2020-05-15 | 广东虚拟现实科技有限公司 | 虚拟内容的控制方法、装置、终端设备及存储介质 |
CN111258698A (zh) * | 2020-01-17 | 2020-06-09 | 支付宝(杭州)信息技术有限公司 | 一种对象显示方法及装置 |
CN111338546A (zh) * | 2020-02-28 | 2020-06-26 | 歌尔科技有限公司 | 控制头戴显示设备的方法、终端及存储介质 |
CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
CN111667585A (zh) * | 2020-06-09 | 2020-09-15 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界同步探索方法及存储介质 |
CN111672103A (zh) * | 2020-06-05 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 虚拟场景中的虚拟对象控制方法、计算机设备及存储介质 |
CN111695459A (zh) * | 2020-05-28 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 状态信息提示方法及相关设备 |
CN112083848A (zh) * | 2020-09-11 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 应用程序内的控件位置调整方法、装置、设备及存储介质 |
CN112181551A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种信息处理方法以及相关设备 |
CN112346690A (zh) * | 2020-10-30 | 2021-02-09 | 深圳Tcl新技术有限公司 | 显示控制方法、装置及计算机可读存储介质 |
CN112596840A (zh) * | 2020-12-24 | 2021-04-02 | 北京城市网邻信息技术有限公司 | 一种信息处理方法及装置 |
CN113110908A (zh) * | 2021-04-20 | 2021-07-13 | 网易(杭州)网络有限公司 | 显示内容调整方法、装置、计算机设备及存储介质 |
CN113760165A (zh) * | 2020-06-05 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 一种界面数据处理方法、装置以及计算机可读存储介质 |
CN114327032A (zh) * | 2021-02-08 | 2022-04-12 | 海信视像科技股份有限公司 | 一种虚拟现实设备及vr画面显示方法 |
CN114356069A (zh) * | 2020-10-13 | 2022-04-15 | Oppo广东移动通信有限公司 | 交互方法及装置、设备和存储介质 |
WO2022088941A1 (zh) * | 2020-10-30 | 2022-05-05 | 腾讯科技(深圳)有限公司 | 虚拟按键的位置调整方法、装置、设备、存储介质及程序产品 |
WO2022089076A1 (zh) * | 2020-10-29 | 2022-05-05 | 海信视像科技股份有限公司 | 显示设备、移动终端、图片同步缩放方法 |
KR20220058841A (ko) * | 2020-10-30 | 2022-05-10 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 버튼의 위치를 조정하기 위한 방법 및 장치, 디바이스, 저장 매체 및 프로그램 제품 |
CN115225926A (zh) * | 2022-06-27 | 2022-10-21 | 广州博冠信息科技有限公司 | 游戏直播的画面处理方法、装置、计算机设备和存储介质 |
CN116012508A (zh) * | 2023-03-28 | 2023-04-25 | 高德软件有限公司 | 车道线的渲染方法、装置、存储介质及程序产品 |
US11681428B2 (en) | 2020-09-11 | 2023-06-20 | Tencent Technology (Shenzhen) Company Limited | Location adjustment method and apparatus for control in application, device, and storage medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527126A (zh) * | 2008-03-07 | 2009-09-09 | 环隆电气股份有限公司 | 画面调整***及调整方法 |
CN103997616A (zh) * | 2013-12-20 | 2014-08-20 | 三亚中兴软件有限责任公司 | 一种处理视频会议画面的方法、装置及会议终端 |
CN106200916A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 增强现实图像的控制方法、装置及终端设备 |
CN106331488A (zh) * | 2016-08-25 | 2017-01-11 | 天脉聚源(北京)传媒科技有限公司 | 一种界面调整方法及装置 |
CN107260505A (zh) * | 2017-02-14 | 2017-10-20 | 合肥中感微电子有限公司 | 视力保护方法、装置及具有视力保护功能的vr眼镜 |
CN108139805A (zh) * | 2016-02-08 | 2018-06-08 | 谷歌有限责任公司 | 用于在虚拟现实环境中的导航的控制*** |
CN109499061A (zh) * | 2018-11-19 | 2019-03-22 | 网易(杭州)网络有限公司 | 游戏场景画面的调整方法、装置、移动终端和存储介质 |
CN109508093A (zh) * | 2018-11-13 | 2019-03-22 | 宁波视睿迪光电有限公司 | 一种虚拟现实交互方法及装置 |
CN109725782A (zh) * | 2017-10-27 | 2019-05-07 | 腾讯科技(深圳)有限公司 | 一种实现虚拟现实的方法、装置及智能设备、存储介质 |
CN109840947A (zh) * | 2017-11-28 | 2019-06-04 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
-
2019
- 2019-07-24 CN CN201910673070.6A patent/CN110456907A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527126A (zh) * | 2008-03-07 | 2009-09-09 | 环隆电气股份有限公司 | 画面调整***及调整方法 |
CN103997616A (zh) * | 2013-12-20 | 2014-08-20 | 三亚中兴软件有限责任公司 | 一种处理视频会议画面的方法、装置及会议终端 |
CN108139805A (zh) * | 2016-02-08 | 2018-06-08 | 谷歌有限责任公司 | 用于在虚拟现实环境中的导航的控制*** |
CN106200916A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 增强现实图像的控制方法、装置及终端设备 |
CN106331488A (zh) * | 2016-08-25 | 2017-01-11 | 天脉聚源(北京)传媒科技有限公司 | 一种界面调整方法及装置 |
CN107260505A (zh) * | 2017-02-14 | 2017-10-20 | 合肥中感微电子有限公司 | 视力保护方法、装置及具有视力保护功能的vr眼镜 |
CN109725782A (zh) * | 2017-10-27 | 2019-05-07 | 腾讯科技(深圳)有限公司 | 一种实现虚拟现实的方法、装置及智能设备、存储介质 |
CN109840947A (zh) * | 2017-11-28 | 2019-06-04 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
CN109508093A (zh) * | 2018-11-13 | 2019-03-22 | 宁波视睿迪光电有限公司 | 一种虚拟现实交互方法及装置 |
CN109499061A (zh) * | 2018-11-19 | 2019-03-22 | 网易(杭州)网络有限公司 | 游戏场景画面的调整方法、装置、移动终端和存储介质 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161396B (zh) * | 2019-11-19 | 2023-05-16 | 广东虚拟现实科技有限公司 | 虚拟内容的控制方法、装置、终端设备及存储介质 |
CN111161396A (zh) * | 2019-11-19 | 2020-05-15 | 广东虚拟现实科技有限公司 | 虚拟内容的控制方法、装置、终端设备及存储介质 |
CN111258698A (zh) * | 2020-01-17 | 2020-06-09 | 支付宝(杭州)信息技术有限公司 | 一种对象显示方法及装置 |
CN111338546A (zh) * | 2020-02-28 | 2020-06-26 | 歌尔科技有限公司 | 控制头戴显示设备的方法、终端及存储介质 |
CN111695459B (zh) * | 2020-05-28 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 状态信息提示方法及相关设备 |
CN111695459A (zh) * | 2020-05-28 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 状态信息提示方法及相关设备 |
CN111672103A (zh) * | 2020-06-05 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 虚拟场景中的虚拟对象控制方法、计算机设备及存储介质 |
CN113760165B (zh) * | 2020-06-05 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 一种界面数据处理方法、装置以及计算机可读存储介质 |
CN113760165A (zh) * | 2020-06-05 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 一种界面数据处理方法、装置以及计算机可读存储介质 |
CN111667585A (zh) * | 2020-06-09 | 2020-09-15 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界同步探索方法及存储介质 |
CN111667585B (zh) * | 2020-06-09 | 2023-06-20 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界同步探索方法及存储介质 |
CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
CN111651051B (zh) * | 2020-06-10 | 2023-08-22 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
CN112181551A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种信息处理方法以及相关设备 |
US11681428B2 (en) | 2020-09-11 | 2023-06-20 | Tencent Technology (Shenzhen) Company Limited | Location adjustment method and apparatus for control in application, device, and storage medium |
CN112083848A (zh) * | 2020-09-11 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 应用程序内的控件位置调整方法、装置、设备及存储介质 |
CN112083848B (zh) * | 2020-09-11 | 2021-12-31 | 腾讯科技(深圳)有限公司 | 应用程序内的控件位置调整方法、装置、设备及存储介质 |
WO2022052831A1 (zh) * | 2020-09-11 | 2022-03-17 | 腾讯科技(深圳)有限公司 | 应用程序内的控件位置调整方法、装置、设备及存储介质 |
CN114356069A (zh) * | 2020-10-13 | 2022-04-15 | Oppo广东移动通信有限公司 | 交互方法及装置、设备和存储介质 |
WO2022089076A1 (zh) * | 2020-10-29 | 2022-05-05 | 海信视像科技股份有限公司 | 显示设备、移动终端、图片同步缩放方法 |
KR20220058841A (ko) * | 2020-10-30 | 2022-05-10 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 버튼의 위치를 조정하기 위한 방법 및 장치, 디바이스, 저장 매체 및 프로그램 제품 |
TWI796804B (zh) * | 2020-10-30 | 2023-03-21 | 大陸商騰訊科技(深圳)有限公司 | 虛擬按鍵的位置調整方法、裝置、設備、儲存介質及程式産品 |
WO2022088941A1 (zh) * | 2020-10-30 | 2022-05-05 | 腾讯科技(深圳)有限公司 | 虚拟按键的位置调整方法、装置、设备、存储介质及程序产品 |
CN112346690A (zh) * | 2020-10-30 | 2021-02-09 | 深圳Tcl新技术有限公司 | 显示控制方法、装置及计算机可读存储介质 |
KR102605545B1 (ko) * | 2020-10-30 | 2023-11-22 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 버튼의 위치를 조정하기 위한 방법 및 장치, 디바이스, 저장 매체 및 프로그램 제품 |
US11836335B2 (en) | 2020-10-30 | 2023-12-05 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for adjusting position of virtual button, device, storage medium, and program product |
CN112596840A (zh) * | 2020-12-24 | 2021-04-02 | 北京城市网邻信息技术有限公司 | 一种信息处理方法及装置 |
CN114327032A (zh) * | 2021-02-08 | 2022-04-12 | 海信视像科技股份有限公司 | 一种虚拟现实设备及vr画面显示方法 |
CN113110908A (zh) * | 2021-04-20 | 2021-07-13 | 网易(杭州)网络有限公司 | 显示内容调整方法、装置、计算机设备及存储介质 |
CN115225926A (zh) * | 2022-06-27 | 2022-10-21 | 广州博冠信息科技有限公司 | 游戏直播的画面处理方法、装置、计算机设备和存储介质 |
CN115225926B (zh) * | 2022-06-27 | 2023-12-12 | 广州博冠信息科技有限公司 | 游戏直播的画面处理方法、装置、计算机设备和存储介质 |
CN116012508A (zh) * | 2023-03-28 | 2023-04-25 | 高德软件有限公司 | 车道线的渲染方法、装置、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110456907A (zh) | 虚拟画面的控制方法、装置、终端设备及存储介质 | |
US20220084279A1 (en) | Methods for manipulating objects in an environment | |
US10698535B2 (en) | Interface control system, interface control apparatus, interface control method, and program | |
JP5936155B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
US9651782B2 (en) | Wearable tracking device | |
CN111766937B (zh) | 虚拟内容的交互方法、装置、终端设备及存储介质 | |
JP6057396B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作処理方法 | |
US11244511B2 (en) | Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
CN102779000B (zh) | 一种用户交互***和方法 | |
US20220317776A1 (en) | Methods for manipulating objects in an environment | |
CN111383345B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
CN111083463A (zh) | 虚拟内容的显示方法、装置、终端设备及显示*** | |
CN111766936A (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
CN111199583A (zh) | 一种虚拟内容显示方法、装置、终端设备及存储介质 | |
CN111913674A (zh) | 虚拟内容的显示方法、装置、***、终端设备及存储介质 | |
CN111240483B (zh) | 操作控制方法、头戴式设备及介质 | |
CN111651031B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
CN111913564B (zh) | 虚拟内容的操控方法、装置、***、终端设备及存储介质 | |
CN111399630B (zh) | 虚拟内容交互方法、装置、终端设备及存储介质 | |
KR102312601B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
CN111258482B (zh) | 信息分享方法、头戴式设备及介质 | |
CN111913565B (zh) | 虚拟内容控制方法、装置、***、终端设备及存储介质 | |
WO2020140905A1 (zh) | 虚拟内容交互***及方法 | |
CN112529770A (zh) | 图像处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191115 |