CN112255800A - 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 - Google Patents
图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112255800A CN112255800A CN202011241355.1A CN202011241355A CN112255800A CN 112255800 A CN112255800 A CN 112255800A CN 202011241355 A CN202011241355 A CN 202011241355A CN 112255800 A CN112255800 A CN 112255800A
- Authority
- CN
- China
- Prior art keywords
- waveguide lens
- light
- assembly
- virtual image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 149
- 230000004438 eyesight Effects 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 description 31
- 239000011521 glass Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 208000003464 asthenopia Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
Abstract
本申请实施例提供一种图像显示的控制方法及增强现实设备、装置、计算机可读存储介质,增强现实设备包括第一波导镜片、第二波导镜片、光线投射组件、光线传输组件以及驱动组件。本申请实施例提供的控制方法获取用户双眼的状态信息;根据状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片,控制驱动组件驱动光线传输组件移动至对应目标波导镜片的光线入射位置,控制光线投射组件投射虚拟图像光线至光线传输组件,以使得虚拟图像光线入射光线传输组件后出射至目标波导镜片。本申请实施例通过控制光线传输组件移动,使得虚拟图像光线可以投射至不同波导镜片后并出射至外界,在真实场景中为用户显示虚拟图像的投影,提高了图像显示的灵活性。
Description
技术领域
本申请涉及增强现实技术领域,具体涉及一种图像显示的控制方法及增强现实设备、装置、计算机可读存储介质。
背景技术
增强现实(AR,Augmented Reality)技术是一种将虚拟信息与真实世界相结合的技术。该技术通过将计算机生成的虚拟图像、场景或信息叠加到真实环境,实现了虚拟世界和真实世界的结合。然而在相关技术中,增强现实设备的图像显示存在灵活性较差的问题。
发明内容
本申请实施例提供了一种图像显示的控制方法及增强现实设备、装置、计算机可读存储介质,可以提高增强现实设备的图像显示的灵活性。
第一方面,本申请实施例提供了一种图像显示的控制方法,应用于增强现实设备,所述增强现实设备包括第一波导镜片、第二波导镜片、光线投射组件、光线传输组件以及驱动组件,所述控制方法包括:
获取用户双眼的状态信息;
根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片,其中所述光线投射组件与所述第一波导镜片和所述第二波导镜片相对设置;
控制所述驱动组件驱动所述光线传输组件移动至对应所述目标波导镜片的光线入射位置,其中所述光线传输组件设置于所述光线投射组件与所述第一波导镜片和所述第二波导镜片之间,所述第一波导镜片和所述第二波导镜片到所述光线投射组件的最短距离相等;
控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片。
第二方面,本申请实施例提供了一种图像显示的控制装置,包括:
获取模块,用于获取用户双眼的状态信息;
确定模块,用于根据所述状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片;
第一控制模块,用于控制驱动组件驱动光线传输组件移动至对应所述目标波导镜片的光线入射位置;
第二控制模块,用于控制光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片。
第三方面,本申请实施例提供了一种增强现实设备,包括:
第一波导镜片、第二波导镜片;
状态获取组件,所述状态获取组件用于获取用户双眼的状态信息;根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片;
光线投射组件,所述光线投射组件与所述第一波导镜片和所述第二波导镜片相对设置,所述光线投射组件用于投射虚拟图像光线;
光线传输组件,所述光线传输组件设置于所述光线投射组件与所述第一波导镜片和所述第二波导镜片之间,所述第一波导镜片和所述第二波导镜片到所述光线投射组件的最短距离相等,所述光线传输组件用于传导所述虚拟图像光线;
驱动组件,所述驱动组件与所述光线传输组件连接,所述驱动组件用于驱动所述光线传输组件移动,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述第一波导镜片或所述第二波导镜片;
处理器,所述处理器分别与所述状态获取组件、所述驱动组件、所述光线投射组件连接,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现本申请任一实施例提供的图像显示的控制方法。
第四方面,本申请实施例提供的计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行本申请任一实施例提供的图像显示的控制方法。
本申请实施例获取用户双眼的状态信息;根据状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片,控制驱动组件驱动光线传输组件移动至对应目标波导镜片的光线入射位置,控制光线投射组件投射虚拟图像光线至光线传输组件,以使得虚拟图像光线入射光线传输组件后出射至目标波导镜片。本申请实施例通过控制光线传输组件移动,使得虚拟图像光线可以投射至不同波导镜片后并出射至外界,在真实场景中为用户显示虚拟图像的投影,提高了图像显示的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的增强现实设备的一种结构示意图。
图2是本申请实施例提供的增强现实设备的一种剖视示意图。
图3是本申请实施例提供的第一波导镜片的一种结构示意图。
图4是本申请实施例提供的波导镜片的工作原理示意图。
图5是本申请实施例提供的光线投射组件的一种结构示意图。
图6是本申请实施例提供的驱动组件的一种结构示意图。
图7是本申请实施例提供的驱动组件的一种工作示意图。
图8是本申请实施例提供的增强现实设备的工作示意图。
图9是本申请实施例提供的图像显示的控制方法的流程示意图。
图10是本申请实施例提供的图像显示的控制装置的模块示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种增强现实设备,请参阅图1,图1为本申请实施例提供的增强现实设备的一种结构示意图。该增强现实设备可以是增强现实眼镜(AugmentedReality Glass)、增强现实头戴式设备等设备。如图1所示,该增强现实设备10可以包括第一波导镜片110、第二波导镜片120。以下进行具体分析说明。
请参阅图2,图2为该增强现实设备10的一种剖视示意图,该增强现实设备10可以包括第一波导镜片110、第二波导镜片120、光线传输组件130、驱动组件140、光线投射组件150、处理器(图未示出)、状态获取组件(图未示出),还包括左眼镜腿160、右眼镜腿170、鼻梁180。
其中,该增强现实设备10可以包括第一波导镜片110,第二波导镜片120。该第一波导镜片110、第二波导镜片120用于将入射的虚拟图像光线出射至外界。其中,该第一波导镜片110可以是左眼对应的波导镜片,相应的,第二波导镜片120可以是右眼对应的波导镜片。其中,该虚拟图像光线可以是虚拟图像、场景或信息的光线。该虚拟图像光线入射至波导镜片后传导并出射至外界,可以在真实场景中为用户显示虚拟图像。
其中,该第一波导镜片和第二波导镜片可以有多种设置方式。例如,这两个镜片可以对称设置。
在一些实施例中,本申请实施例提供的增强现实设备10可以是增强现实眼镜,该增强现实眼镜可以是光波导增强现实眼镜。
其中,光波导(optical waveguide)是引导光波在其中传播的介质装置,又称介质光波导。光波导可以将虚拟信息和真实场景融为一体,互相补充,互相“增强”,在不阻挡视线的情况下,既能看到真实的外部世界,也能看到虚拟信息。
光波导的特点是轻薄且外界光线有高穿透性。光波导将光耦合进自身的玻璃基底中,通过“全反射”原理将光传输到眼睛前方再释放出来。具体地,光源发射的光投射到耦入位置,在光波导内部中基于全反射原理传输,在耦出位置射向人眼的方向。所以用户可以看到虚拟图像,同时因为光波导对外界光线有高穿透性,用户还可以看到真实世界。
由于光波导还具有轻薄的特性,通过将成像***移到额头顶部或者侧面的位置,极大降低了成像***对外界视线的阻挡,使得重量分布更符合人体工程学,进而改善了设备的使用体验。
则在一些实施例中,该第一波导镜片110、第二波导镜片120可以由光波导片、耦入光栅、耦出光栅组成。例如,如图3所示,图3为第一波导镜片110的一种结构示意图。该第一波导镜片110可以包括光波导片111、耦入光栅112、耦出光栅113。
其中,第一波导镜片110、第二波导镜片120的显示原理可参阅图,如图4所示,虚拟图像光线从光机射出至耦入光栅,耦入光栅对入射光衍射后改变其传播方向,之后在光波导的玻璃内部进行全反射,向耦出光栅传播,到达耦出光栅位置,耦出光栅对入射光衍射后改变其方向,入射到人眼。
其中,该增强现实设备10可以包括光线传输组件130、光线投射组件150,该光线传输组件130设置于该第一波导镜片110和该第二波导镜片120之间,该第一波导镜片110和该第二波导镜片120到该光线投射组件130的最短距离相等。该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射该光线传输组件130后出射至目标波导镜片。
其中,光线传输组件130设置于该第一波导镜片110和该第二波导镜片120之间,该第一波导镜片110和该第二波导镜片120到该光线投射组件130的最短距离相等。举例来说,当第一波导镜片和第二波导镜片对称设置时,该光线传输组件设置在第一波导镜片和第二波导镜片的对称轴上。
具体地,光线投射组件150在投射虚拟图像光线时,虚拟图像光线在通过光线传输组件130时改变了传播方向,并投射至相应目标波导镜片的光线入射位置,在目标波导镜片内部进行传导后出射至外界,比如可以出射到人眼。
在一些实施例中,该光线传输组件130可以是棱镜。棱镜是由透明材料(如玻璃、水晶等)做成的多面体,棱镜的工作原理实际上是光的反射定律,可以改变光的传播方向。该棱镜可以为全反射棱镜等等。该光线传输组件130还可以是平面镜(plane mirror),表面平整光滑且能够成像的物体叫做平面镜,平面镜也可以改变光的传播方向。
在一些实施例中,该光线投射组件150可以是光机(optical engine),也可以称作光学引擎。光机主要由微显示屏(display)、镜片(lens)等组成。光机通过将微显示屏上所显示的虚拟图像放大并将放大后的虚拟图像的光线输出至光波导。请参阅图5,图5为本申请实施例提供的光线投射组件150的一种结构示意图,该光线投射组件150包括微显示屏151、镜片152。
其中,该增强现实设备10可以包括驱动组件140,该驱动组件140用于驱动该光线传输组件130移动。
在一些实施例中,如图6所示,图6是本申请实施例提供的驱动组件的一种结构示意图。该驱动组件140可以由驱动部141、传动部142、缓冲部143组成。
其中,该驱动组件可以设置在光线传输组件的一侧,例如,如图2所示该驱动组件可以设置在光线传输组件的右侧。该驱动组件也可以设置在光线传输组件的左侧或者上方、下方,具体可根据实际需求进行设置。
其中,该驱动部141为传动部142的运动提供动力。该驱动部141可以包括至少一个步进电机,步进电机是一种将电脉冲信号转换成相应角位移或线位移的电动机,可以将电能转化为机械能,步进电机通过将电脉冲信号转变成角度旋转量,通过齿轮设计可以转变成线方向的位移量。
其中,该传动部142与该驱动部141相连接。当驱动部141工作时,随着驱动部141的工作可以控制传动部142的移动。该驱动部141的形状可以有多种。例如可以是T形。
在一些实施例中,该传动部142和光线传输组件130相连接,当传动部142移动时,光线传输组件130也会跟随着传动部142移动。
其中,该缓冲部143起到缓冲的作用。在驱动部141工作使得传动部142发生移动时,该缓冲部143可以起到防止传动部142移动距离过大或者移动速度过快的情况发生。该缓冲部143可以由弹性材料构成,例如,该缓冲部143可以是弹簧。当传动部142向外突出时,弹簧拉伸,可以防止推出距离太大或者是推出速度太快的情况发生。当传动部142往里收缩时,弹簧压缩,可以防止收缩太快,或者收缩量太大的情况发生。
例如,如图7所示,图7为驱动组件140的一种工作示意图。驱动组件140中驱动部141和传动部142相连接。当驱动部141向里运动时,带动传动部142也向里运动,此时缓冲部143压缩,防止传动部142向里运动得太快。
驱动组件140中驱动部141和传动部142相连接,传动部142和光线传输组件130相连接。当确定目标波导镜片之后,驱动部141工作使得传动部142向外突出或者向里收缩,进而使得光线传输组件130也向外或者向里移动,并移动至目标波导镜片对应的光线入射位置。
举例来说,如图8所示,当驱动部141向外突出会使得光线传输组件130向左移动时,确定了目标波导镜片为第一波导镜片110之后,则处理器驱动该驱动部141工作,使得传动部142向外突出,进而使得光线传输组件130向左移动至第一波导镜片110对应的光线入射位置。当虚拟图像光线进入光线传输组件130,并通过光线传输组件130改变传播方向,该光线从光线传输组件130中传出后,传输至第一波导镜片110对应的光线入射位置,并经过此传输至第一波导镜片110,最后投射至人眼。
其中,该增强现实设备10可以包括处理器,处理器可用来处理增强现实设备10的各种操作。该处理器分别与该状态获取组件、该驱动组件140、该光线投射组件150连接。其中连接的方式可以有多种,例如可以为电性连接。
处理器是增强现实设备10的控制中心,利用各种接口和线路连接整个增强现实设备10的各个部分,通过运行或加载存储在存储器内的计算机程序,以及调用存储在存储器内的数据,执行增强现实设备10的各种功能并处理数据,从而对增强现实设备10进行整体监控。
其中,该增强现实设备10可以包括状态获取组件,该状态获取组件可以用于获取用户双眼的状态信息;根据该状态信息从该第一波导镜片110、第二波导镜片120中确定目标波导镜片。
在一些实施例中,在确定目标波导镜片后,该处理器具体用于控制该驱动组件140驱动该光线传输组件130移动至对应该目标波导镜片的光线入射位置,控制该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射该光线传输组件130后出射至该目标波导镜片。
可以理解的是,该增强现实设备10可以通过驱动组件140调整光线传输组件130的位置,使得光线投射组件150在投射虚拟图像光线时,可以根据光线入射位置的变化,使得投射到第一波导镜片110或第二波导镜片120上,实现了增强现实设备10的单目显示,有效地提升了增强现实设备10在显示时的灵活性。
在一些实施例中,状态信息可以为用户左右眼的视力,可以根据视力选取目标波导镜片,则该状态获取组件可以用于:
获取用户左眼的第一视力,以及获取用户右眼的第二视力;当该第一视力大于该第二视力时,确定该第一波导镜片110为目标波导镜片;或者,当该第二视力大于该第一视力时,确定该第二波导镜片120为目标波导镜片。
举例来说,由于用户的左右眼视力有一定程度的差异,用户单独用左眼或者右眼看显示内容,效果会产生差异,视力好的眼睛看内容更清晰。则可以在左右眼镜镜框内部设计***头,通过摄像头采集人眼左右眼的注视行为。AR设备在不同眼对应的波导镜片投射光线,以使得在真实场景中显示虚拟的视力测试图像,然后AR设备通过摄像机或者传感器获取用户的注视行为。之后,处理器将用户的注视行为与标准注视行为进行对比,获取用户左右眼的视力测试结果。将左右眼视力进行对比,通过视力较好的一侧眼睛所对应的波导镜片显示增强现实信息,该增强显示信息为结合真实场景和虚拟的视力测试图像所显示的信息。譬如,当左眼视力高于右眼视力时,则将第一波导镜片确定为目标波导镜片,并通过左眼显示增强现实信息。
由此可知,本申请实施例针对不同用户的视力情况,选取其视力更佳的眼睛进行显示,不仅提升了AR设备在显示时的灵活性,而且还有效地提升用户的体验感。
其中,状态信息可以为用户左右眼的疲劳程度,则在一些实施例中,可以根据疲劳程度来选取目标波导镜片,则该状态获取组件可以用于:
获取用户左眼的第一疲劳程度,以及获取用户右眼的第二疲劳程度;当该第一疲劳程度高于该第二疲劳程度时,确定该第二波导镜片120为目标波导镜片;或者,当该第二疲劳程度高于该第一疲劳程度时,确定该第一波导镜片110为目标波导镜片。
其中,确定用户左右眼疲劳程度的方式可以有多种,例如,用户眼睛的疲劳程度可以通过人眼血丝的面积和数量来判断。则在一些实施例中,可以在左右眼镜镜框内部设计***头,通过摄像头采集用户左右眼的画面,对画面图像进行对比分析,通过左右眼中血丝的面积和数量确定疲劳程度。
例如,当通过摄像头采集到用户左右眼的画面时,通过画面中血丝的面积和数量确定左右眼的疲劳程度。通过比较左右眼的疲劳程度,将疲劳程度较低的眼睛所对应的波导镜片确定为目标波导镜片。譬如,当左眼的疲劳程度比右眼的疲劳程度高时,则将第二波导镜片确定为目标波导镜片。
在一些实施例中,可以根据用户的身份信息确定目标波导镜片,具体地,该状态获取组件可以用于:获取用户的身份信息;根据该身份信息确定用户预先设置的波导镜片;将该用户预先设置的波导镜片确定为该目标波导镜片。
其中,获取用户的身份信息的方式可以有多种。例如,可以在AR设备上设置指纹识别模块,预先通过指纹采集传感器采集并存储了用户身份信息。当用户再次使用时,通过指纹识别模块则可以确认用户的身份。又例如,可以在AR设备上预先设置数字或者文字密码,声音密码等,当用户使用时,通过输入密码来确认用户的身份。
例如,可以通过虹膜识别的方式来确认用户身份,虹膜识别即通过对比虹膜图像特征之间的相似性来确定用户的身份。譬如,可以在AR设备上设置虹膜摄像头。当用户使用时,通过摄像头对人的整个眼部进行拍摄,并将拍摄到的图像传输给虹膜识别***的图像预处理软件,对获取到的虹膜图像进行如下处理,使其满足提取虹膜特征的需求,采用特定的算法从虹膜图像中提取出虹膜识别所需的特征点,并对其进行编码。将特征提取得到的特征编码与数据库中的虹膜图像特征编码逐一匹配,判断是否为相同虹膜,从而达到身份识别的目的。
举例来说,用户在之前使用AR设备时,根据视力情况、使用情况等等,可以预先设置单目显示模式时使用第一波导镜片。当用户再次使用AR设备时,通过虹膜识别或者指纹识别、又或者是密码识别等方式确认用户的身份信息,并根据身份信息查找到预先设置的第一波导镜片,再通过第一波导镜片进行单目显示。
由此可知,本申请实施例通过将用户预先设置的波导镜片和用户的身份信息匹配,当用户通过身份识别后操作AR设备时,AR设备可以快速开启、适配后进行显示,不仅减少了用户的操作、方便了用户的使用,而且还提升了AR设备进行显示时的灵活性。
在一些实施例中,当确定了目标波导镜片之后,还可以通过获取每个波导镜片的工作时间,根据工作时间进行切换,则该处理器还可以用于:获取该第一波导镜片110的第一工作时间、以及获取该第二波导镜片120的第二工作时间;当该第一工作时间大于该第二工作时间,且该目标波导镜片为第一波导镜片110时,将该目标波导镜片切换为该第二波导镜片120;或者,当该第二工作时间大于该第一工作时间,且该目标波导镜片为第二波导镜片120时,将该目标波导镜片切换为该第一波导镜片110。
其中,该工作时间可以为在预设时期内的累计工作时间。该预设时期可以是AR设备开机后的工作时间,也可以是从AR设备第一开机后开始计算的累计总工作时间。比如,在AR设备开机后,处理器可以对每个波导镜片的工作时间进行统计,也就是分别统计用户在使用AR设备时的左眼使用时间和右眼使用时间。
举例来说,当第一波导镜片的工作时间高于第二波导镜片,且目标波导镜片是第一波导镜片时,则切换到第二波导镜片。
在一些实施例中,还可以设置多个时间阈值,通过时间阈值和不同波导镜片的工作时间进行比较后再切换。则该处理器还可以用于:当目标波导镜片的工作时间大于第一时间阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片的工作时间大于第二时间阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片的工作时间大于第三时间阈值时,停止向该目标波导镜片投射虚拟图像光线。
举例来说,当第二波导镜片的工作时间超过第一时间阈值时,说明用户的右眼需要暂时休息,则通过第二波导镜片上输出提示,提示内容为提醒用户用眼过度,应该放松、休息一会儿。当第二波导镜片的工作时间超过第二时间阈值时,则通过第二波导镜片显示一些让用户放松的虚拟的绿色自然画面等。当第二波导镜片的工作时间大于第三时间阈值时,说明用户的右眼已经过于疲劳,则提示用户在数秒后将关闭右眼使用,然后停止向该波导镜片投射光线。
由此可知,本申请实施例考虑到了用户用眼安全,从用户的左右眼使用时间的角度出发进行切换,不仅有利于保护用户视力,而且提升了显示切换的灵活性。
在一些实施例中,当确定了目标波导镜片之后,还可以通过摄像头持续地、或者周期性地获取左右眼的画面。根据画面中用户左右眼疲劳程度的变化情况进行切换,则该处理器还可以用于:当用户左眼的第一疲劳度高于右眼的第二疲劳度,且目标波导镜片为第一波导镜片110时,切换至第二波导镜片120;或者,当用户右眼的第二疲劳度高于左眼的第一疲劳度,且目标波导镜片为第二波导镜片120时,切换至第一波导镜片110。
在一些实施例中,还可以设定多个疲劳值阈值。当获取到画面中用户左右眼疲劳程度的变化情况时,还可以根据疲劳程度与不同阈值,在AR设备上提出显示建议、显示护眼图片或者是关闭。则该处理器还可以用于:当目标波导镜片对应的眼睛的疲劳程度大于第一疲劳值阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片对应的眼睛的疲劳程度大于第二疲劳值阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片对应的眼睛的疲劳程度大于第三疲劳值阈值时,停止向该目标波导镜片投射虚拟图像光线。
其中,疲劳值阈值的设定可以根据实际需求进行设置。例如,可以统计用户的日常使用时间、使用时的眼睛疲劳程度,通过机器学习进行动态设定该第一、第二、第三疲劳值阈值依次递增。又例如,可以通过用户自行进行设置。
比如,当用户左眼的疲劳程度超过第一疲劳值阈值时,则通过第一波导镜片输出提示,提示内容为提醒用户用眼过度,应该放松、休息一会儿。当用户左眼的疲劳程度超过第二疲劳值阈值时,通过第一波导镜片显示一些让用户放松的虚拟的绿色自然画面等。在用户左眼的疲劳程度超过第三疲劳值阈值时,则提示用户在数秒后将关闭使用,然后停止向该波导镜片投射光线。
在一些实施例中,该增强现实设备10还可以包括光线分束组件(图中未示出),该光线分束组件可以将光分成多束,则光线投射组件150通过该光线分束组件可以同时向第一波导镜片110、第二波导镜片120虚拟图像光线,以实现双目显示。则该处理器还用于:
控制该光线投射组件150投射虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至第一波导镜片110和该第二波导镜片120。
其中,该光线分束组件可以是分束器,分束器是可将一束光分成两束光或多束光的光学装置,通常是由金属膜或介质膜构成。
其中,该光线分束组件设置于该光线投射组件150与该第一波导镜片110和该第二波导镜片120之间,该光线分束组件与该第一波导镜片110和该第二波导镜片120的最短距离相等。举例来说,当第一波导镜片和第二波导镜片对称设置时,该光线分束组件设置在第一波导镜片和第二波导镜片的对称轴上。
在一些实施例中,当增强现实设备10确定目标波导镜片进行单目显示之后,可以通过在AR设备上设置的传感器获取数据,处理器基于预先设置的数据阈值对各传感器的数据进行判断,控制AR设备实现在单目显示和双目显示进行切换。
譬如,在一些实施例中,可以根据环境亮度控制光线传输组件130和光线分束组件,实现在单目显示和双目显示进行切换,则该处理器可以用于:获取当前的环境亮度;当该环境亮度大于预设亮度阈值时,控制该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射至该光线传输组件130后出射至该目标波导镜片;当该环境亮度小于预设亮度阈值时,控制该光线投射组件150投射虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射至该光线分束组件后出射至该第一波导镜片110和该第二波导镜片120。
其中,可以通过在AR设备上设置亮度传感器,通过亮度传感器获取环境亮度。处理器可以通过环境亮度确定单目显示或者双目显示,并控制光线投射组件150向光线传输组件130或光线分束组件进行投射虚拟图像光线。该亮度传感器可以设计在AR设备的上部,避免被遮挡。
举例来说,当判断当前的环境亮度超过阈值时,处理器可以判断用户处于户外场景,则确定当前应该处于单目显示模式。若原来处于双目显示时,则确定目标波导镜片并相应的切换为单目显示;若原来处于单目显示时,则保持不变。
当判断当前的环境亮度低于阈值时,处理器可以判断用户处于室内,当前应该处于双目显示模式。则若原来处于双目显示时,则保持不变;若原来处于单目显示时,则确定目标波导镜片并相应的切换为单目显示。其中,确定目标波导镜片的方式可以参照以上实施例,此处不再赘述。
譬如,在一些实施例中,可以根据该增强现实设备10当前的移动速度控制光线传输组件130和光线分束组件,实现在单目显示和双目显示进行切换,则该处理器可以用于:
获取该增强现实设备10当前的移动速度;当该移动速度大于预设速度阈值时,控制该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射至该光线传输组件130后出射至该目标波导镜片;当该移动速度小于预设速度阈值时,当该环境亮度小于预设亮度阈值时,控制该光线投射组件150投射虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射至该光线分束组件后出射至该第一波导镜片110和该第二波导镜片120。
其中,可以通过在AR设备上设置速度传感器,或者是GPS模块,处理器可以通过速度传感器或者GPS位置获取移动速度,再根据移动速度确定单目显示或双目显示。
举例来说,当移动速度大于预设速度阈值时,处理器可以判断用户可能处于运动或者其他高速移动状态(比如骑行、驾驶等状态),确定当前需要单目显示。则相应的,若当前处于单目显示则保持不变,若当前处于双目显示则确定目标波导镜片并切换为单目显示。
当移动速度小于预设速度阈值时,则处理器可以判断当前用户处于静止或者是缓慢移动的状态,确定当前可以双目显示。则相应的,若当前处于双目显示则保持不变,若当前处于单目显示则切换为双目显示。其中,确定目标波导镜片的方式可以参照以上实施例,此处不再赘述。
譬如,在一些实施例中,可以根据该增强现实设备10当前的旋转方向控制光线传输组件130和光线分束组件,实现在单目显示和双目显示进行切换,则该处理器可以用于:
当该增强现实设备10相对于预设朝向朝左旋转时,控制该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射至该光线传输组件130后出射至第一波导镜片110;
当该增强现实设备10相对于预设朝向朝右旋转时,控制该光线投射组件150投射虚拟图像光线至该光线传输组件130,以使得该虚拟图像光线入射至该光线传输组件130后出射至第二波导镜片120;
当该增强现实设备10相对于预设朝向不旋转时,控制该光线投射组件150投射虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射至该光线分束组件后出射至该第一波导镜片110和该第二波导镜片120。
其中,预设朝向与用户的朝向相关。比如,当使用设备的用户正对前方时,可以将该朝向作为预设朝向,则用户朝左旋转时控制光线投射组件向第一波导镜片投射信息,实现左眼的单目显示。而当用户从左旋转至正对前方时,则控制组件向左眼、第二波导镜片投射信息,实现双目显示。而当用户从左旋转至右时,则从控制组件从第一波导镜片切换至向第二波导镜片投射信息,实现右眼的单目显示。
其中,确定该增强现实设备相对于预设朝向的旋转方向的方式可以有多种,例如可以通过在AR设备上设置六轴传感器,六轴传感器可以获取旋转方向、旋转角度等旋转信息,根据旋转方向等判断用户头部的姿态,处理器再基于头部姿态确定单目显示或双目显示。
举例来说,当通过六轴传感器判断AR设备相对于预设朝向向左旋转,如果预设朝向为正对前方,则可以判断当前用户正在转向左边,则AR设备切换至第一波导镜片进行工作;当判断AR设备相对于预设朝向向右旋转时,则可以判断当前用户正在转向右边,则可以切换至第二波导镜片进行工作。
由此可知,本申请实施例根据环境亮度、用户的移动速度或者增强现实设备的旋转方向,实现了单目显示和双目显示之间的切换,不仅方便了用户使用,而且有效地提升了增强现实设备的图像显示的灵活性。
本申请实施例提供一种图像显示的控制方法,请参阅图示,图9为本申请实施例提供的图像显示的控制方法的流程示意图,该图像显示的控制方法可以应用于如上述申请实施例的增强现实设备中,该增强现实设备包括第一波导镜片、第二波导镜片、光线传输组件、驱动组件、光线投射组件,该图像显示的控制方法可以包括以下步骤:
101、获取用户双眼的状态信息。
其中,用户双眼的状态信息可以有多种类型。例如,该状态信息可以是视力大小,或者是不同眼睛的疲劳程度。又例如,也可以是不同眼睛的使用时间等等。
其中,获取用户双眼的状态信息的方式根据状态信息的类型而确定。比如,当需要获取双眼的视力时,可以通过增强现实设备对不同眼睛进行视力测试而获取。具体可以根据实际需求进行设置。
102、根据该状态信息从该第一波导镜片、第二波导镜片中确定目标波导镜片。
可以理解的是,本申请实施例提供的增强现实设备可以是增强现实眼镜,该增强现实眼镜可以是光波导增强现实眼镜。
光波导(optical waveguide)是引导光波在其中传播的介质装置,又称介质光波导。光波导可以将虚拟信息和真实场景融为一体,互相补充,互相“增强”,在不阻挡视线的情况下,既能看到真实的外部世界,也能看到虚拟信息。
例如,虚拟图像光线从光机射出至耦入光栅,耦入光栅对入射光衍射后改变其传播方向,之后在光波导的玻璃内部进行全反射,向耦出光栅传播,到达耦出光栅位置,耦出光栅对入射光衍射后改变其方向,入射到人眼。
则其中,该第一波导镜片、第二波导镜片可以由光波导片、耦入光栅、耦出光栅组成。
其中,根据该状态信息从该第一波导镜片、第二波导镜片中确定目标波导镜片的方法可以有多种,该状态信息可以为用户左右眼的视力,则可以根据视力选取目标波导镜片,具体包括:
该获取用户双眼的状态信息包括:获取用户左眼的第一视力,以及获取用户右眼的第二视力;
该根据该状态信息从该第一波导镜片、该第二波导镜片中确定目标波导镜片包括:
当该第一视力大于该第二视力时,确定该第一波导镜片为目标波导镜片;
或者,当该第二视力大于该第一视力时,确定该第二波导镜片为目标波导镜片。
其中,获取用户左右眼视力的方式可以有多种。例如,AR设备可以在不同眼对应的波导镜片投射光线,以使得在真实场景中显示虚拟的视力测试图像,然后AR设备通过摄像机或者传感器获取用户的注视行为。之后,处理器将用户的注视行为与标准注视行为进行对比,获取用户左右眼的视力测试结果。
举例来说,由于用户的左右眼视力有一定程度的差异,用户单独用左眼或者右眼看显示内容,效果会产生差异,视力好的眼睛看内容更清晰。则可以在左右眼镜镜框内部设计***头,通过摄像头采集人眼左右眼的注视行为。AR设备在不同眼对应的波导镜片投射光线,以使得在真实场景中显示虚拟的视力测试图像,然后AR设备通过摄像机或者传感器获取用户的注视行为。之后,处理器将用户的注视行为与标准注视行为进行对比,获取用户左右眼的视力测试结果。将左右眼视力进行对比,通过视力较好的一侧眼睛所对应的波导镜片显示增强现实信息,该增强显示信息为结合真实场景和虚拟的视力测试图像所显示的信息。譬如,当左眼视力高于右眼视力时,则将第一波导镜片确定为目标波导镜片,并通过左眼显示增强现实信息。
在一些实施例中,该状态信息可以为用户左右眼的疲劳程度,则可以根据疲劳程度来选取目标波导镜片,则具体包括:
该获取用户双眼的状态信息包括:获取用户左眼的第一疲劳程度,以及获取用户右眼的第二疲劳程度;
该根据该状态信息从该第一波导镜片、该第二波导镜片中确定目标波导镜片包括:
当该第一疲劳程度高于该第二疲劳程度时,确定该第二波导镜片为目标波导镜片;
或者,当该第二疲劳程度高于该第一疲劳程度时,确定该第一波导镜片为目标波导镜片。
其中,获取用户左右眼疲劳程度的方法可参考上述实施例,此处不再赘述。
例如,当通过摄像头采集到用户左右眼的画面时,通过画面中血丝的面积和数量确定左右眼的疲劳程度。通过比较左右眼的疲劳程度,将疲劳程度较低的眼睛所对应的波导镜片确定为目标波导镜片。譬如,当左眼的疲劳程度比右眼的疲劳程度高时,则将第二波导镜片确定为目标波导镜片。
在一些实施例中,还可以设定多个疲劳值阈值。当获取到画面中用户左右眼疲劳程度的变化情况时,还可以根据疲劳程度与不同阈值,在AR设备上提出显示建议、显示护眼图片或者是关闭。则该图像显示的控制方法还可以包括:
当目标波导镜片对应的眼睛的疲劳程度大于第一疲劳值阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片对应的眼睛的疲劳程度大于第二疲劳值阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片对应的眼睛的疲劳程度大于第三疲劳值阈值时,停止向该目标波导镜片投射虚拟图像光线。
比如,当用户左眼的疲劳程度超过第一疲劳值阈值时,则通过第一波导镜片输出提示,提示内容为提醒用户用眼过度,应该放松、休息一会儿。当用户左眼的疲劳程度超过第二疲劳值阈值时,通过第一波导镜片显示一些让用户放松的虚拟的绿色自然画面等。在用户左眼的疲劳程度超过第三疲劳值阈值时,则提示用户在数秒后将关闭使用,然后停止向该波导镜片投射光线。
其中,确定目标波导镜片的方法还可以有多种,例如,还可以根据用户的身份信息来确定目标波导镜片,则该方法可以包括:
获取用户的身份信息;根据该身份信息确定用户预先设置的波导镜片;将该用户预先设置的波导镜片确定为该目标波导镜片。
其中,获取用户身份的方法可参考上述实施例,此处不再赘述。
例如,用户在之前使用AR设备时,根据视力情况、使用情况等等,可以预先设置单目显示为第一波导镜片。当用户再次使用AR设备时,通过虹膜识别或者指纹识别、又或者是密码识别等方式确认用户的身份信息,并根据身份信息查找到预先设置的为第一波导镜片,再通过第一波导镜片进行单目显示。
由此可知,本申请实施例通过用户双眼的状态或者用户的身份信息从第一波导镜片和第二波导镜片中选取一个目标波导镜片进行单目显示,有效地提高了增强现实设备的显示的灵活性。
在一些实施例中,在确定了目标波导镜片之后,还可以根据工作时间在不同的波导镜片之间进行切换,实现左眼切换到右眼,或者右眼切换到左眼的显示。则该方法还可以包括:
获取该第一波导镜片的第一工作时间、以及获取该第二波导镜片的第二工作时间;
当该第一工作时间大于该第二工作时间,且该目标波导镜片为该第一波导镜片时,将该目标波导镜片切换为该第二波导镜片;
或者,当该第二工作时间大于该第一工作时间,且该目标波导镜片为该第二波导镜片时,将该目标波导镜片切换为该第一波导镜片。
比如,在AR设备开机后,处理器可以对每个波导镜片的工作时间进行统计,也就是分别统计用户在使用AR设备时的左眼使用时间和右眼使用时间。当第一波导镜片的工作时间高于第二波导镜片,且目标波导镜片是第一波导镜片时,则切换到第二波导镜片。
在一些实施例中,还可以设置多个时间阈值,通过时间阈值和不同波导镜片的工作时间进行比较实现切换。则该图像显示的控制方法还可以包括:
当目标波导镜片的工作时间大于第一时间阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片的工作时间大于第二时间阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片的工作时间大于第三时间阈值时,停止向该目标波导镜片投射虚拟图像光线。
在一些实施例中,在确定了目标波导镜片之后,还可以根据环境亮度在单目显示和双目显示之间进行切换,则该增强现实设备还包括光线分束组件,该方法还可以包括:
获取当前的环境亮度;
当该环境亮度大于预设亮度阈值时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片;
当该环境亮度小于预设亮度阈值时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片,其中该光线分束组件设置于该光线投射组件与该第一波导镜片和该第二波导镜片之间,该光线分束组件与该第一波导镜片和该第二波导镜片的最短距离相等。
举例来说,通过在AR设备上设置亮度传感器,通过亮度传感器获取环境亮度。当判断当前的环境亮度超过阈值时,处理器可以判断用户处于户外场景,则确定当前应该处于单目显示模式。若原来处于双目显示时,则确定目标波导镜片并相应的切换为单目显示;若原来处于单目显示时,则保持不变。
当判断当前的环境亮度低于阈值时,处理器可以判断用户处于室内,当前应该处于双目显示模式。则若原来处于双目显示时,则保持不变;若原来处于单目显示时,则确定目标波导镜片并相应的切换为单目显示。
在一些实施例中,在确定了目标波导镜片之后,还可以根据移动速度在单目显示和双目显示之间进行切换,则该增强现实设备还包括光线分束组件,该方法还可以包括:
获取该增强现实设备当前的移动速度;
当该移动速度大于预设速度阈值时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片;
当该移动速度小于预设速度阈值时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片。
举例来说,通过在AR设备上设置速度传感器获取移动速度。当移动速度大于预设速度阈值时,处理器可以判断用户可能处于运动或者其他高速移动状态(比如骑行、驾驶等状态),确定当前需要单目显示。则相应的,若当前处于单目显示则保持不变,若当前处于双目显示则确定目标波导镜片并切换为单目显示。
当移动速度小于预设速度阈值时,则处理器可以判断当前用户处于静止或者是缓慢移动的状态,确定当前可以双目显示。则相应的,若当前处于双目显示则保持不变,若当前处于单目显示则切换为双目显示。
在一些实施例中,在确定了目标波导镜片之后,还可以根据增强设备的朝向变化在单目显示和双目显示之间进行切换,则该增强现实设备还包括光线分束组件,该方法还可以包括:
当该增强现实设备相对于预设朝向朝左旋转时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该第一波导镜片;
当该增强现实设备相对于预设朝向朝右旋转时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该第二波导镜片;
当该增强现实设备相对于预设朝向不旋转时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片。
举例来说,当通过六轴传感器判断AR设备相对于预设朝向向左旋转,如果预设朝向为正对前方,则可以判断当前用户正在转向左边,则AR设备切换至第一波导镜片进行工作;当判断AR设备相对于预设朝向向右旋转时,则可以判断当前用户正在转向右边,则可以切换至第二波导镜片进行工作。
由此可知,本申请实施例根据环境亮度、用户的移动速度或者增强现实设备的旋转方向,实现了单目显示和双目显示之间的切换,不仅方便了用户使用,而且有效地提升了增强现实设备的图像显示的灵活性。
103、控制该驱动组件驱动该光线传输组件移动至对应该目标波导镜片的光线入射位置,其中该光线传输组件设置于该光线投射组件与该第一波导镜片和该第二波导镜片之间,该第一波导镜片和该第二波导镜片到该光线投射组件的最短距离相等。
其中,该驱动组件用于驱动该光线传输组件移动,该驱动组件可以由驱动部、传动部、缓冲部组成。
在一些实施例中,该驱动部为传动部的运动提供动力,该传动部与该驱动部相连接,当驱动部工作时,随着驱动部的工作可以控制传动部的移动。该缓冲部起到缓冲的作用。在驱动部工作使得传动部发生移动时,该缓冲部可以起到防止传动部移动距离过大或者移动速度过快的情况发生。
其中,驱动组件中驱动部和传动部相连接,传动部和光线传输组件相连接。当确定目标波导镜片之后,驱动部工作使得传动部向外突出或者向里收缩,进而使得光线传输组件也向外或者向里移动,并移动至目标波导镜片对应的光线入射位置。
举例来说,当驱动部向外突出会使得光线传输组件向左移动时,确定了目标波导镜片为第一波导镜片之后,则处理器驱动该驱动部工作,使得传动部向外突出,进而使得光线传输组件向左移动至第一波导镜片对应的光线入射位置。当虚拟图像光线进入光线传输组件,并通过光线传输组件改变传播方向,该光线从光线传输组件中传出后,传输至第一波导镜片对应的光线入射位置,并经过此传输至第一波导镜片,最后投射至人眼。具体实施例可参照上述实施例,此处不再赘述。
104、控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片。
比如,当在光线传输组件移动到目标波导镜片对应的光线入射位置之后,若目标波导镜片为第一波导镜片,则可以虚拟图像光线会经过光线传输组件传导后出射至第一波导镜片。光线在第一波导镜片内传导后出射至人眼,以实现在真实场景中显示虚拟图像。
由上述可知,本申请实施例所提供的图像显示的控制方法获取用户双眼的状态信息;根据状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片,控制驱动组件驱动光线传输组件移动至对应目标波导镜片的光线入射位置,控制光线投射组件投射虚拟图像光线至光线传输组件,以使得虚拟图像光线入射光线传输组件后出射至目标波导镜片。本申请实施例通过控制光线传输组件移动,使得虚拟图像光线可以投射至不同波导镜片后并出射至外界,在真实场景中为用户显示虚拟图像的投影,提高了图像显示的灵活性。
为了便于更好的实施本申请实施例提供的图像显示的控制方法,本申请实施例还提供一种图像显示的控制装置。请参阅图示,图10为本申请实施例提供的图像显示的控制装置的模块示意图。具体而言,该控制装置300包括获取模块310、确定模块320、第一控制模块330、第二控制模块340。
获取模块310,用于获取用户双眼的状态信息;
确定模块320,用于从该第一波导镜片、第二波导镜片中确定目标波导镜片;
第一控制模块330,用于控制驱动组件驱动光线传输组件移动至对应该目标波导镜片的光线入射位置;
第二控制模块340,用于控制光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片。
在一些实施方式中,该状态信息可以为用户左右眼的视力,该获取模块310具体用于获取用户左眼的第一视力,以及获取用户右眼的第二视力;该确定模块320具体用于当该第一视力大于该第二视力时,确定该第一波导镜片为该目标波导镜片;或者,当该第二视力大于该第一视力时,确定该第二波导镜片为该目标波导镜片。
在一些实施方式中,该状态信息可以为用户左右眼的疲劳程度,该获取模块310具体用于获取用户左眼的第一疲劳程度,以及获取用户右眼的第二疲劳程度;该确定模块320具体用于当该第一疲劳程度高于该第二疲劳程度时,确定该第二波导镜片为该目标波导镜片;或者,当该第二疲劳程度高于该第一疲劳程度时,确定该第一波导镜片为该目标波导镜片。
在一些实施方式中,该确定模块320具体用于获取用户的身份信息;根据该身份信息确定用户预先设置的波导镜片;将该用户预先设置的波导镜片确定为该目标波导镜片。
在一些实施方式中,该确定模块320还可以用于:获取该第一波导镜片的第一工作时间、以及获取该第二波导镜片的第二工作时间;当该第一工作时间大于该第二工作时间,且该目标波导镜片为该第一波导镜片时,将该目标波导镜片切换为该第二波导镜片;或者,当该第二工作时间大于该第一工作时间,且该目标波导镜片为该第二波导镜片时,将该目标波导镜片切换为该第一波导镜片。
在一些实施方式中,该确定模块320还可以用于:当目标波导镜片的工作时间大于第一时间阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片的工作时间大于第二时间阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片的工作时间大于第三时间阈值时,停止向该目标波导镜片投射虚拟图像光线。
在一些实施方式中,该确定模块320还可以用于:当用户左眼的第一疲劳度高于右眼的第二疲劳度,且目标波导镜片为第一波导镜片时,切换至第二波导镜片;或者,当用户右眼的第二疲劳度高于左眼的第一疲劳度,且目标波导镜片为第二波导镜片时,切换至第一波导镜片。
在一些实施方式中,该确定模块320还可以用于:当目标波导镜片对应的眼睛的疲劳程度大于第一疲劳值阈值时,向目标波导镜片投射虚拟的提示信息的光线,该提示信息用于提醒用户用眼过度;当目标波导镜片对应的眼睛的疲劳程度大于第二疲劳值阈值时,向目标波导镜片上投射虚拟的护眼图片的光线;当目标波导镜片对应的眼睛的疲劳程度大于第三疲劳值阈值时,停止向该目标波导镜片投射虚拟图像光线。
在一些实施方式中,该确定模块320还可以用于:获取当前的环境亮度;当该环境亮度大于预设亮度阈值时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片;当该环境亮度小于预设亮度阈值时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片,其中该光线分束组件设置于该光线投射组件与该第一波导镜片和该第二波导镜片之间,该光线分束组件与该第一波导镜片和该第二波导镜片的最短距离相等。
在一些实施方式中,该确定模块320还可以用于:获取该增强现实设备当前的移动速度;当该移动速度大于预设速度阈值时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片;当该移动速度小于预设速度阈值时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片。
在一些实施方式中,该确定模块320还可以用于:
当该增强现实设备相对于预设朝向朝左旋转时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该第一波导镜片;
当该增强现实设备相对于预设朝向朝右旋转时,控制该光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该第二波导镜片;
当该增强现实设备相对于预设朝向不旋转时,控制该光线投射组件投射该虚拟图像光线至该光线分束组件,以使得该虚拟图像光线入射该光线分束组件后出射至该第一波导镜片和该第二波导镜片。
由此可知,本申请实施例中图像显示的控制装置300通过获取模块310获取用户双眼的状态信息;确定模块320根据该状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片,第一控制模块330控制驱动组件驱动光线传输组件移动至对应该目标波导镜片的光线入射位置;第二控制模块340控制光线投射组件投射虚拟图像光线至该光线传输组件,以使得该虚拟图像光线入射该光线传输组件后出射至该目标波导镜片。
其中,本文所使用的术语「模块」可看作为在该运算***上执行的软件对象。本文的不同组件、模块、引擎及服务可看作为在该运算***上的实施对象。而本文的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的图像显示的控制方法,比如:
获取用户双眼的状态信息;根据状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片,其中光线投射组件与第一波导镜片和第二波导镜片相对设置;控制驱动组件驱动光线传输组件移动至对应目标波导镜片的光线入射位置,其中光线传输组件设置于光线投射组件与第一波导镜片和第二波导镜片之间,第一波导镜片和第二波导镜片到光线投射组件的最短距离相等;控制光线投射组件投射虚拟图像光线至光线传输组件,以使得虚拟图像光线入射光线传输组件后出射至目标波导镜片。
在本申请实施例中,计算机可读存储介质可以是磁碟、光盘、只读存储器(ReadOnly Memory,ROM)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的图像显示的控制方法而言,本领域普通测试人员可以理解实现本申请实施例的图像显示的控制方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取计算机可读存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像显示的控制方法的实施例的流程。其中,计算机可读存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像显示的控制装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取计算机可读存储介质中,该计算机可读存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像显示的控制方法及增强现实设备、装置、计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像显示的控制方法,应用于增强现实设备,所述增强现实设备包括第一波导镜片、第二波导镜片、光线投射组件、光线传输组件以及驱动组件,其特征在于,所述控制方法包括:
获取用户双眼的状态信息;
根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片,其中所述光线投射组件与所述第一波导镜片和所述第二波导镜片相对设置;
控制所述驱动组件驱动所述光线传输组件移动至对应所述目标波导镜片的光线入射位置,其中所述光线传输组件设置于所述光线投射组件与所述第一波导镜片和所述第二波导镜片之间,所述第一波导镜片和所述第二波导镜片到所述光线投射组件的最短距离相等;
控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片。
2.根据权利要求1所述的图像显示的控制方法,其特征在于,所述状态信息包括视力,所述获取用户双眼的状态信息,包括:
获取用户左眼的第一视力,以及获取用户右眼的第二视力;
所述根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片包括:
当所述第一视力大于所述第二视力时,确定所述第一波导镜片为所述目标波导镜片;
或者,当所述第二视力大于所述第一视力时,确定所述第二波导镜片为所述目标波导镜片。
3.根据权利要求1所述的图像显示的控制方法,其特征在于,所述状态信息包括疲劳程度,所述获取用户双眼的状态信息,包括:
获取用户左眼的第一疲劳程度,以及获取用户右眼的第二疲劳程度;
所述根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片包括:
当所述第一疲劳程度高于所述第二疲劳程度时,确定所述第二波导镜片为所述目标波导镜片;
或者,当所述第二疲劳程度高于所述第一疲劳程度时,确定所述第一波导镜片为所述目标波导镜片。
4.根据权利要求1所述的图像显示的控制方法,其特征在于,所述控制方法还包括:
获取用户的身份信息;
根据所述身份信息确定用户预先设置的波导镜片;
将所述用户预先设置的波导镜片确定为所述目标波导镜片。
5.根据权利要求1所述的图像显示的控制方法,其特征在于,所述控制方法还包括:
获取所述第一波导镜片的第一工作时间、以及获取所述第二波导镜片的第二工作时间;
当所述第一工作时间大于所述第二工作时间,且所述目标波导镜片为所述第一波导镜片时,将所述目标波导镜片切换为所述第二波导镜片;
或者,当所述第二工作时间大于所述第一工作时间,且所述目标波导镜片为所述第二波导镜片时,将所述目标波导镜片切换为所述第一波导镜片。
6.根据权利要求1至5任一项所述的图像显示的控制方法,其特征在于,所述增强现实设备还包括光线分束组件,所述控制方法还包括:
获取当前的环境亮度;
当所述环境亮度大于预设亮度阈值时,控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片;
当所述环境亮度小于预设亮度阈值时,控制所述光线投射组件投射所述虚拟图像光线至所述光线分束组件,以使得所述虚拟图像光线入射所述光线分束组件后出射至所述第一波导镜片和所述第二波导镜片。
7.根据权利要求6所述的图像显示的控制方法,其特征在于,所述控制方法还包括:
获取所述增强现实设备当前的移动速度;
当所述移动速度大于预设速度阈值时,控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片;
当所述移动速度小于预设速度阈值时,控制所述光线投射组件投射所述虚拟图像光线至所述光线分束组件,以使得所述虚拟图像光线入射所述光线分束组件后出射至所述第一波导镜片和所述第二波导镜片。
8.根据权利要求6所述的图像显示的控制方法,其特征在于,所述控制方法还包括:
当所述增强现实设备相对于预设朝向朝左旋转时,控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述第一波导镜片;
当所述增强现实设备相对于预设朝向朝右旋转时,控制所述光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述第二波导镜片;
当所述增强现实设备相对于预设朝向不旋转时,控制所述光线投射组件投射所述虚拟图像光线至所述光线分束组件,以使得所述虚拟图像光线入射所述光线分束组件后出射至所述第一波导镜片和所述第二波导镜片。
9.一种图像显示的控制装置,其特征在于,包括:
获取模块,用于获取用户双眼的状态信息;
确定模块,用于根据所述状态信息从第一波导镜片、第二波导镜片中确定目标波导镜片;
第一控制模块,用于控制驱动组件驱动光线传输组件移动至对应所述目标波导镜片的光线入射位置;
第二控制模块,用于控制光线投射组件投射虚拟图像光线至所述光线传输组件,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述目标波导镜片。
10.一种增强现实设备,其特征在于,包括:
第一波导镜片、第二波导镜片;
状态获取组件,所述状态获取组件用于获取用户双眼的状态信息;根据所述状态信息从所述第一波导镜片、所述第二波导镜片中确定目标波导镜片;
光线投射组件,所述光线投射组件与所述第一波导镜片和所述第二波导镜片相对设置,所述光线投射组件用于投射虚拟图像光线;
光线传输组件,所述光线传输组件设置于所述光线投射组件与所述第一波导镜片和所述第二波导镜片之间,所述第一波导镜片和所述第二波导镜片到所述光线投射组件的最短距离相等,所述光线传输组件用于传导所述虚拟图像光线;
驱动组件,所述驱动组件与所述光线传输组件连接,所述驱动组件用于驱动所述光线传输组件移动,以使得所述虚拟图像光线入射所述光线传输组件后出射至所述第一波导镜片或所述第二波导镜片;
处理器,所述处理器分别与所述状态获取组件、所述驱动组件、所述光线投射组件连接,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-9中任一所述的图像显示的控制方法。
11.根据权利要求10所述的增强现实设备,其特征在于,所述光线传输组件沿平行于所述第一波导镜片和所述第二波导镜片的方向移动。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至8任一项所述的图像显示的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241355.1A CN112255800B (zh) | 2020-11-09 | 2020-11-09 | 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241355.1A CN112255800B (zh) | 2020-11-09 | 2020-11-09 | 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112255800A true CN112255800A (zh) | 2021-01-22 |
CN112255800B CN112255800B (zh) | 2022-12-20 |
Family
ID=74266581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011241355.1A Active CN112255800B (zh) | 2020-11-09 | 2020-11-09 | 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112255800B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113419343A (zh) * | 2021-05-20 | 2021-09-21 | 歌尔股份有限公司 | 头戴式显示设备、显示控制方法、装置及存储介质 |
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
US11747628B2 (en) * | 2021-12-13 | 2023-09-05 | Toyota Jidosha Kabushiki Kaisha | AR glasses |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014142534A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN104166236A (zh) * | 2013-05-17 | 2014-11-26 | 许振宇 | 多媒体投影眼镜 |
US20150077312A1 (en) * | 2011-05-13 | 2015-03-19 | Google Inc. | Near-to-eye display having adaptive optics |
CN104508538A (zh) * | 2012-07-24 | 2015-04-08 | 索尼公司 | 图像显示装置及图像显示方法 |
CN206161958U (zh) * | 2016-07-18 | 2017-05-10 | 深圳珑璟光电技术有限公司 | 用于增强现实显示的交互头戴显示设备 |
CN107037588A (zh) * | 2017-03-24 | 2017-08-11 | 华勤通讯技术有限公司 | 一种虚拟现实设备、及其显示图像调整方法 |
CN107272210A (zh) * | 2017-08-14 | 2017-10-20 | 上海理湃光晶技术有限公司 | 一种能改善视觉体验的波导显示结构 |
CN107608075A (zh) * | 2017-08-28 | 2018-01-19 | 陈超平 | 一种基于视网膜投影的近眼显示装置 |
CN110515461A (zh) * | 2019-08-23 | 2019-11-29 | Oppo广东移动通信有限公司 | 交互方法、头戴设备、交互***和存储介质 |
-
2020
- 2020-11-09 CN CN202011241355.1A patent/CN112255800B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150077312A1 (en) * | 2011-05-13 | 2015-03-19 | Google Inc. | Near-to-eye display having adaptive optics |
CN104508538A (zh) * | 2012-07-24 | 2015-04-08 | 索尼公司 | 图像显示装置及图像显示方法 |
JP2014142534A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN104166236A (zh) * | 2013-05-17 | 2014-11-26 | 许振宇 | 多媒体投影眼镜 |
CN206161958U (zh) * | 2016-07-18 | 2017-05-10 | 深圳珑璟光电技术有限公司 | 用于增强现实显示的交互头戴显示设备 |
CN107037588A (zh) * | 2017-03-24 | 2017-08-11 | 华勤通讯技术有限公司 | 一种虚拟现实设备、及其显示图像调整方法 |
CN107272210A (zh) * | 2017-08-14 | 2017-10-20 | 上海理湃光晶技术有限公司 | 一种能改善视觉体验的波导显示结构 |
CN107608075A (zh) * | 2017-08-28 | 2018-01-19 | 陈超平 | 一种基于视网膜投影的近眼显示装置 |
CN110515461A (zh) * | 2019-08-23 | 2019-11-29 | Oppo广东移动通信有限公司 | 交互方法、头戴设备、交互***和存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN115248501B (zh) * | 2021-04-27 | 2023-11-21 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN113419343A (zh) * | 2021-05-20 | 2021-09-21 | 歌尔股份有限公司 | 头戴式显示设备、显示控制方法、装置及存储介质 |
US11747628B2 (en) * | 2021-12-13 | 2023-09-05 | Toyota Jidosha Kabushiki Kaisha | AR glasses |
Also Published As
Publication number | Publication date |
---|---|
CN112255800B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112255800B (zh) | 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质 | |
US9588341B2 (en) | Automatic variable virtual focus for augmented reality displays | |
US10048750B2 (en) | Content projection system and content projection method | |
US11036050B2 (en) | Wearable apparatus and unmanned aerial vehicle system | |
US10488917B2 (en) | Gaze-tracking system and method of tracking user's gaze using reflective element | |
JP2017102768A (ja) | 情報処理装置、表示装置、情報処理方法、及び、プログラム | |
CN111830714B (zh) | 图像显示控制方法、图像显示控制装置及头戴式显示设备 | |
CA2815526A1 (en) | Automatic focus improvement for augmented reality displays | |
CN118091961A (zh) | 具有mems扫描器的紧凑型显示引擎 | |
KR20150073853A (ko) | 광학 투시 유리 타입 디스플레이 장치 및 대응하는 광학 유닛 | |
US11841510B1 (en) | Scene camera | |
US20190235246A1 (en) | Method and apparatus for showing emoji on display glasses | |
JP2006153967A (ja) | 情報表示装置 | |
CN112346558A (zh) | 眼睛跟踪*** | |
WO2021210235A1 (ja) | 電子機器 | |
CN212460199U (zh) | 头戴式显示设备 | |
CN110275620B (zh) | 交互方法、交互装置、头戴设备和存储介质 | |
CN116137801A (zh) | 使用交替采样的眼睛跟踪 | |
EP3318914A1 (en) | Gaze tracking | |
CN105785749B (zh) | 一种显示方法及电子设备 | |
US10858243B2 (en) | Backside reinforcement structure design for mirror flatness | |
CN114326104B (zh) | 具有结构光检测功能的扩增实境眼镜 | |
US20230115411A1 (en) | Smart eyeglasses | |
CN114252998A (zh) | 近眼显示装置 | |
CN116149051A (zh) | 一种透镜组件、红外补光方法及眼动跟踪方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |