CN114174893A - 具有降低功耗的显示装置 - Google Patents
具有降低功耗的显示装置 Download PDFInfo
- Publication number
- CN114174893A CN114174893A CN202080051725.7A CN202080051725A CN114174893A CN 114174893 A CN114174893 A CN 114174893A CN 202080051725 A CN202080051725 A CN 202080051725A CN 114174893 A CN114174893 A CN 114174893A
- Authority
- CN
- China
- Prior art keywords
- spatial light
- light modulation
- view
- field
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002829 reductive effect Effects 0.000 title description 7
- 238000005286 illumination Methods 0.000 claims abstract description 86
- 230000003287 optical effect Effects 0.000 claims abstract description 74
- 230000033001 locomotion Effects 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000008878 coupling Effects 0.000 claims description 24
- 238000010168 coupling process Methods 0.000 claims description 24
- 238000005859 coupling reaction Methods 0.000 claims description 24
- 230000004075 alteration Effects 0.000 claims description 21
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000012937 correction Methods 0.000 description 14
- 239000011521 glass Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 235000009508 confectionery Nutrition 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000010287 polarization Effects 0.000 description 5
- 101710171187 30S ribosomal protein S10 Proteins 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 101000812304 Bacillus subtilis (strain 168) 30S ribosomal protein S16 Proteins 0.000 description 3
- 101000675258 Geobacillus stearothermophilus 30S ribosomal protein S19 Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 101710171219 30S ribosomal protein S13 Proteins 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 101000811743 Mesostigma viride Uncharacterized protein ycf20 Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3152—Modulator illumination systems for shaping the light beam
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3155—Modulator illumination systems for controlling the light source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/317—Convergence or focusing systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Abstract
本发明涉及一种显示装置,其包括用于发光的照明装置(10)、用于调制入射光的空间光调制装置(19)、光学***和控制装置。光学***用于生成作为片段的空间光调制装置的至少一个图像,其中光学***还包括用于将空间光调制装置的图像引导到用户视场(18)中的限定位置的偏转装置(12)。该控制装置连接到该照明装置和该偏转装置,并设计为基于对该偏转装置的控制来切换该照明装置。
Description
本发明涉及一种用于显示二维和/或三维信息(如对象或场景)的显示装置,该显示装置提供了低功耗。本发明优选地涉及增强现实(AR)显示装置或显示器。例如,这包括头戴式显示器和平视显示器。然而,应注意的是,本发明不应被解释为仅限于这种显示器。
此外,本发明还涉及一种显示二维和/或三维信息的方法,通过该方法显示装置的功耗会降低。
所谓的空间光调制器可以根据所需的信息和要显示的信息来调制入射光,这种空间光调制器通常用于表示二维和/或三维场景的显示装置中。在这种情况下,已知不同类型的空间光调制器(也被称为SLM)。例如,可以用于此目的的一种空间光调制器是LCoS-SLM(硅基液晶空间光调制器),它反射而不是透射入射光。LCoS-SLM的范围通常非常小,例如有小于20毫米的对角线,但可以有很大量的像素,例如4000×2000像素。LCoS-SLM作为一种商业产品存在,用于调制光的振幅和相位。LCoS-SLM的优点显然是它的反射率。然而,也有一些小的缺点,如其速度,这是受到在SLM中液晶的反应时间的限制。在某些情况下,LCoS-SLM可以实现例如60赫兹,甚至几百赫兹(例如180赫兹或240赫兹)的帧率。然而,不能达到大于500Hz的帧率。
另一种类型的SLM是MEMS-SLM(微机电***空间光调制器),其比LCoS-SLM的主要优势是其更高的速度。另一个优点是它能够以更稳定的方式设置调制值、相位值或振幅值并且比LCoS-SLM更不容易发生误差。例如,在MEMS-SLM的情况下,相邻像素的调制值可以改进地相互独立地设置,而在LCoS-SLM的情况下,相邻像素的调制值会不希望地相互影响。另一方面,商业上可用的振幅调制的MEMS-SLM目前仅限于二进制类型,且目前在显示市场上没有发现例如用于光刻领域的相位调制的MEMS-SLM。此外,这种MEMS-SLM具有相对较少的像素数量,例如少于VGA(640×480像素)。
一般来说,制造新的空间光调制器(SLM)的工作量和成本随着像素数量的增加而增加。此外,显示装置中的功耗或电流消耗也起着重要的作用。在这方面,还必须考虑到空间光调制器的电流消耗。空间光调制器的电流消耗的很大一部分可以追溯到对空间光调制器的像素的数据传输。然而,功耗也取决于从空间光调制器的边缘到各个像素的数据线的长度。一个体积较小、平均像素数较低的空间光调制器具有较短的数据线,因此通常功耗较低。因此,与具有大量像素但帧率较低的空间光调制器相比,如果两者单位时间内写入的像素数量相同,即使像素数较低的空间光调制器以高帧率或帧频率操作,其也会更节能。
对于移动显示装置(例如连接到观察者或用户的头并且不能通过电缆连接到电源***的头戴式显示器),功耗是特别重要的因素。
在这种情况下,使用具有少量像素的空间光调制器的显示装置将被认为是有利的。另一方面,对于头戴式显示器(HMD),需要大量的像素来产生具有良好分辨率的大视场(FoV)。对于平面二维(2D)图像显示器,典型值是60像素/度视场,因为该值(60像素/度视场)对应于人眼的分辨率。然而,对于三维(3D)场景的全息表示,每度视场需要更多数量的像素。
例如,60度×30度的视场需要3600像素×1800像素来生成平面的二维图像,但是需要更多的像素(例如15000像素×7500像素)来生成全息图像。分辨率约为4000像素×2000像素的LCoS-SLM已经作为商业产品存在。然而,这些产品仍然有明显的缺点。更高的分辨率通常通过使用更小的像素来实现,例如尺寸为3到5微米的像素,这在LCoS-SLM中增加了调制值对误差的敏感性,例如相邻像素对调制值的不希望的影响。然而,如果使用较大的像素,例如尺寸为8至10微米的像素,则在4000×2000像素的分辨率下获得不利于头戴式显示器的安装体积和总重量的LCoS-SLM的尺寸和重量。该尺寸也会对LCoS-SLM的生产成本产生不利影响。
例如,申请人的专利文件(例如专利文献WO 2018/146326A1、WO 2019/012028A1、WO 20118/211074A1、WO 2019/076963A)已公开了头戴式显示器形式的显示装置,每个显示装置包括光导装置、耦合装置和解耦装置以及在光路中布置在光耦合到光导之前的附加光学元件。头戴式显示器不包括光导,但已知布置了聚焦装置,例如透镜元件和/或弯曲反射镜元件,例如来自专利文献US 2010/0097671或US 2013/0222384。
专利文献US 2013/0222384描述了空间光调制器的分段的多图像。在这种情况下,通过按时间顺序产生各个片段利用成像空间光调制器产生大视场,其中成像空间光调制器各自在视场中的不同位置执行。在专利文献US2013/0222384的一个实施例中,使用以相同程度旋转的两个反射镜的布置来生成片段。
虽然整个视场或至少其大部分通常充满显示装置(如电视、笔记本或平板电脑或其他VR(虚拟现实)头戴显示器)中的内容或信息,但AR(增强现实)显示装置或AR显示器的情况与此不同。这种增强现实显示器也称为混合现实显示器,其允许人通过透明或半透明的***查看以观察他们的物理环境,另外还看到虚拟对象的图像(例如文字、图形、视频等),例如该图像通过叠加的方式作为物理环境的一部分出现。因此,对一个人的自然感知或周围环境的额外信息的显示或表示或叠加被称为增强现实(AR)。在这种情况下,这些额外显示的信息(例如更精确地设定为速度显示、温度显示、标志、警告或作为辅助功能、导航***功能、无线电功能或商店显示)被覆盖在人的视场中,而人的行为或操作行为不会受到不利影响。因此,对于AR显示来说,除了虚拟生成的对象外,用户仍然可以观察他们的物理环境是很重要的。因此,只有一小部分物理环境可以被对象的内容所隐藏,这些内容通过AR显示器显示给用户。然而,与电视或VR-HMD等显示装置的应用相比,即使是在有明亮阳光的环境中,AR显示器也需要更大的亮度,因为用户应该以与物理环境中大致相同的亮度水平看到信息或虚拟物体。此外,作为移动装置的AR显示器也需要低功耗,例如AR头戴式显示器(AR-HMD)。
因此,本发明的目的是提供一种允许三维表示信息的装置和方法。此外,该装置应结构紧凑,重量低,而且要节能。
根据本发明,通过具有权利要求1的特征的装置来实现所述目的。
根据本发明,提供一种显示装置,该显示装置具体实施为AR(增强现实)显示装置或AR显示器。优选地,AR显示器实施为AR头戴显示器或AR抬头显示器。该装置包括照明装置、空间光调制装置、光学***和控制装置。照明装置用于发射例如基本相干的光。空间光调制装置用于调制由照明装置发出的光,并且可包括至少一个空间光调制器。该光学***相应地用于生成作为片段的空间光调制装置的至少一个图像,该光学***除了包括至少一个成像元件之外,还包括用于将空间光调制装置的图像引导到用户视场中的限定位置的偏转装置。该控制装置连接到该照明装置和该偏转装置,并实施为基于对该偏转装置的控制来控制或切换该照明装置。
将根据AR显示器(尤其是AR头戴式显示器)更详细地解释该目的,但如前所述地,不应被解释为仅限于这种类型的显示器。
AR显示器是一种显示装置,在该显示装置中虚拟信息或对象叠加在使用AR显示器的人或用户的物理环境上,因此用户可以在观察其物理环境时接收正在或可能使用的附加信息。例如,当观光时,可以向根据本发明的显示装置的用户或装置显示与关注点或导航建议相关的信息,然后将其叠加在用户视场的物理环境上。为了获得虚拟信息在用户视场中的真实信息的叠加,根据本发明的显示装置的光学***包括偏转装置,通过该偏转装置,生成的空间光调制装置的图像由光学***引导到用户视场中的限定位置或地点,以便将要求的信息或要求的对象叠加到用户的物理环境中并将其显示给用户。为此,根据本发明的显示装置的控制装置连接到照明装置和偏转装置,以便能够适当地控制照明装置和偏转装置。由控制装置根据对偏转装置的控制来控制或切换照明装置。这意味着控制光学***的偏转装置,并设置视场中应显示或表示虚拟信息或虚拟对象的位置。一经到达视场中要求的位置,就通过控制装置控制照明装置,以使照明装置相应地发射光,光入射到空间光调制装置上,并且利用光学***生成图像。因此,空间光调制装置的此图像作为片段被引导到用户视场中的限定位置,并覆盖在视场中的物理环境上,以便用户可以观察由此所表示的信息。
这样,可以创建用于显示二维和/或三维信息的显示装置,所述显示装置包括少量部件,因此紧凑且具有低重量。此外,根据本发明的显示装置能够以节能的方式向用户表示所要求的信息,因为在控制装置相应地控制照明装置发光时,只有产生要表示的虚拟信息的数据被传输或传递到空间光调制装置或由空间光调制装置自身产生。这意味着仅针对视场中要利用根据本发明的显示装置表示或显示虚拟信息的区域实现要显示的虚拟信息的计算,例如形成用于显示全息三维信息或对象的整体全息图的子全息图的计算和加和,或者另一种类型的图像处理,例如远离显示立体场景及其显示器的用户焦点的对象的模糊化。在视场中不打算显示虚拟信息的其他区域不计算数据,或者在另一个实施例中不计算数据且不将数据传输到空间光调制装置中。这样,就可以显著降低数据传输的功耗。
因此,根据本发明的显示装置可以有利地实施为结合物理环境和表示或显示虚拟信息(如二维和/或三维对象)的增强现实显示器。在这种情况下,生成的包含虚拟信息的作为片段的空间光调制装置的至少一个图像仅占据视场的一部分,例如2%至30%,或另外的仅5%至20%。这意味着视场中只包含很少的虚拟信息。换言之,作为片段的所表示的空间光调制装置的图像或者作为多个片段的所表示的空间光调制装置的多个图像没有完全填充视场或者仅构成视场的一部分,因此,在视场中填充真实信息或允许用户观察其物理环境的间隙或区域存在于表示的虚拟信息之间,所表示的虚拟信息各自构成完整的虚拟信息。作为片段的空间光调制装置的图像或作为片段的空间光调制装置的多个图像一起可以形成虚拟信息,进而通过间隙与视场中另一个表示的虚拟信息分开,观察者可以通过间隙感知物理环境。
要表示的虚拟信息可以以全息或立体的方式生成。此外,虚拟信息可以显示为二维或三维表示。二维表示和三维表示的组合也是可行的。根据本发明,术语“虚拟信息”不应被理解为仅指完全生成的虚拟信息,例如对象或场景,而是也应代表仅部分虚拟信息,例如对象的一部分或场景的一部分。
本发明的另外有利的配置和发展来自另外的从属权利要求。
在本发明的尤其有利的配置中,可以设置光学***用于生成空间光调制装置的至少两个图像以及根据空间光调制装置的图像的数量生成虚拟可见区域,其中作为片段的空间光调制装置的至少两个图像呈现于视场中。
有利地,在视场中作为片段的空间光调制装置的至少两个图像可以相互组合和/或可以部分重叠或可以通过间隙彼此隔开。
优选地在视场中以时间连续的方式生成空间光调制装置的图像。
生成空间光调制装置的至少两个图像及其在根据本发明的显示装置的用户的视场中的表示形成了在视场中的虚拟信息的分段表示。通过将作为片段的空间光调制装置的多个图像组合,可以创建大视场或大视角。例如,可以使用一定数量的片段,例如超过10个片段、超过30个片段或超过50个片段,实现虚拟信息在用户视场中的表示。
在每帧中作为片段的空间光调制装置的图像的数量可以有利地在最小值(例如作为片段的一个图像)和最大值(例如作为片段的10至50个图像)之间进行不同的设置,并且在每帧中作为片段的空间光调制装置的图像在视场中的位置可以进行不同地设置。
在这种情况下,在视场中作为片段的空间光调制装置的图像的数量和位置的确定取决于用户的物理环境。这意味着空间光调制装置的图像的数量和位置可以根据真实的环境进行设置。因此,作为片段的空间光调制装置的显示图像的数量和位置是可根据视场中需要的虚拟信息而变化和调节的。
为此,用户或观察者通过观察者平面上的虚拟可见区域观察表示的二维和/或三维信息或表示的二维和/或三维对象。
这意味着在生成作为片段的空间光调制装置的各个图像时,在观察者平面中生成虚拟可见区域,其中生成的所有虚拟可见区域应出现在观察者平面的相同位置,并且应针对观察者的眼睛相互叠加。
根据本发明,该情况应解释为,在沿全息图的编码方向编码在空间光调制装置上的虚拟信息的全息生成和表示期间存在作为虚拟可见区域的虚拟观察者窗口,并且在视场中虚拟信息的立体表示的情况下,存在也称为“最佳点”的最佳视觉区域作为虚拟可见区域。根据虚拟信息的表示方式,虚拟观察者窗口和最佳点因此各自或一起形成观察者平面中的虚拟可见区域,用户(具体是用户的眼睛)位于观察者平面中以观察生成的信息。
因此,例如可以以全息方式生成并表示要表示的三维信息的例如一个或多个片段,该三维信息应该位于用户眼睛的观看方向上并且因此入射在眼睛小窝中心的视网膜上。然而,可以以立体方式生成和表示要表示的相同的或另外的三维信息的一个或多个片段,该片段并非位于用户眼睛的观看方向上,其入射在眼睛的视网膜上但并非在小窝的中心。
为了基本上或完全避免潜在的收敛-适应冲突,用于在视场中显示虚拟信息的各个片段应纯粹以全息方式生成,因为与虚拟信息的立体表示相比,全息方式可以实现重建信息或对象的更真实的深度表示。
此外,可以将空间光调制装置的至少一个图像设置为整个空间光调制装置的图像表示或空间光调制装置的仅一部分的图像表示。
一般来说,空间光调制装置的图像形成了叠加在用户的物理环境或真实视场上的片段,因此是用户视场的一部分。可以通过整个空间光调制装置(即空间光调制装置的总面积)的图像表示来形成视场中的片段,由根据本发明的显示装置生成片段并且片段包含虚拟信息,因此空间光调制装置的所有像素都有助于该片段的生成。可选地,也可以通过空间光调制装置的一部分或部分的图像表示来创建生成的片段,即并非是空间光调制装置的所有像素都用于片段的生成。
因此,生成的各个片段仅覆盖或隐藏了根据本发明的装置的用户的视场中的一个小区域。举例来说,单个片段可以覆盖整个视场的仅约3°×3°或约5°×3°或约7°×7°的区域,但并非意在将本发明限制于这些数值数据。例如,在这种情况下,整个视场可以跨越约40°×20°或约60°×30°或60°×60°的区域,这些数值数据也并非意在解释为限制性的。这也意味着包含虚拟信息和叠加在物理环境上的片段的数量小于由片段构造的整个视场所需的片段的数量或利用片段生成整个视场所使用的片段的数量。例如,如果整个视场包含约为60°×60°的区域,并且单个片段的尺寸约为5°×5°,那么理论上将需要12×12个片段(即144个片段)生成整个视场。然而,如果只需要用虚拟信息(例如使用二维和/或三维对象)填充大约15%的视场,那么根据片段的尺寸,大约只选择25至30个片段便足以在视场中显示所需的信息。因此,可以节省更多的时间和实现更高的能源效率。
在本发明的有利配置中,可以设置为,偏转装置包括可移动安装的至少一个扫描反射镜元件或至少一个光栅元件。
优选地,根据本发明的用于偏转和引导光的装置包括至少一个扫描反射镜元件。由于以可移动方式安装,至少一个扫描反射镜元件可以移动或旋转,并且可以将生成的作为片段的空间光调制装置的图像引导到用户视场中的限定位置。这样,就可以生成空间光调制装置的多个图像,并将这些图像引导到视场中的限定位置。商用扫描反射镜可用作扫描反射镜元件。
在本发明的另一配置中,偏转装置可以包括至少一个光栅元件,例如可切换光栅元件或偏振选择光栅元件(例如与偏振开关组合的偏振光栅)。例如,该偏转装置可以包括具有不同光栅周期的光栅元件的堆叠结构,以便可以通过N个光栅的不同组合来设置从2到2的N次方(2N)的不同偏转角度。
在本发明的另外的配置中,偏转装置还可以包括至少一个扫描反射镜元件和至少一个光栅元件(例如体光栅)的组合。在这种情况下,至少一个光栅元件或体光栅具有角度选择性。如果扫描反射镜元件设置为使光在光栅元件的角度选择范围内入射在光栅元件或体光栅上,则光被光栅元件或体光栅进一步偏转。因此,通过光栅元件或体光栅来放大扫描反射镜元件的偏转角。如果扫描反射镜元件设置为使光在光栅元件的角度选择范围外入射在光栅元件或体光栅上,则所述光不被所述光栅元件或体光栅偏转。扫描反射镜元件可用于选择多个光栅元件或体光栅中的一个,它们的角度选择性和偏转角度具有不同的设置,所选择的光栅元件或体光栅然后使光进一步偏转。
然而,本发明不应被解释为局限于某种类型的偏转装置。
为了将根据本发明的装置产生的虚拟信息叠加在视场中的真实信息上,可以有利地使光学***包含至少一个组合器。
因此,至少一个组合器组合来自用户的物理环境的信息和根据本发明的装置在用户的视场中所产生的信息,以便用户的眼睛可以在视场中看到和观察这两个信息项。
在本发明的一个配置中,至少一个组合器可以是反射光的部分反射镜元件,反射镜元件将在光路中来自光调制装置的反射光至少部分地发射到用户眼睛的方向上,并且至少部分地传输环境光。在平视显示器的情况下,至少一个组合器可以是例如交通工具(例如车辆)的挡风玻璃。
在本发明的另一个配置中,至少一个组合器也可以是光导,它在光路方面将从光调制装置发出的光解耦到用户的眼睛的方向上并且至少部分地透射环境光。
有利地,偏转装置可以布置在空间光调制装置和组合器之间或在照明装置和空间光调制装置之间。
例如,偏转装置及其因此的至少一个扫描反射镜元件可以布置在空间光调制装置的傅里叶平面上。此外,该傅里叶平面利用光学***成像到观察者平面,其中用户的眼睛位于观察者平面中,在所述观察者平面中生成虚拟可见区域(即虚拟观察者窗口或最佳点),用户必须通过虚拟可见区域注视以便能够观察视场中所表示的虚拟信息。如果偏转装置的至少一个扫描反射镜元件在运动,而观察者平面中的虚拟可见区域的位置保持静止,则作为片段的空间光调制装置的生成图像移动到视场中的限定位置。
在本发明的另一个有利配置中,可以设置为,偏转装置包括两个扫描反射镜元件,这些元件可以以彼此同步的方式旋转。
也可以使用两个扫描反射镜元件的组合来将作为片段的空间光调制装置的图像引导到视场中的限定位置。这些扫描反射镜元件可以以彼此同步的方式旋转或移动。由于扫描反射镜元件彼此的同步运动,同样可以获得作为片段的空间光调制装置的图像或空间光调制装置的图像平面的向视场中的限定位置的运动,而不发生观察者平面中的虚拟可见区域的位置的变化。然后可以将两个扫描反射镜元件布置在根据本发明的装置中,使得例如一个扫描反射镜元件在光的方向上布置在空间光调制装置的傅里叶平面的上游,并且另一个扫描反射镜元件在光的方向上布置在傅里叶平面的下游。
同样,在本发明的另一配置中,还可以设置为,偏转装置包括至少两个光栅元件,它们都以彼此同步的方式切换。由于两个光栅元件的同步切换,同样可以获得作为片段的空间光调制装置的图像或空间光调制装置的图像平面向视场中限定位置的移动,但在观察者平面中的虚拟可见区域的位置不发生变化。例如,一个光栅元件在光的方向上布置在空间光调制装置的傅里叶平面的上游,另一个光栅元件在光的方向上布置在傅里叶平面的下游。
优选地,至少一个组合器可以包括至少一个聚焦元件或至少一个聚焦功能件。
至少一个组合器可以包括至少一个聚焦元件,以便将要表示的虚拟信息引导或设置在视场中要求深度处的深度区域中。在这种情况下,聚焦元件优选地以下列方式实施,即它不损害或影响视场中物理环境的感知。例如,聚焦元件可以实施为具有有限接受角的光栅元件,优选为具有有限接受角的体光栅。在这种情况下,接受角与携带信息的光的入射角相匹配,而与来自物理环境的入射到光栅元件上的光的入射角范围不匹配。因此,从物理环境入射到光栅元件上的光不受光栅元件的影响,且不受损害地穿过光栅元件。
例如,组合器可以实施为部分反射镜或光导,在组合器表面上设置或连接聚焦元件,例如光栅元件。
作为其替代方案,至少一个组合器自身通过具有弯曲或至少部分弯曲的实施方式而具有聚焦功能。利用至少一个组合器,通过组合器的弯曲的实施方式可以实现光或作为片段的空间光调制装置的图像在限定的z位置(沿z方向或沿光学***的光轴方向)的聚焦。换言之,至少一个组合器可以至少部分弯曲。例如,如果至少一个组合器实施为部分反射镜元件,则反射镜表面可以弯曲或成拱形,例如成凹面镜的形式,因此在本发明的配置中具有聚焦功能。例如,也可以将曲面和至少一个组合器的该表面上的附加光栅元件组合。
因此,至少一个组合器可以实施为眼镜片或作为挡风玻璃。在这种情况下,它可以具有扁平或平面实施方式,并包括聚焦元件。然而,至少一个组合器也可以具有至少部分弯曲的实施方式,因此自身作为聚焦元件或另外与聚焦元件结合。
在本发明的有利配置中,还可以设置为,在偏转装置中设置至少一个扫描反射镜元件的连续移动或至少一个扫描反射镜元件的固定限定增量的逐步移动。
因此,至少一个扫描反射镜元件可以连续或逐步移动,以便将作为片段的空间光调制装置的图像引导到视场中要求的位置。
例如,可以以下列方式实施至少一个扫描反射镜元件的逐步移动,即扫描反射镜元件移动限定的角度,然后在此时在限定的固定扫描反射镜元件位置停止,以相应地控制根据本发明的装置的控制装置,使得照明装置发光,从而生成作为片段的空间光调制装置的图像,并且通过扫描反射镜的追踪将该片段引导到视场中的位置。这意味着控制装置仅在扫描反射镜元件的停止状态下控制照明装置,因此通过空间光调制装置用所需的信息调制由所述照明装置发射的光,并且通过光学***生成空间光调制装置的图像,所述图像随后由扫描反射镜元件引导到视场中的指定位置。在生成空间光调制装置的图像并引导到视场中的要求位置之后,通过控制装置使扫描反射镜元件移动另一限定的角度,其中扫描反射镜元件的运动再次停止,从而能够生成空间光调制装置的另一图像并将其引导到视场中的另一设定位置。扫描反射镜元件的这种启停运动在高速下是可行的。用于此目的的合适的反射镜元件是已知的。为此,根据本发明的装置的照明装置应包括可以以脉冲方式操作的至少一个光源。然后,只有扫描反射镜元件处于停止状态,照明装置或至少一个光源才处于激活状态。如果扫描反射镜元件在运动中,则照明装置或光源处于关闭状态。
作为至少一个扫描反射镜元件的逐步移动的替代方案,还可以提供至少一个扫描反射镜元件的连续移动。然而,至少一个扫描反射镜元件的连续移动也会导致空间光调制装置的产生的图像的连续位移。然而,这是不需要的。为了抵消空间光调制装置的图像在其生成之后的这种连续运动,在至少一个扫描反射镜元件连续移动的情况下可以有利地设置为,至少一个扫描反射镜元件与补偿反射镜元件进行组合,该补偿反射镜元件与至少一个扫描反射镜元件进行同步运动,即两个反射镜元件进行相同程度的移动的情况下,空间光调制装置的图像在固定不变的位置处生成,在两个反射镜元件进行相反移动的情况下,空间光调制装置的图像可在视场中移位。由于设置了具有可控实施方式的补偿反射镜元件,在图像生成期间可以将空间光调制装置的图像保持在相同的要求位置,且因此将所述图像引导到视场中的限定位置。补偿控制元件同样可以由控制装置进行控制。两个运动(即至少一个扫描反射镜元件的运动和与之同步的补偿反射镜元件的运动)可以彼此组合,从而将作为片段的空间光调制装置的图像引导到视场中所需的位置。例如,至少一个扫描反射镜元件可以与补偿反射镜元件组合,使得在扫描反射镜元件连续运动期间,扫描反射镜元件到达应生成空间光调制装置的图像的位置,但现在由于扫描反射镜元件的连续运动,空间光调制装置的该图像不再被引导到所要求的限定位置。在这种情况下,控制补偿反射镜元件,使得补偿反射镜元件执行与扫描反射镜元件的运动同步的运动。结果,作为片段的空间光调制装置的生成的图像在与扫描反射镜元件的移动方向相反的方向上位移或移动,使得由于补偿反射镜元件的该补偿运动,其可以移位并引导到视场中所要求的限定位置。随后生成的空间光调制装置的图像以同样的方式被引导到其在视场中的限定位置。然而,只要照明装置或至少一个光源处于开启状态,就通过控制控制装置来维持补偿反射镜元件的同步运动。换句话说,只要照明装置处于开启状态,就可以设置扫描反射镜元件和补偿反射镜元件的相同程度的移动。当照明装置或至少一个光源处于关闭状态时,可以将补偿反射镜元件移动到其初始状态。
有利地,可以设置为,为了在帧内在视场中生成作为片段的空间光调制装置的至少两个图像,可以设置具有不同预定速度的至少一个扫描反射镜元件的连续运动或具有不同适应性增量的至少一个扫描反射镜元件的逐步移动。
当生成作为片段的空间光调制装置的两个或更多个图像时,在连续运动的情况下或以不同适应性增量逐步运动的情况下,可以以不同的速度进行通过至少一个扫描反射镜元件将片段引导到视场中所要求的限定位置。在这种情况下,至少一个扫描反射镜元件的移动速度或增量取决于要生成的作为片段的空间光调制装置的图像在用户视场中的要求位置。例如,如果在视场的左侧区域中表示或显示虚拟信息,并且同样在根据本发明的装置的用户视场的右侧区域中表示或显示虚拟信息,需要限定为正常的速度来引导和显示在视场的左侧区域中的作为片段的空间光调制装置的图像,但针对视场的右侧区域,相应地需要至少一个扫描反射镜元件的更大速度来引导和显示作为片段的空间光调制装置的图像,因为两个虚拟信息项在视场中间隔很远,但用户希望尽可能同时观察这些信息项。为了确保这一点,扫描反射镜元件需要以更高的速度操作,以使在视场右侧区域的作为片段的空间光调制装置的图像能够与视场左侧区域的空间光调制装置的图像尽可能同时显示。然而,如果只需要在视场的左侧区域中显示虚拟信息并且虚拟信息的位置靠近,则可以在虚拟信息的两个或更多个表示之间低速操作至少一个扫描反射镜元件。换句话说,可以有利地设置为,至少一个扫描反射镜元件的运动的速度或增量可以被调节,以适应作为片段的空间光调制装置的各个图像在视场中的限定位置。
由于光学***可能产生像差,所产生的片段的尺寸和形状可能随视场中的位置而变化。为了纠正视场中片段的尺寸和形状的变化,同样可以相应地改变至少一个扫描反射镜元件的运动速度或增量。
此外,在本发明的另外的配置中,可以设置为,在连续帧中作为片段的空间光调制装置的至少一个图像的尺寸和/或形状可变,或者在帧内或在连续帧中在视场中具有限定位置的作为片段的空间光调制装置的至少两个图像的尺寸和/或形状可变。
尤其地,在所表示的场景或对象的尺寸和/或形状在连续帧中也发生变化并且应该用固定数量的片段来表示的情况下,在连续帧中作为片段的空间光调制装置的至少一个图像的尺寸和/或形状的改变是有利的。
例如,如果对象的尺寸改变以便可以在一帧中使用单个片段来表示,但它在下一帧中略大于该片段,则将作为片段的空间光调制装置的至少一个图像的尺寸和/或形状进行调整会比用固定尺寸的两个片段来表示该对象更有利。在一帧内在视场中具有限定位置的作为片段的空间光调制装置的至少一个图像的尺寸或形状的改变可以用于相同的目的,但如果在视场的某些区域需要比其他区域更高的分辨率,则也可以使用该方式。例如,在视场的中心区域产生小范围和精细分辨率的片段,而在视场的边缘区域产生范围较大且分辨率较粗的片段。
然而,例如,在一帧内在视场中具有限定位置的作为片段的空间光调制装置的至少一个图像的尺寸或形状的改变也可以用于简化光学***。这在简单光学***的情况下可以接受,当产生作为片段的空间光调制装置的至少一个图像时,可以产生根据视场中的位置变化的放大率的变化或影响图像形状的光学畸变的变化。
在本发明的特别有利的配置中,可以将至少一个组合器实施为部分反射镜元件或光导。
至少一个组合器可以实施为部分反射镜元件。例如,这种部分反射镜元件可以是交通工具中的挡风玻璃或者眼镜片。
此外,至少一个组合器可以实施为光导,其中光在光导中以全内反射传播。作为组合器的光导是光学***的一部分,也用于生成作为片段的空间光调制装置的图像。在这种情况下,来自用户的物理环境的光可以以畅通的方式通过光导,因此,由根据本发明的装置产生的携带虚拟信息的作为片段的空间光调制装置的至少一个图像在视场中叠加在用户的物理环境上。
有利的是,在根据本发明的配置中可以设置为,将偏转装置实施为用于将光耦合到光导形式的组合器的可切换的耦合元件和/或用于使光与光导形式的组合器解耦的解耦元件。
在根据本发明的装置的配置中,组合器实施为光导,用于将空间光调制装置的图像引导到视场中的限定位置处的偏转装置可以实施为可切换的耦合元件和/或另外作为可切换的解耦元件。例如,可以使用可切换的解耦元件,该元件使光在光导的不同位置与光导解耦,从而生成位于视场的不同位置的作为片段的空间光调制装置的图像。举例来说,如专利文献WO2018/146326A1中所述的光导可以用作该光导,该专利公开内容意在全部结合于此。光通过在光导的边界表面反射的方式在光导内传播,在光导的边界表面的光的预定反射次数之后,提供光与光导的解耦。光解耦装置可以设计为可控的,其中以下列方式控制光解耦装置,即,在光解耦装置的控制状态下经过预定数量的反射之后使光解耦,并且在光解耦装置的另一个控制状态下使光在光导中继续传播。此外,专利文献WO2018/146326A1描述了一种显示装置,具体是一种近眼显示装置,它包括具有至少一个光源的照明装置、至少一个空间光调制装置、光学***和这样的导光装置。对于图像表示或对于空间光调制装置的多个图像的各个片段,可以在所有像素在光导的边界表面上各自进行相同数量的反射之后提供来自空间光调制装置的不同像素的光在进入光导装置之后的解耦。对于多个图像的不同片段,用于生成一个片段的光导的边界表面的光的反射数可以与用于生成另一片段的光导的边界表面的光的反射数不同。对于多个图像的不同片段,光在光导的边界表面上的反射次数可以相等,并且对于这些片段,光与光导的耦合位置可以不同。为了使光与光导的耦合位置移动,可以在光的方向上在光导装置上游设置光偏转装置。
在这种情况下,只有在连接到解耦位置的视场中的位置需要作为片段的空间光调制装置的图像时,才控制用于使光耦合位置移位的光偏转装置和/或用于使光从光导中解耦的解耦元件。
在本发明的另一个配置中,其中至少一个组合器同样实施为光导,偏转装置可以具有已经提到的至少一个扫描反射镜元件。
以下列方式实施光学***和光导,即,使得从空间光调制装置的各个像素发出的光束以相对于光导的表面总体不同的角度入射并耦合到光导中,由此可限定耦合角谱,在光导中传播的光束能够以相对于虚拟可见区域总体不同的角度从光导解耦,从而可限定解耦角谱。
尤其地,在本发明的优选配置中,可以如同专利文献WO2019/012028A1中公开的方式来实施光导,该公开文件的内容意在全部结合于此。其中描述了一种光导,该光导使得光的解耦角谱与光的耦合角谱相比增加。然而,在本发明的另一种结构中,光的解耦角谱和耦合角谱也可以是相同的尺寸。
优选地,至少一个扫描反射镜元件在光路中可以布置在空间光调制装置和作为组合器的光导之间。这样,例如可以通过扫描反射镜元件的移动或旋转来改变光耦合到光导中的角度,因此光导中光的传播角度也发生了改变。作为组合器的光导可以包括无源或有源解耦元件。通过这些解耦元件,可以相应地在不同的位置和/或以不同的解耦角度使光与光导解耦,从而将所述光引导到视场中的限定位置。
例如,除了使用具有较多像素(例如在一个方向上超过1000个像素)的空间光调制装置之外,可以使用空间光调制装置与作为组合器的光导以及至少一个扫描反射镜元件配合,该空间光调制装置具有相对少量的像素(例如在一个方向上小于1000个像素)。在根据现有技术的装置中,具有大量像素的空间光调制装置将产生耦合到光导中的特定的耦合角谱,其中由装置获得的视场将与耦合角谱成正比。
根据本发明,优选地使用具有少量像素、在一个方向上具有例如几百个像素的空间光调制装置。该空间光调制装置为在视场中产生的每个片段产生一个小的耦合角谱。至少一个扫描反射镜元件实施为使得针对要生成的包含虚拟信息的每个片段,其光与光导耦合的中心角各自不同。这样,可以使用同一光导生成位于视场中不同位置的作为片段的空间光调制装置的图像,在所述图像中为用户显示虚拟信息。在这种情况下,每个生成的片段本身都有一个视场,它与小的耦合角谱成正比,当作为一个整体考虑时,多个片段的组合相应地产生大的角谱。
并非意在将本发明限制于某种类型的空间光调制装置。一个以上的空间光调制装置的各种类型或组合同样可以用于本发明。优选地,空间光调制装置可以包括LCoS-SLM或MEMS-SLM。
LCoS-SLM是一种具有较多像素但帧率相对低的空间光调制装置。作为对比,MEMS-SLM只有少量的像素,但帧率相对较高。
对于具有较多像素数的空间光调制装置,该空间光调制装置可以细分为虚拟区域或部分。为了为用户生成包含虚拟信息的作为片段的空间光调制装置的图像,只照射空间光调制装置的虚拟区域或部分,而不是整个空间光调制装置。有助于虚拟信息表示的空间光调制装置的每个像素或者在另一实施例中的所有像素都被分配给至少一个虚拟区域或部分。虚拟区域或部分也可以在空间光调制装置上重叠。在虚拟区域或部分重叠的情况下,空间光调制装置的一个像素也可以被分配给一个以上的虚拟区域或部分。例如,空间光调制装置可以是像素数为4000×2000像素的LCoS-SLM,通过将LCoS-SLM细分为虚拟区域或部分,可以通过各自仅照射这些虚拟区域或部分来生成尺寸为400×400像素的作为片段的LCoS-SLM的这些区域的图像。
对于各个图像,数据被写入空间光调制装置的所有像素,或者被精确地只写入那些应该有助于表示虚拟信息的像素。在这种情况下,可以通过例如空间光调制装置上的行扫描来实现写入数据。为了各自生成视场中作为片段的空间光调制装置的一个图像,连续地照射空间光调制装置(例如LCoS)的虚拟区域或部分。为此,包括至少一个扫描反射镜元件的偏转装置在光路中可以布置在照明装置和空间光调制装置之间,并且可以利用控制装置通过至少一个扫描反射镜元件的限定运动将光引导到空间光调制装置各自的虚拟区域或部分。为此,用来照射空间光调制装置的虚拟区域或部分的工作流程可以与将数据写入空间光调制装置的像素的工作流程相匹配。空间光调制装置的区域或部分可以具有相同的尺寸或另外具有不同的尺寸。
在至少一个扫描反射镜元件连续移动的情况下,空间光调制装置的虚拟区域或部分也可以具有相对较大的重叠。例如,设置为彼此相邻的虚拟区域或部分可以具有仅一个像素的重叠或另外的仅几个像素的重叠。当空间光调制装置被扫描时,照明装置仅在处于用户视场中表示虚拟信息的像素或虚拟区域时才处于开启状态。如果扫描空间光调制装置上对于表示虚拟信息没有贡献的像素或虚拟区域时,则照明装置处于关闭状态。
然而,也可以使用仅具有相对较少像素数的空间光调制装置,例如MEMS-SLM。在这种情况下,像素数可以低于显示装置或显示器的典型分辨率,例如小于640×480像素(VGA),例如200×200像素或300×200像素或另外的400×400像素,其中,根据本发明的装置的空间光调制装置的像素数不应被解释为限制为所公开的这些像素数。
对于具有相对较少像素数的空间光调制装置,该偏转装置在光路中可以优选地布置在空间光调制装置和至少一个组合器之间。在本发明的这种配置中,可以优选地设置为,将作为片段的空间光调制装置的图像对应于空间光调制装置的整个区域的图像。因此,所有生成的片段最好具有相同的尺寸。在用户的视场中按时间顺序表示或显示作为片段的空间光调制装置的图像。将例如编码全息图的信息写入空间光调制装置并通过光学***成像空间光调制装置来实现该效果,其中利用偏转装置(例如利用至少一个扫描反射镜元件)将作为片段的空间光调制装置的相应的图像各自引导到视场中不同的限定位置。
在本发明的特定配置中,可以设置为,在根据本发明的装置的用户的视场中以立体方式表示附加信息。这意味着生成并显示扁平或平面二维图像,其中为用户的左眼和右眼生成所表示的信息的图像。进而,这意味着根据本发明的一个显示装置被设置用于生成针对左眼的图像,并且根据本发明的一个显示装置被设置用于生成针对用户的右眼的图像。根据本发明的两个显示装置可以相互组合,例如以一对眼镜的形式组合。
还可以为双眼提供根据本发明的显示装置,例如使用一个照明装置和一个空间光调制装置,空间光调制装置中设置光学***,通过时分或空分复用使光偏转到左眼并且使光偏转到用户的右眼。例如,在这种情况下,还可以给用户的每个眼睛分配单独的组合器,例如用于左眼的单独的光导和用于右眼的单独的光导,其中来自空间光调制装置的光通过切换元件以时间顺序的方式耦合到一个或另一个光导中。在其他应用中,例如平视显示器,还可以为用户的双眼提供公共的组合器;例如,在这种情况下,组合器可以是交通工具或车辆的挡风玻璃。
在本发明的另一有利的配置中,可以设置为,光学***包括变焦***,变焦***能够设置视场中作为片段的空间光调制装置的至少一个图像与用户的距离。
根据本发明的装置可以具有变焦配置。这意味着在视场中产生的虚拟信息可以沿着装置的光学***的光轴来调节深度。深度或深度位置应理解为虚拟信息(即,作为片段的空间光调制装置的生成图像)与用户眼睛所在的观察者平面的距离。因此,可以使用光学***的变焦***来根据视场中所需的深度位置来设置具有虚拟信息的片段的距离。
优选地,变焦***可以包括具有可控光栅周期的至少一个光栅元件或有源和无源成像元件的组合。例如,光栅元件可以是液晶光栅元件。此外,变焦***可以包括可调光栅元件和例如透镜元件的无源成像元件的组合。变焦***还可以包括可切换光栅元件,例如可切换偏振光栅,或与偏振开关组合的无源光栅。
变焦***优选布置在空间光调制装置的傅里叶平面附近或傅里叶平面内,也可以进行其他布置。空间光调制装置的傅里叶平面在光路中形成在例如空间光调制装置和至少一个组合器之间。
如果变焦***包括具有可控光栅周期的至少一个光栅元件,则可以根据本发明设置为,具有可控光栅周期的至少一个光栅元件具有用于校正由光学***引起的像差的棱镜函数和/或相位函数。
除了透镜函数之外,至少一个光栅元件还可以具有用于纠正像差的其他函数,如棱镜函数或相位函数。这些函数可以写入至少一个光栅元件。
在本发明的一个尤其有利的配置中,可以设置用于检测用户的观察方向的注视跟踪***。
设置注视跟踪***允许确定用户在特定时间正在看视场中的什么或视场中表示虚拟信息,或者确定真实信息的哪个部分或对象目前是用户感兴趣的,因此被用户关注。因此,确定了由用户主动观察或聚焦的一个或多个关注对象在z方向上的深度位置。对于所述真实信息,可以通过附加传感器检测真实信息的深度位置(即与用户眼睛的距离)。应该在与用户关注的真实信息的深度相同的深度表示在视场中聚焦的真实信息的环境中显示的虚拟信息或内容与视场中聚焦的真实信息相关的虚拟信息或其他重要的虚拟信息(例如警告)。使用变焦***,可以将作为片段的空间光调制装置的图像的深度位置在z方向上移动到用户当前主动聚焦的深度位置。可以通过软件***影响用户不关注或注视的视场内的虚拟信息,使该信息以例如稍微偏离焦点或稍微模糊或扭曲的方式表示,或者可以选择完全不显示。
此外,除了注视跟踪***或作为注视跟踪***的替代方式,可以设置检测装置,检测装置用于确定应表示虚拟信息的视场区域。
在用户视场中,检测装置确定一个或其他多个虚拟信息项应该在视场的哪个区域生成、显示或表示。
根据本发明的显示装置的照明装置可以包括以脉冲方式控制的至少一个光源。
此外,本发明的目的也通过具有权利要求28的特征的方法来实现。
根据本发明的方法具有以下特征:
-对控制装置进行控制,该控制装置连接到用于发光的照明装置和显示装置的光学***的偏转装置,根据对偏转装置的控制来操作照明装置,从而将作为片段的空间光调制装置的至少一个图像引导到用户视场中的限定位置,
-将光引导到空间光调制装置处,并由光学***生成作为片段的空间光调制装置的至少一个图像,
-通过偏转装置将作为片段的空间光调制装置的图像引导到用户视场中的限定位置,以及
-在用户视场中以片段表示虚拟信息。
根据本发明的方法促进了信息在用户视场中的节能表示,因为信息只在需要时表示和显示给用户。
优选地,检测装置可用于确定拟通过显示装置表示的图像顺序的每个帧、视场的哪些部分或区域应该填充或显示虚拟信息(例如二维和/或三维对象或场景)、以及视场的哪些部分或区域应该不包含虚拟信息。
在这种情况下,光学***可用于生成空间光调制装置的至少两个图像和与空间光调制装置的图像数对应的虚拟可见区域,其中在用户的视场中形成作为片段的空间光调制装置的至少两个图像,至少两个图像优选地彼此组合或彼此重叠或通过间隙隔开。
有利的是,空间光调制装置的至少一个组合器通过显示作为片段的空间光调制装置的至少一个图像可以将视场中的真实信息叠加在视场中另外生成的虚拟信息上。
可以根据视场中所要求的位置生成作为片段的光调制装置的至少一个图像。可以为每个帧动态地生成空间光调制装置的至少一个图像,这样所生成的作为片段的空间光调制装置的图像取决于各自帧在视场中表示的虚拟信息的位置。在这种情况下,可以以下列方式生成作为片段的空间光调制装置的图像,即,对于单个帧或单独图像,对象形式的虚拟信息位于作为片段的空间光调制装置的最小数目的图像内。也就是说,为了表示导航建议形式的虚拟信息,例如,只需要三个作为片段的空间光调制装置的图像。然而,为了表示不同对象的虚拟信息,可能需要例如七个作为片段的空间光调制装置的图像。因此,以对象的形式表示虚拟信息所需的要生成的空间光调制装置的图像的数量也取决于要显示的对象的尺寸。例如,对于尺寸小于空间光调制装置的图像范围的对象形式的虚拟信息,可以以下列方式生成空间光调制装置的图像,即通过作为片段的空间光调制装置的仅一个图像来生成整个对象并在视场中表示。为此,例如,对象的中心可以与作为片段的空间光调制装置的图像的中心重合。
在本发明的配置中,可以将视场细分为网格域,其中对每个帧进行检查以确定在视场的哪个网格域中应该表示虚拟信息,其中以下列方式控制空间光调制装置和偏转装置的至少一个扫描反射镜元件,即,使得对于每个帧各自仅在应该表示虚拟信息的网格域中生成作为片段的空间光调制装置的图像并将图像引导到视场中的限定位置。
可以以具有多个网格域的网格排列的形式实施视场。这种网格排列可以被固定地限定,因此对于每一帧都是相同的。然而,作为表示虚拟信息的空间光调制装置的图像生成的片段的数量小于生成整个视场所需的片段的总数。在本发明的此配置中,生成作为片段的空间光调制装置的各个图像的时间为总图像时间的1/M,其中M是包含虚拟信息的片段数。在前面提到的60°×60°的视场的示例中,必须生成144个片段来产生整个视场,包含虚拟信息的空间光调制装置的图像的片段数将是M=30。相应地,这将允许以较低的帧率控制空间光调制装置。然而,这将需要光学***具有更灵活的配置。例如,作为片段的空间光调制装置的图像可以或必须在视场中有间隙或距离的不同位置产生。在这种情况下,间隙或距离的尺寸可能因帧变化而各自不同。因此,这取决于片段各自在视场中的位置,以便左视场区域的片段与右视场区域的片段能够以相对大的间隔的方式生成。为此,例如为了连接不同尺寸的间隙,偏转装置的扫描反射镜元件必须以不同的速度移动。包含虚拟信息的片段数M也可以随帧变化而变化。
在本发明的可选配置中,可以将视场细分为网格域,其中每个网格域被偏转装置的至少一个扫描反射镜元件连续扫描,针对每帧对其中应表示虚拟信息的视场的网格域进行检查,并且生成作为片段的空间光调制装置的包含虚拟信息的图像,并且由光学***仅分配给同样应表示虚拟信息的各个网格域。
在此可选的实施例中,视场还可以实施为具有多个网格域的网格排列的形式。这种网格排列可以被固定地限定,因此对于每一帧都是相同的。作为表示虚拟信息的空间光调制装置的图像的生成的片段数也小于生成整个视场所需的片段的总数。然而,在这种情况下,网格排列的所有网格域被连续扫描,然而,只有应该在当前要扫描的相应网格域中表示虚拟信息,才通过控制照明装置、空间光调制装置和偏转装置来生成空间光调制装置的图像。按时间顺序生成作为片段的空间光调制装置的各个图像,在这些图像中应显示虚拟信息。在本发明的这个配置中,用于生成作为片段的空间光调制装置的各个图像的时间为总图像时间的1/N,其中N为片段的总数。
因此,对于不应表示虚拟信息的网格域,不控制照明装置,因此不产生空间光调制装置的图像。因此,也没有数据传输到空间光调制装置,因此数据传输减少。如果照明装置仍然被激活,也可以在分配给不应显示虚拟信息的网格域的所有像素中,使全局复位到一个水平,在该水平控制空间光调制装置的液晶层以使液晶回到初始状态。另一种选择是将这些像素转换为未限定的状态。
偏转装置的至少一个扫描反射镜元件可以连续或以限定的增量逐步移动,以将作为片段的空间光调制装置的至少一个图像引导到视场中的限定位置。
在至少一个扫描反射镜元件逐步移动的情况下,可以设置为,在至少一个扫描反射镜元件在限定增量之后处于保持状态或停止状态时,各自激活照明装置,并且空间光调制装置被照射以生成空间光调制装置的图像,因此作为片段的空间光调制装置的生成图像被引导到视场中的限定位置。当至少一个扫描反射镜元件处于运动状态时,照明装置被停用。
因此,结合偏转装置(具体是至少一个扫描反射镜元件)的控制来控制照明装置,并根据至少一个扫描反射镜元件是否处于停止状态或运动状态而使照明装置进入开启状态和关闭状态。在这种情况下,照明装置和偏转装置均由控制装置控制。
在至少一个扫描反射镜元件连续运动的情况下,补偿反射镜元件可以与至少一个扫描反射镜元件组合,其中当照明装置处于开启状态时补偿反射镜元件与至少一个扫描反射镜元件执行同步运动,优选地执行相同的运动。
仅在照明装置处于开启状态或被激活时,才针对至少一个扫描反射镜元件的运动执行补偿反射镜元件的同步移动。在根据本发明的本发明的此配置中,照明装置也连接到偏转装置,其中偏转装置除了包括至少一个扫描反射镜元件之外,还包括补偿反射镜元件。补偿反射镜元件也可以不是偏转装置的组成部分。如果是这种情况,照明装置不仅连接到偏转装置,而且还连接到补偿反射镜元件。相应地,控制装置控制照明装置和偏转装置,并且在补偿反射镜元件不是偏转装置的组成部分的情况下可选地控制补偿反射镜元件。
至少一个扫描反射镜元件和至少一个补偿反射镜元件也可以实施为在两个维度中可移动,优选是水平和竖直方向。由于扫描反射镜元件和补偿反射镜元件都在水平方向和竖直方向上的移动,作为片段的空间光调制装置的生成图像被引导到视场中限定的水平和竖直位置。通过在一个方向上(例如水平方向)的运动,但在与此垂直的方向上(例如竖直方向)的相反运动,作为片段的空间光调制装置的图像的位置在一个方向上(例如竖直方向)移动,但在与此垂直的方向上(例如水平地)保持不变。
扫描反射镜元件可以在最小设置和最大设置之间连续地来回移动,例如从左到右的连续移动,然后在从上到下缓慢移动时从右到左的连续移动。扫描反射镜元件可以在帧结束后移动回其初始位置。
然而,至少一个扫描反射镜元件的二维连续运动也可以例如以利萨如(Lissajous)图片的形式实施,因此在一帧之后重新回到扫描反射镜元件的初始状态。
可以有一次校准,它用于确定扫描反射镜元件和可选的补偿反射镜元件的哪些设置对应于作为片段的空间光调制装置的图像在视场中的那个位置。例如,在扫描反射镜元件逐步移动的情况下,如果扫描反射镜元件配备有步进电机并被控制,则可以将步进电机的某些数量的步数分配给视场中的位置。
在扫描反射镜元件连续运动的情况下,通过移动速度和时间间隔利用校准装置进行视场中的位置分配。
例如,校准数据可以存储在查找表中,并且该查找表可以被控制装置用于控制扫描反射镜元件。
优选地,至少一个组合器可以实施为光导,其中空间光调制装置被照明装置照明,并且由空间光调制装置调制的光被引导到偏转装置,偏转装置将光偏转到组合器上,组合器实施为光导,其中光耦合到组合器中并在组合器中传播,其中在组合器中传播的光根据视场中所需的限定位置解耦,并且作为片段的空间光调制装置的至少一个图像被引导到该限定位置。
在本发明的尤其有利的配置中,可以利用变焦***使作为片段的空间光调制装置的至少一个图像在z方向上沿光学***的光轴移动到视场中用户接受的深度位置。
通过变焦***可以非常精确地实施将作为片段的空间光调制装置的图像移动到根据本发明的装置的用户聚焦的深度位置或用户注视的深度位置,尤其是对于设置在用户观看方向或用户观看方向附近的那些片段。视场中在远离用户观看方向上表示和显示的片段可以布置在任何固定限定的深度或与位于用户观看方向上的片段深度相同的深度处。然而,设置在固定限定深度处或与用户观看方向上的片段深度相同的深度处的这些片段具有较低的精度,即,具有一些公差。当对作为片段的空间光调制装置的所有生成图像使用变焦***的相同设置参数时,这可能是相关的。在这种情况下,当针对作为片段的空间光调制装置的不同图像使空间光调制装置成像时,空间光调制装置的图像的深度位置可以根据光学***的像差(例如场曲率)而变化。根据利用注视跟踪装置相应确定的用户注视深度设置作为片段的空间光调制装置的图像在观看方向上的正确深度位置并且允许远离用户注视方向的作为片段的空间光调制装置的图像的深度位置有一些公差,可以有利地使用变焦***,该变焦***具有与偏转装置所需的帧率相比较低的帧率。
在本发明的一种配置中,根据本发明的装置可以实施为立体显示装置或变焦立体显示装置,其中使用了写入二维振幅数据的振幅调制空间光调制装置。
在立体显示装置或变焦立体显示装置的另一实施例中,空间光调制装置可以实施为复值空间光调制装置。例如,这可以是与光束组合器相结合的相位调制空间光调制装置。在这种情况下,要表示的二维信息同样通过振幅数据写入空间光调制装置。空间光调制装置调制光的相位的能力然后可以用来写入例如用于像差校正的相位函数。
具有较低频率(例如50Hz-200Hz)和可控可调光栅周期的至少一个光栅元件可以与以较高频率操作且实施为MEMS-SLM的空间光调制装置结合使用,并且可与像差校正的静态光学元件结合。这样,静态光学元件就可以对整个显示装置进行像差校正。具有可控可调光栅周期的至少一个光栅元件可以对作为片段的空间光调制装置的所有图像具有相同的透镜函数,以使所有片段的深度位置移动,但也可以为片段的该限定深度位置提供像差校正。在这种情况下,对所有片段的像差校正都是相同的。快速MEMS-SLM还可以对作为片段的空间光调制装置的各个图像进行单独的像差校正,因为在每个片段中的二维图像信息和相位函数都可以更新以进行像差校正。
可以在立体显示装置中设置散射装置或扩散器。例如,散射装置可以布置在空间光调制装置的附近或在空间光调制装置的中间图像平面中。可以使用散射装置扩展最佳点的区域,以便可以在观察者平面上创建一个大的虚拟可见区域。
在本发明的另一配置中,可以设置为,在用户的视场中以全息方式生成和表示虚拟信息。为此,空间光调制装置可以实施为振幅调制、相位调制或复值(振幅和相位)空间光调制装置,在空间光调制装置中写入全息数据或编码全息图。优选地,空间光调制装置具有复值实施例,例如,与光束组合器组合的相位调制空间光调制装置。在另一种配置中,它可以实施为相位调制空间光调制装置,在该空间光调制装置中例如使用格赫伯格-萨克斯顿方法迭代写入计算的全息图。
全息显示装置通常不需要变焦***,因为已经通过在空间光调制装置中编码的全息图用完整的深度信息生成要表示的三维信息。然而,在某些情况下,在全息显示装置中提供注视跟踪装置和/或变焦***是有利的,从而使空间光调制装置的图像的深度位置移动或将其放置在限定位置。例如,通过对空间光调制装置的图像的深度位置的适当选择,可以降低全息图计算的复杂性。
在全息显示装置的配置中,还可以设置具有可控可调光栅周期的至少一个光栅元件,该光栅元件不改变作为片段的空间光调制装置的图像的位置,而是设置用于像差校正。
以类似于变焦***的方式,全息显示装置再次允许像差校正与静态光学元件结合,或者利用具有可控可调光栅周期的至少一个光栅元件进行像差校正,其中光栅周期可以针对每帧而不同并且取决于在各自的帧中所表示的信息。此外,可以在空间光调制装置中直接进行像差校正,以便在计算全息图时已经考虑到并包括像差的校正。在空间光调制装置中编码的全息图对于携带虚拟信息的作为片段的空间光调制装置的要生成的每个图像可以不同。
如果具有可控可调光栅周期的光栅元件可以以足够高的频率操作,则该光栅元件也可以对作为片段的空间光调制装置的每个图像进行不同的像差校正。
如果从空间光调制装置发出的光以较大的倾斜角度入射到至少一个组合器上,则也可以进行静态像差校正,在该范围内,在空间光调制装置成像期间,空间光调制装置相对于根据本发明的显示装置的光学***倾斜。
现在存在有利地配置本发明的教导和/或用于将所述示例性实施例或配置彼此组合的各种可行方案。为此,首先参考从属于可选的独立权利要求的专利权利要求,其次参考借助于附图关于本发明的优选示例性实施例的以下说明,其中总体还说明了该教导的优选配置。本发明原则上借助于所述的示例性实施例进行说明,但并不意在将本发明限制于此。
在图中:
图1:显示了AR显示装置的粗略表示,以一对眼镜的形式表示,在眼镜中只显示了用户的视场;
图2:以俯视图示出了根据本发明的显示装置的粗略表示;
图3:以俯视图示出了根据本发明的显示装置的另一实施例的粗略表示;
图4:示出了将根据图1的用户视场细分为网格域的粗略表示;
图5:示出了在视场中作为片段的空间光调制装置的图像的粗略表示,片段各自包含用户的虚拟信息;
图6:示出了在视场中作为片段的空间光调制装置的图像的另一粗略表示,每个片段包含用户的虚拟信息;
图7:示出了根据本发明的偏转装置在各种控制状态下的粗略表示,所述偏转装置设置在根据本发明的显示装置中;
图8:示出了根据现有技术的当使用具有数量较多的像素的空间光调制装置时将光耦合到光导中的粗略表示;以及
图9:示出了根据本发明的显示装置的粗略表示,该装置包括实施为光导的组合器,并且在使用像素比较少的空间光调制装置时该组合器用于生成在视场中作为片段的空间光调制装置的至少两个图像。
应简要提到,在图中相同的元件/部分/部件也具有相同的附图标记。
图1示出了根据本发明的显示装置,它在这里实施为增强现实(AR)显示器。在这种情况下,AR显示装置实施为一对眼镜的形式,使得显示装置实施为AR头戴显示器,利用视图示出了AR眼镜的用户B透过眼镜在其视场S中可以观察到的内容。例如,为了清晰起见,用户B仅由两只手握着自行车的车把的手臂表示。一对AR眼镜形式的显示装置固定在用户B的头部。因此,用户B通过AR眼镜注视并通过其观察其自然或物理环境R。因此,图1只显示了用户B的视场S。在他们的视场中,用户B看到了图1中带有建筑物、道路和交通的街景,用户用两只眼睛看到了这个街景。图示的眼镜片的形状不应该与任何特定类型的AR眼镜有关,而只能作为如何配置一对AR眼镜形状的一个示例。因此,不言而喻,其他形状的AR眼镜也是可以的。此外,这意味着虽然在本示例的图形中所示的显示装置以一对眼镜的形式体现,但也可以进行其他应用,例如作为平视显示器。
此外,虚拟信息项C1、C2和C3通过显示装置表示或显示在用户B的视场S中,所述虚拟信息叠加在物理环境R上,并且除了物理环境R之外所述虚拟信息也能够显示给用户B。在视场S中显示的虚拟信息是交通标志C1、位于建筑物中的商店C2的信息、和作为导航工具用来指示街道方向的箭头C3。因此,所表示的虚拟信息项C1、C2和C3只填充了视场S的一小部分,这意味着只有一小部分视场S是由虚拟信息形成的。用户的主要视场S是由物理环境R的内容构成的。
图2说明了显示装置的一种可行的配置。这种配置可以同时用于AR头戴式显示器和平视显示器。在下面,显示装置实施为AR头戴式显示器,以建立与图1的联系。
显示装置包括照明装置10,该装置可以具有至少一个光源,其中可以设置用于虚拟信息的颜色表示的根据基色RGB(红绿蓝)的三个光源。下文以SLM表示的空间光调制装置11在光的方向上布置在照明装置10之后,以使照明装置照射SLM。SLM 11实施为具有相对较少像素数的SLM,例如在一个方向上具有小于1000个像素。在光的方向上在SLM 11之后是偏转装置12和组合器13,这两者都是显示装置的光学***的部件。在这种情况下,偏转装置12包括扫描反射镜元件12-1,该元件以可移动的方式布置并且可以绕其旋转轴移动或旋转。具有扫描反射镜元件12-1的偏转装置12在光路中设置在SLM 11和组合器之间。扫描反射镜元件12-1可以进行连续运动或其他具有固定限定增量的逐步运动,通过这种方式入射光可以在一定方向上偏转。按照图1实施为眼镜片的组合器13用来将显示装置产生的虚拟信息叠加在用户视场的物理环境的信息上。组合器13以这样一种方式实施,即来自物理环境的光可以不受阻碍(即不受组合器影响)地通过组合器。组合器13可以具有扁平或平面或者具有弯曲的实施方式。如图2所示,光学***可以包括另外的成像元件,例如在此情况下实施为无源透镜元件的成像元件14。
此外,显示装置包括控制装置15,其连接到照明装置10和偏转装置12。因此,可以根据偏转装置12(尤其是在扫描反射镜元件12-1的情况下)的控制来控制照明装置10,并且可以相应地切换,即进入开启状态和关闭状态。控制装置15也可以连接到SLM 11。然而,SLM11也可以由其自己的控制装置来操作以写入数据。
下面描述了在生成虚拟信息(例如图1中的虚拟信息C1)时的一般过程。虚拟信息应该以全息的方式产生,但立体信息的生成自然也是可行的。如果由控制装置15控制的照明装置10已进入相应的开启状态,则照明装置10发出基本上足够相干且入射到SLM 11上的光,其中虚拟信息数据被传输或传递到SLM 11。由照明装置10发出并入射到SLM 11上的光在这里用箭头表示。由SLM 11利用要表示的虚拟信息调制的光穿过成像元件14,从而在偏转装置12的扫描反射镜元件12-1上产生SLM 11的图像。偏转装置12被布置在SLM 11的傅里叶平面内。在照明装置10被控制之前,扫描反射镜元件12-1被控制装置15控制以使其已经移动到在用户B的视场S的限定位置处表示该虚拟信息所需的位置,用户B在这里由眼睛表示。为了确定以使视场S中的虚拟信息也表示在正确的位置时扫描反射镜元件12-1所必须移动到的位置,在生成虚拟信息之前使用检测装置16来确定对于每一帧视场S的哪个区域应该填充虚拟信息(例如二维或三维对象或场景),以及视场S中的哪个区域不包含虚拟信息,而只包含来自用户B的物理环境的信息。作为片段S1的SLM 11的图像现在通过扫描反射镜元件12-1被引导到组合器13的方向,所述组合器13将作为片段S1的SLM 11的图像叠加到物理环境上。此外,在观察者平面17中由组合器13对作为片段S1的SLM 11的图像进行成像,以便在观察者平面17中生成虚拟可见区域18。虚拟可见区域18在全息显示装置的情况下可以是虚拟观察者窗口,在立体显示装置的情况下可以是最佳点。这样,虚拟信息表示并显示在视场S中的限定位置。为了能够观察视场S中的虚拟信息,用户B必须将眼睛定位在观察者平面17中并通过虚拟可见区域18观察。
为了在用户B的视场S中表示另外的虚拟信息,可以执行相同的所描述的过程。因此,可以生成作为片段S2和S3的SLM 11的图像,并且该图像可以通过扫描反射镜元件12-1被引导到视场S中要求的和限定的位置,这些片段S2和S3可以通过组合器13叠加在物理环境上,并且可以在视场S中针对用户B表示和显示。作为片段S1、S2和S3的SLM 11的图像按时间顺序生成并在视场S中表示和显示。然而,这是以足够高的频率实施的以使用户B的眼睛不能用肉眼识别片段S1、S2和S3的这个连续生成,并且因此认为该生成是同时发生的。
在随后的帧中执行相同的过程:首先检测在视场S中的哪个位置显示虚拟信息,然后将该虚拟信息作为片段按时间顺序生成,并在视场中以叠加在用户B的物理环境中的方式显示。
通过这种方式,即使只生成包含所需的虚拟信息的几个片段,也可以创建大的视场。
组合器13还可以包括定焦(非可变焦)元件,例如光栅元件。
图2中的显示装置还包括变焦***19。变焦***19允许在视场中的作为片段的SLM11的图像与用户B之间的距离发生变化,即可以设置作为片段的SLM 11的图像在视场S中的深度。变焦***19优选布置在SLM 11的傅里叶平面区域中,即在SLM 11的傅里叶平面中或至少在SLM 11的傅里叶平面附近,并且可以包括例如具有可调光栅周期的至少一个光栅元件,在该光栅元件中写入透镜函数。优选地,可以结合用户B的视角方向检测来设置作为片段的SLM 11的图像的深度。注视跟踪单元20确定用户B的视角方向以及用户B聚焦的视场中的深度位置或聚焦的深度。然后,作为片段的SLM 11的生成图像可以通过变焦***19移动到与用户B相关的此时用户B所关注或注视的深度位置。
在全息显示装置中,变焦***不是绝对必要的,因为虚拟信息已经通过全息的方式在其要求的深度处表示。然而,使用变焦***仍然是有用的,例如,为了纠正光学***由于作为片段的SLM 11的图像在深度或沿z方向的移动而引起的像差。变焦***19可以包括具有可调光栅周期的至少一个光栅元件,该光栅元件例如具有棱镜函数或相位函数。
在立体显示装置中,最好使用这种变焦***19,以便移动作为片段的SLM的图像的深度和/或以便纠正光学***的像差。
图3表示另一种显示装置,它同样可以实施为AR显示装置或AR显示器,并且可以作为AR头戴显示器和AR平视显示器使用。
该显示装置包括照明装置30、SLM 31、偏转装置32、组合器33和成像元件,这里仅示出了成像元件中的成像元件34。偏转装置32、组合器33和成像元件34是显示装置的光学***的部件。在显示装置的这种结构中,其中还包括扫描反射镜元件32-1的偏转装置32设置在照明装置30之后。成像元件34、SLM 31和组合器33沿光的方向布置在偏转装置32的下游。因此,这意味着在这种情况下偏转元件设置在照明装置30和SLM 31之间。在这种情况下,SLM 31实施为具有相对较多像素数的SLM,例如在一个方向上具有超过1000个像素的SLM。偏转装置32的扫描反射镜元件32-1具有可移动的布置,其可通过虚线来表示,并且因此可以围绕其旋转轴移动或旋转。在这种情况下,扫描反射镜元件32-1也可以进行连续运动或另外以固定限定的增量进行逐步运动,利用扫描反射镜元件32-1入射光可以在特定方向上偏转。组合器33(在本实施例中也可以实施为眼镜片,但不应被解释为被限制)用于将显示装置产生的虚拟信息叠加到用户B的视场S的物理环境中的信息上。组合器33还以下列方式实施,即来自物理环境的光可以畅通无阻碍地通过组合器33,即不受组合器33的影响。组合器33可以具有扁平或平面或具有弯曲的实施方式。
此外,显示装置包括控制装置35,其连接到照明装置30和偏转装置32。结果,本示例性实施例还提供了能够基于偏转装置32(尤其是在扫描反射镜元件32-1的情况下)的控制来控制的照明装置30,并且能够相应地切换,即进入开启状态和关闭状态。控制装置35也可以连接到SLM 31。然而,SLM 31也可以由其自己的控制装置来操作以写入数据。此外,显示装置还可以包括注视跟踪装置39,该装置确定用户B的视角方向以及用户B聚焦的视场中的深度位置或聚焦的深度。如果必要,作为片段的SLM 31的生成图像可以通过变焦***移动到与用户B相关的用户B此时关注或注视的深度位置。
下面结合图3所示的显示装置描述生成虚拟信息(例如图1所示的虚拟信息C1)的一般过程。在这种情况下,虚拟信息也应该以全息的方式产生,自然也可以是立体信息的生成。
如果由控制装置35控制的照明装置30进入相应的开启状态,则照明装置30发出基本上足够相干的并且入射到偏转装置32(特别是扫描反射镜元件32-1)上的光。现在,在这种情况下,偏转装置32在光的方向上被布置在SLM 31的上游。在照明装置30被控制之前,扫描反射镜元件32-1被控制装置35控制,使得其已经移动到在用户B的视场S的限定位置处表示所需的虚拟信息所需的位置,用户B在这里由眼睛表示。同样为了确定扫描反射镜元件32-1必须移动的位置,从而在显示装置的该配置中在视场S的正确位置表示虚拟信息,在生成虚拟信息之前使用检测装置36来确定对于每一帧,视场S的哪个区域应该填充虚拟信息(例如二维或三维对象或场景),以及视场S的哪个区域不包含虚拟信息,而只包含来自用户B的物理环境的信息。由照明装置30发出的并且入射到扫描反射镜元件32-1上的光在这里同样用箭头表示。被偏转装置32的扫描反射镜元件32-1反射和引导到视场S中限定位置的光L1入射到使光L1准直的成像元件34上。这个准直的光L1现在入射到SLM 31上,在这个过程中只有SLM 31的一部分被照射。根据图3,只有SLM 31的左侧部分被光L1照射,其中该部分可以是SLM 31的整个左侧区域,或者只是SLM 31的左侧区域的一部分。该图示应该被视为纯粹的示例性的。此外,虚拟信息数据被传输或传递到SLM 31的相应部分,即该情况下的左侧部分。因此,将由光L1表示的视场S中的虚拟信息的信息仅位于该SLM 31的照明部分上。入射在SLM 31的这部分上的光被要表示的信息调制,然后作为片段S1入射在组合器33上。组合器33现在用作生成SLM 31的图像的成像元件,在这种情况下是SLM 31的部分的图像,并且还将作为片段S1的SLM 31的该图像叠加到用户B的物理环境上。作为片段S1的SLM31的图像被成像到观察者平面37中,从而形成虚拟可见区域38。虚拟可见区域38在全息显示装置的情况下可以是虚拟观察者窗口,在立体显示装置的情况下可以是最佳点。这样,虚拟信息被表示并显示在视场S中的限定的位置。为了能够观察视场S中的虚拟信息,用户B必须将他们的眼睛定位在观察者平面37中,并通过虚拟可见区域38观察。
为了在用户B的视场S中表示另外的虚拟信息,可以执行相同的所描述的过程。因此,通过偏转装置32的扫描反射镜元件32-1的不同位置,可以产生对应于视场S中虚拟信息的要求位置的不同方向的光束L2、L3,例如,所述光束随后入射到SLM 31的不同部分。因此,生成作为片段S2和S3的SLM 31的图像,并且图像被引导到视场S中要求的和限定的位置,并在视场S中针对用户B表示和显示。作为片段S1、S2和S3的SLM 11的图像按时间顺序生成并在视场S中表示和显示。然而,以非常高的频率实施该操作以使用户B的眼睛不能用肉眼识别片段S1、S2和S3的该连续生成,因此感知该生成是同时发生的。
在随后的帧中执行相同的过程:首先检测在视场S中的哪个位置显示虚拟信息,然后将该虚拟信息以片段的方式按时间顺序生成,并在视场中以叠加在用户B的物理环境上的方式显示。
通过这种方式,即使只生成包含所需的虚拟信息的几个片段,也可以创建大的视场。
组合器33还可以包括定焦元件,例如光栅元件。
如图3所示的显示装置还可以包括变焦***。在这种情况下,可以根据图2所示的变焦***19来实施该变焦***,因此它也应该应用于根据图3的显示装置。
根据图2和图3的显示装置可用于根据图4到图7和图9的以下实施例和配置,在这些图中描述了用于生成虚拟信息的方法的具体步骤。
图4示出了图1所示的AR眼镜,用户B将该AR眼镜戴在头上,从而另外获得虚拟信息,可以在视场中在用户的物理环境中展示和显示该虚拟信息。
显而易见地,用户B的视场S被细分为单独的网格域RF,它们作为网格类型排列或形成网格排列。在这种情况下,网格域RF都具有相同的形状和尺寸。在这个示例性实施例中它们具有方形实施例。当然,网格域RF也可以有不同的形状和尺寸。此外,网格域的尺寸和形状可以随着视场S的变化而变化。
现在为了使用显示装置生成虚拟信息项C1、C2和C3,将所述虚拟信息项叠加到视场的物理环境上并将所述信息项显示给用户B,扫描具有网格域RF的视场S,并使用检测装置确定对用户B有用的虚拟信息项C1、C2和C3应该表示或显示在视场中的哪里。也就是说,检查并确定了需要表示虚拟信息项C1、C2和C3的视场S的网格域RF。这是因为只有视场S的这些网格域RF需要填充适当的虚拟信息,这些虚拟信息在网格域RF中叠加在呈现的真实信息上。可以在网格域中通过网格域的逐行或逐列扫描的方式来实现视场的扫描。
虚拟信息(例如图1的虚拟信息C1)的生成和表示的实施方式如下所示。为了解释这个过程,假设了视场的逐行扫描,其中这个过程自然也可以逐列进行。对于每一帧,视场S的每个网格域RF通过偏转装置的扫描镜元件以限定的增量逐步运动而逐行追踪并且将作为片段的SLM的图像仅分配给同样应表示虚拟信息的网格域。关于虚拟信息C1的表示,现在这意味着通过扫描反射镜元件追踪视场中的网格域RF1,其中虚拟信息应该在这个网格域RF1中表示的事实是已知的,因为之前执行了整个视场的扫描并且确定了应该在该网格域中表示虚拟信息。基于此确定,通过控制装置将移动的扫描反射镜元件置于停止状态,以便同样通过控制装置控制照明装置并进入开启状态,由此生成作为片段的SLM的图像,并结合SLM和组合器以及光学***的至少一个成像元件一起将作为片段的SLM的图像分配给网格域RF1。结果,显示了虚拟信息C1的一部分。控制装置重新控制扫描反射镜元件和照明装置,使扫描反射镜元件处于开启状态,照明装置处于关闭状态。扫描反射镜元件现在以限定的增量继续移动,实现网格域RF2的追踪,同样地,已经对该网格域RF2进行确定有助于虚拟信息C1的表示。控制装置现在再次相应地控制扫描反射镜元件和照明装置,从而使扫描反射镜元件进入停止状态,并使照明装置进入开启状态。因此,通过SLM、组合器和光学***的至少一个成像元件生成对应于要表示的虚拟信息的部分的作为片段的SLM的图像,并将图像分配给网格域RF2,以便在网格域RF2中显示相应的虚拟信息。根据上述公开的方式利用扫描反射镜元件追踪后续的两个网格域RF3和RF4,并各自生成携带虚拟信息的作为片段的SLM的图像。然后将作为片段的SLM的这两个图像分配给两个网格域RF3和RF4,如图5所示。然后,扫描反射镜元件沿着网格上方的行以限定的增量逐步移动,并且在扫描另外的网格域时各自移动到停止状态和开启状态。由于该行的另外的网格域RF5到RF15被确定为不需要提供或显示虚拟信息,控制装置将不控制照明装置,因此照明装置保持在关闭状态,并且没有为这些网格域RF5到RF15生成作为片段的SLM的图像。因此,通过扫描反射镜元件追踪网格的第二行,其中,如图5所示,针对第一网格域RF16没有生成作为片段的SLM图像,因为该网格域中不应该显示虚拟信息。对于下面的网格域RF17到RF26,通过如上所述的方式利用扫描反射镜元件相应地追踪网格域,生成作为片段的SLM的适当的图像,并将该片段分配给相应的网格域,以便在网格域中显示虚拟信息项。同样,通过扫描反射镜元件依次追踪网格的每个网格域,为另外的网格域RF35和RF48到RF51和RF63、RF64生成作为片段的SLM的图像,并将图像分配到相关的网格域中显示。因此,网格域RF1、RF2、RF3、RF4、RF17、RF18和RF19有助于虚拟信息C1的表示。网格域RF20到RF26和RF35有助于虚拟信息C2的表示,网格域RF48到RF51和RF63,RF64有助于虚拟信息C3的表示。在这种情况下,对每一帧都执行上述程序。作为片段的SLM的单个图像的生成和表示是按时间顺序实施的。
描述了扫描反射镜元件逐步移动的方法。然而,扫描反射镜元件也可以进行连续移动。稍后在图7中详细描述了这一点。
此外,该程序也可以略有修改。在这种情况下,视场最初以网格样式细分为网格域RF,所述网格域随后被扫描,并且检测装置被用于确定对用户B有用的虚拟信息项C1、C2和C3应该表示或显示在视场中的哪里。也就是说,检查并确定了需要表示虚拟信息项C1、C2和C3的视场S的网格域RF。这是因为只有视场S的这些网格域RF需要填充适当的虚拟信息,这些虚拟信息在该网格域RF中叠加在呈现的真实信息上。在这个过程中,也可以在视场中通过视场逐行或逐列的方式来实现视场的扫描。但是,与图5的上述示例性实施例不同,网格的所有网格域RF并非通过扫描反射镜元件以逐行或逐列的方式依次追踪,而是只追踪表示和显示虚拟信息项C1、C2、C3或有助于表示虚拟信息C1、C2、C3的那些网格域RF。这是因为只有对于这些网格域RF,控制装置必须各自相应地控制扫描反射镜元件和照明装置,以便能够生成和表示作为片段的SLM的图像。这个过程在生成和表示虚拟信息方面更有效。
图6示出了与生成和表示虚拟信息项时的过程相关的另一个示例性实施例。在这种情况下,如根据图4和图5的实施例中解释的,用于表示虚拟信息项的作为片段的SLM的图像并非实施在网格或固定的网格上,而是可以在显示装置的用户B的视场中自由选择。这样,就可以减少用于表示与图4和图5中的虚拟信息C1、C2和C3或内容相同的虚拟信息的作为片段的SLM的图像的数量。这意味着可以在图6中利用数量更少的作为片段的SLM图像生成虚拟信息项C1、C2和C3,具体是只使用作为片段的17张SLM图像,而不是使用图5中的作为片段的21张SLM图像。因此,对于每一帧,针对相应的虚拟信息C1、C2或C3的作为片段的SLM的图像只在视场中同样需要该信息的那些位置生成。为此,以下列方式生成作为片段的SLM的图像,即,如果对象的范围大于SLM的整个图像,则作为对象的虚拟信息设定SLM的整个图像,或者如果对象的范围小于SLM的图像,则在SLM的图像中充分提供作为对象的虚拟信息。例如,对象的中心可以与SLM的图像的中心重合。这可以实现的是只使用作为片段的SLM的最少图像来表示所需的虚拟信息。
例如,在下面描述在视场中生成和表示虚拟信息C1。检测装置用于确定虚拟信息C1应表示和显示在视场的哪里。因此,必须确定作为片段的SLM的图像的数量,要以尽可能少的图像或者甚至仅利用作为片段的SLM的一个图像来生成和表示要表示信息C1。如果在视场S中确定了作为片段的SLM的相应图像的适当数量和需求位置,则通过控制装置将偏转装置的扫描反射镜元件移动到视场S中的作为片段的SLM的图像的相关位置,然后保持停止状态。在此片段中表示的虚拟信息的数据被传输到SLM或由SLM本身生成并编码在后者上,优选在扫描反射镜元件的移动期间和/或在保持扫描反射镜元件的停止状态时已经编码。在完成该片段的数据向SLM的传输或由SLM生成之后并且在保持扫描反射镜元件的停止状态时,控制装置随后控制照明装置,使照明装置切换到开启状态,因此要表示的虚拟信息的数据以下列方式表示,即,作为总体信息或部分信息的虚拟信息被完全放置到SLM的图像中,从而只需要作为片段的SLM的较少数量的图像来表示视场S中的虚拟信息。照明装置现在照射SLM,以便使SLM根据虚拟信息调制光并与组合器和光学***一起生成作为片段BS1的SLM的图像,并通过扫描反射镜元件将所述图像定向在视场S中的确定位置。然后,为了表示虚拟信息C1,生成作为片段BS2的SLM的另一图像,并以相同的方式表示。实施这个过程直到虚拟信息C1完全显示在用户的视场S中为止。因此,在该示例性实施例中也按时间顺序实施作为片段的SLM的图像的生成和表示。从图6中可以明显看出,作为片段的SLM的各个图像也可以重叠,以表示图1中的虚拟信息C1。虚拟信息项C2和C3的生成和表示与虚拟信息C1的生成和表示的实施方式相同。
因此,在生成和表示虚拟信息C1之后在同一帧中直接实施另外的虚拟信息项(例如图1的虚拟信息C2或C3),以使用户的眼睛不会感知到虚拟信息项以连续生成方式的时间顺序表示,而是基本上同时表示,扫描反射镜元件可以以更高的速度从作为片段BS6的SLM的图像的位置移动到例如针对虚拟信息C2的尚未生成的作为片段BS7的SLM的图像的位置,以便更快地穿过这两个片段BS6和BS7之间存在的间隙。这里,扫描反射镜元件的移动速度应该高于追踪针对虚拟信息C1的作为片段的SLM图像的相应位置时的速度。然后,以扫描反射镜元件较低的移动速度(类似于表示虚拟信息C1时的速度)实施在视场S中针对虚拟信息C2的作为片段的SLM的图像的尚未生成和表示的各个位置的追踪。针对虚拟信息C2的作为片段的SLM的各个图像的生成和表示与虚拟信息C1的生成和表示相同。同样的过程也可用于表示虚拟信息C3。这里同样地,以扫描反射镜元件较高的移动速度实施从针对虚拟信息C2的作为片段BS13的SLM的最后生成的图像到针对虚拟信息C3的作为片段BS14的SLM的尚未生成的图像的转换,以便更快地穿越大间隙。追踪多个位置的该顺序和在视场中生成作为片段的SLM的图像仅是示例。当然,不同的顺序也是可行的。例如,在作为片段BS13的SLM的最后一幅图像之后,也可以生成和表示作为片段BS17的尚未生成的图像,因为两个片段BS13和片段BS17之间的间隙不如片段BS13和片段BS14之间的间隙大,因此可以更快地追踪片段BS 17的这个位置。
如图6所示,作为片段的SLM的图像在视场中自由表示,可以相互重叠,也可以有不同的形状和/或尺寸。
图4到图6用于描述借助于扫描反射镜元件的具有限定增量的逐步移动的虚拟信息的生成和表示。然而,在图4至图6的这些示例性实施例中的扫描反射镜元件的逐步移动也可以被扫描反射镜元件的连续移动所取代,并以这种方式在视场中表示作为片段的SLM的图像。
图7说明了这种偏转装置,该偏转装置提供扫描反射镜元件的连续移动。图7中的图a)、b)和c)表示作为片段的SLM的两个图像的生成。偏转装置50包括扫描反射镜元件51和补偿反射镜元件52。扫描反射镜元件51是偏转装置50中执行连续运动的元件。补偿反射镜元件52同样以可移动的方式安装。扫描反射镜元件51和补偿反射镜元件52彼此成角度地排列,如图7所示。在图7的图(a)中,这个角度约为90度。扫描反射镜元件51和补偿反射镜元件52都由控制装置53控制,该控制装置53同样还控制照明装置(未示出)并且可选地控制SLM。
图7中的图a)表示作为片段BS1的SLM的第一图像的生成。为此,在用户的视场中的预定位置处生成作为片段BS1的SLM的图像时,两个反射镜元件51和52相对于彼此形成限定的角度,其中补偿反射镜元件52保持静止,即不移动。相比之下,扫描反射镜元件51继续持续移动。因此,入射在偏转装置50上的光L最初入射在扫描反射镜元件51上,并根据光对准扫描反射镜元件51的方向由其朝向补偿反射镜元件52的方向反射。入射在补偿反射镜元件52上的光同样根据光对准补偿反射镜元件52的方向由补偿反射镜元件52反射,然后入射在组合器上,然后被引导到用户视场中的相应位置。例如,当作为片段的SLM的第一图像在视场的特定位置生成时,可以出现偏转装置50的该实施方式,以便在控制装置53对扫描反射镜元件51连续移动的第一控制时刻且照明装置也已经通过控制装置53控制并发光时,在扫描反射镜元件的第一位置在视场中生成和表示针对虚拟信息的作为片段的SLM的图像。
图7的图b)示出,扫描反射镜元件51在控制装置53的控制下沿着图示箭头从虚线位置向拟用实线表示的另一位置移动或旋转。在该过程中,补偿反射镜元件52沿与扫描反射镜元件51相同的方向以相同的绝对值共同旋转,使得在显示装置的控制装置53控制照明装置并将其置于开启状态时,照射SLM并在与图a)中相同的视场位置生成和表示作为片段的SLM的图像。因此,作为片段BS1的SLM的图像显示在视场中的相同位置。此外,这意味着,在扫描反射镜元件51的连续运动的情况下,可以在与图a)相同的位置生成并显示作为片段的SLM的图像。因此,补偿反射镜元件52补偿扫描反射镜元件51的运动。虚线和箭头应表示根据图a)的入射在两个反射镜元件51和52上的光束,其中实线和箭头旨在阐明与其偏移的入射光束。
在图7的图c)中,通过使用控制装置53控制扫描反射镜元件51而连续移动扫描反射镜元件51。然而,补偿反射镜元件52已经通过控制装置53向相反的方向旋转或移动,使得所述补偿反射镜元件现在已经从虚线位置移动到实线位置。以这种方式在视场中在与作为片段BS1的SLM的图像的位置不同的位置生成和表示作为片段BS2的SLM的图像。
偏转装置中的扫描反射镜元件和补偿反射镜元件的这种布置的优点在于连续扫描或移动反射镜元件的移动速度往往比从点到点的逐步移动且然后停止的反射镜元件更快。在根据图7的示例性实施例中,在图a)和b)所示的反射镜元件51和52的状态之间的全部时间(即使在反射镜元件51和/或52移动或旋转时)都可以显示作为片段BS1的SLM的图像。在图7中的图b)和c)之间,当补偿反射镜元件52移动到其初始状态时,在达到补偿反射镜元件52所要求的新位置之前,不会生成作为片段的SLM的图像。在补偿反射镜元件52移动到其初始状态时,照明装置被停用或处于关闭状态。只有当补偿反射镜元件52达到其新的要求位置时,照明装置才通过控制装置53而回到开启状态。然后,反射镜元件51和52或者两个反射镜中的仅一个可以继续移动,并且可以针对用户在视场中生成和显示作为片段的SLM的另一个或另外的图像。
图8示出了根据现有技术的结合耦合到光导中的光的信息的总体生成。在这种情况下,使用了SLM 60,SLM 60具有相对较多的像素数,因此具有HD(高清)电视分辨率或更高。利用成像装置62(在光路中布置在SLM 60和光导61之间的透镜元件)产生由SLM 60调制和发出的耦合角谱63的光,使得从SLM 60的各个像素发出的光束通常以相对于光导61的表面的不同角度入射到光导61上。该耦合角谱63入射到光导61上,并通过反射镜面64耦合到光导61中。反射镜面64以固定的角度固定地设置在光导体61内。入射在反射镜面64上的光束被反射镜面64反射,并通过全内反射的方式在光导61中传播。通过具有相应的解耦元件(例如解耦光栅元件)的解耦装置65,光可以沿用户B的眼睛的方向从光导61解耦,从而可以确定解耦角谱66。SLM 60的图像在观察者平面67中成像,以便在那里生成虚拟可见区域68。
例如,在专利文献WO2019/012028A1中描述了光在光导中的传播和光从光导解耦的另外的选择,专利文献WO2019/012028A1所公开的内容旨在全部结合于此。该公开描述了一种光导,其实施为在光导中进行固定数量的反射后实现解耦,并且与耦合角谱相比,解耦角谱增加。解耦的光传播到可见区域,并且解耦的角谱对应于视场。然而,光的传播和解耦不应该局限于这些选择。
作为对此,图9示出了通过根据本发明的显示装置生成的作为片段的SLM的图像。图9的该显示装置还可以具体实施为AR显示装置,例如AR头戴式显示器或AR平视显示器。与图2至图7的显示装置一样,该显示装置也可以以全息或立体的方式生成虚拟信息,并在用户的视场中表示这些信息。
图a)示出了生成作为片段的SLM的第一图像时的显示装置,图9的图b)示出了作为片段的SLM的第二图像的生成。图9的显示装置包括照明装置70、SLM 71、组合器72、偏转装置73和光学***的至少一个成像元件74。现在,与图8相比,SLM 71在这里只有相对较少的像素数,例如在一个方向上小于1000个像素。为了使入射光偏转,偏转装置73在这里包括扫描反射镜元件73-1,它以可移动的和因此可旋转的方式安装。扫描反射镜元件73-1布置在组合器72的光耦合表面附近,从而能够高精度地实现耦合。在这种情况下,显示装置的光学***应由成像元件74、组合器72和偏转装置73表示,其中自然也可以提供多个成像元件或其他光学元件。成像元件74在光路中设置在SLM 71和偏转装置73之间。在此示例性实施例中,组合器72实施为可以具有扁平或平面或其他弯曲实施方式的光导。此外,还设置了控制装置75,该控制装置75连接到照明装置70和偏转装置73(具体是扫描反射镜元件73-1)。此外,控制装置75还可以连接到SLM 71,其中SLM 71本身也可以通过其自己的控制装置来操作。
如果由于控制装置75的控制,照明装置70现在处于开启状态,则照明装置70向SLM71发光,该光被SLM 71调制并利用成像元件74入射到偏转装置73上。从图9中的两个图a)和b)可以明显看出,成像元件74产生的光的耦合角谱,其范围小于图8的光的耦合角谱。然后,该耦合角谱例如通过耦合装置耦合到实施为光导的组合器72中,耦合装置可以包括例如反射镜元件或其他的至少一个光栅元件,例如体光栅。光与组合器72的解耦可以通过解耦装置77来实现,解耦装置77可以包括至少一个解耦元件,例如体光栅的解耦光栅元件,因此解耦的光沿用户B的方向被引导到观察者平面78并在所述平面中形成虚拟可见区域79,然后用户B可以通过该虚拟可见区域79观察在视场中生成的虚拟信息。
在图9的图a)中,在视场中生成和表示了作为片段的SLM 71的第一图像,该图像包含虚拟信息。为此,通过检测装置来确定虚拟信息应该表示在视场的哪里。如果这是已知的,控制装置75控制扫描反射镜元件73-1将后者移动到限定的位置,该位置需要表示至少一些虚拟信息。此外,控制装置75将照明装置70设置为开启状态,使SLM 71被光照射,其中表示虚拟信息的数据被传输到SLM 71。入射在SLM 71上的光由SLM 71根据虚拟信息调制,并入射在成像元件74上,因此在扫描反射镜元件73-1上产生SLM 71的图像,扫描反射镜元件73-1布置在SLM 71的傅里叶平面中。通过成像元件74对SLM 71的成像产生的角谱的光76通过扫描反射镜元件73-1以第一中心角α耦合到实施为光导的组合器72中,并通过全内反射的方式在组合器72中向前传播。如果在组合器72中传播的光以限定的角度入射到解耦装置77上,所述光从组合器72解耦,作为片段的SLM 71的图像被引导到观察者平面78,在观察者平面78中形成虚拟可见区域79。这样,在视场中的限定位置处生成和表示以虚拟信息形式的作为片段的SLM 71的第一图像。
在图9的图b)中,在用户B的视场中的第二限定位置处生成和表示作为片段的SLM71的第二图像,第二限定位置不同于第一限定位置。显然,为此目的,扫描反射镜元件73-1被控制装置75移动或旋转到另一个位置,即沿着箭头从虚线表示的位置移动到实线所示的位置。这改变了耦合到组合器72中的光束的中心角度。然后,由SLM 71的成像产生的角谱的光76通过处于不同的中心角度的扫描反射镜元件73-1耦合到组合器72中,即通过扫描反射镜元件73-1设定的中心角度β被旋转限定的角度。然而,以与图a)不同的角度在组合器72中传播的光可以以与图a)所描述的方式相同的方式解耦。这样在视场中在以与作为片段的SLM 71的第一图像不同的位置生成和表示SLM 71的第二图像,以便显示另外的虚拟信息。
然而,为了清晰,图9中只显示了作为片段的SLM 71的两个图像的生成和说明,作为片段的SLM 71的两个图像都是按时间顺序生成的。然而,作为片段的SLM 71的另外的图像(例如作为片段的SLM 71的5或10个图像,或者在需要的情况下甚至更多的图像)可以在视场中以同样的方式生成并表示。为此,通过控制装置75使扫描反射镜元件73-1旋转另外限定的增量,以便在视场中在各自限定的位置表示作为片段的SLM 71的图像。
假设扫描反射镜元件73-1的逐步移动来解释图9中的过程。当然,图9的偏转装置73也可以按照图7来实施,因此提供了扫描反射镜元件的连续移动。
当将图9与图8进行比较时,很明显,通过作为片段的SLM 71的图像的第一图像和作为片段的SLM 71的第二图像的角谱的组合而获得的并且耦合到组合器72的光的整体角谱与根据图8的耦合在光导61中的光的角谱相同。因此,在图9中也生成了与图8中的尺寸相同的视场。
本发明不应被解释为局限于这里所说明的示例性实施例。此外,还可以实现另外的实施例或示例性实施例。最后,应特别地提到以下事实,即上述所描述的示例性实施例仅用于描述所述的教导,而并非意在解释为限于所述示例性实施例。
Claims (38)
1.一种显示装置,包括:
-用于发光的照明装置,
-用于调制入射光的空间光调制装置,
-光学***,所述光学***用于生成作为片段的空间光调制装置的至少一个图像,其中所述光学***包括用于将所述空间光调制装置的图像引导到用户视场中的限定位置的偏转装置,以及
-控制装置,所述控制装置连接到所述照明装置和所述偏转装置,并根据对所述偏转装置的控制来实施所述照明装置的切换。
2.根据权利要求1所述的显示装置,其特征在于,所述光学***被设置用于生成所述空间光调制装置的至少两个图像并根据所述空间光调制装置的所述图像的数量生成虚拟可见区域,其中所述空间光调制装置的所述至少两个图像作为片段存在于所述视场中。
3.根据权利要求2所述的显示装置,其特征在于,在所述视场中作为片段的所述空间光调制装置的所述至少两个图像彼此组合和/或彼此部分重叠或通过间隙彼此隔开。
4.根据上述权利要求中任一项所述的显示装置,其特征在于,作为片段的所述空间光调制装置的所述图像的数量在每帧中能够在最小值和最大值之间进行不同地设置,并且作为片段的所述空间光调制装置的所述图像在所述视场中的位置在每帧中能够进行不同地设置。
5.根据权利要求4所述的显示装置,其特征在于,在所述视场中作为片段的所述空间光调制装置的图像的所述数量和所述位置的确定取决于用户的物理环境。
6.根据上述权利要求中任一项所述的显示装置,其特征在于,所述空间光调制装置的所述至少一个图像是整个空间光调制装置的成像或是所述空间光调制装置的仅一部分的成像。
7.根据上述权利要求中任一项所述的显示装置,其特征在于,所述偏转装置包括能够移动地安装的至少一个扫描反射镜元件和/或至少一个光栅元件。
8.根据上述权利要求中任一项所述的显示装置,其特征在于,所述光学***包括用于将所述虚拟信息叠加到所述视场中的真实信息上的至少一个组合器。
9.根据上述权利要求中任一项所述的显示装置,其特征在于,所述偏转装置布置在所述空间光调制装置和所述组合器之间或在所述照明装置和所述空间光调制装置之间。
10.根据上述权利要求中任一项所述的显示装置,其特征在于,所述偏转装置包括能够以彼此同步的方式旋转的两个扫描反射镜元件。
11.根据权利要求8所述的显示装置,其特征在于,所述至少一个组合器包括至少一个聚焦元件或至少一个聚焦功能件。
12.根据权利要求11所述的显示装置,其特征在于,所述至少一个聚焦元件被实施为光栅元件,具体是体光栅,尤其是具有有限接受角的光栅元件。
13.根据权利要求8或11所述的显示装置,其特征在于,所述至少一个组合器至少部分弯曲。
14.根据上述权利要求中任一项所述的显示装置,其特征在于,在所述偏转装置中设置至少一个扫描反射镜元件的连续移动或所述至少一个扫描反射镜元件的固定限定增量的逐步移动。
15.根据权利要求14所述的显示装置,其特征在于,在所述至少一个扫描反射镜元件连续运动的情况下,所述至少一个扫描反射镜元件与补偿反射镜元件结合,所述补偿反射镜元件实施与所述至少一个扫描反射镜元件的运动同步的运动,在两个反射镜元件的运动相同的情况下,在固定不变的位置生成所述空间光调制装置的图像,在所述两个反射镜元件的运动相反的情况下,所述空间光调制装置的图像在视场中移动。
16.根据权利要求15所述的显示装置,其特征在于,只要所述照明装置处于开启状态,就提供所述扫描反射镜元件和所述补偿反射镜元件的相同运动。
17.根据上述权利要求中任一项所述的显示装置,其特征在于,在帧内具有不同预定速度的所述至少一个扫描反射镜元件的连续运动或具有不同适应性增量的所述至少一个扫描反射镜元件的逐步运动被设置用于在视场中生成作为片段的空间光调制装置的至少两个图像。
18.根据权利要求17所述的显示装置,其特征在于,所述至少一个扫描反射镜元件的运动速度或增量被调整为适合于在所述视场中作为片段的所述空间光调制装置的各个图像的所述限定位置。
19.根据上述权利要求中任一项所述的显示装置,其特征在于,作为片段的空间光调制装置的所述至少一个图像的尺寸和/或形状在连续帧内变化,或者在所述视场中处于所述限定位置的作为片段的所述空间光调制装置的至少两个图像的尺寸和/或形状在帧内或在连续帧中变化。
20.根据上述权利要求中任一项所述的显示装置,其特征在于,所述至少一个组合器实施为部分反射镜元件或光导。
21.根据权利要求20所述的显示装置,其特征在于,所述偏转装置实施为用于将光耦合到实施为光导的组合器内的可切换耦合元件和/或作为使光与实施为光导的所述组合器解耦的解耦元件。
22.根据上述权利要求中任一项所述的显示装置,其特征在于,所述光学***包括变焦***,所述变焦***能够设置在所述视场中作为片段的所述空间光调制装置的至少一个图像与所述用户的距离。
23.根据权利要求22所述的显示装置,其特征在于,所述变焦***包括具有可控光栅周期的至少一个光栅元件或有源成像元件与无源成像元件的组合。
24.根据权利要求23所述的显示装置,其特征在于,具有可控光栅周期的所述至少一个光栅元件具有用于校正像差的棱镜函数和/或相位函数。
25.根据上述权利要求中任一项所述的显示装置,其特征在于,所述显示装置设置有用于检测所述用户的观看方向的注视跟踪***和/或用于确定所述虚拟信息应该表示在所述视场中的哪个区域的检测装置。
26.根据上述权利要求中任一项所述的显示装置,其特征在于,所述照明装置包括能够以脉冲方式进行控制的至少一个光源。
27.根据上述权利要求中任一项所述的显示装置,其特征在于,所述显示装置实施为结合物理环境和表示的虚拟信息的增强现实显示器。
28.一种方法,包括:
-对控制装置进行控制,所述控制装置与用于发光的照明装置和显示装置的光学***的偏转装置连接,所述控制装置根据对所述偏转装置的控制来操作所述照明装置,从而将作为片段的空间光调制装置的至少一个图像引导到用户视场中的限定位置,
-将光引导到所述空间光调制装置中,并由所述光学***生成作为片段的所述空间光调制装置的至少一个图像,
-利用所述偏转装置将作为片段的所述空间光调制装置的图像引导到所述用户视场中的所述限定位置,以及
-在所述用户视场中以所述片段表示虚拟信息。
29.根据权利要求28所述的方法,其特征在于,所述光学***根据所述空间光调制装置的图像的数量生成所述空间光调制装置的至少两个图像和虚拟可见区域,其中所述空间光调制装置的所述至少两个图像在所述用户视场中形成为片段。
30.根据权利要求28或29所述的方法,其特征在于,所述光学***的至少一个组合器通过显示作为片段的所述空间光调制装置的至少一个图像而使所述视场中另外生成的虚拟信息叠加在所述视场中的真实信息上。
31.根据权利要求28-30中任一项所述的方法,其特征在于,根据所述视场中所要求的位置来生成作为片段的光调制装置的至少一个图像。
32.根据权利要求28-30中任一项所述的方法,其特征在于,所述视场被细分为网格域,其中针对每帧实施检查以确定所述虚拟信息应该表示在所述视场的哪个网格域中,其中所述空间光调制装置和所述偏转装置的至少一个扫描反射镜元件被控制,以在每帧中仅在要表示所述虚拟信息的所述网格域中各自生成作为片段的所述空间光调制装置的图像,并将所述图像引导到所述视场中的限定位置。
33.根据权利要求28-30中任一项所述的方法,其特征在于,所述视场被细分为网格域,其中每个所述网格域由所述偏转装置的至少一个扫描反射镜元件连续扫描,其中针对每帧实施检查以确定所述虚拟信息应该表示在所述视场的哪个网格域中,并生成作为片段的空间光调制装置的包含虚拟信息的图像,并由所述光学***将所述图像仅分配给其中还应表示所述虚拟信息的各个网格域。
34.根据权利要求32或33所述的方法,其特征在于,至少一个扫描反射镜元件连续或以限定增量逐步移动,以将作为片段的所述空间光调制装置的至少一个图像引导到所述视场中的限定位置。
35.根据权利要求34所述的方法,其特征在于,在所述至少一个扫描反射镜元件逐步移动的情况下,当所述至少一个扫描反射镜元件在限定增量之后处于保持状态时,各自激活所述照明装置,并且所述空间光调制装置被照射以生成所述空间光调制装置的图像,从而作为片段的所述空间光调制装置的生成图像被引导到所述视场中的限定位置,其中当所述至少一个扫描反射镜元件处于运动状态时,所述照明装置被停用。
36.根据权利要求34所述的方法,其特征在于,在所述至少一个扫描反射镜元件连续运动的情况下,补偿反射镜元件与所述至少一个扫描反射镜元件组合,其中当所述照明装置处于开启状态时,所述补偿反射镜元件执行与所述至少一个扫描反射镜元件的运动同步的运动。
37.根据权利要求30所述的方法,其特征在于,所述空间光调制装置由所述照明装置照射并且由所述空间光调制装置调制的光被引导到所述偏转装置,所述偏转装置使入射在组合器上的光偏转,所述组合器实施为光导,其中光耦合到所述组合器中并在所述组合器中传播,其中在所述组合器中传播的光根据所述视场中所需的限定位置解耦,并且作为片段的所述空间光调制装置的所述至少一个图像被引导到所述限定位置。
38.根据权利要求28-37中任一项所述的方法,其特征在于,作为片段的所述空间光调制装置的至少一个图像由变焦***沿光学***的光轴在z方向上移动到所述视场中用户接受的深度位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19174874 | 2019-05-16 | ||
EP19174874.8 | 2019-05-16 | ||
PCT/EP2020/063462 WO2020229599A1 (de) | 2019-05-16 | 2020-05-14 | Anzeigevorrichtung mit reduziertem energieverbrauch |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114174893A true CN114174893A (zh) | 2022-03-11 |
Family
ID=67437290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080051725.7A Pending CN114174893A (zh) | 2019-05-16 | 2020-05-14 | 具有降低功耗的显示装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220247982A1 (zh) |
KR (1) | KR20220008315A (zh) |
CN (1) | CN114174893A (zh) |
DE (1) | DE112020002420A5 (zh) |
WO (1) | WO2020229599A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11705089B2 (en) * | 2020-04-07 | 2023-07-18 | Texas Instruments Incorporated | Display spatial brightness control |
US20210389152A1 (en) * | 2020-06-10 | 2021-12-16 | Here Global B.V. | Method, apparatus, and system for projecting augmented reality navigation cues on user-selected surfaces |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1639642A (zh) * | 2002-02-25 | 2005-07-13 | 麦克罗尼克激光***公司 | 图像形成方法和装置 |
US20130222384A1 (en) * | 2010-11-08 | 2013-08-29 | Seereal Technologies S.A. | Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles |
CN103837985A (zh) * | 2012-11-20 | 2014-06-04 | 精工爱普生株式会社 | 虚像显示装置 |
US20180120559A1 (en) * | 2016-10-28 | 2018-05-03 | Magic Leap, Inc. | Method and system for large field of view display with scanning reflector |
CN108107579A (zh) * | 2017-12-18 | 2018-06-01 | 杭州光粒科技有限公司 | 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示*** |
WO2018146326A2 (de) * | 2017-02-13 | 2018-08-16 | Seereal Technologies S.A. | Lichtleitvorrichtung und anzeigevorrichtung zur darstellung von szenen |
CN109154432A (zh) * | 2016-03-16 | 2019-01-04 | 视瑞尔技术公司 | 用于二维和/或三维图像的显示器 |
WO2019012028A1 (de) * | 2017-07-13 | 2019-01-17 | Seereal Technologies S.A. | Anzeigevorrichtung zur vergrösserung des sichtfelds |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006059400B4 (de) | 2006-12-12 | 2019-12-24 | Seereal Technologies S.A. | Display-Einrichtung zur Erzeugung von Rekonstruktionen dreidimensionaler Darstellungen |
JP2020521170A (ja) | 2017-05-19 | 2020-07-16 | シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. | 光ガイドを備える表示デバイス |
CN111263911A (zh) | 2017-10-18 | 2020-06-09 | 视瑞尔技术公司 | 显示装置和用于生成大视场的方法 |
-
2020
- 2020-05-14 CN CN202080051725.7A patent/CN114174893A/zh active Pending
- 2020-05-14 US US17/595,402 patent/US20220247982A1/en active Pending
- 2020-05-14 KR KR1020217040763A patent/KR20220008315A/ko unknown
- 2020-05-14 DE DE112020002420.2T patent/DE112020002420A5/de active Pending
- 2020-05-14 WO PCT/EP2020/063462 patent/WO2020229599A1/de active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1639642A (zh) * | 2002-02-25 | 2005-07-13 | 麦克罗尼克激光***公司 | 图像形成方法和装置 |
US20130222384A1 (en) * | 2010-11-08 | 2013-08-29 | Seereal Technologies S.A. | Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles |
CN103837985A (zh) * | 2012-11-20 | 2014-06-04 | 精工爱普生株式会社 | 虚像显示装置 |
CN109154432A (zh) * | 2016-03-16 | 2019-01-04 | 视瑞尔技术公司 | 用于二维和/或三维图像的显示器 |
US20180120559A1 (en) * | 2016-10-28 | 2018-05-03 | Magic Leap, Inc. | Method and system for large field of view display with scanning reflector |
WO2018146326A2 (de) * | 2017-02-13 | 2018-08-16 | Seereal Technologies S.A. | Lichtleitvorrichtung und anzeigevorrichtung zur darstellung von szenen |
WO2019012028A1 (de) * | 2017-07-13 | 2019-01-17 | Seereal Technologies S.A. | Anzeigevorrichtung zur vergrösserung des sichtfelds |
CN108107579A (zh) * | 2017-12-18 | 2018-06-01 | 杭州光粒科技有限公司 | 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示*** |
Also Published As
Publication number | Publication date |
---|---|
US20220247982A1 (en) | 2022-08-04 |
WO2020229599A1 (de) | 2020-11-19 |
DE112020002420A5 (de) | 2022-02-24 |
KR20220008315A (ko) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108474939B (zh) | 图像投影*** | |
Kramida | Resolving the vergence-accommodation conflict in head-mounted displays | |
EP3610318B1 (en) | Foveated mems scanning display | |
KR101398150B1 (ko) | 3차원 표현의 재구성물을 생성하기 위한 헤드 장착형 디스플레이 장치 | |
TWI554783B (zh) | A display device, in particular a head mounted display or goggles | |
EP2160905B1 (en) | Multi-user autostereoscopic display | |
JP3492251B2 (ja) | 画像入力装置及び画像表示装置 | |
TWI390247B (zh) | 用於全像投影系統的光波校正 | |
JP2010517106A (ja) | 光波トラッキング手段を有するホログラフィック再構成システム | |
KR20080096505A (ko) | 비디오 홀로그램용 디스플레이 장치에 화상 내용을멀티모드로 표시하기 위한 방법 및 멀티모드 디스플레이장치 | |
JP2022529402A (ja) | ホログラフィックヘッドアップディスプレイ装置 | |
JP2009192558A (ja) | 画像表示装置 | |
WO2019014314A1 (en) | LIGHT EMITTING ARCHITECTURE FOR A SCAN DISPLAY DEVICE | |
JP7325408B2 (ja) | 表示装置 | |
TW201300834A (zh) | 顯示裝置,尤其是頭戴式顯示器或護目鏡 | |
US20240019710A1 (en) | Optical system for a virtual retinal scan display and method for projecting image contents onto a retina | |
WO2021096447A1 (en) | Augmented reality head-up display with steerable eyebox | |
CN114174893A (zh) | 具有降低功耗的显示装置 | |
WO2019154942A1 (en) | Projection array light field display | |
US11835721B2 (en) | Display device and method for producing a large field of vision | |
US11650422B2 (en) | Active correction of aberrations in optical systems | |
US20230077212A1 (en) | Display apparatus, system, and method | |
JP4443046B2 (ja) | 構成可変ホログラフィー光学系に基づく投影システム | |
US20230071805A1 (en) | Projection device for smart glasses, method for representing image information, using a projection device, and control unit | |
US11429016B2 (en) | Projection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |