CN106537227B - 显示装置、用于显示装置的控制方法以及程序 - Google Patents
显示装置、用于显示装置的控制方法以及程序 Download PDFInfo
- Publication number
- CN106537227B CN106537227B CN201580037933.0A CN201580037933A CN106537227B CN 106537227 B CN106537227 B CN 106537227B CN 201580037933 A CN201580037933 A CN 201580037933A CN 106537227 B CN106537227 B CN 106537227B
- Authority
- CN
- China
- Prior art keywords
- image
- display
- unit
- segmentation
- district
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 217
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 356
- 230000000007 visual effect Effects 0.000 claims description 92
- 238000001514 detection method Methods 0.000 claims description 38
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 147
- 210000001508 eye Anatomy 0.000 description 467
- 230000005540 biological transmission Effects 0.000 description 56
- 238000003860 storage Methods 0.000 description 33
- 230000008859 change Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 210000003128 head Anatomy 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005194 fractionation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229940028444 muse Drugs 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一种头戴式显示装置,包括显示与用户左眼对应的图像的左光学图像显示单元和显示与用户右眼对应的图像的右光学图像显示单元。图像处理单元分割显示目标图像,并且向左光学图像显示单元和右光学图像显示单元输出包括分割成的图像的用于左眼的图像和用于右眼的图像。用于左眼的图像和用于右眼的图像包括由通过图像处理单元分割成的图像构成的图像区和通过该分割而成的伪图像区。用于左眼的图像和用于右眼的图像中的一个的伪图像区的状态与用于左眼的图像和用于右眼的图像中的另一个的图像区的状态对应。
Description
技术领域
本发明涉及显示装置、用于该显示装置的控制方法以及程序。
背景技术
已经存在显示分别对应于用户的右眼和左眼的图像的公知的装置(参见,例如,PTL1和PTL2)。在PTL1和PTL2中所描述的装置通过使用户能够将显示在对称的液晶显示器上的两个画面识别为一个连接的画面来显示具有不同的宽高比的图像。在PTL2中所描述的装置通过调整两个画面的交叠宽度来调整交叠部分的亮度。
引用列表
专利文献
PTL 1:JP-A-7-302063
PTL 2:JP-A-7-302064
发明内容
技术问题
如在以往的显示装置中,当显示分别与用户的右眼和左眼对应的两个图像时,必需处理比输入图像大的图像。PTL1描述了以下示例,其中利用NTSC标准的两个液晶面板(水平分辨率600×垂直分辨率500)将MUSE类型的高清晰度(high-vision)图像显示为水平分辨率1200×垂直分辨率500的宽图像。在这个示例中,必须进行将输入图像转换成具有较高分辨率的图像的处理。处理转换后的图像的负荷高于处理输入图像的负荷。如此,通常,组合的两个画面的显示的图像的分辨率高于输入图像的分辨率。存在关于高处理负荷的问题。
本发明的一些方面的优点是降低当包括多个显示单元的显示装置显示输入图像时所施加的处理负荷。
问题的解决方案
本发明的一个方面涉及一种显示装置,该显示装置包括:第一显示单元,其被配置成显示对应于用户的左眼的图像;第二显示单元,其被配置成显示对应于用户的右眼的图像;以及图像处理单元,其被配置成分割显示目标图像,并且向第一显示单元和第二显示单元输出包括分割成的图像的第一图像和第二图像。第一图像和第二图像包括图像区和伪图像区,图像区由通过图像处理单元分割成的图像构成,伪图像区通过所述分割而成。第一图像和第二图像中的一个的伪图像区的状态对应于第一图像和第二图像中的另一个的图像区的状态。
根据本发明的方面,第一显示单元和第二显示单元显示第一图像和第二图像。第一图像和第二图像除了包括由通过分割显示目标图像而获得的图像配置的图像区之外,还包括不包含分割成的图像的伪图像区。因此,不涉及诸如显示目标图像的分辨率增大和放大的处理,或者能够抑制处理的负荷。另外,能够抑制用于将图像传送至显示单元的传送速度。如果用于生成伪图像区的处理以及伪图像区被简化,则能够容易地抑制负荷。因此,能够抑制与图像的显示有关的负荷,并且使得用户能够视觉地识别目标图像。
根据本发明的方面,通过利用伪图像,可以抑制与图像的显示有关的负荷,并且使得用户能够视觉地识别目标图像。
在本发明的方面中,在显示装置中,优选地是,第一图像和第二图像是在第一图像和第二图像被显示在第一显示单元和第二显示单元上时被用户视觉地识别为显示目标图像的图像。
根据本发明的方面,通过分割目标图像并且在第一显示单元和第二显示单元上显示所分割成的图像,可以抑制处理的负荷,并且利用两个显示单元显示目标图像。
在本发明的方面中,在显示装置中,优选地是,图像处理单元将图像区在第一图像和第二图像中的位置与分割成的图像在显示目标图像中的位置相关联。
根据本发明的方面,分割显示目标图像,并且在第一显示单元和第二显示单元上显示所分割成的图像,而不改变所分割成的图像的位置。因此,可以使得用户能够利用两个显示单元视觉地识别一个显示目标图像。
在本发明的方面中,优选地是,显示装置还包括显示状态控制单元,该显示状态控制单元被配置成控制第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置。
根据本发明的方面,可以适当地调整第一图像的图像区的显示位置和第二图像的图像区的显示位置,并且满意地保持显示目标图像的可视性。
在本发明的方面中,优选地是,显示装置还包括配置成接收用户的输入的接收单元,并且显示状态控制单元根据通过接收单元接收的输入来改变第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置中的至少一个。
根据本发明的方面,可以根据被用户感知的视图来调整图像区的显示位置,并且满意地保持显示目标图像的可视性。
在本发明的方面中,优选地是,显示装置根据用户的视线的状态来控制第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置中的至少一个。
根据本发明的方面,可以根据被用户感知的视图来调整图像区的显示位置,并且满意地保持显示目标图像的可视性。
在本发明的方面中,优选地是,显示装置还包括配置成检测用户的视线方向的视线检测单元,并且显示状态控制单元根据由视线检测单元检测的视线方向来控制第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置中的至少一个。
根据本发明的方面,可以根据用户的视线方向来调整图像区的显示位置,并且满意地保持显示目标图像的可视性。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元根据视线检测单元检测的用户的主视眼的视线方向,来控制第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置。
根据本发明的方面,可以调整图像区的显示位置以使用户的主视眼的视线方向优先,并且满意地保持显示目标图像的可视性。
在本发明的方面中,在显示装置中,优选地是,第一显示单元和第二显示单元透射外部场景,并且显示能够与外部场景一起被视觉地识别的图像,并且显示状态控制单元调整第一图像和第二图像至少之一中的伪图像区的显示模式。
根据本发明的方面,通过调整伪图像区的显示模式,可以控制通过伪图像区透射的外部场景或者与伪图像区对应的图像区的可视性。
在本发明的方面中,优选地是,显示装置还包括显示控制单元,显示控制单元配置成使第一显示单元和第二显示单元根据位置来显示显示目标图像,在该位置处用户视觉地识别包括在外部场景中的目标对象,并且显示状态控制单元根据用户视觉地识别目标对象的位置来控制第一图像的图像区在第一显示单元中的显示位置和第二图像的图像区在第二显示单元中的显示位置。
根据本发明的方面,可以满意地执行与包括在外部场景中的目标对象对应的AR显示。
在本发明的方面中,在显示装置中,优选地是,图像处理单元从显示目标图像提取具有彼此交叠的部分的两个图像,并且将两个图像分别设置为第一图像和第二图像的图像区。
根据本发明的方面,可以使第一显示单元显示的图像与第二显示单元显示的图像彼此交叠。因此,在第一显示单元和第二显示单元所显示的图像的接缝产生不适感的情况下,可以消除不适感并且显示高清晰度的图像。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元在预先设置在第一图像和第二图像中的区域中布置图像区和伪图像区。
根据本发明的方面,可以通过图像处理单元降低用于分割显示目标图像的处理的负荷,以及用于结合伪图像区以生成第一图像或第二图像的处理的负荷。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元在第一图像和第二图像中的每一个中设置多个图像区和多个伪图像区。
根据本发明的方面,第一图像和第二图像以更加复杂的形状结合以使得用户能够视觉地识别显示目标。因此,可以以容易被用户视觉地识别的形状来分割显示目标图像并且显示图像。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元将在第一显示单元上显示的第一图像的显示尺寸与在第二显示单元上显示的第二图像的显示尺寸设置为相同的尺寸。
根据本发明的方面,因为第一显示单元和第二显示单元的显示尺寸相等,所以第一显示单元显示的图像与第二显示单元显示的图像之间的对应关系是清楚的。存在着容易根据两个显示单元的图像识别一个显示目标图像的优点。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元在第一图像与第二图像的公共位置处布置预定标志。
根据本发明的方面,因为标志存在于第一显示单元和第二显示单元上显示的图像中的公共位置处,所以第一显示单元显示的图像与第二显示单元显示的图像之间的对应关系是清楚的。因此,存在着容易根据两个显示单元的图像识别一个显示目标图像的优点。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元改变在第一显示单元和第二显示单元上显示的标志的显示尺寸。
根据本发明的方面,可以根据需要增大标志的可视性,并且适当地显示标志以不妨碍显示目标图像的视觉识别。
在本发明的方面中,在显示装置中,优选地是,显示状态控制单元随着时间流逝减小标志的显示尺寸,并且当显示目标图像改变时放大标志的显示尺寸。
根据本发明的方面,可以在需要标志时使标志显示得大,并且增大可视性,并且在标志的必要性降低时减小标志,并且使标志显示为不阻碍图像的视觉识别。因此,可以适当地显示标志并且获得便利性的改善。
在本发明的方面中,在显示装置中,优选地是,第一显示单元和第二显示单元分别包括光源、配置成二维地扫描来自光源的光的光扫描单元、以及配置成将由光扫描单元二维地扫描的光反射至用户的反射单元,并且显示状态控制单元使得图像处理单元向第一显示单元和第二显示单元输出与第一显示单元和第二显示单元的光扫描单元扫描光的幅值对应的第一图像和第二图像。
根据本发明的方面,当第一显示单元和第二显示单元具有用于扫描光并且使得用户视觉地识别图像的配置时,可以控制显示器使得以这种配置满意地视觉地识别第一图像和第二图像。因此,可以以扫描类型的显示装置满意地视觉地识别显示目标图像。
在本发明的方面中,在显示装置中,优选地是,第一显示单元和第二显示单元在彼此不同的定时显示第一图像和第二图像。
根据本发明的方面,通过设置用于显示图像的不同定时,可以分配用于传送图像的定时,并且抑制每单位时间图像的传送量。
本发明的另一方面涉及一种显示装置,该显示装置包括:第一显示单元,其被配置成显示对应于用户的左眼的图像;第二显示单元,其被配置成显示对应于用户的右眼的图像;图像处理单元,其被配置成分割显示目标图像,并且向第一显示单元和第二显示单元输出包括分割成的图像的第一图像和第二图像;视线检测单元,其被配置成检测用户的视线方向;以及显示状态控制单元,其被配置成根据视线检测单元检测的用户的视线方向来控制第一显示单元显示的第一图像的显示模式和第二显示单元显示的第二图像的显示模式。
根据本发明的方面,第一显示单元和第二显示单元显示第一图像和第二图像。因此,不涉及诸如显示目标图像的分辨率增大和放大的处理,或者能够抑制处理的负荷。另外,能够抑制将图像传送至显示单元的传送速度。因此,可以抑制涉及图像的显示的负荷,并且使得用户能够视觉地识别目标图像。另外可以根据用户的视线方向调整图像区的显示位置,并且满意地保持显示目标图像的可视性。
本发明的又一方面涉及用于包括第一显示单元和第二显示单元的显示装置的控制方法。该控制方法包括:分割显示目标图像;在第一显示单元和第二显示单元上显示与分割成的图像对应的第一图像和第二图像;以及将第一图像和第二图像设置为包括由分割成的图像构成的图像区和不包括分割成的图像的伪图像区,第一图像和第二图像中的一个的伪图像区的状态对应于第一图像和第二图像中的另一个的图像区的状态。
根据本发明的方面,不涉及诸如显示目标图像的分辨率增大和放大的处理,或者能够抑制处理的负荷。另外,能够抑制将图像传送至显示单元的传送速度。如果用于生成伪图像区的处理以及伪图像区被简化,则能够容易地抑制负荷。因此,可以抑制与图像的显示有关的负荷,并且使得用户能够视觉地识别目标图像。
本发明的又一方面涉及一种控制包括第一显示单元和第二显示单元的显示装置的计算机可执行的程序。该程序使计算机用作图像处理单元,该图像处理单元配置成分割显示目标图像,并且向第一显示单元和第二显示单元输出包括分割成的图像的第一图像和第二图像。第一图像和第二图像包括由通过图像处理单元分割成的图像构成的图像区和不包括分割成的图像的伪图像区。第一图像和第二图像中的一个的伪图像区的状态对应于第一图像和第二图像中的另一个的图像区的状态。
根据本发明的方面,不涉及诸如显示目标图像的分辨率增大和放大的处理,或者能够抑制处理的负荷。另外,能够抑制将图像传送至显示单元的传送速度。如果用于生成伪图像区的处理以及伪图像区被简化,则能够容易地抑制负荷。因此,可以抑制与图像的显示有关的负荷,并且使得用户能够视觉地识别目标图像。
附图说明
[图1]图1是示出在第一实施方式中的头戴式显示装置的外部配置的示意图。
[图2]图2是示出头戴式显示装置的功能配置的框图。
[图3]图3是用于说明头戴式显示装置的操作的流程图。
[图4]图4(A)至图4(G)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图5]图5(A)至图5(E)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图6]图6(A)至图6(E)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图7]图7(A)至图7(D)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图8]图8(A)至图8(D)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图9]图9(A)至图9(D)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图10]图10是用于说明头戴式显示装置的操作的流程图。
[图11]图11(A)至图11(F)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图12]图12是用于说明头戴式显示装置的操作的流程图。
[图13]图13(A)至图13(C)是示出通过头戴式显示装置显示的图像的示例的示意图。
[图14]图14(A)至图14(D)是头戴式显示装置的渲染操作的示意图。
[图15]图15是示出在第二实施方式中头戴式显示装置的功能配置的框图。
[图16]图16(A)和图16(B)是示出图像显示单元的主要部件配置的图。
[图17]图17是用于说明头戴式显示装置的操作的流程图。
[图18]图18(A)至图18(G)是示出通过头戴式显示装置显示的图像与视线之间的对应关系以及通过头戴式显示装置显示的图像的示例的示意图。
[图19]图19是用于说明头戴式显示装置的操作的流程图。
[图20]图20是示出在第三实施方式中的头戴式显示装置的功能配置的框图。
[图21]图21(A)至图21(D)是头戴式显示装置的显示***的示意图。
[图22]图22(A)至图22(E)是示出通过头戴式显示装置显示的图像和头戴式显示装置的显示操作的示例的示意图。
[图23]图23(A)至图23(C)是示出通过头戴式显示装置显示的图像和头戴式显示装置的显示操作的示例的示意图。
[图24]图24是用于说明头戴式显示装置的操作的流程图。
具体实施方式
第一实施方式
下面将参照附图描述应用本发明的第一实施方式。
图1是示出头戴式显示装置100的外部配置的示意图。头戴式显示装置100是安装在头部上的显示装置并且也被称为头戴式显示器(HMD)。在这个实施方式中的头戴式显示装置100是光透射类型的头戴式显示装置,用户可以用该装置视觉地识别虚拟图像并且同时直接地视觉地识别外部场景。注意的是,在这个说明书中,为了方便用头戴式显示装置100被用户视觉地识别的虚拟图像也被称为“显示图像”。发射基于图像数据生成的图像光也被称为“显示一图像”。
头戴式显示装置100包括图像显示单元20(显示单元)和控制图像显示单元20的控制装置(控制器)10,图像显示单元20使得用户能够在图像显示单元20戴在用户的头上的状态下视觉地识别虚拟图像。
图像显示单元20是戴在用户的头上的可穿戴主体。在这个实施方式中,图像显示单元20具有眼镜形状。图像显示单元20包括右保持单元21、右显示驱动单元22、左保持单元23、左显示驱动单元24、右光学图像显示单元26、左光学图像显示单元28、相机61和麦克风63。右光学图像显示单元26和左光学图像显示单元28分别设置为在用户佩戴图像显示单元20时位于用户的右眼和左眼的前方。右光学图像显示单元26的一端和左光学图像显示单元28的一端在当用户佩戴图像显示单元20时在用户前额的中间部分所对应的位置彼此连接。
右保持单元21是设置为从端部ER向对应于当用户佩戴图像显示单元20时用户的颞区对应的位置延伸的构件,端部ER是右光学图像显示单元26的另一端。类似地,左保持单元23是设置为从端部EL向对应于当用户佩戴图像显示单元20时用户的颞区对应的位置延伸的构件,端部EL是左光学图像显示单元28的另一端。右保持单元21和左保持单元23使图像显示单元20像眼镜腿一样保持在用户的头部上。
右显示驱动单元22和左显示驱动单元24设置在当用户佩戴图像显示单元20时用户的头部相对的侧上。注意的是,在下面的描述中,右保持单元21和左保持单元23也简单地统称为“保持单元”。右显示驱动单元22和左显示驱动单元24也简单地统称为“显示驱动单元”。右光学图像显示单元26和左光学图像显示单元28也简单地统称为“光学图像显示单元”。
显示驱动单元22和24包括液晶显示器241和242(下文中也被称为“LCD241和242”)和投影光学***251和252(见图2)。下面描述显示驱动单元22和24的配置的细节。起光学构件作用的光学图像显示单元26和28包括导光板261和262(见图2)。调光板(附图中未示出)可以设置在右光学图像显示单元26和28的前表面侧上。导光板261和262由透光树脂等形成,并且将从显示驱动单元22和24输出的图像光引导至用户的眼睛。调光板是薄板状光学元件并且设置为覆盖图像显示单元20的前侧,其是与用户眼睛的一侧相对的侧。可以使用诸如光透射率几乎为0的调光板、几乎透明的调光板、衰减光量并且透射光的调光板、以及衰减或者反射具有特定波长的光的调光板的各种调光板作为调光板。通过适当地选择调光板的光学特性(光透射率等),可以调整从外部入射到右光学图像显示单元26和左光学图像显示单元28上的光量并且调整虚拟图像的视觉识别的容易性。在这个实施方式中,具有足够的光透射率的调光板用于使得佩戴图像显示单元20的用户能够视觉地识别外部的场景。调光板对保护导光板261和262并且抑制对右导光板261和左导光板262的损坏、尘埃的吸附等是有用的。
调光板可以可拆卸地附接至右光学图像显示单元26和左光学图像显示单元28。多种调光板可以被替代或安装。可以省略调光板。
相机61设置在端部ER处,端部ER是右光学图像显示单元26的另一端。相机61采集外部场景的图像并且获取外部场景图像,所述外部场景是沿着用户眼睛一侧的相反一侧的方向上的外部场景。
图像采集方向,即相机61的视角是采集在图像显示单元20的前侧方向中的图像的方向。换言之,相机61的视角是在佩戴图像显示单元20的状态下用户视野的至少一部分的外部场景的图像被采集的方向。相机61的视角的宽度可以被设置为合适。然而,相机61的图像采集范围优选地是包括通过右光学图像显示单元26和左光学图像显示单元28被用户视觉地识别的外部世界的范围。另外,相机61的图像采集范围更优选地设置为使得用户的整个视野的图像可以通过调光板来采集。
图像显示单元20还包括用于将图像显示单元20连接至控制装置10的连接单元40。连接单元40包括连接至控制装置10的主体线48、右线42、左线44以及耦接构件46。右线42和左线44是从主体线48分支的两根线。右线42沿着右保持单元21的延伸方向从远端部AP***到右保持单元21的壳中,并且连接至右显示驱动单元22。类似地,左线44沿着左保持单元23的延伸方向从远端部AP***到左保持单元23的壳中,并且连接至左显示驱动单元24。
耦接构件46设置在主体线48与右线42和左线44的分支点处并且包括用于连接耳机插头30的插孔。右耳机32和左耳机34从耳机插头30延伸。麦克风63连接至耳机插头30的附近。从耳机插头30至麦克风63的线被集中为一根线。线从麦克风63分支并且分别被连接至右耳机32和左耳机34。
注意的是,右线42和左线44也可以被集中为一根线。具体地,在右线42的一侧上的引线可以通过图像显示单元20的主体的内部引出到左保持单元23侧。所述引线和在左线44内部的引线可以被涂覆有树脂并且被集中为一根线。
图像显示单元20和控制装置10经由连接单元40执行各种信号的传输。彼此适配的连接器(附图中未示出)分别设置在在主体线48中和在控制装置10中耦接构件46的相对侧的端部处。控制装置10和图像显示单元20根据主体线48的连接器与控制装置10的连接器的适配和不适配而连接和断开。例如,可以采用金属电缆或光纤作为右线42、左线44和主体线48。
控制装置10是用于控制头戴式显示装置100的装置。控制装置10包括确定键11、发光单元12、显示切换键13、亮度切换键15、方向键16、菜单键17以及包括电源开关18的开关。控制装置10包括用户利用手指可触摸操作的触摸板14。
确定键11检测按压操作并且输出用于确定在控制装置10中的操作的内容的信号。发光单元12用其发光状态表示头戴式显示装置100的操作状态。作为头戴式显示装置100的工作状态,存在着例如电源的开/关。例如使用LED(发光二极管)作为发光单元12。显示切换键13检测按压操作,并且输出例如用于切换内容运动图像的显示模式为3D和2D的信号。
触摸板14检测用户的手指在触摸板14的操作表面上的操作,并且输出与检测的内容对应的信号。可以采用诸如静电类型、按压类型和光学类型的各种触摸板作为触摸板14。亮度切换键15检测按压操作,并且输出用于增加或减小图像显示单元20的亮度的信号。方向键16检测在与上、下、左和右方向对应的按键上的按压操作,并且输出与所检测的内容对应的信号。电源开关18检测开关的滑动操作,以切换头戴式显示装置100的电源状态。
图2是头戴式显示装置100的功能框图。在图2中,还示出了连接至头戴式显示装置100的图像供给装置OA。头戴式显示装置100和图像供给装置OA可以配置显示***。
如图2所示,控制装置10包括控制单元140、操作单元135、输入信息获取单元110(接收单元)、存储单元120、电源130、接口180以及发送单元(Tx)51和发送单元(Tx)52。
操作单元135检测用户的操作。操作单元135包括诸如在图1中示出的确定键11、显示切换键13、触摸板14、亮度切换键15、方向键16、菜单键17和电源开关18的单元。
输入信息获取单元110获取与用户的操作输入对应的信号。存在着与诸如对触摸板14、方向键16和电源开关18的操作输入的操作输入对应的信号。
电源130向头戴式显示装置100的单元提供电力。可以使用例如二次电池作为电源130。
在存储单元120中存储有各种计算机程序。存储单元120由ROM、RAM等配置。
控制单元140包括CPU、ROM和RAM并且执行存储在ROM或存储单元120中的程序,从而控制头戴式显示装置100的单元。控制单元140执行程序从而起操作***(OS)150的作用,其是头戴式显示装置100的基本控制***。控制单元140执行程序以起图像处理单元160、分割控制单元164、声音处理单元170和显示控制单元190的作用。这些功能可以是操作***150的一部分或者可以是在操作***150上操作的应用程序的功能。
图像处理单元160获取包括在内容中的图像信号。图像处理单元160从所获取的图像信号中分离诸如垂直同步信号VSync和水平同步信号HSync的同步信号。图像处理单元160根据所分离的垂直同步信号VSync和水平同步信号HSync的周期利用PLL(锁相环)电路等(附图中未示出)生成时钟信号PCLK。图像处理单元160利用A/D转换电路等(附图中未示出)将模拟图像信号转换成数字图像信号,同步信号是从模拟图像信号中分离出的。之后,在转换之后,图像处理单元160将数字图像信号以一帧一帧的形式存储在存储单元120中的DRAM中作为目标图像的图像数据(在附图中,Data)。图像数据是例如RGB数据。存储单元120的DRAM起临时存储一个帧的图像数据的帧存储器或帧缓冲器的作用。
注意的是,图像处理单元160可以根据需要在图像数据上执行诸如分辨率转换处理、用于调整亮度和色度的各种色调校正处理、以及梯形失真校正处理的图像处理。
图像处理单元160发送由图像处理单元160生成的时钟信号PCLK、垂直同步信号VSync和水平同步信号HSync并且分别经由发送单元51和52发送存储在存储单元120的DRAM中的图像数据Data。注意的是,经由发送单元51发送的图像数据Data也被称为“用于右眼的图像数据”。经由发送单元52发送的图像数据Data也被称为“用于左眼的图像数据”。发送单元51和52起用于在控制装置10和图像显示单元20之间串行传输的收发器。
显示控制单元190生成用于控制右显示驱动单元22和左显示驱动单元24的控制信号。具体地,显示控制单元190利用控制信号通过右LCD控制单元211单独地控制右LCD241的驱动的开/关,通过右背光控制单元201单独地控制右背光221的驱动的开/关,通过左LCD控制单元212单独地控制左LCD242的驱动的开/关,通过左背光控制单元202单独地控制左背光222的驱动的开/关等。因此,显示控制单元190通过右显示驱动单元22和左显示驱动单元24分别地控制图像光的生成和发射。例如,显示控制单元190使得右显示驱动单元22和左显示驱动单元24两者生成图像光,使得仅右显示驱动单元22和左显示驱动单元24中之一生成图像光,或者使得右显示驱动单元22和左显示驱动单元24两者均不生成图像光。
显示控制单元190分别经由发送单元51和52发送用于右LCD控制单元211和左LCD控制单元212的控制信号。显示控制单元190分别发送用于右背光控制单元201和左背光控制单元202的控制信号。
头戴式显示装置100利用图像处理单元160和显示控制单元190的功能使得图像显示单元20显示经由以下描述的接口180或通信单元117输入的内容的图像。当输入内容是2D(平面)的静止图像或运动图像时,右显示驱动单元22和左显示驱动单元24显示相同的图像。图像处理单元160发送存储在存储单元120中的DRAM中的图像数据作为来自发送单元51的用于右眼的图像数据,并且发送所述图像数据作为来自发送单元52的用于左眼的图像数据。也就是说,图像处理单元160处理用于右眼和左眼的两种图像数据。当图像数据具有高分辨率或者帧速率高时,在图像处理单元160上的处理负荷大。当处理负荷过大时,存在着对配置控制单元140的硬件的热值增加、功耗增加、发生引起不必要的辐射的谐波等方面的担忧。因此,执行适合于处理负荷增加的热辐射测量、确保充足的电力供给能力、加强硬件性能等。因此,使得由于配置的复杂化成本增加并且装置的尺寸增加。
在这个实施方式中的头戴式显示装置100包括分割控制单元164(显示状态控制单元)。头戴式显示装置100利用分割控制单元164的功能执行分割的显示。因此,能够降低在图像处理单元160上的处理负荷。
分割显示是分割内容的图像并且在右显示驱动单元22和左显示驱动单元24中分割地显示图像的一种方法。在执行分割显示期间,分割控制单元164控制图像的分割的状态以及分割的图像的显示位置。图像处理单元160根据控制来分割和显示图像。图像处理单元160能够根据来自内容的图像的用于生成用于右眼的图像数据和用于左眼的图像数据的处理抑制由于重复而增加图像数据的数据量。因此,能够降低处理负荷。以下描述分割显示的细节。
声音处理单元170获取包括在内容中的声音信号,放大所获取的声音信号,并且将声音信号提供到在右耳机32中的扬声器(附图中未示出)和在左耳机34中的扬声器(附图中未示出),右耳机32和左耳机34连接至耦接构件46。注意的是,例如,在采用杜比(注册商标)***时,执行关于声音信号的处理。不同的声音(其的频率等变化)分别从右耳机32和左耳机34输出。声音处理单元170获取通过麦克风63收集和输入的声音,将声音转换成数字声音数据,并且执行与声音有关的处理。例如,声音处理单元170可以执行用于从所获取的声音提取特性并且对所述特性进行建模的扬声器识别,以单独地识别多个人的声音并且指定关于各个声音的说话人。
三轴传感器113、GPS115和通信单元117连接至控制单元140。三轴传感器113是具有三个轴的加速度传感器。控制单元140能够获取三轴传感器113的检测值,并且检测控制装置10的运动和运动的方向。
GPS115包括天线(附图中未示出),接收GPS(全球定位***)信号并且计算控制装置10的当前位置。GPS115向控制单元140输出基于GPS信号计算的当前位置和当前时间。GPS115可以包括基于包括在GPS信号中的信息来获取当前时间、并且使得控制装置10的控制单元140改正被控制单元140锁定的时间的功能。
通信单元117执行符合无线LAN(Wi-Fi(注册商标))和蓝牙(注册商标)标准的无线数据通信。
接口180是用于将各种图像供给装置OA连接至控制装置10的接口,各种图像供给装置OA为内容的供给源。通过图像供给装置OA提供的内容包括静止图像或者运动图像,并且可以包括声音。图像供给装置OA的示例包括个人计算机(PC)、蜂窝电话终端和游戏终端。可以使用例如USB接口、微型USB接口、用于存储卡的接口等作为接口180。
图像供给装置OA还可以通过无线通信线路连接至控制装置10。在这种情况下,图像供给装置OA与通信单元117执行无线通信,并且利用诸如Miracast(注册商标)的无线通信技术发送内容的数据。
图像显示单元20包括右显示驱动单元22、左显示驱动单元24、起右光学图像显示单元26作用的右导光板261、起左光学图像显示单元28作用的左导光板262、相机61、振动传感器65以及九轴传感器66。
振动传感器65被利用加速度传感器来配置,并且被设置在如图1所示的图像显示单元20的内部。在图1所示的示例中,振动传感器65结合在右保持单元21中的右光学图像显示单元26的端部ER的附近。当用户执行敲击端部ER的操作(敲击操作)时,振动传感器65检测由于这个操作而产生的振动,并且向控制单元140输出检测结果。控制单元140根据振动传感器65的检测结果来检测用户的敲击操作。
九轴传感器66是检测加速度(三个轴)、角速度(三个轴)和地磁(三个轴)的运动传感器。因为九轴传感器66设置在图像显示单元20中,所以当图像显示单元20戴在用户的头上时,九轴传感器66检测用户的头的运动。例如,控制单元140可以根据通过九轴传感器66检测的用户的头的运动,来确定图像显示单元20的方向并且估计用户的视线方向。
右显示驱动单元22包括接收单元(Rx)53、起光源作用的右背光(BL)控制单元201和右背光(BL)221、起显示元件作用的右LCD控制单元211和右LCD241以及右投影光学***251。右背光控制单元201和右背光221起光源的作用。右LCD控制单元211和右LCD241起显示元件的作用。注意的是,右背光控制单元201、右LCD控制单元211、右背光221和右LCD241也被统称为“图像光生成单元”。
接收单元53起用于在控制装置10与图像显示单元20之间串行传输的接收器的作用。右背光控制单元201基于输入控制信号驱动右背光221。例如,右背光221是诸如LED或者电致发光(EL)元件的发光体。右LCD控制单元211基于时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和经由接收单元53输入的用于右眼的图像数据Data1驱动右LCD241。右LCD241是其上以矩阵形状设置有多个像素的透射型液晶面板。
右投影光学***251由将从右LCD241发射的图像光改变成平行状态的光束的准直透镜配置。起右光学图像显示单元26作用的右导光板261在沿着预定的光路反射图像光的同时将从右投影光学***251输出的图像光引导至用户的右眼RE。注意的是,右投影光学***251和右导光板261也被统称为“导光单元”。
左显示驱动单元24包括与右显示驱动单元22的配置相同的配置。左显示驱动单元24包括接收单元(Rx)54、起光源作用的左背光(BL)控制单元202和左背光(BL)222、起显示元件作用的左LCD控制单元212和左LCD242以及左投影光学***252。左背光控制单元202和左背光222起光源的作用。左LCD控制单元212和左LCD242起显示元件的作用。
注意的是,左背光控制单元202、左LCD控制单元212、左背光222和左LCD242也被统称为“图像光生成单元”。左投影光学***252通过将从左LCD242发射的图像光改变成平行状态的光的准直透镜配置。起左光学图像显示单元28的作用的左引导板262在沿着预定的光路反射图像光的同时将从左投影光学***252输出的图像光引导至用户的左眼LE。注意的是,左投影光学***252和左导光板262也被统称为“导光单元”。
左显示驱动单元24和左导光板262配置显示与用户的左眼对应的图像的第一显示单元。右显示驱动单元22和右导光板261配置显示与用户的右眼对应的图像的第二显示单元。
图3是用于说明头戴式显示装置100的操作的流程图。特别是,图3示出了涉及利用分割控制单元164的功能执行的分割显示的操作。
当通过接口180或者通信单元117输入内容并且通过操作单元135的操作执行内容的显示时,分割控制单元164控制图像处理单元160和显示控制单元190并且开始分割显示(步骤S11)。
预先设置是执行正常图像的显示还是执行分割显示。分割控制单元164可以确定诸如宽高比、显示尺寸或显示分辨率以及与从图像供给装置OA输入的内容的图像有关的显示刷新率的属性,并且根据确定的属性确定是否执行分割显示。分割控制单元164可以自动地执行与所确定的属性相关联的确定,或者当属性与用户设定的条件对应时执行分割显示。另外,分割控制单元164可以使得用户执行用于选择是否执行分割显示的输入操作。
图像处理单元160获取包括在内容中的图像信号,并且将配置内容图像的数字图像数据作为目标图像的图像数据(在附图中,Data)一帧一帧地存储在单元120中的DRAM中(步骤S12)。
随后,分割控制单元164参照例如存储在存储单元120中的设置数据123获取与图像的分割有关的设置(步骤S13)。设置数据123是设置与通过图像处理单元160获取的内容的图像数据的分割模式有关的数据。存在诸如纵向(垂直方向)一半、横向(水平方向)一半、横向线单元、纵向线单元以及点单元的各种模式作为图像数据的分割模式。可以设置分割的数据的交叠部分。可以添加标记。下面参照在图4(A)至图9(D)中示出的具体示例描述分割的模式。注意的是,标记的示例包括诸如条形码的一维码、诸如QR码(注册商标)的二维码、以及其他的机器可识别的标记。标记可以包括信息或者可以不包括信息。
分割控制单元164使得图像处理单元160分割存储在存储单元120的DRAM中的图像数据(步骤S14)。另外,分割控制单元164使得图像处理单元160生成包括分割之后的图像数据的用于左眼的图像数据(第一图像)和用于右眼的图像数据(第二图像)(步骤S15)。
之后,图像处理单元160经由发送单元51向右显示驱动单元22发送用于右眼的图像数据,经由发送单元52向左显示驱动单元24发送用于左眼的图像数据,并且使得右显示驱动单元22和左显示驱动单元24显示用于右眼的图像和用于左眼的图像(步骤S16)。
控制单元140辨别是否存在与显示的结束有关的指令(步骤S17)。当显示持续时(在步骤S17中为“否”),控制单元140返回至步骤S12。当通过操作单元135指示显示结束时(步骤S17中为“是”),控制单元140结束处理。
图4(A)至图9(D)是示出分割显示的具体示例的图。
图4(A)至图4(G)是示出图像沿着纵向方向(上下方向、高度方向以及垂直方向)在预定的位置处被分割的图。图4(A)示出了在分割之前内容的图像(分割之前的图像)350。图4(B)示出了分割的图像之一的图像(分割的图像)351。图4(C)示出了分割的图像中之另一的图像(分割的图像)353。图4(D)示出了基于分割的图像351的用于左眼的图像352。图4(E)示出了基于分割的图像353的用于右眼的图像354。
在图4(A)至图4(G)示出的示例中,图像处理单元160根据分割控制单元164的控制,沿着上下方向将分割之前的图像350(显示目标图像)分成两个。分割的位置是分割之前的图像350的沿着上下方向的中心。分割之前的图像350是等分的。分割的图像351和分割的图像353沿着纵向方向的尺寸相等。分割的图像351和353沿着横向方向的尺寸与分割之前的图像350的横向方向的尺寸相等。
分割的图像351对应于分割之前的图像350的上半部分。分割的图像351沿着纵向方向的分辨率(像素的数目)是分割之前的图像350的分辨率的一半。因此,图像处理单元160基于分割的图像351输出用于左眼的图像(第一图像)352。用于左眼的图像352由图像区352A和伪图像区(pseudo image region)352B构成。图像区352A是分割的图像351。伪图像区352B是为了调整伪图像区352B的沿着纵向方向的分辨率而由图像处理单元160添加的假数据(dummy data)。
图像处理单元160基于分割的图像353输出用于右眼的图像(第二图像)354。用于右眼的图像354由图像区354A和伪图像区354B构成。图像区354A是分割的图像353。伪图像区354B是为了调整沿着纵向方向的分辨率而由图像处理单元160添加的假数据。
在这个示例中,用于左眼的图像352输出至左显示驱动单元24并且通过左光学图像显示单元28显示。用于右眼的图像354输出至右显示驱动单元22并且通过右光学图像显示单元26显示。对于用户,用于左眼的图像光352入射在左眼上,并且用于右眼的图像光354入射在右眼上。因此,左眼看见用于左眼的图像352,并且右眼看见用于右眼的图像354。根据经验需要澄清的是,人脑具有结合在左眼和右眼中看到的图像的功能。用户将在这个实施方式中显示的用于左眼的图像352与用于右眼的图像354结合。因此,用户识别结合的分割之前的图像350。
特别是,用于左眼的图像352的伪图像区352B的尺寸和像素数目与用于右眼的图像354的图像区354A的尺寸和像素的数目相等。用于右眼的图像354的伪图像区354B的尺寸和像素数目与用于左眼的图像352的图像区352A的尺寸和像素数目相同。如此,伪图像区352B对应于图像区354A。伪图像区354B对应于图像区352A。也就是说,在用户的一只眼睛看到分割之前的图像350的一部分的位置处,在另一只眼睛中看到假数据。因此,当借助用户的大脑功能结合图像时,图像和假数据叠加。因此,图像自然地叠加。用户能够合理地识别分割之前的图像350。
分割的图像351(其是分割之前的图像350的上半部分)是用于左眼的图像352的上半部分的图像区352A。分割的图像353(其是分割之前的图像350的下半部分)是用于右眼的图像354的下半部分的图像区354A。也就是说,图像区352A和354A被设置在与以下位置相同的位置处:与其相对应的分割的图像在分割之前的图像350中所占据的位置。因此,用户能够更加自然地叠加图像并且识别分割之前的图像350。
期望将在左光学图像显示单元28的可显示区中的用于左眼的图像352的显示位置和在右光学图像显示单元26的可显示区中的用于右眼的图像354的显示位置设置在相同的位置。另外,更加期望在左光学图像显示单元28的可显示区中的用于左眼的图像352的显示尺寸和在右光学图像显示单元26的可显示区中的用于右眼的图像354的显示尺寸是相同的尺寸。在这种情况下,在用户的左眼中看到的用于左眼的图像352的位置与在用户的右眼中看到的用于右眼的图像354的位置彼此重叠。因此,有利的是,用户可以容易地结合左眼和右眼的视野并且识别分割之前的图像350。可显示区指的是右光学图像显示单元26和左光学图像显示单元28的可以显示图像的区域。
根据本发明人的研究,如以下所描述的,已经说明了用于左眼的图像352和用于右眼的图像354的显示尺寸对用户的可视性的影响。
当显示尺寸大时,看见图像区352A和354A。另外,伪图像区352B和354B清楚地被视觉地识别。因此,因为伪图像区352B和354B是显眼的,图像区352A和354A往往被视为模糊。已经发现因为显示尺寸较大,所以用于左眼的图像352和用于右眼的图像354更加清晰地被看到。这被认为是因为用于左眼的图像352和用于右眼的图像354的光量大。
另一方面,当显示尺寸小时,伪图像区352B和354B不显眼。图像区352A和354A往往被清晰地看见。分割之前的图像350可以在图像区352A和354A具有小的偏移并且正确叠加的状态下被视觉地识别。然而,因为显示尺寸较小所以识别的图像较暗。
因此,期望用于左眼的图像352和用于右眼的图像354的显示尺寸较小。例如,期望显示尺寸沿着相对于右光学图像显示单元26和左光学图像显示单元28的可显示区的纵向方向和横向方向两者是一半的尺寸或者更小。
在这个实施方式中,通过图像处理单元160处理的图像数据是分割之前的图像350和配置伪图像区352B和354B的假数据。伪图像区352B和354B是例如表示黑色的(R,G,B)=(0,0,0)的数据。伪图像区352B和354B可以是表示为纯白的数据(在RGB 24位数据为(255,255,255)的情况)。能够容易地生成和压缩通过连续的黑色和白色像素而配置的图像数据。因此,在这个实施方式中,与当向发送单元51和52中的每一个输出分割之前的图像350时相比,可以减少或压缩被图像处理单元160处理的实质的数据量。可以降低在图像处理单元160上的处理负荷。
如上所述,图像显示单元20是透射式显示装置。图像光可以通过透射外部光的右光学图像显示单元26和左光学图像显示单元28而入射在用户的眼睛上。当伪图像区352B和354B被上色为黑色时,在与伪图像区352B和354B对应的部分中缺乏图像光。因此,分割的图像351的图像光和分割的图像353的图像光入射在用户的眼睛上。另一方面,假数据的图像光不入射在眼睛上。因此,入射在用户的眼睛上的图像光的光量基本上等于分割之前的图像350的一个画面的光量。因此,用户能够容易地识别分割之前的图像350。
注意的是,在上述示例中,与当分割之前的图像350通过右光学图像显示单元26和左光学图像显示单元28两者显示时相比,图像光的光量基本为一半,并且分割之前的图像350看起来是深色的。与执行正常显示时相比,当图像处理单元160根据分割控制单元164的控制而执行分割显示时,可以增加通过右光学图像显示单元26和左光学图像显示单元28发射的图像光的光量,作为处理这个问题的措施。具体地,存在着增加右背光221和左背光222的光量的方法,以及用图像处理单元160执行亮度放大处理以增加用于左眼的图像352和用于右眼的图像354的亮度的方法。可替选地,当右显示驱动单元22和左显示驱动单元24包括用于缩窄(narrowing)图像光的隔膜机制(消光机制)时,可以通过隔膜机制的功能增加图像光。
另一方面,当伪图像区352B和354B被上色为白色时,具有最大亮度的像素的图像光入射在与伪图像区352B和354B对应的部分上。分割的图像351的图像光和分割的图像353的图像光入射在用户的眼睛上。另外,与假数据对应的白色的图像光也入射在眼睛上。在这种情况下,因为假数据的颜色是无色的,所以入射在用户眼睛上的图像光的光量不阻碍用户将分割的图像351和353结合并且识别分割之前的图像350。另外,当伪图像区352B和354B的图像光入射在用户的眼睛上时,存在着利用该图像光,眼睛不太容易受外部光的影响的优点。也就是说,因为图像光入射在眼睛上,所以在伪图像区352B和354B的显示位置处不太容易看到外部场景。因此,例如,当外部光强时,可以预料的是分割之前的图像350的可视性被提高。
在头戴式显示装置100中预先设置分割之前的图像350被分割的位置、配置伪图像区352B和354B的假数据的像素值等。设置内容存储为设置数据123。
注意的是,在图4(B)至图4(E)中,示出了以下示例,其中分割之前的图像350沿着纵向方向在中心处被分割,基于在上半部分的图像输出对应于左眼的用于左眼的图像352,并且输出对应于下半部分和右眼的用于右眼的图像354。分割之前的图像350被分割的位置不限于分割之前的图像350的中心并且可以是任意位置。在这种情况下,伪图像区352B和354B仅需要对应于图像区352A和354A的像素数目与分割之前的图像350的像素数目之间的差异。也就是说,如果伪图像区352B对应于图像区354A并且伪图像区354B对应于图像区352A,则可以获得与参照图4(B)至图4(E)描述的示例中的效果相同的效果。
图像处理单元160可以真实地生成与分割的图像351和353对应的图像数据,并且将图像数据存储在存储单元120中,或者可以在当从存储单元120读出图像数据时执行的数据处理中实现图像的分割,并且输出至发送单元51和52。
例如,图像处理单元160从存储单元120的DRAM中读出分割之前的图像350,将上半部分写入在DRAM上作为分割的图像351,并且将下半部分写入在DRAM上作为分割的图像353。随后,图像处理单元160向在DRAM上的分割的图像351添加配置伪图像区352B的假数据,并且生成用于左眼的图像352。类似地,图像处理单元160向在DRAM上的分割的图像353添加假数据并且生成用于右眼的图像354。在这种情况下,用于左眼的图像352和用于右眼的图像354的图像数据被存储在DRAM上。图像处理单元160从DRAM读取用于左眼的图像352和用于右眼的图像354,并且用发送单元51和52发送用于左眼的图像352和用于右眼的图像354。
例如,图像处理单元160可以配置成基于在DRAM上的分割之前的图像350,当从发送单元51和52输出图像数据时执行图像的分割和假数据的添加。在这种情况下,图像处理单元160以预定字节或预定数目的线(line)为单位,从分割之前的图像350的上端位置读取数据,并且将数据输出至发送单元52。在读取分割之前的图像350的上半部分的数据之后,图像处理单元160向发送单元52输出假数据。图像处理单元160向发送单元52输出与伪图像区352B的线数目对应的一定量的假数据。在这个处理中由图像处理单元160向发送单元51输出的数据与在图4(D)中示出的用于左眼的图像352的数据相同。
图像处理单元160向发送单元51输出与伪图像区354B对应的一定数量的假数据。在输出假数据之后,图像处理单元160从分割之前的图像350的中心位置读取下半部分的数据,并且将所述数据输出至发送单元51。在这个过程中由图像处理单元160向发送单元51输出的数据与在图4(E)中示出的用于右眼的图像354的数据相同。
如此,即使用于左眼的图像352和用于右眼的图像354的图像数据没有实际地存储在DRAM上,也可以实现如下操作:对分割之前的图像350进行分割,并且基于分割的图像351和353输出用于左眼的图像352和用于右眼的图像354。
另外,当图像处理单元160包括并行地处理向发送单元51输出的数据和向发送单元52输出的数据并且输出所述数据的处理器时,图像处理单元160可以并行地执行对与分割之前的图像350的上半部分相关的处理以及对与分割之前的图像350的下半部分相关的处理。在这种情况下,在各种处理中从DRAM读取的数据是不同的数据。因此,针对DRAM上的相同地址的处理不会冲突或竞争。对于竞争调整的处理的必要性低。因此,与当向发送单元51和发送单元52中的每一个输出整个分割之前的图像350时相比,可以降低整个控制单元140的处理负荷。
分割控制单元164可以控制图像处理单元160以执行使右显示驱动单元22和左显示驱动单元24的图像的显示定时偏移的处理。具体地,分割控制单元164调整用于输出来自发送单元51和52的用于左眼的图像352和用于右眼的图像354的定时、垂直同步信号VSync和水平同步信号HSync等。
在这种情况下,可以抑制由图像处理单元160输出的每单位时间的图像数据量并且还降低处理的负荷。左光学图像显示单元28和右光学图像显示单元26显示图像时的定时不同。然而,当所显示的图像的帧频率不过低时(例如,几帧至几十帧/秒),叠加用户感知到的后像。因此,用户能够叠加右光学图像显示单元26的显示图像和左光学图像显示单元28的显示图像,并且识别分割之前的图像350。
另外,在图4(A)至图4(E)示出的示例中,分割之前的图像350的上半部分被设置为与用户的左眼对应的用于左眼的图像352,并且分割之前的图像350的下半部分被设置为与用户的右眼对应的用于右眼的图像354。然而,这仅是示例。用于左眼的图像352可以是包括分割之前的图像350的下半部分的图像。在这种情况下,用于右眼的图像354仅需要包括分割之前的图像350的上半部分的图像。也就是说,用于左眼的图像352和用于右眼的图像354仅需要是以下图像:在所述图像中,用于左眼的图像352和用于右眼的图像354中的一个的伪图像区与用于左眼的图像352和用于右眼的图像354中的另一个的图像区相对应的关系被保持,并且当结合图像区352A和354A时整个分割之前的图像350被视觉地识别。
图4(F)示出了在图像内添加有叠加位置标记M的用于左眼355的图像。图4(G)示出了与用于左眼的图像355对应的用于右眼的图像356。
用于左眼的图像355和用于右眼的图像356两者包括叠加位置标记M(标志)。在图4(F)和图4(G)示出的示例中,叠加位置标记M设置在图像的中心。然而,在用于左眼的图像355中的叠加位置标记M的位置和在用于右眼的图像356中的叠加位置标记M的位置相同。也就是说,在用于左眼的图像355和用于右眼的图像356中,在右光学图像显示单元26和左光学图像显示单元28中显示的显示尺寸被设置为相同的尺寸。用于左眼的图像355和用于右眼的图像356包括在公共位置处的叠加位置标记M。在这种情况下,在用户的右眼和左眼中均看见叠加位置标记M。因此,叠加位置标记M起标尺(yardstick)的作用或者在结合用于左眼的图像355和用于右眼的图像356的图像区时对准的参考的作用。因此,用户能够参照叠加位置标记M合理地结合在左眼和右眼中看到的图像,并且识别在被分割之前的分割之前的图像350。
分割控制单元164设置在用于左眼的图像355和用于右眼的图像356中的叠加位置标记M的显示位置和叠加位置标记M的显示尺寸,并且使得图像处理单元160能够显示叠加位置标记M。分割控制单元164读取预先存储在存储单元120中的叠加位置标记M的图像,并且使得图像处理单元160能够以指定位置和指定尺寸显示叠加位置标记M。
在图4(F)和图4(G)中,示出了以下示例:在用于左眼的图像355和用于右眼的图像356的每一个中设置有一个叠加位置标记M。然而,标志(叠加位置标记)的数目、形状等是可选的。例如,可以使用诸如其他图形、字符和图像的各种形状作为叠加位置标记的形状。显示颜色、亮度等也是可选的。用户仅需要能够视觉地识别设置在用于左眼的图像355和用于右眼的图像356中的叠加位置标记M。例如,在与头戴式显示装置100有关的菜单屏幕上的向用户示出的图标等可以被用作叠加位置标记。可以使用具有框形状的叠加位置标记。可以显示包括多个图或图像的叠加位置标记。叠加位置标记的位置仅需要在对于用于左眼的图像355和用于右眼的图像356公共的位置处,并且不限于用于左眼的图像355和用于右眼的图像356的中心。
例如,图像处理单元160可以根据分割控制单元164的控制,使得能够调整叠加位置标记的显示颜色和亮度,并且根据用于左眼的图像355和用于右眼的图像356的颜色来确定叠加位置标记的显示颜色和亮度。当通过多个图等等来配置叠加位置标记时,多个图等等的显示模式可以变化。
图5(A)至图5(E)是示出关于分割图像的处理另一示例的图,其中图像是沿着横向方向(水平方向)在预定的位置处被分割的。图5(A)示出了分割之前的图像350。图5(B)示出了分割的图像357。图5(C)示出了分割的图像359。图5(D)示出了基于分割的图像357的用于左眼的图像358。图5(E)示出了基于分割的图像359的用于右眼的图像360。
分割的图像357和359是在沿着横向方向预先设置的位置出通过对分割之前的图像350进行分割而获得的图像。分割之前的图像350沿着横向方向在中心位置处被相等地分割成两个。分割的图像357和分割的图像359的沿着横向方向的尺寸相同。分割的图像357和359的沿着纵向方向的尺寸与分割之前的图像350的尺寸相同。
图像处理单元160基于分割的图像357和359生成用于左眼的图像358和用于右眼的图像360,并且向发送单元51和52输出用于左眼的图像358和用于右眼的图像360。
用于左眼的图像358的左半部分是包括分割的图像357的图像区358A。用于左眼的图像358的右半部分是伪图像区358B。与伪图像区352B和354B类似,伪图像区358B是由图像处理单元160添加的假数据形成的。在用于左眼的图像358中图像区358A的位置和尺寸与在分割之前的图像350中分割的图像357的位置和尺寸相同。
用于右眼的图像360的右半部分是包括分割的图像359的图像区360A。用于右眼的图像360的左半部分是伪图像区360B。与伪图像区352B和354B类似,伪图像区360B是由图像处理单元160添加的假数据形成的。在用于右眼的图像360中图像区360A的位置和尺寸与在分割之前的图像350中分割的图像359的位置和尺寸相同。
在图5(A)至图5(E)所示的示例中,能够获得与参照图4(A)至图4(G)描述的示例中的效果相同的效果。
也就是说,当左光学图像显示单元28和右光学图像显示单元26分别显示用于左眼的图像358和用于右眼的图像360时,用户识别分割之前的图像350。与图像处理单元160向发送单元51和发送单元52中的每一个输出整个分割之前的图像350的情况相比,通过对分割之前的图像350进行分割,可以降低在整个控制单元140上的处理负荷。
用于左眼的图像358的伪图像区358B的尺寸和像素的数目与用于右眼的图像360的图像区360A的尺寸和像素的数目相同。伪图像区360B的尺寸和像素数目与图像区358A的尺寸和像素数目相同。因此,当借助用户大脑的功能结合图像时,图像和假数据叠加。因此,图像自然地叠加。用户能够合理地识别分割之前的图像350。
分割的图像357(其是分割之前的图像350的左半部分)是用于左眼的图像358的左半部分的图像区358A。分割的图像359(其是分割之前的图像350的右半部分)是用于右眼的图像360的右半部分的图像区360A。因此,用户能够更加自然地叠加图像并且识别分割之前的图像350。
期望将在左光学图像显示单元28的可显示区中用于左眼的图像358的显示位置与在右光学图像显示单元26的可显示区中用于右眼的图像360的显示位置设置在相同的位置。另外,更期望在左光学图像显示单元28的可显示区中用于左眼的图像358的显示尺寸与在右光学图像显示单元26的可显示区中用于右眼的图像360的显示尺寸是相同的尺寸。在这种情况下,存在着以下优点:用户能够更加容易地结合左眼和右眼的视野并且识别分割之前的图像350。
在图4(A)至图4(G)和图5(A)至图5(E)所示出的示例中,示出了分割之前的图像350被分割而没有交叠的示例。然而,可以存在交叠部分。在图6(A)至图6(E)中示出了交叠部分的示例。
与图5(A)至图5(E)类似,在图6(A)至图6(E)是示出沿着横向方向(水平方向)在预定的位置处分割图像的示例的图。图6(A)示出了分割之前的图像350。图6(B)示出了分割的图像361。图6(C)示出了分割的图像363。图6(D)示出了基于分割的图像361的用于左眼的图像362。图6(E)示出了基于分割的图像363的用于右眼的图像364。在图6(A)至图6(E)中的交替的长短划线表示在分割之前的图像350的沿着横向方向的中心位置。
分割的图像361是通过提取分割之前的图像350的左半部分以及相对于分割之前的图像350的宽度方向中心进一步在右侧上的一部分而获得的图像。分割的图像363是通过提取分割之前的图像350的右半部分以及相对于分割之前的图像350的宽度方向中心进一步在左侧上的一部分而获得的图像。用于左眼的图像362包括通过分割的图像361配置的图像区362A和通过向图像区362A的右侧添加假数据而形成的伪图像区362B。用于左眼的图像362和用于右眼的图像364中的每一个的尺寸和像素数目与分割之前的图像350的尺寸和像素数目相同。
图像处理单元160基于分割的图像361和363生成用于左眼的图像362和用于右眼的图像364,并且向发送单元51和52输出用于左眼的图像362和用于右眼的图像364。
用于左眼的图像358的左半部分是包括分割的图像357的图像区358A。用于左眼的图像358的右半部分是伪图像区358B。与伪图像区352B和354B类似,伪图像区358B是由图像处理单元160添加的假数据形成的。在用于左眼的图像358中图像区358A的位置和尺寸与在分割之前的图像350中分割的图像357的位置和尺寸相同。
用于右眼的图像360的右半部分是包括分割的图像359的图像区360A。用于右眼的图像360的左半部分是伪图像区360B。与伪图像区352B和354B类似,伪图像区360B是由图像处理单元160添加的假数据形成的。在用于右眼的图像360中图像区360A的位置和尺寸与在分割之前的图像350中分割的图像359的位置和尺寸相同。
当通过左光学图像显示单元28显示用于左眼的图像362并且通过右光学图像显示单元26显示用于右眼的图像364时,可以获得与在图5(D)和图5(E)中示出的用于左眼的图像358和用于右眼的图像360的效果相同的效果。
与用于左眼的图像358不同,用于左眼的图像362包括在相对于分割之前的图像350的中心进一步在右侧上的一部分。类似地,与用于右眼的图像360不同,用于右眼的图像364包括在相对于分割之前的图像350的中心进一步在左侧上的一部分。也就是说,图像区362A与图像区364A具有交叠部分。
在用户的眼睛中看到用于左眼的图像362和用于右眼的图像364。用于左眼的图像362和用于右眼的图像364共同具有分割之前的图像350的中心以及中心附近区域。因此,在用户的两只眼睛中看到这个公共部分交叠。在这种情况下,用户将在两只眼睛中看到的交叠的部分识别为用于叠加图像的标志。因此,用户能够容易地根据用于左眼的图像362和用于右眼的图像364识别分割之前的图像350。
当与图像区362A和364A相比,伪图像区362B和364B的显示颜色是暗颜色时,图像区362A和364A交叠的交叠区域与除了交叠区域之外的图像区362A和364A相比是亮的。为了防止这种不适感,可以降低交叠区域的亮度。具体地,图像处理单元160可以向用于左眼的图像362和用于右眼的图像364施加用于降低交叠区域的像素值和亮度的处理,并且在处理之后从发送单元51和52输出数据。
当与图像区362A和364A相比,伪图像区362B和364B的显示颜色是亮色时,或者当伪图像区362B和364B的亮度等于图像区362A和364A的亮度时,图像区362A和364A的交叠区域的亮度可能等于除了交叠区域之外的区域的亮度。在这种情况下,出现不适感的可能性小。
因此,图像处理单元160可以确定伪图像区362B和364B的设置颜色,并且根据颜色辨别是否存在调整交叠区域的亮度的必要性。当辨别调整是必要时,如上所述,图像处理单元160可以执行用于调整在交叠区域中图像数据的亮度的处理,并且向右显示驱动单元22和左显示驱动单元24输出图像数据。
用于左眼的图像362和用于右眼的图像364的公共部分(交叠部分)的尺寸不限于在图6(A)至图6(E)中示出的示例。当对于用户而言交叠部分大时,在左眼和右眼中看到的结合图像的标志是清楚的。因此,交叠部分是有效的。然而,即使交叠部分小,标志的效果也是足够的。
因为交叠部分较大,所以由图像处理单元160处理的图像接近两个分割之前的图像350的尺寸。也就是说,降低了对分割之前的图像350进行分割以及生成用于左眼的图像和用于右眼的图像的效果。因此,期望交叠部分具有以下尺寸:该尺寸足以使得用户能够获得用于交叠图像的标志(index)的效果,并且期望交叠部分是较小的。
还可以将分割之前的图像350分割成大量区域以生成用于左眼的图像和用于右眼的图像。
图7(A)至图7(D)是示出其中分割之前的图像350沿着纵向方向被分割成多个部分的示例的图。图7(A)示出了由多个分割的图像片段371A配置的分割的图像371。图7(B)示出了由多个分割的图像片段373A配置的分割的图像373。图7(C)示出了基于分割的图像371的用于左眼的图像372。图7(D)示出了基于分割的图像373的用于右眼的图像374。
在这个示例中,分割之前的图像350沿着横向方向以线为单位被分成沿着横向方向拉长的多个分割的图像片段371A和373A。分割的图像片段371A和373A可以是例如一个线的图像或可以是多个线的图像。图像处理单元160将图像以线为单位分割成用于左眼的分割的图像片段371A和用于右眼的分割的图像片段373A。例如,图像处理单元160将分割的图像从分割之前的图像350的顶部按顺序分配为分割的图像片段371A和分割的图像片段373A。根据这个处理,图像处理单元160获得分割的图像371和分割的图像373,分割的图像371是一组用于左眼的分割的图像片段371A,分割的图像373是一组用于右眼的分割的图像片段373A。
图像处理单元160将分割的图像371设置为图像区372A,将通过假数据形成的伪图像区372B添加至在图像区372A之中的空白部分,并且获得用于左眼的图像372。类似地,图像处理单元160将分割的图像373设置为图像区374A,将通过假数据形成的伪图像区374B添加至在图像区374A之中的空白部分,并且获得用于右眼的图像374。用于左眼的图像372和用于右眼的图像374的尺寸与分割之前的图像350的尺寸相同。
通过与用于右眼的图像374的图像区374A的图像片段一样多的图像片段来配置用于左眼的图像372的伪图像区372B。所述图像片段具有相同的尺寸和像素的数目。通过与图像区372A的图像片段一样多的图像片段配置伪图像区374B。所述图像片段具有相同的尺寸和像素的数目。
图像处理单元160从发送单元52输出用于左眼的图像372,并且使得左显示驱动单元24和左光学图像显示单元28显示用于左眼的图像372。图像处理单元160从发送单元51输出用于右眼的图像374,并且使得右显示驱动单元22和右光学图像显示单元26显示用于右眼的图像374。因此,能够获得与参照图4(A)至图6(E)描述的示例中的效果相同的效果。
也就是说,用户识别通过将用于左眼的图像372和用于右眼的图像374叠加而获得的分割之前的图像350。通过对分割之前的图像350进行分割,与当图像处理单元160向发送单元51和发送单元52中的每一个输出整个分割之前的图像350时相比,可以降低在整个控制单元140上的处理负荷。
伪图像区372B对应于图像区374A。伪图像区372B对应于图像区374A。因此,当借助用户的大脑的功能结合图像时,图像和假数据叠加。因此,图像自然地叠加。用户能够合理地识别分割之前的图像350。
另外,因为分割之前的图像350是沿着横向方向以线为单位分割的,所以在分割的图像371和373中,会增加分割的图像片段371A和373A的数目。在这种情况下,分割的图像371和373两者均从顶部至底部包括分割之前的图像350。因此,甚至用于左眼的图像372和用于右眼的图像374中的仅一个使得用户能够识别与分割之前的图像350类似的图像。用户能够用两只眼睛视觉地识别与分割之前的图像350类似将图像。因此,可以降低用户的不适感。
如图8(A)至图8(D)所示,图像可以沿着纵向方向以线为单位分割。
图8(A)示出了由多个分割的图像片段375A配置的分割的图像375。图8(B)示出了由多个分割的图像片段377A配置的分割的图像377。图8(C)示出了基于分割的图像375的用于左眼的图像376。图8(D)示出了基于分割的图像377的用于右眼的图像378。
在这个示例中,分割之前的图像350沿着纵向方向以线为单位被分成沿着纵向方向拉长的多个图像片段375A和377A。分割的图像片段375A和377A可以是例如一个线的图像或可以是多个线的图像。图像处理单元160将图像以线为单位分割成用于左眼的分割的图像片段375A和用于右眼的分割的图像片段377A。例如,图像处理单元160将分割的图像从分割之前的图像350的左侧按顺序分配为分割的图像片段375A和分割的图像片段377A。根据这个处理,图像处理单元160获得分割的图像375和分割的图像377,分割的图像375是一组用于左眼的分割的图像片段375A,分割的图像377是一组用于右眼的分割的图像片段377A。
图像处理单元160将分割的图像375设置为图像区376A,将通过假数据形成的伪图像区376B添加至在图像区376A之中的空白部分,并且获得用于左眼的图像376。类似地,图像处理单元160将分割的图像377设置为图像区378A,将通过假数据形成的伪图像区378B添加至在图像区378A之中的空白部分,并且获得用于右眼的图像378。用于左眼的图像376和用于右眼的图像378的尺寸与分割之前的图像350的尺寸相同。通过与用于右眼的图像378的图像区378A的图像片段一样多的图像片段来配置用于左眼的图像376的伪图像区376B。所述图像片段具有相同的尺寸和像素的数目。通过与图像区376A的图像片段一样多的图像片段来配置伪图像区378B。所述图像片段具有相同的尺寸和像素的数目。
图像处理单元160从发送单元52输出用于左眼的图像376,并且使得左显示驱动单元24和左光学图像显示单元28显示用于左眼的图像376。图像处理单元160从发送单元51输出用于右眼的图像378,并且使得右显示驱动单元22和右光学图像显示单元26显示用于右眼的图像378。在这种情况下,仅仅是对分割之前的图像350进行分割的方向是不同的。能够获得与参照图7(A)至图7(D)描述的示例中的效果相同的效果。
图9(A)至图9(D)示出了其中分割之前的图像350被分割成矩形的图像片段的示例。
图9(A)示出了由多个分割的图像片段379A配置的分割的图像379。图9(B)示出了由多个分割的图像片段381A配置的分割的图像381。图9(C)示出了基于分割的图像379的用于左眼的图像380。图9(D)示出了基于分割的图像381的用于右眼的图像382。
在这个示例中,分割之前的图像350在横向方向和纵向方向上被分割成矩形的分割的图像片段(其包括若干个点的像素)。图像处理单元160根据分割控制单元164的控制,将分割的图像片段分割成用于左眼的分割的图像片段379A和用于右眼的分割的图像片段381A。例如,图像处理单元160将分割的图像片段从分割之前的图像350中的左上部分按顺序一个一个地分配为分割的图像片段379A和分割的图像片段381A。
图像处理单元160将分割的图像379设置为图像区380A,将由假数据形成的伪图像区380B添加至在图像区380A之中的空白部分,并且获得用于左眼的图像380。类似地,图像处理单元160将分割的图像381设置为图像区382A,将由假数据形成的伪图像区382B添加至在图像区382A之中的空白部分,并且获得用于右眼的图像382。用于左眼的图像380和用于右眼的图像382的尺寸与分割之前的图像350的尺寸相同。
用于左眼的图像380的伪图像区380B包括与用于右眼的图像382的图像区382A的图像片段一样多的图像片段。所述图像片段具有相同的尺寸和相同的像素数目。伪图像区382B包括与图像区380A的图像片段一样多的图像片段。所述图像片段具有相同的尺寸和相同的像素数目。
图像处理单元160从发送单元52输出用于左眼的图像380,并且使得左显示驱动单元24和左光学图像显示单元28显示用于左眼的图像380。图像处理单元160从发送单元51输出用于右眼的图像382,并且使得右显示驱动单元22和右光学图像显示单元26显示用于右眼的图像382。在这种情况下,仅仅是对分割之前的图像350进行分割的方向是不同的。能够获得与参照图7(A)至图7(D)和图8(A)至图8(D)描述的示例中的效果相同的效果。
如此,分割控制单元164控制图像处理单元160以用各种形式分割显示目标图像(分割之前的图像350),并且基于分割的图像从发送单元51和52输出用于左眼的图像和用于右眼的图像。图像处理单元160可以能够执行在图4(A)至图9(D)中示出的示例的仅一部分,或者可以能够执行所有种类的处理。图像处理单元160可以以除了在图4(A)至图9(D)中示出的形式之外的形式来分割显示目标图像。
当显示叠加位置标记M时,头戴式显示装置100还能够改变叠加位置标记M的显示尺寸。
图10是用于示出头戴式显示装置100的操作的流程图。特别是,图10示出了用于改变叠加位置标记M的尺寸的操作。图11(A)至图11(F)是示出在叠加位置标记M的显示尺寸方面的改变的图。图11(A)和图11(B)示出了叠加位置标记M的显示尺寸大的状态。图11(C)和图11(D)示出了叠加位置标记M的显示尺寸被减小的状态。图11(E)和图11(F)示出了显示具有不同形状的叠加位置标记M的状态。
如参照图4(F)和图4(G)所描述的,分割控制单元164控制图像处理单元160以在用于左眼的图像355和用于右眼的图像356中在相同的位置显示叠加位置标记M。因此,在用户的右眼和左眼中均看到叠加位置标记M。叠加位置标记M起到标尺的作用或者在结合用于左眼的图像355和用于右眼的图像356的图像区时起到对准的参考的作用。
当用户开始观看图像(包括视频)时,用户不适应将用于左眼的图像355和用于右眼的图像356识别为一个图像的观看方式。因此,叠加位置标记M有效地起作用。然而,当用户习惯了这种观看方式同时继续观看图像时,作为用于将用于左眼的图像355和用于右眼的图像356对准的标志的叠加位置标记M的必要性降低。
因此,分割控制单元164可以控制图像处理单元160以改变叠加位置标记M的显示尺寸。例如,分割控制单元164读取存储在存储单元120中的叠加位置标记M的图像数据,并且将图像数据叠加在由图像处理单元160分割的用于左眼的图像355和用于右眼的图像356中的每一个上。在这种情况下,如果具有不同尺寸的叠加位置标记M的多个图像数据被预先存储在存储单元120中,则分割控制单元164可以通过改变从存储单元120读取的叠加位置标记M的图像数据来改变叠加位置标记M的显示尺寸。分割控制单元164可以从存储单元120获取叠加位置标记M的图像数据,以预定的倍率放大或缩小所获取的图像数据,并且使得图像处理单元160来叠加图像数据。在这种情况下,分割控制单元164可以通过改变用于放大或缩小叠加位置标记M的倍率来改变叠加位置标记M的显示尺寸。
在图10中,示出了用于改变叠加位置标记M的显示尺寸的分割控制单元164的操作的示例。
当开始通过图像显示单元20显示图像时(步骤S21),分割控制单元164使得图像处理单元160以预先设置的最大尺寸显示叠加位置标记M(步骤S22)。之后,分割控制单元164监测叠加位置标记M的显示状态持续的时间,并且确定该时间是否已经到达了预先设置的时间(步骤S23)。当该时间已经到达设置的时间时(在步骤S23中为“是”),分割控制单元164减小叠加位置标记M的显示尺寸,并且使得图像处理单元160更新叠加位置标记M的显示尺寸(步骤S24)。也就是说,每次用于显示叠加位置标记M的时间过去,就减小叠加位置标记M。
当叠加位置标记M的显示持续的时间还没有达到设置时间时(在步骤S23中为“否”)并且在步骤S24中在叠加位置标记M的显示尺寸更新之后,分割控制单元164确定图像是否切换(步骤S25)。当图像被切换时(在步骤S25中为“是”),分割控制单元164返回步骤S22,并且以最大的尺寸显示叠加位置标记M。
“图像被切换”意思是由图像处理单元160显示的图像的图像数据被切换。具体地,当头戴式显示装置100的图像源被改变时或者当从图像供给装置OA输入的图像数据的分辨率或帧速率改变时,分割控制单元164确定图像被切换。当在用于左眼的图像中在图像区与伪图像区之间的边界和/或在用于右眼的图像中在图像区与伪图像区之间的边界改变时,分割控制单元164可以确定图像被切换。当在左光学图像显示单元28中用于左眼的图像的显示尺寸或者在右光学图像显示单元26中用于右眼的图像的显示尺寸改变时,分割控制单元164可以确定图像被切换。
当图像未被切换时(在步骤S25中为“否”),分割控制单元164确定显示是否结束(步骤S26)。当显示持续时(在步骤S26中为“否”),分割控制单元164返回至步骤S23。当显示结束时(在步骤S26中为“是”),分割控制单元164使得图像处理单元160终止分割的图像和叠加位置标记M的显示(步骤S27)。
在图11(A)和图11(B)中,示出了在用于左眼的图像355和用于右眼的图像356中设置有最大尺寸的叠加位置标记M的示例。在这个示例中,大的叠加位置标记M被设置在用于左眼的图像355中的图像区352A与伪图像区352B之间的边界处和用于右眼的图像356中的图像区354A与伪图像区354B之间的边界处。
如图11(C)和图11(D)所示,当叠加位置标记M减小时,叠加位置标记M对图像区352A和图像区354A的可视性的影响减小。用户能够容易地观看显示目标分割之前的图像350。
如上所述,叠加位置标记M的形状是可选的。例如,如图11(E)和图11(F)所示,叠加位置标记M可以以带状形成。在这个示例中,叠加位置标记M与用于左眼的图像355中的图像区352A与图像区352B之间的边界交叠。在图11(F)示出的示例中,叠加位置标记M与用于右眼的图像356中的图像区354A与伪图像区354B之间的整个边界交叠。当用户观看图像以使得在左和在右的叠加位置标记M交叠时,图像区352A与伪图像区352B之间的边界和图像区354A与伪图像区354B之间的边界不太容易看见。因此,用户能够使用叠加位置标记M作为标志(index)观看在左和在右的要结合的图像而不意识到边界。例如,如在图5(D)和图(E)所示,当分割之前的图像350沿着水平方向分割时,具有沿着纵向方向(垂直方向)延伸的带状的叠加位置标记M仅需要被显示为匹配图像区与伪图像区之间的边界。
代替于叠加位置标记M,在用于右眼的图像和用于左眼的图像中图像区交叠的交叠区域(例如,在图18D至图18G中示出的交叠区域W1)可以被设置为用于对准的标志。在这种情况下,如在用于改变叠加位置标记M的尺寸的处理中,交叠区域的尺寸可以随着时间变小。当图像被切换时,可以增大交叠区域的尺寸。
描述了头戴式显示装置100的用于执行调整(校准)分割的图像351和353的显示位置的功能。
图12是用于说明头戴式显示装置100的操作的流程图。特别是,图12示出了显示位置调整的操作。图13(A)至图13(C)是示出在显示位置调整的操作中由头戴式显示装置100显示的图像的示例的图。图13(A)是示例地示出被用户感知到的图像的结合的图像391。图13(B)和图13(C)示出了显示位置调整的显示示例。
在图13(A)中示出的结合的图像391是,当图像处理单元160使得图像显示单元20显示在图4(D)和图4(E)中示出的用于左眼的图像352和用于右眼的图像354时可能被用户感知到的图像的状态的示例。当头戴式显示装置100分割并且显示分割之前的图像350时,在用户的感知方面存在个体差异。例如,由于用户的两只眼睛与右导光板261和左导光板262之间的位置关系,用于左眼的图像352和用于右眼的图像354看起来偏移例如像结合的图像391。当由于物理位置关系在结合的图像391中发生偏移时,头戴式显示装置100调整图像在图像显示单元20中的显示位置。然后,可以期待改善。
当用户感觉到结合的图像391的偏移并且对操作单元135进行操作以指示调整显示位置时,分割控制单元164控制图像处理单元160以显示在图13(B)和图13(C)中示出的图像。在图13(B)中,图像区352A被渲染为小于右LCD241的可显示区241A(图2)。显示了表示图像区352A可以移动的方向的箭头。在图13(C)中,图像区354A被渲染为小于左LCD242的可显示区242A(图2)。显示了表示图像区354A可以移动的方向的箭头。以例如黑色或深色显示除了图像区352A和354A以及箭头之外的区域。
在图13(B)和图13(C)所示的显示状态中,用户通过对操作单元135进行操作来指示图像区352A和354A的显示位置的运动。如图13(A)所示,用户看到偏移的结合的图像391。因此,期望用户能够用直观操作指示能够消除偏移的方向。因此,例如,每执行一次触摸板14或方向键16的操作,分割控制单元164将图像区352A或图像区354A的显示位置移动预定的量。
在图12中示出了涉及显示位置的调整的操作。
分割控制单元164根据例如操作单元135的操作开始调整显示位置(步骤S41),并且从存储单元120获取用于执行显示位置的调整的图像数据(步骤S42)。用于调整的图像数据包括例如在图13(B)和图13(C)中示出的箭头等。分割控制单元164使得显示处理单元160基于用于调整的图像数据来显示图像(步骤S43)。用户输入用于移动显示位置的指令(步骤S44)。分割控制单元164根据输入的指令改变在右LCD241和左LCD242中的显示位置(步骤S45),并且确定显示位置的调整是否已经完成(步骤S46)。
例如,当通过操作单元135输入关于调整完成的指令时,分割控制单元164确定完成了调整(在步骤S46中为“是”)。分割控制单元164结束用于调整的图像的显示。分割控制单元164分别针对右LCD241和左LCD242获取在步骤S45的移动之后的显示位置,将显示位置记录在设置数据123中(步骤S47),并且结束处理。当确定调整还没有完成时(步骤S46)时,分割控制单元164返回至步骤S44并且接收关于移动的指令。
图像处理单元160能够通过控制在使得右LCD241和左LCD242显示分割的图像时的数据输出来适当地调整在右LCD241和左LCD242中的显示定时。图14(A)至图14(D)是示出头戴式显示装置100的渲染操作示意图。
在图14(A)至图14(D)中,示出了参照图8(A)至图8(D)描述的在显示由多个分割的图像片段375A配置的用于左眼的图像376(图14(A))和由多个分割的图像片段377A配置的用于右眼的图像(图14(B))方面的操作。
在正常的显示处理中,图像处理单元160沿着水平方向以线为单位向右LCD控制单元211(图2)和左LCD控制单元212(图2)发送图像信号。基于图像信号右LCD控制单元211更新针对各线的右LCD241的显示,并且左LCD控制单元212更新针对各线的左LCD242的显示。
图像处理单元160可以从线的领头位置(leading position)开始以两个线为单位向右LCD控制单元211和左LCD控制单元212发送图像信号。在这种情况下,如图14(B)所示,左LCD控制单元212从左LCD 242的可显示区242A的端部沿着纵向方向一次以两个线来渲染图像区376A。如图14(C)所示,右LCD控制单元211从右LCD 241的可显示区241A的端部沿着纵向方向一次以两个线来渲染图像区378A。
另外,更期望使得当左LCD控制单元212渲染图像区376A时的定时与当右LCD控制单元211渲染图像区378A时的定时对齐。例如,在与左LCD控制单元212渲染位于用于左眼的图像376中的左端处的图像区376A时的定时相同或基本相同的定时处,右LCD控制单元211渲染与被左LCD控制单元212渲染的图像区376A相邻的图像区378A。也就是说,在分割之前的图像350中彼此相邻的部分是同时渲染的。在这种情况下,对于用户,在分割之前的图像350中相对大的区域被视为在基本相同的定时处被渲染。因此,容易视觉结合。可以预期的是可视性改善。
注意的是,调整在图像显示单元20中图像的显示位置的方法不限于改变在右LCD241和左LCD242中图像被渲染的位置的方法。例如,可以移动右光学图像显示单元26和左光学图像显示单元28相对于右保持单元21和左保持单元23(其构成图像显示单元20的框架)的位置。聚焦在右导光板261和左导光板262上的图像的位置可以通过右投影光学***251和左投影光学***252的功能来改变。可以移动右投影光学***251和左投影光学***252的透镜组等。可以通过仅改变右LCD241和左LCD242的位置来调整图像的显示位置。
如上所述,根据应用本发明的实施方式的头戴式显示装置100包括显示与用户的左眼对应的图像的左光学图像显示单元28和显示与用户的右眼对应的图像的右光学图像显示单元26。头戴式显示装置100包括图像处理单元160,其分割显示目标图像,并且向左光学图像显示单元28和右光学图像显示单元26输出包括分割的图像的用于左眼的图像和用于右眼的图像。用于左眼的图像和用于右眼的图像包括由图像处理单元160分割的图像所配置的图像区和不包括分割的图像的非图像区(伪图像区)。用于左眼的图像和用于右眼的图像中的一个的非图像区的状态与用于左眼的图像和用于右眼的图像中的另一个的图像区的状态对应。因此,不涉及诸如增加分辨率以及放大显示目标图像的处理,或者能够抑制处理的负荷。另外,能够抑制向显示单元传输图像的传输速度。如果简化了用于生成非图像区的处理和非图像区,则能够容易地抑制负荷。因此,可以抑制涉及图像的显示的负荷,并且使得用户能够视觉地识别目标图像。
非图像区可以是包括与分割的图像不同的伪图像的伪图像区。
由头戴式显示装置100显示的用于左眼的图像和用于右眼的图像是当在左光学图像显示单元28和右光学图像显示单元26上显示用于左眼的图像和用于右眼的图像时被用户视觉地识别为显示目标图像的图像。因此,可以向用户示出与在分割之前的图像相同的图像。因此,可以分割图像,降低处理负荷,并且利用两个显示单元显示目标图像。
图像处理单元160将在用于左眼的图像和用于右眼的图像中的图像区的位置与在显示目标图像中的分割的图像的位置相关联。因此,分割的图像显示在左光学图像显示单元28和右光学图像显示单元26上,而不改变分割的图像的位置。因此,可以使得用户能够利用两个显示单元视觉地识别一个显示目标图像。
头戴式显示装置100用分割控制单元164控制在右光学图像显示单元26中用于右眼的图像的图像区的显示位置和在左光学图像显示单元28中用于左眼的图像的图像区的显示位置。因此,可以适当地调整用于左眼的图像和用于右眼的图像的显示位置,并且满意地保持显示目标图像的可视性。分割控制单元164可以控制和改变用于右眼的图像和用于左眼的图像的显示位置以及图像区的显示位置。
头戴式显示装置100包括接收用户的输入的输入信息获取单元110。分割控制单元164根据由输入信息获取单元110接收的输入来改变在右光学图像显示单元26中用于右眼的图像的图像区的显示位置和在左光学图像显示单元28中用于左眼的图像的图像区的显示位置中的至少之一。因此,用户能够根据用户感知到的视图通过执行操作来调整图像区的显示位置。
在用于调整显示位置的操作中,分割控制单元164仅需要改变用于右眼的图像的图像区在右光学图像显示单元26中的显示位置和用于左眼的图像的图像区在左光学图像显示单元28中的显示位置中的至少之一。分割控制单元164可以根据需要改变用于右眼的图像的图像区在右光学图像显示单元26中的显示位置和用于左眼的图像的图像区在左光学图像显示单元28中的显示位置两者。
图像显示单元20可以透射外部场景,并且显示图像以使得能够与外部场景一起被视觉地识别。图像处理单元160可以调整用于左眼的图像和用于右眼的图像中的至少之一中伪图像区(非图像区)的显示模式。具体地,当伪图像区352B和354B(图4(D)和图4(E))被上色为黑色时,在与伪图像区352B和354B对应的部分中图像光是不存在的。在这种情况下,分割的图像351的图像光和分割的图像353的图像光入射在用户的眼睛上。另一方面,假数据的图像光没有入射到眼睛上。因此,入射在用户眼睛上的图像光的光量基本上等于分割之前的图像350的一个画面的光量。因此,用户能够容易地识别分割之前的图像350。另一方面,当伪图像区352B和354B被上色为白色时。具有最大亮度的像素的图像光辐射在与伪图像区352B和354B对应的部分上。在这种情况下,分割的图像351的图像光和分割的图像353的图像光入射在用户的眼睛上。另外,与假数据对应的图像光也可以入射在眼睛上。如此,可以通过将显示颜色改变为例如黑色或白色来改变伪图像区的显示模式,从而调整分割之前的图像的视图。
伪图像区的显示模式不限于在用均匀的颜色对伪图像区上色时的显示颜色,而是可以是伪图像区的色度或亮度。在上述示例中,因为假数据的颜色是无色,所以伪图像区不阻碍用户结合分割的图像351和353并且识别分割之前的图像350。然而,伪图像区的颜色可以是彩色的。在这种情况下,用户视觉地识别的分割之前的图像350的色度可能受伪图像区的颜色的影响而改变。
另外,当伪图像区352B和354B的亮度低时,在与伪图像区352B和354B交叠的位置处容易看到外部场景。因此,外部光被用户感知到。另一方面,当伪图像区352B和354B的亮度高时,外部场景不太容易被透射。因此,用户能够视觉地识别分割之前的图像350而不受外部场景的影响。
注意的是,伪图像区的显示模式不必固定,并且可以改变。在这种情况下,图像处理单元160可以根据在要显示的分割之前的图像350的亮度和色调方面的改变,来改变伪图像区的显示模式(颜色、亮度、色调等)。可替选地,当分割之前的图像350不改变时,图像处理单元160可以根据过去的时间来改变伪图像区的显示模式。
如参照图6(A)至图6(E)所示出的,图像处理单元160可以从分割之前的图像350提取具有彼此交叠部分的分割的图像361和363,并且将分割的图像361和363分别设置为用于左眼的图像362和用于右眼的图像364的图像区。在这种情况下,因为由左光学图像显示单元28和右光学图像显示单元26显示的图像的接缝不太显眼,所以可以降低用户的不适感,并且显示高分辨率图像。
如参照图7(A)至图9(D)所示出的,图像处理单元160可以在用于左眼的图像和用于右眼的图像中的每一个中设置多个图像区和多个伪图像区。在这种情况下,以更加复杂的形状结合用于左眼的图像和用于右眼的图像,以使得用户能够视觉地识别显示目标图像。因此,例如,可以以容易被用户视觉地识别的形状来分割显示目标图像,并且显示图像。
在头戴式显示装置100中,如参照图4(F)和图4(G)所描述的,图像处理单元160可以包括在用于左眼的图像和用于右眼的图像的公共位置处的预定标志(叠加位置标记M)。另外,图像处理单元160可以使左光学图像显示单元28和右光学图像显示单元26的显示尺寸相等。在这种情况下,因为标志设置在公共位置处,所以由右光学图像显示单元26显示的图像与由左光学图像显示单元28显示的图像之间的对应关系是清楚的。存在着以下优点:用户能够从两个显示单元的图像中更容易地识别一个显示目标图像。
分割控制单元164可以改变由右光学图像显示单元26和左光学图像显示单元28显示的叠加位置标记M(标志)的显示尺寸。因此,可以根据叠加位置标记M的必要性程度来改变标志的可视性。可以显示叠加位置标记M以使得用户能够容易地识别图像并且不阻碍图像的视觉识别。
分割控制单元164随着时间流逝减小叠加位置标记M的显示尺寸,并且当显示目标图像改变时放大叠加位置标记M的显示尺寸。因此,可以适当地处理叠加位置标记M的必要性方面的改变。也就是说,当叠加位置标记M是必需的时,将叠加位置标记M显示得大以提高可视性。当叠加位置标记M的必要性降低时,减小显示尺寸。叠加位置标记M可以被显示为不阻碍图像的视觉识别。
图像处理单元160在预先设置在用于左眼的图像和用于右眼的图像中的区域中设置图像区和伪图像区。因此,可以降低图像处理单元160的用于分割显示目标图像的处理负荷,以及用于将伪图像区与分割的图像结合以产生用于左眼的图像和用于右眼的图像的处理负荷。
右光学图像显示单元26和左光学图像显示单元28构成图像显示单元20,其透射外部场景并且显示能够与外部场景一起被视觉地识别的图像。对于用户,包括分割的图像的用于左眼的图像和用于右眼的图像看起来与外部场景交叠。
在这种配置中,可以通过调整用于左眼的图像和用于右眼的图像的图像区的显示颜色和显示亮度或者整个图像的光量来调整用于左眼的图像和用于右眼的图像的视图。例如,可以根据外部光的光量调整亮度或光量,以使得比外部场景更容易观看显示目标图像或者使得容易地观看外部场景。
另外,可以通过调整包括在用于左眼的图像和用于右眼的图像中的伪图像区的颜色和/或亮度来调整用于左眼的图像和用于右眼的图像的视图。例如,当外部光的光量大时,可以增加伪图像区的亮度并且将显示目标图像显示得明亮。例如,当外部光的光量小时,可以降低伪图像区的亮度,使得显示目标图像变暗,并且使得容易地根据外部场景来观看显示目标图像。反过来,当外部光的光量小时,也可以增加伪图像区的亮度并且使得显示目标图像显眼。
在第一实施方式中,描述了以下配置:在与图12示出的显示位置的调整有关的处理中,根据用户输入的指令而改变在右LCD 241和左LCD 242中的显示位置。然而,可以根据控制单元140的控制,自动地调整显示位置。例如,头戴式显示装置100可以配置为包括采集用户眼睛的图像并且如在第二实施方式中描述的一样检测视线方向的视线检测单元,或者可以配置成测量用户眼睛的眼电位(eye potential)并且检测眼球运动从而估计视线。在这种情况下,可以显示包括有用于在右LCD241和左LCD242上进行位置调整的标志的图像,检测用户在注视标志的状态下的用户视线,并且基于检测结果自动地调整显示位置。头戴式显示装置100可以配置为包括图像采集单元(附图中未示出),其采集利用由导光板261和262引导的图像光被用户视觉地识别的虚拟图像。头戴式显示装置100可以基于图像采集单元采集的图像来确定用于左眼的图像和用于右眼的图像的显示位置是否合适,并且根据需要调整显示位置。在这种情况下,存在着以下优点:即使用户不执行用于指示显示位置的操作也可以适当地调整显示位置。
第二实施方式
图15是示出在第二实施方式中头戴式显示装置100A的功能配置的框图。图16(A)和图16(B)是示出包括在头戴式显示装置100A中的图像显示单元20A的主要部件配置的图。图16(A)是从用户的头部观看的图像显示单元20A的主要部件配置透视图。图16(B)是视线方向的示意图。
在第二实施方式中,描述了包括检测用户视线的功能和执行与位于用户视线方向上的目标对象相对应的AR显示的功能的头戴式显示装置100A。在第二实施方式中,通过相同的附图标记或符号表示与在第一实施方式中的单元一样配置的单元。省略对这些单元的描述。
图像显示单元20A除了图像显示单元20的部件(图2)之外还包括距离传感器64和视线传感器68(视线检测单元)。头戴式显示装置100与头戴式显示装置100A在其他方面相同。头戴式显示装置100A可以执行第一实施方式中的头戴式显示装置100的操作。
在图16(A)中附图标记261A和262A分别表示在右导光板261和左导光板262上形成的半反射镜。半反射镜261A和262A对应于使得外部场景能够被透射的显示图像的显示区。在第一实施方式中在图像显示单元20中也存在半反射镜261A和262A。
如图16(A)所示,距离传感器64设置在右光学图像显示单元26与左光学图像显示单元28之间的边界部分处。在用户佩戴图像显示单元20A的状态下,距离传感器64的位置基本上在沿着水平方向在用户的两只眼睛之间的中间位置,并且沿着垂直方向在用户的两只眼睛之上。距离传感器64检测与位于预先设置的测量方向上的测量目标对象的距离。
例如,如图16(B)所示,距离传感器64检测与呈现在用户右眼RE的视线RD和用户左眼LE的视线LD的前方的目标对象OB的距离。在这种情况下,距离传感器64执行检测的方向64A是图像显示单元20A的前方。
距离传感器64包括诸如LED或激光二极管的光源和光接收单元,光接收单元接收由光源发射并且反射在测量目标对象上的反射光。在这种情况下,距离传感器64根据控制单元140的控制,基于时间差执行三角测量处理或测距处理。距离传感器64可以包括发射超声波的声源和检测单元,检测单元接收反射在测量目标对象上的超声波。在这种情况下,距离传感器64根据以下描述的位置检测单元162的控制,基于直到超声波反射时的时间差执行测距处理。注意的是,距离传感器64可以包括光源和光接收单元或声源和检测单元。距离检测单元173可以执行测距处理。
在这个实施方式中距离传感器64的测量方向是头戴式显示装置100A的前侧方向并且与相机61的图像采集方向交叠。
如图16(A)所示,视线传感器68设置在图像显示单元20A的外侧的表面上。视线传感器68在右光学图像显示单元26和左光学图像显示单元28之间的中心位置处被设置为一对,以分别与用户的右眼RE(图16(B))和左眼LE(图16(B))对应。视线传感器68是由例如分别采集用户的右眼RE和左眼LE的图像的一对相机配置的。视线传感器68根据控制单元140的控制,执行图像采集(图2)。控制单元140根据采集的图像数据检测反射在右眼RE和左眼LE的眼球表面上的光和瞳孔的图像,并且指定视线方向。视线传感器68分别采集用户的左眼和右眼的图像。因此,当用户闭合眼睛时,可以通过视线传感器68检测眼睛的闭合。
如图15的框图所示,距离传感器64和视线传感器68通过连接单元40连接至控制单元140。距离检测单元173能够控制距离传感器64以检测目标对象的距离。注意的是,控制单元140可以配置成基于相机61采集的图像数据来检测与目标对象的距离。
分割控制单元164可以根据视线传感器68检测的视线方向,调整通过分割显示目标图像而获得的用于右眼的图像和用于左眼的图像的显示模式。
图17是用于说明头戴式显示装置100A的操作的流程图,并且示出了用于根据视线方向调整用于分割显示目标图像的边界位置的操作。图18(A)至图18(G)是在图17中示出的操作的示意图。图18(A)、图18(B)和图18(C)示出了视野特性。图18(A)示出了沿着水平方向的视野。图18
(B)示出了沿着垂直方向的视野。图18(C)示出了在与表示视线方向的直线垂直的表面上的视野的分布。图18(D)、图18(E)、图18(F)和图18(G)示出了分割的图像的模式。
通常,公知的是,人们在视野的各个区域中具有不同观看特性。具体地,作为集中于图16(B)中的RD和LD所表示的视线方向上的人类视野,存在着靠近中心的辨别视野(distinguishing visual field)V1、有效视野(effective visual field)V2、和稳定的固定视野V3。辨别视野V1是最优异地显示诸如视力(vision)的视功能的中心区域。辨别视野V1集中在视线方向上约±5°的范围。辨别视野V1的沿着水平方向的范围对应于附图中的X1。辨别视野V1的沿着垂直方向的范围对应于在附图中的Y1。
有效视野V2是仅用眼球就能够瞬间执行信息接收的区域。有效视野V2的范围集中在视线方向上的沿着水平方向约±30°的范围(在附图中,X2)和沿着垂直方向约±20°的范围(在附图中,Y2)。稳定的固定视野V3是用眼球和头部运动可以合理地执行注视的范围。稳定的固定视野V3是可以执行有效的信息接收的区域。稳定的固定视野V3的范围集中在视线方向上的沿着水平方向约±60°至90°的范围(在附图中,X3)和沿着垂直方向约±45°至70°的范围(在附图中,Y3)。
因此,当用户用左眼和右眼结合图像并且视觉地识别显示目标图像(即,在分割之前,分割之前的图像350)时,如果用于分割分割之前的图像350的位置(边界)存在于辨别视野V1或辨别视野V1的附近,则用户能够满意地视觉地识别分割之前的图像350。因此,分割控制单元164根据用户的视线来控制显示在左边和右边的图像的边界。
分割控制单元164从存储单元120获取关于主视眼设置的图像数据(步骤S61),并且基于所获取的图像数据使得图像处理单元160显示用于主视眼设置的图像(步骤S62)。当观看用于主视眼设置的图像的用户根据操作单元135的操作执行用于指明主视眼是右眼还是左眼的输入时,分割控制单元164接收输入(步骤S63),并且更新与主视眼有关的设置数据123的设置(步骤S64)。
在步骤S61至步骤S64的操作中,用户的主视眼是指定的。如图16(B)所示,视线传感器68检测用户的右眼RE的视线方向RD和用户的左眼LE的视线方向LD。然而,被用户感知到的视线方向不总是在视线方向RD和LD之间的中间位置。主视眼的视线方向经常被更强烈地感知。分割控制单元164执行用于根据在图17中示出的操作来指定用户的主视眼的处理,并且处理主视眼的视线方向。
在步骤S62中显示的用于主视眼设置的图像是用户用其能够容易地辨别主视眼是右眼还是左眼的图像。用于主视眼设置的图像可以是如下图像:用所述图像可以通过右光学图像显示单元26和左光学图像显示单元28利用视觉地识别的外部场景来确定主视眼。用于主视眼设置的图像可以包括用于引导用户闭合一只眼睛以确定主视眼的消息或图像。
分割控制单元164开始对显示目标图像进行显示(步骤S65)。在步骤S66中,分割控制单元164使得图像处理单元160显示通过以预先设置的默认位置和默认形式分割显示目标图像而获得的用于右眼的图像和用于左眼的图像。
分割控制单元164通过视线传感器68执行视线的检测(步骤S66)。在步骤S66中,分割控制单元164可以仅基于视线传感器68检测到的用户的主视眼的视线方向来指定视线方向。分割控制单元164可以基于视线传感器68检测到的右眼RE的视线方向RD和左眼LE的视线方向LD来计算视线方向,使得主视眼的视线方向是优先的。
分割控制单元164确定视线是否已经移动(步骤S67)。当在上一次执行步骤S66中的检测时的时间处的视线方向与下一次执行步骤S66中的检测时的时间处的视线方向之间的差异超过设定阈值时,分割控制单元164确定视线方向已经移动(在步骤S67中为“是”)。在这种情况下,分割控制单元164根据在步骤S66中检测的视线方向指明用于分割显示目标图像的边界的位置和交叠区域的尺寸,并且使得图像处理单元160更新显示(步骤S68)。因此,显示被调整为最新视线方向的用于右眼的图像和用于左眼的图像。注意的是,当首次执行步骤S66中的操作时,步骤S68中的操作被执行为与在视线移动时一样。
当确定视线方向没有移动(在步骤S67中为“否”)并且在执行步骤S68中的操作之后,分割控制单元164确定显示是否结束(步骤S69)。当显示继续时(在步骤S69中为“否”),分割控制单元164返回至步骤S66。当显示结束时(在步骤S69中为“是”),分割控制单元164使得图像处理单元160结束显示并且结束处理。
在图17所示的操作中,描述了以下示例:基于用户的选择输入来更新与主视眼有关的设置数据123,并且根据设置数据123的设置执行步骤S67至步骤S68中的处理。然而,可以自动地改变或更新主视眼设置。在处理中被分割控制单元164使用的主视眼的设置可以被临时地切换,而不更新与主视眼有关的设置数据123。
人类的主视眼有时候根据注视方向而改变。因此,当在步骤S66中分割控制单元164检测视线时,如果根据检测的视线方向计算的注视方向是在设置数据123中设置的主视眼的相反侧时,分割控制单元164可以将在设置数据123中设置的主视眼的相反侧上的眼睛设置为主视眼,并且执行在步骤S67至步骤S68中的处理。例如,当右眼通过设置数据123被设置为主视眼并且在步骤S66中检测的视线方向属于用户视野的左半部分时,分割控制单元164可以将左眼设置为主视眼,并且执行步骤S67至步骤S68中的处理。
图18(D)和图18(E)示出了与视线方向对应的用于左眼的图像384和用于右眼的图像385的示例。用于左眼的图像384是通过将分割之前的图像350(图4(A))垂直地分割成两个而获得的图像。与在图4(D)中示出的用于左眼的图像352相比,用于左眼的图像384的图像区384A包括分割之前的图像350的一半或者更多。用于右眼的图像385的图像区385A是分割之前的图像350的下部分,并且包括分割之前的图像350的一半或者更多。当用于左眼的图像384与用于右眼的图像385叠加时,生成在附图中由附图标记W1表示的交叠区域。交叠区域W1是被显示为在用户的右眼和左眼两者中都看到的区域。用户更加清楚地视觉地识别交叠区域W1。分割控制单元164基于视线传感器68的检测结果确定图像区384A和385A的位置和尺寸,使得用户的视线被包括在交叠区域W1中。分割控制单元164使得图像处理单元160能够显示图像区384A和385A。
图18(F)和图18(G)示出了以下示例:根据视线传感器68的检测结果由分割控制单元164指定的视线方向向下移动。在图18(F)和图18(G)所示的状态中,交叠区域W1根据视线方向呈现在图像的下部中。图像区384A和385A对应于交叠区域W1的位置而改变。
通过根据视线方向调整交叠区域W1的位置和尺寸,可以显示图像使得在用户视野中的辨别视野V1被包括在交叠区域W1中。因此,用户能够清楚地视觉地识别交叠区域W1。在用户的视觉功能不太容易展现的稳定的固定视野V3等中,可以通过将图像分割成左和右来降低处理负荷。
在图17描述的处理中,分割控制单元164利用关于辨别视野V1的一般值来确定用于根据视线方向分割显示目标图像的边界的位置和交叠区域的尺寸。在这个处理中,分割控制单元164可以执行反映个体差异的处理。也就是说,分割控制单元164可以考虑辨别视野、有效视野或稳定的固定视野相对于视线方向的范围,测量标准值与用户之间的个体差异(差异),并且通过添加该差异来执行在图17中的步骤S68中的处理。
图19是用于描述头戴式显示装置100A的操作的流程图并且示出了涉及AR显示的操作。
分割控制单元164执行用于显示与通过图像显示单元20A被用户视觉地识别的目标对象对应的AR内容的AR显示。目标对象是包括在外部场景中的物理主体、人、动物或远景。在AR显示中,分割控制单元164在与目标对象对应的位置中显示图像、符号等以提供与目标对象有关的信息或者改变通过图像显示单元20A看见的目标对象的视图。AR内容包括在与目标对象对应的位置处显示的图像数据或者符号。用于指定目标对象的数据、与图像和符号的显示位置有关的数据等可以包括在AR内容中。AR内容的数据存储在例如存储单元120中。
AR内容的显示位置可以是与目标对象交叠的位置或者可以在目标对象周围。在这个实施方式中,目标对象是物理主体。目标对象可以具有不可移动的特性,例如建筑物,可以是可移动的主体,例如汽车或火车,或者可以是活的有机体,例如人或动物。
分割控制单元164检测位于用户的视野中的目标对象。AR显示控制单元186确定与所检测的目标对象对应的AR内容的显示位置,并且显示AR内容。期望AR内容被显示为与用户视觉地识别目标对象的位置交叠或者依据与用户视觉地识别目标对象的位置。因此,分割控制单元164指定目标对象的位置。例如存在着根据相机61采集的图像数据检测目标对象的图像的方法,作为指定目标对象的位置的方法。在这个实施方式中,分割控制单元164估计目标对象存在于用户的视线方向上,并且用距离传感器64检测与存在于用户视线方向上的目标对象的距离,以获得目标对象所存在的方向和与目标对象的距离。
分割控制单元164获取存储在存储单元120中的AR内容的数据(步骤S81),并且基于获取的数据使得图像处理单元160显示AR内容(步骤S82)。图像处理单元160根据分割控制单元164的控制,基于预先设置的默认的分割位置、交叠区域的默认尺寸等来分割AR内容的图像,并且显示用于右眼的图像和用于左眼的图像。
随后,分割控制单元164通过视线传感器68和距离传感器64执行AR的目标对象的检测(步骤S83),并且基于视线传感器68的检测结果和距离传感器64的检测结果来指定AR的目标对象所存在的方向(步骤S84)。在步骤S84中指定的方向是相对于作为图像显示单元20A的显示单元的右光学图像显示单元26和左光学图像显示单元28的相对方向,因此,不仅在目标对象移动时,而且在图像显示单元20A相对于目标对象移动时,目标对象的方向改变。
分割控制单元164确定目标对象的方向是否已经改变(步骤S85)。当在上一次在步骤S84中指定的方向与下一次在步骤S84中指定的方向之间的差达到预先设置的阈值时,分割控制单元164确定目标对象的方向已经改变(在步骤S85中为“是”)。在这种情况下,分割控制单元164根据在步骤S85中检测的方向来改变用于分割显示目标图像的边界的位置和交叠区域的尺寸的设置(步骤S86),并且根据改变之后的设置更新显示(步骤S87)。因此,显示了被调整至目标对象的方向的用于右眼的图像和用于左眼的图像。注意的是,当步骤S84中的操作首次执行时,以与目标对象的方向改变时的方式相同的方式来执行步骤S86中的操作。
当确定目标对象的方向还没有改变(在步骤S85中为“否”)并且在执行了步骤S87中的操作之后,分割控制单元164确定显示是否结束(步骤S88)。当显示继续时(在步骤S88中为“否”),分割控制单元164返回至步骤S83。当显示结束时(在步骤S88中为“是”),分割控制单元164使得图像处理单元160结束显示并且结束处理。
如此,根据应用本发明的第二实施方式的头戴式显示装置100A包括在头戴式显示装置100A中检测用户的视线方向的视线传感器68。分割控制单元164根据视觉传感器68检测的视线方向来控制用于右眼的图像的图像区在右光学图像显示单元26中的显示位置和用于左眼的图像的图像区在左光学图像显示单元28中的显示位置。因此,可以根据用户的视线方向调整图像区的显示位置并且满意地保持显示目标图像的可视性。
分割控制单元164可以根据视线传感器68检测的用户主视眼的视线方向来控制用于右眼的图像的图像区在右光学图像显示单元26中的显示位置和用于左眼的图像的图像区在左光学图像显示单元28中的显示位置。因此,可以调整图像区的显示位置以优先考虑用户的主视眼的视线方向。可以满意地保持显示目标图像的可视性。
分割控制单元164起AR显示控制单元的作用,其根据用户视觉地识别包括在外部场景中的目标对象的位置使右光学图像显示单元26和左光学图像显示单元28显示显示目标图像。分割控制单元164根据用户视觉地识别目标对象的位置来控制用于右眼的图像的图像区在右光学图像显示单元26中的显示位置和用于左眼的图像的图像区在左光学图像显示单元28中的显示位置。因此,可以满意地执行与包括在外部场景中的目标对象对应的AR显示。
与被用户视觉地识别的在外部场景中的目标对象相对应的显示处理不限于AR显示。分割控制单元164可以执行所谓的MR(混合现实)显示和VR(虚拟现实)显示。分割控制单元164基于视线传感器68检测的用户的视线方向,指定在外部场景中的目标对象或者被用户视觉地识别或者注视的目标对象的位置。分割控制单元164仅需要用显示控制单元190显示基于相机61采集的图像而生成的MR图像,或者显示包括CG(计算机图形)的VR图像,该CG用于与在外部场景中的目标对象或者被用户视觉地识别或者注视的目标对象相对应的VR显示。MR图像是例如通过将预先生成并存储的CG或由控制单元140生成的CG与相机61的采集图像结合而获得的图像。VR图像是利用预先生成并存储的CG或者由控制单元140生成的CG创建的图像。当执行MR显示或VR显示时,分割控制单元164可以分割作为显示目标图像的MR图像和VR图像,并且在右光学图像显示单元26上显示用于右眼的图像,以及在左光学图像显示单元28上显示用于左眼的图像。
注意的是,以上所描述的第一实施方式和第二实施方式仅是应用本发明的具体模式的示例,并且不限制本发明。本发明还可以实施为与所述实施方式不同的模式。例如,可以将图像显示单元20配置为包括有机EL(有机电致发光)显示器和有机EL控制单元,作为在图像显示单元20中用于生成图像光的配置。还可以使用LCOS(硅上液晶,LCoS是注册商标)、数字微镜器件等。例如,本发明还应用于例如激光视网膜投影类型的头戴显示器。也就是说,可以采用以下配置:其中图像生成单元包括激光束源和用于将激光束引导至用户的眼睛的光学***,使得激光束入射在用户的眼睛上,以在视网膜上扫描激光束,将激光束聚焦在视网膜上从而使得用户视觉地识别图像。当采用激光视网膜投影类型的头戴显示器时,“在图像光生成单元中能够发射图像光的区域”可以被限定为被用户的眼睛识别的图像区。
可以采用以下配置作为用于将图像光引导至用户的眼睛的光学***:所述配置包括用于透射从外部朝着装置入射的外部光的光学构件,并且所述配置使得外部光与图像光一起入射在用户的眼睛上。可以使用位于用户眼睛的前方并且与用户的视野的一部分或全部交叠的光学构件。另外,可以采用扫描激光光束等并且将激光光束改变成图像光的扫描类型的光学***。光学***不限于将图像光引导在光学构件的内侧的的光学***,并且可以是仅具有折射和/或反射图像光的功能并且将图像光引导至用户的眼睛的光学***。
本发明还可应用于以下显示装置:其中采用包括MEMS(微机电***)反射镜的扫描光学***并且使用MEMS显示技术。也就是说,作为图像显示元件,显示装置可以包括信号光形成单元、包括MEMS反射镜(其扫描信号光形成单元发射的光)的扫描光学***、以及在其上通过扫描光学***扫描的光形成虚拟图像的光学构件。在这个配置中,信号光形成单元发射的光被MEMS反射镜反射,入射在光学构件上,在光学构件中被引导,并且到达虚拟图像形成表面。MEMS反射镜扫描光,以在虚拟图像形成表面上形成虚拟图像。用户用眼睛捕捉虚拟图像以识别图像。在这种情况下,光学部件可以是通过多次反射引导光的光学部件,例如在这个实施方式中的右导光板261和左导光板262。可以使用半反射镜表面。
以下描述了采用MEMS反射镜的配置作为第三实施方式。
第三实施方式
图20是在应用本发明的第三实施方式中头戴式显示装置100B的基本配置的框图。
头戴式显示装置100B是通过将图像显示单元20B连接至在第一实施方式和第二实施方式中所描述的控制装置10而配置的。图像显示单元20B具有以下配置:其中用右显示驱动单元22A和左显示驱动单元24A代替包括在第一实施方式中的图像显示单元20的右显示驱动单元22和左显示驱动单元24和在第二实施方式中描述的图像显示单元20A。
右显示驱动单元22A包括光源401、右光源驱动单元402、包括反射镜403的MEMS扫描器404(光扫描单元)、反射镜驱动控制单元405和接收单元53。
光源401包括例如激光束源(附图中未示出),并且发射通过结合红(R)、绿(G)和蓝(B)颜色的光而获得的光。右光源驱动单元402向光源401提供驱动电流并且点亮光源401。
反射镜403设置为面对辐射单元,光源401从辐射单元辐射光。反射镜403反射光源401发射的光。MEMS扫描器404移动反射镜403以控制倾角,从而改变反射镜403反射的光的光路。根据MEMS扫描器404的操作,反射镜403反射的光入射在右导光板261的半反射镜261A(图16(A))上。MEMS扫描器404能够通过以高的速度驱动反射镜403来二维地扫描(扫掠)反射镜403反射在半反射镜261A上的光。因此,可以在半反射镜261A上用反射镜403反射的光形成图像,并且将图像显示给用户。
反射镜驱动控制单元405基于通过接收单元53接收的控制数据来控制MEMS扫描器404的运动。
左显示驱动单元24A包括光源411、左光源驱动单元412、包括反射镜413的MEMS扫描器414(光扫描单元)、反射镜驱动控制单元415和接收单元54。
光源411包括例如激光束源(附图中未示出),并且发射通过结合红(R)、绿(G)和蓝(B)颜色的光而获得的光。左光源驱动单元412向光源411提供驱动电流并且点亮光源411。
反射镜413设置为面对辐射单元,光源411从辐射单元辐射光。反射镜413反射光源411发射的光。MEMS扫描器414移动反射镜413以控制倾角,从而改变反射镜413反射的光的光路。根据MEMS扫描器414的操作,反射镜413反射的光入射在左导光板262的半反射镜262A(图16(A))上。MEMS扫描器414能够通过以高的速度驱动反射镜413来二维地扫描(扫掠)反射镜423反射在半反射镜262A上的的光。因此,可以在半反射镜262A上用反射镜413反射的光形成图像,并且将图像显示给用户。
反射镜驱动控制单元415基于通过接收单元54接收的控制数据来控制MEMS扫描器414的运动。
在这个配置中,半反射镜261A和262A起反射单元的作用。
图21(A)至图21(D)是示出显示***的示例的示意图,头戴式显示装置100A用所述显示***显示图像。图21(A)示出了在右导光板261中扫描的示例。图21(B)、图21(C)和图21(D)示出了当执行分割显示时执行的扫描的示例。
如图21(A)所示,图像显示单元20B扫描由激光器发射的图像光,以显示图像。例如,在半反射镜261A中,图像光沿着由轨迹405A表示的水平方向扫描。具体地,图像光在半反射镜261A上沿着水平方向移动,在半反射镜261A的端部返回并且倾斜地向下移动,并且沿着水平方向再次移动。因此,折返部405B形成在轨迹405A的两端处。为了处理折返部405B的形成,在半反射镜261A中,不包括折返部405B的范围形成为可显示区261C。尽管在附图中未示出,但是当左显示驱动单元24A执行在左导光板262上的显示时这同样适用。
在折返部405B中右显示驱动单元22A驱动MEMS扫描器404。另一方面,右显示驱动单元22A能够通过右光源驱动单元402的控制来停止光源401的光的发射。因此,在折返部405B中,实际上,光没有辐射在半反射镜261A上。用户视觉地识别可显示区261C的光。在可显示区261C中,在反射镜403反射的光水平地移动并且同时反射的光倾斜地向下移动的同时,通过辐射在半反射镜261A上的光形成图像。注意的是,可以使光辐射在可显示区261C上并且仅在反射镜403反射的光水平移动时形成图像。在这种情况下,在反射镜403反射的光倾斜地向下移动的过程中不形成图像。
当头戴式显示装置100B根据分割控制单元164的控制执行分割显示时,例如,如图21(B)和图21(C)所示,头戴式显示装置100B沿着水平方向分割显示目标图像,并且显示该显示目标图像。在图21(B)中,示出了在半反射镜262A上的左导光板262的扫描范围。在图21(C)中,示出了在半反射镜261A上的扫描范围。当执行分割显示时,在右保持单元21和左导光板262中的每一个中,考虑到折返部405B,在比可显示区261C和262C的一半大的区域中执行图像光的扫描。因此,在MEMS扫描器404和414执行扫描(扫掠)的范围内,如图21(D)所示,至少是折返部405B交叠,并且图像被显示为形成交叠区域W11。期望交叠区域W11不仅包括折返部405B还包括轨迹405A。
如图22(A)至图22(E),头戴式显示装置100B可以显示包括沿着纵向方向延伸的带状图像区和伪图像区的分割的图像。
图22(A)至图22(E)示出了图像的显示示例。图22(A)示出了分割之前的图像350。图22(B)和图22(C)示出了分割的图像。分割的图像395包括要被用户的左眼视觉地识别的用于左眼的分割的图像片段395A和由假数据形成的伪图像区395B。分割的图像396包括要被用户的右眼视觉地识别的用于右眼的分割的图像片段396A和由假数据形成的伪图像区396B。
当右显示驱动单元22A显示分割的图像片段395A并且左显示驱动单元24A显示分割的图像片段396A时,如图22(D)所示,可以沿着水平方向扫描图像光。在这种情况下,右光源驱动单元402和左光源驱动单元412执行以下控制:在与分割的图像片段395A和396A对应的位置处辐射图像光,并且在伪图像区395B和396B以及折返部405B中阻挡图像光。
如图22(D)所示,右显示驱动单元22A和左显示驱动单元24A可以沿着纵向方向扫描反射镜403和413反射的光。也就是说,右显示驱动单元22A根据分割的图像片段395A的宽度沿着水平方向扫描反射镜403反射的光,倾斜地向下返回反射的光,并且再次沿着水平方向扫描反射的光。右显示驱动单元22A重复扫描以扫掠与一个分割的图像片段395A对应的范围。右显示驱动单元22A执行与分割的图像片段395A的数目相同次数的扫掠。左显示驱动单元24A也可以执行扫掠。在这种情况下,可以降低在与伪图像区395B对应的区域中的扫掠。可以通过图像光有效地执行显示。
分割控制单元164可以生成分割的图像397和分割的图像398,分割的图像397包括沿着水平方向延伸的带状分割的图像片段397A和伪图像区397B,分割的图像398包括沿着水平方向延伸的带状分割的图像片段398A和伪图像区398B。
在这种情况下,如图23(C)所示,期望右显示驱动单元22A沿着水平方向扫掠反射镜403反射的光。这同样适用于左显示驱动单元24A。
如此,头戴式显示装置100B可以根据分割控制单元164的控制,共同地控制用于分割显示目标图像的方法和模式以及右显示驱动单元22A和左显示驱动单元24A利用MEMS扫掠图像光的模式。因此,可以更有效地显示图像,并且降低与图像显示有关的负荷。
图24是用于说明头戴式显示装置100B的操作的流程图。特别是,图24示出了用于基于图像数据开始图像的显示的操作。
分割控制单元164从存储单元120获取显示目标图像数据(步骤S101),并且确定用于分割图像的边界位置(步骤S102)。随后,分割控制单元164通过将非渲染部分添加至在步骤S102中确定的边界位置来确定分割的图像的尺寸(步骤S103),在非渲染部分中图像不能被显示,与在折返部405B中一样。在步骤S103中确定的尺寸不表示放大比或缩小比,并且是与设置在分割的图像中的交叠区域的尺寸有关的尺寸。在步骤S103中可以改变用于分割图像的边界位置。
之后,分割控制单元164基于分割的图像的所确定的边界和尺寸,使得图像处理单元160生成分割的图像的数据(步骤S104),并且开始显示(步骤S105)。
根据应用本发明的第三实施方式的头戴式显示装置100B可以执行在第一实施方式和第二实施方式中描述的操作并且获得相同的效果。
另外,头戴式显示装置100B包括光源401、右光源驱动单元402、包括反射镜403的MEMS扫描器404、以及包括反射镜驱动控制单元405的右显示驱动单元22A。头戴式显示装置100B包括光源411、左光源驱动单元412、包括反射镜413的MEMS扫描器414、以及包括反射镜驱动控制单元415的左显示驱动单元24A。头戴式显示装置100B生成与MEMS扫描器404和414扫描图像光的幅值相对应的分割的图像,并且用图像显示单元20B显示分割的图像。例如,考虑到在图像光的扫描中的折返部405B,分割控制单元164控制图像处理单元160以生成分割的图像。因此,在用于通过图像光的扫掠而显示图像的配置中,可以控制显示使得分割的图像被满意地视觉地识别。
注意的是,本发明不限于实施方式的配置,并且在不脱离本发明的精神的情况下可以以各种模式执行。
例如,在实施方式中,描述了以下示例:矩形的分割之前的图像350被分割和显示。然而,本发明不限制要显示的图像的像素的尺寸、形状和数目、图像是彩色图像还是单色图像、以及图像是运动图像还是静止图像。
在实施方式中,在用于右眼的图像和用于左眼的图像中的分割的区域可以在每个预定的时间(例如每一帧)被切换。在这种情况下,可以使得左眼和右眼在每个预定的时间视觉地识别一个分割之前的图像。因此,可以期望提高图像的可视性的效果。
在这个实施方式中,图像处理单元160被描述为配置成将形成内容的图像的数字图像信号一帧一帧地存储在DRAM中,分割图像,并且生成分割的图像。然而,本发明不限于此。例如,当由图像供给装置OA输入模拟图像信号时,图像处理单元160可以分割模拟图像信号。另外,在分别向右显示驱动单元22和左显示驱动单元24输出模拟图像信号的配置中,图像处理单元160可以在伪图像区中生成模拟图像信号,并且合并该模拟图像信号。也就是说,图像处理单元160可以将在伪图像区中的模拟图像信号与输出至右显示驱动单元22和左显示驱动单元24的模拟图像信号结合,以生成和输出第一图像和第二图像。
可以省略设置在控制装置10中的方向键16和触摸板14中之一。除了方向键16和触摸板14之外,或者代替于方向键16和触摸板14,还可以设置用于操作的其他接口诸如用于操作的杆。诸如键盘和鼠标的输入装置可以是可连接至控制装置10的。控制装置10可以从键盘和鼠标接收输入。
本发明的显示装置不限于头戴式显示装置,并且还可以应用于各种显示装置,例如平板显示器和投影仪。本发明的显示装置仅需要使得用户能够利用图像光和外部光一起视觉地识别图像的显示装置。显示装置的示例包括以下配置:该配置使得用户利用透射外部光的光学构件通过图像光视觉地识别图像。具体地,显示装置除了可应用于包括有在头戴显示器中透射外部光的光学构件的配置之外,还可应用于将图像光投射在固定地或可移动地设置在远离用户的位置处的半透明平面或曲面(玻璃、透明塑料等)上的显示装置。显示装置的示例包括以下显示装置的配置:将图像光投射在车辆的窗玻璃上,并且使得在车辆上的用户或者在车辆外的用户与图像光的图像一起视觉地识别车辆内部和外部的场景,以及以下显示装置的配置:将图像光投射在固定设置的透明,或半透明,或彩色透明显示表面上(例如建筑物的窗玻璃),并且使得在显示表面周围的用户与图像光的图像一起视觉地识别通过显示表面场景。
用于利用相机61采集的图像或CG执行MR显示或VR显示的配置不限于使得用户能够视觉地识别图像与外部光的显示装置,并且还适用于各种显示装置,例如,在不能视觉地识别外部场景的状态下显示图像的显示装置。具体地,本发明可以应用于以下显示装置:该显示装置显示例如相机61采集的图像、基于采集的图像生成的CG和图像、以及基于预先存储的视频数据的视频和从外部输入的视频数据。这种类型的显示装置可以包括所谓的封闭类型的显示装置,利用该显示装置,外部场景不能被视觉地识别。不执行诸如AR显示、MR显示或VR显示的处理、并且显示从外部输入的视频数据或模拟视频信号的显示装置自然地被包括作为本发明的应用目标。
在这个实施方式中,示出了戴在用户头上的眼镜类型的图像显示单元20。然而,本发明不限于此。例如,可以采用诸如戴起来像帽子一样的图像显示单元的另一类型的图像显示单元代替图像显示单元20。图像显示单元可以是其他配置。图像显示单元仅需要包括显示与用户左眼对应的图像的显示单元和显示与用户右眼对应的图像的显示单元。根据本发明的显示装置可以配置为可安装在交通工具(例如,汽车或飞机)上的头戴显示器。例如,显示装置可以配置为结合在人体保护器(例如,头盔)中的头戴显示器或者可以是用于汽车风挡的头戴显示器(HUD)。另外,例如,可以采用由用户双手使用的双目类型的手持显示器作为这种应用的图像显示单元20。另外,可以采用将光聚焦在用户的眼球中的视网膜上的显示器,诸如所谓的隐形眼睛类型显示器或者嵌入在眼球中的植入类型显示器(在附接至用户两只眼睛的眼球(即,在角膜上)的同时被使用),作为图像显示单元20。在所有的情况下,使得用户的一只眼睛能够识别图像的显示单元可以被设置为第一显示单元,并且使得另一只眼睛能够识别图像的显示单元可以被设置为第二显示单元。
另外,在这个实施方式中,描述了图像显示单元20和控制装置10分开并且经由连接单元40连接的配置作为示例。然而,还可以采用以下配置:控制装置10和图像显示单元20被一体地配置并且佩戴在用户的头上。
控制装置10和图像显示单元20可以通过较长的电缆或无线通信线路连接。可以使用笔记本计算机、平板计算机、或台式计算机、包括游戏机、蜂窝电话、智能电话、和便携式媒体播放器的便携式电子设备、其他专用设备等作为控制装置10。
在图2、图15和图20中示出的功能块的至少一部分可以通过硬件实现,或者可以配置成通过硬件和软件的结合实现。功能块不限于以下配置:独立的硬件资源被设置为如图2、图15和图20所示。由控制单元140执行的程序可以被存储在存储单元120或控制装置10中的存储装置中,或者存储在外部装置中的程序可以配置成经由通信单元117或接口180来获取并且被执行。在控制装置10中形成的部件之中,仅操作单元135可以形成为独立的用户接口(UI)。在这个实施方式中电源130可以是独立形成的,并且配置为是可替换的。在控制装置10中形成的部件可以冗余地形成在图像显示单元20中。例如,在图2、图15和图20中示出的控制单元140可以形成在控制装置10和图像显示单元20两者中。由形成在控制装置10中的控制单元140和形成在图像显示单元20中的CPU执行的功能可以被配置为单独地分割。
[附图标记列表]
10 控制装置
20、20A、20B 图像显示单元:
21 右保持单元
22、22A 右显示驱动单元(第二显示单元)
23 左保持单元
24,24A 左显示驱动单元(第一显示单元)
26 右光学图像显示单元(第二显示单元)
28 左光学图像显示单元(第一显示单元)
68 视线传感器(视线检测单元)
100、100A、100B 头戴式显示装置(显示装置)
110 输入信息获取单元(接收单元)
117 通信单元
120 存储单元
140 控制单元
150 操作***
160 图像处理单元
164 分割控制单元(显示状态控制单元)
170 声音处理单元
180 接口
190 显示控制单元
201 右背光控制单元
202 左背光控制单元
211 右LCD控制单元
212 左LCD控制单元
221 右背光
222 左背光
241 右LCD
242 左LCD
251 右投影光学***
252 左投影光学***
261 右导光板
261A、262A 半反射镜(反射单元)
262 左导光板
401、411 光源
402 右光源驱动单元
403、413 反射镜
404、414 MEMS扫描器(光扫描单元)
405、415 反射镜驱动控制单元
412 左光源驱动单元
Claims (22)
1.一种显示装置,包括:
第一显示单元,其被配置成显示对应于用户的左眼的图像;
第二显示单元,其被配置成显示对应于用户的右眼的图像;以及
图像处理单元,其被配置成分割显示目标图像,并且向所述第一显示单元和所述第二显示单元输出包括分割成的图像的第一图像和第二图像,其中
所述第一图像和所述第二图像包括图像区和伪图像区,所述图像区由通过所述图像处理单元分割成的图像构成,所述伪图像区通过所述分割而成,并且
所述第一图像和所述第二图像中的一个的所述伪图像区的状态对应于所述第一图像和所述第二图像中的另一个的所述图像区的状态。
2.根据权利要求1所述的显示装置,其中,所述第一图像和所述第二图像是在所述第一图像和所述第二图像被显示在所述第一显示单元和所述第二显示单元上时被用户视觉地识别为所述显示目标图像的图像。
3.根据权利要求1至2中任一项所述的显示装置,其中,所述图像处理单元将所述图像区在所述第一图像和所述第二图像中的位置与分割成的图像在所述显示目标图像中的位置相关联。
4.根据权利要求1至2中任一项所述的显示装置,还包括显示状态控制单元,所述显示状态控制单元被配置成控制所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置。
5.根据权利要求4所述的显示装置,还包括配置成接收用户的输入的接收单元,其中
所述显示状态控制单元根据所述接收单元接收的输入来改变所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置中的至少一个。
6.根据权利要求4所述的显示装置,其中,所述显示装置根据所述用户的视线的状态来控制所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置中的至少一个。
7.根据权利要求6所述的显示装置,还包括配置成检测所述用户的视线方向的视线检测单元,其中
所述显示状态控制单元根据所述视线检测单元检测的视线方向来控制所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置中的至少一个。
8.根据权利要求7所述的显示装置,其中所述显示状态控制单元根据所述视线检测单元检测的所述用户的主视眼的视线方向,来控制所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置。
9.根据权利要求4所述的显示装置,其中
所述第一显示单元和所述第二显示单元透射外部场景,并且显示能够与所述外部场景一起被视觉地识别的图像,并且
所述显示状态控制单元调整所述第一图像和所述第二图像至少之一中的所述伪图像区的显示模式。
10.根据权利要求9所述的显示装置,还包括显示控制单元,所述显示控制单元配置成使所述第一显示单元和所述第二显示单元根据位置来显示所述显示目标图像,在所述位置处用户视觉地识别包括在所述外部场景中的目标对象,其中
所述显示状态控制单元根据用户视觉地识别所述目标对象的所述位置来控制所述第一图像的所述图像区在所述第一显示单元中的显示位置和所述第二图像的所述图像区在所述第二显示单元中的显示位置。
11.根据权利要求4所述的显示装置,其中所述图像处理单元从所述显示目标图像提取具有彼此交叠的部分的两个图像,并且将所述两个图像分别设置为所述第一图像和所述第二图像的所述图像区。
12.根据权利要求4所述的显示装置,其中所述显示状态控制单元在预先设置在所述第一图像和所述第二图像中的区域中布置所述图像区和所述伪图像区。
13.根据权利要求4所述的显示装置,其中,所述显示状态控制单元在所述第一图像和所述第二图像中的每一个中设置多个所述图像区和多个所述伪图像区。
14.根据权利要求4所述的显示装置,其中,所述显示状态控制单元将在所述第一显示单元上显示的所述第一图像的显示尺寸和在所述第二显示单元上显示的所述第二图像的显示尺寸设置为相同的尺寸。
15.根据权利要求4所述的显示装置,其中,所述显示状态控制单元在所述第一图像与所述第二图像的公共位置处布置预定标志。
16.根据权利要求15所述的显示装置,其中,所述显示状态控制单元改变在所述第一显示单元和所述第二显示单元上显示的所述标志的显示尺寸。
17.根据权利要求15所述的显示装置,其中,所述显示状态控制单元随着时间流逝减小所述标志的显示尺寸,并且当所述显示目标图像改变时放大所述标志的显示尺寸。
18.根据权利要求4所述的显示装置,其中
所述第一显示单元和所述第二显示单元分别包括光源、配置成二维地扫描来自所述光源的光的光扫描单元、以及配置成将由所述光扫描单元二维地扫描的光反射至用户的反射单元,并且
所述显示状态控制单元使所述图像处理单元向所述第一显示单元和所述第二显示单元输出与所述第一显示单元和所述第二显示单元的光扫描单元扫描光的幅值对应的第一图像和第二图像。
19.根据权利要求1所述的显示装置,其中,所述第一显示单元和所述第二显示单元在彼此不同的定时显示所述第一图像和所述第二图像。
20.一种显示装置,包括:
第一显示单元,其被配置成显示对应于用户的左眼的图像;
第二显示单元,其被配置成显示对应于用户的右眼的图像;
图像处理单元,其被配置成分割显示目标图像,并且向所述第一显示单元和所述第二显示单元输出包括分割成的图像的第一图像和第二图像;
视线检测单元,其被配置成检测用户的视线方向;以及
显示状态控制单元,其被配置成根据所述视线检测单元检测的用户的视线方向来控制所述第一显示单元显示的所述第一图像的显示模式和所述第二显示单元显示的所述第二图像的显示模式。
21.一种用于包括第一显示单元和第二显示单元的显示装置的控制方法,所述控制方法包括:
分割显示目标图像;
在所述第一显示单元和所述第二显示单元上显示与分割成的图像对应的第一图像和第二图像;以及
将所述第一图像和所述第二图像设置为包括图像区和伪图像区,所述图像区由分割成的图像构成,所述伪图像区不包括分割成的图像,所述第一图像和所述第二图像中的一个的所述伪图像区的状态对应于所述第一图像和所述第二图像中的另一个的所述图像区的状态。
22.一种控制包括第一显示单元和第二显示单元的显示装置的计算机可执行的程序,所述程序使所述计算机用作图像处理单元,所述图像处理单元配置成分割显示目标图像,并且向所述第一显示单元和所述第二显示单元输出包括分割成的图像的第一图像和第二图像,其中
所述第一图像和所述第二图像包括由通过所述图像处理单元分割成的图像构成的图像区和不包括分割成的图像的伪图像区,并且
所述第一图像和所述第二图像中的一个的所述伪图像区的状态对应于所述第一图像和所述第二图像中的另一个的所述图像区的状态。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-155936 | 2014-07-31 | ||
JP2014155936A JP6428024B2 (ja) | 2014-07-31 | 2014-07-31 | 表示装置、表示装置の制御方法、および、プログラム |
JP2015077458A JP6575117B2 (ja) | 2015-04-06 | 2015-04-06 | 表示装置、表示装置の制御方法、および、プログラム |
JP2015-077458 | 2015-04-06 | ||
PCT/JP2015/003766 WO2016017144A1 (en) | 2014-07-31 | 2015-07-28 | Display device, control method for display device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106537227A CN106537227A (zh) | 2017-03-22 |
CN106537227B true CN106537227B (zh) | 2019-09-27 |
Family
ID=53901066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580037933.0A Active CN106537227B (zh) | 2014-07-31 | 2015-07-28 | 显示装置、用于显示装置的控制方法以及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10725300B2 (zh) |
EP (1) | EP3175616A1 (zh) |
KR (1) | KR20170031223A (zh) |
CN (1) | CN106537227B (zh) |
TW (1) | TW201604586A (zh) |
WO (1) | WO2016017144A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
CN113568170A (zh) | 2016-03-15 | 2021-10-29 | 奇跃公司 | 虚拟图像生成***及其操作方法 |
JP2017182247A (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN107295283B (zh) * | 2016-03-30 | 2024-03-08 | 芋头科技(杭州)有限公司 | 一种机器人的显示*** |
KR102582841B1 (ko) * | 2016-07-07 | 2023-09-27 | 삼성디스플레이 주식회사 | 표시 장치 |
TWI585741B (zh) | 2016-08-04 | 2017-06-01 | 友達光電股份有限公司 | 驅動裝置與驅動方法 |
TWI619967B (zh) * | 2016-09-26 | 2018-04-01 | 緯創資通股份有限公司 | 可調整顯示模組之可調式虛擬實境裝置 |
US10217186B2 (en) * | 2017-02-15 | 2019-02-26 | Htc Corporation | Method, virtual reality apparatus and recording medium for displaying fast-moving frames of virtual reality |
WO2018211673A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
US10578869B2 (en) * | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
JP7176520B2 (ja) * | 2017-08-08 | 2022-11-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7035510B2 (ja) * | 2017-12-22 | 2022-03-15 | セイコーエプソン株式会社 | 表示システム、及び、表示システムの制御方法 |
JP2019154008A (ja) * | 2018-03-06 | 2019-09-12 | シャープ株式会社 | 立体画像表示装置、液晶ディスプレイの表示方法、および液晶ディスプレイのプログラム |
US10770036B2 (en) * | 2018-08-27 | 2020-09-08 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on left and right eye portions of headset |
JP7234718B2 (ja) * | 2019-03-18 | 2023-03-08 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
CN110161693A (zh) * | 2019-05-06 | 2019-08-23 | 苏州佳世达光电有限公司 | 成像*** |
DE102019219244B3 (de) * | 2019-12-10 | 2021-05-20 | Psa Automobiles Sa | Verfahren zur Darstellung von Teilen eines Bildes auf einer Bildschirmanordnung, Computerprogrammprodukt, Kraftfahrzeuganzeigevorrichtung sowie Kraftfahrzeug |
KR102662562B1 (ko) * | 2019-12-20 | 2024-04-30 | 엘지디스플레이 주식회사 | 표시장치, 구동회로, 및 구동방법 |
TWI736328B (zh) * | 2020-06-19 | 2021-08-11 | 宏碁股份有限公司 | 頭戴式顯示裝置及應用其之畫面顯示方法 |
CN113835225B (zh) * | 2020-06-24 | 2023-08-08 | 宏碁股份有限公司 | 头戴式显示装置及应用该装置的画面显示方法 |
CN111857336B (zh) * | 2020-07-10 | 2022-03-25 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
KR20220036679A (ko) * | 2020-09-16 | 2022-03-23 | 삼성전자주식회사 | 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법 |
US20230186801A1 (en) * | 2021-12-10 | 2023-06-15 | International Business Machines Corporation | Display of security information based on splitting into images viewable at a certain reading distance |
CN114296234A (zh) * | 2021-12-10 | 2022-04-08 | 华为技术有限公司 | 近眼显示装置及头戴设备 |
WO2024096560A1 (ko) * | 2022-11-02 | 2024-05-10 | 삼성전자 주식회사 | 웨어러블 전자 장치 및 그 동작 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102282860A (zh) * | 2010-03-31 | 2011-12-14 | 松下电器产业株式会社 | 立体显示装置的驱动方法以及立体显示装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982343A (en) * | 1903-11-29 | 1999-11-09 | Olympus Optical Co., Ltd. | Visual display apparatus |
JPH0777665A (ja) | 1993-03-29 | 1995-03-20 | Canon Inc | 画像表示装置及びその為の画像撮影装置 |
JPH07302064A (ja) | 1994-05-02 | 1995-11-14 | Canon Inc | 表示装置 |
JPH07302063A (ja) | 1994-05-02 | 1995-11-14 | Canon Inc | 表示装置 |
US7215357B1 (en) * | 1998-04-28 | 2007-05-08 | Vrex, Inc. | Line blanker system |
US7091929B2 (en) * | 2001-03-16 | 2006-08-15 | Hewlett-Packard Development Company, L.P. | Method and apparatus for displaying images |
US7872635B2 (en) * | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
JP4665166B2 (ja) * | 2005-06-29 | 2011-04-06 | ソニー株式会社 | ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム |
EP1922614A2 (en) * | 2005-08-15 | 2008-05-21 | Koninklijke Philips Electronics N.V. | System, apparatus, and method for augmented reality glasses for end-user programming |
JP5347717B2 (ja) * | 2008-08-06 | 2013-11-20 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
JP5215211B2 (ja) | 2009-03-04 | 2013-06-19 | Kddi株式会社 | 関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム |
US20110001808A1 (en) * | 2009-06-01 | 2011-01-06 | Bit Cauldron Corporation | Method of Stereoscopic Synchronization of Active Shutter Glasses |
US8531394B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglasses transceiver |
JP2012049658A (ja) | 2010-08-25 | 2012-03-08 | Sony Corp | 表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法 |
JP5025772B2 (ja) * | 2010-08-30 | 2012-09-12 | 株式会社東芝 | 立体視用眼鏡及び立体視映像表示システム |
JP2012125453A (ja) | 2010-12-16 | 2012-07-05 | Fujifilm Corp | 表示装置 |
JP5742263B2 (ja) | 2011-02-04 | 2015-07-01 | セイコーエプソン株式会社 | 虚像表示装置 |
US9077890B2 (en) * | 2011-02-24 | 2015-07-07 | Qualcomm Incorporated | Auto-focus tracking |
JP5803193B2 (ja) | 2011-03-24 | 2015-11-04 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US8803764B2 (en) | 2011-03-24 | 2014-08-12 | Seiko Epson Corporation | Head-mount type display device and method of controlling head-mount type display device |
US9368546B2 (en) * | 2012-02-15 | 2016-06-14 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
JP6008086B2 (ja) | 2012-03-26 | 2016-10-19 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP2013211712A (ja) | 2012-03-30 | 2013-10-10 | Sony Corp | 出力制御装置、出力制御方法、及びプログラム |
US20150062315A1 (en) * | 2012-04-18 | 2015-03-05 | The Regents Of The University Of California | Simultaneous 2d and 3d images on a display |
US8711486B2 (en) * | 2012-06-26 | 2014-04-29 | GM Global Technology Operations LLC | System for highlighting targets on head up displays with near focus plane |
JP6111659B2 (ja) | 2012-12-28 | 2017-04-12 | セイコーエプソン株式会社 | 表示装置、および、表示装置の制御方法 |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
US9804669B2 (en) * | 2014-11-07 | 2017-10-31 | Eye Labs, Inc. | High resolution perception of content in a wide field of view of a head-mounted display |
-
2015
- 2015-07-28 KR KR1020177004166A patent/KR20170031223A/ko not_active Application Discontinuation
- 2015-07-28 EP EP15753499.1A patent/EP3175616A1/en not_active Withdrawn
- 2015-07-28 CN CN201580037933.0A patent/CN106537227B/zh active Active
- 2015-07-28 WO PCT/JP2015/003766 patent/WO2016017144A1/en active Application Filing
- 2015-07-28 US US15/327,158 patent/US10725300B2/en active Active
- 2015-07-28 TW TW104124435A patent/TW201604586A/zh unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102282860A (zh) * | 2010-03-31 | 2011-12-14 | 松下电器产业株式会社 | 立体显示装置的驱动方法以及立体显示装置 |
Also Published As
Publication number | Publication date |
---|---|
TW201604586A (zh) | 2016-02-01 |
WO2016017144A1 (en) | 2016-02-04 |
KR20170031223A (ko) | 2017-03-20 |
US10725300B2 (en) | 2020-07-28 |
US20170160550A1 (en) | 2017-06-08 |
CN106537227A (zh) | 2017-03-22 |
EP3175616A1 (en) | 2017-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106537227B (zh) | 显示装置、用于显示装置的控制方法以及程序 | |
US10643400B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
US9557566B2 (en) | Head-mounted display device and control method for the head-mounted display device | |
US10627620B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
CN106199963B (zh) | 显示装置及其控制方法以及计算机程序 | |
RU2643649C2 (ru) | Устанавливаемое на голове устройство отображения и способ управления устанавливаемым на голове устройством отображения | |
US9870048B2 (en) | Head-mounted display device, method of controlling the same, and computer program | |
CN103309037A (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
JP2015023381A (ja) | 透過型表示装置および透過型表示装置の制御方法 | |
JP2012204998A (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6575117B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
CN105319716A (zh) | 显示装置、显示装置的控制方法及程序 | |
JP6428024B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
US20150168728A1 (en) | Head mounted display device | |
US9784975B2 (en) | Display device and control method for display device | |
JP5742355B2 (ja) | 頭部装着型表示装置 | |
JP6004053B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6375662B2 (ja) | 頭部装着型表示装置 | |
JP6308249B2 (ja) | 頭部装着型表示装置および方法 | |
JP6268704B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2014127968A (ja) | 表示装置、および、表示装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |