CN116783644A - 空间悬浮影像显示装置 - Google Patents
空间悬浮影像显示装置 Download PDFInfo
- Publication number
- CN116783644A CN116783644A CN202180086904.9A CN202180086904A CN116783644A CN 116783644 A CN116783644 A CN 116783644A CN 202180086904 A CN202180086904 A CN 202180086904A CN 116783644 A CN116783644 A CN 116783644A
- Authority
- CN
- China
- Prior art keywords
- image
- spatially
- display device
- light
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000725 suspension Substances 0.000 title abstract description 13
- 238000007667 floating Methods 0.000 claims abstract description 136
- 238000001514 detection method Methods 0.000 claims abstract description 111
- 238000003384 imaging method Methods 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 46
- 238000003860 storage Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 7
- 230000036449 good health Effects 0.000 abstract description 2
- 230000036642 wellbeing Effects 0.000 abstract description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 90
- 230000010287 polarization Effects 0.000 description 90
- 238000000034 method Methods 0.000 description 82
- 238000010586 diagram Methods 0.000 description 76
- 238000009792 diffusion process Methods 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 29
- 101100111861 Schizosaccharomyces pombe (strain 972 / ATCC 24843) but1 gene Proteins 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 22
- 238000000926 separation method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 238000002834 transmittance Methods 0.000 description 15
- 101100111862 Schizosaccharomyces pombe (strain 972 / ATCC 24843) but2 gene Proteins 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004907 flux Effects 0.000 description 13
- 241001422033 Thestylus Species 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 239000005357 flat glass Substances 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 239000011347 resin Substances 0.000 description 7
- 229920005989 resin Polymers 0.000 description 7
- 239000004925 Acrylic resin Substances 0.000 description 6
- 229920000178 Acrylic resin Polymers 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000010408 film Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 229920003023 plastic Polymers 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000003746 surface roughness Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 244000144985 peep Species 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010016322 Feeling abnormal Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Abstract
本发明提供一种更好的空间悬浮影像显示装置。有助于可持续发展目标的“3良好健康与福祉”、“9产业、创新和基础设施”、“11可持续城市和社区”。空间悬浮影像显示装置包括:显示影像的显示装置;回归性反射部件,其使来自显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像;传感器,其检测用户的手指对空间悬浮影像中显示的1个以上的对象进行的触摸操作;和控制部。控制部在用户对对象进行触摸操作时,基于使用传感器得到的触摸操作的检测结果,对用户进行触摸操作的辅助。
Description
技术领域
本发明涉及空间悬浮影像显示装置。
背景技术
作为空间悬浮信息显示***,已知直接向外部显示影像的影像显示装置和作为空间屏幕进行显示的显示方法。另外,例如专利文献1公开了一种检测***,针对所显示的空间像的操作面上的操作能够减少误检测。
现有技术文献
专利文献
专利文献1:日本特开2019-128722号公报
发明内容
发明要解决的技术问题
但是,对于空间悬浮影像的触摸操作并不是对物理的按钮或触摸面板等进行的。因此,存在用户不能认识到是否进行了触摸操作的情况。
本发明的目的在于提供一种更好的空间悬浮影像显示装置。
解决问题的技术手段
本申请包括解决上述问题的多种手段,举其一例,空间悬浮影像显示装置可以构成为,包括:显示影像的显示装置;回归性反射部件,其使来自所述显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像;传感器,其检测对所述空间悬浮影像中显示的1个以上的对象进行触摸操作的用户的手指的位置;和控制部,其中,基于使用所述传感器检测出的所述用户的手指的位置,由所述控制部控制针对要在所述显示装置上显示的影像的影像处理,由此在不存在物理接触面的所述空间悬浮影像的显示面上显示所述用户的手指的虚拟影子。
发明效果
根据本发明能够实现一种更好的空间悬浮影像显示装置。除此以外的技术问题、技术特征和技术效果将在以下实施方式的说明中变得明确。
附图说明
图1A是表示本发明的一个实施例的空间悬浮影像显示装置的使用形态之一例的图。
图1B是表示本发明的一个实施例的空间悬浮影像显示装置的使用形态之一例的图。
图2A是表示本发明的一个实施例的空间悬浮影像显示装置的主要部分结构和回归反射部结构之一例的图。
图2B是表示本发明的一个实施例的空间悬浮影像显示装置的主要部分结构和回归反射部结构之一例的图。
图3A是表示空间悬浮影像显示装置的设置方法之一例的图。
图3B是表示空间悬浮影像显示装置的设置方法之另一例的图。
图3C是表示空间悬浮影像显示装置的结构例的图。
图4是表示本发明的一个实施例的空间悬浮影像显示装置的主要部分结构之另一例的图。
图5是用于说明空间悬浮影像显示装置中使用的传感装置的功能的说明图。
图6是空间悬浮影像显示装置中使用的三维影像显示的原理的说明图。
图7是评价反射型偏振片的特性的测定***的说明图。
图8是表示与光线相对于反射型偏振片透射轴的入射角度对应的透射率特性的特性图。
图9是表示与光线相对于反射型偏振片反射轴的入射角度对应的透射率特性的特性图。
图10是表示与光线相对于反射型偏振片透射轴的入射角度对应的透射率特性的特性图。
图11是表示与光线相对于反射型偏振片反射轴的入射角度对应的透射率特性的特性图。
图12是表示光源装置的具体结构之一例的截面图。
图13是表示光源装置的具体结构之一例的截面图。
图14是表示光源装置的具体结构之一例的截面图。
图15是表示本发明的一个实施例的空间悬浮影像显示装置的主要部分的配置图。
图16是表示本发明的一个实施例的显示装置的结构的截面图。
图17是表示光源装置的具体结构之一例的截面图。
图18A是表示光源装置的具体结构之一例的截面图。
图18B是表示光源装置的具体结构之一例的截面图。
图19A是表示光源装置的具体结构之一例的截面图。
图19B是表示光源装置的具体结构之一例的截面图。
图20是用于说明影像显示装置的光源扩散特性的说明图。
图21A是用于说明影像显示装置的扩散特性的说明图。
图21B是用于说明影像显示装置的扩散特性的说明图。
图22A是用于说明影像显示装置的扩散特性的说明图。
图22B是用于说明影像显示装置的扩散特性的说明图。
图23是表示影像显示装置的结构的截面图。
图24是用于说明现有技术中的鬼像的产生原理的说明图。
图25是表示本发明的一个实施例的显示装置的结构的截面图。
图26是说明本发明的一个实施例的显示装置的显示之一例的图。
图27A是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图27B是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图28A是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图28B是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图29A是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图29B是说明使用了虚拟影子的触摸操作辅助方法之一例的图。
图30A是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图30B是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图31A是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图31B是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图32A是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图32B是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。
图33是说明虚拟光源的设定方法的图。
图34是表示手指的位置的检测方法之一例的结构图。
图35是表示手指的位置的检测方法之另一例的结构图。
图36是表示手指的位置的检测方法之另一例的结构图。
图37是说明通过显示输入的内容来辅助触摸操作的方法的图。
图38是说明通过将输入内容强调显示来辅助触摸操作的方法的图。
图39是说明利用振动进行触摸操作的辅助的方法之一例的图。
图40是说明利用振动进行的触摸操作辅助方法之另一例的图。
图41是说明利用振动进行的触摸操作辅助方法之另一例的图。
图42A是说明本发明的一个实施例的空间悬浮影像的显示例之一例的图。
图42B是说明本发明的一个实施例的空间悬浮影像的显示例之一例的图。
图43是说明本发明的一个实施例的空间悬浮影像显示装置的结构例之一例的图。
图44是说明本发明的一个实施例的空间悬浮影像显示装置的一部分的结构例之一例的图。
图45是说明本发明的一个实施例的空间悬浮影像的显示例之一例的图。
图46是说明本发明的一个实施例的空间悬浮影像显示装置的结构例之一例的图。
具体实施方式
以下,基于附图详细说明本发明的实施方式。不过,本发明并不限定于实施例的说明,本领域技术人员能够在本说明书公开的技术思想的范围内实施各种变更和修正。另外,在用于说明本发明的全部图中对于具有同一功能的部分标注同一附图标记,有时省略其重复说明。另外,在以下实施例的说明中,用“空间悬浮影像”这一用语表达悬浮在空间中的影像。但也可以代替该用语,表达为“空中像”、“空间像”、“空中悬浮影像”、“显示影像的空间悬浮光学像”、“显示影像的空中悬浮光学像”等。实施例的说明中主要使用的“空间悬浮影像”这一用语被用作这些用语的代表性示例。
以下实施例涉及一种影像显示***,其能够使来自影像发光源的影像光形成的影像经由玻璃等用于分隔空间的透明部件透射,在上述透明部件的外部显示为空间悬浮影像。
根据以下实施例,例如能够在银行的ATM、车站的售票机、数字标牌等中实现良好的影像显示装置。例如,当前在银行的ATM、车站的售票机等中通常使用触摸面板,但也能够使用透明的玻璃面或透光性的板材,在该玻璃面或透光性的板材上以空间悬浮的状态显示高分辨率的影像信息。此时,通过使出射的影像光的发散角减小即成为锐角,进而统一为特定偏振,能够仅使对于回归反射部件正常的反射光高效地反射,因此光的利用效率高,能够抑制现有的回归反射方式中成为问题的除了主空间悬浮像之外产生的鬼像,能够得到清晰的空间悬浮影像。另外,通过包括本实施例的光源的装置,能够提供一种能够大幅减小功耗的、新颖且可用性优异的空间悬浮影像显示装置(空间悬浮影像显示***)。另外,例如在车辆中能够提供一种可在车辆内部和/或外部观看的能够进行所谓单向空间悬浮影像显示的车辆用空间悬浮影像显示装置。另外,在以下实施例中,无论哪种情况都可以使用板状的回归反射部件。该情况下,也可以表达为回归反射板。
另一方面,现有技术将作为高分辨率的彩色显示影像源150的有机EL面板、液晶面板与回归反射部件151组合。在现有技术中,由于影像光广角地扩散,所以在回归反射部件151上除了正常反射的反射光之外还如图24所示地因倾斜入射到回归反射部件2a的影像光而产生鬼像301和302,损害了空间悬浮影像的画质。另外,如图23所示,除了正常的空间悬浮影像300之外产生第一鬼像301和第二鬼像302等多个鬼像。因此,观看者以外的人也会看到与空间悬浮影像相同的鬼像,在安全性上存在较大的问题。
<空间悬浮影像显示装置>
图1A、图1B是表示本发明的一个实施例的空间悬浮影像显示装置的使用形态之一例的图,是表示本实施例的空间悬浮影像显示装置的整体结构的图。空间悬浮影像显示装置的具体结构将使用图2A、图2B等详细叙述,其中,从影像显示装置1出射窄角指向特性且具有特定偏振的光作为影像光束,先入射到回归反射部件2,发生回归反射后透过透明部件100(玻璃等),在玻璃面的外侧形成实像的空中像(空间悬浮影像3)。
另外,在店铺等中,用玻璃等透光性的部件构成的展示窗(也称为“窗玻璃”)105分隔了空间。根据本实施例的空间悬浮影像显示装置,能够透过该透明部件对店铺(空间)的外部和/或内部单向地显示悬浮影像。
图1A中,以窗玻璃105的内侧(店铺内)为进深方向、其外侧(例如人行道)为近处的方式表示。另一方面,也能够通过在窗玻璃105上设置使特定偏振反射的机构来反射光,在店内的期望的位置形成空中像。
图1B是表示上述显示装置1的结构的概略框图。显示装置1包括显示空中像的原图像的影像显示部、对输入的影像与面板的分辨率相应地进行变换的影像控制部、和接收影像信号的影像信号接收部。影像信号接收部能够支持HDMI(High-Definition MultimediaInterface)输入等有线输入信号、和Wi-Fi(Wireless Fidelity)等无线输入信号,作为影像接收/显示装置单独发挥作用,也能够显示来自平板、智能手机等的影像信息。进而,如果连接棒状PC等,则也能够使其具有计算处理、影像分析处理等能力。
图2A、图2B是表示本发明的一个实施例的空间悬浮影像显示装置的主要部分结构和回归反射部结构之一例的图。使用图2A、图2B来更具体地说明空间悬浮影像显示装置的结构。如图2A所示,在玻璃等透明部件100的斜方向上,具备使特定偏振的影像光窄角地发散的显示装置1。显示装置1具备液晶显示面板11和生成具有窄角扩散特性的特定偏振的光的光源装置13。
来自显示装置1的特定偏振的影像光,被设置于透明部件100上的具有使特定偏振的影像光选择性地反射的膜的偏振分离部件101(图中,使偏振分离部件101形成为片状并粘贴在透明部件100上)反射,向回归反射部件2入射。在回归反射部件2的影像光入射面上设置λ/4波片21。影像光在相对于回归反射部件2入射时和出射时经过2次λ/4波片21,由此从特定偏振经过偏振变换成为另一方的偏振。此处,使特定偏振的影像光选择性地反射的偏振分离部件101具有使偏振变换后的另一方的偏振的光透射的性质,所以偏振变换后的特定偏振的影像光透过偏振分离部件101。透过偏振分离部件101后的影像光在透明部件100的外侧形成实像的空间悬浮影像3。
另外,形成空间悬浮影像3的光是从回归反射部件2会聚至空间悬浮影像3的光学像处的光线的集合,这些光线在经过空间悬浮影像3的光学像之后仍然直线行进。由此,空间悬浮影像3与用一般的投影仪等形成在屏幕上的扩散影像光不同,是具有高指向性的影像。于是,在图2A、图2B的结构中,在用户从箭头A的方向观看时能够看到空间悬浮影像3的明亮的影像。但其他人物从箭头B的方向观看时,空间悬浮影像3完全不能作为影像被看到。该特性非常适于应用在显示要求高安全性影像的***中,和显示想要对正对着用户的人物保密的高保密性的影像的***中。
另外,取决于回归反射部件2的性能,反射后的影像光的偏振轴可能不统一。该情况下,偏振轴不统一的一部分影像光在上述偏振分离部件101上反射后返回显示装置1。该光在构成显示装置1的液晶显示面板11的影像显示面上再次反射,存在产生鬼像而导致空间悬浮像的画质降低的可能性。
于是,本实施例在显示装置1的影像显示面上设置了吸收型偏振片12。使从显示装置1出射的影像光透过吸收型偏振片12,并利用吸收型偏振片12吸收从偏振分离部件101返回的反射光,由此能够抑制上述再次反射。从而,能够防止空间悬浮像的鬼像引起的画质降低。
上述偏振分离部件101例如可以用反射型偏振片或使特定偏振反射的金属多层膜等形成。
接着,在图2B中,作为代表性的回归反射部件2表示了本次研究中使用的日本Carbide工业株式会社制造的回归反射部件的表面形状。其由规则地排列的六棱柱构成,入射到内部的光线在六棱柱的壁面和底面上反射而成为回归反射光,在与入射光对应的方向上出射,基于显示装置1上显示的影像显示实像的空间悬浮影像。
该空间悬浮像的分辨率除了依赖于液晶显示面板11的分辨率之外,还较大地依赖于图2B所示的回归反射部件2的回归反射部的外形D和间距P。例如,在使用7英寸的WUXGA(1920×1200像素)液晶显示面板的情况下,即使1个像素(1个三元组)为约80μm,但如果回归反射部的直径D为240μm且间距为300μm,则空间悬浮像的1个像素相当于300μm。因此,空间悬浮像的有效分辨率降低至1/3左右。
为了使空间悬浮像的分辨率与显示装置1的分辨率程度相同,优选使回归反射部的直径和间距接近液晶显示面板的1个像素。另一方面,为了抑制因回归反射部件和液晶显示面板的像素引起的摩尔纹,可以将各自的间距比设计为偏离1个像素的整数倍。另外,形状可以配置成,回归反射部的任意一边都不与液晶显示面板的1个像素的任意一边重合。
另一方面,为了廉价地制造回归反射部件可以使用辊压法成形。具体而言,是使回归反射部排列而赋形在薄膜上的方法,在辊表面形成要赋形的形状的相反形状,在固定用的基材上涂布紫外线固化树脂并使其经过辊之间,由此赋形成必要的形状,再照射紫外线使其固化,得到要求的形状的回归反射部件2。
<<空间悬浮影像显示装置的设置方法>>
接着对空间悬浮影像显示装置的设置方法进行说明。空间悬浮影像显示装置能够按照使用形态相应地自由地变更设置方法。图3A是表示空间悬浮影像显示装置的设置方法之一例的图。图3A所示的空间悬浮影像显示装置以形成空间悬浮影像3的一侧的面朝向上方的方式横向设置。即,图3A中,空间悬浮影像显示装置以透明部件100朝向上方的方式设置,空间悬浮影像3形成在空间悬浮影像显示装置的上方。
图3B是表示空间悬浮影像显示装置的设置方法之另一例的图。图3B所示的空间悬浮影像显示装置以形成空间悬浮影像3的一侧的面朝向侧方(用户230的方向)的方式纵向设置。即,图3B中,空间悬浮影像显示装置以透明部件100朝向侧方的方式设置,空间悬浮影像3形成在空间悬浮影像显示装置的侧方(用户230的方向)。
<<空间悬浮影像显示装置的结构>>
接着对空间悬浮影像显示装置1000的结构进行说明。图3C是表示空间悬浮影像显示装置1000的内部结构之一例的框图。
空间悬浮影像显示装置1000具备回归反射部1101、影像显示部1102、导光体1104、光源1105、电源1106、操作输入部1107、非易失性存储器1108、内存(memory)1109、控制部1110、影像信号输入部1131、声音信号输入部1133、通信部1132、空中操作检测传感器1351、空中操作检测部1350、声音输出部1140、影像控制部1160、存储部1170、摄像部1180等。
空间悬浮影像显示装置1000的各构成要素配置在壳体1190中。另外,图3C所示的摄像部1180和空中操作检测传感器1351也可以设置在壳体1190的外侧。
图3C的回归反射部1101对应于图2A、图2B的回归反射部件2。回归反射部1101使经过影像显示部1102调制后的光发生回归反射。利用来自回归反射部1101的反射光中的、向空间悬浮影像显示装置1000的外部输出的光形成空间悬浮影像3。
图3C的影像显示部1102对应于图2A的液晶显示面板11。图3C的光源1105对应于图2A的光源装置13。图3C的影像显示部1102、导光体1104和光源1105对应于图2A的显示装置1。
影像显示部1102是基于在后述影像控制部1160的控制下输入的影像信号,对透过的光进行调制而生成影像的显示部。影像显示部1102对应于图2A的液晶显示面板11。作为影像显示部1102例如使用透射型液晶面板。另外,作为影像显示部1102例如可以使用对反射的光进行调制的反射型液晶面板或DMD(Digital Micromirror Device:注册商标)面板等。
光源1105产生影像显示部1102用的光,是LED光源、激光光源等固体光源。电源1106将从外部输入的AC电流转换为DC电流对光源1105供电。另外,电源1106对空间悬浮影像显示装置1000内的各部分别供给必要的DC电流。
导光体1104引导光源1105产生的光,使其向影像显示部1102照射。也能够将导光体1104与光源1105的组合称为影像显示部1102的背光源。作为导光体1104与光源1105的组合可以考虑各种方式。关于导光体1104与光源1105的组合的具体的结构例,在后文中详细叙述。
空中操作检测传感器1351是检测用户230的手指对空间悬浮影像3的操作的传感器。空中操作检测传感器1351例如对与空间悬浮影像3的全部显示范围重叠的范围进行感测。另外,空中操作检测传感器1351也可以仅对与空间悬浮影像3的显示范围的至少一部分重叠的范围进行感测。
作为空中操作检测传感器1351的具体例,可以举出使用红外线等非可见光、非可见光激光或超声波等构成的距离传感器。另外,空中操作检测传感器1351也可以将多种传感器多个组合以构成为能够检测二维平面的坐标。另外,空中操作检测传感器1351可以由ToF(Time Of Flight)方式的LiDAR(Light Detection and Ranging)或图像传感器构成。
空中操作检测传感器1351只要能够进行感测来检测用户的手指对作为空间悬浮影像3显示的对象(object)进行的触摸操作等即可。这样的感测也能够应用现有技术进行。
空中操作检测部1350从空中操作检测传感器1351取得传感信号,基于传感信号判断用户230的手指是否与空间悬浮影像3的对象发生了接触,以及计算用户230的手指与对象接触的位置(接触位置)等。空中操作检测部1350例如由FPGA(Field Programmable GateArray)等电路构成。另外,空中操作检测部1350的一部分功能例如也可以通过控制部1110执行的空间操作检测用程序来用软件实现。
空中操作检测传感器1351和空中操作检测部1350可以采用内置在空间悬浮影像显示装置1000中的结构,但也可以与空间悬浮影像显示装置1000分体地设置在外部。在与空间悬浮影像显示装置1000分体地设置的情况下,空中操作检测传感器1351和空中操作检测部1350构成为能够经由有线或无线的通信连接路径、影像信号传输路径向空间悬浮影像显示装置1000传输信息、信号。
另外,空中操作检测传感器1351和空中操作检测部1350也可以分体地设置。由此,能够将不具有空中操作检测功能的空间悬浮影像显示装置1000作为主体,构建能够可选地仅追加空中操作检测功能的***。另外,也可以仅使空中操作检测传感器1351分离,将空中操作检测部1350内置在空间悬浮影像显示装置1000中。在想要相对于空间悬浮影像显示装置1000的设置位置更自由地配置空中操作检测传感器1351等情况下,仅使空中操作检测传感器1351分离的结构具有优点。
摄像部1180例如是具有图像传感器的照相机,拍摄空间悬浮影像3附近的空间和/或用户230的脸、手臂、手指等。摄像部1180可以设置多个。通过使用多个摄像部1180,或者通过使用带有深度传感器的摄像部,能够在检测用户230对空间悬浮影像3的触摸操作时,对空中操作检测部1350进行辅助。摄像部1180也可以与空间悬浮影像显示装置1000分体地设置。在摄像部1180与空间悬浮影像显示装置1000分体地设置的情况下,可以构成为,能够经由有线或无线的通信连接路径等向空间悬浮影像显示装置1000传输摄像信号。
例如,在空中操作检测传感器1351构成为以包括空间悬浮影像3的显示面的平面(侵入检测平面)为对象来检测是否有物体侵入该侵入检测平面内的物体侵入传感器的情况下,存在通过空中操作检测传感器1351不能检测未侵入到侵入检测平面内的物体(例如用户的手指)与侵入检测平面相距多远、或物体与侵入检测平面相距多近等信息。
该情况下,通过使用基于多个摄像部1180的拍摄图像得到的物体的深度计算信息和通过深度传感器得到的物体的深度信息等信息,能够计算出物体与侵入检测平面的距离。然后,这些信息和物体与侵入检测平面的距离等各种信息被用于针对空间悬浮影像3的各种显示控制。
另外,也可以不使用空中操作检测传感器1351,而是基于摄像部1180的拍摄图像,由空中操作检测部1350检测用户230对空间悬浮影像3的触摸操作。
另外,也可以由摄像部1180拍摄操作空间悬浮影像3的用户230的脸,由控制部1110进行用户230的识别处理。另外,为了判别是否有他人站立在操作空间悬浮影像3的用户230的周边或背后、他人窥视用户230对空间悬浮影像3的操作等,摄像部1180也可以对包括操作空间悬浮影像3的用户230和用户230的周边区域的范围进行拍摄。
操作输入部1107例如是操作按钮或遥控器的信号接收部,输入关于与用户230进行的空中操作(触摸操作)不同的操作的信号。在对空间悬浮影像3进行触摸操作的上述用户230之外,操作输入部1107例如也可以用于由管理者操作空间悬浮影像显示装置1000。
影像信号输入部1131与外部的影像输出装置连接来输入影像数据。声音信号输入部1133与外部的声音输出装置连接来输入声音数据。声音输出部1140能够基于输入到声音信号输入部1133的声音数据进行声音输出。另外,声音输出部1140也可以输出内置的操作音、错误警告音。
非易失性存储器1108保存空间悬浮影像显示装置1000中使用的各种数据。在非易失性存储器1108保存的数据中,例如包括空间悬浮影像3要显示的各种操作用的数据、显示图标、供用户操作的对象的数据和布局信息等。内存1109存储作为空间悬浮影像3显示的影像数据和装置的控制用数据等。
控制部1110控制所连接的各部的动作。另外,控制部1110可以与内存1109中存储的程序协作,基于从空间悬浮影像显示装置1000内的各部取得的信息进行运算处理。通信部1132经由有线或无线的接口与外部机器和外部的服务器等进行通信。通过经由通信部1132的通信,发送接收影像数据、图像数据、声音数据等各种数据。
存储部1170是记录影像数据、图像数据、声音数据等各种数据和各种信息的存储装置。在存储部1170中,例如可以在产品出厂时预先记录影像数据、图像数据、声音数据等各种数据等各种信息。另外,存储部1170也可以记录经由通信部1132从外部机器和外部的服务器等取得的影像数据、图像数据、声音数据等各种数据等各种信息。
存储部1170中记录的影像数据、图像数据等经由影像显示部1102和回归反射部1101作为空间悬浮影像3输出。作为空间悬浮影像3显示的显示图标和供用户操作的对象等的影像数据、图像数据等也记录在存储部1170中。
作为空间悬浮影像3显示的显示图标、对象等的布局信息、以及关于对象的各种元数据的信息等也记录在存储部1170中。存储部1170中记录的声音数据例如从声音输出部1140作为声音输出。
影像控制部1160进行关于输入到影像显示部1102的影像信号的各种控制。影像控制部1160例如进行影像切换的控制等,切换将存储在内存1109中的影像信号、输入到影像信号输入部1131的影像信号(影像数据)等中的哪个影像信号输入至影像显示部1102。
另外,影像控制部1160也可以进行控制,生成由存储在内存1109中的影像信号与从影像信号输入部1131输入的影像信号叠加得到的叠加影像信号,将叠加影像信号输入至影像显示部1102由此形成合成影像作为空间悬浮影像3。
另外,影像控制部1160也可以进行控制,对从影像信号输入部1131输入的影像信号和存储在内存1109中的影像信号等进行图像处理。作为图像处理,例如有进行图像的放大、缩小、变形等的缩放处理,变更亮度的亮度调整处理,变更图像的对比度曲线的对比度调整处理,将图像分解为光的成分并变更各成分的权重的Retinex处理等。
另外,影像控制部1160也可以对输入到影像显示部1102的影像信号进行用于辅助用户230的空中操作(触摸操作)的特殊效果影像处理等。特殊效果影像处理例如是基于空中操作检测部1350对用户230的触摸操作的检测结果和摄像部1180对用户230的拍摄图像进行的。
如以上所说明,空间悬浮影像显示装置1000中搭载了各种功能。但是,空间悬浮影像显示装置1000不需要具备全部这些功能,可以是任意的结构,只要具有形成空间悬浮影像3的功能即可。
<空间悬浮影像显示装置2>
图4是表示本发明的一个实施例的空间悬浮影像信息显示***的主要部分结构之另一例的图。显示装置1具备作为影像显示元件的液晶显示面板11,和生成具有窄角扩散特性的特定偏振的光的光源装置13。显示装置1例如由屏幕尺寸为5英寸左右的小型液晶显示面板至超过80英寸的大型液晶显示面板构成。转向镜22使用透明部件100作为基板。在透明部件100的显示装置1一侧的表面,设置了反射型偏振片这样的使特定偏振的影像光选择性地反射的偏振分离部件101,使来自液晶显示面板11的影像光向回归反射板2反射。由此,转向镜22具有作为反射镜的功能。来自显示装置1的特定偏振的影像光在设置于透明部件100的偏振分离部件101(图中粘贴了片状的偏振分离部件101)上反射,对回归反射板2入射。另外,也可以代替偏振分离部件101,在透明部件100的表面蒸镀具有偏振分离特性的光学膜。
在回归反射板的光入射面设置有λ/4波片21,通过使影像光2次经过而进行偏振变换,将特定偏振变换为相位相差90°的另一方的偏振。由此,能够使回归反射后的影像光透过偏振分离部件101,在透明部件100的外侧显示实像的空间悬浮影像3。
此处,因为在上述偏振分离部件101上回归反射,偏振轴变得不统一,所以一部分影像光会反射而返回显示装置1。该光再次在构成显示装置1的液晶显示面板11的影像显示面上反射,产生鬼像而导致空间悬浮像的画质显著降低。
于是,本实施例可以在显示装置1的影像显示面上设置吸收型偏振片12。使从显示装置1发出的影像光透过并吸收来自上述偏振分离部件101的反射光,由此防止空间悬浮像的鬼像引起的画质降低。另外,为了减轻装置外部的太阳光和照明光引起的画质降低,可以在透明部件100的影像光透过输出侧的表面设置吸收型偏振片102。
接着,为了针对通过上述空间悬浮影像显示装置得到的空间悬浮影像感测对象物与传感器44的距离和位置的关系,如图5所示地多层配置了具有TOF(Time of Fly)功能的传感器44,除了对象物的平面方向的坐标之外还能够感知进深方向的坐标和对象物的移动方向、移动速度。为了读取二维的距离和位置,在直线上配置多个红外线发光部与受光部的组合,对对象物照射来自发光点的光并用受光部接收反射的光。通过发光的时间与受光的时间的差与光速的积,能够明确与对象物之间的距离。另外,平面上的坐标能够使用多个发光部和受光部,根据发光时间与受光时间的差最小的部分的坐标来读取。根据以上所述,通过将多个平面(二维)上的对象物的坐标与上述传感器组合,还能够得到三维的坐标信息。
进而,对于作为上述空间悬浮影像显示装置得到三维的空间悬浮影像的方法使用图6进行说明。图6是空间悬浮影像显示装置中使用的三维影像显示的原理的说明图。与图4所示的显示装置1的液晶显示面板11的影像显示画面的像素相应地配置了水平柱状透镜。其结果是,为了如图6所示显示屏幕水平方向的运动视差P1、P2、P3这3个方向的运动视差,对于来自3个方向的影像按每3个像素划为1个块,对于每个像素显示来自3个方向的影像信息,通过对应的柱状透镜(图6中用竖线表示)的作用控制光的出射方向使得在3个方向上分离出射。结果是能够显示3视差的立体像。
<反射型偏振片>
本实施例的空间悬浮影像显示装置中,偏振分离部件101是为了与通常的半反射镜相比提高决定影像画质的对比度性能而使用的。作为本实施例的偏振分离部件101之一例,说明反射型偏振片的特性。图7是评价反射型偏振片的特性的测定***的说明图。令与图7的反射型偏振片的偏振轴垂直的方向上的光线入射角的透射特性和反射特性为V-AOI,在图8和图9中分别表示。同样地,令与反射型偏振片的偏振轴水平的方向(平行的方向)上的光线入射角的透射特性和反射特性为H-AOI,在图10和图11中分别表示。
另外,在图8~图11的特性曲线图中,右侧的栏外所示的角度(deg)的值按纵轴即透射率(%)的值从高到低的顺序从上方起表示。例如,图8中,在横轴表示大致400nm~800nm波长的光的范围中,垂直(V)方向的角度为0度(deg)的情况下透射率最高,透射率按10度、20度、30度、40度的顺序降低。另外,图9中,在横轴表示大致400nm~800nm波长的光的范围中,垂直(V)方向的角度为0度(deg)的情况下透射率最高,透射率按10度、20度、30度、40度的顺序降低。另外,图10中,在横轴表示大致400nm~800nm波长的光的范围中,水平(H)方向的角度为0度(deg)的情况下透射率最高,透射率按10度、20度的顺序降低。另外,图11中,在横轴表示大致400nm~800nm波长的光的范围中,水平(H)方向的角度为0度(deg)的情况下透射率最高,透射率按10度、20度的顺序降低。
如图8和图9所示,线栅结构的反射型偏振片对于来自与偏振轴垂直的方向的光,其特性降低。因此,优选采用沿着偏振轴的设计,能够使来自液晶显示面板的出射影像光窄角地出射的本实施例的光源是理想的光源。另外,关于水平方向的特性也同样,对于来自斜向的光其特性降低。考虑以上特性,本实施例的结构例使用能够使来自液晶显示面板的出射影像光更窄角地出射的光源作为液晶显示面板的背光源,以下对其进行说明。由此,能够提供高对比度的空间悬浮影像。
<显示装置>
接着,对本实施例的显示装置1使用附图进行说明。本实施例的显示装置1包括影像显示元件11(液晶显示面板)以及构成其光源的光源装置13,图12中,与液晶显示面板一同用展开立体图表示了光源装置13。
该液晶显示面板(影像显示元件11)如图12中箭头30所示,利用来自背光源装置即光源装置13的光,接收到具有窄角扩散特性的、即指向性(直线行进性)强并且偏振面统一在一个方向上的类似激光的特性的照明光束。液晶显示面板(影像显示元件11)按照输入的影像信号对接收到的照明光束进行调制。调制后的影像光被回归反射部件2反射并透过透明部件100形成实像的空间悬浮像(参照图2A)。
另外,图12中包括构成显示装置1的液晶显示面板11、以及控制来自光源装置13的出射光束的指向特性的光方向变换面板54,且根据需要具备窄角扩散板(未图示)。即,在液晶显示面板11的两面设置偏振片,按照影像信号调制光的强度出射特定偏振的影像光(参照图12的箭头30)。由此,使要求的影像作为指向性(直线行进性)高的特定偏振的光,经由光方向变换面板54向回归反射部件2投射,在回归反射部件2上反射之后,透射而去往店铺(空间)外部的观看者的眼,形成空间悬浮影像3。另外,也可以在上述光方向变换面板54的表面设置保护盖50(参照图13、图14)。
本实施例中,为了提高来自光源装置13的出射光束30的利用效率、大幅降低功耗,在包括光源装置13和液晶显示面板11而构成的显示装置1中,使来自光源装置13的光(参照图12的箭头30)向回归反射部件2投射,在回归反射部件2上反射之后,利用设置在透明部件100(窗玻璃105等)的表面的透明片(未图示)控制指向性以在要求的位置形成空间悬浮像。具体而言,该透明片利用菲涅尔透镜或线性菲涅尔透镜等光学部件赋予高指向性并同时控制悬浮影像的成像位置。根据该结构,来自显示装置1的影像光如激光那样以高指向性(直线行进性)高效地到达位于展示窗105的外侧(例如人行道)的观察者。其结果,能够高分辨率地显示高质量的悬浮影像,并且能够显著降低包括光源装置13的LED元件201在内的显示装置1的功耗。
<显示装置的示例1>
图13表示显示装置1的具体结构之一例。图13在图12的光源装置13上配置了液晶显示面板11和光方向变换面板54。该光源装置13在图12所示的箱体上例如由塑料等形成,在其内部收纳LED元件201、导光体203而构成,在导光体203的端面,为了如图12等所示将来自各LED元件201的发散光变换为大致平行光束而设置了透镜形状,其具有截面积随着去往与受光部相对的面而逐渐增大的形状,并具有使光在内部传播时多次全反射从而逐渐减小发散角的作用。在显示装置1的上表面安装了构成该显示装置1的液晶显示面板11。另外,在光源装置13的箱体的一个侧面(本例中是左侧的端面)安装有LED基板202,其上安装了作为半导体光源的LED(Light Emitting Diode)元件201及其控制电路,另外,在LED基板202的外侧面,可以安装用于对LED元件和控制电路中产生的热进行冷却的部件即散热器。
另外,在安装于光源装置13的箱体的上表面的液晶显示面板的框架(未图示)上,安装了在该框架上安装的液晶显示面板11、以及与该液晶显示面板11电连接的FPC(Flexible Printed Circuits:柔性配线电路板)(未图示)等。即,作为影像显示元件的液晶显示面板11与作为固体光源的LED元件201一同基于来自构成电子装置的控制电路(未图示)的控制信号,对透射光的强度进行调制来生成显示影像。此时,生成的影像光扩散角度窄且仅有特定偏振成分,所以接近由影像信号驱动的面发光激光影像源,可以得到以往没有的新颖的影像显示装置。另外,现状下,通过激光装置得到与通过上述显示装置1得到的图像同等尺寸的激光束在技术上和安全上都是不可能的。于是,本实施例中,例如使用具有LED元件的通常的光源发出的光束,得到上述接近面发光激光影像光的光。
接着,对收纳在光源装置13的箱体内的光学***的结构,参照图13以及图14详细进行说明。
因为图13和图14是截面图,所以对于构成光源的多个LED元件201仅示出了1个,它们被导光体203的受光端面203a的形状变换为大致准直光。因此,导光体端面的受光部与LED元件保持规定的位置关系地安装。
另外,该导光体203分别例如使用丙烯酸树脂等透光性的树脂形成。图13和图14虽未图示,该导光体203的一端侧的LED光的受光面例如具有由抛物截面旋转得到的凸圆锥形状的外周面,在该外周面的顶侧的中央区域具有凹部,凹部中央部形成了凸部(即凸透镜面)。在导光体203的另一端侧的平面部的中央区域具有向外侧突出的凸透镜面(或者也可以是向内侧凹陷的凹透镜面)。它们的结构将通过图16等的说明后述。另外,安装LED元件201的导光体的受光部外形形状为形成圆锥形状外周面的抛物面形状,被设定在能够使从LED元件对周边方向出射的光在其内部全反射的角度范围内,或者形成了反射面。
另一方面,LED元件201分别配置在其电路板即LED基板202的表面上的规定位置。该LED基板202相对于LED准直器(受光端面203a),以其表面上的LED元件201分别位于上述凹部的中央部的方式配置并固定。
根据该结构,能够利用导光体203的受光端面203a的形状使从LED元件201发射的光成为大致平行光并输出,能够提高所产生的光的利用效率。
如上所述,光源装置13通过在设置于导光体203的端面的受光部即受光端面203a处安装了由多个作为光源的LED元件201排列得到的光源单元而构成。光源装置13对于来自LED元件201的发散光束,用导光体端面的受光端面203a的透镜形状使其成为大致平行光,并如箭头所示地在导光体203内部导光(与纸面平行的方向),利用光束方向变换单元204使其向相对于导光体203大致平行地配置的液晶显示面板11(从纸面垂直向外的方向)出射。通过用导光体内部或表面的形状使该光束方向变换单元204的分布(密度)优化,能够控制对液晶显示面板11入射的光束的均匀性。
上述光束方向变换单元204通过利用导光体表面的形状或在导光体内部设置例如折射率不同的部分,使在导光体内传播的光束向相对于导光体203大致平行地配置的液晶显示面板11(从纸面垂直向外的方向)出射。此时,对于液晶显示面板11,在正对画面中央且将视点置于与画面对角线尺寸相同位置的状态下,对画面中央与画面周边部的亮度进行比较,只要相对亮度比在20%以上在实用上就没有问题,如果超过30%则特性更优异。
另外,图13是用于说明上述包括导光体203和LED元件201的光源装置13中进行偏振变换的本实施例的光源的结构及其作用的截面配置图。图13中,光源装置13例如包括由塑料等形成的在表面或内部设置了光束方向变换单元204的导光体203、作为光源的LED元件201、反射片205、相位差板206、柱状透镜等,在其上表面,安装了在光源光入射面和影像光出射面具有偏振片的液晶显示面板11。
另外,在与光源装置13对应的液晶显示面板11的光源光入射面(图中的下表面)设置了薄膜或片状的反射型偏振片49,使从LED元件201出射的自然光束210中的一方的偏振(例如P光)212选择性地反射,在设置于导光体203的一方(图中的下方)的面上的反射片205上反射,使其再次去往液晶显示面板11。于是,在反射片205与导光体203之间或者导光体203与反射型偏振片49之间设置相位差板(λ/4波片),于是光在反射片205上反射从而2次通过相位差板,由此使反射光束从P偏振变换为S偏振,提高作为影像光的光源光的利用效率。光强度经液晶显示面板11按影像信号调制后的影像光束(图13的箭头213)向回归反射部件2入射,如图1A所示,在反射后透过窗玻璃105,能够在店铺(空间)的内部或外部得到实像的空间悬浮像。
图14是与图13同样地用于说明在包括导光体203和LED元件201的光源装置13中进行偏振变换的本实施例的光源的结构和作用的截面配置图。光源装置13也同样地例如包括由塑料等形成的在表面或内部设置了光束方向变换单元204的导光体203、作为光源的LED元件201、反射片205、相位差板206、柱状透镜等。在光源装置13的上表面,作为影像显示元件安装了在光源光入射面和影像光出射面具有偏振片的液晶显示面板11。
在与光源装置13对应的液晶显示面板11的光源光入射面(图中的下表面)设置了薄膜或片状的反射型偏振片49,使从LED光源201出射的自然光束210中的一方的偏振(例如S光)211选择性地反射,在设置于导光体203的一方(图中的下方)的面上的反射片205上反射,使其再次去往液晶显示面板11。在反射片205与导光体203之间或者导光体203与反射型偏振片49之间设置相位差板(λ/4波片),于是光在反射片205上反射从而2次通过相位差板,由此使反射光束从S偏振变换为P偏振,提高作为影像光的光源光的利用效率。光强度经液晶显示面板11按影像信号调制后的影像光束(图14的箭头214)向回归反射部件2入射,如图1所示,在反射后透过窗玻璃105,能够在店铺(空间)的内部或外部得到实像的空间悬浮像。
在图13和图14所示的光源装置中,除了设置在对应的液晶显示面板11的光入射面上的偏振片的作用之外,由于利用反射型偏振片使一方的偏振成分反射,所以理论上能够得到的对比度是反射型偏振片的正交透射率的倒数与由液晶显示面板附带的2片偏振片得到的正交透射率的倒数相乘的结果。由此,可以得到较高的对比度性能。实际上,通过实验确认了显示图像的对比度性能提高10倍以上。其结果,可以得到与自发光型的有机EL相比也不逊色的高质量的影像。
<显示装置的示例2>
图15表示显示装置1的具体结构之另一例。图15的光源装置13与图17等的光源装置相同。该光源装置13例如在塑料等的箱体内收纳LED、准直器、合成扩散块、导光体等而构成,在其上表面安装了液晶显示面板11。另外,在光源装置13的箱体的一个侧面安装了LED基板,其上安装有作为半导体光源的LED(Light Emitting Diode)元件14a、14b及其控制电路,并且在LED基板的外侧面安装了用于对LED元件和控制电路中产生的热进行冷却的部件即散热器103(也参照图17、图18A、图18B等)。
另外,在安装于箱体上表面的液晶显示面板框架上,设置了安装于该框架的液晶显示面板11、以及与液晶显示面板11电连接的FPC(Flexible Printed Circuits:柔性配线电路板)403(参照图7)等。即,作为液晶显示元件的液晶显示面板11与作为固体光源的LED元件14a、14b一同基于来自构成电子装置的控制电路(此处未图示)的控制信号,对透射光的强度进行调制来生成显示影像。
<显示装置的示例2的光源装置的示例1>
接着,对收纳在箱体内的光源装置等光学***的结构,参照图17以及图18A和图18B详细进行说明。
图17和图18A、图18B表示了构成光源的LED14a、14b,它们相对于LED准直器15被安装在规定位置。另外,该LED准直器15分别例如由丙烯酸树脂等透光性的树脂形成。该LED准直器15如图18B所示,具有由抛物截面旋转得到的凸圆锥形状的外周面156。并且在LED准直器15的顶部(与LED基板102相对的一侧)的中央部具有凹部153,其形成有凸部(即凸透镜面)157。另外,在LED准直器15的平面部(与上述顶部相反的一侧)的中央部,具有向外侧突出的凸透镜面(或者也可以是向内侧凹陷的凹透镜面)154。另外,形成LED准直器15的圆锥形外周面的抛物面156被设定在能够使从LED14a、14b向周边方向出射的光在其内部全反射的角度范围内,或者形成了反射面。
另外,LED14a、14b分别配置在其电路板即LED基板102的表面上的规定位置。该LED基板102相对于LED准直器15以其表面上的LED14a或14b分别位于其凹部153的中央部的方式配置并固定。
根据该结构,在上述LED准直器15的作用下,从LED14a或14b发射的光中、特别是从其中央部分向上方(图的右方)发射的光被形成LED准直器15的外形的2个凸透镜面157、154会聚成平行光。另外,从其他部分向周边方向出射的光被形成LED准直器15的圆锥形外周面的抛物面反射,同样地被会聚成平行光。换言之,使用其中央部构成凸透镜、并且在其周边部形成抛物面的LED准直器15,能够使由LED14a或14b产生的光的几乎全部成为平行光输出,由此能够提高所产生的光的利用效率。
另外,在LED准直器15的光的出射侧设置了偏振变换元件21。该偏振变换元件21由图18A、18B可知,是由截面为平行四边形的柱状(以下称为平行四边形柱)的透光性部件、与截面为三角形的柱状(以下称为三角形柱)的透光性部件组合,在相对于来自LED准直器15的平行光的光轴正交的面上平行地、阵列状地排列多个而构成的。进而,在该阵列状地排列的相邻的透光性部件之间的界面上,交替地设置了偏振分束器(以下简称为“PBS膜”)211和反射膜212。并且在入射到偏振变换元件21并从PBS膜211透射的光所出射的出射面上,设置有λ/2相位板213。
在该偏振变换元件21的出射面上,还设置了图18A所示的矩形状的合成扩散块16。即,从LED14a或14b出射的光在LED准直器15的作用下成为平行光入射到合成扩散块16,在被出射侧的纹理161扩散之后到达导光体17。
导光体17例如是由丙烯酸树脂等透光性的树脂形成为截面大致三角形(参照图18B)的棒状的部件。由图17可知,导光体17包括与合成扩散块16的出射面隔着第一扩散板18a相对的导光体光入射部(面)171、形成斜面的导光体光反射部(面)172、和隔着第二扩散板18b与液晶显示元件即液晶显示面板11相对的导光体光出射部(面)173。
在该导光体17的导光体光反射部(面)172上,如其局部放大图即图17所示,交替地锯齿状地形成了多个反射面172a和连接面172b。而且,反射面172a(图中向右上升的线段)在图中相对于用点划线表示的水平面形成αn(n:自然数,本例中例如是1~130),例如此处将αn设定为43度以下(0度以上)。
导光体光入射部(面)171形成为向光源侧倾斜的弯曲的凸形状。由此,来自合成扩散块16的出射面的平行光经由第一扩散板18a扩散地入射,由图可知,在导光体光入射部(面)171的作用下向上方略微弯折(偏转)地到达导光体光反射部(面)172,在此处反射而到达设置在图的上方的出射面处的液晶显示面板11。
根据以上详细叙述的显示装置1,能够进一步提高光利用效率及其均匀的照明特性,同时包括模块化的S偏振的光源装置在内能够小型且低成本地制造。另外,上述说明中,按照偏振变换元件21安装于LED准直器15之后进行了说明,但本发明不限定于此,通过将其设置在到达液晶显示面板11的光路中也可以得到同样的作用、效果。
另外,在导光体光反射部(面)172上交替且锯齿状地形成了大量反射面172a和连接面172b,照明光束在各反射面172a上全反射而去往上方,进而,在导光体光出射部(面)173设置窄角扩散板而使其成为大致平行的扩散光束,入射到用于控制指向特性的光方向变换面板54,从斜方向对液晶显示面板11入射。本实施例中,将光方向变换面板54设置在导光体出射部(面)173与液晶显示面板11之间,但即使在液晶显示面板11的出射面上设置光方向变换面板54,也可以得到同样的效果。
<显示装置的示例2的光源装置的示例2>
对于光源装置13等光学***的结构,在图19A、图19B中示出其他例。图19A、图19B所示的例子与图18A、图18B所示的例子同样,示出了构成光源的多个(本例中是2个)LED14a、14b,它们相对于LED准直器15被安装在规定位置。另外,该LED准直器15分别例如由丙烯酸树脂等透光性的树脂形成。
与图18A、图18B所示的例子同样,图19A所示的LED准直器15具有由抛物截面旋转得到的凸圆锥形状的外周面156。并且,在LED准直器15的顶部(顶侧)的中央部具有凹部153(参照图18B),其形成有凸部(即凸透镜面)157。
另外,在LED准直器15的平面部的中央部,具有向外侧突出的凸透镜面(或者也可以是向内侧凹陷的凹透镜面)154(参照图18B)。另外,形成LED准直器15的圆锥形外周面的抛物面156被设定在能够使从LED14a向周边方向出射的光在其内部全反射的角度范围内,或者形成了反射面。
另外,LED14a、14b分别配置在其电路板即LED基板102的表面上的规定位置。该LED基板102相对于LED准直器15以其表面上的LED14a或14b分别位于其凹部153的中央部的方式配置并固定。
根据该结构,在上述LED准直器15的作用下,从LED14a或14b发射的光中、特别是从其中央部分向上方(图的右方)发射的光被形成LED准直器15的外形的2个凸透镜面157、154会聚成平行光。另外,从其他部分向周边方向出射的光被形成LED准直器15的圆锥形外周面的抛物面反射,同样地被会聚成平行光。换言之,使用其中央部构成凸透镜、并且在其周边部形成抛物面的LED准直器15,能够使由LED14a或14b产生的光的几乎全部成为平行光输出,由此能够提高所产生的光的利用效率。
另外,在LED准直器15的光的出射侧隔着第一扩散板18a设置了导光体170。导光体170例如是由丙烯酸树脂等透光性的树脂形成为截面大致三角形(参照图19A)的棒状的部件。由图19A可知,导光体170包括隔着第一扩散板18a与扩散块16的出射面相对的导光体光入射部(面)171、形成斜面的导光体光反射部(面)172、和隔着反射式偏振片200与液晶显示元件即液晶显示面板11相对的导光体光出射部(面)173。
作为该反射型偏振片200,例如通过选择具有使P偏振光反射(使S偏振光透射)之特性的,能够使从光源即LED发出的自然光中的P偏振光反射,经过图19B所示的设置在导光体光反射部172处的λ/4波片202,在反射面201上反射而再次经过λ/4波片202,由此变换为S偏振光,使得对液晶显示面板11入射的光束全部统一为S偏振光。
同样地,作为反射型偏振片200,例如通过选择具有使S偏振光反射(使P偏振光透射)之特性的,能够使从光源即LED发出的自然光中的S偏振光反射,经过图19B所示的设置在导光体光反射部172处的λ/4波片202,在反射面201上反射而再次经过λ/4波片202,由此变换为P偏振光,使得对液晶显示面板52入射的光束全部统一为P偏振光。用以上叙述的结构也能够实现偏振变换。
<显示装置的示例3>
接着,使用图16说明显示装置1的具体结构的其他例(显示装置的示例3)。该显示装置1的光源装置利用准直器18将来自LED的光(P偏振光和S偏振光混合存在)的发散光束变换为大致平行光束,利用反射型导光体304的反射面使该变换后的光束向液晶显示面板11反射。该反射光入射到配置在液晶显示面板11与反射型导光体304之间的反射型偏振片49。反射型偏振片49使特定偏振的光(例如P偏振光)透射,使透射的偏振光入射到液晶显示面板11。此处,特定偏振以外的其他偏振(例如S偏振光)在反射型偏振片49上反射,再次去往反射型导光体304。
反射型偏振片49以相对于来自反射型导光体304的反射面的光的主光线不垂直的方式,相对于液晶显示面板11倾斜设置。在反射型偏振片49上反射的光的主光线入射到反射型导光体304的透射面。入射到反射型导光体304的透射面的光透过反射型导光体304的背面,并透过作为相位差板的λ/4波片270在反射板271上反射。反射板271上反射的光再次透过λ/4波片270,并透过反射型导光体304的透射面。透过反射型导光体304的透射面的光再次入射到反射型偏振片49。
此时,再次入射到反射型偏振片49的光因为2次通过λ/4波片270,所以偏振被变换为能够透过反射型偏振片49的偏振(例如P偏振)。由此,偏振变换后的光透过反射型偏振片49入射到液晶显示面板11。另外,偏振变换中的偏振设计也可以与上述说明相比使偏振相反(调换S偏振与P偏振)。
其结果,来自LED的光被统一为特定偏振(例如P偏振)并对液晶显示面板11入射,按照影像信号相应地进行亮度调制从而在面板面上显示影像。与上述例子同样示出了构成光源的多个LED(但因为是纵截面图,所以图16中仅图示1个),它们相对于准直器18安装在规定位置。
另外,准直器18分别例如使用丙烯酸树脂等透光性的树脂或玻璃形成。该准直器18可以具有由抛物截面旋转得到的凸圆锥形状的外周面。在准直器18的顶部可以具有凹部,而凹部在中央部形成了凸部(即凸透镜面)。另外,在其平面部的中央部,具有向外侧突出的凸透镜面(或者也可以是向内侧凹陷的凹透镜面)。另外,形成准直器18的圆锥形外周面的抛物面被设定在能够使从LED向周边方向出射的光在其内部全反射的角度范围内,或者形成了反射面。
另外,LED分别配置在其电路板即LED基板102的表面上的规定位置。该LED基板102相对于准直器18以其表面上的LED分别位于凸圆锥形状的顶部的中央部(顶部具有凹部的情况下是该凹部)的方式配置并固定。
根据该结构,在准直器18的作用下,从LED发射的光中、特别是从其中央部分发射的光被形成准直器18的外形的凸透镜面会聚成平行光。另外,从其他部分向周边方向出射的光,被形成准直器18的圆锥形外周面的抛物面反射,同样地被会聚成平行光。换言之,使用其中央部构成凸透镜、并且在其周边部形成抛物面的准直器18,能够使由LED产生的光的几乎全部成为平行光输出,由此能够提高所产生的光的利用效率。
以上结构是与图17、图18A、图18B等所示的影像显示装置的光源装置同样的结构。进而,图16所示的被准直器18变换为大致平行光的光,在反射型导光体304上反射。该光中,通过反射型偏振片49的作用使特定偏振的光透过反射型偏振片49,因反射型偏振片49的作用而反射的另一方的偏振的光再次透过导光体304。该光在相对于反射型导光体304位于与液晶显示面板11相反的位置的反射板271上反射。此时,该光因2次通过作为相位差板的λ/4波片270而被偏振变换。反射板271上反射的光再次透过导光体304,入射到设置于相反面的反射型偏振片49。该入射光因为已被偏振变换,所以能够透过反射型偏振片49,使偏振方向统一地对液晶显示面板11入射。其结果,能够将光源的光全部利用,所以光的几何光学上的利用效率达到2倍。另外,反射型偏振片的偏振度(消光比)也与***整体的消光比相乘,所以通过使用本实施例的光源装置,显示装置整体的对比度大幅提高。另外,通过调整反射型导光体304的反射面的面粗糙度和反射板271的面粗糙度,能够调整各反射面上的光的反射扩散角。为了使入射到液晶显示面板11的光的均匀性更好,可以按每种设计调整反射型导光体304的反射面的面粗糙度和反射板271的面粗糙度。
另外,图16的相位差板即λ/4波片270,对于垂直于λ/4波片270入射的偏振光的相位差并不需要是λ/4。图16的结构中,只要是偏振光2次通过从而相位能够改变90°(λ/2)的相位差板即可。相位差板的厚度可以根据偏振光的入射角度分布相应地调整。
<显示装置的示例4>
进而,使用图25说明显示装置的光源装置等光学***的结构的其他例(显示装置的示例4)。这是在显示装置的示例3的光源装置中,代替反射型导光体304使用了扩散片的情况的结构例。具体而言,在准直器18的光出射侧,使用了2片对图中垂直方向和水平方向(图的前后方向,未图示)的扩散特性进行变换的光学片(光学片207A和光学片207B),使来自准直器18的光入射到2片光学片(扩散片)之间。该光学片也可以不是2片结构而是改为1片。在采用1片结构的情况下,通过1片光学片的正面和背面的微细形状调整垂直和水平的扩散特性。另外,也可以使用多片扩散片来分担作用。此处,在图25的例子中,对于由光学片207A和光学片207B的正面形状和背面形状决定的反射扩散特性,以从液晶显示面板11出射的光束的面密度变得均匀的方式,对LED的数量和LED基板(光学元件)102的发散角和准直器18的光学规格作为设计参数进行优化设计。即,代替导光体使用多个扩散片的表面形状调整扩散特性。图25的例子中,偏振变换采用与上述显示装置的示例3同样的方法进行。即,在图25的例子中,反射型偏振片49可以构成为具有使S偏振光反射(使P偏振光透射)的特性。该情况下,使从光源即LED发出的光中的P偏振光透射,透射的光入射到液晶显示面板11。使从光源即LED发出的光中的S偏振光反射,反射的光经过图25所示的相位差板270。经过相位差板270的光在反射面271上反射。被反射面271反射的光再次经过相位差板270而被变换为P偏振光。偏振变换后的光透过反射型偏振片49对液晶显示面板11入射。
另外,图25的相位差板即λ/4波片270,对于垂直于λ/4波片270入射的偏振光的相位差并不需要是λ/4。图25的结构中,只要是偏振光2次通过从而相位能够改变90°(λ/2)的相位差板即可。相位差板的厚度可以根据偏振光的入射角度分布相应地调整。另外,图25中也是同样的,偏振变换中的偏振设计可以与上述说明相比使偏振相反(调换S偏振与P偏振)。
关于来自液晶显示面板11的出射光,在通常的TV用途的装置中,在画面水平方向(用图22A的X轴表示)和画面垂直方向(用图22B的Y轴表示)都具有同样的扩散特性。与此相对,来自本实施例的液晶显示面板的出射光束的扩散特性如图22A、图22B的例1所示,亮度为正面观看(角度0度)的50%时的视野角为13度,视野角与现有的62度相比为约1/5。同样,对于垂直方向的视野角,以使其上下不均匀、将上侧的视野角抑制为下侧的视野角的1/3左右的方式,优化反射型导光体的反射角度和反射面的面积等。其结果,与现有的液晶TV相比,去往观看方向的影像光量大幅提高,亮度达50倍以上。
进而,如果采用图22A、图22B的例2所示的视野角特性,则亮度为正面观看(角度0度)的50%时的视野角为5度,与现有的62度相比为其1/12。同样,对于垂直方向的视野角,以使其上下均匀、并将视野角抑制为现有的1/12左右的方式,优化反射型导光体的反射角度和反射面的面积等。其结果,与现有的液晶TV相比,去往观看方向的影像光量大幅提高,亮度达100倍以上。通过如上所述使视野角成为窄角,能够使去往观看方向的光束量集中,所以光的利用效率大幅提高。其结果,即使使用现有的TV用的液晶显示面板,也能够通过控制光源装置的光扩散特性而在同样的功耗下实现大幅的亮度提高,能够实现与面向明亮的室外的信息显示***对应的影像显示装置。
在使用大型的液晶显示面板的情况下,屏幕周边的光朝向内侧以在观看者正对屏幕中央的情况下去往观看者的方向,由此屏幕亮度的全面性得到提高。图20求出了以观看者与面板的距离L、和面板尺寸(画面比16:10)为参数时的面板长边和短边的收敛角度。在竖屏观看的情况下,与短边相应地设定收敛角度即可,例如22"面板竖屏使用且观看距离为0.8m的情况下,如果将收敛角度设定为10度,则能够使来自屏幕4角的影像光有效地去往观看者。
同样,在15"面板竖屏使用观看的情况下,在观看距离为0.8m的情况下,如果将收敛角度设定为7度,则能够使来自屏幕4角的影像光有效地去往观看者。如上所述,通过根据液晶显示面板的尺寸和竖屏使用还是横屏使用,使屏幕周边的影像光去往位于最适合观看屏幕中央的位置的观看者,能够提高屏幕亮度的全面性。
作为基本结构,如上述图16等所示利用光源装置使窄角指向特性的光束入射到液晶显示面板11,按照影像信号相应地进行亮度调制,使显示在液晶显示面板11的屏幕上的影像信息在回归反射部件上反射而得到空间悬浮像,将其经由透明部件100对室外或室内显示。
<柱状透镜>
为了控制来自液晶显示面板11的影像光的扩散分布,在光源装置13与液晶显示面板11之间、或者在液晶显示面板11的表面设置了柱状透镜并优化透镜形状,由此能够控制单向的出射特性。进而,通过矩阵状地配置微透镜阵列,能够对于来自显示装置1的影像光束在X轴和Y轴方向上控制出射特性,结果是能够得到具有期望的扩散特性的影像显示装置。
对柱状透镜的作用进行说明。柱状透镜通过使透镜形状优化,能够从上述显示装置1出射并在透明部件100上透射或反射而高效地得到空间悬浮像。即,对于来自显示装置1的影像光,设置通过组合2片柱状透镜或者通过将微透镜阵列矩阵状地配置来控制扩散特性的片,在X轴和Y轴方向上,能够按照其反射角度(设垂直方向为0度)相应地控制影像光的亮度(相对亮度)。本实施例中,通过利用这样的柱状透镜,与现有相比如图22B所示能够使垂直方向的亮度特性变得陡峭,进而通过改变上下(Y轴的正负方向)方向的指向特性的平衡,能够提高反射和扩散的光的亮度(相对亮度),由此,能够像来自面发光激光影像源的影像光那样成为扩散角度窄(高直线行进性)且仅有特定偏振成分的影像光,抑制使用现有技术的影像显示装置的情况下因回归反射部件而产生的鬼像,控制使回归反射形成的空间悬浮像高效地到达观看者的眼。
另外,通过上述光源装置,相对于图22A、图22B所示的通常的液晶显示面板的出射光扩散特性(图中记作现有),实现在X轴方向和Y轴方向上都大幅变窄的指向特性,由此,能够实现对特定方向出射近似平行的影像光束的、出射特定偏振的光的影像显示装置。
图21A、图21B表示了本实施例中采用的柱状透镜的特性之一例。本例中,特别表示了X方向(垂直方向)上的特性,特性O中,光的出射方向的峰位于从垂直方向(0度)起向上方30度附近的角度,表示为上下对称的亮度特性。另外,图21B的特性A和B表示了进而在30度附近使峰值亮度的上方的影像光会聚而提高了亮度(相对亮度)的特性的例子。因此,该特性A、B中,在超过30度的角度与特性O相比,光的亮度(相对亮度)急剧降低。
即,根据包括上述柱状透镜的光学***,在使来自显示装置1的影像光束向回归反射部件2入射时,能够控制由光源装置13对齐为窄角的影像光的出射角度和视野角,能够大幅提高回归反射片(回归反射部件2)的设置的自由度。其结果,能够大幅提高在透明部件100上反射或透射并在要求的位置成像的空间悬浮像的成像位置的关系的自由度。其结果,能够作为扩散角度窄(高直线行进性)且仅有特定偏振成分的光高效地到达室外或室内的观看者的眼。由此,即使来自影像显示装置的影像光的强度(亮度)降低,观看者也能够准确地识别影像光而得到信息。换言之,通过减小影像显示装置的输出,能够实现功耗低的空间悬浮像显示装置。
<触摸操作的辅助功能>
接着说明对用户的触摸操作的辅助功能。首先,对于不具备辅助功能的情况下的触摸操作进行说明。另外,此处以用户选择触摸2个按钮(对象)中的某一个的情况为例进行说明,但以下内容例如也能够适当地对银行等的ATM、车站等的售票机、数字标牌等应用。
图26是说明空间悬浮影像显示装置1000的显示例和触摸操作的图。图26所示的空间悬浮影像3包括显示为“是”的第一按钮BUT1和显示为“否”的第二按钮BUT2。用户使手指210向空间悬浮影像3移动,通过触摸第一按钮BUT1或第二按钮BUT2来选择“是”或“否”。另外,图26和图27A~29B的例子中对第一按钮BUT1和第二按钮BUT2进行了不同颜色的显示。此处,空间悬浮影像3中的第一按钮BUT1和第二按钮BUT2以外的区域也可以不显示影像而是使之为透明,但该情况下,后述的虚拟影子的效果可及的范围仅为显示的按钮的区域(第一按钮BUT1的显示区域和第二按钮BUT2的显示区域)。因此,以下的说明中,作为更好的例子,在空间悬浮影像3中的第一按钮BUT1和第二按钮BUT2以外的区域,对于包括第一按钮BUT1的显示区域和第二按钮BUT2的显示区域的更大的区域,显示了与第一按钮BUT1和第二按钮BUT2不同颜色或不同亮度的影像。
在并非空间悬浮影像显示装置的通常的带触摸面板的影像显示装置中,用户选择的按钮由显示在触摸面板面上的影像按钮构成。因此,用户通过观看触摸面板面,能够识别触摸面板面上显示的对象(例如按钮)与自身的手指的距离感。但是,在空间悬浮影像显示装置中,因为空间悬浮影像3悬浮于空中,所以存在用户并不容易掌握空间悬浮影像3的进深。因此,在对空间悬浮影像3的触摸操作中,存在用户并不容易掌握空间悬浮影像3中显示的按钮与自身的手指的距离感的情况。另外,在并非空间悬浮影像显示装置的通常的带触摸面板的影像显示装置中,用户能够根据接触时的感触来容易地判断是否触摸了按钮。但是,在对空间悬浮影像3的触摸操作中,不存在触摸到对象(例如按钮)时的感触,所以存在用户不能判断是否成功触摸了对象的情况。考虑以上状况,本实施方式设置了针对用户的触摸操作的辅助功能。
另外,以下说明中说明基于用户的手指的位置进行的处理,用户的手指的位置的具体的检测方法后述。
<<使用了虚拟影子的触摸操作的辅助(1)>>
图27A~图29B是说明使用了虚拟影子的触摸操作辅助方法之一例的图。在图27A~图29B的例子中,假设用户要触摸第一按钮BUT1选择“是”。本实施例的空间悬浮影像显示装置1000通过在空间悬浮影像3的显示影像上显示虚拟影子,来对用户的触摸操作进行辅助。此处,“在空间悬浮影像3的显示影像上显示虚拟影子”指的是这样的影像显示处理,其中,对于作为空间悬浮影像3显示的影像,通过使模仿手指形状的一部分区域降低影像信号的亮度,使得看起来仿佛在影像上投影了手指的影子。具体而言,可以通过影像控制部1160或控制部1110的运算进行该处理。在虚拟影子的显示处理中,对于模仿手指形状的一部分区域也可以使影像信号的亮度完全成为0。但是,与使模仿手指形状的一部分区域的影像信号的亮度完全成为0相比,在该区域中以降低的亮度显示影像可以更自然地被识别为影子,所以更为理想。该情况下,在虚拟影子的显示处理中,对于模仿手指形状的一部分区域不仅可以降低影像信号的亮度还可以降低影像信号的饱和度。
空间悬浮影像3位于不存在物理接触面的空中,本来在通常的环境中,不会投影手指的影子。但是,通过本实施例的虚拟影子的显示处理,即使在本来不会投影手指的影子的空中,通过使得看起来在空间悬浮影像3中仿佛存在影子,对于用户能够提高其对空间悬浮影像3的进深的认识,提高空间悬浮影像3的实际存在感。
图27A、图27B表示用户使用手指210尝试对空间悬浮影像3的显示面3a的第一按钮BUT1进行触摸操作的第一时刻的状态,图28A、图28B表示与图27A、图27B相比手指210更接近空间悬浮影像3的第二时刻的状态,图29A、图29B表示手指210触摸到空间悬浮影像3的显示面3a的第一按钮BUT1的第三时刻的状态。另外,图27A、图28A、图29A表示从正面(显示面3a的法线方向)观看空间悬浮影像3的显示面3a时的状态,图27B、图28B、图29B表示从侧方(与显示面3a平行的方向)观看空间悬浮影像3的显示面3a时的状态。另外,图27A~图29B中,x方向是空间悬浮影像3的显示面3a内的水平方向,y方向是空间悬浮影像3的显示面3a内与x轴正交的方向,z方向是空间悬浮影像3的显示面3a的法线方向(与显示面3a相对的高度方向)。另外,图27A~图33的说明图中,对于空间悬浮影像3为了说明上易于观看,以在进深方向上具有厚度的方式进行了图示,但实际上如果显示装置1的影像显示面是平面,则空间悬浮影像3也是平面,在进深方向上没有厚度。该情况下,空间悬浮影像3与显示面3a位于同一平面。本实施例的说明中,显示面3a表示可以显示空间悬浮影像3的面,空间悬浮影像3表示实际显示了空间悬浮影像的部分。
图27A~图29B中,手指210的检测处理例如使用摄像部1180生成的拍摄图像、空中操作检测传感器1351的传感信号进行。在手指210的检测处理中,例如检测空间悬浮影像3的显示面3a上的手指210的前端的位置(x坐标、y坐标)、与显示面3a相对的手指210的前端的高度位置(z坐标)等。此处,空间悬浮影像3的显示面3a上的手指210的前端的位置(x坐标、y坐标)是从手指210的前端向空间悬浮影像3的显示面3a所作垂线的交点在显示面3a上的位置坐标。另外,与显示面3a相对的手指210的前端的高度位置,是表示与显示面3a相对的手指210的深度的深度信息。另外,对于进行手指210等的检测的摄像部1180和空中操作检测传感器1351的配置等,之后详细说明。
在图27A、图27B所示的第一时刻,与图28A、图28B所示的第二时刻以及图29A、图29B所示的第三时刻相比,手指210位于最远离空间悬浮影像3的显示面3a的位置。设此时的手指210的前端与空间悬浮影像3的显示面3a的距离(高度位置)为dz1。即,距离dz1表示z方向上手指210相对于空间悬浮影像3的显示面3a的高度。
另外,图27B所示的距离dz1和后述的图28B所示的距离dz2等,相对于空间悬浮影像3的显示面3a将用户一侧作为正侧,相对于显示面3a将与用户相反一侧作为负侧。即,如果手指210相对于显示面3a位于用户一侧,则距离dz1和距离dz2是正值,如果手指210相对于显示面3a位于与用户相反一侧,则距离dz1和距离dz2是负值。
本实施方式中,假定相对于空间悬浮影像3的显示面3a在用户一侧存在虚拟光源1500。此处,虚拟光源1500的设置方向的设定,可以实际上作为信息保存在空间悬浮影像显示装置1000的非易失性存储器1108或内存1109中。另外,虚拟光源1500的设置方向的设定也可以是仅在设计上存在的参数。在虚拟光源1500的设置方向的设定是仅在设计上存在的参数的情况下,也能够根据后述的用户的手指的位置与虚拟影子的显示位置的关系,唯一地确定虚拟光源1500的设计上的设置方向。此处,图27A~图29B的例子中,虚拟光源1500相对于显示面3a位于用户一侧,设置在从用户看来的显示面3a的右侧方。并且,在空间悬浮影像3中显示了模仿由虚拟光源1500照射的光形成的手指210的影子的虚拟影子1510。图27A~图29B的例子中,虚拟影子1510显示在手指210的左侧。通过该虚拟影子1510对用户的触摸操作进行辅助。
在图27B的状态下,与图28B的状态和图29B的状态相比,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离最远。因此,图27A中,与图28A的状态和图29A的状态相比,虚拟影子1510的前端形成在与要触摸的第一按钮BUT1在水平方向上距离最远的位置。从而,图27A中,与图28A的状态和图29A的状态相比,从正面观看空间悬浮影像3的显示面3a时的手指210的前端与虚拟影子1510的前端的水平方向的距离最大。图27A中,设空间悬浮影像3的显示面3a的水平方向上的手指210的前端与虚拟影子1510的前端的距离为dx1。
然后,图28B中,与图27B相比手指210接近空间悬浮影像3。因此,图28B中,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离dz2小于dz1。此时,图28A中,虚拟影子1510显示在空间悬浮影像3的显示面3a的水平方向上的手指210的前端与虚拟影子1510的前端的距离为小于dx1的dx2的位置。即,在图28A、图28B的例子中,因为虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户看来的显示面3a的右侧方,所以与手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离联动地,从正面观看空间悬浮影像3的显示面3a时的手指210的前端与虚拟影子1510的前端的水平方向的距离发生变化。
然后,当手指210的前端与虚拟影子1510的前端接触时,如图29A、图29B所示,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离成为0。此时,虚拟影子1510被显示成,空间悬浮影像3的显示面3a的水平方向上的手指210与虚拟影子1510的距离成为零。由此,用户能够认识到手指210触摸了空间悬浮影像3的显示面3a。此时,如果手指210的前端与第一按钮BUT1的区域接触,则用户能够认识到其触摸了第一按钮BUT1。即,图29A、图29B的例子中也是,因为虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户观看的显示面3a的右侧方,所以与手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离联动地,从正面观看空间悬浮影像3的显示面3a时的手指210的前端与虚拟影子1510的前端的水平方向的距离发生变化。即,虚拟影子1510的前端的显示位置是根据虚拟光源1500的位置与用户的手指210的前端的位置之间的位置关系确定的位置,随着用户的手指210的前端的位置的变化而联动地变化。
根据以上说明的“使用了虚拟影子的触摸操作的辅助(1)”的结构和处理,在触摸操作时,用户能够根据手指210与虚拟影子1510在空间悬浮影像3的显示面3a中的水平方向的位置关系,更好地掌握手指210与空间悬浮影像3的显示面3a的法线方向上的距离(进深)。另外,在手指210与作为空间悬浮影像3的对象(例如按钮)接触的情况下,用户能够认识到触摸了对象。由此,能够提供一种更好的空间悬浮影像显示装置。
<<使用了虚拟影子的触摸操作的辅助(2)>>
接着,作为使用了虚拟影子的触摸操作辅助方法的其他例,对于虚拟光源1500设置在从用户看来的显示面3a的左侧方的情况进行说明。图30A~图32B是说明使用了虚拟影子的触摸操作辅助方法之另一例的图。图30A、图30B对应于图27A、图27B,表示了用户使用手指210尝试对空间悬浮影像3的显示面3a的第一按钮BUT1进行触摸操作的第一时刻的状态。图31A、图31B对应于图28A、图28B,表示与图30A、图30B相比手指210更接近空间悬浮影像3的第二时刻的状态。图32A、图32B对应于图29A、图29B,表示手指210触摸到空间悬浮影像3时的状态。另外,为了便于说明,图30B、图31B、图32B使用从与图27B、图28B、图29B相反方向观看的图表示。
图30A~图32B中,虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户看来的显示面3a的左侧方。并且,在空间悬浮影像3中显示了模仿由虚拟光源1500照射的光形成的手指210的影子的虚拟影子1510。图30A~图32B中,虚拟影子1510显示在手指210的右侧。通过该虚拟影子1510对用户的触摸操作进行辅助。
在图30B的状态下,与图31B和图32B的状态相比,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离最远。图30B中,此时的手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离为dz10。另外,图30A中,此时的空间悬浮影像3的显示面3a的水平方向上的手指210的前端与虚拟影子1510的前端的距离为dx10。
图31B中,与图27B相比手指210接近空间悬浮影像3。因此,图31B中,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离dz20小于dz10。此时,图31A中,虚拟影子1510显示在空间悬浮影像3的显示面3a的水平方向上的手指210的前端与虚拟影子1510的前端的距离为小于dx10的dx20的位置。即,图31A、图31B的例子中,因为虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户看来的显示面3a的左侧方,所以与手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离联动地,从正面观看空间悬浮影像3的显示面3a时的手指210的前端与虚拟影子1510的前端的水平方向的距离发生变化。
然后,当手指210的前端与虚拟影子1510的前端接触时,如图32A、图32B所示,手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离成为0。此时,虚拟影子1510被显示成,空间悬浮影像3的显示面3a的水平方向上的手指210与虚拟影子1510的距离成为零。由此,用户能够认识到手指210触摸了空间悬浮影像3的显示面3a。此时,如果手指210的前端与第一按钮BUT1的区域接触,则用户能够认识到其触摸了第一按钮BUT1。即,图32A、图32B的例子中也是,因为虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户观看的显示面3a的左侧方,所以与手指210的前端与空间悬浮影像3的显示面3a的法线方向上的距离联动地,从正面观看空间悬浮影像3的显示面3a时的手指210的前端与虚拟影子1510的前端的水平方向的距离发生变化。
以上说明的“使用了虚拟影子的触摸操作的辅助(2)”的结构和处理也可以得到与图27A~图29B的结构同样的效果。
此处,要在空间悬浮影像显示装置1000中实现上述“使用了虚拟影子的触摸操作的辅助(1)”的处理和/或“使用了虚拟影子的触摸操作的辅助(2)”的处理的情况下,可以有以下多个实现例。
第一实现例是在空间悬浮影像显示装置1000中仅实现“使用了虚拟影子的触摸操作的辅助(1)”的方法。该情况下,因为虚拟光源1500相对于显示面3a位于用户一侧且设置在从用户看来的显示面3a的右侧方,所以虚拟影子1510显示在从用户看来的用户的手指210的前端的左侧。由此,如果用户的手指210是右手的手指,虚拟影子1510的显示的可见性不会被用户的右手或右臂遮挡,是理想的。因此,根据统计上右撇子用户较多这一趋势,即使在空间悬浮影像显示装置1000中仅实现“使用了虚拟影子的触摸操作的辅助(1)”,可良好地观看虚拟影子1510的显示的概率也足够高,是理想的。
另外,作为第一实现例也可以采用这样的结构,其中,实现“使用了虚拟影子的触摸操作的辅助(1)”的处理和“使用了虚拟影子的触摸操作的辅助(2)”的处理双方,由用户按照以右手和左手中的哪个手进行触摸操作来切换进行哪一个处理。该情况下,能够进一步提高可良好地观看虚拟影子1510的显示的概率,用户的便利性得到提高。
具体而言,在用户以右手进行触摸操作的情况下,使用图27A~图29B的结构,在手指210的左侧显示虚拟影子1510。该情况下,虚拟影子1510的显示的可见性不会被用户的右手或右臂遮挡,是理想的。另一方面,在用户以左手进行触摸操作的情况下,使用图30A~图32B的结构,在手指210的右侧显示虚拟影子1510。该情况下,虚拟影子1510的显示的可见性不会被用户的左手或左臂遮挡,是理想的。由此,在用户以右手进行触摸操作的情况和以左手进行触摸操作的情况下,都在用户易于观看的位置显示虚拟影子1510,用户的便利性得到提高。
此处,对于是在以右手进行触摸操作还是以左手进行触摸操作的判断,例如可以基于摄像部1180生成的拍摄图像进行。例如,控制部1110对拍摄图像进行图像处理,从拍摄图像中检测用户的脸、手臂、手、手指。然后,摄像部1180根据检测出的它们(脸、手臂、手、手指)的配置估计用户的姿势或动作,判断用户是在以右手进行触摸操作还是以左手进行触摸操作。另外,该判断中如果能够根据其他部分判断出用户的身体的左右方向的中心附近,则不一定需要拍摄脸。另外,也可以仅根据手臂的配置进行上述判断。也可以仅根据手的配置进行上述判断。也可以根据手臂的配置与手的配置的组合进行上述判断。另外,在这些判断时,也可以组合脸的配置进行判断。
另外,在图27A~图29B和图30A~图32B中,表示了在与实际的手指210的延伸方向对应的角度上延伸的虚拟影子1510。实际的手指210的延伸方向可以使用已说明的某个摄像部拍摄手指并计算。此处,也可以不反映与手指210的延伸方向对应的角度,而是显示延伸方向固定为规定角度的虚拟影子1510。由此,进行虚拟影子1510的显示控制的影像控制部1160或控制部1110的负荷得到减轻。
例如,如果手指210是右手的手指,自然的情况是,用户从空间悬浮影像3的显示面3a的前方(离用户近的跟前侧)右侧伸出手臂,在面向空间悬浮影像3的显示面3a使手指210指向左上的状态下,尝试触摸空间悬浮影像3的显示面3a。由此,在手指210是右手的手指的情况下,如果使虚拟影子1510所示的手指的影子显示在面向空间悬浮影像3的显示面3a指示右上方向的规定方向,则即使不反映与手指210对应的角度,显示也是自然的。
另外,例如,如果手指210是左手的手指,自然的情况是,用户从空间悬浮影像3的显示面3a的前方左侧伸出手臂,在面向空间悬浮影像3的显示面3a使手指210指向右上的状态下,尝试触摸空间悬浮影像3的显示面3a。由此,在手指210是左手的手指的情况下,如果使虚拟影子1510所示的手指的影子显示在面向空间悬浮影像3的显示面3a指示左上方向的规定方向,则即使不反映与手指210对应的角度,显示也是自然的。
另外,在用户的手指210相对于空间悬浮影像3的显示面3a位于与用户相反一侧的情况下,可以进行使用户能够认识到手指210位于空间悬浮影像3的背面一侧而处于不能触摸的状态的显示,例如,可以在空间悬浮影像3中显示消息,向用户通知手指210位于空间悬浮影像3的背面一侧而处于不能触摸的状态。或者,例如也可以将虚拟影子1510改为用红色等与通常不同的颜色显示。由此,能够更好地对用户提示使手指210回到适当的位置。
<<虚拟光源的设定条件之一例>>
此处对虚拟光源1500的设定方法进行说明。图33是说明虚拟光源的设定方法的图。图33表示了用户以左手进行触摸操作的状况,但以下说明的内容也可以适当地应用于用户以右手进行触摸操作的情况。
在图33中,表示了从空间悬浮影像3的显示面3a的中央的点C向用户一侧延伸的显示面3a的法线L1、将虚拟光源1500和法线L1与显示面3a交叉的点C连接的线L2、由法线L1与线L2之间的角度规定的虚拟光源设置角度α。图33中为了简化说明,表示了用户的手指210的前端位于线L2上的瞬间。
此处,在图27A~图33中,为了简化说明,虚拟光源1500被图示成配置在与空间悬浮影像3的显示面3a和用户的手指210距离并不远的位置。虚拟光源1500可以设定在这样的位置,但最优选的设定例如下所述。即,优选虚拟光源1500与空间悬浮影像3的显示面3a的中央的点C的距离设定为无穷远。其理由如下所述。假设存在一个物体平面,其在与图27A~图32B的空间悬浮影像3的显示面3a相同的坐标系上具有接触面,并且光源不是虚拟光源而是太阳,该情况下太阳的距离能够近似为几乎无穷远,所以当用户的手指的前端与该物体平面的距离(z方向)变化时,现实的物体平面上的用户的手指的影子的前端的水平方向(x方向)的位置随之线性地变化。因此,在本实施例的图27A~图33所示的虚拟光源1500的设定中,也将虚拟光源1500与空间悬浮影像3的显示面3a的中央的点C的距离设定为无穷远,使得空间悬浮影像3中的虚拟影子1510的前端的水平方向(x方向)的位置随着用户的手指210的前端与空间悬浮影像3的显示面3a的距离(z方向)的变化而线性地变化,这样,能够表现为对于用户而言可更自然地识别的虚拟影子。
虚拟光源1500在设定为配置在与空间悬浮影像3的显示面3a和用户的手指210距离并不远的位置时,随着用户的手指210的前端与空间悬浮影像3的显示面3a的距离(z方向)的变化,空间悬浮影像3中的虚拟影子1510的前端的水平方向(x方向)的位置非线性地变化,计算虚拟影子1510的前端的水平方向(x方向)的位置的运算会略微变得繁琐。相对地,如果虚拟光源1500与空间悬浮影像3的显示面3a的中央的点C的距离设定为无穷远,则随着用户的手指210的前端与空间悬浮影像3的显示面3a的距离(z方向)的变化,空间悬浮影像3中的虚拟影子1510的前端的水平方向(x方向)的位置线性地变化,所以还具有能够使计算虚拟影子1510的前端的水平方向(x方向)的位置的运算变得简化的效果。
在虚拟光源设置角度α较小的情况下,从用户看来,因为不能增大连接虚拟光源1500和手指210的线与法线L1之间的角度,所以空间悬浮影像3的显示面3a的水平方向(x方向)上的手指210的前端与虚拟影子1510的前端的距离变短。因此,手指210的前端进行触摸操作时的虚拟影子1510的位置的变化难以被用户辨认,存在触摸操作中的用户的进深识别的效果降低的风险。为了避免这一点,优选以连接虚拟光源1500和点C的线L2与法线L1之间的角度例如为20°以上的方式,设置虚拟光源1500。
另一方面,若连接虚拟光源1500和手指210的线与法线L1之间的角度在90°附近,则手指210的前端与虚拟影子1510的前端的距离会变得非常长。这样时,虚拟影子1510的显示位置处于空间悬浮影像3的范围外的概率升高,不能在空间悬浮影像3中显示虚拟影子1510的概率升高。因此,为了使连接虚拟光源1500和点C的线L2与法线L1之间的角度例如不过度接近90°,优选虚拟光源1500的设置角度α为70°以下。
即,虚拟光源1500的优选设置位置满足,不过度接近包含经过手指210的法线的面,并且不过度接近包含空间悬浮影像3的显示面3a的面。
本实施例的空间悬浮影像显示装置1000能够如上所述地显示虚拟影子。这样,与为了辅助用户的触摸操作而在影像上叠加显示规定的标记的情况相比,能够实现物理上更自然的效果的影像处理。因此,本实施例的空间悬浮影像显示装置1000中通过显示上述虚拟影子而实现的触摸操作辅助技术,能够对用户提供可更自然地识别触摸操作中的进深的状况。
<<手指的位置的检测方法>>
接着对手指210的位置的检测方法进行说明。以下具体说明检测用户230的手指210的位置的结构。
<<手指的位置的检测方法(1)>>
图34是表示手指的位置的检测方法之一例的结构图。图34所示的例子中,使用1个摄像部1180和1个空中操作传感器1351检测手指210的位置。另外,本发明的实施例中的摄像部都具有摄像传感器。
第一摄像部1180a(1180)相对于空间悬浮影像3设置在与用户230相反的一侧。第一摄像部1180a如图34所示可以设置在壳体1190上,也可以设置在远离壳体1190的部位。
第一摄像部1180a的摄像区域例如被设定为,包括空间悬浮影像3的显示区域、用户230的手指、手、手臂、脸等。第一摄像部1180a拍摄对空间悬浮影像3进行触摸操作的用户230,生成第一拍摄图像。另外,因为即使从第一摄像部1180a拍摄空间悬浮影像3的显示区域,也是从空间悬浮影像3的指向性光束的行进方向的相反一侧拍摄,所以空间悬浮影像3自身不能作为影像被看到。此处,在手指的位置的检测方法(1)的例子中,第一摄像部1180a不是单纯的摄像部,还在摄像传感器之外内置了深度传感器。深度传感器的结构和处理使用现有的技术即可。第一摄像部1180a的深度传感器检测第一摄像部1180a的拍摄图像中的各部(例如用户的手指、手、手臂、脸等)的进深,生成深度信息。
空中操作传感器1351设置在能够将空间悬浮影像3的显示面3a作为传感对象面进行感测的位置。图34中,空中操作传感器1351设置在空间悬浮影像3的显示面3a的下方,也可以设置在显示面3a的侧方或上方。空中操作传感器1351如图34所示可以设置在壳体1190上,也可以设置在远离壳体1190的部位。
图34中的空中操作检测传感器1351是检测空间悬浮影像3的显示面3a与手指210接触或重叠的位置的传感器。即,在手指210的前端从空间悬浮影像3的显示面3a的用户一侧接近空间悬浮影像3的显示面3a的情况下,空中操作检测传感器1351能够检测手指210对空间悬浮影像3的显示面3a的接触。
例如,图3C所示的控制部1110从非易失性存储器1108读取用于进行图像处理的程序、和用于显示虚拟影子1510的程序。控制部1110进行针对第一摄像部1180a的摄像传感器生成的第一拍摄图像的第一图像处理,检测手指210并计算手指210的位置(x坐标、y坐标)。控制部1110基于第一摄像部1180a的摄像传感器生成的第一拍摄图像和第一摄像部1180a的深度传感器生成的深度信息,计算与空间悬浮影像3相对的手指210的前端的位置(z坐标)。
图34的例子中,由第一摄像部1180a的摄像传感器和深度传感器、空中操作传感器1351、空中操作检测部1350、控制部1110构成触摸检测部,检测用户的手指的位置和对空间悬浮影像3的对象的触摸。由此计算手指210的位置(x坐标、y坐标、z坐标)。另外,根据空中操作检测部1350的检测结果或空中操作检测部1350的检测结果以及第一摄像部1180a生成的信息的组合,计算触摸检测结果。
然后,控制部1110基于手指210的位置(x坐标、y坐标、z坐标)和虚拟光源1500的位置,计算显示虚拟影子1510的位置(显示位置),生成基于计算出的显示位置的虚拟影子1510的影像数据。
另外,控制部1110进行的影像数据中的虚拟影子1510的显示位置的计算,可以在每次计算手指210的位置时进行。影像数据中的虚拟影子1510的显示位置的计算,也可以不是在每次计算手指210的位置时进行,而是计算与手指210的多处位置的各位置分别对应的虚拟影子1510的显示位置得到显示位置映射的数据并将其预先保存在非易失性存储器1108中,在计算了手指210的位置后,基于保存在非易失性存储器1108中的显示位置映射的数据生成虚拟影子1150的影像数据。另外,控制部1110也可以在第一图像处理中计算手指210的前端和手指210的延伸方向,计算手指210的前端的显示位置和与延伸方向对应的虚拟影子1510的延伸方向,基于它们生成被调整为与实际的手指210的方向对应的显示角度的虚拟影子1510的影像数据。
控制部1110将生成的虚拟影子1510的影像数据输出至影像控制部1160。影像控制部1160生成由虚拟影子1510的影像数据和对象等其他影像数据叠加而得的影像数据(叠加影像数据),将包括虚拟影子1510的影像数据的叠加影像数据输出至影像显示部1102。
影像显示部1102通过显示基于包括虚拟影子1510的影像数据的叠加影像数据的影像,能够显示由虚拟影子1510与对象等叠加得到的空间悬浮影像3。
针对对象的触摸检测例如如下所述地执行。空中操作检测部1350和空中操作检测传感器1351如图3A~图3C所述地构成,在手指210与包含空间悬浮影像3的显示面3a的平面接触或重叠的情况下,检测其位置,将表示手指210与显示面3a接触或重叠的该位置的触摸位置信息输出至控制部1110。然后,控制部1110在输入了触摸位置信息时,判断由第一图像处理计算出的手指210的位置(x坐标、y坐标)是否包含在空间悬浮影像3的显示面3a上显示的各对象的显示范围中。然后,控制部1110在手指210的位置包含在某个对象的显示范围中的情况下,判断为进行了针对该对象的触摸。
根据以上说明的检测方法,能够利用由具有摄像传感器和深度传感器的1个摄像部1180(第一摄像部1180a)与1个空中操作检测传感器1351组合得到的简便的结构,进行手指210的位置的检测和触摸操作的检测。
另外,作为手指的位置的检测方法(1)的变形例,也可以不使用空中操作检测部1350和空中操作检测传感器1351的检测结果,控制部1110仅基于第一摄像部1180a的摄像传感器生成的第一拍摄图像和第一摄像部1180a的深度传感器生成的深度信息,检测手指210进行的触摸操作。例如可以构成为,在通常动作时采用第一模式,在空中操作检测传感器1351或空中操作检测部1350的动作发生了某种问题的情况下切换为第二模式,其中,在第一模式下,将第一摄像部1180a的摄像传感器的拍摄图像和深度传感器的检测结果、与空中操作检测传感器1351的检测结果组合来检测手指210进行的触摸操作,在第二模式下,不使用空中操作检测部1350和空中操作检测传感器1351的检测结果,控制部1110仅基于第一摄像部1180a的摄像传感器生成的第一拍摄图像和第一摄像部1180a的深度传感器生成的深度信息来检测手指210进行的触摸操作。
<<手指的位置的检测方法(2)>>
图35是表示手指的位置的检测方法之另一例的结构图。图35所示的例子中使用2个摄像部检测手指210的位置。第二摄像部1180b(1180)、第三摄像部1180c(1180)都相对于空间悬浮影像3设置在与用户230相反一侧。
第二摄像部1180b例如设置在从用户230看来的右侧。第二摄像部1180b的拍摄区域例如被设定为,包括空间悬浮影像3、用户230的手指、手、手臂、脸等。第二摄像部1180b从用户230的右侧拍摄对空间悬浮影像3进行触摸操作的用户230,生成第二拍摄图像。
第三摄像部1180c例如设置在从用户230看来的左侧。第三摄像部1180c的拍摄区域例如被设定为,包括空间悬浮影像3、用户230的手指、手、手臂、脸等。第三摄像部1180c从用户230的左侧拍摄对空间悬浮影像3进行触摸操作的用户230,生成第三拍摄图像。这样,图35的例子中,第二摄像部1180b和第三摄像部1180c构成所谓立体照相机。
第二摄像部1180b、第三摄像部1180c如图35所示可以设置在壳体1190上,也可以设置在远离壳体1190的部位。另外,也可以将一个摄像部设置在壳体1190上,将另一个摄像部设置在远离壳体1190的位置。
控制部1110分别进行针对第二拍摄图像的第二图像处理、针对第三拍摄图像的第三图像处理。然后,控制部1110基于第二图像处理的结果(第二图像处理结果)和第三图像处理的结果(第三图像处理结果)计算手指210的位置(x坐标、y坐标、z坐标)。
图35的例子中,由第二摄像部1180b、第三摄像部1180c、控制部1110构成触摸检测部,检测用户的手指的位置以及对空间悬浮影像3的对象的触摸。并且,计算手指210的位置(x坐标、y坐标、z坐标)作为位置检测结果或触摸检测结果。
这样,图35的例子中,基于根据第二图像处理结果和第三图像处理结果计算出的手指210的位置生成虚拟影子1510。另外,基于根据第二图像处理结果和第三图像处理结果计算出的手指210的位置,判断是否对对象进行了触摸。
根据该结构,不需要采用具有深度传感器的摄像部。另外,根据该结构,通过使用第二摄像部1180b和第三摄像部1180c作为立体照相机,能够提高手指210的位置的检测精度。特别是,与图34的例子相比能够提高x坐标和y坐标的检测精度。因此,能够更准确地判断是否触摸了对象。
另外,作为手指的位置的检测方法(2)的变形例,可以构成为,如上所述基于第二摄像部1180b的第二拍摄图像和第三摄像部1180c的第三拍摄图像检测用户的手指的位置(x坐标、y坐标、z坐标),由此控制虚拟影子1510的显示,并且,基于空中操作检测传感器1351的检测结果,由空中操作检测部1350或控制部1110检测是否对空间悬浮影像3的对象进行了触摸。根据该变形例,因为使用了以空间悬浮影像3的显示面3a作为传感对象面进行感测的空中操作传感器1351,所以对于用户的手指210与空间悬浮影像3的显示面3a之间的接触的检测,与由第二摄像部1180b和第三摄像部1180c组成的立体照相机的进深方向的检测相比,能够以更高的精度进行检测。
<<<手指的位置的检测方法(3)>>>
图36是表示手指的位置的检测方法之另一例的结构图。图36所示的例子也使用2个摄像部检测手指210的位置。图36的例子与图35的例子不同,采用了将摄像部之一即第四摄像部1180d(1180)配置在从侧面拍摄空间悬浮影像3的显示面3a的位置的结构。另外,如图34的例子所示,第一摄像部1180a(1180)相对于空间悬浮影像3设置在与用户230相反的一侧。图36的例子中,第一摄像部1180a(1180)只要能够进行拍摄即可,不需要具备深度传感器。
从而,第四摄像部1180d被设置在空间悬浮影像3的显示面3a的周边。图36中,第四摄像部1180d设置在空间悬浮影像3的显示面3a的侧面下方,但也可以设置在显示面3a的侧方或上方。第四摄像部1180d如图36所示可以设置在壳体1190上,也可以设置在远离壳体1190的部位。
第四摄像部1180d的摄像区域例如被设定为,包括空间悬浮影像3、用户230的手指、手、手臂、脸等。第四摄像部1180d从空间悬浮影像3的显示面3a的周边拍摄对空间悬浮影像3进行触摸操作的用户230,生成第四拍摄图像。
控制部1110进行针对第四拍摄图像的第四图像处理,计算空间悬浮影像3的显示面3a与手指210的前端的距离(z坐标)。然后,控制部1110基于通过上述第一摄像部1180a对第一拍摄图像进行的第一图像处理计算出的手指210的位置(x坐标、y坐标),和通过第四图像处理计算出的手指210的位置(z坐标),进行关于虚拟影子1510的处理以及判断是否对对象进行了触摸。
图36的例子中,由第一摄像部1180a、第四摄像部1180d、控制部1110构成触摸检测部,检测用户的手指的位置以及对于对象的触摸。并且,计算出手指210的位置(x坐标、y坐标、z坐标)作为位置检测结果或触摸检测结果。
根据该结构,与图35的立体照相机的结构相比,能够提高空间悬浮影像3的显示面3a与手指210的前端的距离、即与空间悬浮影像3的显示面3a相对的手指210的进深的检测精度。
另外,作为手指的位置的检测方法(3)的变形例,可以构成为,如上所述基于第一摄像部1180a的第一拍摄图像和第四摄像部1180d的第四拍摄图像检测用户的手指的位置(x坐标、y坐标、z坐标),由此控制虚拟影子1510的显示,并且,基于空中操作检测传感器1351的检测结果由空中操作检测部1350或控制部1110检测是否对空间悬浮影像3的对象进行了触摸。根据该变形例,因为使用了以空间悬浮影像3的显示面3a作为传感对象面进行感测的空中操作传感器1351,所以对于用户的手指210与空间悬浮影像3的显示面3a之间的接触的检测,与第四摄像部1180d的第四拍摄图像的检测精度相比,能够以更高的精度进行检测。
<<显示输入内容来辅助触摸操作的方法>>
对于用其他方法辅助用户的触摸操作的例子进行说明。例如,也能够显示输入的内容来辅助触摸操作。图37是说明显示输入的内容来辅助触摸操作的方法的图。图37表示了通过触摸操作输入数字的情况。
图37的空间悬浮影像3例如包括按键输入UI(用户接口)显示区域1600和显示输入内容的输入内容显示区域1610,其中,按键输入UI(用户接口)显示区域1600包括多个对象,其中包括用于输入数字等的多个对象、用于清除输入内容的对象1601、用于决定输入内容的对象1603等。
在输入内容显示区域1610中,从左端去往右方在空间悬浮影像3中依次显示通过触摸操作输入的内容(例如数字)。用户能够在观看输入内容显示区域1610的同时确认通过触摸操作输入的内容。然后,用户在输入了期望的全部数字时触摸对象1603。由此,将显示在输入内容显示区域1610中的输入内容登记。对空间悬浮影像3的触摸操作与对显示设备的表面上的物理接触不同,用户不能得到接触的感触。因此,通过在输入内容显示区域1610中另行显示输入内容,用户能够在确认自身的触摸操作是否有效地进行的同时进行操作,是理想的。
另一方面,在弄错触摸的对象的情况等输入了与期望的不同的内容的情况下,用户能够清除通过触摸对象1601而最后输入的内容(此处是“9”)。然后,用户继续进行对数字等输入用的对象的触摸操作。用户在输入了期望的全部数字时,触摸对象1603。
这样,通过在输入内容显示区域1610中显示输入内容,能够使用户确认输入内容,能够提高便利性。另外,在用户触摸了错误的对象的情况下,能够使其修正输入内容,能够提高便利性。
<<将输入内容强调显示来辅助触摸操作的方法>>
接着,还能够将输入内容强调显示来辅助触摸操作。图38是说明将输入内容强调显示来辅助触摸操作的方法的图。
图38表示了将通过触摸操作输入的数字强调显示的例子。按照图38说明,在与数字“6”对应的对象被触摸时,清除所触摸的对象,在曾显示该对象的区域显示输入的数字“6”。
这样,通过代替对象显示与触摸的对象对应的数字,能够使用户掌握其触摸了对象,能够提高便利性。与触摸的对象对应的数字也可以被称为替换所触摸的对象的替换对象。
作为将输入内容强调显示的其他方法,例如也可以使用户触摸的对象明亮地发光(点亮),也可以使用户触摸的对象闪烁。虽然此处未图示,但也能够通过识别图27A~图28B的实施例中说明的手指210与显示面3a的距离,随着手指接近显示面而使要触摸的对象变化为比周围的对象更亮,最终在接触显示面的阶段使强调程度达到最高,或者更进一步明亮地发光(点亮)或者使其闪烁。在这样的结构中,也能够使用户认识到其触摸了对象,能够提高便利性。
<<利用振动辅助触摸操作的方法(1)>>
接着对利用振动辅助触摸操作的方法进行说明。图39是说明利用振动进行触摸操作辅助的方法之一例的图。图39表示了代替手指210使用触控笔(触摸输入装置)1700进行触摸操作的情况。触控笔1700例如搭载了与空间悬浮影像显示装置等装置之间发送接收信号和数据等各种信息的通信部、和基于输入的信号产生振动的振动机构等。
用户操作触控笔1700,用触控笔1700触摸空间悬浮影像3的按键输入UI显示区域1600中显示的对象。此时,例如控制部1100从通信部1132发送表示检测出对于对象的触摸的触摸检测信号。当触控笔1700接收到触摸检测信号时,基于触摸检测信号使振动机构产生振动。由此,触控笔1700振动。然后,触控笔1700的振动传递至用户,用户认识到触摸了对象。这样,用触控笔1700的振动进行触摸操作的辅助。
根据该结构,能够通过振动使用户认识到触摸了对象。
此处,说明了触控笔1700接收从空间悬浮影像装置发送的触摸检测信号的情况,但也可以是除此以外的结构。例如,当检测出对对象的触摸时,空间悬浮影像显示装置向上级装置通知检测出对对象的触摸。然后,上级装置对触控笔1700发送触摸检测信号。
或者,空间悬浮影像显示装置和上级装置也可以经由网络发送触摸检测信号。这样,触控笔1700也可以从空间悬浮影像显示装置间接地接收触摸检测信号。
<<利用振动辅助触摸操作的方法(2)>>
接着对利用振动辅助触摸操作的其他方法进行说明。此处,通过使用户持有的终端振动来使用户认识到触摸了对象。图40是说明利用振动进行的触摸操作的辅助方法之另一例的图。图40的例子中,佩戴了手表型可穿戴终端1800的用户230进行触摸操作。
可穿戴终端1800例如搭载了与空间悬浮影像显示装置等装置之间发送接收信号、数据等各种信息的通信部,和基于输入的信号产生振动的振动机构等。
用户使用手指210进行触摸操作,触摸显示在空间悬浮影像3的按键输入UI显示区域1600中的对象。此时,例如控制部1100从通信部1132发送表示检测出对于对象的触摸的触摸检测信号。当可穿戴终端1800接收到触摸检测信号时,基于触摸检测信号使振动机构产生振动。由此,可穿戴终端1800振动。然后,可穿戴终端1800的振动传递至用户,用户认识到触摸了对象。这样,用可穿戴终端1800的振动进行触摸操作的辅助。此处,以手表型可穿戴终端为例进行了说明,但也可以是用户随身携带的智能手机等。
另外,可穿戴终端1800与上述触控笔1700同样,也可以从上级装置接收触摸检测信号。另外,可穿戴终端1800也可以经由网络接收触摸检测信号。另外,除了可穿戴终端1800之外,例如还能够使用用户持有的智能手机等信息处理终端进行触摸操作的辅助。
根据该结构,能够经由用户持有的可穿戴终端1800等各种终端,使用户认识到触摸了对象。
<<利用振动辅助触摸操作的方法(3)>>
接着对利用振动辅助触摸操作的其他方法进行说明。图41是说明利用振动进行的触摸操作的辅助方法之另一例的图。在图41的例子中,用户230站在振动板1900上进行触摸操作。振动板1900设置在用户230进行触摸操作的规定位置。作为实际的使用形态,振动板1900例如配置在未图示的垫子的下方,用户230隔着垫子站在振动板1900上。
振动板1900如图41所示,经由线缆1910与例如空间悬浮影像显示装置1000的通信部1132连接。在检测出对于对象的触摸时,例如控制部1110经由通信部1132持续规定时间对振动板1900供给交流电压。振动板1900在供给交流电压的期间产生振动。即,该交流电压是从通信部1132输出的用于使振动板1900产生振动的控制信号。振动板1900产生的振动从脚下传递至用户230,用户230能够认识到触摸了对象。这样,用振动板1900的振动进行触摸操作的辅助。
交流电压的频率设定为用户230能够感到振动的范围内的值。人能够感到的振动的频率大约在0.1Hz~500Hz的范围内。因此,交流电压的频率优选设定在该范围内。
另外,交流电压的频率优选根据振动板1900的特性适当变更。例如,在振动板1900于铅垂方向振动的情况下,人对410Hz左右的振动的敏感度最高。另外,在振动板1900于水平方向振动的情况下,人对12Hz左右的振动的敏感度最高。进而,在34Hz以上的频率下,人对铅垂方向的敏感度比水平方向更高。
于是,在振动板1900于铅垂方向振动的情况下,交流电压的频率例如优选设定为包含410Hz的范围内的值。另外,在振动板1900于水平方向振动的情况下,交流电压的频率例如优选设定为包含12Hz的范围内的值。另外,也可以按照振动板1900的性能相应地适当调整交流电压的峰值电压、频率。
根据该结构,能够通过来自脚下的振动使用户230认识到进行了对于对象的触摸。另外,该结构的情况下,能够设定为在进行了对于对象的触摸时空间悬浮影像3的显示不变,即使在他人窥视触摸操作的情况下,也能够减小输入内容被得知的可能性,进一步提高安全性。
<<对象显示的变形例1>>
对空间悬浮影像显示装置1000进行的空间悬浮影像3中的对象显示的其他例进行说明。空间悬浮影像显示装置1000显示空间悬浮影像3,其是由显示装置1显示的矩形的影像的光学像。显示装置1显示的矩形的影像与空间悬浮影像3具有对应关系。因此,当显示在显示装置1的显示范围的整个面具有亮度的影像时,空间悬浮影像3显示的是在显示范围的整个面中具有亮度的影像。该情况下,虽然可以得到矩形的空间悬浮影像3整体的空中悬浮感,但存在难以得到空间悬浮影像3内显示的各对象自身的空中悬浮感的问题。与此相对,可以采用仅将空间悬浮影像3中的对象的部分显示为具有亮度的影像的方法。但是,仅将对象的部分显示为具有亮度的影像的方法虽然可以良好地得到对象的悬浮感,但另一方面存在难以识别对象的进深的问题。
于是,本实施例的图42A的显示例中,在空间悬浮影像3的显示范围4210内,显示了显示为“是”的第一按钮BUT1和显示为“否”的第二按钮BUT2这2个对象。第一按钮BUT1和显示为“否”的第二按钮BUT2这2个对象区域是显示装置1中包含具有亮度的影像的区域。在该2个对象的显示区域的周边,以将对象的显示区域包围的方式配置了黑色显示区域4220。
黑色显示区域4220是显示装置1中显示黑色的区域。即,黑色显示区域4220是显示装置1中具有不具有亮度的影像信息的区域。换言之,黑色显示区域4220是不存在具有亮度的影像信息的区域。显示装置1中显示为黑色的区域,是作为光学像的空间悬浮影像3来说,用户什么都看不见的空间区域。进而,在图42A的显示例中,在显示范围4210内,以包围黑色显示区域4220的形式配置了边框影像显示区域4250。
边框影像显示区域4250是在显示装置1中使用具有亮度的影像显示模拟的边框的区域。此处,边框影像显示区域4250中的模拟的边框可以显示单色的颜色而成为边框影像。或者,边框影像显示区域4250中的该模拟的边框也可以是使用有设计性的图像显示的边框影像。或者,边框影像显示区域4250也可以显示虚线这样的边框。
通过显示如上所述的边框影像显示区域4250的边框影像,用户易于识别第一按钮BUT1和第二按钮BUT2这2个对象所属的平面,易于掌握第一按钮BUT1和第二按钮BUT2这2个对象的进深位置。与此同时,在这些对象的周边存在用户什么都看不见的黑色显示区域4220,所以能够强调第一按钮BUT1和第二按钮BUT2这2个对象的空中悬浮感。另外,在空间悬浮影像3中,边框影像显示区域4250存在于显示范围4210的最外周,但取决于情况,也可以不是显示范围4210的最外周。
如上所述,根据图42A的显示例,能够更好地兼顾空间悬浮影像3中显示的对象的空中悬浮感和进深位置的识别。
<<对象显示的变形例2>>
图42B是图42A的对象显示的变形例。这是在第一按钮BUT1和第二按钮BUT2等用户能够进行触摸操作的对象附近显示了表示“能够进行触摸操作”的消息的显示例。此处,如图42B所示,也可以显示指示用户能够进行触摸操作的对象的箭头等标记。采用这样的方式,用户可容易地识别能够进行触摸操作的对象。
此处,对于这样的消息显示和标记显示,也能够通过以被黑色显示区域4220包围的方式进行显示而得到空中悬浮感。
<<空间悬浮影像显示装置的变形例>>
接着对空间悬浮影像显示装置的变形例使用图43进行说明。图43的空间悬浮影像显示装置是图3A的空间悬浮影像显示装置的变形例。对于与图3A中记载的构成要素相同的构成要素标注同一附图标记。在图43的说明中,说明与图3A中记载的构成要素的不同点,对于与图3A中记载的构成要素相同的构成要素,因为图3A中已说明所以省略重复的说明。
此处,图43的空间悬浮影像显示装置与图3A的空间悬浮影像显示装置同样,经过偏振分离部件101、λ/4波片21和回归反射部件2,将来自显示装置1的影像光变换为空间悬浮影像3。
图43的空间悬浮影像显示装置与图3A的空间悬浮影像显示装置不同,以从周边包围空间悬浮影像3的方式设置了物理边框4310。此处,在物理边框4310沿着空间悬浮影像3的外周设置了开口窗,用户能够在物理边框4310的开口窗的位置观看空间悬浮影像3。在空间悬浮影像3为矩形的情况下,物理边框4310的开口窗的形状也为矩形。
图43的例子中,在物理边框4310的开口窗的一部分设置了空中操作检测传感器1351。空中操作检测传感器1351如图3C中已说明的那样,能够检测用户的手指对空间悬浮影像3中显示的对象的触摸操作。
图43的例子中,物理边框4310在空间悬浮影像显示装置的上面具有覆盖偏振分离部件101的罩结构。另外,该罩结构覆盖的不限于偏振分离部件101,可以覆盖显示装置1和回归反射部件2的收纳部。但是,图43的物理边框4310只是本实施例之一例,并不必须具有罩结构。
此处,在图44中表示未显示空间悬浮影像3时的、图43的空间悬浮影像显示装置的物理边框4310和开口窗4450。此时,该用户不能看到空间悬浮影像3。
与此相对,用图45表示本实施例的图43的空间悬浮影像显示装置的物理边框4310的开口窗4450的结构和空间悬浮影像3的显示的例子之一例。在图45的例子中,开口窗4450构成为与空间悬浮影像3的显示范围4210大致一致。
进而,在图45的空间悬浮影像3的显示例中,例如进行接近图42A的例子的对象显示。具体而言,显示用户能够进行触摸操作的对象——例如第一按钮BUT1和第二按钮BUT2。用户能够进行触摸操作的这些对象被黑色显示区域4220包围,能够适当地得到空间悬浮感。
在将黑色显示区域4220包围的外周设置了边框影像显示区域4470。边框影像显示区域4470的外周是显示范围4210,以空间悬浮影像显示装置的开口窗4450的边缘与显示范围4210大致一致的方式配置。
此处,在图45的显示例中,边框影像显示区域4470的边框的影像以与开口窗4450周边的物理边框4310的颜色同色系的颜色显示。例如,如果物理边框4310是白色的,则边框影像显示区域4470的边框的影像也以白色显示。如果物理边框4310是灰色的,则边框影像显示区域4470的边框的影像也以灰色显示。例如,如果物理边框4310是黄色的,则边框影像显示区域4470的边框的影像也以黄色显示。
这样,通过使边框影像显示区域4470的边框的影像以与开口窗4450周边的物理边框4310的颜色同色系的颜色显示,能够强调地使用户感到物理边框4310与边框影像显示区域4470的边框的影像之间的空间连续性。
通常而言,与空间悬浮影像相比,用户对于物理结构能够更好地进行空间识别。因此,如图45的显示例所示,通过将空间悬浮影像显示成强调其与物理边框之间的空间连续性,用户容易更好地掌握空间悬浮影像的进深。
进而,在图45的显示例中,用户能够进行触摸操作的对象例如第一按钮BUT1和第二按钮BUT2的空间悬浮像在与边框影像显示区域4470同一平面上成像,所以用户能够基于物理边框4310和边框影像显示区域4470的进深认知,来更好地掌握第一按钮BUT1和第二按钮BUT2的进深。
即,根据图45的显示例,能够更好地兼顾空间悬浮影像3中显示的对象的空中悬浮感和进深位置的认识。并且,与图42A的显示例相比能够更好地使空间悬浮影像3中显示的对象的进深位置的认识变得容易。
另外,在图45的显示例中,也可以如图42B的显示例那样,显示指示用户能够进行触摸操作的对象的箭头等标记。
另外,作为图43的空间悬浮影像显示装置的结构的变形例,如图46所示,也可以在物理边框4310的罩结构的内侧设置具有光反射率低的黑色的表面的遮光板4610和遮光板4620。通过这样设置遮光板,即使用户从开口窗窥视空间悬浮影像显示装置内部,也能够防止看到与空间悬浮影像3无关的部件等。由此,能够防止在图42A等的黑色显示区域4220的背后侧看到与空间悬浮影像3无关的实际物体导致难以观看空间悬浮影像3。另外,也能够防止因空间悬浮影像3产生杂散光。
此处,遮光板4610和遮光板4620也可以构成与空间悬浮影像3的矩形对应的筒型的四棱柱,采用从空间悬浮影像显示装置的开口窗附近向显示装置1和回归反射部件2的收纳部延伸的结构。另外,考虑到光的发散角和确保用户的视点的自由度,也可以构成为对置的遮光板不平行的四棱台形状,从空间悬浮影像显示装置的开口窗附近向显示装置1和回归反射部件2的收纳部延伸。该情况下,该四棱台形状是从空间悬浮影像显示装置的开口窗附近向显示装置1和回归反射部件2的收纳部逐渐扩大的形状。
另外,图46的罩结构和遮光板也可以在进行图45的显示例以外的显示的空间悬浮影像显示装置中使用。即,并不必须显示边框影像显示区域4470。只要空间悬浮影像显示装置的罩结构的物理边框4310以包围空间悬浮影像3的显示范围4210的方式配置,则即使图45中没有边框影像显示区域4470,也能够有助于提高显示的对象的进深位置的认识。
以上对各种实施例进行了详细叙述,但是本发明并不仅限定于上述实施例,包括各种变形例。例如,上述实施例为了易于理解地说明本发明而详细说明了整个***,但并不限定于必须具备所说明的全部结构。另外,能够将某个实施例的结构的一部分置换为其他实施例的结构,也能够在某个实施例的结构上添加其他实施例的结构。另外,对于各实施例的结构的一部分,能够追加、删除、置换其他结构。
本实施例的技术中,通过使高分辨率且高亮度的影像信息以在空间中悬浮的状态显示,例如用户能够不会对传染病的接触传染感到不安地进行操作。如果在不确定的大量用户使用的***中使用本实施例的技术,能够减小传染病的接触传染的风险,提供一种能够不会感到不安地使用的非接触用户接口。由此,有助于***提倡的可持续发展目标(SDGs:Sustainable Development Goals)的“3良好健康与福祉”。
另外,本实施例的技术中,通过减小出射的影像光的发散角进而统一成特定偏振,仅使对于回归反射部件正常的反射光高效率地反射,所以光的利用效率高,能够得到明亮且清楚的空间悬浮影像。根据本实施方式的技术,能够提供一种可大幅降低功耗的、可用性优秀的非接触用户接口。由此,有助于***提倡的可持续发展目标(SDGs:SustainableDevelopment Goals)的“9产业、创新和基础设施”和“11可持续城市和社区”。
进而,本实施例的技术能够形成由指向性(直线行进性)高的影像光形成的空间悬浮影像。采用本实施例的技术,在银行的ATM和车站的售票机等中显示要求高安全性的影像、或显示想要对正对着用户的人物保密的保密性高的影像的情况下,通过显示指向性高的影像光,能够提供一种空间悬浮影像被用户以外的人物窥视的危险性小的非接触用户接口。由此,有助于***提倡的可持续发展目标(SDGs:Sustainable Development Goals)的“11可持续城市和社区”。
附图标记说明
1……显示装置,2……回归反射部件,3……空间像(空间悬浮影像),105……窗玻璃,100……透明部件,101……偏振分离部件,12……吸收型偏振片,13……光源装置,54……光方向变换面板,151……回归反射部件,102、202……LED基板,203……导光体,205、271……反射片,206、270……相位差板,300……空间悬浮影像,301……空间悬浮影像的鬼像,302……空间悬浮影像的鬼像,230……用户,1000……空间悬浮影像显示装置,1110……控制部,1160……影像控制部,1180……摄像部,1102……影像显示部,1350……空中操作检测部,1351……空中操作检测传感器,1500……虚拟光源,1510……虚拟影子,1610……输入内容显示区域,1700……触控笔,1800……可穿戴终端,1900……振动板,4220……黑色显示区域,4250……边框影像显示区域
Claims (36)
1.一种空间悬浮影像显示装置,其特征在于,包括:
显示影像的显示装置;
回归性反射部件,其使来自所述显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像;
传感器,其检测对所述空间悬浮影像中显示的1个以上的对象进行触摸操作的用户的手指的位置;和
控制部,
其中,基于使用所述传感器检测出的所述用户的手指的位置,由所述控制部控制针对要在所述显示装置上显示的影像的影像处理,由此在不存在物理接触面的所述空间悬浮影像的显示面上显示所述用户的手指的虚拟影子。
2.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
当所述用户的手指的前端的位置在所述空间悬浮影像的显示面的从用户看来的跟前侧在法线方向上变化时,所述空间悬浮影像中显示的虚拟影子的前端在所述空间悬浮影像的显示面上的左右方向的位置发生变化。
3.如权利要求2所述的空间悬浮影像显示装置,其特征在于:
所述空间悬浮影像中显示的虚拟影子的前端在所述空间悬浮影像的显示面上的左右方向的位置,随所述用户的手指的前端的位置在所述法线方向上的变化而线性地变化。
4.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
包括拍摄用户的手或手臂的摄像部,
在对所述空间悬浮影像中显示的1个以上的对象进行触摸操作的用户的手指为右手的情况下,在所述空间悬浮影像中,从所述用户看来在所述手指的前端的左侧的位置显示所述虚拟影子,
在对所述空间悬浮影像中显示的1个以上的对象进行触摸操作的用户的手指为左手的情况下,在所述空间悬浮影像中,从所述用户看来在所述手指的前端的右侧的位置显示所述虚拟影子。
5.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
所述控制部使用检测所述用户的手指的位置的所述传感器,检测所述空间悬浮影像的显示面上的所述手指的前端的位置和所述手指的前端相对于所述显示面的高度位置。
6.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
所述用户的手指是否接触到所述空间悬浮影像的显示面,是利用与检测所述用户的手指的位置的传感器不同的传感器检测的。
7.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
显示在所述空间悬浮影像的显示面上的虚拟影子的位置,是根据虚拟光源的位置和使用所述传感器检测出的所述用户的手指的位置这两者的位置关系确定的位置。
8.如权利要求7所述的空间悬浮影像显示装置,其特征在于:
所述虚拟光源的位置满足:
虚拟光源设置角度为20°以上,其中,虚拟光源设置角度被定义为,从所述空间悬浮影像的显示面的中央的点向所述用户一侧延伸的法线与将所述虚拟光源和所述空间悬浮影像的显示面的中央的点连接的线之间的角度。
9.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
显示在所述空间悬浮影像的显示面上的虚拟影子的延伸方向的角度,与由所述空间悬浮影像显示装置具有的摄像部拍摄到的所述用户的手指的角度联动地变化。
10.如权利要求1所述的空间悬浮影像显示装置,其特征在于:
显示在所述空间悬浮影像的显示面上的虚拟影子的延伸方向的角度,不与由所述空间悬浮影像显示装置具有的摄像部拍摄到的所述用户的手指的角度联动,为固定的角度。
11.一种空间悬浮影像显示装置,其特征在于,包括:
显示影像的显示装置;
回归性反射部件,其使来自所述显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像;
传感器,其检测用户的手指对所述空间悬浮影像中显示的1个以上的对象进行的触摸操作;和
控制部,
其中,所述控制部在所述用户对所述对象进行触摸操作时,基于使用所述传感器得到的触摸操作的检测结果,对所述用户进行所述触摸操作的辅助。
12.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
所述空间悬浮影像包括在与所述对象不同的位置显示通过所述触摸操作输入的内容的输入内容显示区域。
13.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
在所述对象被触摸时清除被触摸了的所述对象,显示表示与被触摸了的所述对象对应的内容的替换对象。
14.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
在所述对象被触摸时使被触摸的所述对象点亮。
15.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
在所述对象被触摸时使被触摸的所述对象闪烁。
16.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
所述用户使用触摸输入装置进行所述触摸操作,在所述对象被触摸时使所述触摸输入装置振动。
17.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
在所述对象被触摸时使所述用户持有的终端振动。
18.如权利要求17所述的空间悬浮影像显示装置,其特征在于:
所述终端是可穿戴终端。
19.如权利要求17所述的空间悬浮影像显示装置,其特征在于:
所述终端是智能手机。
20.如权利要求11所述的空间悬浮影像显示装置,其特征在于:
在所述对象被触摸时,从所述空间悬浮影像显示装置具有的通信部输出用于使配置于所述用户的脚下的振动板振动的控制信号。
21.一种空间悬浮影像显示装置,其特征在于,包括:
显示影像的显示装置;和
回归反射板,其使来自所述显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像,
其中,在所述空间悬浮影像的显示范围中,存在显示有对象的区域,且配置了将显示有所述对象的区域包围的黑色显示区域,并且配置了将所述黑色显示区域包围的边框影像显示区域。
22.如权利要求21所述的空间悬浮影像显示装置,其特征在于:
所述黑色显示区域是在与所述空间悬浮影像对应的所述显示装置的显示影像中不存在具有亮度的影像信息的区域。
23.如权利要求21所述的空间悬浮影像显示装置,其特征在于:
包括传感器,其检测对所述对象进行触摸操作的用户的手指的位置。
24.如权利要求23所述的空间悬浮影像显示装置,其特征在于:
在所述对象的附近显示表示所述对象是能够进行触摸操作的对象的消息。
25.如权利要求24所述的空间悬浮影像显示装置,其特征在于:
除了所述消息之外还显示指示所述对象的标记。
26.如权利要求21所述的空间悬浮影像显示装置,其特征在于:
具有以从周围包围所述空间悬浮影像的方式配置的物理边框。
27.如权利要求26所述的空间悬浮影像显示装置,其特征在于:
所述边框影像显示区域的显示颜色是与所述物理边框的颜色同色系的颜色。
28.如权利要求26所述的空间悬浮影像显示装置,其特征在于:
所述物理边框形成将收纳所述显示装置和所述回归反射板的收纳部覆盖的罩结构的开口窗。
29.如权利要求28所述的空间悬浮影像显示装置,其特征在于:
在所述罩结构的内部,具有从所述开口窗的附近向收纳所述显示装置和所述回归反射板的收纳部延伸的遮光板。
30.如权利要求29所述的空间悬浮影像显示装置,其特征在于:
所述遮光板构成筒型的四棱柱。
31.如权利要求29所述的空间悬浮影像显示装置,其特征在于:
所述遮光板构成四棱台。
32.如权利要求31所述的空间悬浮影像显示装置,其特征在于:
所述四棱台的形状是从所述开口窗的附近向收纳所述显示装置和所述回归反射板的收纳部去而逐渐扩大的形状。
33.一种空间悬浮影像显示装置,其特征在于,包括:
显示影像的显示装置;
回归反射板,其使来自所述显示装置的影像光反射,利用反射的光在空中形成空间悬浮影像;和
物理边框,其以从周围包围所述空间悬浮影像的方式配置,
其中,所述物理边框形成将收纳所述显示装置和所述回归反射板的收纳部覆盖的罩结构的开口窗,
具有从所述开口窗的附近向收纳所述显示装置和所述回归反射板的所述收纳部延伸的遮光板。
34.如权利要求33所述的空间悬浮影像显示装置,其特征在于:
所述遮光板构成筒型的四棱柱。
35.如权利要求33所述的空间悬浮影像显示装置,其特征在于:
所述遮光板构成四棱台。
36.如权利要求35所述的空间悬浮影像显示装置,其特征在于:
所述四棱台的形状是从所述开口窗的附近向收纳所述显示装置和所述回归反射板的收纳部去而逐渐扩大的形状。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-211142 | 2020-12-21 | ||
JP2021109317A JP2023006618A (ja) | 2021-06-30 | 2021-06-30 | 空間浮遊映像表示装置 |
JP2021-109317 | 2021-06-30 | ||
PCT/JP2021/045901 WO2022138297A1 (ja) | 2020-12-21 | 2021-12-13 | 空間浮遊映像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116783644A true CN116783644A (zh) | 2023-09-19 |
Family
ID=85107502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180086904.9A Pending CN116783644A (zh) | 2020-12-21 | 2021-12-13 | 空间悬浮影像显示装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023006618A (zh) |
CN (1) | CN116783644A (zh) |
-
2021
- 2021-06-30 JP JP2021109317A patent/JP2023006618A/ja active Pending
- 2021-12-13 CN CN202180086904.9A patent/CN116783644A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023006618A (ja) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6270898B2 (ja) | 非接触入力方法 | |
JP6757779B2 (ja) | 非接触入力装置 | |
JP2016154035A5 (zh) | ||
US20100225564A1 (en) | Image display device | |
WO2022138297A1 (ja) | 空間浮遊映像表示装置 | |
WO2022137940A1 (ja) | 空間浮遊映像表示装置 | |
CN115997157A (zh) | 空间悬浮影像信息显示***和其中使用的光源装置 | |
WO2022113745A1 (ja) | 空間浮遊映像表示装置 | |
US20240036634A1 (en) | Air floating video display apparatus | |
JP2022097901A (ja) | 空間浮遊映像表示装置 | |
WO2023276921A1 (ja) | 空中浮遊映像表示装置 | |
JP6663736B2 (ja) | 非接触表示入力装置及び方法 | |
CN116783644A (zh) | 空间悬浮影像显示装置 | |
CN116348806A (zh) | 空间悬浮影像显示装置以及光源装置 | |
JP5856357B1 (ja) | 非接触入力装置及び方法 | |
WO2022270384A1 (ja) | 空中浮遊映像表示システム | |
WO2023068021A1 (ja) | 空中浮遊映像表示システム | |
WO2023112463A1 (ja) | 空間浮遊映像情報表示システム | |
WO2023162690A1 (ja) | 空中浮遊映像表示装置 | |
JP5957611B1 (ja) | 非接触入力装置及び方法 | |
JP2022089271A (ja) | 空間浮遊映像表示装置 | |
CN118235080A (zh) | 空中悬浮影像显示装置 | |
CN117837138A (zh) | 空间悬浮影像信息显示***及其所使用的立体感测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |