JP2017227683A - 空中映像表示装置 - Google Patents

Abstract

【課題】反射型空中結像素子の欠陥による空中映像の歪を防止できる空中映像表示装置を提供する。【解決手段】入力画像Ｐを表示する画像表示部２０と、入力画像Ｐに対応する空中映像ＦＩを結像する反射型空中結像素子１０と、空中映像ＦＩの観察位置Ｅを検出する位置検出部３０と、反射型空中結像素子１０の欠陥による空中映像ＦＩの歪を、入力画像Ｐの変形によって補正する画像補正部４０と、を備え、画像補正部４０が観察位置Ｅに応じて入力画像Ｐに対して異なる変形を施す。【選択図】図２

Description

本発明は、被投影物の実像を空中に結像させる反射型空中結像素子を備えた空中映像表示装置に関する。

従来の空中映像表示装置は特許文献１に開示されている。この空中映像表示装置は反射型空中結像素子及び光源を備える。反射型空中結像素子は２枚の平板状の光学素子を上下に重ねて形成される。光学素子は反射面を有した透明な複数の基材を接着剤により接着して形成される。反射面はアルミニウム等の蒸着により光学素子の厚み方向に平行に形成され、厚み方向に垂直な方向に所定周期で配されている。２枚の光学素子を反射面が互いに直交するように接着して反射型空中結像素子が形成される。光源は反射型空中結像素子の下方に配置した被投影物に向けて光を照射する。

上記構成の空中映像表示装置において、反射型空中結像素子の下方に被投影物を配置し、光源を点灯して被投影物に向けて光を照射する。被投影物で反射した光の一部は下方の光学素子に下面から入射し、反射面で反射した後に上方の光学素子に入射する。上方の光学素子の反射面で反射した光は反射型空中結像素子の上面から出射し、反射型空中結像素子に対して被投影物と面対称の位置の空中で被投影物の実像が結像される。これにより、被投影物の映像が空中に浮かんだ状態で表示される。すなわち、被投影物の空中映像が表示される。

光学素子の製造工程では、透明基板の板厚方向に垂直な面にアルミニウムの蒸着により反射面が形成され、複数の透明基板を板厚方向に積層して接着することにより積層体が形成される。積層体を反射面に垂直な方向で所定間隔で切断することにより光学素子が得られる。そして、一対の光学素子を反射面が互いに直交するように厚み方向に並設して接着することにより反射型空中結像素子が得られる。

上記の空中映像表示装置によると、光学素子の形成時に積層される透明基板間の異物混入や透明基板の平面精度等による欠陥が反射型空中結像素子に生じる場合がある。このため、反射型空中結像素子の欠陥による空中映像の歪が発生する問題があった。

特開２０１２−１５５３４５号公報（第７頁、第８頁、第４図、第５図）

本発明は、反射型空中結像素子の欠陥による空中映像の歪を防止できる空中映像表示装置を提供することを目的とする。

上記目的を達成するために本発明は、
入力画像を表示する画像表示部と、
前記入力画像に対応する空中映像を結像する反射型空中結像素子と、
空中映像の観察位置を検出する位置検出部と、
前記反射型空中結像素子の欠陥による空中映像の歪を、前記入力画像の変形によって補正する画像補正部と、
を備え、前記画像補正部が前記観察位置に応じて前記入力画像に対して異なる変形を施すことを特徴としている。

また本発明は、上記構成の空中映像表示装置において、前記反射型空中結像素子の欠陥の発生位置及び欠陥による空中映像の結像位置の偏位量を記憶する記憶部を備え、前記観察位置に応じて前記発生位置に対応した前記入力画像上の補正位置を導出し、前記補正位置に対して前記偏位量の変形を行うと好ましい。

また本発明は、上記構成の空中映像表示装置において、所定の前記観察位置における前記補正位置を前記記憶部に記憶し、前記観察位置に応じて前記補正位置を移動させると好ましい。

また本発明は、上記構成の空中映像表示装置において、前記反射型空中結像素子の欠陥の発生位置に対応する前記入力画像上の補正位置を前記観察位置に関連付けて記憶するとともに、欠陥による空中映像の結像位置の偏位量を記憶する記憶部を備え、前記観察位置に応じて前記補正位置に対して前記偏位量の変形を行うと好ましい。

また本発明は、上記構成の空中映像表示装置において、前記位置検出部は観察者の目の位置を検出して前記観察位置を検出すると好ましい。

また本発明は、上記構成の空中映像表示装置において、前記位置検出部は観察者を撮像する３Ｄカメラを有し、前記３Ｄカメラにより撮像された画像から観察者の目の位置を検出すると好ましい。

また本発明は、上記構成の空中映像表示装置において、前記位置検出部は観察者を撮像する２Ｄカメラと、観察者との距離を検出する距離センサーとを有し、前記２Ｄカメラにより撮像された画像及び前記距離センサーの検出結果から観察者の目の位置を検出すると好ましい。

本発明によると、画像補正部が反射型空中結像素子の欠陥による空中映像の歪を入力画像の変形により補正し、空中映像の観察位置に応じて入力画像に対して異なる変形を施す。これにより、反射型空中結像素子の欠陥及び空中映像の観察位置に拘わらず、歪みのない空中映像を観察することができる。

本発明の第１実施形態の空中映像表示装置を示す斜視図 本発明の第１実施形態の空中映像表示装置を示す側面図 本発明の第１実施形態の空中映像表示装置の反射型空中結像素子を拡大した斜視図 本発明の第１実施形態の空中映像表示装置の反射型空中結像素子を示す平面図 本発明の第１実施形態の空中映像表示装置の反射型空中結像素子に用いる光学素子を示す斜視図 本発明の第１実施形態の空中映像表示装置の反射型空中結像素子に用いる光学素子の基材間の接着部分を拡大した側面図 本発明の第１実施形態の空中映像表示装置の構成を示すブロック図 本発明の第１実施形態の空中映像表示装置の画像表示部に表示される変形前の入力画像の一例を示す正面図 本発明の第１実施形態の空中映像表示装置の観察位置Ｅａで観察される補正前の空中映像の一例を示す正面図 本発明の第１実施形態の空中映像表示装置の観察位置Ｅａで観察される空中映像に対応する画像表示部上の変形後の入力画像の一例を示す正面図 本発明の第１実施形態の空中映像表示装置の観察位置Ｅｂで観察される補正前の空中映像の一例を示す正面図 本発明の第１実施形態の空中映像表示装置の観察位置Ｅｂで観察される空中映像に対応する画像表示部上の変形後の入力画像の一例を示す正面図 本発明の第１実施形態の空中映像表示装置の画像表示部上の補正位置の移動の様子の一例を示す図 本発明の第２実施形態の空中映像表示装置を示す側面図

＜第１実施形態＞
以下に図面を参照して本発明の実施形態を説明する。図１及び図２は第１実施形態の空中映像表示装置の斜視図及び側面図をそれぞれ示している。Ｘ方向、Ｙ方向及びＺ方向は空中映像表示装置１の反射型空中結像素子１０の幅方向、厚み方向及び奥行方向をそれぞれ示している。

空中映像表示装置１は反射型空中結像素子１０、画像表示部２０及び位置検出部３０を有する。反射型空中結像素子１０は２枚の平板状の光学素子１１を厚み方向（Ｙ方向）に並設して形成され、被投影物ＯＢに対応する空中映像ＦＩを結像する。下方の光学素子１１の下面は光が入射する入射面１８になるとともに、上方の光学素子１１の上面は光が出射する出射面１９になる。

画像表示部２０は反射型空中結像素子１０よりも下方に配され、表示パネル２１及び光源（不図示）を有する。表示パネル２１は例えば液晶表示パネルから成り、被投影物ＯＢである入力画像Ｐを表示する。光源は例えばＬＥＤから成り、白色の照明光を出射する。表示パネル２１に表示された入力画像Ｐからの光の光軸が約４５°の入射角で入射面１８に入射するように表示パネル２１は配置される。なお、ＣＣＦＬ（Cold Cathode Fluorescent Lamp）により光源を形成してもよい。

位置検出部３０は観察者の目ＥＹを撮像する３Ｄカメラ３１（ステレオカメラ）を有する。３Ｄカメラ３１は二つの撮像素子（不図示）及び各撮像素子に対応するレンズ（不図示）を有し、位置検出部３０は両撮像素子によって撮像された撮像画像から画像処理に基づいて観察者の目ＥＹの位置を抽出する。また、位置検出部３０は、二つの撮像素子によって撮像された撮像画像の視差から三角測量法を用いて目ＥＹまでの距離を検出する。これにより、位置検出部３０は目ＥＹの位置を容易に検出して、空中映像ＦＩの観察位置Ｅを容易に検出することができる。

この時、反射型空中結像素子１０、画像表示部２０及び位置検出部３０は空中映像表示装置１内の予め決められた位置に配置される。これにより、反射型空中結像素子１０と観察位置Ｅとの位置関係及び反射型空中結像素子１０と空中映像ＦＩとの位置関係は容易に規定される。

なお、例えば観察者の顔面に対向して位置検出部３０を配置できず３Ｄカメラ３１が目ＥＹを直接撮像できない場合には観察者の頭部を撮像し、位置検出部３０はその撮像画像から目ＥＹの位置を推定してもよい。また、観察者の頭部に限らず他の人体部位の位置（例えば肩や腰等の位置）を３Ｄカメラ３１で撮像し、位置検出部３０はその撮像画像から目ＥＹの位置を推定してもよい。また、上記のように３Ｄカメラ３１により観察者の目以外の人体部位を撮像して位置検出部３０が目の位置を推定することも観察者の目ＥＹの位置を検出することに含まれる。

図３は反射型空中結像素子１０の拡大した斜視図を示している。図４は反射型空中結像素子１０の平面図を示している。図５は光学素子１１の斜視図を示している。なお、図３において矢印Ｑは光路を示している。光学素子１１の平面形状は一辺の長さが例えば約２００ｍｍの略正方形に形成される。光学素子１１は光透過性材料により形成され、厚み方向（Ｙ方向）に平行な反射面１４が所定周期Ｔ（例えば、０．５ｍｍ）で平行に配される。

光学素子１１は両面に反射面１４を形成した透明な複数の基材１２を反射面１４上に配した接着剤１３（図６参照）により接着して形成される。基材１２はアクリル樹脂等の透明な樹脂やガラスにより形成される。接着剤１３は例えばエポキシ樹脂やアクリル樹脂等から成る主剤と例えばポリアミド樹脂等から成る硬化剤とを混合した二液混合型の接着剤から成る。

反射面１４は基材１２上に例えばアルミニウムや銀等のスパッタや蒸着を行って形成される。

図６は隣接する基材１２間の接着部分を拡大した側面図を示している。隣接する基材１２間には反射面１４上にドット状の複数のスペーサー１５が平面視でマトリクス状に配置されている。スペーサー１５は例えば紫外線硬化性樹脂から成り、高さＨ（反射面１４に垂直な方向の突出量）が２０μｍ±１μｍの範囲内で形成され、直交する二方向に所定のピッチＥ（本実施形態では１ｍｍ）で配置される。これにより、各接着剤１３の層の膜厚を揃えることができ、複数の反射面１４を互いに平行に維持することができる。

反射型空中結像素子１０は下方の光学素子１１の反射面１４が延びる方向と上方の光学素子１１の反射面１４が延びる方向とが互いに直交するように２枚の光学素子１１を厚み方向（Ｙ方向）に重ねて形成される。

図７は空中映像表示装置１の構成を示すブロック図である。空中映像表示装置１は各部を制御する制御部１００を有する。制御部１００には画像表示部２０、位置検出部３０、画像補正部４０及び記憶部５０が接続される。画像補正部４０は、後述のように、画像表示部２０に表示する入力画像Ｐを変形して、反射型空中結像素子１０の欠陥による空中映像ＦＩの歪を補正する。記憶部５０は空中映像表示装置１の制御プログラム及び各種データを格納する。記憶部５０が記憶するデータには反射型空中結像素子１０の複数の欠陥の発生位置Ｄ（図２参照）が含まれる。

上記構成の空中映像表示装置１において、画像表示部２０の光源が点灯されて表示パネル２１上に入力画像Ｐ（被投影物ＯＢ）が表示されると、入力画像Ｐからの光は矢印Ｑ（図３参照）で示すように、下方の光学素子１１に入射面１８から入射し、下方の光学素子１１の反射面１４で反射した後に上方の光学素子１１に入射する。

上方の光学素子１１の反射面１４で反射した光は反射型空中結像素子１０の上面の出射面１９から上方へ出射され、反射型空中結像素子１０に対して入力画像Ｐと面対称の位置の空中で入力画像Ｐの実像（空中映像ＦＩ）が結像される。これにより、入力画像Ｐに対応する空中映像ＦＩが空中に浮かんだ状態で表示される。

この時、図４に示すように、入射面１８に平行な面に投影して使用者の視線方向ＥＬに対して光学素子１１の反射面１４が４５゜傾斜すると、空中映像ＦＩの視認性を最良にできる。

なお、光学素子１１の基材１２間の接着剤１３（図６参照）に例えば４５°の入射角で入射した光は反射面１４で数十回反射した後に接着剤１３から出射される。これにより、接着剤１３に入射した光は大きく減衰して出射されるため、空中映像ＦＩの結像には殆ど寄与しない。したがって、光学素子１１の基材１２間の接着剤１３にスペーサー１５を配置しても大きな支障はない。

また、入力画像Ｐが例えば商品等に関する情報であれば、空中映像ＦＩにより商品等の広告宣伝を行うことができる。なお、空中映像表示装置１をゲーム機等に搭載してもよい。

以下、光学素子１１及び反射型空中結像素子１０の形成方法について説明する。矩形の薄板状の透明な基板（不図示）の板厚方向に垂直な両面にアルミニウムや銀等のスパッタや蒸着等によって反射面１４を形成する。基板はアクリル樹脂またはガラスにより形成される。なお、基板の板厚方向に垂直な面の一方のみに反射面１４を形成してもよい。

次に、反射面１４を形成した複数の基板をスペーサー１５を介して板厚方向に積層して積層体（不図示）を形成する。積層体を貯留槽（不図示）内の液状の接着剤１３に浸漬して積層体の隣接する基板間に接着剤１３を充填する。次に、積層体を貯留槽から引き上げ、接着剤１３の硬化により積層体を固着する。固着された積層体を反射面１４に垂直な方向にワイヤーソー等を用いて所定周期で切断することにより、光学素子１１の素材が得られる。光学素子１１の素材の反射面１４に垂直な面を研磨することにより光学素子１１が得られる。次に、反射面１４が延びる方向が互いに直交するように２枚の光学素子１１を厚み方向（Ｙ方向）に並設して接着剤等で接合することにより、図１に示す反射型空中結像素子１０が得られる。

光学素子１１の形成時に、積層される基板間の異物混入や基板の平面精度により、反射面１４の平面度や反射面１４同士の平行度の低い欠陥が光学素子１１に発生する。例えば、図２において、表示パネル２１上の入力画像Ｐからの光の一部Ｑ１は光学素子１１の欠陥の発生位置Ｄａの反射面１４で反射し、空中映像ＦＩの周縁部の位置Ｆａで結像した後に観察位置Ｅａの目ＥＹに入射する。この時、光Ｑ１は欠陥の発生位置Ｄａの反射面１４で反射しているため、空中映像ＦＩの位置Ｆａは所望の（本来の）結像の位置Ｆａ´（図９参照）からずれている。

ここで、空中映像ＦＩにおいて本来の結像位置と歪による結像位置との距離を反射型空中結像素子１０の欠陥による空中映像ＦＩの結像位置の偏位量（本来の結像位置からのズレ量）とする。

そこで、本実施形態の空中映像表示装置１の画像補正部４０（図７参照）は、画像表示部２０に表示する入力画像Ｐを変形して、反射型空中結像素子１０の欠陥による空中映像ＦＩの歪を補正する。

上記の形成方法で形成された反射型空中結像素子１０を空中映像表示装置１内の所定の位置に設置する。また、画像表示部２０及び位置検出部３０をそれぞれ空中映像表示装置１内の所定の位置に設置する。この時、表示パネル２１が反射型空中結像素子１０の入射面１８に対して４５°傾斜するように画像表示部２０を配置する。

次に、反射型空中結像素子１０の欠陥の発生位置Ｄの特定の方法について説明する。画像表示部２０の光源を点灯し、画像表示部２０の表示パネル２１上に入力画像Ｐを表示する。

図８は入力画像Ｐの一例である格子状のチャート画像の正面図を示している。反射型空中結像素子１０によって、入力画像Ｐに対応する空中映像ＦＩが結像される。この時、空中映像ＦＩの観察位置Ｅを例えば観察位置Ｅａ（図２参照）に固定して、カメラ等の撮像装置による撮像によって空中映像ＦＩの歪の有無及び位置を調べる。

図９はこの時に観察位置Ｅａで観察された空中映像ＦＩの正面図である。同図において、左上部の位置Ｆａの周辺で空中映像ＦＩの歪が発生している。空中映像ＦＩの歪は３本の横線（上から３〜５段目）が上方向に湾曲して観察されている。また、観察位置Ｅａは位置検出部３０により検出される。

次に、空中映像ＦＩの歪に基づいて、反射型空中結像素子１０の欠陥の発生位置Ｄを特定する。具体的には、画像補正部４０は観察位置Ｅａの目ＥＹと位置Ｆａとを結ぶ直線の延長線に交差する光学素子１１の反射面１４が位置Ｆａに対応する欠陥の発生位置Ｄａと特定する。また、位置Ｆａ´と位置Ｆａとの距離（例えば２ｍｍ）が発生位置Ｄａでの欠陥による空中映像ＦＩの結像位置の偏位量（本来の結像位置からのズレ量）となる。

そして、画像補正部４０は位置Ｆａ以外に図９の横線と縦線との交点位置の全てに対して上記同様にそれぞれ欠陥の発生位置Ｄを特定し、図９の各交点（位置Ｆａを含む）に対応する反射型空中結像素子１０の欠陥の発生位置Ｄ及び欠陥による偏位量を全て記憶部５０に記憶させる。なお、隣接する交点間の上記欠陥による偏位量は画像補正部４０により補間される。この時、空中映像ＦＩの歪のない交点（例えば図９の中央部分）では偏位量は０と記憶される。この時、例えば、平面視で光学素子１１の直交する二辺に平行な軸をＡ軸及びＢ軸とし、欠陥の各発生位置ＤをＡ軸及びＢ軸に対する座標により記憶部５０に記憶させてもよい。これにより、空中映像表示装置１は、反射型空中結像素子１０の欠陥の発生位置Ｄ及び欠陥による偏位量を保持することができ、後述の画像補正部４０による補正を容易に行うことができる。以上により、図１に示す空中映像表示装置１が形成される。

上記構成の空中映像表示装置１において、空中映像ＦＩの歪の補正の方法について、観察位置Ｅａ、Ｅｂの場合を代表して説明する。なお、観察位置Ｅが３箇所以上の場合も同様である。まず、位置検出部３０により空中映像ＦＩの観察位置Ｅａが検出されると、画像補正部４０は反射型空中結像素子１０の欠陥の発生位置Ｄａに対応した入力画像Ｐ上の補正位置Ｐａを導出する。この時、前述のように空中映像ＦＩの位置Ｆａは発生位置Ｄａに対応している。同様に画像補正部４０は反射型空中結像素子１０の欠陥の各発生位置Ｄにそれぞれ対応した入力画像Ｐ上の各補正位置を導出する。

画像補正部４０による補正が行われない場合には、表示パネル２１上の画像Ｐの位置Ｐａ（図２、図８参照）からの光Ｑ１（図２参照）は欠陥の発生位置Ｄａの反射面１４で反射した後に空中映像ＦＩの位置Ｆａで結像する。その後に、光Ｑ１は観察位置Ｅａの目ＥＹに入射する。この時、図９に示すように、位置Ｆａは本来の（所望の）結像の位置Ｆａ´からずれているため、観察者は空中映像ＦＩの歪みを観察する。

そして、画像補正部４０は入力画像Ｐ上の補正位置Ｐａに対して空中映像ＦＩの結像の位置ずれを打ち消す方向に偏位量（例えば２ｍｍ）の変形を行う。これにより、画像Ｐは位置Ｐａ（図８参照）で位置Ｐａ´（図１０参照）まで変形され、位置Ｆａは位置Ｆａ´（図９参照）に重なる。同様に、画像補正部４０は入力画像Ｐ上の各補正位置に対して空中映像ＦＩの結像位置ずれを打ち消す方向に各偏位量の変形を行う。なお、偏位量が０の補正位置では入力画像Ｐは変形されないことになる。

これにより、図８に示す入力画像Ｐが変形され、図１０に示す変形後（補正後）の入力画像Ｐ´が形成される。したがって、画像補正部４０によって空中映像ＦＩの歪が補正され、観察位置Ｅａの観察者は図８に示す入力画像Ｐに対応する空中映像ＦＩを歪なく観察することができる。

この時、反射型空中結像素子１０の欠陥の各発生位置Ｄは記憶部５０に記憶されているため、画像補正部４０は空中映像ＦＩ上の歪が生じる位置に対応する入力画像Ｐの補正位置を迅速に把握することができる。

次に、観察者の目ＥＹの位置が観察位置Ｅａから観察位置Ｅｂ（図２参照）に移動した場合について説明する。位置検出部３０により空中映像ＦＩの観察位置Ｅｂが検出されると、画像補正部４０は反射型空中結像素子１０の欠陥の発生位置Ｄａに対応した入力画像Ｐ上の補正位置Ｐｂを導出する。この時、補正位置Ｐｂは観察位置Ｅｂの目ＥＹと発生位置Ｄａとを結ぶ光Ｑ２の軌跡から導出することができる。同様に画像補正部４０は反射型空中結像素子１０の欠陥の各発生位置Ｄに対応した入力画像Ｐ上の各補正位置を導出する。

画像補正部４０による歪補正が行われない場合には、表示パネル２１上の画像Ｐの補正位置Ｐｂ（図２、図８参照）からの光Ｑ２は欠陥の発生位置Ｄａの反射面１４で反射した後に空中映像ＦＩの中央部の位置Ｆｂで結像する。その後に、光Ｑ２は観察位置Ｅｂの目ＥＹに入射する。この時、図１１に示すように、位置Ｆｂは本来の（所望の）結像の位置Ｆｂ´からずれているため、観察者は空中映像ＦＩの歪みを観察する。

図１１において、左部の中央部で位置Ｆｂの周辺で空中映像ＦＩの歪みが発生している。空中映像ＦＩの歪みは３本の横線が上方向に湾曲して観察される。

そして、画像補正部４０は入力画像Ｐ上の補正位置Ｐｂに対して空中映像ＦＩの結像の位置ずれを打ち消す方向に偏位量（例えば２ｍｍ）の変形を行う。これにより、画像Ｐは位置Ｐｂ（図８参照）で位置Ｐｂ´（図１２参照）まで変形され、位置Ｆｂは位置Ｆｂ´（図１１参照）に重なる。同様に、画像補正部４０は入力画像Ｐ上の各補正位置に対して空中映像ＦＩの結像の位置ずれを打ち消す方向に各偏位量の変形を行う。

これにより、図８に示す入力画像Ｐが変形され、図１２に示す変形後（補正後）の入力画像Ｐ´が形成される。したがって、画像補正部４０によって空中映像ＦＩの歪が補正され、観察位置Ｅｂの観察者は図８に示す画像Ｐに対応する空中映像ＦＩを歪なく観察することができる。この時、観察位置Ｅｂにおける変形後の入力画像Ｐ´（図１２参照）は観察位置Ｅａにおける変形後の入力画像Ｐ´（図１０参照）とは異なっている。すなわち、画像補正部４０は観察位置Ｅａ、Ｅｂに応じて入力画像Ｐに対して異なる変形を施している。

なお、図２において、表示パネル２１上の画像Ｐの位置Ｐｂからの光Ｑ３は欠陥の発生位置Ｄ以外の反射面１４で反射し、空中映像ＦＩの中央部の本来の結像位置で結像する。その後に、光Ｑ３は観察位置Ｅａの観察者の目に入射する。この時、観察者は空中映像ＦＩの中央部の歪を観察しない。

なお、例えば観察位置Ｅａにおける入力画像Ｐ上の補正位置Ｐａを記憶部５０に記憶し、観察位置Ｅａ、Ｅｂに応じて入力画像Ｐ上の各補正位置を移動させてもよい。具体的には、補正位置Ｐａを基準にし、その他の各補正位置を補正位置Ｐａに対する相対座標で示し、補正位置Ｐａが移動した場合に相対座標からその他の各補正位置を導出する。これにより、空中映像ＦＩの歪をより一層迅速に補正することができる。

図１３は、上記のように観察位置Ｅａ、Ｅｂに応じて入力画像Ｐ上の各補正位置を移動させた様子の一例を示す図である。図中、破線Ｋで囲まれた領域内の湾曲した一点鎖線は観察位置Ｅａにおける位置Ｐａ´周辺の変形後の入力画像Ｐ´（変形領域）を示している。また、図中、破線Ｋ´で囲まれた領域内の湾曲した実線は観察位置Ｅｂにおける位置Ｐｂ´周辺の変形後の入力画像Ｐ´（変形領域）を示している。補正位置Ｐａ（図８参照）が補正位置Ｐｂ（図８参照）に移動すると、各補正位置が移動して変形領域が破線Ｋで囲む領域から破線Ｋ´で囲む領域へ移動する。

なお、目ＥＹの移動量が所定量未満の場合には目ＥＹの移動に応じた画像補正部４０による入力画像Ｐの変形を実施しないことが望ましい。これにより、画像補正部４０による補正処理の煩雑化を防止できるとともに、補正処理の遅れによる違和感のある空中映像ＦＩの表示を防止できる。

また、目ＥＹの移動速度が所定速度以上の場合には目ＥＹの移動中には画像補正部４０による入力画像Ｐの変形を実施しないことが望ましい。これにより、画像補正部４０の負担を軽減することができる。

本実施形態によると、画像補正部４０が反射型空中結像素子１０の欠陥による空中映像ＦＩの歪を入力画像Ｐの変形により補正し、空中映像ＦＩの観察位置Ｅａ、Ｅｂに応じて入力画像Ｐに対して異なる変形を施す。これにより、反射型空中結像素子１０の欠陥及び空中映像の観察位置Ｅａ、Ｅｂに拘わらず、歪みのない空中映像ＦＩを観察することができる。

また、反射型空中結像素子１０の欠陥の発生位置Ｄ及び欠陥による空中映像ＦＩの結像位置の偏位量を記憶する記憶部５０を備え、観察位置Ｅａ、Ｅｂに応じて欠陥の発生位置Ｄに対応した入力画像Ｐ上の補正位置を導出し、補正位置に対して偏位量の変形を行う。これにより、空中映像ＦＩの歪をより迅速に補正することができる。

また、観察位置Ｅａにおける入力画像Ｐ上の補正位置Ｐａを記憶部５０に記憶し、観察位置Ｅａ、Ｅｂに応じて入力画像Ｐ上の補正位置を移動させると、画像補正部４０による補正処理が簡素化され、空中映像ＦＩの歪をより一層迅速に補正することができる。

また、位置検出部３０は観察者の目の位置を検出して観察位置Ｅを検出する。これにより、歪のない良好な空中映像ＦＩの提供をより容易に実現することができる。

また、位置検出部３０は観察者を撮像する３Ｄカメラ３１を有し、３Ｄカメラ３１により撮像された画像から観察者の目ＥＹの位置を検出する。これにより、位置検出部３０を容易に実現することができる。

＜第２実施形態＞
次に本発明の第２実施形態について説明する。本実施形態では記憶部５０の記憶するデータが第１実施形態とは異なっている。その他の部分は第１実施形態と同様である。

記憶部５０（図７参照）は反射型空中結像素子１０の欠陥の各発生位置Ｄに対応する入力画像Ｐ上の各補正位置を観察位置Ｅａ、Ｅｂに関連付けて記憶する。また、記憶部５０は反射型空中結像素子１０の欠陥による空中映像ＦＩの結像位置の偏位量を各発生位置Ｄに対応して記憶する。例えば、観察位置Ｅが観察位置Ｅａであり欠陥の発生位置Ｄが発生位置Ｄａの場合、偏位量が２ｍｍ、入力画像Ｐ上の補正位置が補正位置Ｐａと記憶部５０に記憶される。なお、観察位置Ｅが観察位置Ｅａと観察位置Ｅｂとの間にある場合には、画像補正部４０は補間によって対応する偏位量を導出する。本実施形態では、第１実施形態とは異なり、記憶部５０は反射型空中結像素子１０の欠陥の各発生位置Ｄを記憶しない。そして、画像補正部４０は観察位置Ｅａ、Ｅｂに応じて入力画像Ｐ上の補正位置に対して偏位量の変形を行う。これにより、画像補正部４０による補正処理の速度を上昇させることができる。

本実施形態でも第１実施形態と同様の効果を得ることができる。また、反射型空中結像素子１０の欠陥の発生位置Ｄに対応する入力画像Ｐ上の補正位置を観察位置Ｅａ、Ｅｂに関連付けて記憶するとともに、欠陥による空中映像ＦＩの結像位置の偏位量を記憶する記憶部５０を備えている。これにより、画像補正部４０の補正処理の速度を上昇させることができ、画像補正部４０は空中映像ＦＩの歪をより迅速に補正することができる。

＜第３実施形態＞
次に本発明の第３実施形態について説明する。図１４は第３実施形態の空中映像表示装置の側面図を示している。説明の便宜上、図１〜図１３に示す第１実施形態と同様の部分には同一の符号を付している。本実施形態では位置検出部３０の構成が第１実施形態とは異なっている。その他の部分は第１実施形態と同様である。

位置検出部３０は２Ｄカメラ３２及び距離センサー３３を有する。２Ｄカメラ３２は一つの撮像素子（不図示）及びそれに対応するレンズ（不図示）を有し、位置検出部３０は撮像素子によって撮像された撮像画像から画像処理に基づいて観察者の目ＥＹの位置を抽出する。また、距離センサー３３は観察者の目ＥＹまでの距離を検出する。距離センサー３３に特に限定はないが、例えば超音波レーダー、レーザーレーダー、ミリ波レーダー等を用いることができる。位置検出部３０は、２Ｄカメラ３２による撮像画像及び距離センサー３３の検出結果に基づいて観察者の目ＥＹの位置を検出して観察位置Ｅを検出する。

なお、２Ｄカメラ３２としてオートフォーカス機能を有するカメラを用いてもよい。この場合、焦点を合わせる際のレンズの移動量（繰り出し量）から目ＥＹまでの距離を測定してもよい。この場合には位置検出部３０から距離センサー３３を省くことができる。

本実施形態でも第１実施形態と同様の効果を得ることができる。また、位置検出部３０は２Ｄカメラ３２及び距離センサー３３を有し、２Ｄカメラ３２により撮像された画像及び距離センサー３３の検出結果から観察者の目ＥＹの位置を検出する。これにより、位置検出部３０を容易に実現することができる。

なお、第２実施形態の位置検出部３０において、３Ｄカメラ３１に替えて、本実施形態の２Ｄカメラ３２及び距離センサー３３と同様な２Ｄカメラ及び距離センサーを設けてもよい。

また、第１実施形態〜第３実施形態において、直交する二側面に反射面１４を形成した複数の四角柱を透明な基板上にマトリクス状に配置して反射型空中結像素子１０を形成してもよい。また、透明な基板に断面矩形の複数の貫通孔をマトリクス状に設け、貫通孔の直交する二側面に反射面１４を形成することにより反射型空中結像素子１０を形成してもよい。

本発明は、空中に被投影物の実像を結像させる反射型空中結像素子を備えた空中映像表示装置に利用することができる。

１ 空中映像表示装置
１０ 反射型空中結像素子
１１ 光学素子
１２ 基材
１３ 接着剤
１４ 反射面
１５ スペーサー
１８ 入射面
１９ 出射面
２０ 画像表示部
２１ 表示パネル
３０ 位置検出部
３１ ３Ｄカメラ
３２ ２Ｄカメラ
３３ 距離センサー
４０ 画像補正部
５０ 記憶部
１００ 制御部
ＯＢ 被投影物
ＦＩ 空中映像
Ｐ 画像
Ｐａ、Ｐａ´、Ｐｂ、Ｐｂ´、Ｆａ、Ｆａ´、Ｆｂ、Ｆｂ´ 位置
Ｄａ 発生位置

Claims (7)

1. 入力画像を表示する画像表示部と、
   前記入力画像に対応する空中映像を結像する反射型空中結像素子と、
   空中映像の観察位置を検出する位置検出部と、
   前記反射型空中結像素子の欠陥による空中映像の歪を、前記入力画像の変形によって補正する画像補正部と、
   を備え、前記画像補正部が前記観察位置に応じて前記入力画像に対して異なる変形を施すことを特徴とする空中映像表示装置。
2. 前記反射型空中結像素子の欠陥の発生位置及び欠陥による空中映像の結像位置の偏位量を記憶する記憶部を備え、前記観察位置に応じて前記発生位置に対応した前記入力画像上の補正位置を導出し、前記補正位置に対して前記偏位量の変形を行うことを特徴とする請求項１に記載の空中映像表示装置。
3. 所定の前記観察位置における前記補正位置を前記記憶部に記憶し、前記観察位置に応じて前記補正位置を移動させることを特徴とする請求項２に記載の空中映像表示装置。
4. 前記反射型空中結像素子の欠陥の発生位置に対応する前記入力画像上の補正位置を前記観察位置に関連付けて記憶するとともに、欠陥による空中映像の結像位置の偏位量を記憶する記憶部を備え、前記観察位置に応じて前記補正位置に対して前記偏位量の変形を行うことを特徴とする請求項１に記載の空中映像表示装置。
5. 前記位置検出部は観察者の目の位置を検出して前記観察位置を検出することを特徴とする請求項１〜請求項４のいずれかに記載の空中映像表示装置。
6. 前記位置検出部は観察者を撮像する３Ｄカメラを有し、前記３Ｄカメラにより撮像された画像から観察者の目の位置を検出することを特徴とする請求項５に記載の空中映像表示装置。
7. 前記位置検出部は観察者を撮像する２Ｄカメラと、観察者との距離を検出する距離センサーとを有し、前記２Ｄカメラにより撮像された画像及び前記距離センサーの検出結果から観察者の目の位置を検出することを特徴とすることを特徴とする請求項５に記載の空中映像表示装置。

Images