JP5987395B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関する。

従来から、ヘッドアップディスプレイのような空間に表示された画面を指先で指示して入力操作を行わせる非接触の入力装置が提案されている（例えば、下記の特許文献１参照）。特許文献１では、赤外線を２次元方向に走査して、空間内に入れられた指示物に赤外線が照射されたことを赤外線センサーにより検知し、その空間上の位置を求めて、対応するディスプレイ面上の所定箇所を位置決めする入力装置が説明されている。

また、プロジェクターで表示した画面の前で、指による非接触のタッチ位置入力装置を実現する技術も提案されている（例えば、下記の特許文献２参照）。特許文献２では、スクリーンに投射した画面を撮影し、プロジェクターの投影原画像とカメラからの撮影画像との差異によりタッチ位置を検出している。

特開平８−２０２４８０号公報 特開２０１１−１１８５３３号公報

上述のような特許文献１の入力装置は、赤外線を走査するための走査ミラーや検出しながら追尾するための、複雑な機構や処理が必要である。また、特許文献２のタッチ入力装置は、原理的にスクリーンが存在しないとタッチ位置を検出することは不可能である。このように、従来の技術において、空間に表示された画面を用いて入力可能とするには、装置が大掛かりになること等の不都合がある。本発明は、上述のような事情に鑑みなされたものであり、空間に表示された画面に対する入力を良好に行うことが可能な表示装置を提供することを目的とする。

本発明の第１の態様の表示装置は、画像を生成する画像生成装置と、前記画像生成装置の画像生成面に対して傾斜しており前記画像からの光が入射する素子面を有し、前記素子面に関して前記画像生成面と面対称な実像面に像を結像する結像素子と、前記実像面を含む照明領域を前記結像素子を介して照明する照明部と、前記照明領域を撮影するカメラと、前記カメラが撮影した撮影画像に基づいて、前記実像面を指示する指示体を検出する検出部と、前記結像素子の前記実像面と同じ側に設けられる遮光部材と、を備え、前記照明部は、前記画像生成装置における、前記素子面と対向する側の端面に配置される。

第１の態様の表示装置は、結像素子によって結像した像付近を照明部で照明するとともにカメラで撮影するため、像に触れる指示体が照明されて撮影され、指示体を用いた入力を容易に検出することができる。

第１の態様の表示装置において、前記照明部は、第１の照明状態と第２の照明状態を有し、前記カメラの撮影画像を取得するタイミングと前記照明部の照明状態を関連付けるように、前記撮影画像を取得するタイミングと前記照明状態の一方又は双方を制御する制御部を備え、前記検出部は、前記第１の照明状態で前記カメラが撮影した撮影画像と、前記第２の照明状態で前記カメラが撮影した撮影画像とを比較して、前記指示体を検出してもよい。

この表示装置は、照明状態を異ならせた撮影画像を比較するので、撮影画像に写っている指示体以外の背景などを除くことができ、指示体を精度よく検出できる。

第１の態様の表示装置において、前記照明部は、前記素子面に対して前記画像生成面と同じ側に配置され、前記結像素子を介して前記照明領域を照明してもよい。

この表示装置は、結像素子の集光作用を利用して照明することができ、装置構成をシンプルにすることができる。また、この表示装置は、照明部が素子面に対して像が形成される側と反対側に配置されているので、素子面に対して像が形成される側に配置される部材を減らすことができ、このような部材が像の表示の妨げ等になることが回避される。

第１の態様の表示装置において、前記照明部は、前記実像面に沿って照明光が伝播するように、設けられていてもよい。

この表示装置は、照明光に照らされている指示体の位置を実像面上の位置と精度よく関連付けることができる。

第１の態様の表示装置において、前記照明部は、所定方向に配列された複数の固体光源を備え、前記複数の固体光源から出射して前記所定方向を長手方向とするスポット状の照明光を射出し、前記実像面の法線方向において前記照明光の広がりが制限されるように、設けられていてもよい。

この表示装置は、実像面の法線方向において照明光の広がりが制限されるので、照明光に照らされている指示体を精度よく検出できる。

第１の態様の表示装置において、前記カメラの前記実像面上の撮影範囲は、前記結像素子が前記実像面上に前記像を結像可能な範囲の全域を含んでいてもよい。

この表示装置は、実像面上のいずれの位置に指示体が配置された場合でも指示体を検出できるので、多様な入力に対応可能である。

第１の態様の表示装置は、前記画像生成装置、及び該画像生成装置と対になる前記カメラを含む処理部を複数備えており、前記結像素子は、第１方向を向いて互いに交差する第１組の反射面と、第２方向を向いて互いに交差する第２組の反射面とを含み、第１の前記処理部の前記画像生成装置は、前記画像生成面を前記第１組の反射面に向けて配置されており、第２の前記処理部の前記画像生成装置は、前記画像生成面を前記第２組の反射面に向けて配置されていてもよい。

この表示装置は、複数の方向に像を表示しつつ、複数の方向から入力を受け付けることができるので、例えば複数のユーザーに対応可能である。また、この表示装置は、複数の処理部で結像素子が共通化されるので、部品点数を減らすことができる。

第１の態様の表示装置において、前記画像生成装置は、前記画像生成面を画面とするフラットパネルディスプレイを含んでいてもよい。

この表示装置は、フラットパネルディスプレイの画面に表示される画像を、実像面に結像させて表示でき、装置コストを低減できる。

第１の態様の表示装置において、前記画像生成装置は、前記画像生成面に配置されたスクリーンと、前記スクリーンに前記画像を投射するプロジェクターと、を備えていてもよい。

この表示装置は、プロジェクターがスクリーンに投射する画像を、実像面に結像させて表示でき、明るい像を表示すること等ができる。

第１実施形態における監視装置を模式的に示す斜視図である。 監視装置を模式的に示す側面図である。 （Ａ）は再帰性透過材の例を示す図、（Ｂ）は（Ａ）の拡大図である （Ａ）〜（Ｅ）は、再帰性透過材による結像の原理を示す図である。 照明部の構成を示す２面図である。 指示体の検出方法を示す概念図である。 制御装置の機能構成を示すブロック図である。 制御装置による制御のタイミングを示すタイミングチャートである。 入力方法の一例を示す概念図である。 入力方法の他の例を示す概念図である。 再帰性透過材の変形例１を示す図である。 再帰性透過材の変形例２を示す図である。 第２実施形態における表示装置を示す図である。 第３実施形態における表示装置を示す図である。

次に、実施形態について説明する。実施形態において同様の要素については、同じ符号を付してその説明を簡略化または省略することがある。

［第１実施形態］
図１は、本実施形態の表示装置１の概略構成を模式的に示す斜視図である。図２は、本実施形態の表示装置１を示す側面図である。図３は、再帰性透過材４の構成を示す図であり、図３（Ａ）は再帰性透過材４の厚み方向から見た平面図、図３（Ｂ）は、再帰性透過材４の一部を拡大して示す斜視図である。

図１及び図２に示すように、本実施形態の表示装置１は、フラットパネルディスプレイ２（画像生成装置）、カメラ３（撮影装置）、再帰性透過材４（結像素子）、照明部５（図２に示す）、及び制御装置６を備えている。表示装置１は、フラットパネルディスプレイ２及び再帰性透過材４により画像（実像Ｍ）を表示し、観察者Ｋの指等の指示体をカメラ３によって撮影し、指示体を検出することによって、表示装置１に対する入力を受け付ける。

フラットパネルディスプレイ２（以下、ＦＰＤと略記する）は、制御装置６から入力された画像データに基づいて、画像表示面２ａ（画像生成面）上に画像Ｖを表示する。画像Ｖは、例えば、人物を写した画像、風景を写した画像、文字を示す画像等を含む。ＦＰＤ２は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの一般的なディスプレイで構成される。

再帰性透過材４は、図３（Ａ）及び図３（Ｂ）に示すように、所定の厚みを持った矩形状のガラスなどの板材７に、光が通過（透過）する複数の四角柱状の開口部８が設けられたものである。板材７は、互いにほぼ平行な２つの主面７ａ，７ｂを有し、一方の主面７ａ側から入射した光は、他方の主面７ｂ側から出射する。

なお、本実施形態において、図１等に示すＸＹＺ直交座標系を参照して、表示装置１の各部の位置関係等を説明する場合がある。このＸＹＺ直交座標系は、再帰性透過材４の素子面Ｓ上で互いに直交する２方向がＸ方向、Ｙ方向であり、再帰性透過材４の厚み方向（素子面Ｓの法線方向）がＺ方向である。また、図１及び図２に示すＶ１方向は、ＸＹ平面においてＸ方向とＹ方向のそれぞれに交差する方向であり、例えば矩形板状の再帰性透過材４の対角方向である。

なお、素子面Ｓは、板材７の主面７ａと主面７ｂとに平行な平面であって、板材７の中心を通る（主面７ａからの距離と主面７ｂからの距離が同じ）仮想的な平面である。素子面Ｓは、板材７の厚み方向の中心を通り、板材７の厚み方向（Ｚ方向）と直交する平面としてもよい。

開口部８は、板材７上の互いに直交する２方向（Ｘ方向、Ｙ方向）に、繰り返し配列されている。素子面Ｓの法線方向から見た開口部８の平面形状は、例えば正方形である。本実施形態の再帰性透過材４は、板材７の厚み方向（Ｚ方向）から見て（平面視して）、開口部８の各辺が板材７の各辺とほぼ平行である。

このように、再帰性透過材４は、２方向（ここでは、Ｘ方向及びＹ方向）のそれぞれに周期的な構造（開口部８）を有しており、素子面Ｓは、再帰性透過材４の内部の仮想的な平面であって、周期的な構造が並ぶ２方向のそれぞれに平行な面としてもよい。

開口部８は、その内側を光が通過する光通過部として機能するように、構成されている。開口部８は、その内側が空間（空隙）であってもよいし、その内側に透明性の高い樹脂材料などが充填されていてもよい。

開口部８の４つの内壁面のうち互いに直交する２つの内壁面は、反射面９（第１反射面９ａ、第２反射面９ｂ）になっている。反射面９は、例えば、開口部８に形成された金属反射膜等で構成される。

第１反射面９ａ及び第２反射面９ｂは、いわゆる２面コーナーリフレクターを構成する。第１反射面９ａ及び第２反射面９ｂは、複数の開口部８のいずれにおいても、各開口部８の中心を原点として＋Ｘ方向と＋Ｙ方向の間（第１象限）の任意の方向を向いている。

開口部８の内壁面のうち互いに直交する２つの内壁面が反射面である構成を説明したが、開口部８の４つの内壁面が全て反射面９になっていてもよく、本実施形態においては、開口部８の４つの内壁面は、いずれも反射面９になっている。反射面９のうち第３反射面９ｃは、第２反射面９ｂと直交し、第１反射面９ａとほぼ平行に対向している。反射面９のうち第４反射面９ｄは、第３反射面９ｃと直交し、第２反射面９ｂとほぼ平行に対向している。

反射面９のうち互いに交差して隣接する１対の反射面は、いずれも同じ向きを向いており、この向きから光が入射可能である。例えば、第２反射面９ｂと第３反射面９ｃは、＋Ｘ方向と−Ｙ方向の間（第４象限）の任意の方向を向いている。また、第３反射面９ｃと第４反射面９ｄは、−Ｘ方向と−Ｙ方向の間（第３象限）の任意の方向を向いている。また、第４反射面９ｄと第１反射面９ａは、−Ｘ方向と＋Ｙ方向の間（第２象限）の任意の方向を向いている。

図２に示すように、ＦＰＤ２は、素子面Ｓ及び画像表示面２ａに平行な側方から見ると、画像表示面２ａが再帰性透過材４の素子面Ｓに対して非垂直に傾くように、配置されている。

また、図３（Ａ）に示すように、ＦＰＤ２は、再帰性透過材４の素子面Ｓに垂直な方向から見ると、画像表示面２ａの法線方向２ｂが開口部８の配列方向（Ｘ方向、Ｙ方向）のそれぞれと交差するように、配置されている。換言すると、ＦＰＤ２は、再帰性透過材４の素子面Ｓに垂直な方向から見ると、画像表示面２ａの法線方向が再帰性透過材４の開口部８の２つの反射面９が接する角部の側に向くように傾いて配置されている。

このようなＦＰＤ２と再帰性透過材４の位置関係により、ＦＰＤ２の画像表示面２ａから出射した光は、概ね再帰性透過材４の開口部８の２つの反射面９が接する角部の方向に向けて進む。図１では、図面を見易くするため、再帰性透過材４の開口部８の図示を省略した。再帰性透過材４の開口部８の２つの反射面９が接する角部の位置は、再帰性透過材４の４つの角部のうち、図１に符号Ｒで示した角部の位置に対応する。

ここで、図４（Ａ）〜（Ｅ）を用いて、再帰性透過材４の作用を説明する。図４において、点Ｐは、図２に示した画像Ｖ上の光が射出される点、例えばＦＰＤ２上の各画素を示す。また、点Ｔは、点Ｐから出射した光が再帰性透過材４の反射面９上に入射する点（入射位置）を示す。また、点Ｑは、点Ｐから出射して再帰性透過材４を通った光が結像する点を示す。図４（Ｄ）、図４（Ｅ）は、それぞれ、点Ｔの近傍を拡大視した平面図、側面図である。

上述したように、再帰性透過材４の２つの反射面９（第１反射面９ａ及び第２反射面９ｂ）は、互いに直交している。そのため、図４（Ｄ）に示すように、第２反射面９ｂに入射した光は、第２反射面９ｂで反射した後に、第１反射面９ａに入射して第１反射面９ａで反射し、第２反射面９ｂへ入射してくるときの向きと逆向きに進行する。したがって、反射面９に入射した光は、図４（Ｂ）に示すように素子面Ｓと直交する方向（Ｚ方向）から見たときには、一般の再帰性反射材と同様に、入射方向と同じ方向に反射する。そのため、点ＱをＸＹ平面上に射影した射影点は、点ＰをＸＹ平面上に射影した射影点とほぼ一致する。

また、反射面９に入射した光は、図４（Ｅ）に示すように再帰性透過材４に対する入射面の法線方向（点Ｐ、点Ｔ、点Ｑで作る三角形ＰＴＱの法線方向）から見ると、第１反射面９ａ及び第２反射面９ｂでそれぞれ反射する。そのため、図４（Ｃ）に示すように、反射面９に入射した光は、入射面と素子面Ｓとに直交するように平面ミラーを置いた場合と等価的に、入射角ａと同じ反射角ａで反射する。

このように、点Ｐから出射した光は、図４（Ａ）に示すように点Ｔを経て点Ｑに向かう。一般に、画像Ｖ上の点Ｐから出射した光は、ある程度の角度範囲内に拡散するため、再帰性透過材４の点Ｔ以外の箇所にも入射する。点Ｐから拡散した光は、点Ｔ以外の箇所においても同様に反射するため、点Ｑに集束することになる。すなわち、素子面Ｓの一方側に位置する画像Ｖは、素子面Ｓの他方側の空間における素子面Ｓに対する面対称位置（実像面Ｊ）に結像する。

ここでは、平面的な画像Ｖの１点をＰから出射した光について説明したが、有限の大きさを持った立体的な物体又は像上の各点から出射した光も同様に結像する。よって、再帰性透過材４の下方に立体物が存在した場合、点Ｑの周辺に、再帰性透過材４の素子面Ｓに対して面対称な実像が立体像として形成される。

なお、実像上の点Ｑを観察する場合、観察点と点Ｑとを結ぶ直線上からの光線を選択的に見ていることになり、両目で観察することで実像が空間に浮かんで見える。また、上述のように、再帰性透過材４は、素子面Ｓと垂直な方向に貫通する開口部８を有しているため、再帰性透過材４の素子面Ｓに対して垂直に入射した光は反射面９に入射することなく、そのまま直進する。

本実施形態においては、図２に示すように、再帰性透過材４の素子面Ｓの下方にＦＰＤ２が傾いて設置されている。そのため、実像面Ｊは、再帰性透過材４の素子面Ｓの上方の空間において、ＦＰＤ２の画像表示面２ａの傾きと面対称な方向に傾いて配置される。再帰性透過材４は、このような実像面Ｊに、画像表示面２ａ上の画像Ｖを面対称にした実像Ｍを形成する。この場合、ＦＰＤ２の画像表示面２ａが平面であるため、形成される実像Ｍは画像Ｖと傾きが異なり、形状や寸法がほぼ一致した平面像となる。

したがって、観察者Ｋ（ユーザー）は、実像面Ｊの傾いた方向から実像Ｍの方向を斜めに覗き込むようにすれば、観察者Ｋに対して実像Ｍが略正対した状態となり、実像Ｍを見やすくなる。実像Ｍは、再帰性透過材４で反射した光により形成されたものであるため、観察者Ｋは、再帰性透過材４を見ることができる観察範囲内において、実像Ｍが空間に浮かんだように見える。

次に、カメラ３について説明する。カメラ３（撮影装置）は、ＣＣＤセンサー、ＣＭＯＳセンサー等の撮像素子、撮影レンズ、オートフォーカス機構等を備え、例えば一般的なカメラで構成できる。カメラ３は、図１に示した制御装置６により撮影タイミングが制御され、撮影した撮影画像を示す撮影画像データを制御装置６に出力する。

図２に示すように、カメラ３は、実像面Ｊに対して再帰性透過材４から光が入射してくる側に配置されている。すなわち、カメラ３は、実像Ｍを観察する視点（観察者Ｋ）とカメラ３との間に実像面Ｊを挟むように、配置される。これにより、観察者Ｋは、例えば実像面Ｊに形成された実像Ｍを正面から観察すると、実像Ｍの背後にカメラ３を見ることになる。

カメラ３は、その少なくとも一部が実像面Ｊよりも下方に配置されており、例えば再帰性透過材４に固定される。カメラ３は、素子面Ｓよりも上方を仰ぐように配置されている。すなわち、カメラ３の撮影方向Ｄｐ（撮影レンズの入射側光軸）は、素子面Ｓから実像面Ｊに近づくように傾いている。この場合に、カメラ３の撮影方向Ｄｐは、カメラ３が実像面Ｊの上方に配置されている場合と比較して、実像Ｍを観察する視点（観察者Ｋ）と実像Ｍ上の点を結ぶ線（視線Ｋｖ）に対して平行に近くなる。カメラ３の実像面Ｊにおける撮影範囲３ａは、実像面Ｊにおいて実像Ｍが形成される像形成範囲の少なくとも一部を含むように、設定される。ここでは、撮影範囲３ａは、像形成範囲のほぼ全域を含むように、設定されている。

また、図３（Ａ）に示すように、カメラ３は、実像面Ｊ上の実像Ｍを形成可能な実像形成範囲Ｊａを、撮影方向Ｄｐが通るように配置される。例えば、カメラ３の撮影方向Ｄｐは、素子面Ｓの法線方向から見て、画像表示面２ａの法線方向２ｂとほぼ同軸に設定される。なお、実像形成範囲Ｊａは、例えば、ＦＰＤ２の画像表示面２ａにおいて画像Ｖが表示される範囲と光学的に共役な範囲である。

次に、図２及び図５を参照しつつ、照明部５について説明する。照明部５は、制御装置６（図１参照）によって制御され、実像面Ｊを含む照明領域Ａ１を照明する。カメラ３は、照明部５により照明可能な領域（照明領域Ａ１）を撮影する。

図２に示すように、照明部５は、再帰性透過材４に対して画像表示面２ａと同じ側に配置されており、再帰性透過材４の開口部８を介して、照明領域Ａ１を照明する。本実施形態の照明部５は、ＦＰＤ２の上部に取り付けられており、矩形状の画像表示面２ａの２辺のうち素子面Ｓと平行な辺に沿って延びている。照明部５から射出された照明光は、再帰性透過材４の反射面９で反射して、実像面Ｊを含んだ空間領域（照明領域Ａ１）を伝播する。

本実施形態において、照明部５が射出する照明光は、再帰性透過材４からの出射方向に直交する面におけるスポット形状が長手方向と短手方向を有するパターン光である。このようなパターン光は、シート光、ライン光等と呼ばれることもある。

図５は、照明部５の構成を示す２面図であり、照明部５からの照明光の出射方向に対する側方の側面図に相当する。詳しくは、図５（Ａ）は、照明部５の長手方向の構成を示す図であり、図２のＺ−Ｖ１面に直交する面における側面図に相当する。また、図５（Ｂ）は、照明部５の短手方向の構造を示す図であり、図５（Ａ）と直交するする側面図に相当する。

図５（Ａ）に示すように、照明部５は、複数の固体光源１５と、複数の固体光源１５から出射した照明光が入射するシリンドリカルレンズ１６と、複数の固体光源１５を駆動する駆動回路１７とを備える。この駆動回路１７は、制御装置６と接続されており、制御装置６からの制御指令に従って複数の固体光源１５を駆動する。

複数の固体光源１５は、所定方向に一次元的に配列されている。所定方向は、画像表示面２ａと素子面Ｓのそれぞれに対してほぼ平行な方向（長手方向）である。固体光源１５は、２次元的に配置されていてもよく、この場合に、２つの配列方向の１つが上記の長手方向であってもよい。

固体光源１５は、例えば、ＬＥＤ（発光ダイオード）、ＬＤ（レーザーダイオード）等で構成される。固体光源１５は、例えば、供給された電流に応じた光量の赤外光を、照明光として発する。駆動回路１７は、固体光源１５に電流を供給して固体光源１５を点灯させること、固体光源１５への電流の供給を停止して固体光源を消灯させることができる。

制御装置６は、駆動回路１７を制御することによって、固体光源１５の発光状態（照明部５の照明状態）を制御する。詳しくは、制御装置６は、固体光源１５が点灯を開始するタイミング、固体光源１５が点灯している期間、固体光源１５が発する照明光の光量、固体光源が消灯するタイミング等を制御できる。

シリンドリカルレンズ１６は、固体光源１５から出射した照明光が入射する位置に配置されている。シリンドリカルレンズ１６は、固体光源１５からの照明光の出射方向と直交する面において、複数の固体光源１５の配列方向（長手方向）に延びており、複数の固体光源１５で共通に設けられている。すなわち、複数の固体光源１５のうち２以上の固体光源１５から出射した照明光は、同じシリンドリカルレンズ１６に入射する。

図５（Ｂ）に示すように、シリンドリカルレンズ１６は、複数の固体光源１５の配列方向に直交する面内でパワーを有する。シリンドリカルレンズ１６は、短手方向において照明光が実像面Ｊ上で集光するように、設けられている。このように、シリンドリカルレンズ１６は、複数の固体光源１５から出射した照明光が実像面Ｊに沿って伝播するときの、実像面Ｊの法線方向における照明光の広がりを制限するように、設けられている。なお、照明部５は、再帰性透過材４の集光作用を利用して、照明光が実像面Ｊに沿って伝播するときの、実像面Ｊの法線方向における照明光の広がりを制限するように、設けられていてもよい。

次に、図６を参照しつつ、照明部５による照明方法について説明する。図６（Ａ）は、照明部５の長手方向における照明の様子を示し、実像面Ｊの正面（図３（Ａ）のカメラ３の撮影方向Ｄｐ）から見た図に概ね相当する。また、図６（Ｂ）は、照明部５の短手方向における照明の様子を示し、実像面Ｊの側方から見た図に相当する。

照明部５の固体光源１５から出射した光は、再帰性透過材４に対して固体光源１５と面対称な位置（光源像の結像位置）に向って収斂し、光源像の結像位置よりも再帰性透過材４から離れるにつれて、広がるように伝播する。ここでは、シリンドリカルレンズ１６と再帰性透過材４の集光作用により、光源像の結像位置よりも先における照明光の広がりが制限される。このようにして、照明光は、実像面Ｊの法線方向における広がりが制限されて、実像面Ｊに沿うように伝播する。換言すると、照明部５の取り付け位置、姿勢は、実像面Ｊの法線方向における照明光の広がりが制限されるように、例えば再帰性透過材４に対して、設定される。

ここで、図６（Ｂ）に示すように、例えば観察者Ｋ等のユーザーが実像面Ｊ（実像Ｍ）に触れるように、指し棒や指等の指示体Ｆｉｎを配置した状態を想定する。この状態において、照明光は、指示体Ｆｉｎの表面で拡散し、カメラ３は、照明光によって照らされている指示体Ｆｉｎを撮影する。上述のように、照明光の実像面Ｊに直交する方向の広がりが制限されているので、ユーザーが指した位置と照明光に照らされている部分の指示体Ｆｉｎの位置とのずれが少なくなる。図１に示した制御装置６は、このような撮影画像に基づいて、照明光に照らされている部分の指示体Ｆｉｎの位置を検出し、検出した位置と関連付けられた入力を受け付ける。

なお、例えば再帰性透過材４の構造によっては、照明部５から再帰性透過材４に向かった照明光の一部が再帰性透過材４の反射面９で反射しないで直線的に上部へ抜ける場合がある。本実施形態においては、照明光が、実像面Ｊからの所定の距離以上離れた位置で指示体Ｆｉｎを照らさないように、照明領域Ａ１を制限するための遮光部材１８が設けられている。

次に、図７及び図８を参照しつつ、指示体Ｆｉｎの位置を検出する仕組みについて説明する。図７は、制御装置６の機能構成を示すブロック図である。図８は、制御装置６による制御のタイミングを示すタイミングチャートである。

図７に示すように、制御装置６は、制御部５１、及び検出部５２を備える。制御部５１は、カメラ３の撮影タイミングと照明部５の照明状態を関連付けるように、撮影タイミングと照明状態の一方又は双方を制御する。検出部５２は、カメラ３が撮影した撮影画像に基づいて、照明部５により照明されている指示体Ｆｉｎを検出する。ここでは、指示体Ｆｉｎが指先であるものとして、説明する。

制御部５１は、同期分離部５３、タイミング生成部５４、及び照明制御部５５を備える。

同期分離部５３は、カメラ３から撮影画像を示す撮影画像データを取得する。同期分離部５３は、撮影画像データから同期信号（垂直同期信号、水平同期信号）を分離し、分離した同期信号をタイミング生成部５４に出力する。

タイミング生成部５４は、同期分離部５３からの同期信号に基づいて、照明部５の点灯開始と点灯終了（消灯）のタイミングを規定するタイミング信号（図８中の「照明」を参照）を生成する。図８に示すように、本実施形態において、垂直同期信号は、撮影画像の１フレームに相当する映像信号ごとに、ハイとローが切替わる。タイミング生成部は、任意の１フレームの期間においてローとなり、このフレームに続く１フレームの期間においてハイとなるタイミング信号を生成する。タイミング生成部５４は、生成したタイミング信号を照明部制御部５５と検出部５２のそれぞれに出力する。

照明部制御部５５は、タイミング生成部５４からのタイミング信号に従って、照明部５の固体光源１５を所定のタイミングで点灯（第１の照明状態）と消灯（第２の照明状態）とを切り替える。すなわち、照明制御部５５は、タイミング信号がローである期間に照明部５を消灯させ、タイミング信号がハイである期間に照明部５を点灯させる。

検出部５２は、フレームメモリー５６、差分検出部５７（比較部）、指先抽出部５８、先端検出部５９、座標変換部６０、及びタッチ検出部６１を備える。

フレームメモリー５６は、カメラ３からの撮影画像データを記憶する。フレームメモリー５６は、タイミング生成部５４からのタイミング信号に基づいて、所定の照明状態でカメラ３が撮影した撮影画像データを記憶する。上述のように、タイミング信号は、点灯開始と点灯終了（消灯）のタイミングを規定しており、フレームメモリー５６は、タイミング信号を用いることで、各フレームの撮影画像データとこの撮影時の照明状態とを関連付けることができる。フレームメモリー５６は、照明部５が点灯している第１の照明状態でカメラ３が撮影した第１撮影画像データと、この撮影の１回前又は１回後に照明部５が消灯している第２の照明状態でカメラ３が撮影した第２撮影画像データとを、差分検出部５７に出力する。

差分検出部５７は、フレームメモリー５６からの第１撮影画像データと第２撮影画像データとを比較する。ここで、照明部５が消灯している第２の照明状態での撮影画像の明るさは、ほぼ環境光による明るさであり、照明部５が点灯している第１の照明状態での撮影画像は、第２の照明状態に照明されている指先の明るさが加わることになる。換言すると、撮影画像の各画素について、第１撮影画像データから第２撮影画像データを差し引くと、主に環境光により照明された背景を除くことができる。差分検出部５７は、第１撮影画像データと第２撮影画像データとの差分を示す差分データを指先抽出部５８に出力する。

ところで、第１撮影データの撮影時と第２撮影データの撮影時とで、例えば観察者Ｋが移動すること等によって、背景が変化することがありえる。そこで、例えば、照明部５の出力を大きくして実像面Ｊでの照明光を環境光よりも十分に明るくすることで、指先の差分出力を背景の差分出力より大きくとることができる。また、照明部５を赤外発光で照明するように構成し、この波長の赤外光を選択的に透過する赤外光フィルターをカメラ３に設けておくことで、背景の分離はより行いやすくなるとともに、照明部５からの光の一部が観察者Ｋの目に届いたとしても見えなくすることができる。

指先抽出部５８は、差分検出部５７からの差分データに基づいて、照明光に照らされている指先が写っている撮影画像のうち、指先が占める領域を抽出する。指先抽出部５８は、予め設定された閾値（スレッシュホールド）と、撮影画像の各画素について、差分データが示す明るさとを比較することによって、第１撮影画像データと第２撮影画像データとで明るさが閾値以上に異なる撮影画像上の画素を抽出し、このような撮影画像上の画素の集合を指先が写っている領域であるとする。指先抽出部５８は、抽出した領域（抽出領域）を示す領域データを、先端検出部５９とタッチ検出部６１のそれぞれに出力する。

先端検出部５９は、指先抽出部５８からの領域データに基づいて、指先として抽出された抽出領域の特徴的な位置を検出する。特徴的な位置は、例えば抽出領域の重心位置であってもよいし、例えば指先の先端位置であってもよく、抽出領域と関連付けることが可能な位置から適宜設定される。例えば、先端検出部５９は、パターン認識等によって抽出領域が指先のどの部分であるかを判定し、この判定結果に基づいて指先の先端位置等を検出してもよい。先端検出部５９は、検出した特徴的な位置をタッチ位置とし、タッチ位置を示す位置データを座標変換部６０に出力する。

ところで、位置データが示すタッチ位置は、例えば撮影画像上の画素の位置を示す情報である。画像Ｖに対応する実像Ｍの範囲の外側まで撮影画像に写っている場合に、タッチ位置は、実像Ｍ上の実際のタッチ位置に相当する画像Ｖ上でのタッチ位置（画像表示面２ａ上での画素の位置）と一般的に異なることになる。また、撮影画像の画像形式（画素配列）と、画像Ｖ（画像表示面２ａ）の画像形式が異なる場合にも、撮影画像による位置データが示すタッチ位置は、画像Ｖ上のタッチ位置（画像表示面２ａ上の画素の位置）とが一般的に異なることになる。

そこで、座標変換部６０は、先端検出部５９からの位置データに基づいて、画像Ｖ上のタッチ位置に相当する座標を算出する。ここで、カメラ３の撮影範囲に占める、実像Ｍの形成範囲は、カメラ３の配置及びＦＰＤ２の配置等により定まるので、撮影画像に写る実像Ｍの範囲は、既知の情報にすることができる。また、カメラ３による撮影画像の画像形式と、ＦＰＤ２が表示する画像Ｖの画像形式は、カメラ３の機種、ＦＰＤ２の機種などにより定まる既知の情報である。座標変換部６０は、上述のような既知の情報を用いて、位置データが示すタッチ位置を、ＦＰＤ２が表示する画像Ｖ上の座標（画像表示面２ａ上の画素の位置）に変換する。座標変換部６０は、この座標を示す情報をユーザーからの入力情報として、図示略の入力処理部に出力する。この入力処理部は、入力情報に応じて、例えばアプリケーションの操作等に関する処理を実行する。

また、タッチ検出部６１は、指先抽出部５８からの領域データに基づいて、指先が実像面Ｊに触れたか否かを検出する。例えば、タッチ検出部６１は、指先抽出部５８から領域データが出力されていない状態を、指先が実像面Ｊに触れていない状態であると判定する。タッチ検出部６１は、その判定結果を示すタッチ有無情報を上述したような入力処理部に出力する。このタッチ有無情報は、例えば、表示装置１を省電力モードから復帰する際の処理等に用いられる。

次に、図９及び図１０を参照して、表示装置１に対する入力方向の例を説明する。図９は、入力方法の一例を示す概念図、図１０は、入力方法の他の例を示す概念図である。

図９に示す例において、ユーザーは、実像Ｍとして表示されているボタンＰＢを押す動作をすることで、このボタンＰＢに関連付けられた処理を実行させることができる。この例において、制御装置６は、ボタンＰＢを示す図形を含んだ画像Ｖを、ＦＰＤ２に表示させる。制御装置６は、図７を用いて説明したように、ユーザーが触れた実像Ｍ上のタッチ位置（検出位置）に相当する画像Ｖ上のタッチ位置を取得し、画像Ｖ上のタッチ位置とボタンＢＰとの関係に基づいて、ユーザーがボタンに触れる動作をしたか否かを判定する。制御装置６は、ユーザーがボタンＢＰに触れる動作をしたと判定した場合に、このボタンＢＰと関連付けられた処理を実行する。この処理は、例えば表示装置１の外部の装置に処理を実行させるための処理であってもよい。

なお、表示装置１は、ボタンＢＰが画像Ｖの所定の領域、例えば画像Ｖの下部や隅に配置されるように画像Ｖを表示し、カメラ３は、実像面Ｊのうち所定の領域に相当する領域のみを撮影してもよい。このように、カメラ３の撮影範囲は、実像面Ｊの一部であってもよい。

図１０に示す例において、ユーザーは、実像面Ｊで指先を動かすことによって、文字や図形を入力することができる。この例において、制御装置６は、所定の時間間隔で画像Ｖ上のタッチ位置を取得し、タッチ位置の時間変化に基づいて、ユーザーの入力を受け付ける。例えば、制御装置６は、ユーザーが指先で描いた文字や図形を示す画像をＦＰＤ２に表示させる。

以上のような構成の表示装置１は、再帰性透過材４によって実像Ｍが形成される照明領域Ａ１を照明部５で照明するとともに、この照明領域Ａ１をカメラ３で撮影するので、実像Ｍに触れようとした指示体Ｆｉｎを検出することができる。表示装置１は、ユーザーが空間像に触れる動作をすることでユーザーからの入力を容易に検出でき、空間に表示された画面に対する入力を良好に行うことを可能にする。

また、表示装置１は、制御装置６がカメラの撮影タイミングと照明部の照明状態を関連付けるように制御し、照明状態を異ならせた撮影画像を比較するので、撮影画像に写っている指示体Ｆｉｎ以外の背景などを除くことができ、指示体Ｆｉｎを精度よく検出できる。

また、表示装置１は、また、照明部５の固体光源１５が点灯している状態を第１の照明状態とし、照明部５の固体光源１５が消灯している状態を第２の照明状態としている。そのため、第１の照明状態で撮影した撮影画像に写っている指示体Ｆｉｎの明るさと、第２の照明状態で撮影した撮影画像に写っている指示体Ｆｉｎの明るさとの差を明確にすることができ、指示体Ｆｉｎを精度よく検出することができる。

また、表示装置１は、照明部５が素子面Ｓに対して画像表示面２ａと同じ側に配置されているので、素子面Ｓに対して画像表示面２ａと反対側（実像Ｍの観察側）に配置される部材が少なくなり、このような部材が実像Ｍを観察する上での妨げになりにくい。結果として、表示装置１は、見栄えのよい表示を行うことができる。

また、表示装置１は、実像面Ｊに沿って照明光が伝播するので、照明光に照らされている指示体Ｆｉｎの位置を実像面Ｊ上の位置と精度よく関連付けることができる。また、表示装置１は、実像面Ｊの法線方向において照明光の広がりが制限されているので、照明光に照らされている指示体Ｆｉｎを精度よく検出できる。

また、カメラ３の実像面Ｊ上の撮影範囲は、実像面Ｊ上に実像Ｍを結像可能な範囲の全域を含んでいるので、表示装置１は、実像面Ｊ上のいずれの位置に配置された指示体Ｆｉｎも検出でき、多様な入力に対応可能である。また、表示装置１は、ＦＰＤ２によって生成した画像Ｖを実像Ｍとして表示するので、装置コストを低減できる。

以上のように、表示装置１は、空間に表示された画面に対する入力を良好に行うことを可能にする。また、表示装置１は、再帰性透過材４の上方にカメラ３しか存在しないようにでき、実像Ｍを表示しない状態においても装置の見栄えが悪くならないし、通行の邪魔になりにくく、また装置の破損も生じにくい。

また、例えばサイネージ、医療分野など用途において不特定多人数のユーザーが表示装置１を操作するような場合に、表示装置１は、実際のボタンへの接触で入力を行う装置と異なり、空間（実像面Ｊ）に触れる動作で入力できるので、例えば衛生的に使用することができる。

なお、本実施形態において制御装置６は、カメラ３に同期して照明部５を制御するが、照明部５に同期してカメラ３を制御してもよい。例えば、照明部５は、所定の間隔で点灯と消灯とを繰り返すように構成され、制御装置６は、照明部５の点灯タイミングを示すタイミング信号に基づいて、カメラ３の撮影タイミングを制御してもよい。この場合に、制御装置６は、タイミング信号に基づいて、照明部５の点灯時と消灯時のそれぞれにおいてカメラ３に撮影を実行させればよい。

次に、再帰性透過材４の変形例について説明する。

図１１は、再帰性透過材４の変形例１を示す斜視図である。図１１に示す再帰性透過材１１は、両面もしくは片面が反射面となった金属もしくはガラスなどの複数の板材１２を互いに直交するように格子状に組み合わせたものである。板材１２の片面のみが反射面である場合に、板材７は、互いに交差して隣り合う１対の反射面が画像生成装置の画像生成面を向くように、配置される。隣り合う板材１２の間の空間は、空気が存在してもよいし、透明性の高い樹脂材料などが充填されていてもよい。

図１２は、再帰性透過材４の変形例２を示す斜視図である。図１２に示す再帰性透過材１３は、角柱状のガラス材料１４の長手方向の一面を鏡面として、鏡面が同じ方向を向くように複数のガラス材料１４を並べたものを２組作り、鏡面が互いに直交するように２組を積層したものである。

［第２実施形態］
次に、図１３を参照しつつ、第２実施形態について説明する。本実施形態の表示装置２１は、画像生成装置の構成が第１実施形態と異なり、その他の構成については第１実施形態と同様である。

図１３は、本実施形態の表示装置２１の概略構成を模式的に示す斜視図である。図１３において、第１実施形態と共通する構成要素は、同一の符号を付してその説明を簡略化又は省略することがある。

本実施形態の表示装置２１は、プロジェクションシステム２２（画像生成装置）と、カメラ３と、再帰性透過材４（結像素子）と、を備えている。プロジェクションシステム２２は、透過型のスクリーン２３と、スクリーン２３に対して画像Ｖを投射するプロジェクター２４と、を備えている。

本実施形態において、スクリーン２３は、第１実施形態のＦＰＤ２の位置に、ＦＰＤ２の代わりに配置されている。すなわち、スクリーン２３は、スクリーン２３の画像表示面２３ａが再帰性透過材４の素子面Ｓに対して傾くように配置されている。

以上のような構成の表示装置２１は、空間に表示された画面に対する入力を良好に行うことを可能にする。また、表示装置２１は、プロジェクションシステム２２によって画像Ｖを生成するので、画面サイズの自由度が高くなる。また、表示装置２１は、例えばスクリーンゲインを上げることに等より、明るい実像Ｍを表示すること等もできる。

［第３実施形態］
次に、図１３を参照しつつ、第３実施形態について説明する。本実施形態の表示装置３０は、実像を形成するとともに撮影画像を取得する処理部を複数備えている点が第１実施形態と異なる。

図１４は、本実施形態の表示装置３０の概略構成を模式的に示す斜視図である。本実施形態において、再帰性透過材４は、図３（Ａ）及び図３（Ｂ）に示したように、多数の開口部８を有しているが、図１４には開口部８の１つを代表的にまた拡大して模式的に図示した。

図１４に示す表示装置３０は、複数の処理部として、第１処理部３１、第２処理部３２、第３処理部３３、及び第４処理部３４を備える。これら処理部は、いずれも同様の構成であるが、再帰性透過材４の反射面９に対する位置関係が互いに異なっている。

再帰性透過材４の第１反射面９ａ及び第２反射面９ｂは、開口部８の中心を原点として第１象限内の第１象限方向を向いて、互いに直交している。第１処理部３１は、第１反射面９ａ及び第２反射面９ｂを利用して実像を形成するように、配置されている。すなわち、第１処理部３１の画像生成装置３５は、素子面Ｓの法線方向から見て、画像生成面３５ａを第１反射面９ａ及び第２反射面９ｂに向けて、配置されている。第１処理部３１のカメラ３６は、画像生成装置３５に対する実像面Ｊ１を撮影可能に配置されている。

なお、画像生成装置３５は、第１実施形態で説明したＦＰＤ２であってもよいし、第２実施形態で説明したプロジェクションシステム２２であってもよい。第２から第４の処理部３２〜３４についても同様である。

第２反射面９ｂと第３反射面９ｃは、第４象限方向（上記の回転角が２７０°より大きく３６０°より小さい方向）を向いて、互い直交している。第２処理部３２は、第２反射面９ｂ及び第３反射面９ｃを利用して実像を形成するように、配置されている。第２処理部３２の画像生成装置３７は、素子面Ｓの法線方向から見て、画像生成面３７ａを第２反射面９ｂ及び第３反射面９ｃに向けて、配置されている。第２処理部３２のカメラ３８は、画像生成装置３７に対応する実像面Ｊ２を撮影可能に配置されている。

また、第３反射面９ｃと第４反射面９ｄは、第３象限方向（上記の回転角が１８０°より大きく２７０°より小さい方向）を向いて、互いに直交している。第３処理部３３は、第３反射面９ｃ及び第４反射面９ｄを利用して実像を形成するように、配置されている。第３処理部３３の画像生成装置３９は、素子面Ｓの法線方向から見て、画像生成面３９ａを第３反射面９ｃ及び第４反射面９ｄに向けて、配置されている。第３処理部３３のカメラ４０は、画像生成装置４１に対応する実像面Ｊ３を撮影可能に配置されている。

また、第４反射面９ｄと第１反射面９ａは、第２象限方向（上記の回転角が９０°より大きく１８０°より小さい方向）を向いて、互い直交している。第４処理部３４は、第４反射面９ｄ及び第１反射面９ａを利用して実像を形成するように、配置されている。第４処理部３４の画像生成装置４１は、素子面Ｓの法線方向から見て、画像生成面４１ａを第４反射面９ｄ及び第１反射面９ａに向けて、配置されている。第４処理部３４のカメラ４２は、画像生成装置４２に対応する実像面Ｊ４を撮影可能に配置されている。

本実施形態において、表示装置３０は、複数の処理部３１〜３４がそれぞれの実像面Ｊ１〜Ｊ４に像を形成し、複数の像のそれぞれを各処理部に応じた視点から観察することができる。これら４つの視点は、例えば矩形状の再帰性透過材４の角に配置される。本実施形態の表示装置３０は、再帰性透過材４の外側に外周が矩形状の補助部材４４が設けられており、補助部材４４の外周の各辺に再帰性透過材４の角（視点）が配置されるようになっている。

以上のような構成の表示装置３０は、例えば４人のユーザーに対応可能であり、利便性が高くなる。また、このような表示装置３０は、例えば画像生成装置の数が１つである表示装置１を複数用いて複数のユーザーに対応する構成と比較して、再帰性透過材４を共通化することができる。

なお、本実施形態において、処理部の数は、４つであるが２つでもよいし、３つでもよい。処理部の数が２又は３である場合に、処理部の位置は、上記の第１処理部３１〜第４処理部３４から適宜選択できる。

なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件は、適宜組み合わせることができる。また、上記の実施形態で説明した要件の少なくとも１つは、省略されることある。

なお、上述の実施形態において、照明部５の固体光源１５が点灯している状態を第１の照明状態とし、照明部５の固体光源１５が消灯している状態を第２の照明状態としているが、照明状態はこれに限られない。例えば、第２の照明状態は、照明部５の固体光源１５が点灯している状態であって、第１の照明状態よりも暗い照明状態（固体光源１５からの光の光量が少ない状態）であってもよい。この場合、観察者Ｋに照明部からの照明光の一部が見えたとしても、点滅よりも照明光の強度差が少ないため違和感を低減することができる。

１・・・表示装置、２・・・フラットパネルディスプレイ（ＦＰＤ、画像生成装置）、２ａ・・・画像表示面（画像生成面）、３・・・カメラ、３ａ・・・撮影範囲、４・・・再帰性透過材（結像素子）、５・・・照明部、６・・・制御装置（制御部、検出部）、１１、１３・・・再帰性透過材（結像素子）、１５・・・固体光源、２１・・・表示装置、２２・・・プロジェクションシステム（画像生成装置）、２３・・・スクリーン、２３ａ・・・画像表示面（画像生成面）、２４・・・プロジェクター、５１・・・制御部、５２・・・検出部

Claims (8)

1. 画像を生成する画像生成装置と、
   前記画像生成装置の画像生成面に対して傾斜しており前記画像からの光が入射する素子面を有し、前記素子面に関して前記画像生成面と面対称な実像面に像を結像する結像素子と、
   前記実像面を含む照明領域を前記結像素子を介して照明する照明部と、
   前記照明領域を撮影するカメラと、
   前記カメラが撮影した撮影画像に基づいて、前記実像面を指示する指示体を検出する検出部と、
   前記結像素子の前記実像面と同じ側に設けられる遮光部材と、を備え、
   前記照明部は、前記画像生成装置における、前記素子面と対向する側の端面に配置される表示装置。
2. 前記照明部は第１の照明状態と第２の照明状態を有し、
   前記カメラの撮影画像を取得するタイミングと前記照明部の照明状態を関連付けるように、前記撮影画像を取得するタイミングと前記照明状態の一方又は双方を制御する制御部を備え、
   前記検出部は、前記第１の照明状態で前記カメラが撮影した撮影画像と、前記第２の照明状態で前記カメラが撮影した撮影画像とを比較して、前記指示体を検出する
   請求項１に記載の表示装置。
3. 前記照明部は、前記実像面に沿って照明光が伝播するように、設けられている
   請求項１又は２に記載の表示装置。
4. 前記照明部は、所定方向に配列された複数の固体光源を備え、前記複数の固体光源から出射して前記所定方向を長手方向とするスポット状の照明光を射出し、前記実像面の法線方向において前記照明光の広がりが制限されるように、設けられている
   請求項３に記載の表示装置。
5. 前記カメラの前記実像面上の撮影範囲は、前記結像素子が前記実像面上に前記像を結像可能な範囲の全域を含む
   請求項１〜４のいずれか一項に記載の表示装置。
6. 画像を生成する画像生成装置と、
   前記画像生成装置の画像生成面に対して傾斜しており前記画像からの光が入射する素子面を有し、前記素子面に関して前記画像生成面と面対称な実像面に像を結像する結像素子と、
   前記実像面を含む照明領域を照明する照明部と、
   前記照明領域を撮影するカメラと、
   前記カメラが撮影した撮影画像に基づいて、前記実像面を指示する指示体を検出する検出部と、を備え、
   前記画像生成装置、及び該画像生成装置と対になる前記カメラを含む処理部を複数備えており、
   前記結像素子は、第１方向を向いて互いに交差する第１組の反射面と、第２方向を向いて互いに交差する第２組の反射面とを含み、
   第１の前記処理部の前記画像生成装置は、前記画像生成面を前記第１組の反射面に向けて配置されており、
   第２の前記処理部の前記画像生成装置は、前記画像生成面を前記第２組の反射面に向けて配置されている
   表示装置。
7. 前記画像生成装置は、前記画像生成面を画面とするフラットパネルディスプレイを含む
   請求項１〜６のいずれか一項に記載の表示装置。
8. 前記画像生成装置は、
   前記画像生成面に配置されたスクリーンと、
   前記スクリーンに前記画像を投射するプロジェクターと、を備える
   請求項１〜６のいずれか一項に記載の表示装置。

Images