JP4579295B2 - 画像表示装置 - Google Patents

Description

技術分野
［０００１］
本発明は、二次元画像に基づく立体視認画像を形成する空間に対し、外側から進入した被検出物の進入位置を検出する画像表示装置に関するものである。
背景技術
［０００２］
近年、二次元画像を表示する表示手段（表示部）と、表示手段の画像表示面の前方に配設されると共に、自身の前方空間に二次元画像の実像を結像する光学パネル（画像伝達パネル）とを備え、その前方空間の前方にいる目視者に対し、二次元画像を立体視させる画像表示装置が提案されている。さらに、前方空間に進入した被検出物（目視者の指等）の進入位置を検出すべく、その前方空間の４辺を囲むように枠状の認識手段（位置検出センサ）を設けることが考えられている（例えば、特許文献１）。
特許文献１：特開２００５−１４１１０２号公報
発明の開示
発明が解決しようとする課題
［０００３］
しかしながら、このような画像表示装置では、認識手段が光学パネルの前面に設置されるため、装置全体が大型化すると共に、目視者に対し、如何にもそこに何か仕掛けがあるかのような印象を与えてしまい、驚きや感動を十分に与えることができなかった。
［０００４］
本発明は、立体視認画像を形成した空間における被検出物の検出を、位置検出の仕掛けの存在を感じさせずに行うことができる画像表示装置を提供することを目的とする。
課題を解決するための手段
［０００５］
本発明の画像表示装置は、二次元画像を表示する表示手段と、表示手段の画像表示面の前方に配設され、自身の前方空間に二次元画像に基づく立体視認画像を形成する光学パネルと、光学パネルの後方に配設され、前方空間に進入した被検出物を、光学パネルを介して光学的に認識する認識手段と、認識手段による認識結果に基づいて、被検出物の前方空間における進入位置を検出する位置検出手段と、を備え、認識手段は、光学パネルを介して前方空間を撮像するエリアセンサであり、位置検出手段は、エリアセンサに取り込まれた撮像画像に基づいて、被検出物の進入位置を検出することを特徴とする。
［０００６］
この構成によれば、認識手段により、前方空間に進入した被検出物を光学パネルを介して光学的に認識し、位置検出手段により、その認識結果に基づいて被検出物の前方空間における進入位置を検出することができる。そして、認識手段を光学パネルの後方に配設したことで、光学パネルと目視者との間には、立体視認像しか存在せず、目視者に位置検出の仕掛けの存在を感じさせることがないと共に、装置全体をコンパクトに構成することができる。
なお、被検出物の進入位置とは、前方空間に進入した被検出物の前方空間内における刻々の移動位置をも含む概念である。
また、立体視認画像は、実像および虚像のいずれであってもよい。したがって、光学パネルとして、後述する凸レンズアレイのように、二次元画像の実像を結像させ立体視させるものや、インテグラルフォトグラフィ方式のように、実像を立体視させるもののほか、例えば、パララックスバリア方式やレンチキュラ方式等を適用し、両眼の視差により虚像を立体視させるものも用いることができる。
また、取り込んだ撮像画像の画素単位で撮像画面における被検出物の位置を認識することで、被検出物の進入位置を精度良く検出することができる。
［０００７］
本発明の他の画像表示装置は、二次元画像を表示する表示手段と、表示手段の画像表示面の前方に配設され、自身の前方空間に二次元画像に基づく立体視認画像を形成する光学パネルと、二次元画像の画像光が、前方空間に進入した被検出物により反射した反射光を認識する認識手段と、認識手段による認識結果に基づいて、被検出物の前方空間における進入位置を検出する位置検出手段と、を備えたことを特徴とする。
［０００８］
この構成によれば、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識するため、表示される二次元画像との関連により、被検出物の前方空間における進入位置を判断する要素が増すことになる。このため、位置検出の精度を向上させることができる。また、検出のための発光素子を新たに必要としないため、コストダウンも期待できる。
［０００９］
この場合、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識し、位置検出手段は、反射光と二次元画像の表示位置とに基づいて、被検出物の進入位置を検出することが好ましい。
【００１０】
この構成によれば、認識手段は、二次元画像の画像光が被検出物により反射した反射光を認識して、前方空間に進入した被検出物を光学的に認識する。このため、二次元画像の表示位置に対応した前方空間の位置を、被検出物の進入位置として検出することができる。例えば、画像表示面の向かって左側に二次元画像が表示されている場合、その表示位置に対応する前方空間の位置（例えば左側）に被検出物が進入すると、二次元画像の画像光が被検出物により反射し、認識手段により反射光が認識されるが、その位置から外れたところに被検出物が進入しても、認識手段により反射光が認識されることがない。そのため、二次元画像の画像光の反射光が認識された場合には、その二次元画像の表示位置に対応する前方空間の位置を、被検出物の進入位置として検出することができる。このように、二次元画像の表示位置と関連させて、被検出物の進入位置の検出を行うことができ、位置検出の精度を向上させることができる。
【００１１】
この場合、表示手段は、色違い複数の二次元画像を表示可能に構成され、認識手段は、反射光の色彩を識別可能に構成され、位置検出手段は、反射光の色彩と二次元画像の表示位置とに基づいて、被検出物の進入位置を検出することが好ましい。
【００１２】
この構成によれば、識別した色彩の二次元画像の表示位置に対応した前方空間の位置を、被検出物の進入位置として検出することができる。例えば、画像表示面の向かって右側に赤色の二次元画像が表示され、向かって左側に黄色の二次元画像が表示されている場合に、認識手段により、反射光が赤色であると識別されたときには、位置検出手段は、赤色の二次元画像の表示位置に対応した前方空間の位置（例えば向かって右側）を、被検出物の進入位置として検出する。したがって、二次元画像の表示位置に加え、二次元画像の色彩と関連させて、被検出物の進入位置の検出を行うことができ、位置検出の精度をより向上させることができる。
なお、色違い複数の二次元画像は、互いに分離していてもよく、連なっていてもよい。
【００１３】
この場合、認識手段は、光学パネルを介して前方空間を撮像するエリアセンサであり、位置検出手段は、エリアセンサに取り込まれた撮像画像に基づいて、被検出物の進入位置を検出することが好ましい。
【００１４】
この構成によれば、取り込んだ撮像画像の画素単位で撮像画面における被検出物の位置を認識することで、被検出物の進入位置を精度良く検出することができる。
【００１５】
この場合、表示手段は、エリアセンサを内蔵していることが好ましい。
【００１６】
この構成によれば、表示手段にエリアセンサを内蔵して一体に構成したことで、両者を別体に構成した場合に比べ、装置全体をコンパクトに構成することができる。
【００１７】
この場合、位置検出手段は、撮像画像における被検出物の位置と、撮像画像における被検出物のフォーカス評価要素とに基づいて、被検出物の三次元的な進入位置を検出することが好ましい。
【００１８】
この構成によれば、撮像画像における被検出物の位置に基づいて、前方空間の撮像面における被検出物の進入位置を検出すると共に、撮像画像における被検出物のフォーカス評価要素に基づいて、前方空間の撮像面に垂直な方向（奥行き方向）における被検出物の進入位置（進入深さ）を検出することで、被検出物の三次元的な進入位置を検出する。このため、被検出物の進入位置を詳細に検出することができる。
なお、フォーカス評価要素としては、撮像画像における被検出物のフォーカス感（エッジ）、サイズの変化率および形状の変化率等を挙げることができる。
【００１９】
この場合、認識手段は、画像表示面から外れた位置に配設され、画像表示面と光学パネルとの間に配設され、画像表示面からの光を光学パネルに導くと共に、光学パネルからの光を認識手段に導く導光手段を、さらに備えたことが好ましい。
【００２０】
この構成によれば、認識手段を画像表示面から外れた位置に配設することで、装置設計の自由度を高めることができる。そして、画像表示面から外れた位置に配設された認識手段に対して、導光手段により光学パネルからの光が導かれるため、被検出物を光学パネルを介して光学的に認識することができる。
【００２１】
この場合、認識手段は、前方空間を画像表示面に向かって縦および／または横に区分した複数の仮想分割前方空間に対応して、複数個設けられていることが好ましい。
【００２２】
この構成によれば、複数の仮想分割前方空間に対応して複数の認識手段を設けることで、各認識手段を小型にすることができる。また、複数の認識手段を画像表示面から外れた位置に配設すると共に画像表示面と光学パネルとの間にハーフミラー等の導光手段を配設する場合に、導光手段の小型化を図ることが可能となるため、画像表示面と光学パネルとの間の設置スペースを小さくすることができ、装置全体の小型化を図ることができる。
【００２３】
この場合、光学パネルからの光を認識手段に対して集光する集光手段を、さらに備えたことが好ましい。
【００２４】
この構成によれば、認識手段の小型化を図ることができ、認識手段の選択の自由度とレイアウト設計の自由度とを増すことができる。
【００２５】
この場合、位置検出手段による検出結果と、画像表示面に表示される二次元画像の変化とを関連付ける制御テーブルに基づいて、二次元画像を制御する画像制御部を、さらに備えたことが好ましい。
【００２６】
この構成によれば、目視者の指等の被検出物の進入位置に応じて、画像表示面に表示する二次元画像を変化させることができ、ユーザーインタラクティブを実現することができる。しかも、この際、上述したように目視者に指等の位置検出の仕掛けを気付かせることがないため、目視者に驚きや感動を与え、好奇心を想起させることができる。
【００２７】
この場合、光学パネルは、凸レンズアレイから構成され、立体視認画像は、凸レンズアレイにより前方空間に結像した二次元画像の実像であることが好ましい。
【００２８】
この構成によれば、前方空間に二次元画像の実像を結像させることができ、また、前方空間に進入した被検出物を認識手段に結像させることにより、検出される撮像画像を通常の画像（映像）として認識することが可能なため、画像処理が複雑となることがない。さらに、目視者は、被検出部が目視者の指等である場合、その実像を実際に触っているかのような感覚を得ることができ、臨場感を高めることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明を適用した画像表示装置の基本構成を示す図である。
【図２】本発明の一実施形態に係る画像表示装置の構成図である。
【図３】画像表示装置におけるユーザーインタラクティブ機能を説明する図である。
【図４】本発明の一実施形態の第１変形例に係る画像表示装置の構成図である。
【図５】本発明の一実施形態の第２変形例に係る画像表示装置の構成図である。
【図６】上記の第２変形例において、集光レンズをさらに備えた画像表示装置の構成図である。
【図７】上記の第２変形例において、エリアセンサを複数個備えた画像表示装置の構成図である。
【図８】本発明を適用した画像表示装置において、光センサを用いた画像表示装置の構成図である。
【図９】本発明を適用した画像表示装置において、インテグラルフォトグラフィ方式の光学パネルを用いた画像表示装置の構成図である。
【符号の説明】
【００３０】
１ 二次元画像
２ 実像
３ 前方空間
５ 被検出物
１０ 画像表示装置
１１ 表示部
１２ レンズアレイユニット
１４ 制御装置
１５ａ 画像表示面
１６ エリアセンサ
１７ ハーフミラー
１８ 集光レンズ
【発明を実施するための最良の形態】
【００３１】
以下、添付の図面を参照して、本発明を適用した画像表示装置の一実施形態について説明する。この画像表示装置は、例えば、アミューズメントシアター、商品説明用ディスプレイ、ゲーム機器等に使用される立体表示対応の装置である。すなわち、画像表示面に表示した二次元画像を空間に結像することで、その実像を立体的に視認させる装置であって、ユーザーインタラクティブ操作を可能としたものである。
【００３２】
図１および図２に示すように、本実施形態の画像表示装置１０は、二次元画像１（動画または静止画）を表示すると共に、画像取込機能を備えた表示部１１と、表示部１１の前方に配設され、自身の前方に拡がる前方空間３に二次元画像１の実像２（立体視認像）を結像させるレンズアレイユニット１２（凸レンズアレイ）と、表示部１１およびレンズアレイユニット１２を収容する直方体形状の筐体１３と、表示部１１に映像信号を供給すると共に、取り込まれた撮像画像に基づいて、前方空間３に進入した被検出物（目視者の指等）の進入位置を検出する制御装置１４とを備えている。
【００３３】
表示部１１は、例えば、カラー液晶ディスプレイ１５から成り、ディスプレイ１５にエリアセンサを内蔵したいわゆるインプットディスプレイである。すなわち、ディスプレイ１５は、例えば６４０×４８０画素表示のものであり、図示しないが、信号線、走査線および画素ＴＦＴから成る表示素子を縦横マトリクス状に並べたアレイ基板や、カラーフィルタ等を重ね合わせて構成されており、アレイ基板上には、複数の表示素子に対応して、複数の撮像素子（光電変換素子等）が設けられている。そのため、ディスプレイ１５は、その画像表示面１５ａに二次元画像１をカラー表示することができると共に、内蔵したエリアセンサにより入射画像の撮像を行うことができるようになっている。なお、ディスプレイ１５は、必要に応じて、陰極線管、プラズマディスプレイ、有機ＥＬ装置等であってもよい。
【００３４】
このように構成された表示部１１は、制御装置１４から表示ドライバ４６を介して供給された映像信号に基づいて、画像表示面１５ａに二次元画像１を表示する。なお、この二次元画像１は、前方空間３に結像した実像２が立体的に見えるようにすべく、陰影や遠近法等の立体的な映像表現方法に基づいて作成されている。
【００３５】
さらに、表示部１１は、前方空間３に進入した被検出物５を、レンズアレイユニット１２を介して撮像（認識）し、その撮像データを、制御装置１４に出力する。なお、表示部１１は、例えば、撮像時に赤・青・緑３色の光を順に読み込み、各色の撮像データを出力するようになっている。そして、詳細は後述するが、制御装置１４において、入力した各色の撮像データに基づいてカラーの撮像画像（画像データ）が生成され、被検出物５の色彩が識別されるようになっている。
【００３６】
レンズアレイユニット１２は、２枚の板状レンズアレイ２１と、これらを重ねて一体に支持するレンズ枠体（図示省略）とを有し、筐体１３の一面に形成された開口部を塞ぐようにして、ディスプレイ１５の画像表示面１５ａと略平行に設けられている。なお、図示では、２枚の板状レンズアレイ２１を一体のものとして表している。
【００３７】
各板状レンズアレイ２１は、複数の凸レンズ要素２６を互いの光軸を平行にして平面内に並べて構成されており、各凸レンズ要素２６は、互いの光軸を一致させた一対の凸レンズ２７から成っている。つまり、各板状レンズアレイ２１の両面には、それぞれ複数の凸レンズ２７が互いの光軸を平行にして縦横マトリクス状に設けられており、光軸の一致する各一対の凸レンズ２７が凸レンズ要素２６を構成している。
【００３８】
そして、レンズアレイユニット１２は、２枚の板状レンズアレイ２１間で対応する２個の凸レンズ要素２６がその光軸方向に並んで合成レンズ２８を構成するように、２枚の板状レンズアレイ２１を重合させている。
【００３９】
このように構成されたレンズアレイユニット１２は、表示部１１に対し、その画像表示面１５ａが各合成レンズ２８の有効な作動距離内に納まるように、表示部１１の前方に配設されている。そのため、前方空間３（レンズアレイユニット１２による結像面４）にピントが合った実像２が結像される。
【００４０】
レンズアレイユニット１２により結像する実像２は、実際には平面画像であるが、目視者にとっては、実像２が空中に浮かんでいるかのように見えることで、実像２を立体的に感じることができる。しかも、本実施形態では、上述したように、表示される二次元画像１が陰影や遠近法等の立体的な映像表現方法に基づいて作成されているため、結像した実像２を、より立体的な画像として視認させることができる。
【００４１】
また、レンズアレイユニット１２が結像する実像２は、二次元画像１の等倍正立像となる。すなわち、レンズアレイユニット１２の各合成レンズ２８は、画像表示面１５ａに表示された二次元画像１のうち、対応する各仮想分割画像（各合成レンズ２８がカバーする領域の画像）を、前方空間３に等倍率で結像する。ここで、各合成レンズ２８は、２個の凸レンズ要素２６により構成されていることから、二次元画像１の各仮想分割画像からの画像光を２回反転させ（表示面側レンズアレイ２１ｂで一度反転し、結像側レンズアレイ２１ａで再度反転させ）、前方空間３に正立像を結像する。したがって、レンズアレイユニット１２全体では、複数の仮想分割画像の等倍正立像の集合体、つまり二次元画像１の等倍正立像を実像２として前方空間３に結像する。
【００４２】
さらに、これと同様に、レンズアレイユニット１２の各合成レンズ２８は、前方空間３に進入した被検出物５のうち、対応する各仮想分割部位を、画像表示面１５ａに等倍正立像として結像する。このため、レンズアレイユニット１２全体では、被検出物５の等倍正立像を画像表示面１５ａに結像する。そして、このとき、レンズアレイユニット１２の結像面４に位置する被検出物５が、ピントの合った状態で画像表示面１５ａに結像する。
【００４３】
したがって、表示部１１は、レンズアレイユニット１２により画像表示面１５ａ（エリアセンサ）に結像した被検出物５を撮像することになる。つまり、表示部１１は、レンズアレイユニット１２を介して、結像面４にピントが合った状態で、前方空間３に進入する被検出物５を撮像する。
【００４４】
制御装置１４は、制御装置１４全体の処理動作を制御するＣＰＵ、各種プログラムや各種データ等を記憶するハードディスク、およびＣＰＵの機能を補うと共に周辺回路とのインタフェース信号を取り扱うための論理回路等で構成されている。機能的には、表示部１１に表示する二次元画像１の映像信号を生成する画像生成部４１と、被検出物５の進入位置を検出する位置検出部４２と、これらの各部を関連付けて制御する統括制御部４３とを備えている。
【００４５】
制御装置１４は、記憶された各種プログラムやデータを必要に応じて読み出し、そのプログラムおよびデータに基づいて、画像生成部４１で生成した映像信号を表示ドライバ４６に出力し、表示部１１を制御する。詳細には、制御装置１４には、後述する進入位置の検出結果と、二次元画像１の変化とを関連付けた制御テーブルが用意されており、これに基づいて、映像信号を生成するようになっている。
【００４６】
また、同様にして、表示部１１から入力した撮像データ（赤・青・緑それぞれの撮像データ）に対して所定の画像処理演算を行い、カラーの撮像画像を生成する。そして、得られた撮像画像に基づいて、被検出物５の進入位置を検出する。すなわち、撮像画像における被検出物の位置に基づいて、前方空間３の撮像面（結像面４）における被検出物５の進入位置を検出する。さらに、撮像画像における被検出物５のフォーカス感（エッジ）、サイズ、形状の変化等に基づいて、前方空間３の撮像面に垂直な方向（奥行き方向）における被検出物５の進入位置を三次元的に検出することも可能である。
なお、後述するインテグラルフォトグラフィ方式のように、実際に奥行きを持つ立体像を表示する他の立体視方式であれば、上記のフォーカス感等のフォーカス評価要素によらずとも、撮像画像を詳細に画像処理することにより、被検出物５の進入位置を三次元的に正確に検出することが可能である。
【００４７】
ここで、図３を参照して、本実施形態の画像表示装置１０におけるユーザーインタラクティブ機能について説明する。まず、表示部１１により、立体表示しようとする物（例えば、猿のキャラクタ）の二次元画像１を画像表示面１５ａに表示し、その実像２を前方空間３に結像する（同図（ａ）参照）。目視者が前方空間３に被検出物５（例えば手）を差し入れると、表示部１１により、その被検出物５を撮像し、さらに進入位置を検出する（同図（ｂ）参照）。そして、上記の制御テーブルに基づいて、その差し入れた被検出物５（手）に実像２（猿）が飛び跳ねていって止まるかのように、猿の二次元画像１を変化させる（同図（ｃ）参照）。このようにすることで、目視者に対し、前方空間３に手を差し入れると、実像２である猿がその手に止まる、という遊びを体験させることができる。
【００４８】
しかも、レンズアレイユニット１２の後方に表示部１１（認識手段）を配設したことで、レンズアレイユニット１２と目視者との間には、実像２（猿）しか存在せず、目視者に位置検出の仕掛けの存在を感じさせることがないと共に、装置全体をコンパクトに構成することができる。
【００４９】
なお、猿が手に止まった後、手の動きに合わせて、猿が移動するようにしてもよい。すなわち、前方空間３における被検出物５の移動位置を検出して、その移動位置に基づいて、猿の二次元画像１の表示位置を移動させるようにする。
【００５０】
さらに、この場合、奥行き方向への手の動きに合わせて猿を移動させることが好ましい。すなわち、実像２の結像位置が結像面４に対して垂直な方向（奥行き方向）に移動可能となるように、例えば画像表示面１５ａに対してレンズアレイユニット１２を離接可能な構成とし、被検出物５の奥行き方向の検出位置に基づいてレンズアレイユニット１２を画像表示面１５ａに対して離接させるようにしてもよい。
【００５１】
次に、図４を参照して、上記の実施形態の変形例について説明する。第１変形例の画像表示装置１０は、上記の画像表示装置１０と略同様の構成であるが、第１実施形態では、レンズアレイユニット１２により画像表示面１５ａに結像した被検出物５を撮像し、得られた撮像画像に基づいて、位置検出を行うのに対し、本変形例では、その撮像画像において、被検出物５（目視者の指）による画像光の反射光を認識して、位置検出を行う点で相違している。
【００５２】
表示部１１は、上記と同様に構成されているが、実像２が結像している前方空間３の位置に被検出物５が進入したときには、二次元画像１の画像光が被検出物５により反射することから、被検出物５と共に、その反射光を撮像（認識）するようになっている。
【００５３】
また、制御装置１４も上記と同様に構成されているが、被検出物５および反射光の撮像データに基づいて、画像光が照射された被検出物５の撮像画像を生成するようになっている。そして、得られた撮像画像における反射光の色彩と、二次元画像１の表示位置とに基づいて、被検出物５の進入位置を検出する。
【００５４】
具体的には、画像表示面１５ａの向かって右側に黄色の二次元画像１ｙ（星マーク）が表示され、前方空間３の向かって右側にその黄色の実像２ｙが結像すると共に、画像表示面１５ａの向かって左側に赤色の二次元画像１ｒ（ハートマーク）が表示され、前方空間３の向かって左側にその赤色の実像２ｒが結像している場合に、表示部１１により、反射光が赤色であると識別されたときには、赤色の二次元画像１ｒの表示位置に対応した前方空間３の位置（実像２ｒの結像位置）、つまり向かって左側が、被検出物５の進入位置として検出される。したがって、二次元画像１の表示位置に加えて、二次元画像１の色彩と関連させて、被検出物５の進入位置の検出を行うことができ、位置検出の精度をより向上させることができる。一方、ユーザーには、前方空間３に対してスイッチ操作を行うような感覚を与えることができる。
【００５５】
なお、この場合、反射光の色彩を識別せずとも、反射光を認識したか否かによって、二次元画像１の表示位置に対応した前方空間３の位置を、被検出物５の進入位置として検出するようにしてもよい。例えば、画像表示面１５ａの向かって左側に二次元画像１が表示されている場合、実像２が結像している前方空間３の左側の位置に被検出物５が進入すると、表示部１１により反射光が撮像されるが、前方空間３の右半部の位置に被検出物５が進入しても、表示部１１により反射光は撮像されない。そのため、二次元画像１の画像光の反射光が撮像された場合には、その二次元画像１の表示位置に対応する前方空間３の位置を、被検出物５の進入位置として検出することができる。このように、二次元画像１の表示位置と関連させて、被検出物５の進入位置の検出を行うことができ、位置検出の精度を向上させることができる。
【００５６】
本実施形態では、表示部１１（エリアセンサ）に代えて、反射光の有無または反射光の色彩を検出する簡易な光センサを用いてもよい。この構成によっても、実像２が表示されている前方空間３に被検出物５が進入すれば、反射光（またはその色彩）が検出されるが、実像２が表示されていない前方空間３に被検出物５が進入しても、反射光（またはその色彩）は検出されない（そもそも反射光が生じない）ため、反射光の有無だけで、または、反射光の色彩だけで、被検出物５と実像２の位置が一致しているか否かを判断することが可能である。この場合、撮像画像の画像処理を必要としないので、装置を簡略化・低コスト化することができる。
【００５７】
続いて、上記の実施形態の他の変形例について説明する。図５に示すように、第２変形例の画像表示装置１０も、上記の画像表示装置１０と略同様の構成であるが、第１実施形態では、表示機能と画像取込機能とを備えたいわゆるインプットディスプレイにより、被検出物５を認識するのに対し、本変形例では、表示機能を備えた表示部１１と、画像取込機能を備えたエリアセンサ１６とを備えた点で相違している。
【００５８】
本変形例の画像表示装置１０は、上述した各装置に加え、画像表示面１５ａとレンズアレイユニット１２との間で且つ画像表示面１５ａから外れた位置に配設されたエリアセンサ１６と、画像表示面１５ａとレンズアレイユニット１２との間に配設されたハーフミラー１７を備えている。なお、この場合、表示部１１は、表示機能のみを備えたものでよい。
【００５９】
エリアセンサ１６は、マトリクス状に撮像素子（ＣＣＤ等）を並べて構成されており、先の実施形態の表示部１１と同様に撮像を行うものである。ここでは、エリアセンサ１６は、ディスプレイ１５の画像表示面１５ａと略同サイズに構成されている。
【００６０】
また、エリアセンサ１６は、画像表示面１５ａおよびレンズアレイユニット１２に対し、略垂直に設けられており、前方空間３に進入した被検出物５が、レンズアレイユニット１２およびハーフミラー１７を介して、エリアセンサ１６に結像するようになっている。そして、その結像した被検出物５を撮像し、撮像データを制御装置１４に出力する。
【００６１】
このように、画像表示面１５ａから外れた位置にエリアセンサ１６を配設することにより、被検出物５の認識手段として、上記のような表示部１１（インプットディスプレイ）を用いることができない場合にも、被検出物を認識することができる。したがって、認識手段の選択の自由度を増すことができる。
【００６２】
また、この場合、図６に示すように、ハーフミラー１７とエリアセンサ１６との間に集光レンズ１８を配設してもよい。これによれば、レンズアレイユニット１２からの光が集光されてエリアセンサ１６に結像する。そのため、エリアセンサ１６のサイズを小さくすることができ、エリアセンサ１６の選択の自由度とレイアウト設計の自由度とを増すことができる。
【００６３】
さらに、この場合、図７に示すように、ディスプレイ１５の画像表示面１５ａから左右（あるいは上下等）両側にそれぞれ外れた位置に、画像表示面１５ａおよびレンズアレイユニット１２に対して略９０°の角度を為して配設された２個のエリアセンサ１６と、画像表示面１５ａおよびレンズアレイユニット１２の間に位置して、これらに対して略４５°の角度を為すと共に、互いに直行する角度（略「Ｖ」の字状）に設けられた２個のハーフミラー１７と、を備えた構成であってもよい。すなわち、前方空間３を画像表示面１５ａに向かって縦方向に区分した２個の仮想分割前方空間３ａに、２個のハーフミラー１７をそれぞれ対応させると共に、２個のエリアセンサ１６をそれぞれ対応させている。
【００６４】
これによれば、上記のような配置で、各仮想分割前方空間３ａに対応してエリアセンサ１６とハーフミラー１７とを設けることで、２個のエリアセンサ１６を画像表示面１５ａから外れた位置に配設すると共にハーフミラー１７の小型化を図ることができ、画像表示面１５ａとレンズアレイユニット１２との間の設置スペース（各合成レンズ２８の作動距離）が短い場合や、画像表示装置１０自体の奥行きをコンパクトにしたい場合等に対応可能となる。また、各エリアセンサ１６を、各仮想分割前方空間３ａに対応した面積とすることができ、小型化を計ることができる。
【００６５】
なお、ここまで、被検出物５の認識手段として、エリアセンサ１６（表示部１１）を用いたものについて説明したが、位置検出の精度を必要としない場合には、このようなエリアセンサに代えて、コストダウンを図るべく、簡易な光センサ１９を用いてもよい（図８参照）。この場合も、複数の仮想分割前方空間３ａに対応して複数の光センサ１９を設けることで、いずれの仮想分割前方空間３ａに被検出物５が進入したか検出することができ、およその進入位置を検出することができる。ここでは、前方空間３を縦方向に２区分したが、区分数は任意であって、例えば、前方空間３を９区分（縦３×横３）し、これに対応して９個の光センサ１９を設けてもよい。
さらに、上述したように、光センサ１９を、反射光（またはその色彩）を検出可能な構成とすれば、実像２の位置（二次元画像１の表示位置）と関連させて、被検出物５の進入位置の検出を行うことができる。
【００６６】
以上のように、本発明を適用した画像表示装置１０によれば、目視者に位置検出の仕掛けの存在を感じさせることなく、コンパクトな構成により、実像２を形成する前方空間３に進入した被検出物５の進入位置を検出することができる。
【００６７】
なお、以上の実施形態では、立体画像表示の方式として、レンズアレイユニット１２により前方空間３に二次元画像１の実像２を結像させるものについて説明したが、他の方式であってもよく、例えば、パララックスバリア方式やレンチキュラ方式のように、両眼視差により虚像を立体視させるものでもよい。もっとも、上述した本実施形態や、後述するインテグラルフォトグラフィ方式のように、実像を立体視させるものが好ましく、目視者は、その実像を実際に触っているかのような感覚を得ることができ、臨場感を高めることができる。特に、図９に示すように、インテグラルフォトグラフィ方式のＩＰレンズアレイ６１によれば、上記のレンズアレイユニット１２と異なり、実像６として実際に奥行きを持つ立体像（図示では雲）を形成するため、より臨場感を高めることができる。さらに、この場合、表示部１１はインプットディスプレイであることが好ましい。
また、二次元画像１を立体視させる光学パネルとしては、それぞれの立体画像表示の方式に対応して、レンズアレイユニット１２やＩＰレンズアレイ６１だけでなく、レンチキュラレンズ、バリア、スリット、ピンホールアレイ等が考えられる。
【００６８】
さらに、レンズアレイユニット１２を用いた本実施形態では、上述したように、被検出物５の等倍正立像を画像表示面１５ａ（エリアセンサ１６）に結像するため、他の方式に比べて、画像処理が複雑となることがない。一方、インテグラルフォトグラフィ方式の本実施形態や、本実施形態以外の立体画像表示方式では、立体視を可能とする光学パネルの構造上、被検出物５をそのままの形状で画像認識することができないため、画像処理が複雑となってしまう。ただし、上述したように複雑な画像処理を行うことにより、三次元的な検出も可能になる。
【００６９】
また、以上の実施形態を適宜組み合わせたり、または適宜選択することにより、より高度な位置検出や、より正確な位置検出も可能であるし、逆に装置の簡略化や小型化、低コスト化も可能であり、必要に応じて様々な位置検出を実現することができる。

Claims (12)

1. 二次元画像を表示する表示手段と、
   前記表示手段の画像表示面の前方に配設され、自身の前方空間に前記二次元画像に基づく立体視認画像を形成する光学パネルと、
   前記光学パネルの後方に配設され、前記前方空間に進入した被検出物を、前記光学パネルを介して光学的に認識する認識手段と、
   前記認識手段による認識結果に基づいて、前記被検出物の前記前方空間における進入位置を検出する位置検出手段と、を備え、
   前記認識手段は、前記光学パネルを介して前記前方空間を撮像するエリアセンサであり、
   前記位置検出手段は、前記エリアセンサに取り込まれた撮像画像に基づいて、前記被検出物の進入位置を検出することを特徴とする画像表示装置。
2. 二次元画像を表示する表示手段と、
   前記表示手段の画像表示面の前方に配設され、自身の前方空間に前記二次元画像に基づく立体視認画像を形成する光学パネルと、
   前記二次元画像の画像光が、前記前方空間に進入した被検出物により反射した反射光を認識する認識手段と、
   前記認識手段による認識結果に基づいて、前記被検出物の前記前方空間における進入位置を検出する位置検出手段と、
   を備えたことを特徴とする画像表示装置。
3. 前記認識手段は、前記二次元画像の画像光が前記被検出物により反射した反射光を認識し、
   前記位置検出手段は、前記反射光と前記二次元画像の表示位置とに基づいて、前記被検出物の進入位置を検出することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記表示手段は、色違い複数の前記二次元画像を表示可能に構成され、
   前記認識手段は、前記反射光の色彩を識別可能に構成され、
   前記位置検出手段は、前記反射光の色彩と前記二次元画像の表示位置とに基づいて、前記被検出物の進入位置を検出することを特徴とする請求項３に記載の画像表示装置。
5. 前記認識手段は、前記光学パネルを介して前記前方空間を撮像するエリアセンサであり、
   前記位置検出手段は、前記エリアセンサに取り込まれた撮像画像に基づいて、前記被検出物の進入位置を検出することを特徴とする請求項２に記載の画像表示装置。
6. 前記表示手段は、前記エリアセンサを内蔵していることを特徴とする請求項１または５に記載の画像表示装置。
7. 前記位置検出手段は、前記撮像画像における前記被検出物の位置と、前記撮像画像における前記被検出物のフォーカス評価要素とに基づいて、前記被検出物の三次元的な進入位置を検出することを特徴とする請求項１または５に記載の画像表示装置。
8. 前記認識手段は、前記画像表示面から外れた位置に配設され、
   前記画像表示面と前記光学パネルとの間に配設され、前記画像表示面からの光を前記光学パネルに導くと共に、前記光学パネルからの光を前記認識手段に導く導光手段を、さらに備えたことを特徴とする請求項１または２に記載の画像表示装置。
9. 前記認識手段は、前記前方空間を前記画像表示面に向かって縦および／または横に区分した複数の仮想分割前方空間に対応して、複数個設けられていることを特徴とする請求項１または２に記載の画像表示装置。
10. 前記光学パネルからの光を前記認識手段に対して集光する集光手段を、さらに備えたことを特徴とする請求項１または２に記載の画像表示装置。
11. 前記位置検出手段による検出結果と、前記画像表示面に表示される二次元画像の変化とを関連付ける制御テーブルに基づいて、前記二次元画像を制御する画像制御部を、さらに備えたことを特徴とする請求項１または２に記載の画像表示装置。
12. 前記光学パネルは、凸レンズアレイから構成され、
    前記立体視認画像は、前記凸レンズアレイにより前記前方空間に結像した前記二次元画像の実像であることを特徴とする請求項１または２に記載の画像表示装置。

Images