WO2007114225A1

WO2007114225A1 - 立体的二次元画像表示装置

Info

Publication number: WO2007114225A1
Application number: PCT/JP2007/056816
Authority: WO
Inventors: Isao Tomisawa; Masaru Ishikawa
Original assignee: Pioneer Corporation
Priority date: 2006-03-31
Filing date: 2007-03-29
Publication date: 2007-10-11

Abstract

立体的二次元画像表示装置１００は、二次元画像を表示する画像表示面１１を備えた表示部１０と、画像表示面１１に離間して配置されたマイクロレンズアレイ２０と、から構成され、画像表示面１１から出射される光をマイクロレンズアレイ２０の表示部１０とは反対側に位置する空間中の結像面３０に結像して、立体的二次元画像を表示する立体画像表示部２と、結像面３０に触れた観察者の被検出体７０の位置を検出する位置検出センサ４０と、被検出体７０に装着した被作用体７１に力を作用させる力覚デバイス６０と、位置検出センサ４０によって検出された被検出体７０の位置に応じて、力覚デバイス６０が被作用体７１に作用させる力の大きさ及び方向を制御する制御部８と、を有する。

Description

明細書

立体的二次元画像表示装置

技術分野

[0001] 本発明は、二次元画像を擬似立体的に表示する立体的二次元画像表示装置に関する。

背景技術

[0002] マイクロレンズアレイ (画像伝達パネル）を、二次元画像の表示面の前方に所定の間隔を隔てて配置することにより、マイクロレンズアレイの前方の空間上に、二次元画像の擬似立体画像を表示する立体的二次元画像表示装置が知られている（例えば、特許文献 1、特許文献 2参照。 )₀

[0003] 特許文献 1 :特開 2001— 255493号公報

特許文献 2：特開 2003 - 98479号公報

発明の開示

発明が解決しょうとする課題

[0004] ところで、上述した従来の立体的二次元画像表示装置は、単に二次元画像を立体的に表示させ、観察者は、ただ受動的な立場で表示された立体的二次元画像を視認するだけである。すなわち、観察者が表示された立体的二次元画像に対して何らかのアクションを行うことができず、インタラクティブ性を有するコミュニケーションツールとはなっていない。このため、インタラクティブ性を有するコミュニケーションツールとしての立体的二次元画像表示装置が望まれて!/ヽた。

[0005] 例えば、観察者が空中に表示された立体的二次元画像に触れることによって、表示された立体的二次元画像を変化させたり、感触を与えたりすれば、より効果的な立体表示ができ、臨場感やアミューズメント性を向上させることができる。

[0006] 本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、観察者にカ覚を与えることができる立体的二次元画像表示装置を提供することにある。課題を解決するための手段

[0007] 上記の課題を達成するため、請求項 1記載の立体的二次元画像表示装置は、二次元画像を表示する画像表示面を備えた表示部と、前記画像表示面に離間して配置された画像伝達パネルと、から構成され、前記画像表示面から出射される光を前記画像伝達パネルの前記表示部とは反対側に位置する空間中の結像面に結像して、立体的二次元画像を表示する立体画像表示手段と、前記結像面近傍における被検出体の位置を検出する位置検出手段と、前記被検出体の一部又は全部である被作用体に力を作用させるカ覚提示手段と、前記位置検出手段によって検出された被検出体の位置に応じて、前記カ覚提示手段が前記被作用体に作用させる力の大きさ及び方向を制御するカ覚制御手段と、を有することを特徴とする。

[0008] また、請求項 3記載の立体的二次元画像表示装置は、二次元画像を表示する画像表示面を備えた表示部と、前記画像表示面に離間して配置された画像伝達パネルと、から構成され、前記画像表示面から出射される光を前記画像伝達パネルの前記表示部とは反対側に位置する空間中の結像面に結像して、立体的二次元画像を表示する立体画像表示手段と、前記結像面近傍における被作用体に力を作用させる力覚提示手段と、前記画像表示面に表示される二次元画像の内容に応じて、前記力覚提示手段が前記被作用体に作用させる力の大きさ及び方向を制御するカ覚制御手段と、を有することを特徴とする。

図面の簡単な説明

[0009] [図 1]本発明の実施の形態に係る立体的二次元画像表示装置の構成図である。

[図 2]本発明の実施の形態に係る立体的二次元画像表示装置における位置検出及びカ覚提示の一例を説明する図である。

[図 3]本発明の実施の形態に係る立体的二次元画像表示装置の一実施例を説明する図である。

[図 4]図 3に示す一実施例において、指の位置に応じてカ覚を変化させる具体例を説明する図である。

[図 5]本発明の実施の形態に係る立体的二次元画像表示装置の別の実施例を説明する図である。

[図 6]図 5に示す一実施例におヽて、表示される画像に応じてカ覚を変化させる具体例を説明する図である。 [図 7]本発明の実施の形態に係る立体的二次元画像表示装置の別の実施例を説明する図である。

[図 8]図 7に示す一実施例において、指の位置に応じて画像を変化させ、カ覚を変化させる具体例を説明する図である。

[図 9]本発明の実施の形態に係る立体的二次元画像表示装置に用いられる被作用体の形状の一例を示す図である。

符号の説明

1 筐体

2 立体画像表示部

3 ディスプレイ駆動部

4 センサ駆動部

5 オーディオ駆動部

6 カ覚デバイス駆動部

7 画像生成部

8 制御部

10 表示部

11 画像表示面

20 マイクロレンズアレイ

21 レンズアレイ半体

22 透明基板

23 マイクロ凸レンズ

30 立体画像表示面

40 位置検出センサ

50 音声出力部

60 カ覚デバイス

61a, 61b, 61c, 61d 電磁石

70 被検出体 (指）

71 被作用体 (金属） 100, 100A, 100B, 100C 立体的二次元画像表示装置

発明を実施するための最良の形態

[0011] 以下、本発明の実施の形態を図面を用いて説明する。

[0012] 図 1は、本発明の実施の形態に係る立体的二次元画像表示装置 100の構成図である。立体的二次元画像表示装置 100は、観察者が立体表示であると視認可能な二次元画像を空間中の所定の平面上に表示する擬似立体画像表示装置である。

[0013] 立体的二次元画像表示装置 100は、表示部 10及びマイクロレンズアレイ 20 (画像伝達パネル)から構成され、二次元画像を空間中の平面上に表示する立体画像表示部 2を筐体 1の中に備えている。また、立体的二次元画像表示装置 100は、筐体 1 上に、効果音や人の声などの音声を出力する音声出力部 50、空間中に表示された二次元画像の位置に対応付けて配置され、観察者 Hの被検出体 (例えば、指など) 7 0の位置を検出する位置検出センサ 40、及び観察者 Hの被検出体 70に装着された被作用体 (例えば、金属など） 71に力を作用させるカ覚デバイス 60を備えている。ここで、カ覚とは、物体に触れているときに生じる感覚を意味し、物体の硬さや物体の形状を認識する感覚である。すなわち、立体的二次元画像表示装置 100は、表示された擬似立体画像に観察者 Hが触れた場合には、観察者 Hに力を作用させ、物に触れて、るような感覚を提示する装置でもある。

[0014] また、立体的二次元画像表示装置 100には、上述した表示部 10を駆動制御するディスプレイ駆動部 3、位置検出センサ 40を駆動するとともに、位置検出センサ 40を介して検出された検出信号を受け取るセンサ駆動部 4、音声出力部 50を駆動制御するオーディオ駆動部 5、カ覚デバイス 60を駆動制御するカ覚デバイス駆動部 6、表示すべき画像データを生成する画像生成部 7、並びに画像表示、音声出力及び力覚提示に関する全体的な制御を行う制御部 8を筐体 1に隣接して設けている。なお、本実施形態に係る立体的二次元画像表示装置 100におヽては、ディスプレイ駆動部 3、センサ駆動部 4、オーディオ駆動部 5、カ覚デバイス駆動部 6、画像生成部 7及び制御部 8を、筐体 1とは物理的に別な構成とした力同一の筐体内にすべての構成要素を包含するような構成であってもよ、。

[0015] 表示部 10は、観察者 Hと対向する、筐体 1の一内側面に沿って設けられ、二次元画像を表示する画像表示面 11を備えている。具体的には、表示部 10は、液晶ディスプレイ、 EL (electro- luminescence)パネル、 CRT (Cathode Ray Tube)等のディスプレイから構成されており、ディスプレイ駆動部 6の駆動信号に応じた画像を画像表示面 11に表示するようになっている。すなわち、画像表示面 11から画像に応じた光が出射される。なお、表示部 10としては、薄型化された画像表示面である液晶ディスプレイや ELパネル等のパネルディスプレイが好適である。

[0016] マイクロレンズアレイ 20は、 2枚のレンズアレイ半体 21が互いに平行に配列されて構成されている。各レンズアレイ半体 21は、透光性に優れたガラスまたは榭脂からなる透明基板 22の両面に、同一の曲率半径を有する複数の微小なマイクロ凸レンズ 2 3をマトリクス状に互いに隣接配置したものである。一面に形成された各マイクロ凸レンズ 23の光軸は、対向する位置に形成された他面のマイクロ凸レンズ 23の光軸と同一となるように調整されている。すなわち、同一の光軸を有するように調整されたマイクロ凸レンズ 23の各対は、それぞれの光軸が互いに平行になるように、 2次元状（図 1の X— Y平面）に配列されている。

[0017] マイクロレンズアレイ 20は、表示部 10の画像表示面 11に対して平行に所定距離（マイクロレンズアレイ 20の作動距離）だけ離れた位置に配置されて!、る。マイクロレンズアレイ 20は、表示部 10の画像表示面 11から出射した画像に対応する光を画像表示面 11と反対側の所定距離 (マイクロレンズアレイ 20の作動距離)だけ離れた立体画像表示面 30上に結像させることにより、画像表示面 11に表示された画像を空間上の二次元平面である立体画像表示面 30上に表示するようになって、る。この結像された画像は二次元画像である力その画像が奥行き感を持つものである場合やディスプレイ上の背景画像が黒くコントラストが強調されているような場合には、空間上に浮いて表示されることから、正面の観察者 Hからは、あた力も立体画像が映し出されているように見える。以下、立体画像表示面 30に表示される二次元画像を立体的二次元画像という。このように、本実施の形態においては、表示部 10とマイクロレンズァレイ 20によって、画像に対応する光を立体画像表示面 30 (すなわち結像面）に結像して立体的二次元画像を表示する立体画像表示部 2を構成している。

[0018] ここで、立体画像表示面 30は、空間上に仮想的に設定される平面であって実体物ではなぐマイクロレンズアレイ 20の作動距離に応じて定義される空間上の 1平面である。そのため、筐体 1の前面は、立体画像表示面 30上に表示される画像を正面から見ることができるように開口されて、る。

[0019] 位置検出センサ 40は、筐体 1の前面に配置され、立体画像表示面 30近傍の所定の検出領域内に存在する観察者 Hの被検出体 (例えば、指など） 70の位置を検出するセンサである。例えば、立体画像表示面 30上の位置（図 1の X—Y座標）を検出可能な二次元位置検出センサとして、立体的二次元画像に触れる観察者 Hの被検出体の位置を検出するようにしてもよい。また、立体画像表示面 30上の位置だけではなぐ立体画像表示面 30に垂直な奥行き方向（図 1の Z方向）の位置（図 1の Z座標）も検出可能な三次元位置検出センサであってもよい。

[0020] 具体的には、二次元位置検出センサに光学式センサを採用する場合には、図 2に示すように、検出平面 (例えば、立体画像表示面 30)の周囲に外枠を設け、外枠上に枠状の二次元位置検出センサ 40を配置する。すなわち、外枠の四辺のうち、 Y方向に平行な二辺の一方に X方向検出用ラインセンサの発光部、他方に受光部を設け、 X方向に平行な二辺の一方に Y方向検出用ラインセンサの発光部、他方に受光部を設けることにより、被検出体 70が検出平面を横切った際の X—Y平面上の位置座標を割り出すことができる。

[0021] また、三次元位置検出センサに光学式センサを採用する場合には、立体画像表示面 30を含む空間を検出領域とするように、例えば、図 2に示す二次元位置検出センサを Z方向に複数層に配列することで構成することができる。

[0022] なお、本実施の形態では、枠状の位置検出センサ 40により観察者 Hの被検出体 7 0を検知するようにしたが、上述した二次元位置検出センサや三次元位置検出センサ以外の装置により観察者 Hの被検出体 70を検知してもよいのは勿論であり、例えば、カメラ等により観察者 Hの被検出体 70の位置を検知するようにしてもょ、 (色や形の画像認識により、観察者 Hの被検出体 70の位置を検知する)。

[0023] カ覚デバイス 60は、筐体 1の前面に配置され、立体画像表示面 30近傍の所定の検出領域内に存在する観察者 Hの被作用体 71に力を作用させる装置である。ここで、被作用体 71は、例えば、指に装着される金属 (磁性体)などのように、被検出体 70 の一部に含まれる構成であってもよいし、また、例えば、指自身のように、被検出体 7 0と被作用体 71を同一とする構成であってもよい。カ覚デバイス 60としては、外部から遠隔的に被作用体 71に力を作用させる形態 (図 1参照)と、被検出体 70に装着した所定の装置自体が力を発生する形態（図示せず)の 2通りが存在する。

[0024] 例えば、外部力も遠隔的に被作用体 71に力を作用させる場合には、カ覚デバイス 60として、磁力を発生させる電磁石、風力を発生させる風力発生装置などが想定される。電磁石をカ覚デバイス 60として用いる場合には、立体画像表示面 30周囲の外枠上に複数の電磁石を配置し、この電磁石に電流を流すことによって、被検出体（指) 70に装着した被作用体 (金属など) 71に磁力を作用させることができ、この結果、観察者 Hには電流を流した電磁石の方向に引っ張られる感覚を与えることができる。また、風力発生装置をカ覚デバイス 60として用いる場合には、立体画像表示面 30 周囲の外枠上に複数の風圧発生装置を設置し、風力発生装置が風を発生させることによって、被検出体 (指) 70に装着した被作用体 (帆のような風圧受け又は指自身) 7 1に風力を作用させることができ、この結果、観察者 Hには風力を発生させた風力発生装置の方向から遠ざけられるような感覚を与えることができる。

[0025] また、被検出体 70に装着した所定の装置自体が力を発生する場合には、カ覚デバイス 60として、磁力を発生させる電磁石、風力を発生させる風力発生装置、及び振動装置などが想定される。電磁石をカ覚デバイス 60として用いる場合には、立体画像表示面 30周囲に金属製の外枠を配置し、指に装着した電磁石に電流を流すことによって、電磁石が金属製の外枠に磁力を作用させ、電磁石が金属製の外枠に引き寄せられるようにしてもよい。また、風力発生装置をカ覚デバイス 60として用いる場合には、指に風力発生装置を装着し、指が発生する風とは逆の方向に力を直接感じるようにしてもよい。さらには、振動装置をカ覚デバイス 60として用いる場合には、指や手に直接、ノイブレーシヨン機能を備える振動装置を装着し、指や手にバイブレーシヨンを与えることで、容易に触感を与えてもよい。この場合には、作用させる力の方向を正確に制御することはできないが、立体的二次元画像に触れると振動するだけでも、視覚に影響されて感覚を与えることができる。また、複数の振動装置を指や手に装着することで、観察者 Hに力のおおよその方向を感じさせることも可能である。なお、被検出体 70に装着した所定の装置自体が力を発生する場合においては、被検出体 70に装着したカ覚デバイス 60は、有線又は無線によりカ覚デバイス駆動部 6と接続されてヽて、駆動制御されるようになって!/ヽる。

[0026] ここで、カ覚デバイス 60として電磁石 61を採用し、電磁石 61が指 70に装着した金属 71に力を作用させる場合を、図 2を参照して具体的に説明する。図 2に示すカ覚デバイス 60は、立体画像表示面 30周囲の外枠上の各辺に電磁石 61をそれぞれ配置し、立体画像表示面 30に平行な方向、すなわち、立体画像表示面 30内の所定の方向に力を作用させるようになつている。例えば、金属 71に +X方向の力 Faを作用させたいときには、電磁石 6 laを駆動させればよぐこの場合、指 70には +X方向に引っ張られる感覚を与えることができる。また、同様にして、金属 71に +Y方向の力 F bを作用させたいときには、電磁石 6 lbを駆動させればよぐこの場合、指 70には +Y 方向に引っ張られる感覚を与えることができる。さらには、金属 71に右斜め上方の力 Fabを作用させたいときには、電磁石 61a及び 61bを同時に駆動させればよく（+X 方向に力 Fa、 +Y方向に力 Fbの力が作用するので、ベクトルの総和として、右斜め上方の力 Fabが作用する）、この場合には、指 70には右斜め上方に引っ張られる感覚を与えることができる。なお、図 2においては、電磁石 61を各辺に 1つずつ配置する構成を採用したが、電磁石 61の配置構成はこれに限定されず、その他の構成、例えば、より多くの電磁石 61を配置する構成 (各辺に複数の電磁石を配置するなど）を採用し、金属 71に作用させる力の大きさ及び方向をよりきめ細力べ制御できるようにしてもよい。

[0027] ディスプレイ駆動部 3は、制御部 8から送られる画像に応じて表示部 10を駆動制御するようになつている。より詳しくは、ディスプレイ駆動部 3は、画像生成部 7により生成された画像データを制御部 8を介して受け取り、その画像データに対応した画像を表示部 10の画像表示面 11に表示させるようになって、る。

[0028] オーディオ駆動部 5は、音声出力部 50を駆動制御するようになっており、制御部 10 力もの指示に応じて所定の音声を音声出力部 50から出力させるようになって、る。

[0029] センサ駆動部 4は、位置検出センサ 40を駆動し、位置検出センサ 40から検出した位置を示す検出信号を受け取るようになつている。受け取った検出信号は、制御部 8 に送られ、制御部 8は、この検出信号に応じた画像の生成を画像生成部 7に指示し、生成された画像をディスプレイ駆動部 3を介して表示部 11の画像表示面 11に表示させたり、生成された画像に対応した音声を音声出力部 50から出力させたり、カ覚デバイス 6を介して検出信号に応じた力を被作用体 71に作用させるようになつている。

[0030] 画像生成部 7は、表示部 10に表示される画像データを生成するものであり、例えば所定のプログラムに応じて画像を生成するように構成されている。なお、画像生成部 7は、予め所定の画像が記憶された画像記憶部を備え、制御部 8からの指示に応じて記憶された画像を制御部 8に出力するように構成してもよヽ。

[0031] 制御部 8は、位置検出センサ 40から出力された信号をセンサ駆動部 4を介して受け取り、位置検出センサ 40の出力信号に応じて、その出力信号に応じた画像を今まで表示していた画像力も切り換えて表示するようになっている。すなわち、制御部 8は、観察者 Hの被検出体 70の位置に応じて、画像を変化させるように表示部 10を制御し、これにより空間上の立体画像表示面 30に結像される立体的二次元画像を変化させるようになっている。

[0032] また、制御部 8は、位置検出センサ 40から出力された信号をセンサ駆動部 4を介して受け取り、位置検出センサ 40の出力信号に応じて、被作用体 71に作用させる力を変化させるようになつている。すなわち、制御部 8は、観察者 Hの被検出体 70の位置に応じて、発生させる力の大きさ及び方向を変化させるようにカ覚デバイス 60を制御し、これにより観察者 Hが感じるカ覚を変化させている。

[0033] さらには、制御部 8は、画像生成部 7から生成される画像データの内容に合わせて、被作用体 71に作用させる力を変化させるようになつている。すなわち、制御部 8は、画像の内容に応じて、発生させる力の大きさ及び方向を変化させるようにカ覚デバイス 60を制御し、これにより観察者 Hが感じるカ覚を変化させて、る。

[0034] このように、本実施形態に係る立体的二次元画像表示装置 100は、観察者 Hの被検出体 70の位置によって映像を変化させたり、観察者 Hの被検出体 70の位置によつて観察者 Hに提示するカ覚を変化させたり、映像の内容に応じて観察者 Hに提示するカ覚を変化させたりすることができるので、より効果的な立体表示ができ、よりリアルで、アミューズメント性の高、インタラクティブなコミュニケーションツールとして活用することができる。

[0035] 以下、カ覚制御の具体的内容を説明する。なお、以下の実施例では、図 2に示すような位置検出センサ 40及びカ覚デバイス 60、すなわち、立体画像表示面 30の周囲に配置した枠上の位置検出センサ 40、及び立体画像表示面 30周囲近傍の外枠上の各辺に電磁石 61を設けた場合であって、指 70に装着した金属 71に力を作用させる場合について説明する。

実施例 1

[0036] 図 3は実施例 1の立体的二次元画像表示装置 1 OOAの概略構成を示す図である。

立体的二次元画像表示装置 100Aは、位置検出センサ 40として、立体画像表示面 3 0内の位置 (X— Y平面上の位置座標）を検出可能な二次元位置検出センサを備えており、かつ、カ覚デバイス 60として、立体画像表示面 30 (X—Y平面）に平行な方向に力を作用させるカ覚デバイスを備えている。立体的二次元画像表示装置 100A は、図 3 (a)に示すように、観察者 Hの指 70が立体画像表示面 30に表示された所定の立体的二次元画像 Pに触れると、金属 71に力 Fを作用させ、立体的二次元画像 P から指 70を離すと（立体的二次元画像 Pに触れて、な、と）、力 Fを作用させな、制御を行う。すなわち、位置検出センサ 40から指 71の位置を検出し、検出した位置座標から立体的二次元画像 Pに触れていると判断したときには、力 Fを作用させるようになっている。なお、立体的二次元画像 Pに触れていると判断したときには、立体的二次元画像 Pを変化させるとともに、力 Fを作用させるようにしてもょ、。

[0037] 本実施例におけるカ覚制御はこの他、種々のバリエーションを施せるものである。

例えば、図 3 (b)に示すように、立体的二次元画像 Pを触れていない位置力指 70を移動させてきて、立体的二次元画像 Pに触れると、金属 71に力 Fを作用させ、また、力 Fを作用させた位置力さらに指 70を上方に移動させると、移動した方向に合わせて立体的二次元画像 Pを移動させ、かつ作用させる力 Fも変化させるようにしてもよい (立体的二次元画像 Pとして表示された所定の物体に触れて、所定の物体を持ち上げたイメージ)。また、表示された立体的二次元画像 Pの内容に応じて、立体的二次元画像 Pに触れる指 70に作用させる力の大きさ及び方向を変化させるようにしてもよい（風が吹いている立体的二次元画像 Pであれば、画像上の風上から風下にかけて力 Fを作用させ、また、水が流れている立体的二次元画像 Pであれば、画像上の川上から川下にかけて力 Fを作用させる。この場合、急流の川の場合には、強い力 Fを作用させ、緩流な川の場合には、弱い力 Fを作用させるなどしてもよい)。

[0038] 図 4は、立体的二次元画像表示装置 100Aが表示する立体的二次元画像 P1の一例である。ここで、図 4に示された立体的二次元画像 P1は、滝の画像である。立体的二次元画像表示装置 100Aは、図 4 (a)に示すように立体的二次元画像 PIの滝の位置 (水が流れている部分）に指 70を入れると、指 70を入れた位置に水しぶきを発生させる立体的二次元画像 P1を表示し、かつ指 70に装着した金属 71に下向きの力 F1 を作用させて、実際に上力下に落ちる水の中に指を入れたときの感触を与えるようになっている。なお、滝の位置ではないところに指 70を入れても、金属 71に力は作用しない。

[0039] そして、図 4 (a)の状態から、指 70を上に移動させると、立体的二次元画像表示装置 100Aは、図 4 (b)に示すように、指 70の移動に応じて、水しぶきの発生する位置が上に移動した立体的二次元画像 P 1を表示するとともに、指 70に装着した金属 71 に下向きの力 F2 ( >F1)を作用させて、実際に上から下に落ちる水の中に指 70を入れて指 70を上に移動させたときの感触、すなわち、水の流れに逆らって指 70を動かしているので、図 4 (a)に示す状態よりも強い力を受ける感触を与えるようになつている。

[0040] 一方、図 4 (a)の状態から、指 70を下に移動させると、立体的二次元画像表示装置 100Aは、図 4 (c)に示すように、指 70の移動に応じて、水しぶきの発生する位置が下に移動した画像 P1を表示するとともに、指 70に装着した金属 71に下向きの力 F3 (く F1)を作用させて、実際に上力も下に落ちる水の中に指 70を入れて指 70を下に移動させたときの感触、すなわち、水の流れに沿って指 70を動力しているので、図 4 (a)に示す状態よりも弱!ヽカを受ける感触を与えるようになって!/、る。

[0041] このように、実施例 1の立体的二次元画像表示装置 100Aによれば、観察者 Hの被検出体 70の位置や立体的二次元画像 Pの内容に応じて、観察者 Hの被作用体 71 に作用させる力 Fの大きさや方向を制御し、立体画像表示面 30に対して平行な力 F を与えるので、観察者 Hに上下や左右に引っ張られたり押されたりする感覚を与えることができる。

[0042] なお、図 4に示した例において、カ覚デバイス 60が金属 71に作用させる力は、必ずしも実際にかかる力（滝の中に指を入れたときに実際に感じる力）と同一である必要はなぐ実際よりも弱い力であってもよい。これは、人間の感覚は、視覚からの影響が強いので、視覚を補助する程度の力であっても、観察者 Hは実際に近い力覚を感じることができるためである。

実施例 2

[0043] 図 5は実施例 2の立体的二次元画像表示装置 1 OOBの概略構成を示す図である。

立体的二次元画像表示装置 100Bは、位置検出センサ 40として、立体画像表示面 3 0内の位置 (X— Y平面上の位置座標）を検出可能な二次元位置検出センサを備えており、かつ、カ覚デバイス 60として、立体画像表示面 30 (X—Y平面）に平行な方向に加えて、立体画像表示面 30に垂直な奥行き方向（Z方向）に力を作用するカ覚デバイスを備えている。

[0044] 詳しくは、図 5に示すように、カ覚デバイス 60は、立体画像表示面 30の前後（Z方向）にそれぞれ配置されて！ヽるので (実施例 1に示すカ覚デバイス 60が立体画像表示面 30の前後にそれぞれ配置されている）、手前に押し戻される感覚（+Z軸方向に作用する力)及び奥に引っ張られる感覚（-Z軸方向に作用する力）を観察者 Hに与えることができる。例えば、指 70に装着された金属 71が画像表示面 30に表示された立体的二次元画像 Pに触れたときに、観察者 Hに対して手前に配置したカ覚デバイス 60のうち、対向する二辺のそれぞれの電磁石 61を駆動させれば、 +Z軸方向の力を金属 71に作用させることができる。また、観察者 Hに対して奥に配置したカ覚デバイス 60のうち、対向する二辺のそれぞれの電磁石 61を駆動させれば、 Z軸方向の力を金属 71に作用させることができる。勿論、この他、被作用体 71の位置、及び駆動させる電磁石の選択によって、上下左右前後の、ずれの方向に対しても力 Fを作用させることは可能である。

[0045] 図 6は、立体的二次元画像表示装置 100Bが表示する立体的二次元画像 P2の一例を示している。ここで、図 6 (a)に示された立体的二次元画像 P2は、雲の画像であり、図 6 (b)に示された立体的二次元画像 P2は、箱の画像である。立体的二次元画像表示装置 100Bは、図 6 (a)に示すような雲の立体的二次元画像 P2を表示し、観察者 Hの指 70が立体的二次元画像 P2に触れた場合には、観察者 Hの指 70に装着した金属 71には +Z軸方向の全体的に弱い力を、なだらかに変化するように作用させ、軽く弾力があるように指 70を押し戻すので、「雲は柔らかい」という感覚を観察者 Hに与えるようになつている。一方、図 6 (b)に示すような箱の立体的二次元画 P3を表示し、観察者 Hの指 70が立体的二次元画 P3に触れた場合には、観察者 Hの指 7 0に装着した金属 71に + Z軸方向の強い力を瞬間的に作用させて、指 70を押し戻すので、「箱は硬い」という感覚を与えるようになつている。なお、箱に触れなかった場合には、観察者 Hの指 70に装着した金属 71に力は作用しな、。

[0046] このように、実施例 2の立体的二次元画像表示装置 100Bによれば、観察者 Hの被検出体 70の位置や立体的二次元画像 Pの内容に応じて、観察者 Hの被作用体 71 に作用させる力 Fの大きさや方向を制御し、立体画像表示面 30に対して上下左右前後に力を作用させることができるので、奥に引っ張られる感覚や手前に押し戻される感覚を観察者 Hに与えることができ、また、物体に触れたときの柔らかい感覚や硬い感覚を観察者 Hに与えることができる。

実施例 3

[0047] 図 7は実施例 3の立体的二次元画像表示装置 100Cの概略構成を示す図である。

[0048] 立体的二次元画像表示装置 100Cは、位置検出センサ 40として立体画像表示面 30 を含む立体空間の位置を検出可能な三次元位置検出センサを備え (またはカメラ等により三次元位置を検出可能な装置であってもよい）、かつ、カ覚デバイス 60として、実施例 2と同様に、立体画像表示面 30 (X—Y平面）に平行な方向に加えて、立体画像表示面 30に垂直な奥行き方向（Z方向）に力を作用するカ覚デバイスを備えている。

[0049] また、表示部 10Aは、画像表示面が平行な複数の表示部から構成されており、例えば、図 7に示すように、第 1表示部 10、第 2表示部（中央に位置する表示部） 90及び第 3表示部（一番右側に位置する表示部） 90の 3つの表示部から構成されている。ここで、第 2表示部 90及び第 3表示部 90は、二次元画像を表示する画像表示面 91 を備え、画像伝達パネル 20の光軸上にあり、第 1表示部 10と画像伝達パネル 20の間に配置される。また、第 2表示部 90及び第 3表示部 90は、画像表示面 11に対向する面から画像表示面 91に向けて光透過性を有しており、第 1表示部 10から出射される光を透過するとともに、二次元画像を表示するようになっている（第 3表示部 90は、第 1表示部 10から出射される光及び第 2表示部 90から出射される光の双方を透過する）。この第 2表示部 90としては、例えば、自発光型表示装置である光透過性の有機 EL表示装置が好適である。

[0050] このような表示部 10Aの構成により、 3つの平行な立体画像表示面 30A、 30B及び 30Cがマイクロレンズアレイ 20の作動距離に応じて、定義され、各立体画像表示面 3 OA、 30B及び 30C上にそれぞれ立体的二次元画像 Pが表示される。すなわち、第 1 表示部 10の画像表示面 11から出射された画像は、第 1立体画像表示面 30Cに表示され、第 2表示部 90の画像表示面 91から出射された画像を第 2立体画像表示面 3 0Bに表示され、第 3表示部 90の画像表示面 91から出射された画像は第 3立体画像表示面 30Aに表示されるようになって!/、る。

[0051] 図 8は、立体的二次元画像表示装置 100Cが表示する立体的二次元画像 P4の一例を示している。ここで、図 8 (a)に示す立体的二次元画像 P4は、立体画像表示面 3 0C (観察者 Hに一番近い面）に表示された箱の画像であり、図 8 (b)に示す立体的二次元画像 P4は、立体画像表示面 30A (観察者 Hから一番遠い面）に表示された箱の画像である。立体的二次元画像表示装置 100Cは、図 8 (a)に示すように手前の面である立体画像表示面 30Cに立体的二次元画像 P4を表示し、観察者 Hの指 70が立体的二次元画像 P4に触れた場合には、観察者 Hの指 70に装着した金属 71〖こ + Z方向の力を作用させ、観察者 Hに反発力を感じさせるようになつている。そして、このまま、観察者 Hが指 70を若干奥の方向に移動させて (位置検出センサ 40により指 70の— Z軸方向の移動が検出される）、観察者 Hの指 70が立体的二次元画像 P4を押すような動作をすると、立体画像表示面 30Cに表示されていた立体的二次元画像 P4は、奥の面である立体画像表示面 30Aに表示され、観察者 Hの指 70に装着した金属 71には力は作用しなくなる。すなわち、図 8に示す一例においては、観察者 H が立体的二次元画像 P4を押すことによって、立体的二次元画像 P4は奥に移動するので、この結果、観察者 Hの指 70は立体的二次元画像 P4に触れなくなり、観察者 H は反発力を感じなくなるという演出を行うことができる。

[0052] このように、実施例 3の立体的二次元画像表示装置 100Cによれば、観察者 Hの被検出体 70の 3次元的な位置を検出できるとともに、複数の立体画像表示面 30に立体的二次元画像 Pを表示できるので、被検出体 70の正確な位置検出に応じた、より複雑な画像制御及びカ覚制御が可能となる。

[0053] 以上説明したように、本発明の一実施形態の立体的二次元画像表示装置 100は、二次元画像を表示する画像表示面 11を備えた表示部 10と、画像表示面 11に離間して配置された画像伝達パネル 20と、から構成され、画像表示面 11から出射される光を画像伝達パネル 20の表示部 10とは反対側に位置する空間中の結像面 30に結像して、立体的二次元画像を表示する立体画像表示部 2と、結像面 30近傍における被検出体 70の位置を検出する位置検出センサ 40と、被検出体 70の一部又は全部である被作用体 71に力を作用させるカ覚デバイス 60と、位置検出センサ 40によって検出された被検出体 70の位置に応じて、カ覚デバイス 60が被作用体 71に作用させる力の大きさ及び方向を制御する制御部 8と、を有するので、観察者にカ覚を与えることができ、以つて、より効果的な立体表示ができ、臨場感やアミューズメント性を向上させることができる。

[0054] また、本発明の一実施形態の立体的二次元画像表示装置 100は、二次元画像を表示する画像表示面 11を備えた表示部 10と、画像表示面 11に離間して配置された画像伝達パネル 20と、から構成され、画像表示面 11から出射される光を画像伝達パネル 20の表示部 10とは反対側に位置する空間中の結像面 30に結像して、立体的二次元画像を表示する立体画像表示部 2と、結像面 30近傍における被作用体 71に力を作用させるカ覚デバイス 60と、画像表示面 11に表示される二次元画像の内容に応じて、力覚デバイス 60が被作用体 71に作用させる力の大きさ及び方向を制御する制御部 8と、を有するので、観察者にカ覚を与えることができ、以つて、より効果的な立体表示ができ、臨場感やアミューズメント性を向上させることができる。

[0055] なお、本発明の実施の形態及び実施例に係る立体的二次元画像表示装置とは異なる方式でも、裸眼 3次元立体視システムを実現することはできるが、本発明の実施の形態及び実施例に係る立体的二次元画像表示装置のように、立体画像に直接触れて、かつ感触を得るということはできない。すなわち、メガネを用いずに 3次元立体視システムを実現する方法としては、視差バリア方式やレンチキュラー方式などが存在するが、いずれの方式も右目には右画像、左目には左画像を見せることによって立体画像を見せるようにして、るので、観察者の目の焦点位置 (画像表示面）と立体画像 (虚像)が表示される位置は異なっており、それ故に立体画像に触れようとすると、目の焦点位置が画像表示面力立体画像 (虚像）に触れようとする指の位置に移動してしまい、立体画像を正しく視認することができなくなる。すなわち、視差バリア方式やレンチキュラー方式では、立体画像に直接手を触れて、かつ感触を得るということはできない。これに対して、本発明の実施の形態及び実施例に係る立体的二次元画像表示装置が表示する立体的二次元画像は、マイクロレンズアレイ 20が結像する実像であるので、立体的二次元画像の位置に手を持ってきても違和感なく直接触れることができ、かつ、感虫も感じることができる。

[0056] 以上、本発明の実施の形態及び実施例について説明してきたが、本発明の要旨を逸脱しな！、範囲にぉ、て、本発明の実施の形態及び実施例に対して種々の変形や変更を施すことができる。

[0057] 例えば、立体画像表示面 30の端に向けて力を作用させ、立体画像表示面 30の端に被作用体 71が近接した場合では、被作用体 71に作用させる力を弱くして、これ以上立体画像表示面 30の端に向けて指 70を移動させな、ようにしてもょ、。これは、立体画像表示面 30の端を観察者 Hに認識させるとともに、指 70を立体画像表示面 3 0の外枠に配置した位置検出センサ 40ゃカ覚デバイス 60に接触させないように注意を喚起するためである。

[0058] また、カ覚デバイス 60として電磁石 61を備えるときには、このように被検出体 70の位置をフィードバックして力の大きさを制御してもよい。例えば、被検出体 70の検出位置によらず、被作用体 71に一定の力を作用させる場合には、被作用体 71と電磁石 61の距離に応じて電磁石 61に流す電流を制御するものである。これは、常に同じ電流を電磁石 61に流すと、電磁石 61と被作用体 71との距離によって、磁力の大きさが変化してしまうので (磁力は距離の 2乗に反比例）、被検出体 71の位置によらず、被作用体 71に一定の大きさの力を作用させるためには、被検出体 70の位置をカ覚デバイス駆動部 6にフィードバックし、被作用体 71と電磁石 61の距離に応じて電磁石 61に流す電流を制御する必要があるからである。

[0059] また、観察者 Hが想定される操作と異なる操作 (誤操作)をしたときには、エラーや警告を促すようなカ覚を与えるようにしてもよい。例えば、バイブレーション機能を備えた振動装置をカ覚デバイス 60として指 70に装着している場合に、許容される奥行き以上に指 70を挿入したときには、強い振動を与え、許容される位置まで指 70を戻すと、強い振動が収まるようにしてもよい。

[0060] なお、上記実施の形態及び実施例で用いた被作用体 71の形態は特に限定されず、目的に応じて種々の形態が採用できる。例えば、図 9 (a)に示すようにサック状、すなわち指に被せるように装着して、ある程度指に密着させて固定させるようにしてもよい。このような形態の場合には、カ覚デバイス 60からの力が指に伝わりやすいので、観察者 Hは、被作用体 71のきめ細かい動きをカ覚として感じることができる。また、例えば、図 9 (b)に示すようなリング状にして、被作用体 71が指 70に沿って移動可能、すなわち、リングの径を指 70の太さよりもやや大きくして、リングを指 70に対してスライド可能としてもよい。この場合には、カ覚デバイス 60から指 70に沿った方向に力の作用があっても、カ覚を感じないという効果がある。例えば、図 2に示すようなカ覚デバイス 60を用い、指 70を Z方向に平行にして立体画像表示面 30近傍に位置づけた場合 (指 70が立体画像表示面 30に触れる場合だけでなぐ立体画像表示面 30手前又は奥に位置づけられている場合も含む）には、被作用体 70に Z方向の力が作用しても、被作用体 70は指 70に沿って移動するため、観察者 Hは、 Z方向の力を感じにくく、 XY平面に平行な方向の力だけを感じやすいので、 Z方向に対して指 70を自由に動作させるような場合には好適である。

Claims

請求の範囲

[1] 二次元画像を表示する画像表示面を備えた表示部と、前記画像表示面に離間して配置された画像伝達パネルと、から構成され、前記画像表示面から出射される光を前記画像伝達パネルの前記表示部とは反対側に位置する空間中の結像面に結像して、立体的二次元画像を表示する立体画像表示手段と、

前記結像面近傍における被検出体の位置を検出する位置検出手段と、前記被検出体の一部又は全部である被作用体に力を作用させるカ覚提示手段と、前記位置検出手段によって検出された被検出体の位置に応じて、前記カ覚提示手段が前記被作用体に作用させる力の大きさ及び方向を制御するカ覚制御手段と、を有することを特徴とする立体的二次元画像表示装置。

[2] 前記位置検出手段によって検出された被検出体の位置に応じて、前記画像表示面に表示される二次元画像を変化させて、前記結像面に表示される前記立体的二次元画像を変化させる画像制御手段を有することを特徴とする請求項 1記載の立体的二次元画像表示装置。

[3] 二次元画像を表示する画像表示面を備えた表示部と、前記画像表示面に離間して配置された画像伝達パネルと、から構成され、前記画像表示面から出射される光を前記画像伝達パネルの前記表示部とは反対側に位置する空間中の結像面に結像して、立体的二次元画像を表示する立体画像表示手段と、

前記結像面近傍における被作用体に力を作用させるカ覚提示手段と、前記画像表示面に表示される二次元画像の内容に応じて、前記力覚提示手段が前記被作用体に作用させる力の大きさ及び方向を制御するカ覚制御手段と、を有することを特徴とする立体的二次元画像表示装置。

[4] 前記立体画像表示手段は、

複数の前記表示部を備え、

各表示部と前記画像伝達パネルとの距離に応じて、複数の平行な前記結像面を備えることを特徴とする請求項 1乃至 3のいずれか 1項に記載の立体的二次元画像表示装置。

[5] 前記位置検出手段は、前記結像面上の位置を検出する二次元位置検出センサであることを特徴とする請求項 1乃至 4のいずれか 1項に記載の立体的二次元画像表示装置。

[6] 前記位置検出手段は、前記結像面を含む立体空間の位置を検出する三次元位置検出センサであることを特徴とする請求項 1乃至 4のいずれか 1項に記載の立体的二次元画像表示装置。

[7] 前記カ覚提示手段は、前記結像面に平行な方向の力を前記被作用体に作用させることを特徴とする請求項 5又は 6記載の立体的二次元画像表示装置。

[8] 前記カ覚提示手段は、前記結像面に垂直な方向の力を前記被作用体に作用させることを特徴とする請求項 7記載の立体的二次元画像表示装置。

[9] 前記カ覚提示手段は、前記結像面の周囲に配置された複数の電磁石であり、前記被作用体は、前記被検出体に装着された磁性体であり、

前記カ覚制御手段は、前記複数の電磁石のうち駆動させる電磁石及び該電磁石に流す電流の大きさを制御して、所望の力の大きさ及び方向を決定することを特徴とする

請求項 1乃至 8のいずれか 1項に記載の立体的二次元画像表示装置。