JP4076090B2 - 画像表示システム - Google Patents

Description

本発明は、画像表示システムおよび画像表示方法、ならびに画像表示プログラムに関し、特に、タッチパネルと３次元表示装置を組み合わせてなる画像表示システムに適用して有効な技術に関するものである。

従来、表示装置に表示された画像（オブジェクト）の選択などの操作情報を入力する入力手段（マンマシン・インタフェース）として、タッチパネルと呼ばれる平面スイッチがある。前記タッチパネルと前記表示装置を組み合わせた画像表示システムでは、前記表示装置の画像表示面上に前記タッチパネルを重ねて配置している。そして、ユーザが指先あるいはスタイラス等の入力ペンで前記タッチパネルに触れると、前記指先あるいは前記入力ペンのペン先が触れた位置と対応する画像表示面上のオブジェクトを選択することができる。

このような画像表示システムは、たとえば、前記画像表示面上に表示されたオブジェクトに直接触れながら操作している感覚が得られる。そのため、前記画像表示システムは、たとえば、キーボード、マウス、機械式ボタン等を用いた操作に比べ、現実の世界に近い直感的な操作ができるシステムとして、さまざまな用途に適用されている。

また、前記画像表示システムにおいて、さらに現実の世界に近い操作感を得るための方法として、たとえば、前記表示装置として３次元表示装置（立体表示装置）を用いたシステムが提案されている（たとえば、特許文献１を参照。）。

前記３次元表示装置を用いた前記画像表示システムでは、たとえば、ボタン等のオブジェクトを立体的に表示したり、複数のオブジェクトをユーザからの距離が異なる奥行き位置に表示したりすることができる。つまり、前記３次元表示装置を用いれば、たとえば、同じ奥行き位置に表示されている複数個のオブジェクトの１つを選択したときに、選択したオブジェクトだけ奥行き位置を変えて表示するといったことが可能である。そのため、前記３次元表示装置を用いることで、現実の世界（３次元空間）により近い状態で画像（オブジェクト）を表示することができ、より直感的な操作感を得られる。

前記３次元表示装置としては、たとえば、固定焦点レンズおよび屈折率可変物質を用いた立体表示装置（たとえば、特許文献２を参照。）や、DFDと呼ばれる３次元表示装置（たとえば、特許文献３を参照。）が知られている。

前記特許文献２に記載された立体表示装置は、表示手段に表示される２次元像を立体的に表示させる装置であり、第１の周波数の電圧を印加したときの誘電率の差が正の値となり、第２の周波数の電圧を印加したときの前記誘電率の差が負の値となる異なる２つ以上の誘電率を有する屈折率可変物質の層、所定の焦点距離を有する固定焦点レンズ、および、前記固定焦点レンズと前記屈折率可変物質とからなる層を挟持する少なくとも一対の透明電極からなり、前記表示手段に表示される前記２次元像の結像位置を移動させる結像位置移動手段と、前記表示手段に表示される２次元像の更新周期と前記結像位置移動手段の結像位置の移動周期とを同期させる同期手段と、前記同期手段に基づいて、異なる前記第１の周波数と前記第２の周波数とからなる駆動出力で前記結像位置移動手段を駆動する駆動手段とを具備する立体表示装置である。つまり、前記特許文献１に記載された立体表示装置は、前記屈折率可変物質の屈折率の変化を前記２次元像の切り替え周期と同期させることで、前記固定焦点レンズと前記屈折率可変物質とからなる層の焦点距離を変化させ、観察者から観て奥行き位置が異なる複数枚の浮遊画像を表示し、立体的な像を表示（提示）する装置である。そのため、前記立体的な像を表示するためには、画像の表示切り替え速度（応答速度）が高速な表示手段が必要であるとともに、前記屈折率可変物質の誘電率を画像の切り替えに同期させて変化させるための前記各手段が必要である。

また、前記特許文献１に記載された立体表示装置において、高速な表示素子を高解像度化することは、単に製造が困難であるだけでなく、駆動時にデバイスに供給すべき情報量が膨大となってしまい、現実的ではない。そのため、たとえば、文字情報のような精細度が要求される表示を行うタッチパネルを具備した表示装置への適用が困難であるという問題があった。

また、前記特許文献２などに記載された前記DFDは、観察者から見て異なった奥行き位置にある複数の表示面に対して、表示対象物体を前記観察者の視線方向から射影した二次元像を生成し、前記生成された二次元像を前記観察者から見て異なった奥行き位置にある複数の表示面にそれぞれ表示し、当該表示される二次元像の輝度を前記各表示面毎にそれぞれ独立に変化させて三次元立体像を生成する装置である。このような前記DFDは、前記観察者から見て手前の表示面（表示手段）に表示された画像の輝度と、前記観察者から見て奥の表示面に表示された画像の輝度の比率を変えることで、前記各表示面の間の、各画像の輝度の比率に応じた位置に前記画像が表示されているようにみせる表示装置である。つまり、前記DFDでは、生成される三次元立体像は、二次元像を表示する表示面の間に限られている。そのため、前記DFDと前記タッチパネルとを組み合わせた従来の画像表示システムの場合、前記DFDによって表示される画像（オブジェクト）は、ユーザから見て最前面の表示面（タッチパネル）よりも奥のみに表示される。このような画像表示システムにおいて、たとえば、同じ奥行き位置に表示されている複数個のオブジェクト（ボタン）の１つを選択したときに、選択したオブジェクトを押下したような表示をすると、選択されたオブジェクトがユーザから見て奥に向かう方向に移動する。そのため、ユーザからみると、触れている位置と、選択したオブジェクトの間の隔たりに違和感を覚え、オブジェクトの挙動が不自然に感じることがある。
特開２００４−１９２２９４号公報 特許第３３１０１５７号明細書 特許第３４６０６７１号明細書

本発明が解決しようとする問題点は、前記背景技術で説明したように、たとえば、前記特許文献１または特許文献３に記載されたような立体表示装置（３次元表示装置）と前記タッチパネルとを組み合わせた画像表示システムの場合、前記タッチパネルは、前記表示装置で表示される各表示面のうち、ユーザから見て最前面の表示面とほぼ同じ奥行き位置に存在するので、表示された画像（オブジェクト）に触れたときの挙動を不自然に感じやすいという点である。

また、他の問題点として、前記特許文献２に記載されたような立体表示装置と前記タッチパネルとを組み合わせた画像表示システムの場合、構成が複雑であり、システムが大型化するという点がある。また、このような画像システムの場合、前記立体的な像を表示するためには、画像の表示切り替え速度（応答速度）が高速な表示手段が必要であるとともに、前記屈折率可変物質の誘電率を画像の切り替えに同期させて変化させる必要があり、適用範囲が限られるという問題点もある。

本発明の目的は、タッチパネルと３次元表示装置を組み合わせた画像表示システムにおいて、表示されている画像（オブジェクト）の挙動の違和感を低減し、操作性を向上させることが可能な技術を提供することにある。

本発明の他の目的は、前記３次元表示装置の構成を簡素化し、装置を小型化することが可能な技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面によって明らかになるであろう。

本願において開示される発明の概略を説明すれば、以下の通りである。

（１） 物体の３次元立体画像を表示可能な３次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段と、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記３次元表示装置で表示される物体の表示画像の切り替え制御を行う制御手段とを備える画像表示システムであって、前記検出手段は、観察者から見て前記３次元表示装置よりも手前にあり、かつ前記３次元表示装置と重なる検出領域内の前記指先または前記操作手段の先端の位置を検出する手段であり、前記３次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に、複数個のオブジェクトが立体的に配置された３次元立体画像を表示する表示装置であり、前記３次元表示装置は、前記３次元立体画像を表示する表示手段と、前記表示手段に表示された前記３次元立体画像を前記画像提示空間に等倍率で結像させる等倍結像光学系とを有し、前記等倍結像光学系は、前記観察者から見て前記表示手段よりも手前に配置されたｎ枚（ｎは２以上の整数）の焦点距離が同一のレンズを有し、前記ｎ枚のレンズは、各レンズの焦点距離をｆ、ｋ枚のレンズを通過した光の結像の倍率をＭ _k としたときに下記数式（１）乃至数式（４）で表される漸化式において、Ｍ _k=n ＝１または−１を満たし、かつ、Ｌ ₀ に依存しない間隔ｄで等間隔に配置されている画像表示システム。

（２） 物体の３次元立体画像を表示可能な３次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段と、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記３次元表示装置で表示される物体の表示画像の切り替え制御を行う制御手段とを備える画像表示システムであって、前記検出手段は、観察者から見て前記３次元表示装置よりも手前にあり、かつ前記３次元表示装置と重なる検出領域内の前記指先または前記操作手段の先端の位置を検出する手段であり、前記３次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に、複数個のオブジェクトが立体的に配置された３次元立体画像を表示する表示装置であり、前記３次元表示装置は、前記３次元立体画像を表示する表示手段と、前記表示手段に表示された前記３次元立体画像を前記画像提示空間に等倍率で結像させる等倍結像光学系とを有し、前記等倍結像光学系は、前記観察者から見て前記表示手段よりも手前に配置されたｎ＋１枚（ｎは１以上の整数）の焦点距離がｆ ₁ のレンズとｎ枚の焦点距離がｆ ₂ のレンズとを有し、前記焦点距離がｆ ₁ のレンズと前記焦点距離がｆ ₂ のレンズは交互に配置され、かつ、前記焦点距離がｆ ₁ のレンズは、ｋ枚のレンズを通過した光の結像の倍率をＭ _k としたときに下記数式（５）乃至数式（８）で表される漸化式において、Ｍ _k=2n+1 ＝１または−１を満たし、かつ、Ｌ ₀ に依存しない間隔ｄで等間隔に配置されている画像表示システム。

（３） 前記（１）または（２）の画像表示システムにおいて、前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記指先または前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者から見て手前に移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は、前記観察者から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、前記画像データ生成手段で生成した前記画像データを映像信号として前記３次元表示装置に送信する映像信号送信手段とを備える。

（４） 前記（１）または（２）の画像表示システムにおいて、前記３次元表示装置、前記検出手段、前記制御手段に加え、前記指先または前記操作手段で前記検出手段を奥行き方向に押し込んだときに前記検出手段の押し込み量に応じた反発力を前記検出手段に与える反発手段を備え、前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、前記検出手段の押し込み量を示す押込量信号を受信する押込量信号受信手段と、前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段に送信する反発制御信号送信手段と、前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記検出手段の押し込み量に基づいて、前記指先または前記操作手段の先端の位置と対応するオブジェクトを前記検出手段との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、前記画像データ生成手段で生成した前記画像データを映像信号として前記３次元表示装置に送信する映像信号送信手段とを備える。

（５） 前記（３）または（４）の画像表示システムにおいて、前記検出手段は、前記指先または前記操作手段の先端が触れることで前記指先または前記操作手段の先端の位置を検出する第１検出手段と、観察者から見て前記第１検出手段よりも手前にある検出空間内に前記指先または前記操作手段の先端が入ることで前記指先または前記操作手段の先端の位置を検出する第２検出手段とを備え、前記制御手段は、前記各手段に加えて、前記第２検出手段のみで前記指先または前記操作手段の先端の位置を検出した場合は、前記検出した位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトを奥行き方向に並進移動させた画像データを生成し、前記第２検出手段で前記指先または前記操作手段の先端の位置が検出されなくなった場合は、前記並進移動させた前記各オブジェクトをもとの奥行き位置に戻した画像データを生成する手段を備える。

（６） 前記（１）乃至（３）のいずれかの画像表示システムにおいて、前記検出手段は、前記検出領域を撮影する複数個のカメラからなり、前記制御手段は、前記複数個のカメラの画像に基づいて、前記指先または前記操作手段の位置を求める手段を備える。

本発明の画像表示システムは、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に前記３次元立体画像を表示することで、たとえば、前記指先または操作手段で前記検出手段に触れたときに、前記検出手段よりも手前にも画像（オブジェクト）を表示させることが可能となる。そのため、従来の、観察者から見て前記検出領域よりも奥にのみ画像（オブジェクト）が表示されているような画像表示システムに比べ、より現実の世界での操作感が得られ、表示されている画像（オブジェクト）の挙動の違和感を低減し、操作性を向上させることができる。
このとき、前記３次元表示装置は、前記画像提示空間上に前記３次元立体画像（オブジェクト）を表示できる装置であれば、どのような表示装置であってもよいが、さまざまな用途への適用を考えた場合、簡素な構成であることが好ましい。

前記３次元表示装置としては、たとえば、前記（１）の画像表示システムのように、焦点距離が同一のレンズを複数枚積層した等倍結像光学系を備える表示装置を用いることが好ましい。前記等倍結像光学系は、前記等倍結像光学系から表示画像（オブジェクト）までの距離Ｌ ₀ によらず、どの距離にあっても等倍率で結像させることができる。そのため、前記３次元表示装置で立体的に表示されているオブジェクトを前記検出手段より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に容易に表示させることができる。

また、前記（１）の画像表示システムのように簡素な構成の等倍結像光学系を用いることで、たとえば、前記特許文献２に記載された立体表示装置に比べ、表示装置の構成を簡素化することができ、小型化することができる。

なお、前記（１）の画像表示システムにおける等倍結像光学系は、ｎ枚のレンズを積層した光学系であるが、これに限らず、前記（１）の等倍結像光学系と光学的に等価な構成であれば、同様の効果が得られる。そのため、たとえば、前記レンズの代わりに焦点距離が同一の曲面鏡を用いることもできる。また、たとえば、平面鏡やハーフミラー、あるいは偏光ビームスプリッタ等を用いて、１枚のレンズに前記光学系に入射した光を複数回通過させることで、ｎ枚未満のレンズでｎ枚のレンズを積層した光学系と等価な構成にすることもできる。

また、前記等倍結像光学系として、複数枚のレンズを積層配置させた光学系を用いる場合、たとえば、前記（２）の画像表示システムにおける等倍結像光学系のように、ｎ＋１枚の焦点距離がｆ ₁ のレンズとｎ枚の焦点距離がｆ ₂ のレンズを交互に積層配置した光学系であってもよい。このようにすると、たとえば、焦点距離がｆ ₁ のレンズをｍ枚配置するときの間隔を、前記（１）の等倍結像光学系において焦点距離がｆ ₁ のレンズのみをｍ枚配置したときの間隔に比べて狭くすることができ、表示装置をさらに小型化することができる。

また、前記等倍結像光学系としては、前記（１）または（２）のように複数枚のレンズを積層配置した光学系に限らず、たとえば、１つまたは２つ以上の凹面鏡を組み合わせた光学系であってもよい。またさらに、棒状レンズを２次元アレイ状に配列した棒状レンズアレイでなる光学系であってもよい。

また、前記３次元表示装置として、たとえば、前記（１）または（２）のような等倍結像光学系を備える表示装置を用いた場合、前記表示手段が表示する３次元立体画像が前記検出手段（検出領域）よりも奥にあっても、前記等倍結像光学系を通すことで、前記３次元立体画像を前記画像提示空間上に結像させることができる。そのため、物体（オブジェクト）の３次元立体画像を表示する表示手段は、３次元立体画像を表示できる手段であれば、どのような手段であってもよく、たとえば、一般的な液晶ディスプレイやプラズマディスプレイなどの２次元像を表示する２次元表示手段でもよいし、たとえば、DFDや体積走査型表示装置のように３次元立体像を表示することが可能な３次元表示手段であってもよい。

また、前記（１）または（２）の画像表示システムにおいて、前記制御手段には、たとえば、前記（３）のような各手段を設けることが望ましい。このようにすると、たとえば、前記検出手段で前記指先または操作手段の先端を検出したときに、前記指先または操作手段の先端が指し示しているオブジェクト以外のオブジェクトを、前記観察者から見て手前の方向に移動させることができる。このとき、たとえば、前記オブジェクトとして複数個のボタンが前記検出手段上に表示されていれば、前記指先または操作手段の先端が指し示しているオブジェクト（ボタン）以外のオブジェクトが手前に移動するので、観察者（操作者）は、前記指し示したオブジェクト（ボタン）を押下したような視覚効果が得られ、現実の世界でのボタンを押下する操作に近い操作感が得られる。

また、前記（１）または（２）の画像表示システムでは、たとえば、前記（４）のように、前記反発手段を設けてもよい。このようにすると、たとえば、前記指先または操作手段の先端を押し下げたときに、前記指先または操作手段の先端が指し示しているオブジェクトのみを、前記観察者から見て奥の方向に移動させることができる。このとき、たとえば、前記オブジェクトとして複数個のボタンが前記検出手段上に表示されていれば、前記指先または操作手段の先端が指し示しているオブジェクト（ボタン）のみが奥に移動するので、観察者（操作者）は、前記指し示したオブジェクト（ボタン）を押下したような視覚効果が得られる。またこのとき、前記検出手段を観察者から見た奥行き方向に押し込むと、前記検出手段には、前記反発手段から前記押し込み量に応じた反発力が加わる。そのため、前記観察者（操作者）は、前記反発手段から前記検出手段に加わる反発力を指先または操作手段を通して実感することができる。そのため、現実の世界でのボタンを押下する操作に近い操作感が得られる。

また、前記（３）または（４）の画像表示システムにおいて、前記検出手段は、前記（５）のように、前記第１検出手段と前記第２検出手段の２つの検出手段を備えていてもよい。このとき、前記第１検出手段で前記指先または操作手段の先端の位置を検出したときには、前記（３）または（４）の画像データ生成手段で画像を生成する。そして、前記第２検出手段で前記指先または操作手段の先端の位置を検出したときには、前記第２検出手段で検出した指先または操作手段の先端の位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトの相対的な位置関係を保ったまま奥行き方向に並進移動させる。このようにすることで、前記指先または操作手段の先端で指し示しているオブジェクトを認識しやすくなり、操作性がさらに向上する。

また、前記（１）乃至（３）の画像表示システムにおいて、前記検出手段は、たとえば、タッチパネルのように前記指先または操作手段で触れることによりその位置を検出するような手段であることが好ましいが、これに限らず、たとえば、前記（６）のように、複数台のカメラであってもよい。前記検出手段が複数台のカメラからなる場合、各カメラにより、視差を有する前記画像提示空間の周辺の画像を撮影し、たとえば、前記制御手段において、三角測量の原理を用いて前記指先または操作手段の位置を求めればよい。

以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。

図１は、本発明の画像表示システムの原理を示す模式図である。
図１において、１は３次元表示装置、２は検出手段（タッチパネル）、３は制御手段、４は観察者、５Ａ，５Ｂ，５Ｃはオブジェクト、６は画像提示空間である。

本発明の画像表示システムは、図１に示すように、物体の３次元立体画像を表示可能な３次元表示装置１と、指先またはスタイラスなどの入力ペン（操作手段）のペン先の有無や位置を検出する検出手段２と、前記検出手段２からの検出信号に応じて前記３次元表示装置１で表示する３次元立体画像の切り替え制御を行う制御手段３とにより構成される。

このとき、前記検出手段２は、たとえば、タッチパネルのように、前記指先または前記入力ペンで触れることにより、接触点の座標を検出する手段であるとする。また、前記検出手段２は、観察者４から見て裏側にあたる位置に表示されている画像（オブジェクト５Ａ，５Ｂ）を前記観察者４が見ることができるようになっているとする。また、前記操作手段は、スタイラスなどのようなペン状のものに限らず、接触点の座標を検出できる形状であればよく、一般に、棒状のものであればどのような形状でもよい。

またこのとき、前記３次元表示装置１が表示可能な３次元立体画像は、１つの物体（オブジェクト）を３次元的（立体的）に表示した画像に限らず、たとえば、図１に示したように、複数個の物体（オブジェクト５Ａ，５Ｂ，５Ｃ）を３次元的に配置した画像も含まれるとする。つまり、前記３次元表示装置１は、ある３次元空間内の任意の位置に２次元像または３次元像を表示できる装置であるとする。また、前記３次元立体画像は、図１に示したように、前記観察者４から見て前記検出手段２より手前の空間および前記検出手段２より奥の空間を含む空間（画像提示空間）６内に表示される。言い換えると、前記検出手段２は、前記画像提示空間６内を通るように配置されている。

このように、前記検出手段２が前記画像提示空間６内を通るように配置しておけば、たとえば、図１に示したオブジェクト５Ｃのように、前記観察者４から見て前記検出手段２よりも手前に画像（オブジェクト）を表示させることができる。そのため、たとえば、複数個のボタンの中の１つを選択して押下するときのように、選択したボタンとそれ以外のボタンの奥行き方向の表示位置が変わる場合に、選択したボタンが前記検出手段２上に表示された状態を保ったまま表示を切り替えることができ、現実の世界での操作に近い感覚で、直感的な操作をすることができる。

なお、前記３次元表示装置１は、図１に示したように、前記３次元表示装置１の外部空間（画像提示空間６）に前記３次元立体画像（オブジェクト）を表示できる装置であれば、どのような構成の表示装置であってもよい。しかしながら、さまざまな用途への適用を考えた場合、前記３次元表示装置１は、簡素な構成であることが好ましい。そこで、前記３次元表示装置１の好ましい構成の一例について簡単に説明する。

図２乃至図６は、本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、図２は一構成例を示す図、図３はレンズの間隔の求め方を説明する図、図４および図５はDFDの原理を説明する図、図６はDFDと等倍結像光学系を組み合わせる場合の一具体例を示す図である。
図２において、１Ａは等倍結像光学系、１Ｂは表示面、１Ｂ’は表示面の画像の浮遊像、１０１_n（h=1,2,3,n）は焦点距離がｆのレンズである。

本発明の画像表示システムの３次元表示装置１には、たとえば、DFDと呼ばれる表示手段（３次元表示装置）と以下で説明する複数枚のレンズからなる等倍結像光学系とを組み合わせてなる表示装置を用いることができる。

前記複数枚のレンズからなる等倍結像光学系１Ａは、たとえば、図２に示すように、ｎ枚の焦点距離が同一のレンズ１０１_h（h=1,2,3,…,n）を間隔ｄ１で等間隔に配置（積層）した光学系である。

このような、焦点距離が同一のｎ枚のレンズ１０１_hが等間隔で配置されている等倍結像光学系１Ａを用いて、たとえば、図２において前記等倍結像光学系の左側にある表示面１Ｂに表示された画像を前記等倍結像光学系１Ａの右側に結像させる場合、焦点距離をｆ、レンズの間隔をｄとすると、ｋ枚目のレンズ１０１_kまでによる結像の倍率Ｍ_kは、下記数式（１）から（４）のような漸化式で表される。

前記等倍結像光学系１Ａにより等倍率の正立像を結像させる場合は、前記数式（１）から数式（４）を用いてＭ_k=n＝１を満たすｄを求めることで、前記レンズ１０１_hの間隔ｄ１が求まる。また、等倍率の倒立像を結像させる場合は、前記数式（１）から数式（４）を用いてＭ_k=n＝−１を満たすｄを求めることで、前記レンズ１０１_hの間隔ｄ１が求まる。このようにして求めたｄを用い、前記ｎ枚のレンズ１０１_hを間隔ｄ１＝ｄで配置すると、前記表示面１Ｂに表示された画像が、図１に示したように、前記等倍結像光学系１Ａの右側に等倍率でする。つまり、前記等倍結像光学系１Ａを用いることで、前記表示面１Ｂに表示された画像を、前記表示面１Ｂとは異なる空間に浮遊像１Ｂ’として表示することができる。

ここで、前記レンズ１０１_hの間隔ｄ１の求め方の一例として、図３に示すように、焦点距離がｆのレンズ１０１₁，１０１₂を２枚重ねた場合を挙げ、前記漸化式の解き方を簡単に説明する。

前記２枚の焦点距離ｆのレンズ１０１₁，１０１₂は、図３に示すように、間隔ｄ_k-1＝ｄ₁で配置されているとする。このとき、１枚目のレンズ１０１₁から物体（表示面１Ｂ）までの距離を−Ｌ₀とし、１枚目のレンズ１０１₁から１枚目のレンズ１０１₁による結像１Ｃの倍率をＭ₁、結像１Ｃまでの距離をＬ₁とし、２枚目のレンズ１０１₂までによる結像１Ｂ’の倍率をＭ₂、結像１Ｂ’までの距離をＬ₂とする。このとき、前記Ｌ₂は前記数式（３）および数式（４）から下記数式（９）で表され、前記Ｍ₂は前記数式（１）および数式（９）から下記数式（１０）で表される。

また、前記数式（９）および数式（１０）において、前記Ｌ₁は前記数式（３）および数式（４）から下記数式（１１）で表され、前記Ｍ₁は前記数式（１）および数式（１１）から下記数式（１２）で表される。

そして、前記数式（１１）で表されるＬ₁および前記数式（１２）で表されるＭ₁を前記数式（１０）に代入すると、Ｍ₂は下記数式（１３）で表される。

こうして得られた前記数式（１３）を、Ｍ₂＝１としてｄについて解くと、ｄは、下記数式（１４）のようになる。

しかしながら、この場合、前記数式（１４）に示したように、ｄは１枚目のレンズ１０１₁から表示面１Ｂまでの距離−Ｌ₀に依存する。そのため、たとえば、前記表示面１Ｂが１枚の平面からなり、前記表示面１Ｂに表示された１つの２次元像をそのまま浮遊させる場合などは、前記１枚目のレンズ１０１₁から表示面までの距離−Ｌ₀に基づく間隔ｄでレンズを積層することで、前記表示面１Ｂに表示された２次元像を結像させることができる。しかしながら、前記表示面１Ｂが、たとえば、DFDのように複数枚の積層された表示面である場合、前記Ｌ₀は、前記各表示面において異なるため、前記数式（１４）に基づいてレンズの間隔ｄ１＝ｄを決定することができない。そのため、前記数式（１４）で得られるｄは、解としてはふさわしくない。

一方、前記数式（１４）を、Ｍ₂＝−１としてｄについて解くと、ｄは、下記数式（１５）のようになる。

この場合、ｄは１枚目のレンズ１０１₁から表示面１Ｂまでの距離−Ｌ₀に依存しないので、２枚のレンズの間隔ｄ１＝２ｆとすれば、前記１枚目のレンズ１０１₁から任意の距離−Ｌ₀にある表示面１Ｂの画像を等倍率の倒立像として結像させることができる。

また、ｎ＝３以上、すなわち３枚以上のレンズを積層する場合は、同様の手順で前記漸化式を解いて１枚目のレンズから物体までの距離−Ｌ₀に依存しないｄが求まれば、その値の間隔でレンズを配置することで、等倍の正立像または倒立像を結像させることができる。このとき、詳細な計算手順は省略するが、前記漸化式を用いてｎ＝２から８までの場合について、等倍の正立像を結像させる場合のレンズの間隔ｄ１と等倍の倒立像を結像させる場合のレンズの間隔ｄ１の値を求めると、下記表１のようになる。

前記等倍結像光学系１Ａは、前述のように、焦点距離が同一のｎ枚のレンズ１０１_h（h=1,2,3,…,n）を、前記数式（１）から数式（４）で表される漸化式において、Ｍ_n＝１または−１であり、かつ、前記オブジェクトと前記オブジェクトから最も近いレンズ１０１₁との距離−Ｌ₀に依存しない間隔ｄ１で配置している。そのため、たとえば、複数個のオブジェクトを立体的に配置しており、各オブジェクトと前記オブジェクトから最も近いレンズレンズ１０１₁との距離−Ｌ₀が異なる場合でも、各オブジェクトを等倍率で結像させることができる。また、前記等倍結像光学系１Ａは、複数枚の焦点距離が同一のレンズを等間隔で配置したものであるため、構成が簡素であり、小型化（薄型化）も容易である。

一方、たとえば、前記複数個のオブジェクトを立体的に配置した３次元立体画像を表示する表示手段としては、たとえば、DFDのような表示手段（３次元表示装置）を用いることができる。

前記DFDは、たとえば、図４に示すように、２枚の表示面１Ｂ₁，１Ｂ₂が観察者の視点Ｐから見て奥行き方向に重なるように配置された表示手段であって、物体などの画像を表示するときには、表示対象物体を観察者の視点方向から射影した２次元像を生成し、各表示面１Ｂ₁，１Ｂ₂に表示する。このとき、前記観察者から見て手前の表示面１Ｂ₁に表示された２次元像Ｏｂｊ₁の輝度をγ₁、奥の表示面１Ｂ₂に表示された２次元像Ｏｂｊ₂の輝度をγ₂とすると、前記観察者の視点Ｐからは、各表示面１Ｂ₁，１Ｂ₂の間であって、かつ、前記手前の表示面１Ｂ₁からの距離Ｈ１と奥の表示面１Ｂ₂からの距離Ｈ２の比Ｈ１：Ｈ２がγ₂：γ₁となるような奥行き位置に前記物体の像Ｏｂｊが表示されているように見える。そのため、たとえば、各表示面に複数個のオブジェクトを表示するときには、各オブジェクトを表示する領域毎に手前の表示面に表示する２次元像の輝度と奥の表示面に表示する２次元像の輝度比率を制御することにより、前記複数個のオブジェクトを立体的に配置した３次元立体画像を表示することができる。

またこのとき、たとえば、図５に示すように、前記各表示面１Ｂ₁，１Ｂ₂に表示する１つのオブジェクトＯｂｊ₁，Ｏｂｊ₂を小領域に区切り、前記小領域毎に手前の表示面１Ｂ₁に表示する２次元像の輝度と奥の表示面１Ｂ₂に表示する２次元像の輝度の比率を制御することにより、前記１つのオブジェクトＯｂｊを立体的に表示することができる。そのため、図４および図５に示したような原理を組み合わせることで、たとえば、図１に示したように、複数個の立体的なオブジェクト５Ａ，５Ｂ，５Ｃを立体的に配置した画像を表示することができる。

本発明の画像表示システムの３次元表示装置として、前記等倍結像光学系１Ａと前記DFDを組み合わせた表示装置を用いる場合、たとえば、図６に示すように、前記観察者から見て手前の表示面１Ｂ₁よりさらに手前に前記等倍結像光学系１Ａを配置する。このとき、前記等倍結像光学系１Ａは、たとえば、図６に示したように、焦点距離が同一の４枚のレンズ１０１_h（h=1,2,3,4）を積層しておく。４枚のレンズを積層した場合、前記表１に示したように、正立像および倒立像のいずれの像も結像可能であるが、倒立像を結像させる場合のほうがレンズの間隔を狭くできる。そこで、前記等倍結像光学系１Ａを、４枚のレンズ１０１_hを積層して等倍率の倒立像を結像させる光学系とし、前記レンズ１０１_hの焦点距離をｆとすると、レンズの間隔は０．６ｆとなる。このとき、前記レンズの間隔は、前述のように、前記表示面と前記表示面に最も近いレンズ１０１₁との距離−Ｌ₀に依存しないようにしているので、図５に示したように、前記レンズ１０１₁からの距離が異なる２枚の表示面１Ｂ₁，１Ｂ₂がある場合でも、各表示面１Ｂ₁，１Ｂ₂の等倍の倒立像１Ｂ₁’，１Ｂ₂’を結像させることができる。

前記３次元表示装置１として、図６に示したような構成の表示装置を用いた例として、焦点距離ｆが７７mmの４枚のレンズ１０１_hを４６mm間隔で配置した等倍結像光学系１Ａを、２枚の表示面１Ｂ₁，１Ｂ₂を面間５mmで積層した前記表示手段（DFD）の手前（前面）の表示面１Ｂ₁にほぼ密着させるように配置したところ、前記DFDから最も遠いレンズ（紙面右端のレンズ１０１₄）から約２０mmの位置に前面の表示面１Ｂ₁の倒立像１Ｂ₁’が結像し、約１５mmの位置に後面の表示面１Ｂ₂の倒立像１Ｂ₂’が結像することを、本発明の発明者らは実験により確かめた。

この３次元表示装置１を用いた場合、前記DFDの各表示面１Ｂ₁，１Ｂ₂に表示された画像と等倍率の倒立像１Ｂ₁’，１Ｂ₂’は前記DFDの外部空間に浮遊して表示されており、前記倒立像１Ｂ₁’，１Ｂ₂’を見ることで、前記DFDを直接見たときと同じ視覚効果が得られる。そのため、図６に示したように、前記２枚の表示面の倒立像１Ｂ₁’，１Ｂ₂’の間（画像提示空間）にタッチパネル（検出手段２）を配置すれば、観察者から見て前記タッチパネル２より手前にも物体（オブジェクト）を表示することができる。

なお、図６に示した例では、２つの表示面１Ｂ₁，１Ｂ₂を利用して物体の３次元立体像を表示するDFDを用いている場合を挙げているが、３枚以上の表示面があってもよい。また、前記３次元立体像を表示する表示手段は、前記DFDに限らず、たとえば、体積走査型表示装置のような表示手段（３次元表示装置）であってもよい。

また、積層するレンズの枚数は、図６に示したような４枚に限らず、たとえば、表１に示したように２枚以上であれば構わない。しかしながら、レンズの枚数が少ないと視野角が狭くなる。また、レンズの枚数が多いと視野角は広がるが、レンズの吸収損失や散乱などの原因により画像が劣化する。これらのことから、前記レンズの積層枚数は４枚から８枚程度とすることが好ましい。

また、レンズはバルクレンズ、フレネルレンズ、液晶レンズのような可変焦点レンズなどの種々のレンズを用いることが可能であるが、薄型化の観点からフレネルレンズを用いることが好ましい。

また、前記レンズの材料には、アクリル、ポリカーボネート、ガラスなどの種々の光学材料を用いることができるが、加工の容易さ、透明度の高さなどの観点からアクリルを用いることが好ましい。

図７および図８は、３次元表示装置で用いる等倍結像光学系の応用例を説明するための模式図であり、図７は図６の等倍結像光学系と光学的に等価な光学系の第１の構成例を示す図、図８は図６の等倍結像光学系と光学的に等価な光学系の第２の構成例を示す図である。

図６に示した３次元表示装置では、前記等倍結像光学系として、たとえば、焦点距離が同一（ｆ）の４枚のレンズ１０１_h（h=1,2,3,4）を間隔ｄ１＝０．６ｆで等間隔に積層しているので、表示面１Ｂ₁，１Ｂ₂に表示された画像と等倍率の倒立像１Ｂ₁’，１Ｂ₂’を結像させることができる。これは、別の言い方をすれば、図６に示したような構成、配置でなくとも、前記表示手段１Ｂ側から前記光学系に入射した光が、間隔ｄ１＝０．６ｆで配置されたレンズ（結像素子）を４回通過した後、前記光学系から出射すれば、前記表示手段１Ｂに表示された画像と等倍率の倒立像１Ｂ’を結像させることができるということである。そこで、図６に示した光学系と光学的に等価であり、前記表示手段１Ｂに表示された画像と等倍率の倒立像１Ｂ’を結像させることができる光学系の構成例を以下に説明する。

図６に示した等倍結像光学系と光学的に等価な光学系としては、たとえば、図７に示すように、焦点距離が同一の３枚のレンズ１０１_h（h=1,2,4）と、平面鏡１０２と、ハーフミラー１０３からなる光学系が考えられる。このとき、表示手段１Ｂ側から入射した光が最初に通過する１枚目のレンズ１０１₁と２回目に通過する２枚目のレンズ１０１₂は間隔ｄ１＝０．６ｆで配置する。また、前記ハーフミラー１０３は、前記１枚目のレンズ１０１₁と前記２枚目のレンズ１０１₂の間に配置する。またこのとき、前記ハーフミラー１０３は、たとえば、前記１枚目のレンズ１０１₁から２枚目のレンズ１０１₂に向かう光は直進し、前記２枚目のレンズ１０１₂から１枚目のレンズ１０１₁に向かう光は直交する方向に進路が変わるように配置する。そして、前記ハーフミラー１０３で進路が変わった光の進行方向に３枚目のレンズ１０１₄を配置する。このとき、前記２枚目のレンズ１０１₂と３枚目のレンズ１０１₄は、図７に一点鎖線で示した光軸上での間隔（光路）がｄ１になるように配置する。

また、前記平面鏡１０２は、前記２枚目のレンズ１０１₂を通過した光が再び２枚目のレンズ１０１₂を通過するように配置する。このとき、前記平面鏡１０２は前記２枚目のレンズ１０１₂から距離ｄ１／２（＝０．３ｆ）の位置に配置する。

このような構成の光学系の場合、前記表示手段１Ｂ側から入射した光は、前記１枚目のレンズ１０１₁、前記ハーフミラー１０３、前記２枚目のレンズ１０１₂を通過した後、前記平面鏡１０２で反射され、再び２枚目のレンズ１０１₂を通過する。そして、前記２枚目のレンズ１０１₂を再度通過した光は、前記ハーフミラー１０３で進路が変更され、前記３枚目のレンズ１０１₄を通過した後、前記光学系から出射される。

このとき、前記表示手段１Ｂ側から入射した光は、出射されるまでに合計４回、焦点距離がｆのレンズを通過する。そのため、前記各レンズ１０１_h（h=1,2,4）の間隔および前記２枚目のレンズ１０１₂と前記平面鏡１０２の間隔を前述のようにすると、図６に示した光学系と光学的に等価になり、前記表示手段１Ｂに表示された画像と等倍率の倒立像１Ｂ’を結像させることができる。

また、図７に示した光学系では、前記ハーフミラー１０３を用いて光の進路を変えたが、これに限らず、たとえば、偏光ビームスプリッタおよび１／４波長板ならびに偏光板を組み合わせて光の進路を変えることもできる。この場合、たとえば、前記ハーフミラー１０３の代わりに前記偏光ビームスプリッタを前記１枚目のレンズ１０１₁と２枚目のレンズ１０１₂の間に配置し、前記２枚目のレンズ１０１₂と前記平面鏡１０２の間に前記１／４波長板を配置する。また、前記偏光板は、たとえば、前記１枚目のレンズ１０１₁よりも光学的に手前の位置に、前記表示手段１Ｂ側から入射する光がｐ偏光になるように配置する。またこのとき、前記各レンズ１０１_h（h=1,2,4）の間隔および前記２枚目のレンズ１０１₂と前記平面鏡１０２の間隔は、図７に示した光学系の場合と同じとする。

また、図６に示した光学系は、４枚のレンズ１０１_h（h=1,2,3,4）を積層しているが、前記レンズの代わりに、前記レンズと同等の結像効果が得られる曲面鏡、すなわち焦点距離がｆの曲面鏡を用いることもできる。

前記曲面鏡を用いた光学系としては、たとえば、図８に示すように、３枚目のレンズ１０１₃の代わりに焦点距離がｆの曲面鏡１０４を配置した光学系が挙げられる。この場合、１枚目のレンズ１０１₁と２枚目のレンズ１０１₂の間隔、図８に一点鎖線で示した光軸上での前記２枚目のレンズ１０１₂と前記曲面鏡１０４の距離および前記曲面鏡１０４と４枚目のレンズ１０１₄の距離がそれぞれｄ１＝０．６ｆとなるように配置すれば、図６に示した光学系と光学的に等価になり、前記表示手段１Ｂに表示された画像と等倍率の倒立像１Ｂ’を結像させることができる。

なお、図８では、３枚目のレンズ１０１₃の代わりに前記曲面鏡１０４を用いた例を示しているが、これに限らず、他のレンズの代わりに前記曲面鏡を用いてもよい。また、１枚のレンズだけでなく、複数枚のレンズ、あるいは全てのレンズの代わりに前記曲面鏡を用いてもよい。

また、図７および図８に示した光学系は、図６に示した光学系と光学的に等価な光学系の一例であり、これらの構成や配置に限らず、図６に示した光学系と光学的に等価であれば他の構成や配置であってもよい。また、図６乃至図８では、レンズが４枚の場合について説明したが、４枚以外の場合も、同様に、光学的に等価であればどのような構成や配置であってもよい。

またさらに、前記複数枚のレンズを積層した等倍結像光学系１Ａを用いる場合、前述のように、焦点距離がｆのレンズのみを等間隔で配置する代わりに、たとえば、ｎ＋１枚の焦点距離がｆ₁のレンズと、ｎ枚の焦点距離がｆ₂のレンズを交互に積層し、かつ、前記焦点距離がｆ₁のレンズを間隔ｄ２で等間隔に配置した光学系であってもよい。

このような等倍結像光学系１Ａの場合、焦点距離がｆ₁のレンズの間隔をｄとすると、ｋ枚目のレンズまでによる結像の倍率Ｍ_kは、下記数式（５）から（８）のような漸化式で表される。

前記等倍結像光学系により等倍率の正立像１Ｂを結像させる場合、前記数式（５）から数式（８）を用いてＭ_k=2n+1＝１を満たすｄを求めることで、前記焦点距離がｆ₁のレンズ１０１_hの間隔ｄ２が求まる。また、等倍率の倒立像１Ｃを結像させる場合は、前記数式（５）から数式（８）を用いてＭ_k=2n+1＝−１を満たすｄを求めることで、前記焦点距離ｆ₁のレンズの間隔ｄ２が求まる。

このような、焦点距離がｆ₁とｆ₂の２種類のレンズを交互に積層した等倍結像光学系２にすると、焦点距離がｆ₁のレンズをｍ枚積層させるときの間隔ｄ２は、前記実施例１のように焦点距離がｆ₁のレンズのみをｍ枚積層させるときに比べて狭くすることが可能である。そのため、前記等倍結像光学系を薄くすることができる。

また、このような等倍結像光学系では、焦点距離ｆ₁と焦点距離ｆ₂が独立変数なので、前記数式（５）においてＭ_2n+1＝１または−１を満たすような条件下で焦点距離ｆ₁と焦点距離ｆ₂を変化させることで、結像位置Ｌ_k=2n+1を自由に変化させることができる。この点についての最も典型的な例として、ｎ＝２、すなわちレンズの全枚数が５枚の場合について考える。このとき、たとえば、前記数式（５）においてＭ₅＝−１を解くと、解の１つとして、下記数式（１６）が得られる。

このとき、前記数式（１６）を満たすようにｆ₁とｆ₂を変えることにより、等倍関係を維持したまま結像位置Ｌ₅を制御することができる。

また、このような構成の等倍結像光学系の場合、前記レンズとして可変焦点レンズ、すなわち焦点距離を変えられるレンズを用いることが好ましい。前記可変焦点レンズとしては、たとえば、液晶レンズが挙げられる。

前記レンズとして可変焦点レンズを用いると、たとえば、１組の光学系で、前記数式（５）においてＭ_2n+1＝１または−１を満たすような条件下で焦点距離ｆ₁と焦点距離ｆ₂を変化させることができる。言い換えると、たとえば、前記レンズの総数が５枚の場合、前記焦点距離がｆ₁のレンズをある間隔で配置しているときには、前記各レンズの焦点距離ｆ₁，ｆ₂は、前記数式（１６）を満たしていれば、どのような組み合わせであってもよい。そして、前記各レンズの焦点距離ｆ₁，ｆ₂の組み合わせを変えた場合、前記数式（７）から、倒立像１Ｃの結像位置Ｌ₅が変わる。そのため、たとえば、３次元表示装置で表示可能な奥行き表示範囲が狭い場合でも、前記各レンズの焦点距離ｆ₁，ｆ₂を変化させることで、広い奥行き範囲を表現することができる。

このように、前記３次元表示装置１として、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系１Ａと前記DFDとを組み合わせた表示装置を用いると、非常に簡素な構成にすることができる。なお、前記等倍結像光学系１Ａと前記DFDとの組み合わせは、前記３次元表示装置１の構成例の１つであって、これに限らず、３次元立体画像を前記検出手段２より手前にも表示できれば、どのような表示装置であってもよい。

図９乃至図１１は、本発明による実施例１の画像表示方法の説明するための模式図であり、図９は本実施例１の画像表示方法の概要を説明する図、図１０は本実施例１の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図、図１１は図１０に示した制御手段で行われる処理の手順を示すフロー図である。

本実施例１の画像表示方法は、前記画像表示システムを用いた表示方法であり、たとえば、図９の上側に示すように、指先４Ａまたは入力ペンのペン先などが前記タッチパネル（検出手段）２に触れていないときには、前記３次元表示装置１により表示される画像（オブジェクト５Ａ，５Ｂ，５Ｃ）が前記タッチパネル２上に表示されている。なお、本実施例１および以下の実施例では、前記オブジェクト５Ａ，５Ｂ，５Ｃと前記タッチパネル２が、図９の上側に示したような位置関係にある場合に、前記オブジェクト５Ａ，５Ｂ，５Ｃが前記タッチパネル２上に表示されているとする。

そして、図９の下側に示すように、指先４Ａまたは入力ペンのペン先などが前記タッチパネル２に触れると、前記指先４Ａまたは入力ペンのペン先などの位置と対応するオブジェクト５Ｂ以外のオブジェクト５Ａ，５Ｃが手前に移動して表示される。このようにすると、前記指先４Ａまたは入力ペンのペン先で選択したオブジェクト５Ｂだけが、他のオブジェクト５Ａ，５Ｃよりも奥にあるように見える。また、前記選択したオブジェクト５Ｂは前記タッチパネル２上に表示されたままである。そのため、観察者（操作者）は前記オブジェクト５Ｂを選択したときに、前記オブジェクト５Ｂを押下したような視覚効果が得られ、たとえば、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。

本実施例１の画像表示方法を実現する画像表示システムでは、前記制御手段３に、たとえば、図１０に示すように、前記タッチパネル（検出手段）２からの検出信号を受信する検出信号受信手段３０１と、前記検出信号受信手段３０１で受信した検出信号から、前記指先４Ａまたは前記操作手段の先端が検出された場合は、前記指先４Ａまたは前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者４から見て手前に移動させた画像データを生成し、前記指先４Ａまたは前記操作手段の先端が検出されなくなった場合は、前記観察者４から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段３０２と、前記画像データ生成手段３０２で生成した前記画像データを映像信号として前記３次元表示装置１に送信する映像信号送信手段３０３とを設ければよい。

また、図示は省略するが、前記制御手段３は、あらかじめ用意された数パターンの画像データを保持する画像データ保持手段を備えていてもよい。その場合、前記画像データ生成手段３０２は、前記検出信号に基づいて、前記指先または入力ペンのペン先の位置に対応する画像を前記画像データ保持手段から選択するだけでよい。

本実施例１の画像表示方法を、図１０に示したような構成の画像表示システムに実行させる場合、前記制御手段３では、まず、図１１に示すように、前記３次元表示装置１に初期状態を表す画像データの映像信号を送信し初期画像を表示させる（ステップ７０１）。

前記初期画面を表示した状態で、たとえば、前記指先４Ａまたは入力ペンのペン先などで前記タッチパネル（検出手段）２に触れると、前記タッチパネル２の押圧信号がアクティブになり、前記タッチパネル２から前記制御手段３に、前記押圧信号と前記指先または入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。前記押圧信号および前記接触点座標信号は、前記制御手段３の検出信号受信手段３０１で受信される（ステップ７０２）。

前記制御手段３は、前記検出信号受信手段３０１で前記押圧信号および前記接触点座標信号を受信すると、前記画像データ生成手段３０２において、前記接触点座標信号に基づいて、前記タッチパネル２上の前記指先４Ａまたは入力ペンのペン先などが触れた位置と対応する前記３次元立体画像を表示可能な空間（画像提示空間６）内の位置を算出する（ステップ７０３）。また、前記画像データ生成手段３０２は、前記ステップ７０３の算出結果に基づいて、たとえば、図７の下側に示したように、前記指先４Ａまたは入力ペンのペン先の位置の対応するオブジェクト５Ｂ以外のオブジェクト５Ａ，５Ｃを手前に移動させた画像データを生成し、前記生成した画像データを映像信号として前記映像信号送信手段３０３を介して前記３次元表示装置１に送信する（ステップ７０４）。前記制御手段３からの映像信号を受信した前記３次元表示装置１は、前記映像信号に基づいて、表示画像を切り替える。このようにすることで、たとえば、図９の上側に示したような状態から、図９の下側に示したような状態に切り替わる。

また、前記制御手段３が、あらかじめ数パターンの画像データを保持している場合は、前記ステップ７０４では、前記指先４Ａまたは入力ペンのペン先の位置の対応するオブジェクト以外のオブジェクトを手前に移動させた画像データを選択し、映像信号として送信すればよい。

また、前記制御手段３は、前記映像信号を送信したあと、前記指先４Ａまたは入力ペンのペン先が前記タッチパネル２に触れている状態が続いているか、すなわち押圧信号がアクティブであるか否かを確認する（ステップ７０５）。このとき、前記押圧信号がアクティブであれば、前記指先４Ａまたは入力ペンのペン先の接触点座標が変化したか否かを判定する（ステップ７０６）。これは、前記検出信号受信手段３０１で検出信号を受信している間は継続され、前記接触点座標が変化した場合は前記ステップ７０３に戻り、新たな接触点座標に対応する画像データを生成または選択して前記３次元表示装置１に送信し、表示させる。

また、前記押圧信号がアクティブではない、すなわち前記指先４Ａまたは入力ペンのペン先が前記検出手段から離れた場合、前記検出信号受信手段３０１は前記検出信号（押圧信号）を受信しなくなる。そのため、前記ステップ７０５で押圧信号がアクティブではないと判定された場合、前記画像データ生成手段３０２は、たとえば、図９の上側に示したような初期画像データ、または前記ステップ７０５でアクティブではないと判定される直前に前記指先４Ａまたは入力ペンのペン先の位置と対応するオブジェクトと関連付けられた特定の処理を行った後の画像データを映像信号として前記３次元表示装置１に送信する（ステップ７０７）。

以上説明したように、本実施例１の画像表示システムを用いた画像表示方法によれば、前記指先４Ａまたは入力ペンのペン先で選択されたオブジェクト以外のオブジェクトを手前に移動させて表示させることができる。そのため、観察者（操作者）は、たとえば、前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果が得られ、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。そのため、表示されている画像（オブジェクト）の挙動の違和感を低減し、操作性を向上さることができる。

また、本実施例１の画像表示方法を実現する前記画像表示システムにおいて、前記３次元表示装置１として、たとえば、図６に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系１Ａと前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。

図１２乃至図１５は、本発明による実施例２の画像表示方法を説明するための模式図であり、図１２は本実施例２の画像表示方法を実現する画像表示システムの概略構成を示す図、図１３は本実施例２の画像表示方法の概要を説明する図、図１４は本実施例２の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図、図１５は図１４に示した制御手段で行われる処理の手順を示すフロー図である。

本実施例２の画像表示方法は、基本的には前記実施例１の画像表示方法と同じで、指先４Ａまたは入力ペンのペン先などが前記タッチパネル（検出手段）２に触れると、触れた位置に対応するオブジェクト以外のオブジェクトが手前に移動したような画像表示に切り替わる表示方法である。

ただし、本実施例２の画像表示方法は、前記実施例１の場合とは異なり、前記タッチパネル（検出手段）２が、前記観察者から見た奥行き方向に押し込めるような画像表示システムに適用される表示方法である。

本実施例２の画像表示方法を実現する前記画像表示システムには、図１２に示すように、前記３次元表示装置１、前記タッチパネル（検出手段）２、前記制御手段３に加えて、前記タッチパネル２の奥行き方向への押し込み量に応じて前記タッチパネル２に反発力を加えることができる反発手段８を備える。

本実施例２の画像表示方法は、図１２に示したような前記画像表示システムによって実現される。このとき、たとえば、図１３の上側に示すように、指先４Ａまたは入力ペンのペン先などが前記タッチパネル（検出手段）２に触れていないときには、前記３次元表示装置１により表示される画像（オブジェクト５Ａ，５Ｂ，５Ｃ）が前記タッチパネル２上に表示されているとする。そして、指先４Ａまたは入力ペンのペン先などが前記タッチパネル２に触れ、前記タッチパネル２を奥行き方向に押し込むと、図１３の下側に示すように、前記タッチパネル２の押し込み量に応じて、前記指先４Ａまたは入力ペンのペン先で選択されたオブジェクト５Ｂが奥に移動して表示される。このようにすると、前記指先４Ａまたは入力ペンのペン先で選択したオブジェクト５Ｂだけが、他のオブジェクト５Ａ，５Ｃよりも奥にあるように見える。またこのとき、前記タッチパネル２を観察者４から見て奥に押し込むと、前記タッチパネル２には、前記反発手段８から前記押し込み量に応じた反発力が加わる。そのため、前記観察者（操作者）４は、前記反発手段８から前記タッチパネル２に加わる反発力を指先４Ａまたは操作手段を通して実感することができる。そのため、観察者（操作者）４は前記タッチパネル２を押し込んで前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果および体感効果が得られ、たとえば、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。

本実施例２の画像表示方法を実現する画像表示システムでは、前記制御手段３に、たとえば、図１４に示すように、前記検出手段からの検出信号を受信する検出信号受信手段３０１と、前記タッチパネル（検出手段）２の押し込み量を示す押込量信号を受信する押込量信号受信手段３０４と、前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段８に送信する反発制御信号送信手段３０５と、前記検出信号受信手段３０１で受信した検出信号から、前記指先４Ａまたは前記操作手段の先端が検出された場合は、前記押込量信号に基づいて、前記指先４Ａまたは前記操作手段の先端の位置と対応するオブジェクトを前記タッチパネル２との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先４Ａまたは前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段３０２と、前記画像データ生成手段３０２で生成した前記画像データを映像信号として前記３次元表示装置１に送信する映像信号送信手段３０３とを設ければよい。

また、図示は省略するが、前記制御手段３は、あらかじめ用意された数パターンの画像データを保持する画像データ保持手段を備えていてもよい。その場合、前記画像データ生成手段３０２は、前記検出信号および押込量信号に基づいて、前記指先４Ａまたは入力ペンのペン先の位置および前記タッチパネル２の押し込み量に対応する画像データを前記画像データ保持手段から選択するだけでよい。

本実施例２の画像表示方法を、図１４に示したような構成の画像表示システムに実行させる場合、前記制御手段３では、まず、図１５に示すように、前記３次元表示装置１に初期状態を表す画像データの映像信号を送信し初期画像を表示させる（ステップ７１１）。

前記初期画面を表示した状態で、たとえば、前記指先４Ａまたは入力ペンのペン先などで前記タッチパネル（検出手段）２に触れると、前記タッチパネル２の押圧信号がアクティブになり、前記タッチパネル２から前記制御手段３に、前記押圧信号と前記指先４Ａまたは入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。前記押圧信号および前記接触点座標信号は、前記制御手段３の検出信号受信手段３０１で受信される。またこのとき、前記制御手段３は、前記押込量信号受信手段３０４により、前記タッチパネル（検出手段）２の奥行き方向への移動量を示す押し込み量信号を合わせて受信する（ステップ７１２）。

前記制御手段３は、前記検出信号受信手段３０１で前記押圧信号および前記接触点座標信号を受信し、前記押込量信号受信手段３０４で前記押込量信号を受信すると、前記画像データ生成手段３０２により、前記接触点座標信号および前記押込量信号に基づいて、前記タッチパネル２上の前記指先４Ａまたは入力ペンのペン先などが触れた位置および前記タッチパネル２の押し込み量（奥行き位置）と対応する前記３次元立体画像を表示可能な空間（画像提示空間６）内の位置を算出する（ステップ７１３）。そして、たとえば、図１３の下側に示したように、前記指先４Ａまたは入力ペンのペン先の位置の対応するオブジェクト５Ｂのみを前記タッチパネル２の押し込み量と一致するように奥行き方向に移動させた画像データを生成し、前記生成した画像データを映像信号として前記映像信号送信手段３０３を介して前記３次元表示装置１に送信する（ステップ７１４）。このようにすることで、たとえば、図１３の上側に示したような状態から、図１３の下側に示したような状態に切り替わる。

また、前記ステップ７１４では、前記映像信号を送信するとともに、前記タッチパネル２の押し込み量と対応した反発力を算出し、反発制御信号として前記反発制御信号送信手段３０５を介して前記反発手段８に送信する。こうすることで、前記反発手段８は、前記反発制御信号に基づいた反発力で前記タッチパネル２を観察者４から見て手前の方向に押すので、前記反発手段８から前記タッチパネル２に加わる反発力を指先４Ａまたは操作手段を通して実感することができる。

また、前記制御手段３が、あらかじめ数パターンの画像データを保持している場合は、前記ステップ７１４では、前記指先４Ａまたは入力ペンのペン先の位置と対応するオブジェクトのみが前記タッチパネル２の押し込み後の位置と対応する位置に移動している画像データを選択し、映像信号として送信すればよい。

また、前記制御手段３は、前記映像信号および前記反発制御信号を送信したあと、前記指先４Ａまたは入力ペンのペン先が前記タッチパネル２に触れている状態が続いているか、すなわち押圧信号がアクティブであるか否かを確認する（ステップ７１５）。このとき、前記押圧信号がアクティブであれば、前記指先４Ａまたは入力ペンのペン先の接触点座標または前記タッチパネル２の押し込み量（奥行き位置）が変化したか否かを判定する（ステップ７１６）。これは、前記検出信号受信手段３０１で検出信号を受信している間は継続され、前記接触点座標または前記押し込み量が変化した場合は前記ステップ７１３に戻り、新たな接触点座標や前記タッチパネル２の押し込み量に対応する画像データ生成または選択して前記３次元表示装置１に送信し、表示させる。

また、前記押圧信号がアクティブではない、すなわち前記指先４Ａまたは入力ペンのペン先が前記タッチパネル２から離れた場合、前記検出信号受信手段３０１は前記検出信号を受信しなくなる。そのため、前記ステップ７１５で押圧信号がアクティブではないと判定された場合、前記画像データ生成手段３０２は、たとえば、図１３の上側に示したような初期画像データ、または前記ステップ７１５でアクティブではないと判定される直前の前記指先４Ａまたは入力ペンのペン先の位置と対応するオブジェクトと関連付けられた特定の処理を行った後の画像データを映像信号として前記３次元表示装置１に送信する（ステップ７１７）。またこのとき、前記タッチパネル２は、前記反発手段８から受けた反発力によってもとの奥行き位置、すなわち押し込み量が０の位置に戻る。

以上説明したように、本実施例２の画像表示システムを用いた画像表示方法によれば、前記指先４Ａまたは入力ペンのペン先で選択されたオブジェクトのみを、前記タッチパネル（検出手段）２の押し込み量にあわせて奥行き方向に移動させて表示させることができる。そのため、観察者（操作者）は、たとえば、前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果が得られ、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。また、本実施例２の画像表示方法では、前記反発手段８から前記タッチパネル２に加わる反発力を指先４Ａまたは操作手段を通して実感することができる。そのため、表示されている画像（オブジェクト）の挙動の違和感を低減し、操作性を向上さることができる。

また、本実施例２の画像表示方法を実現する前記画像表示システムにおいて、前記３次元表示装置１として、たとえば、図６に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系１Ａと前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。

図１６乃至図１９は、本発明による実施例３の画像表示方法を説明するための模式図であり、図１６は指先または操作手段の先端の有無に応じた表示の切り替え制御の一例を示す図、図１７は指先または操作手段の先端の移動に応じた表示の切り替え制御の一例を示す図、図１８は本実施例３の画像表示方法を実現する画像表示システムの構成例を示す図、図１９は図１８に示した画像表示システムの制御手段で行われる処理の手順を示すフロー図である。

本実施例３の画像表示方法は、たとえば、前記実施例１や実施例２の画像表示方法と組み合わせて用いるのに適した画像表示方法であり、前記タッチパネルのような検出手段２に触れる前に操作者が指し示そうとする位置を検出し、表示画像を切り替える画像表示方法である。

本実施例３の画像表示方法では、たとえば、図１６に示すように、前記タッチパネル（検出手段）２上に、任意の深さの指先検出空間９を設けておく。前記指先検出空間９内の前記指先４Ａまたは入力ペンのペン先の有無や位置の検出は、たとえば、赤外線走査方式のように赤外線のグリッドを作り出し、前記指や入力ペンなどで遮光された場所の座標を読み取ることで行う。また、前記赤外線走査方式に限らず、たとえば、前記指先検出空間９をカメラで撮影しておき、その映像の中から指先４Ａまたは入力ペンのペン先に相当する形状の有無や位置を検出することもできる。

そして、たとえば、図１６の下側に示したように、前記指先検出空間９内に指先４Ａまたは入力ペンのペン先などが入ると、前記指先４Ａまたは入力ペンのペン先の位置が検出され、たとえば、前記指先４Ａまたは入力ペンのペン先の位置と対応するオブジェクトが前記タッチパネル２上などのあらかじめ定められた奥行き位置にくるように移動する。図１６の下側に示した例では、前記指先４Ａまたは入力ペンのペン先が３つのオブジェクト５Ａ，５Ｂ，５Ｃのうちの中央のオブジェクト５Ｂを指し示しているので、前記中央のオブジェクト５Ｂが前記タッチパネル２上にくるように前記３つのオブジェクト５Ａ，５Ｂ，５Ｃが手前に並進移動する。また、図１６の下側に示したような状態のときに、前記指先４Ａを前記指先検出空間９の外側に出すと、図１６の上側に示したように前記３つのオブジェクト５Ａ，５Ｂ，５Ｃが奥に移動して元の位置に戻る。

また、本実施例３の画像表示方法の場合、たとえば、図１７の上側に示すように、前記指先検出空間９内で指先４Ａが検出され、前記指先４Ａが３つのオブジェクト５Ａ，５Ｂ，５Ｃのうちの中央のオブジェクト５Ｂを指し示している状態から、図１７の下側に示すように、前記指先４Ａを前記３つのオブジェクト５Ａ，５Ｂ，５Ｃのうちの上のオブジェクト５Ａを指し示す位置に移動させると、前記指先４Ａの位置の移動にあわせて、前記上のオブジェクト５Ａが前記タッチパネル２上にくるように前記３つのオブジェクト５Ａ，５Ｂ，５Ｃが手前に並進移動する。また、図１７の下側に示したような状態のときに、前記指先４Ａを前記中央のオブジェクト５Ｂを指し示す位置に移動させると、前記指先４Ａの位置の移動にあわせて、図１７の上側に示したように、前記中央のオブジェクト５Ｂが前記タッチパネル２上にくるように前記３つのオブジェクト５Ａ，５Ｂ，５Ｃが奥に並進移動する。

このようにすると、たとえば、複数個のオブジェクトが立体的に配置されているときに、前記指先４Ａまたは入力ペンのペン先などで指し示しているオブジェクトがどれであるかを認識しやすくなり、操作性が向上する。

また、説明は省略するが、たとえば、図１６の下側および図１７に示したような状態から前記指先４Ａまたは入力ペンのペン先で前記タッチパネル２に触れると、前記実施例１または実施例２で説明したような方法で表示画像が切り替わるようにする。

本実施例３の画像表示方法を実現する画像表示システムでは、前記検出手段を、たとえば、図１８に示すように、前記指先または入力ペンのペン先が触れることで前記指先または入力ペンのペン先の位置を検出するタッチパネル（第１検出手段）２Ａと、前記赤外線走査方式を利用してタッチパネル２より手前の前記指先検出空間９内で前記指先４Ａまたは入力ペンのペン先の有無および位置を検出する指位置検出手段（第２検出手段）２Ｂとする。

またこのとき、前記制御手段３には、前記第１検出手段２Ａからの検出信号を受信する第１検出信号受信手段３０１Ａと、前記第２検出手段２Ｂからの検出信号を受信する第２検出信号受信手段３０１Ｂとを設ける。また、前記制御手段３に設けられた前記画像データ生成手段３０２は、前記第１検出信号受信手段３０１Ａからの検出信号を受信した場合、たとえば、前記実施例１で説明した手順で画像データを生成し、前記第２検出手段３０１Ｂからの検出信号を受信した場合は、前記指先４Ａまたは入力ペンのペン先が指し示すオブジェクトが前記第１検出手段２Ａ上などのあらかじめ定められた奥行き位置にくるように移動させた画像を生成する。なお、図１８では、前記第２検出手段２Ｂからの検出信号を受信したときも、前記画像データ生成手段３０２において画像を生成する場合の構成例を示しているが、これに限らず、前記画像データ生成手段３０２から独立した別の手段で画像データを生成あるいは選択してもよい。

本実施例３の画像表示方法を、図１８に示したような構成の画像表示システムに実行させる場合、前記制御手段３では、まず、図１９に示すように、前記３次元表示装置１に初期状態を表す画像データの映像信号を送信し初期画像を表示させる（ステップ７２１）。

前記初期画面を表示した状態で、たとえば、前記指先４Ａまたは入力ペンのペン先などで前記タッチパネル（第１検出手段）２Ａに触れると、前記タッチパネル２Ａの押圧信号がアクティブになり、前記タッチパネル２Ａから前記制御手段３に第１検出信号、すなわち前記押圧信号と前記指先４Ａまたは入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。また、前記タッチパネルに触れなくても、前記指先検出空間９内に前記指先４Ａまたは入力ペンのペン先などが入れば、前記第２検出手段２Ｂから前記制御手段３に第２検出信号、すなわち前記指先４Ａまたは入力ペンのペン先などの位置の座標を示す指位置座標信号が送信される。そこで、前記制御手段３では、前記初期画像を表示したあと、前記第１検出信号または第２検出信号の受信の有無の判定を行う（ステップ７２２）。なお、前記第１検出信号を受信するときには、前記指先４Ａまたは入力ペンのペン先は、前記指先検出空間９内を通って前記タッチパネル２Ａに接触しているので、前記第２検出信号も受信しているはずであるが、本実施例３では、前記第１検出信号と前記第２検出信号を同時に受信した場合は、前記第１検出信号を受信したと表現する。

前記制御手段３は、前記第１検出信号、すなわち前記タッチパネル２Ａからの押圧信号および接触点座標信号を受信すると、前記画像データ生成手段３０２において、たとえば、前記実施例１で説明したような手順で画像データを生成または選択し、映像信号として前記３次元表示装置１に送信する（ステップ７２３）。前記ステップ７２３の処理を前記実施例１で説明したような手順で行う場合は、図１１に示したステップ７０２からステップ７０７に相当する処理を行えばよいので、詳細な説明は省略する。

一方、前記制御手段３で前記第２検出信号のみ、すなわち前記第２検出手段２Ｂからの指位置座表信号のみを受信した場合は、前記画像データ生成手段３０２において、図１９に示したように、前記指位置座標信号に基づき、前記指先４Ａまたは入力ペンのペン先の位置と対応する前記画像提示空間６内の平面位置を算出する（ステップ７２４）。そして、前記算出した平面位置と対応するオブジェクト、すなわち前記指先４Ａまたは入力ペンのペン先などで指し示しているオブジェクトが、たとえば、前記タッチパネル上などのあらかじめ定められた奥行き位置にくるように、前記各オブジェクトを奥行き方向に並進移動させた画像データを生成または選択し、映像信号として前記３次元表示装置１に送信する（ステップ７２５）。こうすることで、前記検出手段上に表示された画像（オブジェクト）は、図１６の下側または図１７に示したようになる。

また、前記制御手段３は、前記映像信号を送信したあと、前記指先４Ａまたは入力ペンのペン先が前記タッチパネル（第１検出手段）２Ａに触れたか否か、すなわち前記第１検出信号を受信したか否かを確認する（ステップ７２６）。このとき、前記第１検出信号を受信していれば、前記ステップ７２３の処理に移行する。

一方、前記第１検出信号を受信していない場合は、前記第２検出信号（指位置座標信号）の受信が続いているか否かを判定する（ステップ７２７）。そして、前記第２検出信号の受信が続いている場合は、前記第２検出信号に基づく前記指先４Ａまたは入力ペンのペン先の位置が変化したか否かを確認する（ステップ７２８）。そして、変化した場合は、前記ステップ７２４に戻り、新たな指位置座標に対応する画像データを生成または選択して前記３次元表示装置１に送信し、表示させる。また、前記指位置座標が変化していない場合は、前記ステップ７２６戻り、検出信号の受信の有無、指位置座標の変化を監視する。

また、前記指先４Ａまたは入力ペンのペン先が前記指先検出空間９の外側に出た場合、前記第２検出信号受信手段３０２は前記第２検出信号を受信しなくなる。そのため、前記ステップ７２７で前記第２検出信号の受信が途絶えたと判定された場合、前記ステップ７２１に戻る。そして、前記画像データ生成手段３０２で、たとえば、図１６の上側に示したような初期画像データの生成または選択をして前記３次元表示装置１に送信し、表示させる。

以上説明したように、本実施例３の画像表示システムを用いた画像表示方法によれば、前記タッチパネル（第１検出手段）２Ａ上の指先検出空間９内で、前記タッチパネル２Ａに触れずに、前記指先または入力ペンのペン先で表示されている画像（オブジェクト）を指し示したときに、指し示しているオブジェクトを、たとえば、前記タッチパネル２Ａ上などの前記画像提示空間６のあらかじめ定められた奥行き位置に移動させて表示させることができる。そのため、たとえば、複数個のオブジェクトが立体的に配置されている場合に、前記指先４Ａまたは入力ペンのペン先で指し示しているオブジェクトがどのオブジェクトであるかを認識しやすくなる。

また、本実施例３の画像表示方法のように、前記指先検出空間９内で、前記タッチパネル２Ａに触れずに前記指先４Ａまたは入力ペンのペン先で表示されている画像（オブジェクト）を指し示した場合は、前記指し示したオブジェクトがあらかじめ定められた奥行き位置にくるように移動させ、前記指先４Ａまたは入力ペンのペン先が前記タッチパネルに触れた場合は、前記実施例１または実施例２の画像表示方法のようにすることで、複数個のオブジェクトが立体的に配置されている場合の操作性を向上させることができる。

また、本実施例３の画像表示方法を実現する前記画像表示システムにおいて、前記３次元表示装置１として、たとえば、図６に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系と前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。

またさらに、前記第２検出手段２Ｂは、前記赤外線走査方式を用いた手段やカメラを用いた手段に限らず、前記指先検出空間９内の前記指先４Ａまたは入力ペンのペン先の有無や位置を検出できれば、どのような手段であってもよい。

また、本実施例３の画像表示方法では、前記実施例１または実施例２の画像表示方法と組み合わせた場合について説明したが、これに限らず、前記実施例１または実施例２以外の画像表示方法と組み合わせてもよい。また、前記実施例１または実施例２で用いた前記タッチパネルに替わる検出手段として前記第２検出手段を用いることも可能である。

図２０は、本発明による実施例４の画像表示システムの概略構成を示す模式図である。

前記実施例１から実施例３では、前記検出手段２（第１検出手段２Ａ）として、タッチパネルを用いた場合の画像表示システムの構成例を示している。しかしながら、前記検出手段２は、前記指先４Ａまたは操作手段の位置が検出できればよいので、前記タッチパネルに限らず、種々の手段（装置）を用いることができる。そこで、本実施例４では、前記検出手段２として、タッチパネル以外の手段を用いた場合の画像表示システムの構成例について説明する。

本実施例４の画像表示システムでは、前記検出手段２として、たとえば、図２０に示すように、２台のカメラ２０１，２０２を用いる。このとき、前記各カメラ２０１，２０２は、前記タッチパネルの接触面（検出面）に相当する検出領域１０の画像を撮影しており、視差を有する２枚の画像が得られるようになっている。このとき、前記制御手段３では、まず、前記視差を有する２枚の画像から、三角測量の原理に基づいて、前記指先４Ａまたは操作手段の奥行き位置を測定する。そして、前記測定した奥行き位置が、前記検出領域１０内である場合は、たとえば、実施例１で説明したような手順で、前記指先４Ａまたは操作手段の位置と対応するオブジェクトを除く他のオブジェクトを手前に移動させた画像に切り替えさせる。このようにすることで、前記実施例１の画像表示システムと同様の効果が得られる。

またこのとき、前記検出領域１０上に、たとえば、アクリル板等の透明な板を設けておけば、前記タッチパネルを用いた画像表示システムと同じ感覚で操作をすることができる。

以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。

たとえば、前記実施例１から実施例３では、前記制御手段３として、独立した前記各手段が連携して処理を行うような例を示したが、これに限らず、たとえば、コンピュータとプログラム（ソフトウェア）を用いることもできる。前記制御手段３としてコンピュータを用いる場合、前記実施例１から実施例３で説明したような手順、すなわち図１１，図１５，図１９に示したようなフローを前記コンピュータに実行させる命令からなるプログラムを作成し、前記コンピュータに実行させればよい。このとき、前記プログラムは、たとえば、磁気的または電気的、あるいは光学的な記録媒体を通して提供することもできるし、インターネットを通して提供することもできる。

また、本発明の画像表示システムを、たとえば、現金自動預け払い機や自動券売機などに適用する場合、前記制御手段３は、表示の切り替えのみを行う独立した手段であってもよいし、前記現金自動預け払い機や自動券売機で行われる処理（動作）制御を行う手段の一部であってもよい。前者の場合、前記制御手段３は、前記３次元表示装置１に映像信号を送信するとともに、他の処理制御を行う手段に前記タッチパネル（検出手段）から受信した検出信号を送信し、検出した接触点座標に応じた処理を行わせればよい。また、後者の場合は、前記制御手段３の内部に、前記他の処理制御を行う手段を設ければよい。

本発明の画像表示システムの原理を示す模式図である。 本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、一構成例を示す図である。 本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、レンズの間隔の求め方を説明する図である。 本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、DFDの原理を説明する図である。 本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、DFDの原理を説明する図である。 本発明の画像表示システムで用いる３次元表示装置の一例を説明するための模式図であり、DFDと等倍結像光学系を組み合わせる場合の一具体例を示す図である。 ３次元表示装置で用いる等倍結像光学系の応用例を説明するための模式図であり、図６の等倍結像光学系と光学的に等価な光学系の第１の構成例を示す図である。 ３次元表示装置で用いる等倍結像光学系の応用例を説明するための模式図であり、図６の等倍結像光学系と光学的に等価な光学系の第２の構成例を示す図である。 本発明による実施例１の画像表示方法の説明するための模式図であり、本実施例１の画像表示方法の概要を説明する図である。 本発明による実施例１の画像表示方法の説明するための模式図であり、本実施例１の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図である。 本発明による実施例１の画像表示方法の説明するための模式図であり、図１０に示した制御手段で行われる処理の手順を示すフロー図である。 本発明による実施例２の画像表示方法を説明するための模式図であり、本実施例２の画像表示方法を実現する画像表示システムの概略構成を示す図である。 本発明による実施例２の画像表示方法を説明するための模式図であり、本実施例２の画像表示方法の概要を説明する図である。 本発明による実施例２の画像表示方法を説明するための模式図であり、本実施例２の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図である。 本発明による実施例２の画像表示方法を説明するための模式図であり、図１４に示した制御手段で行われる処理の手順を示すフロー図である。 本発明による実施例３の画像表示方法を説明するための模式図であり、指先または操作手段の先端の有無に応じた表示の切り替え制御の一例を示す図である。 本発明による実施例３の画像表示方法を説明するための模式図であり、指先または操作手段の先端の移動に応じた表示の切り替え制御の一例を示す図である。 本発明による実施例３の画像表示方法を説明するための模式図であり、本実施例３の画像表示方法を実現する画像表示システムの構成例を示す図である。 本発明による実施例３の画像表示方法を説明するための模式図であり、図１８に示した画像表示システムの制御手段で行われる処理の手順を示すフロー図である。 本発明による実施例４の画像表示システムの概略構成を示す模式図である。

符号の説明

１…３次元表示装置
１Ａ…等倍結像光学系
１０１₁，１０１₂，１０１₃，１０１₄，１０１_n…焦点距離がｆのレンズ
１０２…平面鏡
１０３…ハーフミラー
１０４…焦点距離がｆの曲面鏡
１Ｂ₁…前面（手前）の表示面
１Ｂ₂…後面（奥）の表示面
２…検出手段（タッチパネル）
２Ａ…第１検出手段（タッチパネル）
２Ｂ…第２検出手段
２０１，２０２…カメラ
３…制御手段
３０１…検出信号受信手段
３０１Ａ…第１検出信号受信手段
３０１Ｂ…第２検出信号受信手段
３０２…画像データ生成手段
３０３…映像信号送信手段
３０４…押込量信号受信手段
３０５…反発制御信号送信手段
４…観察者（操作者）
４Ａ…指先
５Ａ，５Ｂ，５Ｃ…オブジェクト
６…画像提示空間
８…反発手段
９…指先検出空間
１０…検出領域

Claims (6)

1. 物体の３次元立体画像を表示可能な３次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段と、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記３次元表示装置で表示される物体の表示画像の切り替え制御を行う制御手段とを備える画像表示システムであって、
   前記検出手段は、観察者から見て前記３次元表示装置よりも手前にあり、かつ前記３次元表示装置と重なる検出領域内の前記指先または前記操作手段の先端の位置を検出する手段であり、
   前記３次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に、複数個のオブジェクトが立体的に配置された３次元立体画像を表示する表示装置であり、
   前記３次元表示装置は、前記３次元立体画像を表示する表示手段と、前記表示手段に表示された前記３次元立体画像を前記画像提示空間に等倍率で結像させる等倍結像光学系とを有し、
   前記等倍結像光学系は、前記観察者から見て前記表示手段よりも手前に配置されたｎ枚（ｎは２以上の整数）の焦点距離が同一のレンズを有し、
   前記各レンズは、各レンズの焦点距離をｆ、ｋ枚のレンズを通過した光の結像の倍率をＭ _k としたときに下記数式（１）乃至数式（４）で表される漸化式において、Ｍ _k=n ＝１または−１を満たし、かつ、Ｌ ₀ に依存しない間隔ｄで等間隔に配置されていることを特徴とする画像表示システム。
   

   
2. 物体の３次元立体画像を表示可能な３次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段と、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記３次元表示装置で表示される物体の表示画像の切り替え制御を行う制御手段とを備える画像表示システムであって、
   前記検出手段は、観察者から見て前記３次元表示装置よりも手前にあり、かつ前記３次元表示装置と重なる検出領域内の前記指先または前記操作手段の先端の位置を検出する手段であり、
   前記３次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む画像提示空間上に、複数個のオブジェクトが立体的に配置された３次元立体画像を表示する表示装置であり、
   前記３次元表示装置は、前記３次元立体画像を表示する表示手段と、前記表示手段に表示された前記３次元立体画像を前記画像提示空間に等倍率で結像させる等倍結像光学系とを有し、
   前記等倍結像光学系は、前記観察者から見て前記表示手段よりも手前に配置されたｎ＋１枚（ｎは１以上の整数）の焦点距離がｆ ₁ のレンズとｎ枚の焦点距離がｆ ₂ のレンズとを有し、前記焦点距離がｆ ₁ のレンズと前記焦点距離がｆ ₂ のレンズは交互に配置されており、
   前記焦点距離がｆ ₁ のレンズは、ｋ枚のレンズを通過した光の結像の倍率をＭ _k としたときに下記数式（５）乃至数式（８）で表される漸化式において、Ｍ _k=2n+1 ＝１または−１を満たし、かつ、Ｌ ₀ に依存しない間隔ｄで等間隔に配置されていることを特徴とする画像表示システム。
   

   
3. 前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、
   前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記指先または前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者から見て手前に移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は、前記観察者から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、
   前記画像データ生成手段で生成した前記画像データを映像信号として前記３次元表示装置に送信する映像信号送信手段とを備えることを特徴とする請求項１または請求項２に記載の画像表示システム。
4. 前記３次元表示装置、前記検出手段、前記制御手段に加え、前記指先または前記操作手段で前記検出手段を奥行き方向に押し込んだときに前記検出手段の押し込み量に応じた反発力を前記検出手段に与える反発手段を備え、
   前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、
   前記検出手段の押し込み量を示す押込量信号を受信する押込量信号受信手段と、
   前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段に送信する反発制御信号送信手段と、
   前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記検出手段の押し込み量に基づいて、前記指先または前記操作手段の先端の位置と対応するオブジェクトを前記検出手段との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、
   前記画像データ生成手段で生成した前記画像データを映像信号として前記３次元表示装置に送信する映像信号送信手段とを備えることを特徴とする請求項１または請求項２に記載の画像表示システム。
5. 前記検出手段は、前記指先または前記操作手段の先端が触れることで前記指先または前記操作手段の先端の位置を検出する第１検出手段と、観察者から見て前記第１検出手段よりも手前にある検出空間内に前記指先または前記操作手段の先端が入ることで前記指先または前記走査手段の先端の位置を検出する第２検出手段とを備え、
   前記制御手段は、前記各手段に加えて、前記第２検出手段のみで前記指先または前記操作手段の先端の位置を検出した場合は、前記検出した位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトを奥行き方向に並進移動させた画像データを生成し、前記第２検出手段で前記指先または前記走査手段の先端の位置が検出されなくなった場合は、前記並進移動させた前記各オブジェクトをもとの奥行き位置に戻した画像データを生成する手段を備えることを特徴とする請求項３または請求項４に記載の画像表示システム。
6. 前記検出手段は、前記検出領域を撮影する複数個のカメラからなり、
   前記制御手段は、前記複数個のカメラの画像に基づいて、前記指先または前記操作手段の位置を求める手段を備えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像表示システム。

Images