JP4807322B2 - 画像処理システム、画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理システム、画像処理装置および方法、並びにプログラムに関し、特に、仮想３次元空間上の位置を簡単に指定することができるようにした画像処理システム、画像処理装置および方法、並びにプログラムに関する。

従来、２次元の画面に対して仮想３次元空間を想定し、その仮想３次元空間における位置を指定できるプレゼンテーションシステムが提案されている。

例えば、そのようなプレゼンテーションシステムとして、画像が表示されるスクリーンの四隅に音波センサを配置し、入力ペンからの音波信号をそれらの音波センサにより受信することで、スクリーンに表示された２次元の画像に対して設定された、仮想３次元空間における位置を指定するものもある（例えば、特許文献１参照）。このプレゼンテーションシステムにおいては、音波信号の検出を容易に行うことができるように、音波信号からエンベロープ信号を検出し、検出されたエンベロープ信号を音波信号の音波センサへの到達時間の検出に利用している。これにより、従来問題となっていた音波信号のレベル変動や反射波の影響を低減させ、安定して仮想３次元空間における位置を検出することができる。

また、プレゼンテーションシステムには、ディスプレイに固定された磁界発生源と、その磁界発生源からの磁気を検出する棒状の位置センサとを利用して、ディスプレイ上の仮想３次元空間におけるオブジェクトに対して、直感的に操作を行うことができるようにするものもある（例えば、特許文献２参照）。

さらに、プレゼンテーションシステムには、複数のカメラを用いたステレオ法により距離画像を生成し、生成した距離画像を用いて、ユーザの指先や腕などの予め定められた部位を検出することにより、仮想３次元空間内の物体を指定するものもある（例えば、特許文献３参照）。このプレゼンテーションシステムにおいては、検出されたユーザの部位により指し示される方向に位置する物体が指定されるため、ユーザは、例えばマウスなどのインターフェースを装着する必要がなく、利便性の向上が期待される。また、スクリーン上ではなく、実空間上の位置を指定することも可能であり、応用性も高いと考えられている。

特開２００２−３５１６０５号公報 特開２００３−８５５９０号公報 特開２００４−２６５２２２号公報

しかしながら、上述した技術では、その特性上、検出の対象となる入力ペンやユーザの部位の位置の計測を広い範囲で行うことができないため、CRT（Cathode Ray Tube）ディスプレイ、PDP（Plasma Display Panel）、小型スクリーンなどの比較的小さい表示装置に画像を表示させ、その画像に対して想定された仮想３次元空間上の位置を指定することしかできなかった。また、上述したプレゼンテーションシステムは、周囲の環境による影響を受けやすく、確実に仮想３次元空間上の位置を指定することができない場合があった。

例えば、音波信号を利用する方法では、反射波などの影響をある程度回避可能であるものの、音波信号を利用しているため、仮想３次元空間上の位置の指定に対する反応速度には音速による制限があった。そのため、スクリーンが大きくなるほど処理に時間がかかり、無視できない遅延が生じる恐れがある。また、入力ペンおよび音波センサとしての音波信号の発信機および受信機は、それほど一般的なものではないためコストが高くなってしまう。

さらに、磁界発生源および棒状の位置センサを用いる方法では、磁気を利用するため、プレゼンテーションシステムの周囲に磁気を帯びた物体等がある場合には、位置センサによる位置の計測に誤差が生じる場合がある。また、磁界発生源を用いるため、広範囲で位置センサによる位置の計測ができるようにするためには、その範囲に見合った強い磁界が必要であり、位置センサの位置の計測精度が低下したり、コストが高くなったりする恐れがある。

さらに、また、ユーザの所定の部位を検出する方法では、仮想３次元空間上の指定することのできる位置の範囲は、ユーザが体で示すことのできる範囲に限られる。さらに、複数のカメラを設置する必要があるため、コストが高くなってしまうだけでなく、複数のカメラにより得られた画像から指定された位置を求めるための処理時間も、より長くなってしまう。

本発明は、このような状況に鑑みてなされたものであり、表示させる画像の大きさや周囲の環境によらず、低コストで、より確実に仮想３次元空間上の位置を指定することができるようにするものである。

本発明の第１の側面の画像処理システムは、表示画像を表示する表示装置と、前記表示画像に光を照射して、前記表示画像上に表示されるポインタの位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たに表示画像を生成する画像処理装置とから構成される画像処理システムであって、前記指示装置は、前記表示装置により表示されている前記表示画像に対して想定された仮想３次元空間上の表示位置であって、前記ポインタを表示させる表示位置を指示するための光である位置指示光を射出する位置指示光射出手段と、前記位置指示光とは異なる波長の光であり、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光を射出する方向指示光射出手段とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記方向指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示光画像と、前記方向指示光と同じ波長の光の画像である方向指示光画像とを分離する分離手段と、前記位置指示光画像から、前記表示画像上における前記位置指示光の像の位置および形状を検出する位置指示光検出手段と、前記方向指示光画像から前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出手段と、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段と、前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に、前記ポインタが表示された新たな表示画像を生成する表示画像生成手段とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える。

本発明の第１の側面においては、表示画像を表示する表示装置と、前記表示画像に光を照射して、前記表示画像上に表示されるポインタの位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たに表示画像を生成する画像処理装置とから構成される画像処理システムにおいて、前記指示装置により、前記表示装置により表示されている前記表示画像に対して想定された仮想３次元空間上の表示位置であって、前記ポインタを表示させる表示位置を指示するための光である位置指示光が射出され、前記位置指示光とは異なる波長の光であり、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光が射出され、前記撮像装置により、前記表示画像に照射された前記位置指示光の像、および前記方向指示光の像が前記撮像画像として撮像され、前記画像処理装置により、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示光画像と、前記方向指示光と同じ波長の光の画像である方向指示光画像とが分離され、前記位置指示光画像から、前記表示画像上における前記位置指示光の像の位置および形状が検出され、前記方向指示光画像から前記方向指示光の像が検出され、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報が出力され、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置が特定され、前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に、前記ポインタが表示された新たな表示画像が生成され、前記表示装置により、これまで表示していた前記表示画像の表示が、生成された前記新たな表示画像に切り替えられる。

本発明の第２の側面の画像処理装置は、表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理装置であって、前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出手段と、前記表示画像が表示されている前記領域を撮像して得られる第１の方向指示光画像であって、前記位置指示光の光路と平行な第１の方向への前記ポインタの移動を指示する第１の方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である第１の方向指示光画像から、前記表示画像に照射された前記第１の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第１の方向への移動が指示されたか否かを示す第１の方向情報を出力する第１の方向指示光検出手段と、前記位置指示光の像の位置および形状と、出力された前記第１の方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段とを備える。

画像処理装置には、前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に、前記ポインタが表示された新たな表示画像を生成する表示画像生成手段をさらに設けることができる。

前記位置指示光は、その断面を真円形状とすることができる。

前記ポインタの表示位置は、前記位置指示光の像の位置に対応する前記仮想３次元空間上の位置を通り、前記位置指示光の像の形状から特定される前記第１の方向と平行な直線上の位置とすることができる。

前記位置特定手段には、前記位置指示光の像の位置に対応する前記仮想３次元空間上の位置から、前記ポインタの表示位置までの長さを定める奥行き長さを記憶させ、前記第１の方向情報に基づいて前記奥行き長さを変更させ、さらに変更後の前記奥行き長さと、前記位置指示光の像の位置および形状とに基づいて、前記ポインタの表示位置を特定させることができる。

前記表示画像が表示されている前記領域を撮像して得られる第２の方向指示光画像であって、前記第１の方向とは反対の第２の方向への前記ポインタの移動を指示する第２の方向指示光と同じ波長であり、前記位置指示光および前記第１の方向指示光とは異なる波長の光の画像である第２の方向指示光画像から、前記表示画像に照射された前記第２の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第２の方向への移動が指示されたか否かを示す第２の方向情報を出力する第２の方向指示光検出手段をさらに設け、前記位置特定手段には、前記第１の方向情報および前記第２の方向情報に基づいて、前記奥行き長さを変更させることができる。

画像処理装置には、前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記第１の方向指示光の像を前記撮像画像として撮像する撮像手段と、前記撮像画像から、前記位置指示光画像と、前記第１の方向指示光画像とを分離する分離手段とをさらに設けることができる。

前記位置指示光および前記第１の方向指示光は、不可視光とすることができる。

本発明の第２の側面の画像処理方法またはプログラムは、表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理装置の画像処理方法またはプログラムであって、前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出ステップと、前記表示画像が表示されている前記領域を撮像して得られる方向指示光画像であって、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である方向指示光画像から、前記表示画像に照射された前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出ステップと、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定ステップとを含む。

本発明の第２の側面においては、表示画像が表示されている領域を撮像して得られる位置指示光画像であって、仮想３次元空間上のポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状が検出され、前記表示画像が表示されている前記領域を撮像して得られる方向指示光画像であって、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である方向指示光画像から、前記表示画像に照射された前記方向指示光の像が検出され、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報が出力され、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置が特定される。

本発明の第１の側面によれば、仮想３次元空間上の位置を指定することができる。特に、本発明の第１の側面によれば、表示させる画像の大きさや周囲の環境によらず、低コストで、より確実に仮想３次元空間上の位置を指定することができる。

本発明の第２の側面によれば、仮想３次元空間上の位置を指定することができる。特に、本発明の第２の側面によれば、表示させる画像の大きさや周囲の環境によらず、低コストで、より確実に仮想３次元空間上の位置を指定することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理システム（例えば、図１のプレゼンテーションシステム１１）は、表示画像を表示する表示装置（例えば、図１のプロジェクタ２５）と、前記表示画像に光を照射して、前記表示画像上に表示されるポインタ（例えば、図１の３次元ポインタ３１）の位置を指示する指示装置（例えば、図１のレーザポインタ２２）と、前記表示画像が表示されている領域を撮像する撮像装置（例えば、図１のカメラ２３）と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たに表示画像を生成する画像処理装置（例えば、図１の画像処理装置２４）とから構成される画像処理システムであって、前記指示装置は、前記表示装置により表示されている前記表示画像に対して想定された仮想３次元空間上の表示位置であって、前記ポインタを表示させる表示位置を指示するための光である位置指示光を射出する位置指示光射出手段（例えば、図３の不可視光レーザ８１）と、前記位置指示光とは異なる波長の光であり、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光を射出する方向指示光射出手段（例えば、図３の不可視光レーザ８３または不可視光レーザ８４）とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記方向指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示光画像と、前記方向指示光と同じ波長の光の画像である方向指示光画像とを分離する分離手段（例えば、図１０の幾何変換処理部２２２）と、前記位置指示光画像から、前記表示画像上における前記位置指示光の像の位置および形状を検出する位置指示光検出手段（例えば、図１０の位置指示光検出部２２３）と、前記方向指示光画像から前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出手段（例えば、図１０の前進指示光検出部２２４または後進指示光検出部２２５）と、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段（例えば、図１０の座標計算部２２６）と、前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に前記ポインタが表示された新たな表示画像を生成する表示画像生成手段（例えば、図１０の表示画像処理部２２８）とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える。

本発明の第２の側面の画像処理装置（例えば、図１０の画像処理装置２４）は、表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタ（例えば、図１の３次元ポインタ３１）を表示させる表示位置を特定する画像処理装置であって、前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出手段（例えば、図１０の位置指示光検出部２２３）と、前記表示画像が表示されている前記領域を撮像して得られる第１の方向指示光画像であって、前記位置指示光の光路と平行な第１の方向への前記ポインタの移動を指示する第１の方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である第１の方向指示光画像から、前記表示画像に照射された前記第１の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第１の方向への移動が指示されたか否かを示す第１の方向情報を出力する第１の方向指示光検出手段（例えば、図１０の前進指示光検出部２２４）と、前記位置指示光の像の位置および形状と、出力された前記第１の方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段（例えば、図１０の座標計算部２２６）とを備える。

画像処理装置には、前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に前記ポインタが表示された新たな表示画像を生成する表示画像生成手段（例えば、図１０の表示画像処理部２２８）をさらに設けることができる。

前記位置特定手段には、前記位置指示光の像の位置に対応する前記仮想３次元空間上の位置から、前記ポインタの表示位置までの長さを定める奥行き長さを記憶させ、前記第１の方向情報に基づいて前記奥行き長さを変更させ、さらに変更後の前記奥行き長さと、前記位置指示光の像の位置および形状とに基づいて、前記ポインタの表示位置を特定させる（例えば、図２９のステップＳ１６４乃至ステップＳ１６８の処理）ことができる。

画像処理装置には、前記表示画像が表示されている前記領域を撮像して得られる第２の方向指示光画像であって、前記第１の方向とは反対の第２の方向への前記ポインタの移動を指示する第２の方向指示光と同じ波長であり、前記位置指示光および前記第１の方向指示光とは異なる波長の光の画像である第２の方向指示光画像から、前記表示画像に照射された前記第２の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第２の方向への移動が指示されたか否かを示す第２の方向情報を出力する第２の方向指示光検出手段（例えば、図１０の後進指示光検出部２２５）をさらに設け、前記位置特定手段には、前記第１の方向情報および前記第２の方向情報に基づいて、前記奥行き長さを変更させる（例えば、図２９のステップＳ１６５またはステップＳ１６７の処理）ことができる。

画像処理装置には、前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記第１の方向指示光の像を前記撮像画像として撮像する撮像手段（例えば、図１のカメラ２３）と、前記撮像画像から、前記位置指示光画像と、前記第１の方向指示光画像とを分離する分離手段（例えば、図１０の幾何変換処理部２２２）とをさらに設けることができる。

本発明の第２の側面の画像処理方法またはプログラムは、表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理装置の画像処理方法またはプログラムであって、前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出ステップ（例えば、図１２のステップＳ４３）と、前記表示画像が表示されている前記領域を撮像して得られる方向指示光画像であって、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である方向指示光画像から、前記表示画像に照射された前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す第１の方向情報を出力する方向指示光検出ステップ（例えば、図１２のステップＳ４４またはステップＳ４５）と、前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定ステップ（例えば、図１２のステップＳ４６）とを含む。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用したプレゼンテーションシステムの一実施の形態の構成例を示す図である。

プレゼンテーションシステム１１は、スクリーン２１、レーザポインタ２２、カメラ２３、画像処理装置２４、およびプロジェクタ２５から構成され、スクリーン２１には、プロジェクタ２５から投影された表示画像が表示される。

この表示画像は、表示されるオブジェクト等の仮想３次元空間上の情報に基づいて、それらのオブジェクト等を２次元の平面上に射影することにより生成された、３次元コンピュータグラフィクスとされる。表示画像上には仮想３次元空間が想定され、表示画像には、その仮想３次元空間上の所定の位置を示す３次元ポインタ３１が表示されている。

プレゼンテーションを行うユーザ３２は、スクリーン２１から適度に離れた位置でレーザポインタ２２を操作して、表示画像上に表示された３次元ポインタ３１を移動させてプレゼンテーションを行う。レーザポインタ２２は、ユーザ３２の操作に応じて赤外光などの不可視光（非可視光）を射出することにより、３次元ポインタ３１の位置を指定する。

カメラ２３は、マルチスペクトルカメラからなり、カメラ２３とスクリーン２１との間にユーザ３２が位置しないようにカメラ２３の配置位置が定められる。つまり、カメラ２３は、スクリーン２１上に表示されている表示画像の全体を撮像することができるような位置に配置される。

カメラ２３は、スクリーン２１と、その周囲の領域の画像を撮像し、これにより得られた撮像画像を画像処理装置２４に供給する。したがって、カメラ２３により撮像された撮像画像には、スクリーン２１に投影された表示画像の他、スクリーン２１上に映るレーザポインタ２２から射出された不可視光の像も含まれることになる。

このようにカメラ２３が、表示画像の全体を含む画像を撮像画像として撮像するので、カメラ２３がスクリーン２１に対向する位置に配置されなくても、表示画像に照射された不可視光の像の表示画像上の位置を把握することができる。これにより、ユーザ３２により指示された３次元ポインタ３１の表示位置を確実に特定することができる。

画像処理装置２４は、カメラ２３から供給された撮像画像に基づいて、ユーザ３２がレーザポインタ２２を操作することにより指定された、仮想３次元空間上の位置を求める。また、画像処理装置２４は、説明資料としての３次元コンピュータグラフィクスである３次元画像を予め記録しており、記録している３次元画像に対して想定された仮想３次元空間上の求められた位置に、３次元ポインタ３１が表示された画像を新たな表示画像として生成する。

すなわち、３次元画像に対して想定された仮想３次元空間は、表示画像に対して想定された仮想３次元空間に対応しており、表示画像は、３次元画像の所定の位置に３次元ポインタ３１が表示されている画像とされる。画像処理装置２４は、生成した表示画像をプロジェクタ２５に供給して、表示画像の表示を制御する。

プロジェクタ２５は、画像処理装置２４から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。したがって、画像処理装置２４により新たな表示画像が生成されるたびに、スクリーン２１に表示される表示画像が更新される。

また、ユーザ３２により操作されるレーザポインタ２２は、例えば図２に示すように、ペン型のレーザポインタとされる。レーザポインタ２２の図中、左側には、３つのボタンから構成されるボタン部５１が設けられており、ユーザ３２は、ボタン部５１を操作することにより、レーザポインタ２２の左端に設けられた射出口５２から、操作に応じた不可視光を射出させる。

すなわち、レーザポインタ２２には、３次元ポインタ３１の表示位置を指示するための不可視光として、赤外光を射出する複数の不可視光レーザが内蔵されており、矢印Ａ１１の方向から見たレーザポインタ２２の断面には、図３に示すように、複数の不可視光レーザが配置されている。

図３では、レーザポインタ２２の断面は円形状とされており、レーザポインタ２２のほぼ中央に断面が真円形状となるレーザ光（赤外光）を射出する不可視光レーザ８１が配置されている。不可視光レーザ８１からは、仮想３次元空間上における３次元ポインタ３１の位置、すなわち表示画像上における３次元ポインタ３１の表示位置を指定するためのレーザ光である位置指示光が射出される。

不可視光レーザ８１の図中、上側には、位置指示光と同じ波長のレーザ光である補助光を射出する不可視光レーザ８２が設けられている。この補助光は、位置指示光が表示画像に照射されたときに、どの方向から位置指示光が照射されているかを識別することができるようにするためのレーザ光であり、その断面は真円形状とされる。

また、補助光は、そのビーム径が位置指示光のビーム径よりも小さい光とされる。このように位置指示光と補助光のビーム径を異なるものとすることにより、スクリーン２１上の位置指示光の像の大きさと、補助光の像の大きさとは異なるものとなり、それらの像が位置指示光の像であるのか、または補助光の像であるのかを区別することができる。

例えば図４に示すように、スクリーン２１上に位置指示光および補助光が照射され、スクリーン２１に位置指示光の像１１１および補助光の像１１２が観察されたとする。この場合、画像処理装置２４は、撮像画像上の位置指示光の像１１１だけでは、位置指示光が矢印Ａ３１により示される方向からスクリーン２１に照射されたのか、または矢印Ａ３２により示される方向からスクリーン２１に照射されたのかを知ることはできない。

そこで、補助光よりも位置指示光が常に鉛直方向側に位置するように、ユーザ３２がレーザポインタ２２を操作することによって、つまりボタン部５１が常に、鉛直方向と反対の方向を向くように、ユーザ３２がレーザポインタ２２を操作することにより、どの方向から位置指示光が照射されているかを知ることができるようになる。

図４において図中、下方向を鉛直方向とすると、ユーザ３２は、ボタン部５１を常に上側に向けながらレーザポインタ２２の操作を行うので、補助光の像１１２は、常に位置指示光の像１１１の上側に位置することになり、これらの像１１１および像１１２の位置関係から、矢印Ａ３１の方向から位置指示光が照射されていることが分かる。

図３の説明に戻り、不可視光レーザ８１の図中、左側には、３次元ポインタ３１を表示させる仮想３次元空間上の位置を、ユーザ３２に対して手前側に移動させるためのレーザ光である後進指示光を射出する不可視光レーザ８３が設けられている。後進指示光は、位置指示光とは異なる波長の不可視光であり、３次元ポインタ３１の位置をユーザ３２側に位置指示光の光路と平行に移動させるように指示するための光とされる。

また、不可視光レーザ８１の図中、右側には、３次元ポインタ３１を表示させる仮想３次元空間上の位置を、ユーザ３２に対して奥側に移動させるためのレーザ光である前進指示光を射出する不可視光レーザ８４が設けられている。前進指示光は、位置指示光および後進指示光とは異なる波長の不可視光であり、３次元ポインタ３１の位置をユーザ３２側とは反対側に位置指示光の光路と平行に移動させるように指示するための光とされる。

すなわち、図５に示すように、スクリーン２１の所定の領域に表示画像１４１が表示されることとすると、表示画像１４１に対して想定される仮想３次元空間は、表示画像１４１の図中、左下の頂点を基準点Ｏ（原点）とする３次元空間座標系の空間とされる。図５においては、基準点Ｏから図中、右方向がｘ軸方向、上方向がｙ軸方向、表示画像１４１に直交し、奥側に向かう方向がｚ軸方向とされている。したがって、この仮想３次元空間をｚ軸方向に見た画像が表示画像１４１として表示されることになる。

また、直線１４２は、レーザポインタ２２から射出された位置指示光の軌跡、つまり位置指示光の光路を示しており、表示画像１４１上の領域１４３および領域１４４は、位置指示光および補助光の像を表している。なお、以下、領域１４３および領域１４４を、位置指示光の像１４３および補助光の像１４４と称する。

図５では、位置指示光の像１４３および補助光の像１４４は、表示画像１４１上に位置し、表示画像１４１はｘｙ平面上に位置している。また、３次元ポインタ３１は、直線１４２の延長線上にある仮想３次元空間上の物体１４５の所定の位置を示している。この物体１４５は、実際には表示画像１４１上に表示されているが、仮想３次元空間内では、ｘｙ平面よりもｚ軸方向側に位置している。

ここで、画像処理装置２４は、位置指示光の像１４３から、３次元ポインタ３１により示される位置までの距離を示すパラメータである奥行き長さＥを記憶しており、ユーザ３２の操作に応じて奥行き長さＥの値を変化させることで、３次元ポインタ３１が直線１４２と平行な方向に移動された表示画像を新たに生成する。

例えば、ユーザ３２が、レーザポインタ２２を動かさずに、つまりレーザポインタ２２の位置および方向を変えずに、位置指示光とともに後進指示光が射出されるようにレーザポインタ２２を操作した場合、奥行き長さＥの値が所定の大きさだけ小さくなるように変更され、３次元ポインタ３１（により示される位置）は、図中、手前側に、かつ直線１４２と平行な方向に移動する。つまり、移動後の３次元ポインタ３１の位置は、直線１４２の延長線上の点であって、その点から位置指示光の像１４３までの長さが、変更後の奥行き長さＥにより示される長さとなるような点の位置とされる。

また、ユーザ３２がレーザポインタ２２を動かさずに、位置指示光とともに前進指示光が射出されるようにレーザポインタ２２を操作した場合、奥行き長さＥの値が所定の大きさだけ大きくなるように変更され、３次元ポインタ３１（により示される位置）は、図中、奥側に、かつ直線１４２と平行な方向に移動する。

したがって、例えば、図６に示すように、位置指示光が表示画像上の基準点Ｏの位置に照射され、３次元ポインタ３１により示される位置が仮想３次元空間上の点Ｐ１１の位置である場合、ユーザ３２は、レーザポインタ２２を、その位置および方向を動かさずに操作することで、３次元ポインタ３１の位置を、基準点Ｏおよび点Ｐ１１を通る直線上の任意の位置に移動させることができる。例えば、ユーザ３２は、後進指示光を射出させて３次元ポインタ３１の位置を点Ｐ１１から、基準点Ｏおよび点Ｐ１１を通る直線上の点Ｐ１２の位置に移動させたり、前進指示光を射出させて点Ｐ１３の位置に移動させたりすることができる。

なお、図６において、図中、右方向はｘ軸方向、上方向はｙ軸方向、ｘ軸方向およびｙ軸方向に直交し、奥側に向かう方向はｚ軸方向とされている。また、以下の説明において、３次元ポインタ３１を奥行き長さＥが小さくなる方向に移動させることを、手前方向に移動させるともいい、逆に３次元ポインタ３１を奥行き長さＥが大きくなる方向に移動させることを、奥行き方向に移動させるともいう。さらに、奥行き長さＥの値は、０以上の整数値とされる。すなわち、３次元ポインタ３１は、仮想３次元空間において、ｚ座標が負の値となるような位置には表示されない。

このように、ユーザ３２はレーザポインタ２２に設けられたボタン部５１を操作することにより、レーザポインタ２２から不可視光を射出させて３次元ポインタ３１の表示位置を指示する。

例えば、奥行き長さＥの値が変化せず、３次元ポインタ３１が移動されるように、ユーザ３２がレーザポインタ２２を操作した場合、図７Ａに示すように、不可視光レーザ８１および不可視光レーザ８２から位置指示光および補助光が射出され、不可視光レーザ８３および不可視光レーザ８４からは、後進指示光および前進指示光は射出されない。換言すれば、不可視光レーザ８１および不可視光レーザ８２だけが点灯し、不可視光レーザ８３および不可視光レーザ８４は点灯しない。

なお、図７Ａにおいて、不可視光レーザ８１乃至不可視光レーザ８４のうち、斜線が施されているものは、点灯していることを表しており、斜線の施されていないものは、点灯していないことを表している。また、後述する図７Ｂおよび図７Ｃにおいても同様に、点灯している不可視光レーザには斜線が施されている。

また、３次元ポインタ３１が奥行き方向に移動するように、ユーザ３２がレーザポインタ２２を操作した場合、図７Ｂに示すように、不可視光レーザ８１、不可視光レーザ８２、および不可視光レーザ８４が点灯し、不可視光レーザ８３は点灯しない。すなわち、レーザポインタ２２からは、位置指示光、補助光、および前進指示光が射出される。

さらに、３次元ポインタ３１が手前方向に移動するように、ユーザ３２がレーザポインタ２２を操作した場合、図７Ｃに示すように、不可視光レーザ８１、不可視光レーザ８２、および不可視光レーザ８３が点灯し、不可視光レーザ８４は点灯しない。すなわち、レーザポインタ２２からは、位置指示光、補助光、および後進指示光が射出される。

このように、レーザポインタ２２からは、ユーザ３２による操作に応じて、３次元ポインタ３１の表示位置を指示するための赤外光が射出される。プレゼンテーションシステム１１においては、レーザポインタ２２から射出される位置指示光、補助光、前進指示光、および後進指示光を赤外光とすることで、レーザポインタとして可視光レーザを用いる場合と比べて安全性の向上を図ることができる。

つまり、可視のレーザ光が人の目に入射した場合、その人に不快感を与えるだけでなく、人の目に障害を及ぼす恐れもある。これに対して、レーザポインタ２２では、可視光よりも波長の長い赤外光を利用することで、人の目に対する安全性を向上させることができ、また、赤外光は不可視光なので人の目に入射しても不快感を与えることもない。さらに、表示画像に照射された位置指示光や前進指示光などは人の目には見えないので、余計な可視光が表示画像に照射されて、表示画像が見にくくなるようなこともない。

次に、図８は、図１のカメラ２３の構成例を示すブロック図である。

カメラ２３は、レンズ１８１、絞り１８２、CCD（Charge Coupled Devices）イメージセンサ１８３、相関２重サンプリング回路１８４、Ａ／Ｄ（Analog/Digital）コンバータ１８５、DSP（Digital Signal Processor）１８６、タイミングジェネレータ１８７、Ｄ／Ａ（Digital/Analog）コンバータ１８８、ビデオエンコーダ１８９、ディスプレイ１９０、CODEC（Compression/Decompression）１９１、メモリ１９２、バス１９３、CPU（Central Processing Unit）１９４、およびインプットデバイス１９５から構成される。

レンズ１８１は、被写体であるスクリーン２１とその周囲の領域からの光を集光し、集光した光を絞り１８２を介してCCDイメージセンサ１８３に入射させる。絞り１８２は、レンズ１８１からCCDイメージセンサ１８３に入射させる光の光量を調節する。

CCDイメージセンサ１８３は、レンズ１８１から入射した光を光電変換することにより、入射した光を電気信号に変換し、スクリーン２１とその周囲の領域の画像である撮像画像を生成する。ここで、撮像画像の各画素は、例えば光の３原色であるＲ（赤）、Ｇ（緑）、若しくはＢ（青）、位置指示光の波長の色、前進指示光の波長の色、または後進指示光の波長の色のいずれかの色のデータ（画素値）だけを有している。CCDイメージセンサ１８３は、生成した撮像画像を相関２重サンプリング回路１８４に供給する。

相関２重サンプリング回路１８４は、CCDイメージセンサ１８３からの撮像画像をサンプリングすることによって撮像画像からノイズを除去し、ノイズが除去された撮像画像をＡ／Ｄコンバータ１８５に供給する。Ａ／Ｄコンバータ１８５は、相関２重サンプリング回路１８４からの撮像画像、より詳細には撮像画像の画像信号をアナログ信号からデジタル信号に変換してDSP１８６に供給する。

DSP１８６は、例えば信号処理用プロセッサおよび画像用RAM（Random Access Memory）から構成される。DSP１８６は、Ａ／Ｄコンバータ１８５から供給され、画像用RAMに格納した撮像画像に対して、必要に応じて階調圧縮処理などの予めプログラムされた画像処理を施す。

また、DSP１８６は、必要に応じて、撮像画像の各画素が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色のそれぞれの色のデータを有するように、Ａ／Ｄコンバータ１８５からの撮像画像に対して色同時化処理を施す。画像処理の施された撮像画像は、バス１９３を介して図１の画像処理装置２４に供給されたり、Ｄ／Ａコンバータ１８８またはCODEC１９１に供給されたりする。

また、バス１９３には、DSP１８６、タイミングジェネレータ１８７、CODEC１９１、メモリ１９２、CPU１９４、およびインプットデバイス１９５が接続されている。

タイミングジェネレータ１８７は、CCDイメージセンサ１８３乃至DSP１８６のそれぞれの動作のタイミングを制御する。Ｄ／Ａコンバータ１８８は、DSP１８６から供給された撮像画像をデジタル信号からアナログ信号に変換し、ビデオエンコーダ１８９に供給する。ビデオエンコーダ１８９は、Ｄ／Ａコンバータ１８８からの撮像画像を、Ｒ、Ｇ、Ｂ等の通常のビデオ信号に変換してディスプレイ１９０に供給する。ディスプレイ１９０は、例えばファインダやビデオモニタとして機能するLCD（Liquid Crystal Display）などからなり、ビデオエンコーダ１８９から供給された撮像画像を表示する。

CODEC１９１は、DSP１８６からの撮像画像をエンコードしてメモリ１９２に記録させたり、メモリ１９２に記録されている撮像画像を読み出してデコードし、DSP１８６に供給したりする。メモリ１９２は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどからなり、CODEC１９１から供給された撮像画像を記録したり、記録している撮像画像をCODEC１９１に供給したりする。

CPU１９４は、インプットデバイス１９５からの操作信号などに応じて、カメラ２３全体の動作を制御する。インプットデバイス１９５は、例えばボタンやスイッチなどからなり、ユーザ３２の操作に応じた操作信号をCPU１９４に供給する。

また、CCDイメージセンサ１８３は、画素ごとに異なる分光感度を有している。すなわち、CCDイメージセンサ１８３の受光面には、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、または後進指示光の波長の色のうちのいずれかの色の光だけを透過させるオンチップカラーフィルタが配置されており、CCDイメージセンサ１８３に入射した光はオンチップカラーフィルタを透過して、光電変換を行う撮像素子に入射する。

例えば、CCDイメージセンサ１８３の受光面には、図９に示すオンチップカラーフィルタが配置されている。なお、図９において、１つの正方形は１つの画素を表しており、それらの正方形内の文字Ｒ、Ｇ、Ｂ、Ｌ１、Ｌ２、およびＬ３のそれぞれは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色の光のそれぞれだけを透過させるＲのフィルタ、Ｇのフィルタ、Ｂのフィルタ、位置指示光の波長のフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれを表している。

図９では、各フィルタのそれぞれがモザイク状に配置されている。すなわち、Ｇのフィルタおよび位置指示光の波長のフィルタが、１画素おきに図中、上下方向および左右方向に並べられており、Ｒのフィルタ、Ｂのフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれが、３画素おきに上下方向および左右方向に並べられている。

図１０は、図１の画像処理装置２４の構成を示すブロック図である。

画像処理装置２４は、色同時化処理部２２１、幾何変換処理部２２２、位置指示光検出部２２３、前進指示光検出部２２４、後進指示光検出部２２５、座標計算部２２６、３次元画像記録部２２７、および表示画像処理部２２８から構成される。

色同時化処理部２２１には、カメラ２３のDSP１８６からバス１９３を介して撮像画像、より詳細には撮像画像の画像信号が供給される。ここで、色同時化処理部２２１に供給される撮像画像は、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、または後進指示光の波長の色のいずれかの色の画素値だけを有する画像とされる。

色同時化処理部２２１は、カメラ２３から供給された撮像画像に対して、各色の画素値を補間する色同時化処理を施して、色同時化処理が施された撮像画像を幾何変換処理部２２２に供給する。これにより、色同時化処理の施された撮像画像は、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色のそれぞれの色の画素値を有する画像となる。

幾何変換処理部２２２は、色同時化処理部２２１から供給された撮像画像に幾何変換処理を施し、幾何変換処理が施された撮像画像から、撮像画像上の表示画像の領域の画像である抽出画像を抽出する。ここで、本来、スクリーン２１に表示される表示画像は長方形であるが、カメラ２３は必ずしもスクリーン２１に対向する位置に配置される訳ではないので、撮像画像上の表示画像の領域は長方形とはならない場合がある。そこで、幾何変換処理部２２２は、撮像画像に幾何変換処理を施すことにより、撮像画像上の表示画像の領域を長方形の領域に変換する。

また、幾何変換処理部２２２は、抽出画像を位置指示光画像、前進指示光画像、および後進指示光画像のそれぞれに分離し、分離された位置指示光画像、前進指示光画像、および後進指示光画像のそれぞれを、位置指示光検出部２２３、前進指示光検出部２２４、および後進指示光検出部２２５のそれぞれに供給する。

ここで、位置指示光画像とは、位置指示光と同じ波長の光の画像、つまり各画素が位置指示光の波長の色の画素値をだけ有する画像をいい、前進指示光画像とは、前進指示光と同じ波長の光の画像、つまり各画素が前進指示光の波長の色の画素値だけを有する画像をいう。また、後進指示光画像とは、後進指示光と同じ波長の光の画像、つまり各画素が後進指示光の波長の色の画素値だけを有する画像をいう。

位置指示光検出部２２３は、幾何変換処理部２２２から供給された位置指示光画像から、位置指示光の像を検出し、その像を構成する画素数Ｋ、位置指示光の像の重心の座標（ｘｉ，ｙｉ）、位置指示光の像の輪郭とその輪郭の長軸との交点の座標（ｘｆ，ｙｆ）、および位置指示光の像の輪郭とその輪郭の短軸との交点の座標（ｘｎ，ｙｎ）を求める。

すなわち、位置指示光の断面は真円形であるので、スクリーン２１上の位置指示光の像の輪郭の形状は真円または楕円となる。したがって座標（ｘｆ，ｙｆ）は、輪郭としての円の長軸と、その円との交点の座標とされ、座標（ｘｎ，ｙｎ）は、長軸に直交する直線と、その円との交点の座標とされる。以下、座標（ｘｉ，ｙｉ）、座標（ｘｆ，ｙｆ）、および座標（ｘｎ，ｙｎ）のそれぞれを、重心座標、長軸交点座標、および短軸交点座標とも称する。

位置指示光検出部２２３は、このようにして求められた画素数Ｋおよび重心座標（ｘｉ，ｙｉ）を、前進指示光検出部２２４および後進指示光検出部２２５に供給する。また、位置指示光検出部２２３は、重心座標（ｘｉ，ｙｉ）、長軸交点座標（ｘｆ，ｙｆ）、および短軸交点座標（ｘｎ，ｙｎ）を座標情報として座標計算部２２６に供給する。

前進指示光検出部２２４は、位置指示光検出部２２３から供給された画素数Ｋおよび重心座標を用いて、幾何変換処理部２２２から供給された前進指示光画像から、前進指示光の像を検出する。そして、前進指示光検出部２２４は、その検出結果を示す情報である前進フラグを座標計算部２２６に供給する。ここで、前進フラグとは、ユーザ３２により３次元ポインタ３１の奥行き方向への移動が指示されたか否かを示す情報をいう。

後進指示光検出部２２５は、位置指示光検出部２２３から供給された画素数Ｋおよび重心座標を用いて、幾何変換処理部２２２から供給された後進指示光画像から、後進指示光の像を検出する。そして、後進指示光検出部２２５は、その検出結果を示す情報である後進フラグを座標計算部２２６に供給する。ここで、後進フラグとは、ユーザ３２により３次元ポインタ３１の手前方向への移動が指示されたか否かを示す情報をいう。

座標計算部２２６は、奥行き長さＥを記憶している。座標計算部２２６は、記憶している奥行き長さＥ、位置指示光検出部２２３からの座標情報、前進指示光検出部２２４からの前進フラグ、および後進指示光検出部２２５からの後進フラグに基づいて、３次元ポインタ３１を表示させる位置を算出し、その結果得られた、３次元ポインタ３１を表示させるべき位置を示す情報を表示画像処理部２２８に供給する。３次元画像記録部２２７は、３次元画像を記録しており、記録している３次元画像を必要に応じて表示画像処理部２２８に供給する。

表示画像処理部２２８は、座標計算部２２６から供給された、３次元ポインタ３１を表示させるべき位置を示す情報と、３次元画像記録部２２７から供給された３次元画像とから表示画像を生成してプロジェクタ２５に供給する。

ところで、ユーザ３２がプレゼンテーションを行うために、画像処理装置２４を操作して表示画像のスクリーン２１への表示を指示すると、表示画像処理部２２８は、ユーザ３２に指示された３次元画像を表示画像としてプロジェクタ２５に供給し、プロジェクタ２５に表示画像の表示を指示する。すると、プロジェクタ２５は、画像処理装置２４の表示画像処理部２２８の制御に基づいて、表示画像処理部２２８から供給された表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。

スクリーン２１に表示画像が表示されると、ユーザ３２は、レーザポインタ２２を操作して、３次元ポインタ３１を移動させながらプレゼンテーションを行う。

また、スクリーン２１に表示画像が表示されると、プレゼンテーションシステム１１により、ユーザ３２によるレーザポインタ２２への操作が反映された表示画像を表示する処理である表示処理が開始される。以下、図１１のフローチャートを参照して、プレゼンテーションシステム１１による表示処理について説明する。

ステップＳ１１において、カメラ２３は、スクリーン２１とその周囲の領域を撮像し、これにより得られた撮像画像を画像処理装置２４の色同時化処理部２２１に供給する。すなわち、レンズ１８１は、入射した光を集光してCCDイメージセンサ１８３に入射させ、CCDイメージセンサ１８３は、レンズ１８１から入射した光を光電変換することにより撮像画像を生成して、生成した撮像画像を相関２重サンプリング回路１８４に供給する。また、相関２重サンプリング回路１８４は、CCDイメージセンサ１８３からの撮像画像をサンプリングすることによって、撮像画像からノイズを除去して、ノイズの除去された撮像画像をＡ／Ｄコンバータ１８５に供給する。Ａ／Ｄコンバータ１８５は、相関２重サンプリング回路１８４からの撮像画像をアナログ信号からデジタル信号に変換してDSP１８６に供給する。

そしてDSP１８６は、Ａ／Ｄコンバータ１８５から供給された撮像画像に対して、必要に応じて階調圧縮処理などの画像処理を施し、画像処理の施された撮像画像を、バス１９３を介して画像処理装置２４の色同時化処理部２２１に供給する。

ステップＳ１２において、画像処理装置２４は生成処理を行う。なお、生成処理の詳細は後述するが、この生成処理において、画像処理装置２４は、カメラ２３から供給された撮像画像を用いて、３次元ポインタ３１を表示させるべき表示位置を特定し、その表示位置に３次元ポインタ３１が表示される表示画像を生成する。表示画像が生成されると画像処理装置２４は、生成した表示画像をプロジェクタ２５に供給する。

ステップＳ１３において、画像処理装置２４は、プロジェクタ２５を制御して、スクリーン２１に表示画像を表示させる。プロジェクタ２５は、画像処理装置２４から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。これにより、スクリーン２１の表示が、これまで表示されていた表示画像から、ユーザ３２の操作が反映された新たな表示画像に切り替わる。

ステップＳ１４において、画像処理装置２４は、表示画像を表示させる処理を終了するか否かを判定する。例えば、ユーザ３２により画像処理装置２４が操作され、表示画像の表示の終了が指示されると、画像処理装置２４は処理を終了すると判定する。

ステップＳ１４において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、画像処理装置２４により新たに表示させるべき表示画像が生成されて、生成された表示画像が、プロジェクタ２５によりスクリーン２１に表示される。

これに対して、ステップＳ１４において、処理を終了すると判定された場合、プレゼンテーションシステム１１の各装置は行っている処理を終了し、表示処理は終了する。

このようにして、プレゼンテーションシステム１１は、スクリーン２１とその周囲の領域を撮像し、その結果得られた撮像画像から、ユーザ３２による操作を反映した表示画像を生成する。そして、新たに生成した表示画像をスクリーン２１に表示させる。

次に、図１２のフローチャートを参照して、図１１のステップＳ１２の処理に対応する処理である生成処理について説明する。

ステップＳ４１において、色同時化処理部２２１は、カメラ２３から供給された撮像画像に対して色同時化処理を施して、色同時化処理の施された撮像画像を幾何変換処理部２２２に供給する。

色同時化処理部２２１は色同時化処理を行うことにより、撮像画像の各画素について、それらの画素の周囲にある画素の画素値を用いて各色の画素値を補間する。これにより、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色のそれぞれの色の画素値を有する撮像画像が得られる。なお、この色同時化処理はデモザイク処理などとも呼ばれている。

より具体的には、例えば、色同時化処理部２２１は、特開２００３−２３０１５９号公報に記載されている技術を利用して色同時化処理を行う。すなわち、色同時化処理部２２１は、撮像画像のＲ、Ｇ、およびＢの色の画素値から色差信号を生成し、撮像画像と色差信号とから全ての画素が輝度成分を有する輝度画像を生成する。そして、色同時化処理部２２１は、色差信号に基づいて、輝度画像を各画素がＲ、Ｇ、およびＢの色の画素値を有する撮像画像に変換し、Ｇの色の画素値に基づいてＲおよびＢの画素値を補正する。

さらに、色同時化処理部２２１は、各画素のＲ、Ｇ、およびＢの色の画素値と、所定の画素の位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色の画素値とを用いて、各画素の位置指示光の波長の色の画素値、前進指示光の波長の色の画素値、および後進指示光の波長の色の画素値を求めて、撮像画像を、各画素がＲ、Ｇ、Ｂ、位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色のそれぞれの画素値を有する画像とする。

また、例えば、色同時化処理部２２１は、特表昭６１−５０２４２４号公報に記載されている技術を利用して色同時化処理を行うようにしてもよい。そのような場合、色同時化処理部２２１は、撮像画像の画素のＲ、Ｇ、およびＢの色の画素値から色相成分の値を求めて線形補間を行うことにより各画素の色相成分の値を得る。そして、色同時化処理部２２１は、各画素の色相成分の値から再びＲ、Ｇ、およびＢの色の画素値を求める。

さらに、色同時化処理部２２１は、各画素のＲ、Ｇ、およびＢの色の画素値と、所定の画素の位置指示光の波長の色、前進指示光の波長の色、および後進指示光の波長の色のそれぞれの画素値とを用いて、各画素の位置指示光の波長の色の画素値、前進指示光の波長の色の画素値、および後進指示光の波長の色の画素値を求める。

色同時化処理が施された撮像画像が、色同時化処理部２２１から幾何変換処理部２２２に供給されると、ステップＳ４２において、幾何変換処理部２２２は、色同時化処理部２２１から供給された撮像画像に幾何変換処理を施す。

例えば、図１３に示すように、プロジェクタ２５は、スクリーン２１に対して正面から表示画像を表示させるための光を投光することができるように、スクリーン２１の正面、つまりスクリーン２１に対向する位置に配置される。

これに対して、カメラ２３は、スクリーン２１のほぼ全体の画像を撮像することができる位置に配置される。図１３では、カメラ２３は、スクリーン２１に対して図中、右下の位置に配置されている。したがって、スクリーン２１に表示されている長方形状の表示画像は、例えば、図１４に示すように、撮像画像上においては台形状となる。

図１４に示す撮像画像２５１内には、スクリーン２１に表示されている表示画像２５２が含まれている。また、表示画像２５２は、４つの点２５３−１乃至点２５３−４のそれぞれを頂点とする台形状の領域となっている。すなわち、カメラ２３は、スクリーン２１を斜め方向から撮像するので、スクリーン２１上において長方形状である表示画像が、図１４の撮像画像２５１上においては、図中、左側の辺よりも右側の辺が長い台形状となっている。

そこで、まず幾何変換処理部２２２は、図１４の撮像画像２５１に対してエッジ検出をすることで、撮像画像２５１から表示画像２５２の領域を検出する。幾何変換処理部２２２は、検出された表示画像２５２の４つの頂点である点２５３−１乃至点２５３−４を特徴点とし、それらの点２５３−１乃至点２５３−４を頂点とする四角形の領域を、長方形の領域に変形するためのパラメータを算出し、算出したパラメータに基づいて撮像画像に幾何変換処理を施す。さらに、幾何変換処理部２２２は、幾何変換処理が施された撮像画像２５１から、点２５３−１乃至点２５３−４を頂点とする長方形状の領域を、抽出画像として抽出する。

そして、幾何変換処理部２２２は、撮像画像から抽出された抽出画像を、位置指示光画像、前進指示光画像、および後進指示光画像のそれぞれに分離し、分離された位置指示光画像、前進指示光画像、および後進指示光画像のそれぞれを、位置指示光検出部２２３、前進指示光検出部２２４、および後進指示光検出部２２５のそれぞれに供給する。

例えば、カメラ２３が撮像画像を撮像する時点において、スクリーン２１に、図１５Ａに示す表示画像が表示されていたとする。図１５Ａに示す表示画像では、３つの物体が表示されており、それらの物体のうちの図中、一番左側にある物体上に３次元ポインタ３１が表示されている。また、この表示画像が表示されているときに撮像されて得られた撮像画像からは、例えば図１５Ｂに示す位置指示光画像が得られる。

図１５Ｂに示す位置指示光画像では、図中、左側に楕円形の位置指示光の像２８１と、楕円形の補助光の像２８２とが撮像されて表示されている。この位置指示光画像においては、補助光の像２８２が位置指示光の像２８１の図中、左上に位置しているので、位置指示光は、右下の方向からスクリーン２１上の表示画像に照射されていることが分かる。

さらに、スクリーン２１に図１５Ａに示した表示画像が表示されており、ユーザ３２により３次元ポインタ３１の奥行き方向への移動が指示された場合、レーザポインタ２２から表示画像には前進指示光が照射されるので、撮像画像からは、例えば図１５Ｃに示す前進指示光画像が得られる。

なお、図１５Ｃにおいて、図１５Ｂにおける場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、位置指示光および補助光の波長は、前進指示光の波長とは異なるので、位置指示光の像２８１および補助光の像２８２は、実際には前進指示光画像には表示されない。

図１５Ｃでは、位置指示光の像２８１の図中、右側に前進指示光の像２９１が撮像されて表示されている。すなわち、前進指示光画像からは、前進指示光の像２９１が検出されることになるので、３次元ポインタ３１の奥行き方向への移動が指示されたとされる。

また、スクリーン２１に図１５Ａに示した表示画像が表示されており、ユーザ３２により３次元ポインタ３１の手前方向への移動が指示された場合、レーザポインタ２２から表示画像には後進指示光が照射されるので、撮像画像からは、例えば図１５Ｄに示す後進指示光画像が得られる。

なお、図１５Ｄにおいて、図１５Ｂにおける場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、位置指示光および補助光の波長は、後進指示光の波長とは異なるので、位置指示光の像２８１および補助光の像２８２は、実際には後進指示光画像には表示されない。

図１５Ｄでは、位置指示光の像２８１の図中、左側に後進指示光の像３０１が撮像されて表示されている。すなわち、後進指示光画像からは、後進指示光の像３０１が検出されることになるので、３次元ポインタ３１の手前方向への移動が指示されたとされる。

このように、幾何変換処理部２２２においては、抽出画像から、位置指示光画像、前進指示光画像、および後進指示光画像のそれぞれが分離される。

図１２のフローチャートの説明に戻り、ステップＳ４２において撮像画像から位置指示光画像、前進指示光画像、および後進指示光画像が得られると、ステップＳ４３において、位置指示光検出部２２３は、重心位置検出処理を行う。なお、重心位置検出処理の詳細は後述するが、この重心位置検出処理において、位置指示光検出部２２３は、幾何変換処理部２２２から供給された位置指示光画像から、画素数Ｋ、重心座標、長軸交点座標、および短軸交点座標を求める。そして、位置指示光検出部２２３は、画素数Ｋおよび重心座標を、前進指示光検出部２２４および後進指示光検出部２２５に供給し、重心座標、長軸交点座標、および短軸交点座標を座標計算部２２６に供給する。

ステップＳ４４において、前進指示光検出部２２４は、前進指示光の検出処理を行う。すなわち、前進指示光検出部２２４は、幾何変換処理部２２２から供給された前進指示光画像から前進指示光の像を検出し、その検出結果としての前進フラグを座標計算部２２６に供給する。

ステップＳ４５において、後進指示光検出部２２５は、後進指示光の検出処理を行う。すなわち、後進指示光検出部２２５は、幾何変換処理部２２２から供給された後進指示光画像から後進指示光の像を検出して、その検出結果としての後進フラグを座標計算部２２６に供給する。なお、前進指示光の検出処理および後進指示光の検出処理の詳細は後述する。

ステップＳ４６において、座標計算部２２６は、３次元ポインタ位置算出処理を行う。なお、３次元ポインタ位置算出処理の詳細は後述するが、この３次元ポインタ位置算出処理において、座標計算部２２６は、３次元ポインタ３１の表示位置を求めて、３次元ポインタ３１の表示位置を示す情報を表示画像処理部２２８に供給する。ここで、３次元ポインタ３１の表示位置として、例えば表示画像に対して想定された仮想３次元空間上の位置を示す座標が求められ、その仮想３次元空間の座標を示す情報が、座標計算部２２６から表示画像処理部２２８に供給される。

ステップＳ４７において、表示画像処理部２２８は、３次元画像記録部２２７に記録されている３次元画像と、座標計算部２２６から供給された３次元ポインタ３１の表示位置を示す情報とに基づいて、表示画像を生成する。

すなわち、表示画像処理部２２８は、座標計算部２２６から供給された情報により特定される仮想３次元空間上の位置に対応する３次元画像上の位置に、３次元ポインタ３１が表示される画像を表示画像として生成する。ここで、３次元ポインタ３１が表示される３次元画像上の位置は、２次元の平面に表示される３次元画像上の位置であって、仮想３次元空間上の３次元ポインタ３１の表示位置に対応する位置とされる。

表示画像処理部２２８は、表示画像を生成すると、生成した表示画像をプロジェクタ２５に供給して、プロジェクタ２５に表示画像の表示を指示する。そして、プロジェクタ２５に表示画像が供給されると、処理は図１１のステップＳ１３に進み、生成処理は終了する。

このようにして、画像処理装置２４は、撮像画像から位置指示光画像、前進指示光画像、および後進指示光画像を分離する。そして、画像処理装置２４は、位置指示光画像、前進指示光画像、および後進指示光画像を用いて３次元ポインタ３１の表示位置を特定し、その表示位置に３次元ポインタ３１が表示される表示画像を生成する。

つまり、画像処理装置２４は、撮像画像から、前進指示光の像および後進指示光の像を検出することにより、３次元ポインタ３１をどの方向に移動させるかを特定し、さらに、特定された方向、および位置指示光の像の位置とその形状から３次元ポインタ３１を表示させるべき位置を特定する。

このように、位置指示光画像、前進指示光画像、および後進指示光画像を用いて３次元ポインタ３１の表示位置を求め、表示画像を生成することにより、簡単かつ確実にユーザ３２により指定された３次元ポインタ３１の表示位置を特定することができる。これにより、ユーザ３２は、レーザポインタ２２を操作して不可視光を表示画像に照射するだけで、２次元の平面に表示される画像に対して想定された仮想３次元空間上の位置を、簡単に指定することができる。

従来、表示画像に対して想定された仮想３次元空間上の位置を指定するには、磁気センサや磁気マーカ、超音波センサが用いられていたが、これらのセンサやマーカは高価であった。また、表示画像の大きさによっては、センサがセンシングを行う範囲を変更する必要があるため、表示画像を表示させる大きさに応じて、プレゼンテーションシステムに用いる磁気センサや超音波センサを選択しなければならなかった。

これに対して、プレゼンテーションシステム１１においては、レーザポインタ２２から射出された不可視光を撮像し、その結果得られた撮像画像を用いて３次元ポインタ３１の表示位置を特定するようにしたので、周囲の環境に影響されることなく、また表示画像の大きさに関係なく、簡単かつ確実に仮想３次元空間上の位置を指定することができる。

しかも、このプレゼンテーションシステム１１は、スクリーン２１およびプロジェクタ２５として既存の装置を用いることができる。また、カメラ２３としてのマルチスペクトルカメラは、一般的なカラーカメラの撮像素子の受光面に配置されるオンチップカラーフィルタを、図９に示したオンチップカラーフィルタに置き換えるだけで簡単かつ安価に作成することができるため、量産効果により通常のカラーカメラと同等のコストで得られることが期待できる。

さらに、レーザポインタ２２は不可視光を射出するレーザポインタであるが、不可視光のレーザポインタは既に製品として販売されており、その価格も可視光のレーザポインタと比較してそれほど高価ではない。

したがって、既存の装置を利用することで、汎用性を低下させることなく、低コストでプレゼンテーションシステム１１を実現することができる。

次に、図１６のフローチャートを参照して、図１２のステップＳ４３の処理に対応する処理である重心位置検出処理について説明する。

幾何変換処理部２２２から位置指示光検出部２２３に位置指示光画像が供給されると、ステップＳ７１において、位置指示光検出部２２３は、位置指示光画像の各画素のうち、画素値が予め定められた閾値ｔｈ１以上である画素を検出する。

ステップＳ７２において、位置指示光検出部２２３は、検出した位置指示光画像の画素についてクラスタリングを行う。すなわち、位置指示光検出部２２３は、互いに隣接し、閾値ｔｈ１以上の画素値を有する複数の画素からなる位置指示光画像上の領域、つまりそれらの画素の集合を１つのクラスタとする。

これにより、例えば位置指示光画像から、図１５Ｂに示した位置指示光の像２８１の領域、および補助光の像２８２の領域がクラスタとして検出される。つまり、位置指示光画像からクラスタとして検出される領域は、スクリーン２１上の位置指示光および補助光と同じ波長の赤外光が照射されている領域であり、プロジェクタ２５から投光される光は、そのほとんどが可視光であるので、位置指示光画像からは、通常、２つのクラスタが検出されると予測される。

また、何らかの影響によりノイズとしての赤外光がスクリーン２１に照射される場合には、位置指示光画像から３以上のクラスタが検出されることも考えられるが、ノイズとして、位置指示光や補助光よりもビーム径の大きい赤外光がスクリーン２１に照射されることは稀である。したがって、検出された複数のクラスタのうちの最も大きいクラスタが、レーザポインタ２２からスクリーン２１に照射された位置指示光の像であり、２番目に大きいクラスタが補助光の像であると予測される。

ステップＳ７３において、位置指示光検出部２２３は、クラスタリングを行うことにより得られたクラスタのうち、２番目に大きいクラスタ、つまり２番目に多い画素からなるクラスタの重心の位置を求める。

例えば、位置指示光検出部２２３は、表示画像に対して想定された仮想３次元空間の基準点Ｏに対応する位置指示光画像上の位置を基準点とするｘｙ座標系における、２番目に大きいクラスタの重心の位置の座標（ｘｊ，ｙｊ）を求める。

ここで、表示画像に対して想定された仮想３次元空間の基準点Ｏは、例えば図５の表示画像１４１の図中、左下の頂点であるので、図１５Ｂに示した位置指示光画像の図中、左下の頂点がｘｙ座標系の基準点とされる。また、位置指示光画像に対するｘｙ座標系のｘ軸方向、およびｙ軸方向は、表示画像に対して想定された仮想３次元空間のｘ軸方向およびｙ軸方向と同じ方向とされる。したがって、図１５Ｂにおいて、右方向がｘ軸方向とされ、上方向がｙ軸方向とされる。

ステップＳ７４において、位置指示光検出部２２３は、クラスタリングを行うことにより得られたクラスタのうち、最も大きいクラスタの重心の位置、およびそのクラスタを構成する画素数を求める。

例えば、図１７に示すように、位置指示光画像に対するクラスタリングの結果、位置指示光画像から、クラスタＣ１およびクラスタＣ２が検出されたとする。ここで、補助光よりも位置指示光のビーム径がより大きいので、補助光の象よりも位置指示光の像の方が大きいと予測される。そこで、位置指示光検出部２２３は、位置指示光画像から検出された２つのクラスタのうち、その大きさの大きい方のクラスタＣ１が位置指示光の像であるとし、小さい方のクラスタＣ２が補助光の像であるとする。

そして、位置指示光検出部２２３は、まず小さい方のクラスタＣ２の重心の位置の座標を、位置指示光画像における補助光の像の重心座標として求める。例えば、位置指示光検出部２２３は、クラスタＣ２を構成する各画素の重心の位置の座標をクラスタＣ２の重心の位置の座標として求める。その結果、点３３１の座標（ｘｊ，ｙｊ）がクラスタＣ２の重心の座標として求まる。

また、位置指示光検出部２２３は、大きい方のクラスタＣ１の重心の位置の座標を、位置指示光画像における位置指示光の像の重心座標として求める。その結果、点３３２の座標（ｘｉ，ｙｉ）がクラスタＣ１の重心の座標として求まる。この点３３２の座標（ｘｉ，ｙｉ）は、表示画像に照射された位置指示光の表示画像上における像の重心の位置を示している。さらに、位置指示光検出部２２３は、クラスタＣ１を構成する画素数、つまりクラスタＣ１の領域内の画素の数を、位置指示光の像の画素数Ｋとして求める。

図１６のフローチャートの説明に戻り、位置指示光検出部２２３は、位置指示光の像の重心座標（ｘｉ，ｙｉ）と位置指示光の像の画素数Ｋとを、前進指示光検出部２２４および後進指示光検出部２２５に供給する。

ステップＳ７５において、位置指示光検出部２２３は、位置指示光画像から検出されたクラスタのうち、最も大きいクラスタについてエッジ検出処理を行う。

例えば、位置指示光検出部２２３は、図１７のクラスタＣ１についてエッジ検出処理を行い、クラスタＣ１の輪郭を検出する。これにより、例えば、図１８に示す楕円３４１がクラスタＣ１の輪郭として検出される。この楕円３４１は、スクリーン２１に照射された位置指示光の像の輪郭とされる。したがって、エッジ検出処理により、表示画像に照射された位置指示光の像の表示画像上における形状が検出される。なお、以下、楕円３４１をクラスタＣ１の輪郭３４１とも称する。

最も大きいクラスタの輪郭が検出されると、ステップＳ７６において、位置指示光検出部２２３は、エッジ検出処理により検出されたクラスタの輪郭について、長軸交点座標（ｘｆ，ｙｆ）を求める。例えば、位置指示光検出部２２３は、図１８のクラスタＣ１の輪郭３４１上の点であって、クラスタＣ１の重心の点３３２から最も遠い点、つまり点３３２からの距離が最大である点を検出する。図１８の例においては、輪郭３４１は楕円形であるので、点３３２からの距離が最大である点として、２つの点が検出される。

そして、位置指示光検出部２２３は、点３３２から最も遠い２つの点のうち、クラスタＣ２の重心である点３３１側の点、つまり点３３１と点３３２との間に位置する点３４２の座標を長軸交点座標（ｘｆ，ｙｆ）として求める。

なお、輪郭３４１が真円である場合には、点３３２から輪郭３４１上の任意の点までの距離が等しくなるが、長軸交点座標の点は、重心座標の点３３２から最も遠い輪郭３４１上の点であって、点３３１側の点であるから、点３３１および点３３２を結ぶ直線と、輪郭３４１との交点の座標が、長軸交点座標とされる。

ステップＳ７７において、位置指示光検出部２２３は、最も大きいクラスタの重心の点を通り、その点および長軸交点座標の点を結ぶ直線に直交する直線を求め、求められた直線と、最も大きいクラスタの輪郭との交点のうち、クラスタの重心の点に対して予め定められた方向に位置する点の位置の座標を、短軸交点座標として求める。そして、位置指示光検出部２２３は、求めた重心座標（ｘｉ，ｙｉ）、長軸交点座標（ｘｆ，ｙｆ）、および短軸交点座標（ｘｎ，ｙｎ）を座標情報として座標計算部２２６に供給して処理は図１２のステップＳ４４に進み、重心位置検出処理は終了する。

例えば、図１９に示すように、位置指示光検出部２２３は、クラスタＣ１の重心の点３３２と、長軸交点座標の位置の点３４２とを結ぶ（通る）直線Ｍ１を求める。そして、位置指示光検出部２２３は、クラスタＣ１の重心の点３３２を通り、直線Ｍ１に直交する直線Ｎ１を求め、さらに直線Ｎ１と、クラスタＣ１の輪郭３４１との交点のうちの図中、右側の点３５１の位置の座標を、短軸交点座標（ｘｎ，ｙｎ）として求める。すなわち、楕円である輪郭３４１の短軸は長軸と直交するので、点３３２を通り、長軸を延長した直線である直線Ｍ１に直交する直線Ｎ１は、短軸を延長した直線であるといえる。そこで、位置指示光検出部２２３は、直線Ｎ１と輪郭３４１の交点の座標を短軸交点座標とする。

以上のようにして求められた重心座標、長軸交点座標、および短軸交点座標からは、位置指示光の像の位置および形状を知ることができるので、位置指示光検出部２２３は、位置指示光画像から、位置指示光の像の位置および形状を検出するということができる。

このようにして、位置指示光検出部２２３は、位置指示光画像から、表示画像上における位置指示光の像の位置および形状を検出する。このように、位置指示光の像の位置および形状を検出することにより、表示画像上において３次元ポインタ３１を表示させるべき位置を特定することができる。特に、位置指示光は、表示画像を表示させるための光、つまり可視光や、前進指示光および後進指示光などの他の光とは異なる波長であるので、それらの光の像は位置指示光画像からは検出されず、位置指示光の像だけが検出されるようになされている。これにより、位置指示光画像から位置指示光の像を容易に検出することができる。

次に、図２０のフローチャートを参照して、図１２のステップＳ４４の処理に対応する処理である、前進指示光の検出処理について説明する。

ステップＳ１０１において、前進指示光検出部２２４は、幾何変換処理部２２２から供給された前進指示光画像において、位置指示光検出部２２３から供給された重心座標（ｘｉ，ｙｉ）の点を中心とする予め定められた半径ｒの円の領域内の画素のうち、画素値が予め定められた閾値ｔｈ２以上である画素を検出する。

ここで、前進指示光画像における座標系は、表示画像に対して想定された仮想３次元空間の基準点Ｏと対応する位置を基準点とし、前進指示光画像における座標系におけるｘ軸方向およびｙ軸方向は、表示画像の仮想３次元空間のｘ軸方向およびｙ軸方向と同じ方向とされる。

ステップＳ１０２において、前進指示光検出部２２４は、検出した前進指示光画像の画素についてクラスタリングを行う。すなわち、前進指示光検出部２２４は、互いに隣接し、閾値ｔｈ２以上の画素値を有する複数の画素からなる前進指示光画像上の領域を１つのクラスタとする。

レーザポインタ２２において、前進指示光を射出する不可視光レーザ８４は、位置指示光を射出する不可視光レーザ８１に近接して設けられている。したがって、表示画像上において、前進指示光の像は、位置指示光の像に近接した位置にあると予測される。そこで、位置指示光の像の周囲から前進指示光の像を確実に検出することのできる適切な半径ｒの値を定め、図２１に示すように、位置指示光の像の重心の点３３２を中心とし、半径がｒである円３８１内の領域を、画素値が閾値ｔｈ２以上である画素、つまり前進指示光の像の検出の対象とすることで、より効率よく、かつ確実に前進指示光の像を検出することができる。

なお、図２１において、図１９における場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、位置指示光の像の輪郭３４１は、実際には前進指示光画像には表示されない。

図２１では、画素値が閾値ｔｈ２以上である画素についてのクラスタリングの結果、点３３２の図中、右上の位置に楕円形のクラスタＣ２１が検出されている。クラスタＣ２１は、輪郭３４１、すなわち位置指示光の像とほぼ同じ大きさであり、円３８１内には、他にクラスタは検出されていないので、クラスタＣ２１が前進指示光の像であると予測される。

図２０のフローチャートの説明に戻り、ステップＳ１０３において、前進指示光検出部２２４は、クラスタリングの結果として検出されたクラスタのうち、最も大きいクラスタの画素数Ｒ１を求める。つまり、最も大きいクラスタを構成する画素の数が画素数Ｒ１とされる。

ステップＳ１０４において、前進指示光検出部２２４は、求めた画素数Ｒ１と、位置指示光検出部２２３から供給された画素数Ｋとの差の絶対値が、予め定められた閾値ｔｈ３よりも小さいか否かを判定する。

すなわち、前進指示光検出部２２４は、｜Ｒ１−Ｋ｜＜ｔｈ３であるか否かを判定する。ここで、｜Ｒ１−Ｋ｜は、画素数Ｒ１と画素数Ｋとの差の絶対値を表している。

ステップＳ１０４において、｜Ｒ１−Ｋ｜＜ｔｈ３であると判定された場合、前進指示光画像から検出されたクラスタと、位置指示光の像の大きさはほぼ同じであるので、検出されたクラスタは、前進指示光の像であるとされ、処理はステップＳ１０５に進む。そして、ステップＳ１０５において、前進指示光検出部２２４は、前進フラグを“true”に設定し、処理はステップＳ１０７に進む。ここで、“true”である前進フラグは、前進指示光画像から前進指示光の像が検出され、３次元ポインタ３１の奥行き方向への移動が指示されたことを示している。

これに対して、ステップＳ１０４において、｜Ｒ１−Ｋ｜＜ｔｈ３でないと判定された場合、前進指示光画像から検出されたクラスタは、位置指示光とは大きく異なる大きさであるか、または前進指示光画像からクラスタが検出されなかったので、前進指示光画像から前進指示光の像は検出されなかったとされ、処理はステップＳ１０６に進む。

ステップＳ１０６において、前進指示光検出部２２４は、前進フラグを“false”に設定し、処理はステップＳ１０７に進む。ここで、“false”である前進フラグは、前進指示光画像から前進指示光の像が検出されず、３次元ポインタ３１の奥行き方向への移動が指示されなかったことを示している。

ステップＳ１０７において、前進指示光検出部２２４は、“true”または“false”の何れかに設定された前進フラグを出力して処理は図１２のステップＳ４５に進み、前進指示光の検出処理は終了する。これにより、前進指示光検出部２２４から座標計算部２２６に、前進フラグが供給される。

このようにして、前進指示光検出部２２４は、前進指示光画像から前進指示光の像を検出し、その検出の結果に応じて、３次元ポインタ３１の奥行き方向への移動が指示されたか否かを示す前進フラグを出力する。

このように、前進指示光の像を検出することにより、３次元ポインタ３１の奥行き方向への移動が指示されたか否かを簡単に知ることができる。特に、前進指示光は、表示画像を表示させるための可視光、位置指示光、後進指示光などの他の光とは異なる波長であるので、それらの光の像は前進指示光画像からは検出されず、前進指示光の像だけが検出されるようになされている。これにより、前進指示光画像から前進指示光の像を容易に検出することができる。

前進指示光検出部２２４から前進フラグが出力されると、図１２のステップＳ４５の処理に対応する処理である後進指示光の検出処理が行われる。以下、図２２のフローチャートを参照して、後進指示光の検出処理について説明する。なお、ステップＳ１３１乃至ステップＳ１３３の処理のそれぞれは、図２０のステップＳ１０１乃至ステップＳ１０３の処理と同様であるので、その説明は適宜、省略する。

すなわち、ステップＳ１３１乃至ステップＳ１３３の処理において、例えば、図２３に示すように、後進指示光検出部２２５は、位置指示光の重心の点３３２を中心とする半径ｒの円４０１内の領域を対象として、画素値が閾値ｔｈ２以上である画素を検出し、クラスタリングを行う。なお、図２３において、図１９における場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、位置指示光の像の輪郭３４１は、実際には後進指示光画像には表示されない。

図２３では、画素値が閾値ｔｈ２以上である画素についてのクラスタリングの結果、点３３２の図中、左下の位置に楕円形のクラスタＣ３１が検出されている。クラスタＣ３１は、輪郭３４１、すなわち位置指示光の像とほぼ同じ大きさであり、円４０１内には、他にクラスタは検出されていないので、クラスタＣ３１が後進指示光の像であると予測される。また、後進指示光検出部２２５は、検出されたクラスタのうち、最も大きいクラスタの画素数Ｒ２を求める。

図２２のフローチャートの説明に戻り、ステップＳ１３４において、後進指示光検出部２２５は、求めた画素数Ｒ２と、位置指示光検出部２２３から供給された画素数Ｋとの差の絶対値が、予め定められた閾値ｔｈ３よりも小さいか否か、つまり｜Ｒ２−Ｋ｜＜ｔｈ３であるか否かを判定する。

ステップＳ１３４において、｜Ｒ２−Ｋ｜＜ｔｈ３であると判定された場合、検出されたクラスタは、後進指示光の像であるとされ、処理はステップＳ１３５に進む。そしてステップＳ１３５において、後進指示光検出部２２５は、後進フラグを“true”に設定し、処理はステップＳ１３７に進む。ここで、“true”である後進フラグは、後進指示光画像から後進指示光の像が検出され、３次元ポインタ３１の手前方向への移動が指示されたことを示している。

これに対して、ステップＳ１３４において、｜Ｒ２−Ｋ｜＜ｔｈ３でないと判定された場合、後進指示光画像から後進指示光の像は検出されなかったとされ、処理はステップＳ１３６に進む。ステップＳ１３６において、後進指示光検出部２２５は、後進フラグを“false”に設定し、処理はステップＳ１３７に進む。ここで、“false”である後進フラグは、３次元ポインタ３１の手前方向への移動が指示されなかったことを示している。

ステップＳ１３７において、後進指示光検出部２２５は、後進フラグを出力して処理は図１２のステップＳ４６に進み、後進指示光の検出処理は終了する。これにより、後進指示光検出部２２５から座標計算部２２６に、後進フラグが供給される。

このようにして、後進指示光検出部２２５は、後進指示光画像から後進指示光の像を検出し、その検出の結果に応じて、３次元ポインタ３１の手前方向への移動が指示されたか否かを示す後進フラグを出力する。

このように、後進指示光の像を検出することにより、３次元ポインタ３１の手前方向への移動が指示されたか否かを簡単に知ることができる。特に、後進指示光は、表示画像を表示させるための可視光、位置指示光、前進指示光などの他の光とは異なる波長であるので、それらの光の像は後進指示光画像からは検出されず、後進指示光の像を容易に検出することができる。

後進指示光検出部２２５から後進フラグが出力されると、図１２のステップＳ４６の処理に対応する３次元ポインタ位置算出処理が行われる。以下、図２４乃至図２８を参照して、この３次元ポインタ位置算出処理について説明する。

３次元ポインタ位置算出処理において、座標計算部２２６は、位置指示光検出部２２３、前進指示光検出部２２４、および後進指示光検出部２２５から供給された座標情報、前進フラグ、および後進フラグから、仮想３次元空間上における、３次元ポインタ３１を表示させるべき表示位置の座標を求める。

まず、座標計算部２２６は、仮想３次元空間における位置指示光の仰角α、および回転角βを求める。ここで、回転角βは、図２４に示すように、位置指示光のｘｙ平面に対する回転角をいう。例えば、位置指示光画像からは、図２５に示すように、位置指示光の像の重心の点３３２と、補助光の像の重心の点３３１とが検出される。なお、図２５において、図１９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

位置指示光が空間方向に広がりを持たないものとすると、すなわち位置指示光のビーム径が限りなく０に近いものとすると、位置指示光は、点３３１および点３３２を含み、ｘｙ平面に垂直な平面上を進むことになる。そこで、その平面とｙｚ平面とがなす角を、位置指示光の回転角βとする。

したがって、図中、縦方向の直線４３１が、仮想３次元空間のｙ軸と平行な直線であり、横方向の直線４３２が、仮想３次元空間のｘ軸と平行な直線であるとすると、位置指示光の回転角βは、楕円である位置指示光の像の輪郭３４１の長軸と、直線４３１とのなす角度とされる。

座標計算部２２６は、座標情報として供給された点３３２の座標（ｘｉ，ｙｉ）、点３４２の座標（ｘｆ，ｙｆ）、および点３５１の座標（ｘｎ，ｙｎ）から、輪郭３４１としての楕円の長軸の長さＬと短軸の長さＤとを求める。そして、座標計算部２２６は、輪郭３４１の長軸およびｙ軸の関係から回転角βを求める。ここで、長軸の長さＬは、点３３２から点３４２までの長さ（距離）の２倍の長さとされ、短軸の長さＤは、点３３２から点３５１までの長さ（距離）の２倍の長さとされる。

具体的には、座標計算部２２６は、点３３２の座標（ｘｉ，ｙｉ）および点３４２の座標（ｘｆ，ｙｆ）から、次式（１）を計算することにより、ｃｏｓβを求める。

ここで、式（１）において、｜ｙｆ−ｙｉ｜は、ｙｆとｙｉの差の絶対値を表している。このようにしてｃｏｓβが求められると、座標計算部２２６は、さらに式（１）を次式（２）に示すように変形し、回転角βを求める。

このようにして、座標計算部２２６は、点３３２の座標（ｘｉ，ｙｉ）および点３４２の座標（ｘｆ，ｙｆ）から、回転角βを求める。換言すれば、座標計算部２２６は、位置指示光の像と、補助光の像の位置関係から回転角βを求める。

また、仮想３次元空間における位置指示光の仰角αは、点３３２および点３４２を含み、ｘｙ平面に直交する平面内における、位置指示光の光路と平行な直線と、ｚ軸とがなす角度とされる。つまり、仰角αは、位置指示光のｚ軸に対する仰角とされる。

例えば、図２６に示すように、表示画像の表示面であるスクリーン２１に対して、回転角βが０となるように位置指示光が入射したとする。図２６では、縦方向が仮想３次元空間のｙ軸方向、横方向が仮想３次元空間のｚ軸方向とされ、スクリーン２１の表示面をｘ軸方向に見た図を表している。

図２６では、スクリーン２１の表示面に対して、矢印６１に示す方向に、つまり図中、右下から左上方向に位置指示光が入射している。ここで、縦方向の直線４６１は、スクリーン２１の表示面を表しており、直線４６２および直線４６３は位置指示光を表している。

つまり、仮に位置指示光が表示面を透過するものとすると、実際には位置指示光のビーム径は０ではないので、位置指示光は、直線４６２と直線４６３との間の領域を通過する。したがって、直線４６２と直線４６３との距離が位置指示光のビーム径とされる。

また、直線４６４が、仮想３次元空間のｚ軸に平行な直線であるとすると、位置指示光の仰角αは、位置指示光とｚ軸とがなす角であるので、直線４６４と直線４６２（または直線４６３）とがなす角が仰角αとされる。

ここで、表示面上の位置指示光の像である楕円の短軸の長さ、つまり位置指示光画像上の位置指示光の像の輪郭である楕円の短軸の長さＤは、常に位置指示光の直径の大きさと等しい。また、表示面上の位置指示光の像である楕円の長軸の長さ、つまり位置指示光画像上の位置指示光の像の輪郭である楕円の長軸の長さＬは、直線４６２と直線４６１との交点から、直線４６３と直線４６１との交点までの長さ（距離）とされる。

さらに、直線４６２に直交する直線と、直線４６１とのなす角はαであるので、円形である位置指示光の像の長軸の長さＬと、位置指示光の直径の長さ、つまり短軸の長さＤとは、ｃｏｓα＝Ｄ／Ｌという関係を満たす。したがって、座標計算部２２６は、位置指示光画像上の位置指示光の像の輪郭である楕円の長軸の長さＬ、および短軸の長さＤの関係から、位置指示光の仰角αを求めることができる。換言すれば、座標計算部２２６は、位置指示光の像の形状、つまり位置指示光の像の歪みの度合いから仰角αを求める。

より具体的には、座標計算部２２６は、座標情報としての位置指示光の重心座標（ｘｉ，ｙｉ）、長軸交点座標（ｘｆ，ｙｆ）、および短軸交点座標（ｘｎ，ｙｎ）から、長軸の長さＬおよび短軸の長さＤを求め、さらに求めた長軸の長さＬおよび短軸の長さＤから、式（３）を計算することによりｃｏｓαを求める。

そして、さらに座標計算部２２６は、式（３）を次式（４）に示すように変形することで、仰角αを求める。

このようにして、座標計算部２２６は、座標情報としての重心座標（ｘｉ，ｙｉ）、長軸交点座標（ｘｆ，ｙｆ）、および短軸交点座標（ｘｎ，ｙｎ）から仰角αを求める。

以上のようにして、位置指示光の回転角βおよび仰角αが求められると、座標計算部２２６は、重心座標（ｘｉ，ｙｉ）、回転角β、仰角α、および記憶している奥行き長さＥから、３次元ポインタ３１の表示位置の座標を求める。

例えば、位置指示光の像の重心の位置、つまり重心座標（ｘｉ，ｙｉ）により特定される位置が、表示画像に対して想定された仮想３次元空間の座標系の基準点Ｏの位置であるとすると、図２７に示すように、３次元ポインタ３１の表示位置の点Ｇは、奥行き長さＥ、回転角β、および仰角αから求まる。なお、図２７において、右方向がｘ軸方向、上方向がｙ軸方向、奥行き方向がｚ軸方向とされている。

また、図２７において、点Ｈは、点Ｇからｘｚ平面に下ろした垂線の足であり、点Ｉは、点Ｇからｚ軸に下ろした垂線の足であり、点Ｊは、点Ｇからｙｚ平面に下ろした垂線の足である。ここで、基準点Ｏおよび点Ｇを結ぶ直線ＯＧは、位置指示光の光路を延長した直線となるので、直線ＯＧとｚ軸とがなす角が、位置指示光の仰角αとされる。すなわち、∠ＧＯＩが仰角αとされる。

さらに、位置指示光の像の重心の位置、つまり基準点Ｏと、補助光の像の重心の位置とを通り、ｘｙ平面に直交する平面は、基準点Ｏ、点Ｇ、および点Ｉを含む平面であるので、その平面と、ｙｚ平面とがなす角が回転角βとされる。すなわち、点Ｇおよび点Ｉを結ぶ直線ＧＩと、点Ｊおよび点Ｉを結ぶ直線ＪＩとがなす角度である、∠ＧＩＪが回転角βとされる。なお、基準点Ｏ、点Ｇ、および点Ｉを含む平面は、ｚ軸を回転軸として、ｙｚ平面を角度βだけ回転させた平面である。

ここで、点Ｇのｘ座標、ｙ座標、およびｚ座標のそれぞれは、点Ｈのｘ座標、点Ｊのｙ座標、および点Ｉのｚ座標のそれぞれと等しい。また、点Ｈのｘ座標、点Ｊのｙ座標、および点Ｉのｚ座標のそれぞれは、点Ｈから点Ｉまでの距離、点Ｊから点Ｉまでの距離、および点Ｉから基準点Ｏまでの距離のそれぞれに等しいので、これらの距離（長さ）を求めることにより、点Ｇの座標を求めることができる。

そこで、直線ＯＧ（ベクトルＯＧ）を、点Ｇ、基準点Ｏ、および点Ｉを含む平面ＧＯＩに沿って分解することを考えると、ベクトルＯＧは、ベクトルＯＩとベクトルＩＧの和として表すことができる。直線ＯＧの長さは奥行き長さＥであり、∠ＧＯＩは仰角αであるので、点Ｉから基準点Ｏまでの距離（長さ）はＥｃｏｓαとなり、点Ｇから点Ｉまでの距離（長さ）は、Ｅｓｉｎαとなる。したがって、点Ｉのｚ座標、すなわち点Ｇのｚ座標はＥｃｏｓαとなる。

さらに、点Ｇから点Ｉまでの長さ、つまり直線ＧＩの長さＥｓｉｎαと、位置指示光の回転角βとから点Ｈのｘ座標および点Ｊのｙ座標を求めることができる。すなわち、図２８に示すように、点Ｇ、点Ｈ、点Ｉ、および点Ｊは、ｘｙ平面に平行な１つの平面上に位置している。なお、図２８において、図２７における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。

図２８において、直線ＧＩの長さはＥｓｉｎαであり、∠ＧＩＪは回転角βであるので、点Ｊから点Ｉまでの長さ、つまり直線ＪＩの長さは、Ｅｓｉｎαｃｏｓβとなる。また、∠ＧＩＪがβであり、∠ＨＩＪは９０度であるので、∠ＨＧＩはβとなる。したがって、点Ｈから点Ｉまでの長さ、つまり直線ＨＩの長さは、Ｅｓｉｎαｓｉｎβとなる。

図２７の説明に戻り、直線ＨＩの長さはＥｓｉｎαｓｉｎβであり、直線ＨＩはｘ軸に平行であるので、点Ｇのｘ座標は、直線ＨＩの長さに等しく、Ｅｓｉｎαｓｉｎβとされる。また、直線ＪＩの長さはＥｓｉｎαｃｏｓβであり、直線ＪＩはｙ軸に平行であるので、点Ｇのｙ座標は、直線ＪＩの長さに等しく、Ｅｓｉｎαｃｏｓβとされる。このようにして、点Ｇのｘ座標、ｙ座標、およびｚ座標が求められたので、点Ｇの座標は、座標（Ｅｓｉｎαｓｉｎβ，Ｅｓｉｎαｃｏｓβ，Ｅｃｏｓα）となる。

なお、図２７の例においては、位置指示光の像の重心の位置が、基準点Ｏと同じ位置である場合について考えたが、実際には、位置指示光の像の重心の位置は、基準点Ｏと同じ位置となるとは限らない。そこで、位置指示光の像の重心の座標を（ｘｉ，ｙｉ，０）として、点Ｇを位置指示光の重心の位置の分だけ移動させると、３次元ポインタ３１を表示させるべき位置を示す点Ｇの座標は、（ｘｉ＋Ｅｓｉｎαｓｉｎβ，ｙｉ＋Ｅｓｉｎαｃｏｓβ，Ｅｃｏｓα）となる。

このように、３次元ポインタ３１の表示位置は、位置指示光の重心座標（ｘｉ，ｙｉ，０）、位置指示光の回転角β、位置指示光の仰角α、および奥行き長さＥを用いて表すことができる。また、点Ｇの座標のＥを変化させることで、３次元ポインタ３１の表示位置を奥行き方向、および手前方向に簡単に移動させることができる。

次に、図２９のフローチャートを参照して、以上において説明した３次元ポインタ位置算出処理の流れを説明する。この３次元ポインタ位置算出処理は図１２のステップＳ４６の処理に対応する処理であり、図１２のステップＳ４５において後進指示光の検出が行われると開始される。

ステップＳ１６１において、座標計算部２２６は、位置指示光検出部２２３から供給された座標情報としての重心座標（ｘｉ，ｙｉ）、長軸交点座標（ｘｆ，ｙｆ）、および短軸交点座標（ｘｎ，ｙｎ）を用いて、仰角αおよび回転角βを求める。すなわち、座標計算部２２６は、上述した式（４）を計算することにより仰角αを求め、式（２）を計算することにより回転角βを求める。

ステップＳ１６２において、座標計算部２２６は、求めた仰角αを用いて、ｓｉｎαおよびｃｏｓαを求める。そして、ステップＳ１６３において、座標計算部２２６は、求めた回転角βを用いて、ｓｉｎβおよびｃｏｓβを求める。

ステップＳ１６４において、座標計算部２２６は、３次元ポインタ３１を手前方向に移動させるか否かを判定する。例えば、座標計算部２２６は、前進指示光検出部２２４から供給された前進フラグが“false”に設定されており、後進指示光検出部２２５から供給された後進フラグが“true”に設定されており、かつ記憶している奥行き長さＥが１以上である場合、３次元ポインタ３１を手前方向に移動させると判定する。

すなわち、後進フラグが“true”に設定されている場合、ユーザにより３次元ポインタ３１の手前方向への移動が指示されたことを示している。また、奥行き長さＥが０である場合には、これ以上３次元ポインタ３１を手前方向に移動させることはできない。そこで、前進フラグが“false”に設定され、後進フラグが“true”に設定され、かつ奥行き長さＥが１以上である場合に、３次元ポインタ３１が手前方向に移動される。

ステップＳ１６４において、手前方向に移動させると判定された場合、３次元ポインタ３１を手前方向に移動させるので、処理はステップＳ１６５に進む。そして、ステップＳ１６５において、座標計算部２２６は、記憶している奥行き長さＥの値を１だけ小さくし、処理はステップＳ１６８に進む。

一方、ステップＳ１６４において、手前方向に移動させないと判定された場合、ステップＳ１６６において、座標計算部２２６は、３次元ポインタ３１を奥行き方向に移動させるか否かを判定する。

例えば、座標計算部２２６は、前進指示光検出部２２４から供給された前進フラグが“true”に設定されており、後進指示光検出部２２５から供給された後進フラグが“false”に設定されている場合、３次元ポインタ３１を奥行き方向に移動させると判定する。

すなわち、前進フラグが“true”に設定されている場合、ユーザにより３次元ポインタ３１の奥行き方向への移動が指示されたことを示している。そこで、前進フラグが“true”に設定され、後進フラグが“false”に設定されている場合に、３次元ポインタ３１が奥行き方向に移動される。

ステップＳ１６６において、奥行き方向に移動させると判定された場合、３次元ポインタ３１を奥行き方向に移動させるので、処理はステップＳ１６７に進む。そして、ステップＳ１６７において、座標計算部２２６は、記憶している奥行き長さＥの値を１だけ大きくし、処理はステップＳ１６８に進む。

これに対して、ステップＳ１６６において、奥行き方向に移動させないと判定された場合、ユーザにより３次元ポインタ３１の移動が指示されていないか、またはこれ以上３次元ポインタ３１を手前方向に移動させることはできないので、奥行き長さＥの値は変更されず、処理はステップＳ１６８に進む。

ステップＳ１６５若しくはステップＳ１６７において奥行き長さＥが変更されたか、またはステップＳ１６６において奥行き方向に移動させないと判定されると、ステップＳ１６８において、座標計算部２２６は、重心座標（ｘｉ，ｙｉ，０）、記憶している奥行き長さＥ、並びに求めたｓｉｎα、ｃｏｓα、ｓｉｎβ、およびｃｏｓβから、３次元ポインタ３１を表示させるべき表示位置の座標を求める。そして、座標計算部２２６は、求めた座標を表示画像処理部２２８に供給して処理は図１２のステップＳ４７に進み、３次元ポインタ位置算出処理は終了する。

すなわち、座標計算部２２６は、３次元ポインタ３１の表示位置の座標（ｘｉ＋Ｅｓｉｎαｓｉｎβ，ｙｉ＋Ｅｓｉｎαｃｏｓβ，Ｅｃｏｓα）に、重心座標のｘｉおよびｙｉ、奥行き長さＥの値、並びに求めたｓｉｎα、ｃｏｓα、ｓｉｎβ、およびｃｏｓβの値を代入することにより、３次元ポインタ３１の表示位置の座標を求める。

このようにして求められた座標は、表示画像処理部２２８に供給され、図１２のステップＳ４７において、表示画像処理部２２８により、求められた表示位置に対応する３次元画像上の位置に、３次元ポインタ３１が表示された画像である表示画像が生成される。

このようにして、座標計算部２２６は、位置指示光の仰角αおよび回転角βを求め、それらの角度、位置指示光の重心の位置、および記憶している奥行き長さＥから３次元ポインタ３１の表示位置の座標を求める。

このように、仰角αおよび回転角βを求め、それらの角度、位置指示光の重心の位置、および記憶している奥行き長さＥから３次元ポインタ３１の表示位置の座標を求めることにより、３次元ポインタ３１の移動先の位置を簡単に求めることができる。したがって、ユーザ３２は、レーザポインタ２２を操作して、前進指示光または後進指示光を射出させるという簡単な操作だけで、３次元ポインタ３１を奥行き方向または手前方向に移動させることができる。

特に、位置指示光、前進指示光、および後進指示光は、それぞれ不可視光であるため、スクリーン２１に照射されても、表示されている表示画像に影響を与えることもない。つまり、表示画像を観察する観察者には、表示画像に照射される位置指示光や前進指示光の像が見えないので、不快に感じることもない。また、カメラ２３で位置指示光や前進指示光の像を撮像するだけで、３次元ポインタ３１を表示させるべき位置を特定できるため、例えば会議場のスクリーンのような大きい表示面に表示画像を表示させる場合においても、簡単かつ高精度に３次元ポインタ３１の表示位置を特定することができる。

なお、以上においては、カメラ２３のCCDイメージセンサ１８３の受光面には、図９に示したオンチップカラーフィルタが配置されると説明したが、図３０に示すオンチップカラーフィルタが配置されるようにしてもよい。

なお、図３０において、１つの正方形は１つの画素を表しており、それらの正方形内の文字Ｗ、およびＬ１乃至Ｌ３のそれぞれは、可視光、位置指示光、前進指示光、および後進指示光のそれぞれだけを透過させる可視光のフィルタ、位置指示光の波長のフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれを表している。

図３０では、それぞれのフィルタがモザイク状に配置されている。すなわち、可視光のフィルタ、位置指示光の波長のフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれが、１画素おきに図中、上下方向および左右方向に並べられている。

このように、図３０に示したオンチップカラーフィルタがCCDイメージセンサ１８３の受光面に配置される場合には、各波長のフィルタ同士の間隔、すなわち各色の光のサンプリング間隔が短くなるので、より精度よく位置指示光の像、前進指示光の像、および後進指示光の像を検出することができる。

また、CCDイメージセンサ１８３が、２つの撮像素子から構成されるようにしてもよい。そのような場合、例えば、レンズ１８１により集光された光は、それぞれの撮像素子において同じ像が撮像されるように、プリズムなどにより２つの光に分離されてCCDイメージセンサ１８３を構成する撮像素子のそれぞれに入射するようになされる。

また、CCDイメージセンサ１８３が、２つの撮像素子から構成される場合、それらの撮像素子の受光面には、例えば図３１に示すオンチップカラーフィルタが配置される。

ここで、図３１ＡはCCDイメージセンサ１８３を構成する一方の撮像素子の受光面に配置されるオンチップカラーフィルタを示しており、図３１Ｂは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタを示している。さらに、図３１Ｃは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタの他の例を示している。なお、図３１Ａ乃至図３１Ｃにおいて、１つの正方形は１つの画素を表している。

図３１Ａにおいて、１つの画素を表す正方形内の文字Ｌ１乃至Ｌ３のそれぞれは、位置指示光、前進指示光、および後進指示光のそれぞれだけを透過させる位置指示光の波長のフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれを表している。

図３１Ａでは、位置指示光の波長のフィルタ、前進指示光の波長のフィルタ、および後進指示光の波長のフィルタのそれぞれが、１画素おきに図中、上下方向および左右方向に並べられている。したがって、図３１Ａに示すオンチップカラーフィルタが配置された撮像素子により撮像された撮像画像からは、位置指示光画像、前進指示光画像、および後進指示光画像が分離される。

また、他方の撮像素子の受光面に配置されるオンチップカラーフィルタは、図３１Ｂに示すように、Ｒのフィルタ、Ｇのフィルタ、およびＢのフィルタがベイヤー配列と呼ばれる配列で配置されたフィルタとされる。

図３１Ｂにおいて、１つの画素を表す正方形内の文字Ｒ、Ｇ、およびＢのそれぞれは、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の色の光のそれぞれだけを透過させるＲのフィルタ、Ｇのフィルタ、およびＢのフィルタのそれぞれを表している。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、可視光の画像を得ることができる。

さらに、他方の撮像素子の受光面に配置されるオンチップカラーフィルタは、図３１Ｃに示すフィルタとされてもよい。図３１Ｃにおいて、１つの画素を表す正方形内の文字Ｗは、可視光だけを透過させる可視光のフィルタを表している。このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からも、可視光の画像を得ることができる。

このように、CCDイメージセンサ１８３が、２つの撮像素子から構成されるようにした場合、各色の光のサンプリング間隔が短くなるので、より精度よく位置指示光の像、前進指示光の像、および後進指示光の像を検出することができる。また、図３１に示したオンチップカラーフィルタを用いる場合、既存のCCDイメージセンサを用いることができるため、コストを削減することができる。

また、以上においては、スクリーン２１を用いて表示画像を表示させると説明したが、画像処理装置２４にLCDやCRTディスプレイなどの表示装置を接続し、その表示装置に表示画像を表示させるようにしてもよい。そのような場合、ユーザ３２は、表示画像を表示する表示装置の表示画面に対して、レーザポインタ２２からの位置指示光や前進指示光を照射させ、カメラ２３は、表示装置の表示画面とその周囲の領域を撮像する。

さらに、画像処理装置２４にカメラ２３が接続されると説明したが、画像処理装置２４にカメラ２３が設けられるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したプレゼンテーションシステムの一実施の形態の構成例を示す図である。 レーザポインタの外観を示す図である。 レーザポインタの断面を示す図である。 位置指示光が照射された方向について説明する図である。 仮想３次元空間について説明する図である。 ３次元ポインタの奥行き方向および手前方向への移動を説明する図である。 レーザポインタのユーザの操作に対応した動作を説明する図である。 カメラの構成例を示すブロック図である。 オンチップカラーフィルタの配列の例を示す図である。 画像処理装置の構成例を示すブロック図である。 表示処理を説明するフローチャートである。 生成処理を説明するフローチャートである。 スクリーンに対するカメラの配置位置を示す図である。 撮像画像の例を示す図である。 撮像画像から分離される各種の画像を示す図である。 重心位置検出処理を説明するフローチャートである。 位置指示光画像におけるクラスタリングについて説明する図である。 クラスタのエッジ検出について説明する図である。 長軸交点座標および短軸交点座標について説明する図である。 前進指示光の検出処理を説明するフローチャートである。 前進指示光の検出の範囲について説明する図である。 後進指示光の検出処理を説明するフローチャートである。 後進指示光の検出の範囲について説明する図である。 回転角βについて説明する図である。 回転角βについて説明する図である。 仰角αについて説明する図である。 ３次元ポインタの表示位置について説明する図である。 ３次元ポインタの表示位置について説明する図である。 ３次元ポインタ位置算出処理を説明するフローチャートである。 オンチップカラーフィルタの配列の他の例を示す図である。 オンチップカラーフィルタの配列の他の例を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１１ プレゼンテーションシステム， ２１ スクリーン， ２２ レーザポインタ， ２３ カメラ， ２４ 画像処理装置， ２５ プロジェクタ， ８１ 不可視光レーザ， ８３ 不可視光レーザ， ８４ 不可視光レーザ， １８３ CCDイメージセンサ， １８６ DSP， ２２１ 色同時化処理部， ２２２ 幾何変換処理部， ２２３ 位置指示光検出部， ２２４ 前進指示光検出部， ２２５ 後進指示光検出部， ２２６ 座標計算部， ２２８ 表示画像処理部

Claims (11)

1. 表示画像を表示する表示装置と、前記表示画像に光を照射して、前記表示画像上に表示されるポインタの位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たに表示画像を生成する画像処理装置とから構成される画像処理システムであって、
   前記指示装置は、
   前記表示装置により表示されている前記表示画像に対して想定された仮想３次元空間上の表示位置であって、前記ポインタを表示させる表示位置を指示するための光である位置指示光を射出する位置指示光射出手段と、
   前記位置指示光とは異なる波長の光であり、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光を射出する方向指示光射出手段と
   を備え、
   前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記方向指示光の像を前記撮像画像として撮像し、
   前記画像処理装置は、
   前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示光画像と、前記方向指示光と同じ波長の光の画像である方向指示光画像とを分離する分離手段と、
   前記位置指示光画像から、前記表示画像上における前記位置指示光の像の位置および形状を検出する位置指示光検出手段と、
   前記方向指示光画像から前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出手段と、
   前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段と、
   前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に、前記ポインタが表示された新たな表示画像を生成する表示画像生成手段と
   を備え、
   前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える
   画像処理システム。
2. 表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理装置であって、
   前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出手段と、
   前記表示画像が表示されている前記領域を撮像して得られる第１の方向指示光画像であって、前記位置指示光の光路と平行な第１の方向への前記ポインタの移動を指示する第１の方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である第１の方向指示光画像から、前記表示画像に照射された前記第１の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第１の方向への移動が指示されたか否かを示す第１の方向情報を出力する第１の方向指示光検出手段と、
   前記位置指示光の像の位置および形状と、出力された前記第１の方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定手段と
   を備える画像処理装置。
3. 前記位置特定手段により特定された前記ポインタの表示位置に対応する前記表示画像上の位置に、前記ポインタが表示された新たな表示画像を生成する表示画像生成手段をさらに備える
   請求項２に記載の画像処理装置。
4. 前記位置指示光は、その断面が真円形状である
   請求項３に記載の画像処理装置。
5. 前記ポインタの表示位置は、前記位置指示光の像の位置に対応する前記仮想３次元空間上の位置を通り、前記位置指示光の像の形状から特定される前記第１の方向と平行な直線上の位置とされる
   請求項４に記載の画像処理装置。
6. 前記位置特定手段は、前記位置指示光の像の位置に対応する前記仮想３次元空間上の位置から、前記ポインタの表示位置までの長さを定める奥行き長さを記憶しており、前記第１の方向情報に基づいて前記奥行き長さを変更し、さらに変更後の前記奥行き長さと、前記位置指示光の像の位置および形状とに基づいて、前記ポインタの表示位置を特定する
   請求項５に記載の画像処理装置。
7. 前記表示画像が表示されている前記領域を撮像して得られる第２の方向指示光画像であって、前記第１の方向とは反対の第２の方向への前記ポインタの移動を指示する第２の方向指示光と同じ波長であり、前記位置指示光および前記第１の方向指示光とは異なる波長の光の画像である第２の方向指示光画像から、前記表示画像に照射された前記第２の方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記第２の方向への移動が指示されたか否かを示す第２の方向情報を出力する第２の方向指示光検出手段をさらに備え、
   前記位置特定手段は、前記第１の方向情報および前記第２の方向情報に基づいて、前記奥行き長さを変更する
   請求項６に記載の画像処理装置。
8. 前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記第１の方向指示光の像を前記撮像画像として撮像する撮像手段と、
   前記撮像画像から、前記位置指示光画像と、前記第１の方向指示光画像とを分離する分離手段と
   をさらに備える請求項３に記載の画像処理装置。
9. 前記位置指示光および前記第１の方向指示光は、不可視光である
   請求項３に記載の画像処理装置。
10. 表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理装置の画像処理方法であって、
    前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出ステップと、
    前記表示画像が表示されている前記領域を撮像して得られる方向指示光画像であって、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である方向指示光画像から、前記表示画像に照射された前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出ステップと、
    前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定ステップと
    を含む画像処理方法。
11. 表示画像に対して想定された仮想３次元空間上の表示位置であり、ポインタを表示させる表示位置を特定する画像処理用のプログラムであって、
    前記表示画像が表示されている領域を撮像して得られる位置指示光画像であって、前記仮想３次元空間上の前記ポインタを表示させる表示位置を指示するための位置指示光と同じ波長の光の画像である位置指示光画像から、前記表示画像上における、前記表示画像に照射された前記位置指示光の像の位置および形状を検出する位置指示光検出ステップと、
    前記表示画像が表示されている前記領域を撮像して得られる方向指示光画像であって、前記位置指示光の光路と平行な方向への前記ポインタの移動を指示する方向指示光と同じ波長であり、前記位置指示光とは異なる波長の光の画像である方向指示光画像から、前記表示画像に照射された前記方向指示光の像を検出し、その検出結果に基づいて、前記ポインタの前記方向への移動が指示されたか否かを示す方向情報を出力する方向指示光検出ステップと、
    前記位置指示光の像の位置および形状と、出力された前記方向情報とに基づいて、前記仮想３次元空間上における前記ポインタの表示位置を特定する位置特定ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images