JP6485160B2 - インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法 - Google Patents

Description

本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクター、及び、そのプロジェクターの制御方法に関する。

特許文献１，２には、投写画面をスクリーンに投写するとともに、指や発光するペンなどの対象物（object）を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置（プロジェクター）が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体（pointing element）」と呼ぶ。

特開２０１２−１５０６３６号公報 特表２００８−５２００３４号公報

典型的なインタラクティブプロジェクターでは、指示体の先端がスクリーンに接しているか否かに応じて、指示体によって指示がなされているか否かを判定する。指示体の接触は、指示体の先端とスクリーンとの間の距離に基づいて検出することができる。しかしながら、指示体の先端とスクリーンとの間の距離を算出するために、複数台のカメラを用いて指示体の先端の三次元位置を検出するプロジェクターは、三次元位置の算出に時間がかかったり、あるいは、十分な検出精度が得られないなどの問題があった。そのため、指示体がスクリーンに接触しているか否かの検出処理を従来とは異なる方法で実行する技術が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。本発明の一形態は、例えば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、スクリーン面上に前記投写画面を投写する投写部と、前記指示体に近赤外光の照射検出光を照明する検出光照射部と、前記投写画面の領域を、近赤外光の波長を含む波長領域の光を受光して撮像する第１カメラ及び第２カメラを含む複数台のカメラと、前記第１カメラによって撮像された前記指示体を含む第１撮像画像に基づいて、前記投写画面上における前記指示体の第１座標位置を検出するとともに、前記第２カメラによって撮像された前記指示体を含む第２撮像画像に基づいて、前記投写画面上における前記指示体の第２座標位置を検出する位置検出部と、前記第１座標位置と、前記第２座標位置とに基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と、を備え、前記位置検出部は、前記指示体が前記投写画面に接触しているときの前記第１撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第１対応データと、前記指示体が前記投写画面に接触しているときの前記第２撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第２対応データと、を備えており、前記第１対応データを用いて、前記第１撮像画像から前記第１座標位置を検出するとともに、前記第２対応データを用いて、前記第２撮像画像から前記第２座標位置を検出し、前記接触検出部は、２次元座標位置として求められた前記第１座標位置と前記第２座標位置とが許容誤差内で一致したときに、前記指示体の前記投写画面への接触を検出する、インタラクティブプロジェクターとして提供される。

（１）本発明の一形態によれば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と、前記投写画面の領域を撮像する第１カメラ及び第２カメラを含む複数台のカメラと、前記第１カメラによって撮像された前記指示体を含む第１撮像画像に基づいて、前記投写画面上における前記指示体の第１座標位置を検出するとともに、前記第２カメラによって撮像された前記指示体を含む第２撮像画像に基づいて、前記投写画面上における前記指示体の第２座標位置を検出する位置検出部と、前記第１座標位置と、前記第２座標位置とに基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と、を備え、前記接触検出部は、前記第１座標位置と、前記第２座標位置とが許容誤差内で一致したときに、前記指示体の前記投写画面への接触を検出する。
このインタラクティブプロジェクターでは、第１カメラおよび第２カメラによって撮像された２種類の撮像画像を用いて、投写画面上における指示体の第１座標位置および第２座標位置を検出する。指示体の投写画面への接触の検出は、第１座標位置と第２座標位置とがほぼ一致しているか否かによって実行されるので、指示体がスクリーンに接触しているか否かの検出処理を従来とは異なる方法で容易に実行することができる。

（２）上記インタラクティブプロジェクターにおいて、前記位置検出部は、前記指示体が前記投写画面に接触しているときの前記第１撮像画像における前記指示体の２次元座標位置と、前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第１対応データと、前記指示体が前記投写画面に接触しているときの前記第２撮像画像における前記指示体の２次元座標位置と、前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第２対応データと、を備えており、前記第１対応データを用いて、前記第１撮像画像から前記第１座標位置を検出するとともに、前記第２対応データを用いて、前記第２撮像画像から前記第２座標位置を検出してもよい。
この構成によれば、第１対応データと第２対応データとを用いて、撮像画像から容易に指示体の投写画面上の第１座標位置と第２座標位置を検出することができる。

（３）上記インタラクティブプロジェクターにおいて、前記第１座標位置は、前記第１カメラと前記指示体とを結ぶ直線と前記投写画面との交点の座標位置であり、前記第２座標位置は、前記第２カメラと前記指示体とを結ぶ直線と前記投写画面との交点の座標位置であってよい。
この構成によれば、指示体が投写画面に接触すると、投写画面上において、指示体の第１座標位置と第２座標位置とがほぼ一致するので、指示体がスクリーンに接触しているか否かを容易に検出することができる。

本発明は、種々の形態で実現することが可能であり、例えば、自発光指示体と非発光指示体との少なくともいずれか一方を含む指示体とスクリーンとインタラクティブプロジェクターを備えるシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。

インタラクティブプロジェクションシステムの斜視図である。 インタラクションプロジェクションシステムの側面図および正面図である。 プロジェクターと自発光指示体の内部構成を示すブロック図である。 自発光指示体と非発光指示体を利用した操作の様子を示す説明図である。 撮像画像と投写画面の座標位置の対応関係を例示した第１の図である。 撮像画像と投写画面の座標位置の対応関係を例示した第２の図である。 非発光指示体の先端部とスクリーン面を例示した図である。 測定用パターン画像が表示された投写画面と撮像画像を例示した図である。

Ａ１．システムの概要
図１は、本発明の一実施形態におけるインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、スクリーン板９２０と、自発光指示体７０とを有している。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。

プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」（又は「スクリーン面ＳＳ」）とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。

自発光指示体７０は、発光可能な先端部７１と、ユーザーが保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。以下、自発光指示体７０と非発光指示体８０とを区別しない場合は、単に、指示体７８０とも呼ぶ。

図２（Ａ）は、インタラクティブプロジェクションシステム９００の側面図であり、図２（Ｂ）はその正面図である。本明細書では、スクリーン面ＳＳの左右に沿った方向をＸ方向と定義し、スクリーン面ＳＳの上下に沿った方向をＹ方向と定義し、スクリーン面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、プロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２（Ａ）では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。

プロジェクター１００は、投写画面ＰＳをスクリーン面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体７８０に検出光を照明するための検出光照射部４１０とを有している。検出光としては、例えば近赤外光が使用される。２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。２台のカメラ３１０，３２０は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されている。例えば、２台のカメラ３１０，３２０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。２台のカメラ３１０，３２０は、左右方向（Ｘ方向）の位置が同じで、前後方向（Ｚ方向）に所定の距離を空けて並んで配置されている。２台のカメラ３１０，３２０は、本実施形態に限定されない。例えば、前後方向（Ｚ方向）の位置が同じで、左右方向（Ｘ方向）に所定の距離を空けて並んで配置されてもよい。また、Ｘ，Ｙ，Ｚ全ての方向において位置が異なってもよい。

図２（Ｂ）の例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。スクリーン面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンにタッチすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２（Ｂ）の例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１をスクリーン面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター１００の内部の投写画像生成部（後述）によって行われる。

なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、接触検出部８００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有している。

制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体７８０の投写画面ＰＳにおける座標位置、および、接触検出部８００による指示体７８０の投写画面ＰＳへの接触検出に基づいて、指示体７８０によって投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。

投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によってスクリーン面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２（Ｂ））の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像をスクリーン面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、液晶パネル２２０と、光源２３０とを有する。液晶パネル２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する光変調装置である。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によってスクリーン面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、液晶パネル２２０としては、透過型及び反射型のいずれであってもよいし、色光別に複数の液晶パネル２２０を備えた構成としてもよい。また、液晶パネル２２０の代わりに、デジタルミラーデバイス等、他の光変調装置を採用してもよい。

検出光照射部４１０は、指示体７８０の先端部を検出するための照射検出光ＩＤＬをスクリーン面ＳＳとその前方の空間にわたって照射する。照射検出光ＩＤＬとしては、例えば近赤外光が使用される。検出光照射部４１０は、カメラ３１０、３２０の撮像タイミングを含む所定の期間にのみ点灯し、他の期間では消灯する。あるいは、検出光照射部４１０は、システム９００の動作中は常に点灯状態に維持されるようにしてもよい。

信号光送信部４３０は、同期用の近赤外光信号である装置信号光ＡＳＬを送信する機能を有する。装置信号光ＡＳＬは、同期用の近赤外光信号であり、プロジェクター１００が起動されると、信号光送信部４３０が自発光指示体７０に対して定期的に発する。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬ（後述する）を発する。また、撮像部３００のカメラ３１０，３２０は、指示体７８０の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。

撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。前述したように、２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、検出光照射部４１０によって照射された照射検出光ＩＤＬが指示体７８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。２台のカメラ３１０，３２０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。２台のカメラ３１０，３２０の撮像は、検出光照射部４１０から発せられる照射検出光ＩＤＬがオン状態（発光状態）である第１の期間と、照射検出光ＩＤＬがオフ状態（非発光状態）である第２の期間と、の両方で実行される。位置検出部６００は、これらの２種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することができる。

２台のカメラ３１０，３２０は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有している。この場合、それぞれのカメラによって、スクリーン面ＳＳ上に投写された投写画面ＰＳを撮像すると、撮像画像には投写画面ＰＳ上に写された画像が含まれる。これにより、後述するように、位置検出部６００が撮像画像おける座標系を投写画面における座標系に変換する座標変換係数を算出することができる。また、例えば、その撮像画像を利用して、投写画像生成部５００がキーストーン補正を実行することができる。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。

位置検出部６００は、第１カメラ３１０で撮像された画像（以下、「第１撮像画像ＦＩ」とも呼ぶ。）を分析して、指示体７８０（自発光指示体７０や非発光指示体８０）の先端部の第１撮像画像ＦＩにおける二次元座標位置（Ｕ，Ｖ）から、投写画面ＰＳにおける二次元座標位置（以下、「第１座標位置（Ｘ_ｆ，Ｙ_ｆ）」とも呼ぶ。）を検出する機能を有する。この第１座標位置（Ｘ_ｆ，Ｙ_ｆ）は、指示体７８０が投写画面ＰＳ（スクリーン面ＳＳ）に接しているときに撮影された指示体７８０の先端部の第１撮像画像ＦＩにおける二次元座標位置（Ｕ，Ｖ）に対する、投写画面ＰＳ上における指示体７８０の先端部が接触している位置である。また、位置検出部６００は、第２カメラ３２０で撮像された画像（以下、「第２撮像画像ＳＩ」とも呼ぶ。）を分析して、指示体７８０の先端部の第２撮像画像ＳＩにおける二次元座標位置（ξ，η）から、投写画面ＰＳにおける二次元座標位置（以下、「第２座標位置（Ｘ_ｓ，Ｙ_ｓ）」とも呼ぶ。）を検出する機能を有する。この第２座標位置（Ｘ_ｓ，Ｙ_ｓ）は、指示体７８０が投写画面ＰＳに接しているときに撮影された指示体７８０の先端部の第２撮像画像ＳＩにおける二次元座標位置（ξ，η）に対する、投写画面ＰＳ上における指示体７８０の先端部が接触している位置である。位置検出部６００は、第１撮像画像ＦＩを用いて投写画面ＰＳにおける第１座標位置を検出する際、上述の第１の期間と第２の期間における第１撮像画像を比較することによって、第１撮像画像内に含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する。位置検出部６００は、第２撮像画像ＳＩを用いて投写画面ＰＳにおける第２座標位置を検出する際、同様の方法によって、第２撮像画像ＳＩに含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する。撮像画像（第１撮像画像ＦＩおよび第２撮像画像ＳＩ）から指示体７８０の投写画面ＰＳにおける二次元座標位置（第１座標位置および第２座標位置）を検出する方法については後述する。以降、自発光指示体７０の先端部７１の第１座標位置と、非発光指示体８０の先端部８１の第１座標位置とを区別する場合には、自発光指示体７０の座標位置を第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）とも呼び、非発光指示体８０の座標位置を第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）とも呼ぶ。第２座標位置についても同様に、自発光指示体７０の座標位置を第２座標位置（Ｘ_ｓ７１，Ｙ_ｓ７１）とも呼び、非発光指示体８０の座標位置を第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とも呼ぶ。

接触検出部８００は、指示体７８０（自発光指示体７０や非発光指示体８０）の投写画面ＰＳ（スクリーン面ＳＳ）への接触を検出する。本実施形態の接触検出部８００は、自発光指示体７０の投写画面ＰＳへの接触の検出を、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて実行し、非発光指示体８０の投写画面ＰＳへの接触の検出を、位置検出部６００によって検出された非発光指示体８０の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とに基づいて実行する。但し、接触検出部８００は、自発光指示体７０の投写画面ＰＳへの接触の検出を、非発光指示体８０の投写画面ＰＳへの接触の検出方法と同様の方法によって実行してもよい。接触検出部８００は、非発光指示体８０の第１座標位置（Ｘ_ｆ８１，Ｙ_ｐ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）が一致、または、ほぼ一致したときに、非発光指示体８０が投写画面ＰＳに接触していると判定する。第１座標位置と第２座標位置が「ほぼ一致する」とは、これらの間の距離Ｄ１が誤差許容値Ｔｈとして予め設定された値以下になったときを意味する。接触検出部８００による非発光指示体８０の接触の検出方法については、後に詳述する。

自発光指示体７０には、ボタンスイッチ７３の他に、信号光受信部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７とが設けられている。信号光受信部７４は、プロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、位置検出部６００は、第１撮像画像と第２撮像画像の少なくとも一方を分析することによって、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。また、接触検出部８００は位置検出部６００の分析結果に基づいて、自発光指示体７０の投写画面ＰＳへの接触を検出可能である。

自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。

但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、プロジェクター１００に伝達することが可能である。

図４は、自発光指示体７０と非発光指示体８０を利用した操作の様子を示す説明図である。この例では、自発光指示体７０の先端部７１と非発光指示体８０の先端部８１はいずれもスクリーン面ＳＳから離れている。自発光指示体７０の先端部７１の投写画面ＰＳ上における第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）は、ツールボックスＴＢの消しゴムボタンＥＲＢの上に対応する。また、ここでは、自発光指示体７０の先端部７１の機能を表すツールとしてマウスポインターＰＴが選択されており、マウスポインターＰＴの先端ＯＰ_７１が消しゴムボタンＥＲＢの上に存在するように、マウスポインターＰＴが投写画面ＰＳに描画されている。前述したように、自発光指示体７０の先端部７１の投写画面ＰＳ上の二次元座標位置としては、第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）と第２座標位置（Ｘ_ｓ７１，Ｙ_ｓ７１）の２つの座標が決定される。ここでは、そのうちの第１座標位置が自発光指示体７０の先端部７１の投写画面ＰＳ上の位置として視覚的に表示され、第２座標位置は表示されない。従って、投写画面ＰＳ上において、投写画面ＰＳ上の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）にマウスポインターＰＴの先端にある操作ポイントＯＰ_７１が配置されようにマウスポインターＰＴが描画される。すなわち、マウスポインターＰＴの先端ＯＰ_７１は、自発光指示体７０の先端部７１の第１座標位置に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、自発光指示体７０の先端部７１を投写画面ＰＳ上に接触させて、消しゴムツールを選択することが可能である。また、ユーザーは、この状態で自発光指示体７０のボタンスイッチ７３を押すことによって、消しゴムツールを選択することも可能である。このように、本実施形態では、自発光指示体７０がスクリーン面ＳＳから離間した状態にある場合にも、ボタンスイッチ７３を押すことによって、先端部７１の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）に配置される操作ポイントＯＰ_７１における投写画面ＰＳの内容に応じた指示をプロジェクター１００に与えることが可能である。なお、他の実施例として、先端部７１の第２座標位置（Ｘ_ｓ７１，Ｙ_ｓ７１）が自発光指示体７０の先端部７１の投写画面ＰＳ上の位置として視覚的に表示され、先端部７１の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）が表示されないように構成されてもよい。この場合、操作ポイントＯＰ_７１は、自発光指示体７０の先端部７１の第２座標位置（Ｘ_ｓ７１，Ｙ_ｓ７１）に配置される。ただし、自発光指示体７０の先端部７１の投写画面ＰＳ上の位置としては、第２座標位置よりも第１座標位置が視覚的に表示されることがより好ましい。第１カメラ３１０は、第２カメラよりもスクリーン面ＳＳからＺ方向により離れた位置にある。そのため、投写画面ＰＳに接触していない指示体７８０をＺ方向から見たときの投写画面ＰＳ上の位置と第１座標位置とのずれは、同位置と第２座標位置とのずれよりも小さくなるためである。なお、さらに他の実施例として、先端部７１の第１座標位置と第２座標位置の平均（中間）の位置（（Ｘ_ｆ７１＋Ｘ_ｓ７１）／２，（Ｙ_ｆ７１＋Ｙ_ｓ７１）／２）が自発光指示体７０の先端部７１の投写画面ＰＳ上の位置として視覚的に表示され、先端部７１の第１座標位置および第２座標位置が表示されないように構成されてもよい。

図４（Ｂ）では、また、非発光指示体８０の先端部８１の機能を表すツールとしてペンツールＰＥが選択されており、ペンツールＰＥが投写画面ＰＳに描画されている。前述したように、非発光指示体８０の先端部８１の投写画面ＰＳ上の二次元座標位置も、第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）の２つの座標が決定される。ここでは自発光指示体７０と同様に、第１座標位置が非発光指示体８０の先端部８１の投写画面ＰＳ上の位置として視覚的に表示され、第２座標位置は表示されない。従って、投写画面ＰＳ上において、投写画面ＰＳ上の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）にペンツールＰＥの先端にある操作ポイントＯＰ_８１が配置されようにペンツールＰＥが描画される。但し、非発光指示体８０を利用してユーザーが指示をプロジェクター１００に与える際には、非発光指示体８０の先端部８１を投写画面ＰＳ上に接触させた状態でその指示（描画やツールの選択など）が行なわれる。図４の例では、指示体７８０（自発光指示体７０や非発光指示体８０）の先端部が投写画面ＰＳから離れている場合にも、個々の指示体によって選択されたツール（マウスポインターＰＴやペンツールＰＥ）が投写画面ＰＳに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面ＰＳに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。

なお、このインタラクティブプロジェクションシステム９００は、複数の自発光指示体７０を同時に利用可能に構成されている。この場合には、上述した指示体信号光ＰＳＬの発光パターンは、複数の自発光指示体７０を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、Ｎ個（Ｎは２以上の整数）の自発光指示体７０を同時に利用可能な場合には、指示体信号光ＰＳＬの発光パターンは、Ｎ個の自発光指示体７０を区別できるものであることが好ましい。なお、１組の発光パターンに複数回の単位発光期間が含まれている場合に、１回の単位発光期間では、発光と非発光の２値を表現することができる。ここで、１回の単位発光期間は、自発光指示体７０の先端発光部７７が、オン／オフの１ビットの情報を表現する期間に相当する。１組の発光パターンがＭ個（Ｍは２以上の整数）の単位発光期間で構成される場合には、１組の発光パターンによって２^Ｍ−１個の状態を区別できる。従って、１組の発光パターンを構成する単位発光期間の数Ｍは、次式（１）を満足するように設定されることが好ましい。
Ｎ×Ｑ≦２^Ｍ …（１）
ここで、Ｑは自発光指示体７０のスイッチ７３，７６で区別される状態の数であり、本実施形態の例ではＱ＝２又はＱ＝４である。例えば、Ｑ＝４の場合には、Ｎ＝２のときにはＭを３以上の整数に設定し、Ｎ＝３〜４のときにはＭを４以上の整数に設定することが好ましい。このとき、位置検出部６００（又は制御部７００）がＮ個の自発光指示体７０、及び、各自発光指示体７０のスイッチ７３，７６の状態を識別する際には、１組の発光パターンのＭ個の単位発光期間において各カメラ３１０，３２０でそれぞれ撮像されたＭ枚の画像を用いてその識別を実行する。なお、このＭビットの発光パターンは、照射検出光ＩＤＬをオフの状態に維持した状態で指示体信号光ＰＳＬをオン又はオフに設定したパターンであり、カメラ３１０，３２０で撮像される画像には非発光指示体８０が写らない。そこで、非発光指示体８０の位置を検出するために用いる画像を撮像するために、照射検出光ＩＤＬをオン状態とした１ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光ＰＳＬはオン／オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体７０の位置検出にも利用することが可能である。

図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：スクリーン面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によってスクリーン面ＳＳ上に投写される画像光（可視光）である。
（２）照射検出光ＩＤＬ： 指示体７８０（自発光指示体７０及び非発光指示体８０）の先端部を検出するために、検出光照射部４１０によってスクリーン面ＳＳとその前方の空間にわたって照射される近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬとして照射された近赤外光のうち、指示体７８０（自発光指示体７０及び非発光指示体８０）によって反射され、２台のカメラ３１０，３２０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。

本実施形態において、自発光指示体７０と非発光指示体８０の先端部の位置検出、及び、自発光指示体７０と非発光指示体８０により指示される内容の判別は、それぞれ以下のように実行される。

Ａ２．非発光指示体８０の位置検出方法及び指示内容の判別方法の概要
図５および図６は、撮像画像ＦＩ、ＳＩの座標位置と投写画面ＰＳの座標位置との対応関係を例示した図である。図５（Ａ）および図６（Ａ）は第１撮像画像ＦＩであり、図５（Ｂ）および図６（Ｂ）は投写画面ＰＳであり、図５（Ｃ）および図６（Ｃ）は第２撮像画像ＳＩである。図５は、非発光指示体８０の先端部８１がスクリーン面ＳＳから離れている状態が示されており、図６は、先端部８１がスクリーン面ＳＳと接触している状態が示されている。図５（Ａ）、図５（Ｂ）、図６（Ａ）および図６（Ｂ）に示すように、位置検出部６００は、非発光指示体８０の先端部８１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）を、第１撮像画像ＦＩにおける先端部８１の二次元座標位置（Ｕ_８１，Ｖ_８１）と第１座標変換係数ＣＦとを用いて算出する。この「第１座標変換係数ＣＦ」は、第１撮像画像ＦＩの座標系である「第１カメラ座標（Ｕ，Ｖ）」を投写画面ＰＳの座標系である「投写画面座標（Ｘ，Ｙ）」に変換するための係数であり、後述の方法で算出される。なお、「投写画面座標（Ｘ，Ｙ）」は、液晶パネル２２０の座標系である「パネル座標（ｘ，ｙ）」と対応しているため、第１座標変換係数ＣＦは「第１カメラ座標（Ｕ，Ｖ）」を「パネル座標（ｘ，ｙ）」に変換するための係数であってもよい。位置検出部６００は、第１撮像画像ＦＩに含まれる指示体７８０が非発光指示体８０であるか否かについて、所定の複数のタイミングで撮像された第１撮像画像ＦＩに自発光指示体７０の発光パターンが現れているか否かを判断することによって認識可能である。なお、第１撮像画像ＦＩにおける非発光指示体８０の先端部８１の検出は、テンプレートマッチングや特徴抽出等の周知の技術を利用して特定することができる。例えば、テンプレートマッチングによって指である非発光指示体８０の先端部８１を認識する場合には、指に関する複数のテンプレートを予め準備しておき、第１撮像画像ＦＩにおいて、これらのテンプレートに適合する部分を検索することによって指の先端部８１を認識することが可能である。図５（Ｂ）、図５（Ｃ）、図６（Ｂ）および図６（Ｃ）に示すように、位置検出部６００は、非発光指示体８０の先端部８１の投写画面ＰＳにおける第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）について、第２撮像画像ＳＩにおける先端部８１の二次元座標位置（ξ_８１，η_８１）と第２座標変換係数ＣＳとを用いて算出する。この「第２座標変換係数ＣＳ」は、第２撮像画像ＳＩの座標系である「第２カメラ座標（ξ，η）」を上述の「投写画面座標（Ｘ，Ｙ）」に変換するための係数であり、後述の方法で算出される。なお、第２座標変換係数ＣＳは「第２カメラ座標（ξ，η）」を「パネル座標（ｘ，ｙ）」に変換するための係数であってもよい。図５および図６に示すように、非発光指示体８０の先端部８１がスクリーン面ＳＳから離れている（図５）と、先端部８１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とが異なる位置となり、先端部８１がスクリーン面ＳＳと接触している（図６）と、先端部８１の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とがほぼ同じ位置となる。このことから、接触検出部８００は、先端部８１の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とがほぼ一致したときに、先端部８１が投写スクリーン面ＳＳに接触していることを検出する。

図７は、非発光指示体８０の先端部８１がスクリーン面ＳＳから離れている状態（図７（Ａ））と接触している状態（図７（Ｂ））とを例示した図である。本実施形態の接触検出部８００は、非発光指示体８０の先端部８１がスクリーン面ＳＳに接しているか否かについて、先端部８１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）との距離Ｄ１が許容誤差Ｔｈ以下か否かによって判定する。この許容差Ｔｈとしては、例えば、１ｍｍ〜１０ｍｍ程度の小さな値を使用することが好ましい。図７（Ａ）に示すように、非発光指示体８０がスクリーン面ＳＳから離れているときは、投写画面ＰＳにおいて第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とが互いに異なる位置（Ｄ１＞Ｔｈ）となる。第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）は、第１カメラ３１０と非発光指示体８０の先端部８１とを結ぶ直線とスクリーン面ＳＳとの交点の座標位置に対応し、第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）は、第２カメラ３２０と先端部８１とを結ぶ直線とスクリーン面ＳＳとの交点の座標位置に対応する。そのため、非発光指示体８０の先端部８１がスクリーン面ＳＳから離れていると、第１カメラ３１０から先端部８１を見た場合と、第２カメラ３２０から先端部８１を見た場合とでは、先端部８１がスクリーン面ＳＳ上の互いに異なる位置に接触しているように見える。一方、図７（Ｂ）に示すように、非発光指示体８０の先端部８１がスクリーン面ＳＳと接触しているときは、投写画面ＰＳにおいて第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とがほぼ一致（Ｄ１≦Ｔｈ）する。これは、非発光指示体８０の先端部８１がスクリーン面ＳＳと接触していると、第１カメラ３１０と非発光指示体８０の先端部８１とを結ぶ直線と、第２カメラ３２０と先端部８１とを結ぶ直線とは、ほぼスクリーン面ＳＳ上において交差するためである。このことから、先端部８１の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）と第２座標位置（Ｘ_ｓ８１，Ｙ_ｓ８１）とが許容誤差内で一致するか否かによって、非発光指示体８０の先端部８１がスクリーン面ＳＳに接触しているか否かを容易に検出することができる。なお、この許容誤差は、実験的または経験的に予め決定することができる。

制御部７００は、接触検出部８００が非発光指示体８０の先端部８１がスクリーン面ＳＳに接していると判定した場合には、その接触位置における投写スクリーン面ＳＳの内容に応じてその指示内容を判別する。また、制御部７００は、位置検出部６００で検出された非発光指示体８０の先端部８１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の第１座標位置（Ｘ_ｆ８１，Ｙ_ｆ８１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させてもよい。また、制御部７００は、非発光指示体８０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させてもよい。

Ａ３．自発光指示体７０の位置検出方法及び指示内容の判別方法の概要
位置検出部６００は、自発光指示体７０の先端部７１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）を、第１撮像画像ＦＩにおける先端部７１の二次元座標位置（Ｕ_７１，Ｖ_７１）と第１座標変換係数ＣＦとを用いて算出する。位置検出部６００は、第１撮像画像ＦＩに含まれる指示体７８０が自発光指示体７０であるか否かについて、所定の複数のタイミングで撮像された第１撮像画像ＦＩに自発光指示体７０の発光パターンが現れているか否かを判断することによって認識可能である。接触検出部８００は、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触しているか否か（すなわち先端スイッチ７６がオンか否か）について、上記複数のタイミングで撮像された第１撮像画像ＦＩにおける先端発光部７７の発光パターンを用いて判別可能である。位置検出部６００および接触検出部８００によって、自発光指示体７０の先端部７１の投写画面ＰＳ上の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）と、先端部７１のスクリーン面ＳＳへの接触とを検出することができる。

制御部７００は、位置検出部６００および接触検出部８００の検出結果に基づいて、自発光指示体７０による指示内容を判別して、指示内容に応じた画像を投写画像生成部５００に生成させて、投写部２００によってスクリーン面ＳＳ上に指示内容に応じた画像を投写させる。例えば、図４（Ｂ）に例示したように、先端部７１の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）がツールボックスＴＢ内のいずれかのボタンの上にある状態で先端スイッチ７６がオンになった場合には、そのボタンのツールが選択される。また、図２（Ｂ）に例示したように、先端部７１の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）が投写画面ＰＳ内のツールボックスＴＢ以外の位置にある状態で先端スイッチ７６がオンになった場合には、選択されたツールによる処理（例えば描画）が選択される。制御部７００は、自発光指示体７０の先端部７１の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させる。また、制御部７００は、自発光指示体７０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させる。

Ａ４．座標変換係数ＣＦ、ＣＳの算出
図８は、第１座標変換係数ＣＦおよび第２座標変換係数ＣＳの算出に使用される測定用パターン画像ＣＰＭが表示された投写画面ＰＳと、投写画面ＰＳを含んだ撮像画像ＦＩ、ＳＩとを例示した図である。図８（Ａ）は第１撮像画像ＦＩであり、図８（Ｂ）は投写画面ＰＳであり、図８（Ｃ）は第２撮像画像ＳＩである。まず、投写部２００は、プロジェクター１００の起動時に測定用パターン画像ＣＰＭ（キャリブレーションパターン画像）が表された投写画面ＰＳを投写スクリーン面ＳＳに投射する。測定用パターン画像ＣＰＭは、複数の基準点Ｐｃを含んだ画像であり、測定用パターン画像データとして図示しない記憶部に予め記憶されている。本実施例では、測定用パターン画像ＣＰＭには、２５個の基準点Ｐｃが縦方向に５個、横方向に５個となるように並んで配置されている。測定用パターン画像ＣＰＭに含まれる基準点Ｐｃの数Ｐは、Ｐ≧３であれば、上記の数に限定されない。但し、基準点Ｐｃは、測定用パターン画像ＣＰＭ内で行列状に規則正しく配列されていることが好ましい。また、基準点Ｐｃは、投写画面ＰＳ上の特定の位置を識別可能な構成であれば、点（ドット）に限定されず、例えば、２つの直線の交点や矩形の角部であってもよい。

投写スクリーン面ＳＳに測定用パターン画像ＣＰＭが表示された投写画面ＰＳが投射されているときに、撮像部３００は、２つのカメラ３１０，３２０によって、測定用パターン画像ＣＰＭが表示された投写画面ＰＳを含む領域を撮影する。これにより測定用パターン画像ＣＰＭを含んだ第１撮像画像ＦＩと第２撮像画像ＳＩが得られる。位置検出部６００は、得られた撮像画像（第１撮像画像ＦＩおよび第２撮像画像ＳＩ）をそれぞれ解析して、撮像画像における各基準点Ｐｃの座標位置を検出する。具体的には、位置検出部６００は、第１撮像画像ＦＩを解析して、各基準点Ｐｃの第１カメラ座標系における座標位置（Ｕ_ｐｃ，Ｖ_ｐｃ）を検出し、第２撮像画像ＳＩを解析して、各基準点Ｐｃの第２カメラ座標系における座標位置（ξ_ｐｃ，η_ｐｃ）を検出する。これらの座標位置を検出すると、位置検出部６００は、各基準点Ｐｃの投写画面座標系の座標位置（Ｘ_ｐｃ，Ｙ_ｐｃ）と、検出した第１カメラ座標系の座標位置（Ｕ_ｐｃ，Ｖ_ｐｃ）とに基づいて、第１座標変換係数ＣＦを算出する。また、位置検出部６００は、投写画面座標系における各基準点Ｐｃの座標位置（Ｘ_ｐｃ，Ｙ_ｐｃ）と、第２カメラ座標系における各基準点Ｐｃの座標位置（ξ_ｐｃ，η_ｐｃ）とに基づいて、第２座標変換係数ＣＳを算出する。第１座標変換係数ＣＦによって、指示体７８０が投写画面ＰＳに接触しているときの第１カメラ座標系における指示体７８０の座標位置（Ｕ_７８０，Ｖ_７８０）と、投写画面座標系における指示体７８０の座標位置（Ｘ_ｆ７８０，Ｙ_ｆ７８０）とが対応付けされる。また、第２座標変換係数ＣＳによって、指示体７８０が投写画面ＰＳに接触しているときの第２カメラ座標系における指示体７８０の座標位置（ξ_７８０，η_７８０）と、投写画面座標系における指示体７８０の座標位置（Ｘ_ｓ７８０，Ｙ_ｓ７８０）とが対応付けされる。「第１座標変換係数ＣＦ」は、特許請求の範囲の「第１対応データ」に該当し、「第２座標変換係数ＣＳ」は、特許請求の範囲の「第２対応データ」に該当する。投写画面座標系における各基準点Ｐｃの座標位置（Ｘ_ｐｃ，Ｙ_ｐｃ）は、液晶パネル２２０における測定用パターン画像ＣＰＭの基準点Ｐｃの座標位置（ｘ_ｐｃ，ｙ_ｐｃ）と対応しており、既知の値として予め設定しておくことができる。

以上説明した、本実施形態のインタラクティブプロジェクター１００によれば、指示体７８０を含んだ２種類の撮像画像ＦＩ、ＳＩを用いて、投写画面ＰＳ上における指示体７８０の第１座標位置と第２座標位置を検出する。指示体７８０の投写画面ＰＳへの接触の検出は、第１座標位置と第２座標位置とがほぼ一致しているか否かによって実行されるので、指示体７８０がスクリーン面ＳＳに接触しているか否かの検出処理を従来とは異なる方法で容易に実行することができる。また、検出処理の高速化を図ることができる。例えば、本実施形態によれば、指示体７８０がスクリーン面ＳＳに接触している否かの検出を行うために、複数台のカメラを用いた三次元測量によって指示体７８０の三次元位置を算出する必要がない。そのため、三次元位置の算出による時間のロスを抑制でき、検出処理の高速化を図ることができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

・変形例１：
上記実施形態では、撮像部３００が２台のカメラ３１０，３２０を有しているものとしたが、撮像部３００は３台以上のカメラを有していてもよい。後者の場合には、ｍ台（ｍは３以上の整数）のカメラで撮像されたｍ個の撮像画像に基づいて、非発光指示体８０の先端部８１がスクリーン面ＳＳに接触しているか否かの判定を行うことができる。例えば、ｍ個の画像から２個の画像を任意に選択して得られる_ｍＣ_２個の組み合わせを用いてそれぞれ投写画面ＰＳにおける先端部８１の二次元位置座標（Ｘ_８１，Ｙ_８１）を求め、それらの互いの距離の平均値を用いて非発光指示体８０の先端部８１がスクリーン面ＳＳに接触しているか否かを判定しても良い。こうすれば、接触の検出精度を更に高めることが可能である。

・変形例２：
上記実施形態では、インタラクティブプロジェクションシステム９００がホワイトボードモードとＰＣインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム９００は、これら２つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら２つのモードを含む複数のモードで動作可能に構成されていてもよい。

・変形例３：
上記実施形態では、図３に示した照射検出光ＩＤＬと、反射検出光ＲＤＬと、装置信号光ＡＳＬと、指示体信号光ＰＳＬとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。

・変形例４：
上記実施形態では、自発光指示体７０の接触検出を、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて行っている。しかし、非発光指示体８０と同様に、自発光指示体７０の先端部７１の投写画面ＰＳにおける第１座標位置（Ｘ_ｆ７１，Ｙ_ｆ７１）と第２座標位置（Ｘ_ｓ７１，Ｙ_ｓ７１）とを算出し、これらの座標位置が許容誤差内で一致しているか否かによって自発光指示体７０の先端部７１の投写画面ＰＳへの接触検出を実行することも可能である。

以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。

７０…自発光指示体
７１…先端部
７２…軸部
７３…ボタンスイッチ
７４…信号光受信部
７５…制御部
７６…先端スイッチ
７７…先端発光部
８０…非発光指示体
８１…先端部
１００…インタラクティブプロジェクター
２００…投写部
２１０…投写レンズ
２２０…液晶パネル
２３０…光源
３００…撮像部
３１０…第１カメラ
３２０…第２カメラ
４１０…検出光照射部
４３０…信号光送信部
５００…投写画像生成部
５１０…投写画像メモリー
６００…位置検出部
７００…制御部
７８０…指示体
８００…接触検出部
９００…インタラクティブプロジェクションシステム
９１０…支持部材
９２０…スクリーン板

Claims (4)

1. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
   スクリーン面上に前記投写画面を投写する投写部と、
   前記指示体に近赤外光の照射検出光を照明する検出光照射部と、
   前記投写画面の領域を、近赤外光の波長を含む波長領域の光を受光して撮像する第１カメラ及び第２カメラを含む複数台のカメラと、
   前記第１カメラによって撮像された前記指示体を含む第１撮像画像に基づいて、前記投写画面上における前記指示体の第１座標位置を検出するとともに、前記第２カメラによって撮像された前記指示体を含む第２撮像画像に基づいて、前記投写画面上における前記指示体の第２座標位置を検出する位置検出部と、
   前記第１座標位置と、前記第２座標位置とに基づいて、前記指示体の前記投写画面への接触を検出する接触検出部と、を備え、
   前記位置検出部は、
   前記指示体が前記投写画面に接触しているときの前記第１撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第１対応データと、前記指示体が前記投写画面に接触しているときの前記第２撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第２対応データと、を備えており、
   前記第１対応データを用いて、前記第１撮像画像から前記第１座標位置を検出するとともに、前記第２対応データを用いて、前記第２撮像画像から前記第２座標位置を検出し、
   前記接触検出部は、２次元座標位置として求められた前記第１座標位置と前記第２座標位置とが許容誤差内で一致したときに、前記指示体の前記投写画面への接触を検出する、インタラクティブプロジェクター。
2. 請求項１記載のインタラクティブプロジェクターであって、
   前記指示体は、近赤外光である指示体信号光を発する自発光指示体と、非発光の非発光指示体と、を含み、
   前記インタラクティブプロジェクターは、さらに、前記指示体信号光を発光させるタイミングを前記第１カメラ及び前記第２カメラの撮像タイミングに同期させる装置信号光を前記自発光指示体に送信する信号送信部を備え、
   前記自発光指示体は、前記投写画面に接触しているときとしていないときとで前記指示体信号光の発光パターンを変更し、
   前記第１カメラ及び前記第２カメラは、前記検出光照射部が前記照射検出光を発する発光状態である第１の期間と、前記検出光照射部が前記照射検出光を発していない非発光状態である第２の期間と、の両方で撮像を実行し、
   前記接触検出部は、
   前記第１の期間に撮像した画像と、前記第２の期間に撮像した画像と、を比較して、前記指示体が、前記自発光指示体と前記非発光指示体のいずれであるかを判定し、
   前記指示体が前記非発光指示体であるときに、前記第１の期間に、前記照射検出光が前記非発光指示体で反射された反射検出光によって撮像された前記第１撮像画像と前記第２撮像画像とを用いて、前記投写画面への前記非発光指示体の接触を検出し、
   前記指示体が前記自発光指示体であるときに、前記第２の期間に、前記自発光指示体が前記発光パターンで発する前記指示体信号光を撮像した画像に基づいて、前記投写画面への前記自発光指示体の接触を検出する、インタラクティブプロジェクター。
3. 請求項１または請求項２記載のインタラクティブプロジェクターであって、
   前記第１カメラ及び前記第２カメラは、近赤外光の波長を含む波長領域の光を受光して撮像する第１の撮影機能と、可視光を含む光を受光して撮像する第２の撮影機能と、を有し、
   前記位置検出部は、前記指示体の接触の検出を開始する前に、
   前記第１カメラが、前記第２の撮影機能により、前記投写画面に投写された測定用画像を撮像した撮像画像に基づいて、前記指示体が前記投写画面に接触しているときの前記第１カメラの座標系における２次元座標位置と、前記投写画面の２次元座標位置と、を対応付ける第１座標変換係数を、前記第１対応データとして算出し、
   前記第２カメラが、前記第２の撮影機能により、前記投写画面に投写された測定用画像を撮像した撮像画像に基づいて、前記指示体が前記投写画面に接触しているときの前記第２カメラの座標系における２次元座標位置と、前記投写画面の２次元座標位置と、を対応付ける第２座標変換係数を、前記第２対応データとして算出する、インタラクティブプロジェクター。
4. 投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターの制御方法であって、
   スクリーン面上に前記投写画面を投写し、
   近赤外光の波長を含む波長領域の光を受光して撮像する第１カメラ及び第２カメラを含む複数台のカメラで、近赤外光の照明検出光で照射された前記投写画面の領域を撮像し、
   前記第１カメラによって撮像された前記指示体を含む第１撮像画像から、前記指示体が前記投写画面に接触しているときの前記第１撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第１対応データを用いて、前記投写画面上における前記指示体の第１座標位置を検出するとともに、前記第２カメラによって撮像された前記指示体を含む第２撮像画像から、前記指示体が前記投写画面に接触しているときの前記第２撮像画像における前記指示体の２次元座標位置と前記投写画面上における前記指示体の２次元座標位置とが対応付けられた第２対応データを用いて前記投写画面上における前記指示体の第２座標位置を検出し、
   ２次元座標位置として求められた前記第１座標位置と、前記第２座標位置とが許容誤差内で一致したときに、前記指示体の前記投写画面への接触を検出する、インタラクティブプロジェクターの制御方法。

Images