JP4848521B2

JP4848521B2 - プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム

Info

Publication number: JP4848521B2
Application number: JP2007088827A
Authority: JP
Inventors: 弘之宮本; 佑介佐藤
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2011-12-28
Anticipated expiration: 2027-03-29
Also published as: JP2008250482A

Description

本発明は、例えば、プレゼンテーション、案内、または掲示に使用可能なプロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システムに関する。

近年、プロジェクタは、低価格化により急速に普及しており、プレゼンテーションに留まらず、例えば、イベント会場または店舗における宣伝映像の投影のように、様々な場面で使用されている。
また、入力手段も、従来のように、ボタン、マウス、またはキーボードによるものだけでなく、投影映像（以下、単に映像ともいう）に対する直感的な入力操作を可能とする技術が、多数提案されている。代表的な例としては、映像に書き込んだ文字が、そのままコンピュータ側にも反映されるシステム、指示者が映像の特定部分を指し棒で指したときにその位置を検出するシステム、または映像の特定部分を赤外光を用いた走査基で指したときにその位置を検出するシステムがある（例えば、特許文献１、２参照）。

特開平５−２８１９３３号公報特開２００１−１２５７３６号公報

しかしながら、前記した技術では、特殊なスクリーンを用いるため、システムが大規模になったり、また指示者が指し棒または走査器を使う必要があり、使い勝手が悪いという問題があった。

本発明はかかる事情に鑑みてなされたもので、プロジェクタから投影面に投影された映像の一部を、手の指によって直接指差す際に、その指差した位置を、特別な入力手段を用いることなく、簡単な装置構成で検出可能なプロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システムを提供することを目的とする。

前記目的に沿う第１の発明に係るプロジェクタ投影映像のマウス代替操作方法は、プロジェクタから投影面に投影された映像の一部を、手の指によって指差す際に、前記プロジェクタから照射された前記手の部分を含む所定領域を適切な明るさに設定し、該手を撮像装置により撮像して前記指が指差した位置を検出するプロジェクタ投影映像のマウス代替操作方法であって、前記所定領域の照度を他の部分よりも暗く設定している。

第１の発明に係るプロジェクタ投影映像のマウス代替操作方法において、前記撮像装置による前記手の検出は、該手の肌の色を判別することにより行うことが好ましい。
第１の発明に係るプロジェクタ投影映像のマウス代替操作方法において、前記手の肌の色は、色相、彩度、および明度の閾値処理により検出することが好ましい。

前記目的に沿う第２の発明に係るプロジェクタ投影映像のマウス代替操作システムは、投影面に映像を投影するプロジェクタと、該プロジェクタにより投影された前記映像の一部を指差す手の指を撮像可能な撮像装置と、該プロジェクタおよび該撮像装置に接続され、該撮像装置からの映像信号を基に前記プロジェクタの出力を制御する演算処理装置とを有するプロジェクタ投影映像のマウス代替操作システムであって、
前記演算処理装置には、前記プロジェクタから前記投影面に前記映像を投影する際に、前記撮像装置により撮像した前記手の部分を含む所定領域を適切な明るさに設定する半透明マスク処理手段が設けられ、しかも、前記所定領域の照度を他の部分よりも暗く設定している。

第２の発明に係るプロジェクタ投影映像のマウス代替操作システムにおいて、前記演算処理装置には、更に、前記半透明マスク処理手段で調整された前記映像の前記手の部分を、該手の肌の色で判別する指先検出手段が設けられていることが好ましい。
第２の発明に係るプロジェクタ投影映像のマウス代替操作システムにおいて、前記指先検出手段は、色相、彩度、および明度の閾値処理を行うことが好ましい。

請求項１〜３記載のプロジェクタ投影映像のマウス代替操作方法、および請求項４〜６記載のプロジェクタ投影映像のマウス代替操作システムは、手の部分を含む所定領域を適切な明るさに設定するので、プロジェクタによる手の認識精度の低下を抑制できる。また、従来のシステムのように、指示者が特殊な機器を使用する必要もない。
従って、プロジェクタから投影面に投影された映像の一部を、手の指によって直接指差す際に、その指差した位置を、特別な入力手段を用いることなく、簡単な装置構成で検出できる。

特に、このプロジェクタ投影映像のマウス代替操作方法、およびこのプロジェクタ投影映像のマウス代替操作システムは、手の部分を含む所定領域の照度を他の部分よりも暗く設定するので、プロジェクタの照度の影響による手の認識精度の低下を抑制できる。通常、プロジェクタの投影面上にある手は、強い光に照らされるため、画像処理による検出が非常に困難であるが、所定領域の照度を他の部分よりも暗くすることで、色と明るさの外乱を減少させ、手の指が指差した位置の検出精度を向上できる。なお、所定領域の照度を、映像が読み取れる程度の暗さに設定することで、映像の視認性を保つこともできる。
請求項２記載のプロジェクタ投影映像のマウス代替操作方法、および請求項５記載のプロジェクタ投影映像のマウス代替操作システムは、撮像装置による手の検出を、手の肌の色を判別することにより行うので、指が指差した位置を簡単な手法で容易に判別できる。
請求項３記載のプロジェクタ投影映像のマウス代替操作方法、および請求項６記載のプロジェクタ投影映像のマウス代替操作システムは、手の肌の色を、色相、彩度、および明度の閾値処理により検出するので、撮像装置の三原色であるＲＧＢと比較して、色の種類による分離が容易である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
ここで、図１は本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作方法を適用するマウス代替操作システムの説明図、図２（Ａ）、（Ｂ）はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の位置データマップの説明図、図３（Ａ）、（Ｂ）はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の平滑化処理の説明図、図４は同プロジェクタ投影映像のマウス代替操作方法のフローチャートである。

まず、本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作システムについて説明した後、本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作方法について説明する。
図１に示すように、プロジェクタ投影映像のマウス代替操作システム（以下、単にマウス代替操作システムともいう）１０は、投影面１１に映像１２を投影するプロジェクタ１３と、このプロジェクタ１３により投影された映像１２の一部を指差す手１４の指１５を撮像可能なＵＳＢカメラ（撮像装置の一例、以下、単にカメラともいう）１６と、このプロジェクタ１３およびＵＳＢカメラ１６に接続され、ＵＳＢカメラ１６からの映像信号を基にプロジェクタ１３の出力を制御する演算処理装置とを有する。なお、演算処理装置としては、通常のパソコン（以下、コンピュータともいう）１７が利用できる。以下、詳しく説明する。

プロジェクタ１３は、本実施の形態では、以下の仕様のものを使用した。
製品名：マルチメディアプロジェクターＥＬＰ−７３（ＥＰＳＯＮ製）
方式：三原色液晶シャッタ式投影方式
輝度：１５００ｌｍ（ルーメン）
コントラスト比：５００対１
液晶パネル画素数：１０２４×７６８
色再現性：１６７７万色フルカラー
なお、使用するプロジェクタは、上記した構成以外のものでも勿論よい。
ＵＳＢカメラ１６は、本実施の形態では、以下の仕様のものを使用した。
製品名：ＬｏｇｉｔｅｃｈＱｃａｍＩｎｓｔａｎｔＭｅｓｓｅｎｇｅｒ
映像素子：Ｔｒｕｅ３０万画素ＣＭＯＳセンサー
有効画素数：Ｔｒｕｅ３０万画素６４０×４８０ピクセル
フレームレート：最大３０フレーム／秒
なお、ＵＳＢカメラ以外の撮像装置、例えば、ＣＣＤカメラを使用することもできる。

コンピュータ１７は、投影面位置検出手段、位置データマップ作成手段、半透明マスク処理手段、指先検出手段、マウス動作手段、および記憶手段を有しており、この各手段は、例えば、コンピュータ１７に搭載されたプログラムによって構成されている。以下、各手段について説明する。
投影面位置検出手段は、カメラ１６の画像内座標と、プロジェクタ１３が投影した画像内座標を対応付けるため、投影面１１のコーナー（角部）４隅のカメラ１６の画像内座標を取得するものである。
まず、プロジェクタ１３が投影する画面全体を白（単色）で描画した状態と、黒で描画した状態を、カメラ１６でそれぞれ撮影する。なお、カメラ１６による撮像範囲は、投影される画面全体を含むようにする。
次に、得られた２枚の画像の差分を取り、閾値処理を施すことで、投影面１１の映像１２部分とそうでない部分とに分かれた二値画像を得ることができる。そして、この二値画像を多角形（本実施の形態では、四辺形）で近似することにより、映像１２部分の４隅の座標を得ることができる。

位置データマップ作成手段は、投影面位置検出手段の処理で得られたコーナー４隅の座標から、二次元の射影変換によって、カメラ１６の画像内座標とプロジェクタ１３が投影した画像内座標の対応を計算した位置データマップを作成するものである。
ここで、二次元の射影変換について説明する。
この二次元の射影変換とは、形状の異なる二つの四辺形の各位置の座標を対応付けたいときに利用するものである。
図２（Ａ）に示すように、一方の四辺形を単位の正方形とし、その左下隅を原点とする。そして、任意の形状の四辺形同士を射影する場合は、まず変換元の四辺形の逆変換を求め、単位正方形にして、変換先に適応させる。

ここで、変換と逆変換の公式を以下に示す。
Ｘ＝（ａ_１ｘ＋ｂ_１ｙ＋ｃ_１）／（ａ_０ｘ＋ｂ_０ｙ＋ｃ_０）、
Ｙ＝（ａ_２ｘ＋ｂ_２ｙ＋ｃ_２）／（ａ_０ｘ＋ｂ_０ｙ＋ｃ_０）・・・（１）
ｘ＝（Ａ_１Ｘ＋Ｂ_１Ｙ＋Ｃ_１）／（Ａ_０Ｘ＋Ｂ_０Ｙ＋Ｃ_０）、
ｙ＝（Ａ_２Ｘ＋Ｂ_２Ｙ＋Ｃ_２）／（Ａ_０Ｘ＋Ｂ_０Ｙ＋Ｃ_０）・・・（２）
本実施の形態では、カメラ１６の画像内の指先座標を投影画像に対応付けするため、Ｘ、Ｙを変換前の指先座標とし、式（２）を用いて、変換後の座標ｘ、ｙを計算する。なお、各係数は、変換前の四辺形の四隅座標から求めることができる。

計算を単純化するため、図２（Ｂ）に示すように、変換元の四辺形の左下隅を原点にオフセットする。なお、各頂点の座標を、以下のように対応させることにより、ｃ_１＝ｃ_２＝Ｃ_１＝Ｃ_２＝０となる。
（ｘ，ｙ）⇔（Ｘ，Ｙ）
（０，０）⇔（０，０）
（１，０）⇔（Ｘ_２，Ｙ_２）
（１，１）⇔（Ｘ_３，Ｙ_３）
（０，１）⇔（Ｘ_４，Ｙ_４）

また、各係数の計算式を次に示す。
ａ_１＝Δ_１３４Ｘ_２
ｂ_１＝Δ_１２３Ｘ_４
ａ_２＝Δ_１３４Ｙ_２
ｂ_２＝Δ_１２３Ｘ_４
ａ_０＝Δ_１３４−Δ_２３４
ｂ_０＝Δ_１２３−Δ_２３４
ｃ_０＝Δ_２３４

Ａ_１＝−Δ_１２３Δ_２３４Ｙ_４
Ｂ_１＝Δ_１２３Δ_２３４Ｘ_４
Ａ_２＝Δ_１３４Δ_２３４Ｙ_２
Ｂ_２＝−Δ_１３４Δ_２３４Ｙ_４
Ａ_０＝δ_１１Δ_１２３Ｙ_４＋δ_２２Δ_１３４Ｙ_２
Ｂ_０＝δ_１１Δ_１２３Ｘ_４＋δ_２２Δ_１３４Ｘ_２
Ｃ_０＝−Δ_１２３Δ_１２４Δ_１３４

Δ_１２３＝Ｘ_２Ｙ_３−Ｘ_３Ｙ_２
Δ_１２４＝Ｘ_２Ｙ_４−Ｘ_４Ｙ_２
Δ_１３４＝Ｘ_３Ｙ_４−Ｘ_４Ｙ_３
Δ_１２３４＝Δ_１２３＋Δ_１３４
Δ_２３４＝Δ_１２３４−Δ_１２４
δ_１１＝Δ_１２３−Δ_１２４
δ_２２＝Δ_１３４−Δ_１２４
以上に示したように、位置データマップ作成手段により、カメラ１６の画像内の全座標を計算し、データマップとして記憶手段に保存しておくことで、指先検出時にこのマップを参照して、即座に対応する映像座標に、カーソルを移動させることができる。

半透明マスク処理手段は、プロジェクタ１３から投影面１１に画像を投影する際に、マスクを使用し、カメラ１６により撮像した手１４の部分（一部または全部、少なくとも指先）を含む所定領域の照度を、適切な明るさ、即ち他の部分よりも暗く設定するものである。投影面１１上では、手１４が映像による外乱を受けるため、色による手１４の検出が非常に困難である。そこで、半透明のマスクを用いることで、指先検出の精度向上を図っている。
ここで、手１４の部分の照度を他の部分よりも暗く設定するとは、例えば、他の部分の照度を１００％とした場合、映像１２の視認性を妨げない範囲で、手１４の部分の照度を２０％以上８０％以下（好ましくは、下限を４０％、上限を６０％）程度とすることが好ましい。この照度をルクス（ｌｘ）に換算すれば、例えば、５０〜３０００ルクス程度である。

なお、暗く設定（マスク）する所定領域は、初期状態か一つ前のフレーム（映像）で指先が検出されていない場合は映像１２全体に、検出されている場合は前フレームの指先位置周辺とすることが好ましい。また、例えば、手１４が投影面１１の映像１２上から抜けた場合、または手１４を見失った場合は、再び映像１２全体にマスクをかけるとよい。
従って、マスクする所定領域が手１４の部分であれば、照度の比較の対象となる他の部分は、映像１２上の手１４が存在しない領域であり、また、マスクする所定領域が映像１２全体であれば、他の部分は、映像１２以外の投影面１１の領域となる。
なお、映像１２の視認性から考慮すれば、マスクする所定領域を手１４の部分のみとすればよいが、コンピュータの処理能力を考慮すれば、手１４およびその周辺部をマスクすることが好ましく、その形状を、例えば、四角形、円、または楕円とすることが好ましい。このとき、マスクする所定領域の最大幅を０．１〜１ｍの範囲にすることが好ましい。

指先検出手段は、平滑化処理、肌色検出処理、および特徴点抽出処理を、この順序で順次行うものである。以下、これらの各処理の詳細について説明する。
平滑化処理とは、カメラ１６の画像に平滑化を施すことで、細かいノイズなどを除去する処理である。よく知られた平滑化手法としては、例えば、平均値フィルタ、メディアンフィルタ、またはガウシアンフィルタがある。
平均値フィルタは、最も基本的な平滑化手法であり、例えば、対象が３×３画素の平方領域の場合、中心となる画素の濃度値を、その８近傍の点を含めた９画素の濃度の平均値とすることで、平滑化を行う手法である。

これに対し、メディアンフィルタは、平均値でなく濃度の中央値、即ち９画素を濃度順に並べて５番目の値を中心の画素値とする手法である。このため、輪郭がぼやけにくいという特徴を有している。
また、ガウシアンフィルタは、単純に平均値をとるのではなく、ガウス関数に基づいて対象の中心に近い画素の重みを大きくし、遠い画素の重みを小さくした加重平均をとる手法である。このガウス関数の係数σの値を変えることで、画像のぼかし具合を調節することができる。

本実施の形態では、係数によってぼかし具合を調整可能なガウシアンフィルタを採用した。
この２次元のガウス関数は、次式で表される。
ｆ（ｘ，ｙ）＝ｅ^ｎ
ここで、ｎ＝−（ｘ^２＋ｙ^２）／２σ^２・・・（３）
この式（３）によって得られるｆ（ｘ，ｙ）の値を、対象領域の大きさに合わせて正規化する。これに従って加重平均をとることで平滑化処理を行う。
なお、図３（Ａ）、（Ｂ）に示すように、σの値が大きくなるほど、対象の点に近い画素と離れた画素の重みの差が小さくなっていくため、画像の輪郭はよりぼやけたものとなる。この図３（Ａ）はσ＝１．０のとき、（Ｂ）はσ＝１．５のときの２次元ガウス関数を示している。

肌色検出処理は、カメラ１６の画像の色情報により、肌の色を判別するため、肌色の領域を抽出するものである。本実施の形態では、例えば、赤または青のような色の種類による分離が容易なＨＳＶ表色系を用いた。ＨＳＶ表色系は、色の種類を表す色相（Ｈｕｅ）、色の鮮やかさを表す彩度（Ｓａｔｕｒａｔｉｏｎ）、色の明るさを表す明度（Ｖａｌｕｅ）の３要素からなっている。
ここで、カメラ１６の三原色であるＲＧＢからＨＳＶへの変換式を示す。
Ｈ＝ｔａｎ^−１｛（ｇ−ｂ）／（２ｒ−ｇ−ｂ）｝・・・（４）
Ｓ＝｛（ｂ−ｒ）^２＋（ｒ−ｇ）^２＋（ｇ−ｂ）^２｝／３・・・（５）
Ｖ＝Ｒ＋Ｇ＋Ｂ・・・（６）
上記したｒ、ｇ、ｂは、それぞれ次の式から得られる。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）・・・（７）
そして、ＨＳＶ表色系の閾値処理により、肌色領域を検出する。なお、この閾値処理は、手１４全体の５０％以上（好ましくは７０％以上）が判別できるように、色相、彩度、および明度を調整する。

特徴点抽出処理は、得られた手１４の輪郭に対して処理を施す手法である。この特徴点抽出は、例えば、従来公知のＳｈｉ、Ｔｏｍａｓｉらによるアルゴリズム（ＪｉａｎｂｏＳｈｉａｎｄＣａｒｌｏＴｏｍａｓｉ．”ＧｏｏｄＦｅａｔｕｒｅｓｔｏＴｒａｃｋ”．ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ｐａｇｅｓ５９３−６００，１９９４．）を用いることができる。
ここで、画素（ｘ，ｙ）の値ｆ（ｘ，ｙ）を高さとすると、映像１２は一枚の曲面とみなすことができる。この曲面の特徴点を微分に基づいて求める。

まず、注目する点とその近傍の画素値の微分から、式（８）に示す行列Ｃを定義する。

この行列Ｃの固有値λを、ｄｅｔ（Ｃ−λＩ）＝０を解くことで得る。このとき、注目する点とその周辺の濃度が、完全に均一ならば、λ_１＝λ_２＝０となる。
これにより、得られた固有値λ_１、λ_２が、ｍｉｎ（λ_１、λ_２）＞Ｔｈ_λとなる画素を特徴点とする。なお、Ｔｈ_λは閾値である。
このアルゴリズムにより、変化の大きい点を複数個検出することができる。

本実施の形態は、投影した映像１２を操作する手法であることから、指示者１８が映像１２の正面に立つのではなく、映像１２の左右どちらかから手１４を伸ばし、映像１２上を指差すものと仮定した。
そこで、前記したアルゴリズムで検出された複数個の特徴点のうち、指示者１８の手１４が左側から入ってきている場合は最も右の点、右側から入ってきている場合は最も左の点を、それぞれ指先として選択した。なお、手１４が映像１２の左右のいずれの側から入ってきたかは、最初に映像１２上で手１４が検出されたときの特徴点群の重心位置によって判断し、手１４が映像１２上から外へ出るとリセットされる。
以上の各種処理により、マスクがかかっている範囲内で、色の閾値処理による肌色検出を行い、得られた手１４の輪郭に特徴点抽出を施して、指先の座標を得ることができる。

マウス動作手段は、従来公知のものであり、指先検出によって得られた指先の位置座標を、前記した位置データマップを参照し、対応する位置にカーソルを移動させるものである。
ボタンの動作は、指先を一定時間（例えば、３秒以上）停止させることで行う。
まず、指先を、ボタン動作を行いたい映像１２の特定部分の位置で一定時間以上停止する。これにより、その近傍に「クリック」、「ドラッグ」と書かれたボタンのメニューが表示される。その状態で、行いたい動作のメニューボタン上に指を移動し、再び一定時間停止することで、選択された動作が行われる。また、メニューが表示された状態で、それ以外の位置に指を動かした場合には、表示されたメニューが消える。
以上に示したように、本発明はマウスの代替として指示者１８の手１４を使用するものであり、必要なハードウェアーは、プロジェクタ１３、ＵＳＢカメラ１６、およびコンピュータ１７のみを基本構成（他の装置を含んでもよい）としているので、指示者１８の身体に特殊な機器を装着する必要もないため、システムが安価でその構成が簡単である。

続いて、本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作方法（以下、単にマウスの操作方法ともいう）について、前記したマウス代替操作システム１０および図４を参照しながら説明する。
まず、図４に示すように、ステップ１（ＳＴ１）で、プロジェクタ１３のスイッチをオンにし、例えば、スクリーン、掲示板、または建物の壁面のような投影面１１に対して、映像１２を投影する。このとき、カメラ１６とコンピュータ１７の電源もオンにする。なお、プロジェクタ１３とカメラ１６は、投影面１１に対して同一方向に配置されている。
そして、ステップ２（ＳＴ２）で、コンピュータ１７の投影面位置検出手段により、映像１２部分の４隅の座標を算出し、カメラ１６の画像内座標と、プロジェクタ１３が投影した画像内座標とを対応付ける。
ステップ３（ＳＴ３）で、コンピュータ１７の位置データマップ作成手段により、カメラ１６の画像内座標とプロジェクタ１３が投影した画像内座標の対応を計算した位置データマップを作成する。

以上の準備段階が終了した後、指示者１８は、マウスの代替となる手１４の指１５で、映像１２の特定部分を指差しながら、例えば、プレゼンテーションを行う。従って、上記した投影面位置検出と、位置データマップ作成は、マウス代替操作システム１０の起動時に、一度だけ行えばよい。
そして、指示者１８は、投影面１１に投影された映像１２の特定部分を、手１４の指１５で差し示しながら、例えば、映像１２の説明を行う。
このとき、ステップ４（ＳＴ４）で、コンピュータ１７の半透明マスク処理手段により、プロジェクタ１３から照射された手１４の部分の照度を、映像１２の他の部分よりも暗く設定する。

次に、ステップ５（ＳＴ５）で、コンピュータ１７の指先検出手段により、カメラ１６が撮像した画像に対して、前記した平滑化処理、肌色検出処理、および特徴点抽出処理を、この順序で順次行う。これにより、カメラ１６により撮像した手１４の指１５が指差した映像１２の特定部分の位置を検出できる。
そして、ステップ６（ＳＴ６）で、コンピュータ１７のマウス動作手段により、カーソルを移動させ、指示者１８は、必要に応じて映像１２上にメニュー画面を表示し、これらのメニューから必要事項を検索できる。
更に、ステップ７（ＳＴ７）で、終了ボタンが押されなければ、再度、以上に示したステップ４〜ステップ６の半透明マスク処理、指先位置検出、およびマウス動作を、順次実行する。
そして、指示者１８による説明が終了すれば、ステップ８（ＳＴ８）で終了ボタンを押し、プロジェクタ１３、カメラ１６、およびコンピュータ１７の電源をオフにする。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。例えば、前記したそれぞれの実施の形態や変形例の一部または全部を組合せて本発明のプロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システムを構成する場合も本発明の権利範囲に含まれる。

本発明の一実施の形態に係るプロジェクタ投影映像のマウス代替操作方法を適用するマウス代替操作システムの説明図である。（Ａ）、（Ｂ）はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の位置データマップの説明図である。（Ａ）、（Ｂ）はそれぞれ同プロジェクタ投影映像のマウス代替操作方法の平滑化処理の説明図である。同プロジェクタ投影映像のマウス代替操作方法のフローチャートである。

符号の説明

１０：プロジェクタ投影映像のマウス代替操作システム、１１：投影面、１２：映像、１３：プロジェクタ、１４：手、１５：指、１６：ＵＳＢカメラ（撮像装置）、１７：パソコン、１８：指示者

Claims

プロジェクタから投影面に投影された映像の一部を、手の指によって指差す際に、前記プロジェクタから照射された前記手の部分を含む所定領域を適切な明るさに設定し、該手を撮像装置により撮像して前記指が指差した位置を検出するプロジェクタ投影映像のマウス代替操作方法であって、前記所定領域の照度を他の部分よりも暗く設定することを特徴とするプロジェクタ投影映像のマウス代替操作方法。
請求項１記載のプロジェクタ投影映像のマウス代替操作方法において、前記撮像装置による前記手の検出は、該手の肌の色を判別することにより行うことを特徴とするプロジェクタ投影映像のマウス代替操作方法。
請求項２記載のプロジェクタ投影映像のマウス代替操作方法において、前記手の肌の色は、色相、彩度、および明度の閾値処理により検出することを特徴とするプロジェクタ投影映像のマウス代替操作方法。
投影面に映像を投影するプロジェクタと、該プロジェクタにより投影された前記映像の一部を指差す手の指を撮像可能な撮像装置と、該プロジェクタおよび該撮像装置に接続され、該撮像装置からの映像信号を基に前記プロジェクタの出力を制御する演算処理装置とを有するプロジェクタ投影映像のマウス代替操作システムであって、
前記演算処理装置には、前記プロジェクタから前記投影面に前記映像を投影する際に、前記撮像装置により撮像した前記手の部分を含む所定領域を適切な明るさに設定する半透明マスク処理手段が設けられ、しかも、前記所定領域の照度を他の部分よりも暗く設定することを特徴とするプロジェクタ投影映像のマウス代替操作システム。
請求項４記載のプロジェクタ投影映像のマウス代替操作システムにおいて、前記演算処理装置には、更に、前記半透明マスク処理手段で調整された前記映像の前記手の部分を、該手の肌の色で判別する指先検出手段が設けられていることを特徴とするプロジェクタ投影映像のマウス代替操作システム。
請求項５記載のプロジェクタ投影映像のマウス代替操作システムにおいて、前記指先検出手段は、色相、彩度、および明度の閾値処理を行うことを特徴とするプロジェクタ投影映像のマウス代替操作システム。