JP2017040840A - 情報処理装置、情報処理方法および投影装置 - Google Patents

Abstract

【課題】３次元センサを介してジェスチャ認識を行う際にユーザが３次元空間中における操作可能な領域を容易に把握することができる情報処理装置を提供する。【解決手段】投影装置１００は、所定の領域を撮像するカメラ１０８を有する。また、撮像結果に含まれるオブジェクト（ユーザの手）を抽出して、所定の領域におけるユーザの手の相対的な位置に応じた所定の映像をガイド情報として生成するコントローラ１２０を有する。また、コントローラ１２０が生成したガイド情報をユーザの手に向けて投影するプロジェクタ１０７を有する。【選択図】図２

Description

本発明は、ＵＩ画面上で人が操作を行う際に参考となるガイド情報の表示制御に関する。

コンピュータの操作は、例えば表示装置の表示画面に表示されたＵＩ（User Interface）上のアイコンなどをユーザがマウスカーソルを用いて動かすことなどにより行われている。ユーザがマウスを一定量動かした場合、画面サイズの小さな表示装置ではＵＩ操作によるカーソルの移動距離は小さく、画面が大きな表示装置ではそれが大きくなるように制御される。

また近年、３次元センサを介して現実世界上のユーザの手の動きを観測し、ユーザがどのような操作を行っているかを認識（ジェスチャ認識）することにより、現実世界上に存在するものを操作対象にするデバイスが登場している。例えば、机上に置かれた本の上にプロジェクタで投影されたアイコンなどを操作できるものがある。このような場合、ユーザは表示画面を意識することなく、例えばキーボードなどを介さずにコンピュータに情報を入力したり、あるいは情報を引き出したりすることが可能になる。なお、現実世界のオブジェクトの１つに「ユーザの手」が挙げられる。

例えば、特許文献１に開示された投影装置では、ユーザがどのような操作を行っているかを示すガイド情報をユーザの手の甲に投影する。これにより、本来プロジェクタで投影面に対して情報を投影する際の阻害要因となるユーザの手を有効活用する、というものである。

特開２０１２−２０８４３９号公報

しかしながら、３次元センサを介してジェスチャ認識を行うデバイスは、３次元センサの観測範囲（カバー範囲）は有限である。そのため、ジェスチャ認識可能な範囲には限界がある。つまり、プロジェクタ等で操作可能な範囲を明示的に表示しない限り、机上のどこが操作可能なのかをユーザは把握することはできない。また、仮に明示的に表示した場合であっても、立体物に対して操作を行うなど空中（３次元空間中）でジェスチャ操作を行う用途においては、空中には情報を投影することはできない。そのため、ユーザは空中のどこが操作可能なのかをユーザは把握することはできない、という課題が残る。

本発明は、３次元センサを介してジェスチャ認識を行う際にユーザが３次元空間中における操作可能な領域を容易に把握することができる情報処理装置を提供することを、主たる目的とする。

本発明の情報処理装置は、所定の領域を撮像する撮像手段と、前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする。

本発明によれば、ユーザは３次元センサを介してジェスチャ認識を行う際に３次元空間中における操作可能な領域を容易に把握することができる。

第１実施形態に係る投影装置の外観の一例を示す模式図。 投影装置の機能構成の一例を説明するためのハードウェアブロック図。 投影装置の動作概要を説明するための図。 投影装置による事前処理の処理手順の一例を示すフローチャート。 投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャート。 第２実施形態に係る投影装置における設定画面の一例を示す図。 ＵＩ空間操作条件テーブル（表）の一例を示す図。 投影装置の動作概要を説明するための図。 図８とは異なる、投影装置の動作概要を説明するための図。 図８、図９とは異なる、投影装置の動作概要を説明するための図。 投影装置による事前処理の処理手順の一例を示すフローチャート。 投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャート。 投影装置によるガイド情報生成・投影処理の処理手順の一例を示すフローチャート。 第３実施形態に係る投影装置における設定画面の一例を示す図。 ＵＩ空間操作条件テーブル（表）の一例を示す図。 各操作可能領域に設定された属性情報を可視化した模式図。 投影装置による事前処理の処理手順の一例を示すフローチャート。 投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャート。 第４実施形態に係る投影装置の動作概要を説明するための図。 投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャート。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。また、本実施形態では、本発明に係る情報処理装置を投影装置として適用した場合の例を挙げて説明を進める。

［第１実施形態］
図１は、本実施形態に係る投影装置の外観の一例を示す模式図である。
図１に示す投影装置１００は、プロジェクタ１０７、カメラ１０８を含んで構成される。なお、図中に示す領域Ａは、プロジェクタ１０７が映像の投影を行うことができる投影可能領域の一例を表す。また、図中に示す領域Ｂは、カメラ１０８が例えばユーザの手の動きなどを計測（観測）することができる計測可能領域の一例を表す。これらの領域は、プロジェクタ１０７、カメラ１０８の種別・解像精度等に応じて規定される。なお、投影装置１００は、図１に示すように机上に載置されているものとして説明を進める。

図２は、投影装置１００の機能構成の一例を説明するためのハードウェアブロック図である。
投影装置１００は、プロジェクタ１０７、カメラ１０８、コントローラ１２０を含んで構成される。また、コントローラ１２０は、ＣＰＵ（Central Processing Unit）１０１、グラフィックコントローラ１０２、メモリコントローラ１０３、メインメモリ１０４、Ｉ／Ｏコントローラ１０５を含んで構成される。コントローラ１２０は、また、記憶装置の一種であるＨＤＤ（ハードディスクドライブ）１０６、内部バス１１０を有する。

投影装置１００が有するカメラ１０８は、例えば赤外線エミッタ内蔵のカメラであり、撮影した撮像画像をＲＧＢ輝度情報のデジタル信号に変換する。また、カメラ１０８は、赤外線の撮像素子を有する。このようにカメラ１０８は、撮像手段として機能する。なお、カメラ１０８は、Ｉ／Ｏコントローラ１０５を介して情報の送受信を行う。

プロジェクタ１０７は、ユーザに視覚的に知らせるべき情報を可視光により対象物（例えば、ユーザの手の甲）に投影する。プロジェクタ１０７はＩ／Ｏコントローラ１０５、グラフィックコントローラ１０２を介して情報の送受信を行う。

ＣＰＵ１０１は、投影装置１００が有する各構成機器を制御する。グラフィックコントローラ１０２は、プロジェクタ１０７による投影動作を制御する。メモリコントローラ１０３は、メインメモリ１０４に対するメモリアクセス全般を統括制御する。メインメモリ１０４は、例えば揮発性メモリである。メインメモリ１０４にはＨＤＤ１０６に記憶されている情報や一時的に使用する情報を格納することもできる。

内部バス１１０は、メモリコントローラ１０３、Ｉ／Ｏコントローラ１０５などの各構成機器間における情報伝達を仲介する。Ｉ／Ｏコントローラ１０５は、内部バス１１０を介して接続している各構成機器間の情報の送受信を制御する。ＨＤＤ１０６は、ブートローダプログラム及び投影装置制御プログラムなどの各種プログラム、及び、各種情報を格納する。

ＣＰＵ１０１は、投影装置１００の電源投入時にブートローダプログラムを読み出して実行する。また、ＣＰＵ１０１は、ＨＤＤ１０６に格納されている投影装置の制御プログラムを取得してメインメモリ１０４に格納する。そして、ＣＰＵ１０１がメインメモリ１０４に格納された投影装置制御プログラムを実行する。これにより、投影装置１００の有する各機能が実行される。

例えば、ＣＰＵ１０１がこの投影装置制御プログラムを実行して三次元計測を行う際には、カメラ１０８の赤外線エミッタから赤外線を被写体に向けて投射させ、カメラ１０８はその反射光を撮像する。これにより、撮像結果から３Ｄモデルデータを生成したり、人が行うジェスチャ（例えば、ユーザの手の動作）を解釈したり、プロジェクタ１０７を介してユーザに提供する情報を投影するなどの投影装置１００が有する機能が実現される。
また、ＣＰＵ１０１は、赤外線投射時刻と反射光の撮影時刻に基づいてカメラ１０８と被写体との距離を算出する。この距離算出方法は、ＴＯＦ（Time-of-Flight）法として広く知られている技術であるため詳細な説明は割愛する。

このように構成された投影装置１００では、カメラ１０８の撮像結果に基づいて人のジェスチャを解釈することができる。しかし、投影装置１００のユーザは、カメラ１０８の内蔵する赤外線エミッタが発する赤外光を視認することができない。そのため、投影装置１００を机上に置いて使用する場合、ユーザはジェスチャ操作を行える操作可能領域、つまり三次元計測が可能な範囲を把握することができない。しかし、本実施形態に係る投影装置１００では、カメラ１０８により計測可能な範囲をユーザに一目でわかるように示すことができる。以下、この点を中心に説明を進める。

図３は、投影装置１００の動作概要を説明するための図である。
投影装置１００は、図中に示す三次元空間（ｘ、ｙ、ｚ）の操作可能領域Ｃにおいてユーザのジェスチャ操作を検出することができる。操作可能領域Ｃは、図３に示すように、カメラ１０８の計測可能領域Ｂ（図１参照）からカメラ１０８へ向けて所定距離離れた立体的な空間からなる領域である。なお、操作可能領域Ｃは実際にはユーザの目には見えないため図３においては模式的に図示している。

また、カメラ１０８と計測対象物（例えば、ユーザの手）との距離が近すぎる場合、赤外線反射光が強すぎることなどから正常に計測が行えずに計測誤差が大きくなることがある。そのため、本実施形態に係る投影装置１００では、ユーザにストレスのない操作感を提供するために、ユーザが行うジェスチャ操作を検出する領域をカメラ１０８から所定距離離れた領域に設定する。これにより、ジェスチャ操作の検出精度を高めることができる。

また、図３中に示す位置ｂは、ユーザの手が操作可能領域Ｃの内側（領域内）にあることを模式的に表している。この場合、ジェスチャ操作が可能であることをユーザに通知するために、投影装置１００はガイド情報として、プロジェクタ１０７を介してユーザの手に向かって例えば黄色の光を照射する。

また、図３中に示す位置ｃは、ユーザの手が操作可能領域Ｃの縁にあることを模式的に表している。この場合、これ以上操作可能領域Ｃから手が離れるとジェスチャ操作が行えなくなることをユーザに通知するために、投影装置１００はガイド情報として、プロジェクタ１０７を介してユーザの手に向かって例えば赤色の点滅光を照射する。

また、図３中に示す位置ｄと位置ｅは、ユーザの手が操作可能領域Ｃの外にあることを模式的に表している。この場合、ジェスチャ操作が不可能であることをユーザに通知するために、投影装置１００はプロジェクタ１０７を制御して、例えばユーザの手に対して何も投影しないようにする。

なお、本実施形態の説明では、ユーザの手と操作可能領域の相対的な位置性に応じて、黄色、赤色の点滅といった色や発光パターンを介してユーザにガイド情報を提供しているが、それに限定するものではない。その他にも例えば、ユーザの手が操作可能領域中心から外に向かって移動している時に警告の文言を投影し、操作可能領域外から中心に向かって移動している時には警告を投影しない、などと制御しても良い。

図４は、投影装置１００による事前処理の処理手順の一例を示すフローチャートである。また、図５は、投影装置１００によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。なお、図４、図５に示す各処理は、主としてＣＰＵ１０１により実行される。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ４０１）。ＣＰＵ１０１は、撮像結果に基づいて、ＴＯＦ法による計測を行い机上の三次元座標情報を生成する（Ｓ４０２）。ＣＰＵ１０１は、カメラ１０８を介した計測が可能な机上の領域Ｂ（図１参照）を決定する（Ｓ４０３）。ＣＰＵ１０１は、机上の領域Ｂを基準にして操作可能領域Ｃ（図３参照）を決定する（Ｓ４０４）。このようにして、一連の事前処理を終了する。次に、ガイド情報投影に係るメイン処理について図５を用いて説明する。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ５０１）。ＣＰＵ１０１は、撮像結果に基づいて、ＴＯＦ法による計測を行い机上の三次元座標情報を生成する（Ｓ５０２）。ＣＰＵ１０１は、生成した三次元座標情報に含まれる手（ユーザの手）に関する三次元座標情報を抽出する（Ｓ５０３）。ＣＰＵ１０１は、抽出した情報に基づいて操作可能領域Ｃにおける手の位置を判別する（Ｓ５０４）。

ＣＰＵ１０１は、ユーザの手の位置が操作可能領域Ｃ内にあると判別した場合（Ｓ５０４：領域内）、ユーザの手に関する三次元座標情報に基づいてこの手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成する（Ｓ５０５）。ＣＰＵ１０１は、ステップＳ５０５の処理において生成したガイド情報を、プロジェクタ１０７を介してユーザの手に向けて投影する（Ｓ５０８）。

また、ＣＰＵ１０１は、手の位置が領域端にあると判別した場合（Ｓ５０４：領域端）、ユーザの手に関する三次元座標情報に基づいてこの手の形状にあわせた赤色点滅領域をガイド情報として生成する（Ｓ５０６）。ＣＰＵ１０１は、ステップＳ５０６の処理において生成したガイド情報を、プロジェクタ１０７を介してユーザの手に向けて投影する（Ｓ５０８）。

また、ＣＰＵ１０１は、手の位置が領域外にあると判別した場合（Ｓ５０４：領域外）、ガイド情報をクリアする（Ｓ５０７）。なお、この場合、ステップＳ５０８の処理ではユーザの手には何も投影されないことになる。投影装置１００では、図５に示す一連の処理を例えば１秒間に３０回などのパターンで定期的に繰り返し行うように制御される。これにより、ユーザの手の動きに追従したガイド情報の投影を行うことができる。

なお、ここでは投影装置１００が１つのプロジェクタ１０７、１つのカメラ１０８を有するものとして説明した。これに限らず、例えば２つのプロジェクタ、２つのカメラを有する投影装置１００が２つのカメラの計測可能領域に基づいて操作可能領域を決定するように構成しても良い。また、操作可能領域を示す情報を２つのプロジェクタでユーザの手に向けてガイド情報を投影するように構成しても良い。

このように、本実施形態に係る投影装置１００では、例えばユーザが手を動かしてジェスチャ操作を行う場合、３次元空間中の操作可能領域、つまり装置がジェスチャを認識することができる領域を容易に把握することができる。

［第２実施形態］
第１実施形態では、カメラ１０８の計測可能領域に基づいて操作可能領域を決定する構成を例に挙げて説明した。ここでは、机上の任意の場所にユーザが操作可能領域を設定し、さらにこれらの領域に対して制約条件が設定可能に構成された投影装置１００について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。

例えば、店舗で投影装置１００を置いたテーブルをはさんで店員とお客様が座っているような状況を考える。この場合、投影装置１００のプロジェクタ１０７が投影するＵＩにおいて、例えば発注メニューなどは店員のみ操作が許可され、お客様には操作が許可されないようにしたいことがある。
例えば、机上に侵入してきた手や腕の方向（侵入方向）に基づいてジェスチャ操作者を識別し、さらにＵＩボタンに設定された操作権限に応じて操作可否を切り替えるなど方法がある。しかし、お客様にはどのＵＩボタンを自分が操作可能か否かを知り得ない。
本実施形態に係る投影装置１００では、ユーザ毎に操作の許可／不許可が設定された操作可能領域に基づいて、それぞれのユーザの操作可能領域が一目で把握できるようになる。以下、この点を中心に説明を進める。

図６は、本実施形態に係る投影装置における設定画面の一例を示す図である。投影装置１００では、設定画面Ｆを介して操作可能領域と属性情報が設定される。この設定画面Ｆは、投影装置１００がプロジェクタ１０７を介して机上に投影する。なお、属性情報とは、例えばユーザ毎の操作の許可／不許可を表す情報である。

ユーザは、設定画面Ｆを介して、ジェスチャ操作により操作可能領域を設定したい場所を指定する。例えば、ユーザが図中の地点ｐ（開始点）を指先でタッチした場合、ＵＩの中心位置を基準にして地点ｐの座標情報（−３００，−３００）が参考情報としてｍｍ単位系で表示される。そして、ユーザがタッチしたままの状態で図中の地点ｑ（終了点）まで指先を動かしてタッチを終了した場合、ＵＩの中心点を基準にして地点ｑの座標情報（−１０, −３００）が参考情報としてｍｍ単位系で表示される。

また、設定画面Ｆでは、ユーザが指定した操作可能領域に対する属性情報を設定するためのダイアログが表示される。ユーザは、机上を基準位置として、ダイアログを介してジェスチャ操作を検知可能な範囲を特定する。検知可能な範囲の特定は、例えば机上からの高さの情報（距離情報）を設定する。また、ユーザの掌の大きさ情報（サイズ情報）、手の差し入れ方向（挿入方向）などを設定する。このようにして、指定した操作可能領域と、この領域に対する操作の許可／不許可とを関連付けることができる。なお、操作可能領域の位置情報と属性情報の対応関係は、例えば後述するＵＩ空間操作条件テーブル（表）に情報として格納されてメインメモリ１０４内に保持される。

例えば、操作可能領域に手を差し入れたユーザが子供の場合、掌の大きさ情報に基づいて子供向けのガイド情報を表示するなどの制御が可能になる。なお、掌の大きさは、カメラ１０８で計測したユーザの手の三次元座標情報を元に算出することで求められる。
また、図６に示す属性情報の設定例では、ジェスチャ操作が地点ｐと地点ｑが対角をなす矩形領域の机上高さ２００［ｍｍ］までの空間内で、且つ、投影装置１００から見て右側から差し入れられた掌の面積が１６０［ｍｍ＾２］以上の手であれば操作を受け付けると設定している。

図７は、ＵＩ空間操作条件テーブル（表）の一例を示す図である。図７に示すＵＩ空間操作条件テーブルでは、操作可能領域の位置情報と属性情報の対応関係を規定する。
図中に示すテーブルの１行目には、図６を用いて説明した、ユーザが指定した操作可能領域と属性情報とが関連付けて設定されていることが見て取れる。また、２行目に示された場合では、指定された操作可能領域において手の差し入れられた方向は関係なく、掌の面積が１６０［ｍｍ＾２］以上の手であれば操作を許可するように設定されていることが見て取れる。

図８、図９、図１０は、本実施形態に係る投影装置の動作概要を説明するための図である。
図８では、投影装置１００を基準にして図左側に存在する店員がジェスチャ操作を行っている様子を示している。図中に示す領域ｇは、例えば図７において説明したテーブル１行目のように設定された操作可能領域であり、店員のみに操作が許可されている領域である。
また、図中に示す領域ｈは、例えば図７において説明したテーブル２行目のように設定された操作可能領域であり、掌の面積が１６０［ｍｍ＾２］以上の手であれば操作が許可される領域である。ここでは、大人の手であれば誰でも操作が許可される領域であるとする。

また、図中に示す位置ｉにおいては店員の手は領域ｇに入っており、店員はこの領域でジェスチャ操作が許可される。この場合、投影装置１００はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ１０７を介して店員の手に向けて黄色の光を照射する。
また、図中に示す位置ｊでは、店員の手は領域ｈに入っており、店員はこの領域でもジェスチャ操作が許可される。この場合、同様に投影装置１００はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ１０７を介して店員の手に向けて黄色の光を照射する。

図９は、投影装置１００を基準にして図右側に存在するお客様がジェスチャ操作を行っている様子を示している。上記の通り、図中の領域ｇは店員のみ操作が許可されている領域であり、図中の領域ｈは、大人であれば誰でも操作が許可される領域である。
図中の位置ｋにおいてはお客様の手が領域ｈに入っており、お客様はこの領域でジェスチャ操作が許可される。この場合、投影装置１００はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ１０７を介してお客様の手に向けて黄色の光を照射する。

また、図中に示す位置ｌでは、お客様の手が領域ｇに入っている。しかしながら、この領域ではお客様のジェスチャ操作は許可されていない。この場合、投影装置１００はジェスチャ操作が許可されていないことを通知するために、例えばプロジェクタ１０７を制御してお客様の手には何も投影されないようにする。

図１０は、投影装置１００を基準にして図右側に存在する子供が領域ｈに手を差し入れている様子を示している。上記の通り、図中の領域ｇは店員のみ操作が許可されている領域であり、図中の領域ｈは、大人であれば誰でも操作が許可される領域である。
図中の位置ｍにおいては、子供の手が領域ｈに入っている。しかしながら、子供はこの領域ｈにおいてジェスチャ操作が許可されていない。投影装置１００は差し入れられた手の掌の大きさから子供であると判別した場合、子供の注意が領域ｈ外に向かうように、例えばプロジェクタ１０７を介してガイド情報を机上と子供の手に投影する。例えば、領域ｈ内から外に向かって移動する虫のアニメーション画像ｎ（第２の映像）を机上に投影し、子供の手には図中の吹き出しに示した様な虫網画像（第１の映像）などを投影する。これは、操作の受け付けを拒否するときのガイド情報となる。

図１１は、本実施形態に係る投影装置による事前処理の処理手順の一例を示すフローチャートである。また、図１２は、本実施形態に係る投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。また、図１３は、本実施形態に係る投影装置によるガイド情報生成・投影処理の処理手順の一例を示すフローチャートである。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ１１０１）。ＣＰＵ１０１は、ＴＯＦ法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する（Ｓ１１０２）。ＣＰＵ１０１は、三次元座標情報に含まれる手の情報を抽出してジェスチャ認識を行う（Ｓ１１０３）。
ＣＰＵ１０１は、ジェスチャ操作の種別を判別する（Ｓ１１０４）。ジェスチャ種別が机上をタッチする開始点選択のジェスチャ操作であると判別した場合（Ｓ１１０４：開始点選択）、ＣＰＵ１０１は、開始点をメインメモリ１０４に記憶する（Ｓ１１０５）。また、タッチ終了による終了点選択のジェスチャ操作であると判別した場合（Ｓ１１０４：終了点選択）、終了点をメインメモリ１０４に記憶する（Ｓ１１０６）。また、属性情報を設定するためのダイアログ操作ジェスチャであると判別した場合（Ｓ１１０４：属性情報設定）、属性情報をメインメモリ１０４に記憶する（Ｓ１１０７）。

ＣＰＵ１０１は、開始点、終了点、属性情報に係る情報が揃ったか否かを判断する（Ｓ１１０８）。揃っている場合（Ｓ１１０８：Ｙｅｓ）、ＣＰＵ１０１は、開始点、終了点、属性情報の各情報をＵＩ空間操作条件テーブルに格納する（Ｓ１１０９）。また、そうでない場合（Ｓ１１０８：Ｎｏ）、ステップＳ１１０１の処理に戻る。
以下、ガイド情報投影に係るメイン処理の処理手順について、図１２を用いて説明する。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ１２０１）。ＣＰＵ１０１は、ＴＯＦ法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する（Ｓ１２０２）。ＣＰＵ１０１は、三次元座標情報に含まれる１又は複数の手の情報を抽出する（Ｓ１２０３）。
ＣＰＵ１０１は、ＵＩ空間操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す（Ｓ１２０４）。ＣＰＵ１０１は、ガイド情報生成・投影処理を実行する（Ｓ１２０５）。
なお、図１２に示す処理は、投影装置１００が例えば１秒間に３０回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影を行うことができる。
以下、ステップＳ１２０５の処理であるガイド情報生成・投影処理の詳細について、図１３を用いて説明する。

ＣＰＵ１０１は、操作可能領域に差し入れられた手が属性情報に合致するか否かを判別する（Ｓ１３０１）。合致する場合（Ｓ１３０１：Ｙｅｓ）、ＣＰＵ１０１は、手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成し（Ｓ１３０２）、生成したガイド情報をプロジェクタ１０７を介して投影する（Ｓ１３０３）。また、そうでない場合（Ｓ１３０１：Ｎｏ）、ＣＰＵ１０１は、属性情報に合致しない理由が掌の面積が足りないためであるか否かを判別する（Ｓ１３０４）。

掌の面積が足りないと判別した場合（Ｓ１３０４：Ｙｅｓ）、ＣＰＵ１０１は、差し入れられた手が子供の手であると見なして、虫が飛ぶアニメーション画像ｎと虫網画像をガイド情報として生成する（Ｓ１３０５）。ＣＰＵ１０１は、プロジェクタ１０７を介して虫が飛ぶアニメーション画像と虫網画像を投影する（Ｓ１３０６）。また、そうでない場合（Ｓ１３０４：Ｎｏ）、ガイド情報をクリアする（Ｓ１３０７）。
なお、図１３に示す処理は、図１２に示すステップＳ１２０３の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。

［第３実施形態］
ここまでは、属性を設定する操作可能領域の位置を、ジェスチャ操作による矩形領域を指定することにより行う場合の例を説明した。しかしながら、操作可能領域の属性を設定する手段はこれに限るものではない。以下、ＵＩボタン毎に属性を指定するように構成された投影装置１００について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。

図１４は、本実施形態に係る投影装置における設定画面の一例を示す図である。
図１４に示す設定画面Ｐは、投影装置１００がプロジェクタ１０７を介して机上に投影する。ユーザは、属性情報を設定したいＵＩボタンをジェスチャ操作で指定する。例えば、ユーザが図中の領域ｑに示すＵＩボタン（ＩＤ：０２）を指先でタッチすると、この操作可能領域に対して属性情報を設定するためのダイアログが表示される。ユーザはダイアログを介してジェスチャ操作を検知可能とする机上からの高さの情報、この操作可能領域を操作可能なユーザの掌の大きさ情報、手の差し入れ方向などを設定する。このようにして操作受け付けの可否を指定することができる。

図１５は、本実施形態に係るＵＩ空間操作条件テーブル（表）の一例を示す図である。図１５に示すＵＩ空間操作条件テーブルでは、操作可能領域の個々のＵＩボタンを示すＵＩボタンＩＤと属性情報の対応関係を規定する。
図中に示すテーブルの２行目には、ＵＩボタンＩＤ０１に対して図１４を用いて説明した属性情報が関連付けて設定されていることが見て取れる。ＵＩボタンＩＤ０１、ＩＤ０２は、本体右側から差し入れられた手でボタン上空２００［ｍｍ］以内にあり、且つ、掌の面積が１６０［ｍｍ＾２］以上の手であれば操作が許可されることを示している。ＵＩボタンＩＤ０３、ＩＤ０４は、手の差し入れられた方向は関係なく、掌の面積が１６０［ｍｍ＾２］以上の手であれば操作が許可されることを示している。

図１６は、各操作可能領域に設定された属性情報を可視化した模式図である。
図中に示す領域ｒは、ＵＩボタンＩＤ０１に対応する操作可能領域、領域ｓは、ＵＩボタンＩＤ０２に対応する操作可能領域であり、共に店員のみ操作が許可された領域である。
また、図中に示す領域ｔは、ＵＩボタンＩＤ０３に対応する操作可能領域、領域ｕは、ＵＩボタンＩＤ０４に対応する操作可能領域であり、共に大人であれば誰でも操作が許可される領域である。

図１７は、本実施形態の投影装置による事前処理の処理手順の一例を示すフローチャートである。また、図１８は、本実施形態の投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ１７０１）。ＣＰＵ１０１は、ＴＯＦ法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する（Ｓ１７０２）。ＣＰＵ１０１は、三次元座標情報に含まれる手の情報を抽出してジェスチャ認識を行う（Ｓ１７０３）。ＣＰＵ１０１は、ジェスチャ操作の種別を判別する（Ｓ１７０４）。

ジェスチャ操作の種別が机上をタッチするＵＩボタン選択のジェスチャ操作であると判別した場合（Ｓ１７０４：ボタン選択）、ＣＰＵ１０１は、選択されたＵＩボタンの情報をメインメモリ１０４に記憶する（Ｓ１７０５）。また、属性情報を設定するためのダイアログ操作ジェスチャであると判別した場合（Ｓ１７０５：属性情報設定）、属性情報をメインメモリ１０４に記憶する（Ｓ１７０６）。

ＣＰＵ１０１は、選択されたＵＩボタンの情報、属性情報が揃ったか否かを判別する（Ｓ１７０７）。揃っている場合（Ｓ１７０７：Ｙｅｓ）、選択されたＵＩボタンの情報、属性情報の各情報をＵＩ部品操作条件テーブルに格納する（Ｓ１７０８）。また、そうでない場合（Ｓ１７０７：Ｎｏ）、ステップＳ１７０１の処理に戻る。

ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ１８０１）。ＣＰＵ１０１は、ＴＯＦ法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する（Ｓ１８０２）。ＣＰＵ１０１は、三次元座標情報に含まれる１又は複数の手の情報を抽出する（Ｓ１８０３）。
ＣＰＵ１０１は、ＵＩ部品操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す（Ｓ１８０４）。ＣＰＵ１０１は、ガイド情報生成投影処理（図１３参照）を実行する（Ｓ１８０５）。
なお、図１８に示す処理は、投影装置１００が例えば１秒間に３０回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行える。また、図１３に示す処理は、図１８に示すステップＳ１８０３の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。

［第４実施形態］
ここでは、机上に立体物が載置され、この立体物に対してユーザがジェスチャ操作を行う場合を例に挙げて説明する。例えば、投影装置１００がプロジェクタ１０７を介して立体物に向けて映像を投影しており、投影先である立体物の周囲で行われるユーザのジェスチャ操作に応じてこの立体物に投影されている映像を切り替える、というような使用例を想定する。
このように、本実施形態では、立体物に対して行うジェスチャ操作の操作可能な領域をユーザが認識することができる投影装置１００について説明する。
なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。

図１９は、本実施形態に係る投影装置の動作概要を説明するための図である。
図中に示す立体物Ｖは、例えば机上に載置された模型などの立体物である。図中に示す領域ｗは、立体物の外表面を基準にしてジェスチャ操作が行える操作可能領域を模式的に表わしている。

図中に示す位置ｘにおいてはユーザの手が領域ｗに入っており、ユーザはこの領域でジェスチャ操作が許可される。この場合、投影装置１００はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ１０７を介してユーザの手に向けて黄色の光を照射する。
また、図中に示す位置ｙにおいてはユーザの手が領域ｗ外、つまり操作可能領域の外に存在する。この場合、投影装置１００はジェスチャ操作が可能な領域をユーザに通知するために、プロジェクタ１０７を介してユーザの手に向けて、例えば手の位置から最も近いジェスチャ操作が可能な領域の方向を示す矢印画像ｚを投影する。

図２０は、投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。
ＣＰＵ１０１は、カメラ１０８を介して机上に向けて赤外光の投射及び撮像を開始する（Ｓ２００１）。ＣＰＵ１０１は、ＴＯＦ法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する（Ｓ２００２）。ＣＰＵ１０１は、三次元座標情報に含まれるオブジェクトの情報を抽出するジェスチャ認識を行う（Ｓ２００３）。ＣＰＵ１０１は、オブジェクトの種別を判別する（Ｓ２００４）。

手以外であると判別した場合（Ｓ２００４：手以外）、抽出したオブジェクトの三次元情報に基づいて、オブジェクトから所定距離までに含まれる領域を操作可能領域としてメインメモリ１０４に記憶する（Ｓ２００５）。その後、ステップＳ２００１の処理に戻る。
また、手であると判別した場合（Ｓ２００４：手）、ステップＳ２００３の処理において抽出した操作可能領域に対する手の位置が操作可能領域に入っているか否かを判別する（Ｓ２００６）。

手の位置が操作可能領域に入っていると判別した場合（Ｓ２００６：領域内）、手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成し（Ｓ２００７）、プロジェクタ１０７を介してガイド情報を手に向けて投影する（Ｓ２００９）。
また、そうでない場合（Ｓ２００６：領域外）、例えば手の位置から最も近い操作可能領域の方向を示す矢印画像ｚをガイド情報として生成し（Ｓ２００８）、プロジェクタ１０７を介してガイド情報を手に向けて投影する（Ｓ２００９）。
なお、図２０に示す処理は、投影装置１００が例えば１秒間に３０回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行うことができる。

上記説明した実施形態は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。

１００・・・投影装置、１２０・・・コントローラ、１０７・・・プロジェクタ、１０８・・・カメラ。

Claims (10)

1. 所定の領域を撮像する撮像手段と、
   前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、
   前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする、
   情報処理装置。
2. 前記所定の領域は、前記撮像手段が三次元空間において前記オブジェクトを検知可能な範囲を特定するための領域であることを特徴とする、
   請求項１に記載の情報処理装置。
3. 前記所定の領域において１又は複数の領域を操作可能領域として設定し、この操作可能領域それぞれに対して操作受け付けの可否を含む属性情報を個別に設定する設定手段を有し、
   前記生成手段は、前記操作可能領域それぞれに設定された属性情報、及び、この操作可能領域における前記オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成することを特徴とする、
   請求項１又は２に記載の情報処理装置。
4. 前記オブジェクトは、１又は複数のユーザの手であることを特徴とする、
   請求項１、２又は３に記載の情報処理装置。
5. 前記属性情報は、前記所定の領域における基準位置から前記撮像手段までの間において前記オブジェクトを検知させる範囲を特定するための距離情報、前記ユーザの掌のサイズ情報、前記領域に対する当該手の差し入れ方向を表す情報の少なくとも一つの情報を含んでいることを特徴とする、
   請求項４に記載の情報処理装置。
6. 前記ガイド情報は、前記オブジェクトによる操作の受け付けの可否を表す情報であることを特徴とする、
   請求項１乃至５いずれか一項に記載の情報処理装置。
7. 前記操作の受け付けを拒否するときのガイド情報が、前記オブジェクトに向けて投影される第１の映像と、前記領域内からその外に向けて投影される第２の映像とを含んで構成されることを特徴とする、
   請求項６に記載の情報処理装置。
8. 前記所定の領域は、前記投影手段による映像の投影先である立体物の外表面から所定の距離だけ離れた領域であることを特徴とする、
   請求項１乃至７いずれか１項に記載の情報処理装置。
9. 情報処理装置が行う情報処理方法であって、
   所定の領域を撮像する工程と、
   前記撮像の結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する工程と、
   前記生成したガイド情報を前記オブジェクトに向けて投影する工程と、を有することを特徴とする、
   情報処理方法。
10. 所定の領域を撮像する撮像手段と、
    前記オブジェクトに向けて映像を投影する投影手段と、
    前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における前記オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、
    前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする、
    投影装置。