JP5817149B2 - 投影装置 - Google Patents

Description

本発明は、投影装置に関する。

従来より、プロジェクターにより机や壁にキーボードを投影し、そのキーボードを操作する指をビデオカメラにより撮像した画像を解析して演算を行ったり、当該演算結果を用いて機器を操作したりすることが提案されている（例えば、特許文献１）。

特開２０００−２９８５４４号公報

しかしながら、従来の装置は、例えばキーボードなどの画像が投影される位置が固定されていて、ユーザにとっては必ずしも使い勝手のよい装置とはなっていなかった。

本発明は上記の課題に鑑みてなされたものであり、ユーザにとって使い勝手のよい投影装置を提供することを目的とする。

本発明の投影装置は、撮像部（３２）が撮像した対象者の画像を入力する入力部（３０）と、前記撮像部が撮像した前記対象者の位置に応じて、前記対象者が行った第１のジェスチャーを受け付け、前記第１のジェスチャーとは異なる第２のジェスチャーを受け付けない受付部（３０）と、を備えている。

この場合において、画像を投影する投影部（３０，５０）を備え、前記受付部は、投影された前記画像の中央部に前記対象者が位置する場合には、前記第１のジェスチャーを受け付け、前記第２のジェスチャーを受け付けないこととしてもよい。また、画像を投影する投影部を備え、前記受付部は、投影された前記画像の端部に前記対象者が位置する場合には、前記第１のジェスチャー及び前記第２のジェスチャーを受け付けることとしてもよい。

本発明の投影装置では、前記第１のジェスチャーを登録可能な登録部（４０）を備えることができる。この場合、前記対象者を認識する認識部（３０）を備え、前記登録部に登録される前記第１のジェスチャーは前記対象者と関連つけて登録され、前記受付部は、前記認識部の認識結果に応じて、前記対象者が行った前記第１のジェスチャーを受け付け、前記第１のジェスチャーとは異なる第２のジェスチャーを受け付けないこととすることができる。

本発明の投影装置では、前記受付部は、前記第１のジェスチャーを受け付ける時間を設定することとしてもよい。また、前記受付部は、前記第１のジェスチャーを受け付けた後に、前記第１のジェスチャーとは異なる第３のジェスチャーを検出したときに、前記第１のジェスチャーの受け付けを終了とすることとしてもよい。

また、本発明の投影装置が、画像を投影する投影部を備える場合、前記投影部は、前記受付部が受け付けた第１のジェスチャーに応じて、前記投影された画像の少なくとも一部を変更することとしてもよい。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明によれば、ユーザにとって、使い勝手のよい投影装置を提供することができる。

第１の実施形態に係る投影システムの概要を示す図である。 投影システムのブロック図である。 図２の制御装置のハードウェア構成を示す図である。 制御装置の機能ブロック図である。 制御部の処理において用いるデータベースを示す図である。 制御部の処理を示すフローチャートである。 図６のステップＳ１４の具体的な処理を示すフローチャートである。 図６のステップＳ２０の具体的な処理を示すフローチャートである。 図９（ａ）は、第２の実施形態においてスクリーン上に設けられるジェスチャー領域を示す図であり、図９（ｂ）は、撮像素子とジェスチャー領域との対応付けを示す図である。 第２の実施形態の変形例を示す図である。 第１、第２の実施形態の変形例を示す図である。

《第１の実施形態》
以下、第１の実施形態について、図１〜図８に基づいて、詳細に説明する。図１は投影システム１００の概要を示す図であり、図２は、投影システム１００の構成を示すブロック図である。

本第１の実施形態の投影システム１００は、プレゼンテーションを行う人（プレゼンター）のジェスチャーに基づいて、スクリーンに投影される画像の制御を行うシステムである。投影システム１００は、図１に示すように、パーソナルコンピュータ１２（以下、パソコンと呼ぶ）と、撮像装置３２と、スクリーン１６と、投影装置１０と、を備える。

パソコン１２は、図２に示すように、ＣＰＵ（Central Processing Unit）６０と、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）を有する表示部６２と、表示部６２や投影装置１０に投影するプレゼン資料などのデータを記憶している不揮発性のメモリ６４と、投影装置１０と通信を行う通信部６６と、を有する。なお、通信部６６の通信方式としては無線通信及び有線通信のいずれを採用してもよい。なお、パソコン１２に代えて、種々の情報処理装置を用いることとしてもよい。

撮像装置３２は、撮影レンズや、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complimentary Metal Oxide Semiconductor）イメージセンサなどの矩形状の撮像素子、及びこの撮像素子を制御する制御回路などを有しており、投影装置１０に内蔵されており、後述の不揮発性メモリ４０には、撮像装置３２と後述の投影部５０との位置関係が装置定数として記憶されている。

撮影レンズとしては、撮像装置３２が、投影装置１０の投影する投影領域よりも広い範囲を撮像できるように広角レンズが用いられている。また、撮影レンズは、フォーカスレンズを有しており、焦点検出装置の焦点検出結果に応じてフォーカスレンズの位置が調節可能となっている。撮像装置３２は、投影装置１０との間で通信を行うための通信機能を有しており、当該通信機能を用いて撮像した画像データを投影装置１０に送信する。

なお、図１では、撮像装置３２を投影装置１０に内蔵しているが、これに限らず、パソコン１２の近傍に配置してもよい。また、撮像装置３２をパソコン１２に接続するようにしてもよい。この場合、撮像装置３２の通信機能を用いて、撮像した画像データをパソコン１２に送信し、パソコン１２から投影装置１０に対して画像データを送信するようにすればよい。また、撮像装置３２を、投影装置１０から独立させて、投影装置１０の近傍に配置してもよい。この場合は、撮像装置３２が投影装置１０の投影領域よりも広い範囲を撮像したり、もしくは、後述の２つのマーク２８を撮像したりすることにより、投影システム１００は、投影装置１０と撮像装置３２との位置関係を認識することができる。

なお、本第１の実施形態では、広角レンズを用いて投影装置１０の投影する投影領域よりも広い範囲を撮像するようにしたが、これに限られるものではない。例えば、撮像装置３２を複数用いることで、投影領域よりも広い範囲を撮像するようにしてもよい。

スクリーン１６は、壁等に設けられる白色の（又はほぼ白色の）矩形状の幕である。スクリーン１６には、図１に示すように、投影装置１０によりプレゼンテーションの資料画像（メイン画像）１８が投影されるとともに、プレゼンターがジェスチャーをして資料画像を操作する際に用いるメニュー画像２０が投影される。スクリーン１６の右上隅と左下隅には、矩形状のマーク２８が設けられているものとする。このマーク２８は、撮像装置３２がスクリーン１６の大きさを視認するためのマークである。マーク２８は、例えば、一辺が２ｃｍの正方形であるものとする。撮像装置３２では、撮像装置３２が有する撮像レンズの焦点距離と、撮像素子のサイズが既知であるので、撮像素子の画素出力により、撮像装置３２とスクリーン１６との距離を検出することができる。なお、撮像装置３２を投影装置１０から独立した場合でも、撮像装置３２と投影装置１０とをスクリーン１６から同距離の位置に配置する場合には、スクリーン１６と投影装置１０との距離を検出することができる。

なお、スクリーン１６にマーク２８を設ける代わりに、投影装置１０により投影したマークを撮像して撮像装置３２とスクリーン１６との距離を検出するようにしてもよい。また、撮像装置３２と投影装置１０とをスクリーン１６から同距離の位置に配置する場合には、投影装置１０により投影したマークを撮像してスクリーン１６と投影装置１０との距離を検出するようにしてもよい。この場合、スクリーン１６と投影装置１０との距離に応じてマークの大きさがどのように変化するかを示すテーブルを不揮発性メモリ４０（後述）に記憶しておいてもよい。

なお、上記においては、マーク２８の大きさに基づいて、スクリーン１６と撮像装置３２又は投影装置１０との距離を検出する場合について説明したが、これに限らず、２つのマーク２８間の距離に基づいて、スクリーン１６と撮像装置３２又は投影装置１０との距離を検出することとしてもよい。また、２つのマーク２８を撮像した画像の大きさや形状の違いに基づいて、スクリーン１６に対する撮像装置３２又は投影装置１０の設置姿勢（角度）を検出するようにしてもよい。

投影装置１０は、図２に示すように、制御装置３０と、投影部５０と、メニュー表示部４２と、ポインタ投影部３８と、不揮発性メモリ４０と、通信部５４と、を有する。通信部５４は、パソコン１２の通信部６６からプレゼンテーションの資料などの画像データを受信する。

制御装置３０は、投影装置１０全体を統括的に制御する。図３には、制御装置３０のハードウェア構成が示されている。図３に示すように、制御装置３０は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６等を備えており、制御装置３０の構成各部は、バス９８に接続されている。制御装置３０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラムをＣＰＵ９０が実行することにより、図４の各部の機能が実現される。すなわち、制御装置３０では、ＣＰＵ９０がプログラムを実行することにより、図４に示す、制御部１５０、画像処理部５２、顔認識部３４、ジェスチャー認識部３６、位置検出部３７としての機能が実現される。

制御部１５０は、制御装置３０において実現される各機能、及び制御装置３０に接続される各部を統括的に制御する。

画像処理部５２は、プレゼンテーションの資料などの画像データや撮像装置３２で撮像された画像データを処理する。具体的には、画像処理部５２は、画像データの画像サイズやコントラストを処理し、当該画像データを投影部５０の光変調素子４８に出力する。

顔認識部３４は、撮像装置３２が撮像した画像を制御部１５０から取得して、当該画像からプレゼンターの顔を検出する。また、顔認識部３４は、画像から検出した顔と、不揮発性メモリ４０に記憶されている顔データとを比較（例えばパターンマッチング）して、プレゼンターを認識（特定）する。

ジェスチャー認識部３６は、撮像装置３２と協働して、プレゼンターのジェスチャーを認識するものである。本第１の実施形態においては、ジェスチャー認識部３６は、ジェスチャー認識用のメニュー画像２０の前にプレゼンターの手があることを撮像装置３２が撮像した画像中の色認識（肌色認識等）により認識して、ジェスチャーを認識する。

位置検出部３７は、例えば、投影部５０が投影する投影領域と撮像装置３２の撮像素子が撮像する領域とを対応付けることにより、撮像装置３２が撮像した画像から、プレゼンターの位置を検出することができる。

図２に戻り、投影部５０は、光源４４と、照明光学系４６と、光変調素子４８と、投射光学系４９と、を有する。光源４４は、例えば光を出射するランプである。照明光学系４６は、光源４４から出射された光束を光変調素子４８に照明する。光変調素子４８は、例えば液晶パネルであり、スクリーン１６上に投影する画像（画像処理部５２から入力された画像データに基づく画像）を生成する。投射光学系４９は、光変調素子４８からの光束をスクリ−ン１６に向けて投射する。なお、投射光学系４９は、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。

メニュー表示部４２は、制御部１５０の指示の下、撮像装置３２が撮像した画像に基づいて位置検出部３７が検出したプレゼンターの位置に応じて、ジェスチャー認識用のメニュー画像２０（図１参照）をスクリーン１６上に表示する。メニュー表示部４２の具体的構成は、投影部５０とほぼ同様の構成とすることができる。すなわち、本実施の形態においては、投影装置１０は２つの投影部（メイン画像を投影する投影部５０と、ジェスチャーメニューを投影するメニュー表示部４２）を有することになり、この２つの投影部の位置関係も装置定数として不揮発性メモリ４０に記憶されている。

メニュー表示部４２が表示するメニュー画像２０には、例えば、図１に示すように、拡大、縮小、ポインタ発光、ページ送り、ページ戻し、終了などの領域（以下、選択領域と呼ぶ）が含まれるものとする。ジェスチャー認識部３６では、例えば、撮像装置３２が撮像した画像に基づいて、プレゼンターがページ送りの選択領域の前に手を置いたことを検出したときには、プレゼンターがページ送りを行うジェスチャーを行っていると認識する。また、ジェスチャー認識部３６では、ページ送りの選択領域の前に存在するプレゼンターの手が３本指を示していれば、プレゼンターは３ページ分のページ送りを行うジェスチャーを行っていると認識する。なお、メニュー表示部４２は、制御部１５０の指示の下、プレゼンターの身長や位置に応じて、メニュー画像２０を表示する位置（高さ位置、左右位置など）を調整してスクリーン１６上に投影するものとする。

ポインタ投影部３８は、制御部１５０の指示の下、撮像装置３２が撮像した画像からジェスチャー認識部３６が認識したプレゼンターの手（指）の位置に応じて、スクリーン１６にポインタ（例えばレーザポインタ）を投影する。本第１の実施形態においては、図１に示すようにプレゼンターがメニュー画像２０のポインタ発光の選択領域の前に手を所定時間置いた後に、指でスクリーン１６上に線を引くジェスチャーや、領域を示すジェスチャー（楕円を描くジェスチャー）を行った場合に、ポインタ投影部３８は、制御部１５０の指示の下、ジェスチャーを行った部分にポインタを投影（照射）する。

不揮発性メモリ４０は、フラッシュメモリ等を含み、制御部１５０の制御において用いるデータ（顔の画像データ）や、撮像装置３２で撮像された画像のデータなどを記憶する。また不揮発性メモリ４０には、ジェスチャーに関するデータも記憶する。具体的には、不揮発性メモリ４０は、右手や左手の画像に関するデータや、指を用いた数字（１、２、３…）を表す画像のデータを記憶している。なお、不揮発性メモリ４０には、プレゼンターの顔のデータと関連付けて（紐付けて）、そのプレゼンターの身長や、手が届く範囲（高さ）の情報を格納してもよい。このように、不揮発性メモリ４０にプレゼンターの身長や、手が届く範囲（高さ）の情報を格納する場合、制御部１５０は、当該情報と、顔認識部３４の認識結果と基づいて、メニュー画像２０を表示する高さ位置を決定することができる。また、不揮発性メモリ４０又は制御装置３０のＨＤＤ９６内にメニュー画像を予め複数格納しておき、制御部１５０は、顔認識部３４の認識結果に応じて、プレゼンターごとにメニュー画像を使い分けるようにしてもよい。この場合、メニュー画像に対してプレゼンターを予め対応付けておいてもよい。

次に、第１の実施形態の投影システム１００の動作について、図５〜図８に基づいて説明する。なお、本実施形態では、不揮発性メモリ４０には、図５のようなデータベース（プレゼンターと、顔データと、身長とが関連付けられたデータベース）が格納されているものとする。

図６は、プレゼンターが投影システム１００を用いたプレゼンテーションを行う際の、制御部１５０による処理を示すフローチャートである。この処理が開始される前提として、パソコン１２、投影装置１０、撮像装置３２、及びスクリーン１６が図１のように設置され、各装置が起動された状態にあるものとする。

図６の処理では、まず、ステップＳ１０において、制御部１５０が、撮像装置３２が撮像した２つのマーク２８の位置を確認する。制御部１５０は、２つのマーク２８を撮像した撮像素子の画素の情報から、撮像装置３２とスクリーン１６との位置関係及び距離、並びに、投影装置１０とスクリーン１６との位置関係及び距離を求める。

次いで、ステップＳ１２では、制御部１５０が、顔認識部３４に対して、撮像装置３２が撮像した画像からプレゼンターの顔を認識するよう、指示を出す。この場合、顔認識部３４は、画像中に存在する顔と、不揮発性メモリ４０に記憶されている顔のデータ（図５参照）とを比較（パターンマッチング等）して、プレゼンターを特定する。なお、顔認識部３４が、プレゼンターの顔を認識できなかった場合、すなわち、画像中の顔が、不揮発性メモリ４０に記憶されている顔データと合致しなかった場合には、プレゼンターを未登録の人物として特定する。

なお、ステップＳ１０とステップＳ１２では、撮像装置３２により撮像された同一の画像を用いてもよいし、異なる画像を用いてもよい。また、ステップＳ１０とステップＳ１２の実行順を入れ替えてもよい。

次いで、ステップＳ１４では、制御部１５０等が、メニュー画像２０の位置を決定する処理を実行する。具体的には、図７のフローチャートに沿った処理が実行される。

図７の処理では、制御部１５０が、ステップＳ３５において、メニュー画像２０の高さを決定する。通常、プレゼンテーションの冒頭ではプレゼンターは立っている場合が多い。このため、制御部１５０は、顔（頭頂部近傍）を撮像した画素位置と、図５のデータベースに格納されている身長とを比較することにより撮像装置３２の撮像素子の画素と高さ方向の位置とを関連付けることができる。なお、身長の情報がデータベースに格納されていない場合、又はプレゼンターが未登録の人物である場合でも、手の届く範囲は、おおよそ頭頂部から３５〜５５ｃｍ程度であるので、制御部１５０は、これに基づいて、メニュー画像２０を表示する高さ位置を決定することができる。なお、ここで必要な高さ情報は、絶対的な高さ情報である必要はなく、投影装置１０とプレゼンターとの相対的な高さ情報が検出できればよい。

なお、制御部１５０は、本ステップＳ３５において、マーク２８を撮像した撮像素子の画素から、メニュー画像２０が投影される座標（スクリーン１６の平面内の座標（ｘ，ｙ））と、撮像素子のｘ，ｙ画素との対応付けを行うこととする。これにより、ジェスチャー認識部３６は、プレゼンターの手が撮像素子のどの画素に撮像されたかに基づいて、プレゼンターがメニュー画像２０のどの選択領域の前でジェスチャーを行っているかを認識することができることになる。

次いで、ステップＳ３６では、制御部１５０は、投影装置１０側から見たプレゼンターの左右位置を確認する。この場合、制御部１５０は、位置検出部３７によるプレゼンターの位置検出結果に基づいて、プレゼンターがスクリーン１６の左右どちらに存在しているのかを確認する。以上のようにして、図５の処理が終了すると、図６のステップＳ１６に移行する。

図６のステップＳ１６では、制御部１５０が、画像処理部５２及び光源４４を制御して、パソコン１２から送信される画像データから生成されるメイン画像１８を、投影部５０を介してスクリーン１６上に投影する。また、制御部１５０は、メニュー表示部４２を制御して、メニュー画像２０をスクリーン１６上に投影する。この場合、メニュー表示部４２は、メニュー画像２０を、ステップＳ１４において決定された高さ位置、及びスクリーン１６の左右位置のうちプレゼンターに近いほうの位置に投影する。なお、制御部１５０は、ステップＳ１０で取得した距離情報に応じて、投射光学系４９の投影倍率やフォーカス位置、及びメニュー表示部４２が有する投射光学系の投影倍率やフォーカス位置を調整するようにしてもよい。

次いで、ステップＳ１８では、制御部１５０は、撮像装置３２の撮像に基づいてジェスチャー動作があったか否かを判断する。具体的には、制御部１５０は、図１に示すように、スクリーン１６に投影されているメニュー画像２０の前に、プレゼンターの手が所定時間（例えば１〜３秒）存在していた場合に、ジェスチャー動作があったと判断する。このように、プレゼンターの手の位置を検出してジェスチャー動作の判断をすることにより、例えばプレゼンターの体がメニュー画像２０の前に位置する場合に、制御部５０はこのプレゼンターの動作がジェスチャー動作ではないと判断でき、ジェスチャー認識の精度を向上することができる。なお、投影装置１０側から見てプレゼンターがスクリーン１６の左側にいる場合には、左手によりメニュー画像２０に対するジェスチャー動作を行う可能性があり（右手による操作では自分の体で右手が遮られる可能性があり）、投影装置１０側から見てプレゼンターがスクリーン１６の右側にいる場合には、右手によりメニュー画像２０に対するジェスチャー動作を行なう可能性がある（左手による操作では自分の体で左手が遮られる可能性がある）。このため、制御部１５０は、プレゼンターがスクリーン１６の右側にいる場合には、プレゼンターの右手を優先的に探すようなアルゴリズムを採用してジェスチャーの有無を判断するようにしてもよい。ステップＳ１８の判断が肯定されるとステップＳ２０に移行するが、ステップＳ１８の判断が否定されると、ステップＳ２２に移行する。

ステップＳ１８の判断が肯定され、ステップＳ２０に移行した場合、制御部１５０は、ジェスチャー認識部３６で認識されたプレゼンターのジェスチャーに応じたメイン画像１８の制御処理を実行する。具体的には、制御部１５０は、図８のフローチャートに沿った処理を実行する。

図８の処理では、まず、ステップＳ５０において、制御部１５０が、ジェスチャー認識部３６の認識結果に基づいて、プレゼンターの手の位置を確認する。次いで、ステップＳ５４では、制御部１５０が、手の位置が特定の選択領域の前にあるか否かを判断する。なお、特定の選択領域とは、指の本数に応じた特別なジェスチャーが可能な選択領域を意味する。例えば、選択領域“拡大”や“縮小”では、プレゼンターが指の本数で倍率を指示することができるため、特定の選択領域であるものとする。また、例えば、選択領域“ページ送り”や“ページ戻し”では、プレゼンターが指の本数でページの送り数及び戻し数を指示することができるため、特定の選択領域であるものとする。これに対し、選択領域“ポインタ発光”や“終了”は指の本数では特別な指示を行えないので、特定の選択領域ではないものとする。ステップＳ５４における判断が肯定された場合には、ステップＳ５６に移行するが、否定された場合には、ステップＳ６２に移行する。

プレゼンターの手が特定の選択領域の前に無く、ステップＳ５６の判断が否定され、ステップＳ６２に移行した場合には、制御部１５０は、プレゼンターの手が位置している選択領域に応じた処理を行う。例えば、プレゼンターの手が位置している選択領域が“ポインタ発光”である場合には、制御部１５０は、ポインタ投影部３８を介して、前述したようにしてポインタをスクリーン１６上に投影する。また、例えば、プレゼンターの手が位置している選択領域が“終了”である場合には、制御部１５０は、画像処理部５２を介してスクリーン１６上へのメイン画像１８及びメニュー画像２０の投影を終了する。

一方、ステップＳ５４の判断が肯定されて、ステップＳ５６に移行すると、ジェスチャー認識部３６は、制御部１５０の指示の下、プレゼンターの行っているジェスチャーを認識する。具体的には、ジェスチャー認識部３６は、手の形（指の本数など）を認識する。この場合、ジェスチャー認識部３６は、手の形と、予め不揮発性メモリ４０に記憶されている手の形（１本指、２本指…などの手の形）のテンプレートとを比較（パターンマッチング等）することで、プレゼンターのジェスチャーを認識する。

次いで、ステップＳ５８では、制御部１５０は、ステップＳ５６で認識したプレゼンターのジェスチャーが、特定のジェスチャーか否かを判断する。ここでは、例えば、特定のジェスチャーが、２本指、３本指、４本指、５本指などの手の形であるものとする。ステップＳ５８の判断が否定された場合には、ステップＳ６２に移行し、制御部１５０は、プレゼンターの手が位置している選択領域に応じた処理（手の形を考慮しない処理）を行う。すなわち、例えば、プレゼンターの手が位置している選択領域が“ページ送り”であれば、制御部１５０は、１ページだけページ送りを行う指示を、通信部５４、６６を介して、パソコン１２のＣＰＵ６０に対して通知する。パソコン１２のＣＰＵ６０は、制御部１５０の指示に応じたページの画像データを、通信部６６、５４を介して画像処理部５２に対して送信する。

一方、ステップＳ５８の判断が肯定された場合には、ステップＳ６０に移行する。ステップＳ６０では、制御部１５０が、特定のジェスチャー及び選択領域に応じた処理を行う。具体的には、例えば、プレゼンターの手が位置している選択領域が“ページ送り”であり、手の形が３本指であれば、制御部１５０は、３ページだけページ送りを行う指示を、通信部５４、６６を介して、パソコン１２のＣＰＵ６０に対して通知する。パソコン１２のＣＰＵ６０は、投影装置１０の指示に応じたページの画像データを、通信部６６、５４を介して画像処理部５２に対して送信する。

以上のようにして、図８の処理が終了すると、図６のステップＳ２２に移行する。ステップＳ２２では、制御部１５０は、プレゼンテーションが終了か否かを判断する。なお、制御部１５０は、前述したメニュー画像２０の選択領域“終了”の前でのジェスチャーを認識した場合や、パソコン１２の電源がＯＦＦにされたことを認識した場合、あるいは撮像装置３２によりプレゼンターを所定時間撮像できない場合に、プレゼンテーションが終了したと判断することができる。ステップＳ２２の判断が肯定された場合には、制御部１５０は、図６の全処理を終了する。この場合、制御部１５０は、プレゼンテーションが終了ことを、通信部５４、６６を介して、パソコン１２のＣＰＵ６０に対して通知する。

一方、ステップＳ２２の判断が否定された場合には、ステップＳ２４に移行し、制御部１５０は、プレゼンターの位置が変化したか否かを判断する。なお、プレゼンターの位置とは、スクリーン１６を基準とした左右位置を意味する。ここでの判断が否定された場合には、ステップＳ１８に移行する。そして、制御部１５０は、ステップＳ１８以降の処理を実行する。すなわち、前回のステップＳ２０においてジェスチャーによる制御を行った後もメニュー画面２０の前にプレゼンターの手がある場合は、ジェスチャーによる制御を引続き行うことになる。なお、ステップＳ２０を経た後に再度ステップＳ１８に移行し、当該ステップＳ１８の判断が否定された場合、すなわち、ジェスチャーによるメイン画像１８の制御を行った後にメニュー画像２０の前からプレゼンターの手がなくなった場合は、ジェスチャーによるメイン画像１８の制御が終了となる。なお、制御部１５０は、ステップＳ１８が行われる間隔を所定時間（例えば０．５秒から１秒）として、１つのジェスチャー操作が終わった後、次のジェスチャー操作を認識するまでの間にインターバルを設けるようにしてもよい。

なお、ステップＳ２４の判断が肯定された場合には、ステップＳ１６に戻る。ステップＳ１６では、制御部１５０は、プレゼンターの位置に応じて、メニュー表示部４２を介してメニュー画像２０の投影位置（表示位置）を変更する。その後は、制御部１５０は、ステップＳ１８以降の処理を前述したのと同様に実行する。

以上のような図６〜図８のフローチャートに沿った処理が行われることで、プレゼンターの位置に応じてメニュー画像２０が投影され、また、プレゼンターがメニュー画像２０の前でジェスチャーしたときには、当該ジェスチャーに応じてメイン画像１８の操作（表示の変更）がなされるようになっている。

以上、詳細に説明したように、本第１の実施形態によると、投影装置１０の制御部１５０は、撮像装置３２が撮像したプレゼンターの画像を受け付け、当該画像におけるプレゼンターの位置に応じて、メニュー表示部４２を介して、メニュー画像２０をスクリーン１６に投影するので、プレゼンターが使用しやすい（ジェスチャーしやすい）位置にメニュー画像２０を投影することができる。これにより、ユーザにとって、使い勝手のよい投影装置を実現することができる。

また、本実施形態によると、制御部１５０は、プレゼンターの画像からプレゼンターの高さに関する情報（プレゼンターの身長など）を検出するので、プレゼンターの使用しやすい高さ位置にメニュー画像２０を投影することができる。この場合、制御部１５０は、データベースに、プレゼンターの顔データに関連付けてプレゼンターの身長等を登録しておくことで、プレゼンターの高さに関する情報を簡易に検出（取得）することが可能である。

また、本実施形態によると、制御部１５０は、プレゼンターの手の届く高さ（頭頂部から所定高さの位置）を検出することとしているので、プレゼンターの手が届く範囲にメニュー画像２０を投影することができ、使い勝手がよくなる。

また、本実施形態によると、不揮発性メモリ４０に、プレゼンターの高さに関する情報（身長など）を記憶しているので、身長と撮像装置３２の撮像素子の画素とを比較することで、撮像装置３２の撮像素子の画素と高さ方向の位置とを関連付けることができる。これにより、メニュー画像２０の投影位置を簡易に決定することが可能となる。

また、本実施形態によると、制御部１５０は、プレゼンターのスクリーン１６に対する左右位置に応じて、メニュー表示部４２を介してメニュー画像２０をスクリーン１６に投影するので、プレゼンターはメニュー画像２０の前でのジェスチャーをしやすくなる。

また、本実施形態によると、ジエスチャー認識部３６が、メニュー画像２０にプレゼンターの手が位置することを認識した場合に、制御部１５０は、投影部５０を介して、メイン画像１８の少なくとも一部を変更するので、プレゼンターは、手をメニュー画像２０の前に位置させるだけで、メイン画像１８の操作を行なうことができる。

また、本実施形態によると、制御部１５０は、ジエスチャー認識部３６が認識したプレゼンターの手の形に応じて、投影装置１０が投影するメイン画像１８の操作量を変更するので、例えば拡大、縮小の倍率や、ページ送りの送り量などを手の形を変更するのみで、簡易に行うことができる。

なお、上記第１の実施形態では、例えば図１のスクリーン１６のメイン画像１８の左側（図１においてプレゼンターが存在していない側）に、メニュー画像２０を投影するための余白を予め設けておいてもよい。このようにすることで、メニュー画像２０の位置を変更する際に（ステップＳ１６が２回目以降行われる際に）、メイン画像１８の位置を変更（左右方向にずらすなど）しなくてもよくなる。

なお、上記第１の実施形態では、プレゼンターがスクリーン１６の左右で位置を変えるたびに、メニュー画像２０の投影位置が変更される場合について説明したが、これに限られるものではない。すなわち、一度メニュー画像２０が投影された後は、その投影位置を固定することとしてもよい。ただし、メニュー画像２０の投影位置を固定した場合、プレゼンターが位置を変更すると、ジェスチャーによる操作を行いにくくなるおそれがある。この点を考慮した実施形態が、以下に説明する、第２の実施形態である。

《第２の実施形態》
次に、第２の実施形態について、図９（ａ）、図９（ｂ）に基づいて説明する。本第２の実施形態は、装置構成等は、上述した第１の実施形態と同一又は同等である。したがって、これらの説明については省略するものとする。

前述した第１の実施形態では、プレゼンターがジェスチャーを行える範囲が、メニュー画像２０の選択領域の前に限られていたが、本第２の実施形態では、ジェスチャーを行える範囲を第１の実施形態よりも広げている。

具体的には、図９（ａ）に示すように、スクリーン１６上にメイン画像１８とメニュー画像２０が表示された状態で、メニュー画像２０に含まれる選択領域２２ａ〜２２ｆと同一高さの横方向に延びる領域（図９（ａ）においてダブルハッチングにて示す領域）を新たにジェスチャーを行える領域（ジェスチャー領域２３ａ〜２３ｆ）として設定する。なお、ジェスチャー領域２３ａ〜２３ｆそれぞれの間には、隙間（緩衝部分）を設けている。

すなわち、図９（ａ）では、選択領域２２ａが“拡大”操作可能な領域であるのに対応して、ジェスチャー領域２３ａも“拡大”操作が可能な領域とする。また、選択領域２２ｂが“縮小”操作可能な領域であるのに対応して、ジェスチャー領域２３ｂも“縮小”操作が可能な領域とする。同様に、ジェスチャー領域２３ｃが、“ポインタ発光”、ジェスチャー領域２３ｄが、“ページ送り”操作、ジェスチャー領域２３ｅが、“ページ戻し”操作、ジェスチャー領域２３ｆが、“終了”操作が可能な領域とする。

これらジェスチャー領域２３ａ〜２３ｆは、２つのマーク２８の高さ方向に挟まれるように、例えばプレゼンターが見える半透明の線で投影されるものとする。この場合、ジェスチャー領域の境界を示す線のみを半透明の線で投影することとしてもよい。なお、制御部１５０は、図６のステップＳ１０にて２つのマーク２８を確認する際に、図９（ｂ）に示すように、ジェスチャー領域２３ａ〜２３ｆを撮像装置３２の撮像素子の撮像領域と対応付けるものとする。ただし、実際に、スクリーン１６上にジェスチャー領域２３ａ〜２３ｆを投影する場合には、ステップＳ１２で得られるプレゼンターの高さ情報（身長など）を考慮する。

このように、ジェスチャー領域を設けた場合、プレゼンターがジェスチャー動作を行っているのか、単にスクリーン１６上の注目部分を指さしているのかを識別する必要がある。

そこで、本第２の実施形態では、一例として、ジェスチャー動作の場合は、人差し指でジェスチャー領域２３ａ〜２３ｆを指さすようにし、メイン画像１８の注目部分を示すときは５本の指（手全体）で指し示すように決めておく。一方、投影装置１０では、不揮発性メモリ４０に、１本指としている手の画像データを、操作内容（ジェスチャー動作）と関連付けて登録しておく。そして、ジェスチャー認識部３６は、制御部１５０の指示の下、位置検出部３７の検出結果からプレゼンターがメニュー画像２０の近傍（スクリーンの端部）に位置していると判断できる場合には、上記第１の実施形態と同様にして、メニュー画像２０（選択領域２２ａ〜２２ｆ）の前でのジェスチャーを認識する。すなわち、プレゼンターがメニュー画像２０の近傍に位置している場合には、ジェスチャー認識部３６は、プレゼンターの手が１本指でも５本指でもジェスチャーと認識する。
一方、位置検出部３７の検出結果からプレゼンターがメニュー画像２０から離れた位置（スクリーン中央などメニュー画像２０から離れた位置）に位置していると判断できる場合には、ジェスチャー認識部３６は、制御部１５０の指示の下、手の画像と登録されている画像データ（１本指の画像データ）とを比較（パターンマッチング）することで、ジェスチャーを認識する。すなわち、ジェスチャー認識部３６は、プレゼンターが５本指でジェスチャー領域２３ａ〜２３ｆを指さしたとき（不揮発性メモリ４０に登録されている画像データと一致しないとき）には、ジェスチャーと認識せず、プレゼンターが１本指でジェスチャー領域２３ａ〜２３ｆを指し示したとき（不揮発性メモリ４０に登録されている画像データと一致する）には、ジェスチャーと認識する。これにより、プレゼンターがメニュー画像２０から離れた位置にいる場合に、ジェスチャーと注目部分の指差し動作とを差別化することが可能となる。なお、不揮発性メモリ４０には、１本指の画像以外に、例えば２本指、３本指、４本指の画像を操作量と関連付けて登録しておくこともできる。これにより、例えばプレゼンターが３本指でジェスチャー領域２３ａを指し示したときには、制御部１５０は、倍率３倍でメイン画像１８を拡大するようにすることができる。

以上、説明したように、本第２の実施形態によると、制御部１５０がメニュー画像２０の投影位置を一度固定した後は、移動しないような制御を行うこととしても、ジェスチャー領域２３ａ〜２３ｆを設けることで、プレゼンターは立ち位置にかかわらず簡易にジェスチャー操作を行うことができる。これにより、プレゼンターは、メニュー画像２０の位置まで戻ってジェスチャーを行う必要が無くなるため、プレゼンターの使い勝手を向上することができる。

また、本第２の実施形態によると、撮像装置３２が撮像した画像に基づいて、プレゼンターがメニュー画像から離れた位置にいると判断できる場合に、制御部１５０は、不揮発性メモリ４０に登録されているジェスチャー（１本指で指さすジェスチャー）を行っていればそのジェスチャーを受け付け（制御に用い）、不揮発性メモリ４０に登録されていないジェスチャー（５本指で指し示すジェスチャー）を行っていればそのジェスチャーを受け付けない（制御に用いない）こととしている。これにより、メイン画像１８上にジェスチャー領域２３ａ〜２３ｆを設定しても、制御部１５０は、プレゼンターが単にメイン画像１８の注目部分を指し示している場合と、ジェスチャー領域２３ａ〜２３ｆの前でジェスチャーを行っている場合とを区別することができる。これにより、ユーザのジェスチャーをメイン画像１８の操作に適切に反映させることができる。したがって、プレゼンターの使い勝手を向上することができる。

なお、上記第２の実施形態では、不揮発性メモリ４０に、手の画像データ（１本指など）を、操作内容（ジェスチャー動作）と関連付けて登録しておく場合、すなわち、プレゼンターが誰であっても、予め定められた共通のジェスチャーを行う必要がある場合について説明したが、これに限られるものではない。すなわち、プレゼンターごとに、手の画像データを不揮発性メモリ４０に登録するようにしてもよい。これにより、各プレゼンターの使い勝手を向上することができる。なお、不揮発性メモリ４０への登録の際には、例えば、図５のデータベースにおいて、手の画像データを顔画像と関連付けて登録することとしてもよい。

なお、上記実施形態では、ジェスチャー領域２３ａ〜２３ｆを半透明の線で投影する場合について説明したが、これに限らず、ジェスチャー領域２３ａ〜２３ｆはスクリーン１６上に表示（投影）しなくてもよい。この場合、プレゼンターは、メニュー画像２０の選択領域の位置からジェスチャー領域を類推するようにすればよい。

なお、上記第２の実施形態では、メニュー画像２０を、スクリーン１６の左右方向端部に配置する場合について説明したが、これに限られるものではない。例えば、図１０に示すように、メニュー画像２０をスクリーン１６の下端部近傍に設けることとしてもよい。この場合でもステップＳ１０（図６）で確認したマーク２８の位置から撮像素子の画素の座標と、スクリーン１６の平面内座標（ｘ、ｙ座標）とを対応付けすることができる。

なお、上記第１、第２の実施形態では、メニュー画像２０をメイン画像１８とは異なる位置に投影する場合について説明したが、これに限らず、図１１に示すように、メニュー画像２０をメイン画像１８の一部に重畳するように投影することとしてもよい。この場合、例えば、プレゼンターがメイン画像１８の前に手を出し、特定のジェスチャーを行ったと、ジェスチャー認識部３６が認識したときに、制御部１５０が、メニュー表示部４２を介してプレゼンターの手の近傍にメニュー画像７０を表示するようにしてもよい。これにより、プレゼンターの手が届く位置にメニュー画像７０を表示（投影）することができるので、プレゼンターの使い勝手が良好となる。

なお、上記第１、第２の実施形態において、ジェスチャー認識部３６がプレゼンターが人差し指で”ポインタ発光”の選択領域を示したことを認識した場合には、制御部１５０は、ポインタ発光のジェスチャー動作が行われたと判定して、その後にプレゼンターの手が示した位置に、ポインタ投影部３８からレーザポインタを照射し続けるようにしてもよい。この場合、手の軌跡を検出する方法としては、周知技術を用いることができる。

ジェスチャー認識部３６がジェスチャー動作（指の移動動作）を有効とする期間（ポインタ発光を終了するまでの期間）は、時間（例えば５〜１５秒）で設定することができる。このようにジェスチャー動作を有効とする期間を設定することで、プレゼンターは、“ポインタ発光”の前でジェスチャーをし、かつ有効期間内に指を移動させるのみで、レーザポインタを適切に表示することができる。ジェスチャー動作を有効とする期間を時間で設定する場合、当該時間を一律所定時間（例えば１０秒程度）と設定してもよいが、例えば、不揮発性メモリ４０にプレゼンターを登録する際にプレゼンターごとに時間を設定することとしてもよい。なお、制御部１５０は、プレゼンターがジェスチャー動作（指の移動動作）の終了を示すジェスチャー（例えば、掌を撮像装置３２に向ける動作）を行ったことをジェスチャー認識部３６が認識した場合に、ポインタ投影部３８によるポインタ発光を終了することとしてもよい。このようにすることで、プレゼンターは、必要なだけレーザポインタを表示することができる。

なお、上記各実施形態では、パソコン１２と投影装置１０とを通信可能にし、パソコン１２から投影装置１０に対して資料データを送付する場合について説明したが、これに限らず、パソコン１２に代えて、デジタルカメラを採用してもよい。この場合、スクリーン１６上にデジタルカメラで撮像された画像を表示することができる。なお、デジタルカメラは、撮像機能と顔認識機能とを有しているので、これらの機能で図２の撮像装置３２や図４の顔認識部３４を代替し、図２の撮像装置３２や図４の顔認識部３４を省略してもよい。

なお、上記各実施形態では、プレゼンターは、メニュー画像２０の前でジェスチャーを行うことにより、メイン画像１８の操作を行うこととしたが、これに限らず、メニュー画像２０の前でのジェスチャーによりメニュー画像２０自体を操作することとしてもよい。メニュー画像２０の操作には、メニュー画像２０の拡大、縮小、移動、閉じる、などの操作が含まれる。

なお、上記各実施形態では、スクリーン１６の左下及び右上に矩形状のマーク２８を設けることとしたが、これに限られるものではない。マーク２８の位置や個数は種々選択可能であり、また、マーク２８の形状も円形、ひし形など種々の形状を採用することができる。

なお、上記各実施形態では、メニュー表示部４２が、投影部５０とは別に設けられる場合について説明したが、これに限られるものではない。例えば、投影部５０がメイン画像１８とメニュー画像２０の両方をスクリーン１６上に投影することとしてもよい。この場合、パソコン１２のＣＰＵ６０がメイン画像とメニュー画像を合成して、通信部６６，５４を介して画像処理部５２に送信するようにする。なお、この場合には、プレゼンターの位置（高さ位置、左右位置）を投影装置１０側からパソコン１２のＣＰＵ６０に送信し、ＣＰＵ６０では、プレゼンターの位置に応じて、メニュー画像の位置を調整するようにすればよい。

なお、上記各実施形態の構成は、一例である。例えば、図２の構成や図４の機能ブロック図は一例であり、種々変更が可能である。例えば、図４では、顔認識部３４、ジェスチャー認識部３６、位置検出部３７、画像処理部５２が、制御装置３０の一部機能であるとして説明したが、これに限らず、これらの機能が、ハードウェアにより実現されてもよい。この場合、各部は別々のＣＰＵ等により実現されることになる。

以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 投影装置
１８ メイン画像
２０ メニュー画像
３０ 制御装置
３２ 撮像装置
４０ 不揮発性メモリ
４２ メニュー表示部
５０ 撮像装置

Claims (9)

1. 撮像部が撮像した対象者を含む画像を入力する入力部と、
   前記入力部から入力された画像に基づく前記対象者の位置が第１の位置の場合には、前記対象者が行なった第１のジェスチャーを受け付け、前記第１のジェスチャーとは異なる第２のジェスチャーを受け付けず、前記対象者の位置が前記第１の位置と異なる第２の位置の場合には、前記第１のジェスチャー及び前記第２のジェスチャーを受け付ける受付部と、を備えることを特徴とする投影装置。
2. 画像を投影する投影部を備え、
   前記受付部は、投影された前記画像の中央部に前記対象者が位置する場合には、前記第１のジェスチャーを受け付け、前記第２のジェスチャーを受け付けないことを特徴とする請求項１記載の投影装置。
3. 画像を投影する投影部を備え、
   前記受付部は、投影された前記画像の端部に前記対象者が位置する場合には、前記第１のジェスチャー及び前記第２のジェスチャーを受け付けることを特徴とする請求項１記載の投影装置。
4. 画像を投影する投影部を備え、
   前記対象者の位置は、投影された前記画像に対する位置である請求項１記載の投影装置。
5. 前記第１のジェスチャーを登録可能な登録部を備えることを特徴とする請求項１から４のいずれか一項に記載の投影装置。
6. 前記対象者を認識する認識部を備え、
   前記登録部に登録される前記第１のジェスチャーは前記対象者と関連つけて登録され、
   前記受付部は、前記認識部の認識結果に応じて、前記対象者が行なった前記第１のジェスチャーを受け付け、前記第１のジェスチャーとは異なる第２のジェスチャーを受け付けないことを特徴とする請求項５記載の投影装置。
7. 前記受付部は、前記第１のジェスチャーを受け付ける時間を設定することを特徴とする請求項１から６のいずれか一項に記載の投影装置。
8. 前記受付部は、前記第１のジェスチャーを受け付けた後に、前記第１のジェスチャーとは異なる第３のジェスチャーを検出したときに、前記第１のジェスチャーの受け付けを終了とすることを特徴とする請求項１から７のいずれか一項に記載の投影装置。
9. 前記投影部は、前記受付部が受け付けた第１のジェスチャーに応じて、前記投影された画像の少なくとも一部を変更することを特徴とする請求項２から４のいずれか一項に記載の投影装置。

Images