JP2018077605A - 表示装置および表示装置の制御方法 - Google Patents

Abstract

【課題】指示体についての機能設定に関する情報を表示可能な表示装置において処理負荷を低減する。【解決手段】表示装置は、画像情報に基づく画像を表示面に表示する表示部と、指示体の表示面に対する姿勢に関する姿勢情報を取得する姿勢情報取得部と、姿勢情報に基づいて、指示体についての機能設定に関する設定情報を、表示部に表示させるか否かを制御する制御部と、を有する。【選択図】図２

Description

本発明は、表示装置および表示装置の制御方法に関する。

画像を表示しているスクリーンに対して指示体（例えば、指または電子ペン）を用いて位置を指示することにより、画像に描画することができるプロジェクターが知られている。このようなプロジェクターでは、指示体に設定される機能（例えば、描画に関する機能）が、スクリーン上のツールバーで示される。ユーザーは、ツールバーを指示体で指示することによって、指示体に対して描画に関する機能を設定する。

特許文献１には、ユーザーが指示体についての機能設定に関する情報を容易に確認できるように、指示体に設定されている機能に応じたアイコンをユーザーの手に常に投射するプロジェクターが記載されている。

特許文献２には、指示体である電子ペンからの信号に応じて、描画に関する電子ペンの機能を設定するペン入力装置が記載されている。特許文献２に記載のペン入力装置では、電子ペン自体に、描画に関する機能を設定するためのスイッチが設けられている。このスイッチの操作に応じて所定の信号が電子ペンから描画部に伝わり、描画部が、その信号に応じて、描画に関する機能を電子ペンに設定する。

特開２０１１−２０３８３０号公報 特開平７−１６０３９８号公報

特許文献１に記載のプロジェクターのユーザーは、描画を始める前の段階では、指示体に設定されている機能に応じたアイコンを視認することによって、指示体の設定を確認する可能性が高い。一方、描画を始めてしまうと、ユーザーは、実際の描画の結果から指示体に設定されている機能を認識するため、アイコンを視認する可能性が低い。
このように特許文献１に記載のプロジェクターは、アイコンを表示する必要性が低い状況であっても、該アイコン、つまり指示体についての機能設定に関する情報を、表示し続ける。このため、特許文献１に記載のプロジェクターでは、この必要性の低い情報の表示のために処理負荷が大きくなってしまう。
また、特許文献２に記載のペン入力装置では、電子ペンと描画部との間で、電子ペンについての機能設定のための信号をやり取りする必要があり、この信号のやり取りのために処理負荷が大きくなってしまう。

本発明は上述した事情に鑑みてなされたものであり、指示体についての機能設定に関する情報を表示可能な表示装置において処理負荷を低減することを解決課題とする。

本発明に係る表示装置の一態様は、画像情報に基づく画像を表示面に表示する表示部と、指示体の前記表示面に対する姿勢に関する姿勢情報を取得する姿勢情報取得部と、前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する制御部と、を有することを特徴とする。
指示体の表示面に対する姿勢が、ユーザーが指示体を使用していないときの指示体の姿勢（例えば、ユーザーがこれから指示体を用いるときの指示体の姿勢）である場合、ユーザーは、設定情報を視認する可能性は高い。
一方、指示体の表示面に対する姿勢が、ユーザーが指示体を使用しているときの指示体の姿勢である場合、ユーザーは、実際の指示体の使用結果から指示体に設定されている機能を認識する。このため、この場合、設定情報を表示する必要性は低い。
つまり、設定情報の必要性の程度は、指示体の表示面に対する姿勢に応じて変化する。
この態様によれば、指示体の表示面に対する姿勢に関する姿勢情報に基づいて、設定情報を表示するか否かが制御される。このため、設定情報の表示を必要に応じて行うことが可能になる。よって、設定情報を常に表示する場合に比べて、表示装置の処理負荷を低減することが可能になる。
また、指示体と表示装置との間で、指示体についての機能設定のための信号をやり取りする必要がないので、この信号のやり取りのために処理負荷が大きくなってしまうことを抑制できる。

上述した表示装置の一態様において、前記指示体は、所定部分を有し、前記制御部は、前記所定部分が前記表示面に向いている場合には、前記設定情報を前記表示部に表示させず、前記所定部分が前記表示面に向いていない場合には、前記設定情報を前記表示部に表示させることが望ましい。
例えば、指示体の所定部分が、指示体に設定された機能を実行するために用いられる場合、指示体の所定部分が表示面に向いていない状況は、ユーザーが指示体を使用していない可能性が低い。この状況では、ユーザーは、これから指示体を使用する可能性があり、ユーザーが設定情報を視認する可能性は高い。
一方、指示体の所定部分が表示面に向いている状況は、ユーザーが指示体を使用している可能性が高い。この状況では、ユーザーは、実際の指示体の使用結果から指示体に設定されている機能を認識するため、設定情報を表示する必要性は低い。
この態様によれば、指示体の所定部分が表示面に向いている場合には、設定情報が表示されず、指示体の所定部分が表示面に向いていない場合には、設定情報が表示される。このため、設定情報の表示を必要に応じて行うことが可能になる。

上述した表示装置の一態様として、前記制御部は、所定時間の間、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させることが望ましい。
ユーザーが所定部分を使用していても、所定部分が表示面に向いていない状態が一時的に生じる可能性がある。この一時的に生じた状態に応じて設定情報が表示されても、その設定情報が視認される可能性は低い。
この態様によれば、所定部分が表示面に向いていない状況が所定時間の間継続した場合に、設定情報が表示される。このため、所定部分が表示面に向いていない状態が一時的に生じた際に設定情報が表示されることを抑制可能になる。

上述した表示装置の一態様として、前記表示面に対する前記指示体の位置を検出する位置検出部をさらに有し、前記表示部は、前記設定情報を、前記指示体の位置に応じて設定された位置に表示することが望ましい。
この態様によれば、設定情報の表示位置を指示体の位置に応じて変更することが可能になる。

上述した表示装置の一態様として、前記制御部は、さらに、前記指示体が前記表示面から所定距離以上離れており、かつ、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させることが望ましい。
指示体が表示面から所定距離以上離れており、かつ、所定部分が表示面に向いていない状況は、ユーザーが指示体を使用していない状況である可能性が高い。
この態様によれば、指示体が表示面から所定距離以上離れており、かつ、所定部分が表示面に向いていない場合に、設定情報が表示される。このため、設定情報を必要なときに表示させることが可能になる。

本発明に係る表示装置の制御方法は、画像情報に基づく画像を表示面に表示する表示部を含む表示装置の制御方法であって、指示体の前記表示面に対する姿勢に関する姿勢情報を取得し、前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する、ことを特徴とする。
この態様によれば、指示体の表示面に対する姿勢に関する姿勢情報に基づいて、指示体についての機能設定に関する設定情報を表示するか否かが制御される。このため、設定情報の表示を必要に応じて行うことが可能になる。よって、設定情報を常に表示する場合に比べて、表示装置の処理負荷を低減することが可能になる。
また、指示体と表示装置との間で、指示体についての機能設定のための信号をやり取りする必要がないので、この信号のやり取りのために処理負荷が大きくなってしまうことを抑制できる。

本発明の第１実施形態に係るプロジェクター１００を含むプロジェクションシステム１を示した図である。 プロジェクター１００を示した図である。 プロジェクター１００の動作を説明するためのフローチャートである。 ツールバー４００が表示される状況Ａとツールバー４００表示されない状況Ｂの一例を示した図である。 ツールバー４００の表示例を示した図である。

以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るプロジェクター１００を含むプロジェクションシステム１を示した図である。以下、プロジェクションシステム１の概要について説明する。
プロジェクションシステム１は、スクリーンＳＣの上方に設置されたプロジェクター１００と、ＰＣ（パーソナルコンピューター）２００と、を含んで構成されている。プロジェクター１００は表示装置の一例である。スクリーンＳＣは表示面の一例である。表示面はスクリーンＳＣに限らず適宜変更可能である。表示面は例えば壁でもよい。プロジェクター１００は、ＰＣ２００から画像情報を受信する。プロジェクター１００は、ＰＣ２００から受信した画像情報に基づく画像をスクリーンＳＣに投射して表示する。以下、スクリーンＳＣに表示された画像を「表示画像」とも称する。

指示体３００は、例えばペン型のデバイス（以下「電子ペン」と称する）またはユーザーの指である。図１では、指示体３００として、先端３０１が赤外光（ＩＲ）を発する電子ペンが示されている。先端３０１は、指示体３００の所定部分の一例である。指示体３００の所定部分は、先端３０１に限らず適宜変更可能である。また、指示体３００として人の指が用いられる場合、指の先端が所定部分の一例となる。

指示体３００には、１以上の機能が設定される。指示体３００の所定部分は、指示体３００に設定された機能を実行するために使用される。
指示体３００に対して「描画機能」と「操作機能」を択一的に設定することができる。以下、指示体３００に「描画機能」を設定するモードを「描画モード」と称し、指示体３００に「操作機能」を設定するモードを「マウスモード」と称する。

「描画モード」は、指示体３００を、表示画像に対してアノテーション（例えば、線または図形）を描画するためのデバイスとして機能させるモードである。
「描画モード」では、ユーザーは、指示体３００をスクリーンＳＣ上で動かすことで描画を行うことができる。
また、「描画モード」では、指示体３００を用いて描かれる画像の属性（例えば、色、太さおよび線種）を指定する属性指定機能を設定することができる。
さらに、「描画モード」では、指示体３００を用いて描かれた画像を指定する画像指定機能と、該画像を消去する消去機能とを個別に設定することができる。
「マウスモード」は、指示体３００を、ＰＣ２００で処理させる指示を入力するためのデバイスとして機能させるモードである。
ここで、描画モード（描画機能）の設定状態、マウスモード（操作機能）の設定状態、属性指定機能の設定状態、画像指定機能の設定状態、および消去機能の設定状態は、それぞれ、指示体３００についての機能設定に関する設定情報の一例である。

プロジェクター１００は、設定情報をスクリーンＳＣに表示することができる。以下、設定情報としてツールバーが用いられる例を説明する。なお、設定情報は、ツールバーに限らず適宜変更可能である。

図１に示されたツールバー４００には、複数の機能ボタン４０１等が配置されている。複数の機能ボタン４０１は、属性指定機能が割り当てられた機能ボタンと、画像指定機能が割り当てられた機能ボタンと、消去機能が割り当てられた機能ボタンとを含む。
指示体３００の操作により、いずれかの機能ボタン４０１の位置が指示されると、プロジェクター１００は、該当する機能ボタン４０１に割り当てられた機能を、指示体３００に設定する。

ツールバー４００には、さらに、描画モードボタン４０２と、マウスモードボタン４０３とが配置されている。
指示体３００の操作により、描画モードボタン４０２の位置が指定されると、プロジェクター１００は、描画モードを指示体３００に設定する。描画モードが設定されると、描画モードボタン４０２がマウスモードボタン４０３よりも大きく表示される。
指示体３００の操作により、マウスモードボタン４０３の位置が指定されると、プロジェクター１００は、マウスモードを指示体３００に設定する。マウスモードが設定されると、マウスモードボタン４０３が描画モードボタン４０２よりも大きく表示される。
このため、ユーザーは、描画モードボタン４０２の大きさとマウスモードボタン４０３の大きさとを比べることによって、描画モードとマウスモードとのいずれが設定されているかを直感的に認識することができる。

プロジェクター１００は、指示体３００のスクリーンＳＣに対する姿勢に基づいて、ツールバー４００をスクリーンＳＣに表示するか否かを制御する。

指示体３００の先端３０１がスクリーンＳＣに向いていない場合、ユーザーが指示体３００を使用していない可能性が低い。この状況では、ユーザーは、これから指示体３００を使用する可能性があり、ユーザーが指示体３００についての機能設定を確認するためにツールバー４００を視認する可能性は高い。このため、指示体３００の先端３０１がスクリーンＳＣに向いていない場合、プロジェクター１００は、ツールバー４００をスクリーンＳＣに表示する。

一方、指示体３００の先端３０１がスクリーンＳＣに向いている場合、ユーザーが指示体３００を使用している可能性が高い。この状況では、ユーザーは、実際の指示体３００の使用結果から指示体３００の機能設定を認識するため、ユーザーがツールバー４００を視認する可能性は低い。このため、指示体３００の先端３０１がスクリーンＳＣに向いている場合、プロジェクター１００は、ツールバー４００をスクリーンＳＣに表示しない。

次に、本実施形態の詳細について説明する。
図２は、プロジェクター１００を示した図である。
プロジェクター１００は、設定管理部１０１と、ＩＲフィルター付きカメラ１０２と、ペン位置検出部１０３と、位置通知部１０４と、画像情報入力部１０５と、カメラ１０６ａおよび１０６ｂと、オブジェクト識別部１０７と、判定部１０８と、描画部１０９と、画像処理部１１０と、投射部１１１と、を含んで構成されている。設定管理部１０１と判定部１０８と描画部１０９と画像処理部１１０とは、制御部１１２に含まれる。

設定管理部１０１は、指示体３００についてのモード（描画モードとマウスモード）の設定状態を管理する。さらに、設定管理部１０１は、ツールバー４００の機能ボタン４０１に割り当てられた機能が指示体３００に設定されているか否かを管理する。
指示体３００へのモードの設定と、機能ボタン４０１に割り当てられた機能についての指示体３００への設定は、ツールバー４００に対する指示体３００の操作によって実行される。

ＩＲフィルター付きカメラ１０２は、ＩＲフィルター（不図示）を介してスクリーンＳＣを撮像して第１撮影画像を生成する。このため、指示体３００として、上述した先端３０１が発光する電子ペンが用いられた場合、第１撮影画像には、電子ペンの先端３０１で発光した赤外光が示される。

ペン位置検出部１０３は、第１撮影画像に基づいて、スクリーンＳＣに対する先端３０１の位置を検出する。具体的には、ペン位置検出部１０３は、第１撮影画像に示されたスクリーンＳＣ上の赤外光の位置を、スクリーンＳＣに対する先端３０１の位置として検出する。ペン位置検出部１０３は、位置検出部の一例である。ペン位置検出部１０３は、スクリーンＳＣに対する先端３０１の位置を示す先端位置情報を、設定管理部１０１と描画部１０９とに出力する。
設定管理部１０１では、先端位置情報が示す位置に応じて、指示体３００へのモードの設定と、機能ボタン４０１に割り当てられた機能についての指示体３００への設定とがそれぞれ変更される。
描画部１０９での先端位置情報の使われ方については後述する。
また、ペン位置検出部１０３は、マウスモードでは、先端位置情報を位置通知部１０４にも出力する。位置通知部１０４は、先端位置情報をＰＣ２００に送信する。

画像情報入力部１０５は、ＰＣ２００から画像情報を受信する。
カメラ１０６ａは、スクリーンＳＣを繰り返し撮像し、撮像を行うごとに第２撮影画像を生成する。カメラ１０６ａは、第２撮影画像を生成するごとに、第２撮影画像をオブジェクト識別部１０７に出力する。
カメラ１０６ｂは、カメラ１０６ａとは異なる位置からカメラ１０６ａの撮像タイミングに同期してスクリーンＳＣを撮像し、撮像を行うごとに第３撮影画像を生成する。カメラ１０６ｂは、第３撮影画像を生成するごとに、第３撮影画像をオブジェクト識別部１０７に出力する。

オブジェクト識別部１０７は、第２撮影画像および第３撮影画像に基づいて、ユーザーの手および電子ペン等のオブジェクトを識別する。また、オブジェクト識別部１０７は、スクリーンＳＣに対する指示体３００の姿勢に関する姿勢情報を取得する。オブジェクト識別部１０７は、姿勢情報取得部の一例である。
以下、オブジェクト識別部１０７について説明する。

まず、オブジェクト識別部１０７は、カメラ１０６ａの画角に指示体３００が存在しない状態でカメラ１０６ａがスクリーンＳＣを撮像して生成した基準画像と、第２撮影画像とを比較する。続いて、オブジェクト識別部１０７は、その比較結果を解析して、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。

オブジェクト識別部１０７は、ユーザーの手と電子ペンとの両方を識別した場合、つまり、電子ペンが指示体３００として用いられている可能性が高い場合、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、ユーザーの手の３次元座標位置と、電子ペンの３次元座標位置とを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣの法線方向におけるユーザーの手とスクリーンＳＣとの距離Ｌを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣに対する電子ペンの姿勢を表す姿勢情報を生成する。

例えば、オブジェクト識別部１０７は、以下のように、電子ペンの姿勢を表す姿勢情報を生成する。
オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣの法線に対する電子ペンの長手方向の傾き角度を検出する。
そして、オブジェクト識別部１０７は、電子ペンの長手方向の傾き角度が所定角度（例えば、４５度）以内であり、かつ、電子ペンの先端がスクリーンＳＣに向いている場合、電子ペンがスクリーンＳＣに向いている旨を示す姿勢情報を生成する。なお、所定角度は、適宜変更可能である。
一方、オブジェクト識別部１０７は、電子ペンの長手方向の傾き角度が所定角度よりも大きい場合、および、電子ペンの先端がスクリーンＳＣに向いていない場合、電子ペンがスクリーンＳＣに向いていない旨を示す姿勢情報を生成する。

オブジェクト識別部１０７は、距離Ｌと、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを検出し、姿勢情報を生成すると、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを、判定部１０８に出力する。

一方、オブジェクト識別部１０７は、電子ペンを識別できずにユーザーの手を識別した場合、つまり、ユーザーの指が指示体３００として用いられている可能性が高い場合、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、ユーザーの指の先端の位置を検出する。この場合、オブジェクト識別部１０７は、位置検出部としても機能する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、距離Ｌを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣに対するユーザーの指の姿勢を表す姿勢情報を生成する。

例えば、オブジェクト識別部１０７は、以下のように、ユーザーの指の姿勢を表す姿勢情報を生成する。
オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、１本の指の先端でスクリーンＳＣが指示されているか否かを判断する。
一本の指の先端でスクリーンＳＣが指示されている場合、オブジェクト識別部１０７は、スクリーンＳＣの法線に対する指の長さ方向の傾き角度を検出する。
そして、オブジェクト識別部１０７は、指の長さ方向の傾き角度が所定角度以内である場合、指がスクリーンＳＣに向いている旨を示す姿勢情報を生成する。
一方、オブジェクト識別部１０７は、指の長さ方向の傾き角度が所定角度よりも大きい場合、および、１本の指の指先でスクリーンＳＣが指示されていない場合、指がスクリーンＳＣに向いていない旨を示す姿勢情報を生成する。

オブジェクト識別部１０７は、距離Ｌとユーザーの指の先端の位置とを検出し、姿勢情報を生成すると、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを、判定部１０８に出力する。

判定部１０８は、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを受け取った場合には、距離Ｌと、姿勢情報とに基づいて、ツールバー４００を表示するか否かを判定する。
例えば、判定部１０８は、スクリーンＳＣの法線方向においてユーザーの手がスクリーンＳＣから第１距離Ｌ１（例えば、２０ｃｍ）以上離れており（距離Ｌ≧第１距離Ｌ１）、かつ、所定時間（例えば１秒）の間、指示体３００の先端（この場合、指の先端）がスクリーンＳＣに向いている場合、ツールバー４００を表示すると判定する。第１距離Ｌ１は、２０ｃｍに限らず適宜変更可能である。所定時間は１秒に限らず適宜変更可能である。

一方、判定部１０８は、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを受け取った場合には、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とに基づいて、ツールバー４００を表示するか否かを判定する。
例えば、判定部１０８は、スクリーンＳＣの法線方向においてユーザーの手がスクリーンＳＣから第１距離Ｌ１以上離れており（距離Ｌ≧第１距離Ｌ１）、ユーザーの手と電子ペンとの距離が第２距離Ｌ２（例えば１０ｃｍ）以内であり、かつ、所定時間の間、指示体３００の先端（この場合、電子ペンの先端３０１）がスクリーンＳＣに向いている場合、ツールバー４００を表示すると判定する。なお、第２距離Ｌ２は、１０ｃｍに限らず適宜変更可能である。
判定部１０８は、判定結果を描画部１０９に出力する。
なお、判定部１０８は、ユーザーの指の先端の位置をオブジェクト識別部１０７から受け取った場合には、判定結果に加えて、ユーザーの指の先端の位置も描画部１０９に出力する。

描画部１０９は、判定部１０８の判定結果に加えてユーザーの指の先端の位置を受け取ると、判定結果がツールバー４００を表示する旨を示すか否かを判断する。
判定結果がツールバー４００を表示する旨を示す場合、描画部１０９は、ユーザーの指の先端の位置に応じて設定された位置に、設定管理部１０１が管理している設定状態をツールバー４００で示したツールバー画像情報を生成する。
ユーザーの指の先端の位置に応じて設定された位置は、例えば、画面上で、ユーザーの指の先端の位置よりも上側の位置である。なお、ユーザーの指の先端の位置に応じて設定された位置は適宜変更可能である。

また、描画部１０９は、ユーザーの指の先端の位置を受け取らずに判定部１０８の判定結果を受け取ると、判定結果がツールバー４００を表示する旨を示すか否かを判断する。
判定結果がツールバー４００を表示する旨を示す場合、描画部１０９は、ペン位置検出部１０３から受け取った先頭位置情報が示す位置に応じて設定された位置に、設定管理部１０１が管理している設定状態をツールバー４００で示したツールバー画像情報を生成する。
先頭位置情報が示す位置に応じて設定された位置は、例えば、画面上で、先頭位置情報が示す位置よりも上側の位置である。なお、先頭位置情報が示す位置に応じて設定された位置は適宜変更可能である。

描画部１０９は、ツールバー画像情報を生成すると、ツールバー画像情報を画像処理部１１０に出力する。

なお、描画部１０９は、描画モードでは、先端位置情報が示す位置に、線等の画像を表す描画情報を生成する。描画部１０９は、描画情報を生成すると、描画情報を画像処理部１１０に出力する。

画像処理部１１０は、描画情報を受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上に描画情報の表す画像を合成した合成画像を示す合成画像情報を生成する。

画像処理部１１０は、ツールバー情報画像を受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上にツールバー画像情報の表すツールバーを合成した合成画像を示す合成画像情報を生成する。

画像処理部１１０は、描画情報とツールバー画像情報とを受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上に、描画情報の表す画像とツールバー画像情報の表すツールバーとを合成した合成画像を示す合成画像情報を生成する。

画像処理部１１０は、合成画像情報を投射部１１１に出力する。
なお、画像処理部１１０は、描画情報とツールバー画像情報とのいずれも受け取っていない場合、画像情報入力部１０５から受信した画像情報を投射部１１１に出力する。

投射部１１１は、表示部の一例である。表示部はスクリーンＳＣ（表示面）を含まない。
投射部１１１は、合成画像情報を受け取った場合、合成画像情報に応じた合成画像をスクリーンＳＣに投射して表示する。また、投射部１１１は、画像情報を受け取った場合、画像情報に応じた画像をスクリーンＳＣに投射して表示する。

制御部１１２は、ツールバー４００を投射部１１１に投射させて表示させるか否かを制御する。例えば、制御部１１２は、指示体３００のスクリーンＳＣに対する姿勢を示す姿勢情報に基づいて、ツールバー４００を投射部１１１に投射させて表示させるか否かを制御する。

次に、動作を説明する。
図３は、プロジェクター１００の動作を説明するためのフローチャートである。
オブジェクト識別部１０７は、カメラ１０６ａが生成した第２撮影画像を用いて、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。

まず、オブジェクト識別部１０７は、基準画像（カメラ１０６ａの画角に指示体３００が存在しない状態でカメラ１０６ａがスクリーンＳＣを撮像して生成した画像）と、第２撮影画像とを比較する。続いて、オブジェクト識別部１０７は、その比較結果を解析して、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。

オブジェクト識別部１０７は、ユーザーの手と電子ペンとの両方を識別した場合、つまり、電子ペンが指示体３００として用いられている可能性が高い場合、ユーザーの手の３次元座標位置と、電子ペンの３次元座標位置と、距離Ｌとを検出し、さらに、スクリーンＳＣに対する電子ペンの姿勢を表す姿勢情報を生成する。
続いて、オブジェクト識別部１０７は、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手および指の３次元座標位置とを、判定部１０８に出力する。

一方、オブジェクト識別部１０７は、電子ペンを識別できずにユーザーの手を識別した場合、つまり、ユーザーの指が指示体３００として用いられている可能性が高い場合、ユーザーの指の先端の位置と、距離Ｌとを検出し、スクリーンＳＣに対するユーザーの指の姿勢を表す姿勢情報を生成する。
続いて、オブジェクト識別部１０７は、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを、判定部１０８に出力する。

判定部１０８は、オブジェクト識別部１０７から種々の情報を受け取ると、ユーザーの手がスクリーンＳＣから第１距離Ｌ１以上離れているか否か、具体的には、距離Ｌ≧第１距離Ｌ１が満たされるか否かを判断する（ステップＳ３０１）。

距離Ｌ≧第１距離Ｌ１が満たされる場合（ステップＳ３０１：ＹＥＳ）、判定部１０８は、ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下であるか否かを判断する（ステップＳ３０２）。ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下である場合、電子ペンが使用されている可能性が高い。一方、ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２よりも長い場合、電子ペンが使用されている可能性が低い。
ステップＳ３０２では、判定部１０８は、ユーザーの手の３次元座標位置と電子ペンの３次元座標位置とを用いてユーザーの手と電子ペンとの間の距離を決定する。なお、判定部１０８は、電子ペンの３次元座標位置を受信していない場合には、ユーザーの手と電子ペンとの間の距離は第２距離Ｌ２以下ではないと判定する。

ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下であると（ステップＳ３０２：ＹＥＳ）、判定部１０８は、姿勢情報を用いて、電子ペンがスクリーンＳＣに向いているか否かを判断する（ステップＳ３０３）。

電子ペンがスクリーンＳＣに向いていない場合（ステップＳ３０３：ＮＯ）、判定部１０８は、所定時間、電子ペンが静止しているか否かを判定する（ステップＳ３０４）。
ステップＳ３０４では、判定部１０８は、オブジェクト識別部１０７から継続的に送られてくる電子ペンの３次元座標位置の間のずれ量が、所定時間の間、第１閾値以下に維持されている場合に、所定時間、電子ペンが静止していると判定する。一方、判定部１０８は、該ずれ量が、所定時間の間に第１閾値を超えた場合に、所定時間、電子ペンが静止していないと判定する。

所定時間、電子ペンが静止している場合（ステップＳ３０４：ＹＥＳ）、判定部１０８は、ツールバー４００を表示すると判定し、その判定結果を描画部１０９に出力する。

描画部１０９は、ツールバー４００を表示する旨の判定結果を受け取ると、ペン位置検出部１０３からの先頭位置情報が示す位置に応じて設定された位置に、設定管理部１０１が管理している設定状態を示したツールバー４００を表すツールバー画像情報を生成する。描画部１０９は、ツールバー画像情報を生成すると、ツールバー画像情報を画像処理部１１０に出力する。
画像処理部１１０は、ツールバー画像情報を受け取ると、画像情報入力部１０５から受け取った画像情報の表す画像上にツールバー画像情報の表すツールバー４００を合成した合成画像を示す合成画像情報を生成し、その合成画像情報を投射部１１１に出力する。
投射部１１１は、合成画像情報を受け取ると、合成画像情報に応じた合成画像をスクリーンＳＣに投射してツールバー４００を表示する（ステップＳ３０５）。

一方、ステップＳ３０２でユーザーの手と電子ペンとの間の距離が第２距離Ｌ２よりも長いと（ステップＳ３０２：ＮＯ）、判定部１０８は、姿勢情報を用いて、指がスクリーンＳＣに向いているか否かを判断する（ステップＳ３０６）。

指がスクリーンＳＣに向いていない場合（ステップＳ３０６：ＮＯ）、判定部１０８は、所定時間、指が静止しているか否かを判定する（ステップＳ３０７）。
ステップＳ３０７では、判定部１０８は、オブジェクト識別部１０７から継続的に送られてくるユーザーの指の先端の位置の間のずれ量が、所定時間の間、第２閾値以下になっている場合に、所定時間、指が静止していると判断する。一方、判定部１０８は、該ずれ量が、所定時間の間、第２閾値を超えた場合に、所定時間、指が静止していないと判断する。なお、第２閾値は、第１閾値と共通の値でもよいし、第１閾値とは異なる値でもよい。

所定時間、指が静止している場合（ステップＳ３０７：ＹＥＳ）、判定部１０８は、ツールバー４００を表示すると判断し、その判断結果を描画部１０９に出力する。以下、ステップＳ３０５が実行される。

ステップＳ３０１で距離Ｌが第１距離Ｌ１よりも短いと（ステップＳ３０１：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、ユーザーの指がスクリーンＳＣに近いため、ユーザーが指示体３００（ユーザーの指または電子ペン）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。
描画部１０９は、ツールバー４００を表示しない旨の判定結果を受け取ると、ツールバー画像情報を画像処理部１１０に出力している場合にはツールバー画像情報の出力を停止する。このため、ツールバー４００の表示が終了する。

ステップＳ３０３で電子ペンがスクリーンＳＣに向いている場合（ステップＳ３０３：ＹＥＳ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、電子ペンがスクリーンＳＣに向いている場合、ユーザーが指示体３００（電子ペン）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。

ステップＳ３０６で指がスクリーンＳＣに向いている場合（ステップＳ３０６：ＹＥＳ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、指がスクリーンＳＣに向いているため、ユーザーが指示体３００（指）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。

ステップＳ３０４で、所定時間、電子ペンが静止していない場合（ステップＳ３０４：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、電子ペンが静止していないため、電子ペンが使用されている可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときに動作は上述した通りである。

ステップＳ３０７で、所定時間、指が静止していない場合（ステップＳ３０７：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、指が静止しておらず、指が使用されている可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。

図４は、ツールバー４００が表示される状況Ａとツールバー４００表示されない状況Ｂの一例を示した図である。
図４に示した状況Ａでは、ユーザーの手Ｈは、スクリーンＳＣの法線方向においてスクリーンＳＣから第１距離Ｌ１以上離れており、電子ペンＰ（指示体３００）の向きはスクリーンＳＣに向いておらず、所定時間の間、電子ペンＰが静止している。このため、例えば図５に示したように、ツールバー４００がスクリーンＳＣに表示される。
一方、図４に示した状況Ｂでは、電子ペンＰ（指示体３００）がスクリーンＳＣに向いている。このため、ツールバー４００はスクリーンＳＣに表示されない。

本実施形態によれば、ツールバー４００は、ユーザーがツールバー４００を視認する可能性が高い場合に表示され、ユーザーがツールバー４００を視認する可能性が低い場合に表示されない。このため、指示体３００についての機能設定に関する設定情報であるツールバー４００の表示を必要に応じて行うことが可能になる。よって、ツールバー４００を常に表示する場合に比べて、プロジェクター１００の処理負荷を低減することが可能になる。

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。

＜変形例１＞
電子ペンが、スクリーンＳＣに対する電子ペンの姿勢を検出する姿勢検出部と、姿勢検出部の検出結果（姿勢情報）を送信する送信部とを有する場合、オブジェクト識別部１０７は、電子ペンから該検出結果を受信することで、姿勢情報を取得してもよい。

＜変形例２＞
判定部１０８は、ペン位置検出部１０３が出力する先端位置情報を受け取り、この先端位置情報を、電子ペンの３次元位置座標の代わりに用いてもよい。

＜変形例３＞
プロジェクター１００は、指示体３００として、人の指と電子ペンのいずれか一方のみが用いられる構成でもよい。
指示体３００として人の指が用いられ電子ペンが用いられない場合、図３において、処理は、ステップＳ３０１でＹＥＳの場合、ステップＳ３０６に進み、ステップＳ３０２〜ステップＳ３０４が省略される。
また、指示体３００として電子ペンが用いられ人の指が用いられない場合、図３において、処理は、ステップＳ３０１でＹＥＳの場合、ステップＳ３０３に進み、ステップＳ３０２、ステップＳ３０６およびステップＳ３０７が省略される。

＜変形例４＞
図３において、ステップＳ３０１、ステップ３０４およびステップＳ３０７の少なくとも１つは省略されてもよい。

＜変形例５＞
図３において、ステップＳ３０３とステップＳ３０４の実行順序が入れ替わってもよい。また、図３において、ステップＳ３０６とステップＳ３０７の実行順序が入れ替わってもよい。

＜変形例６＞
ツールバー４００の表示態様は、図１に示した表示態様に限らず適宜変更可能である。

＜変形例７＞
表示装置としてプロジェクターが用いられたが、表示装置はプロジェクターに限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイあってもよい。

＜変形例８＞
上述した実施形態において、設定管理部１０１とペン位置検出部１０３とオブジェクト識別部１０７と判定部１０８と描画部１０９と画像処理部１１０の全部または一部は、専用の電子回路によって実現されてもよいし、ＣＰＵ等のコンピューターが、記憶装置に記憶されたプログラムを読み取って実行することによって実現されてもよい。

１００…プロジェクター、１０１…設定管理部、１０２…ＩＲフィルター付きカメラ、１０３…ペン位置検出部、１０４…位置通知部、１０５…画像情報入力部、１０６ａ，１０６ｂ…カメラ、１０７…オブジェクト識別部、１０８…判定部、１０９…描画部、１１０…画像処理部、１１１…投射部、１１２…制御部、３００…指示体、ＳＣ…スクリーン。

Claims (6)

1. 画像情報に基づく画像を表示面に表示する表示部と、
   指示体の前記表示面に対する姿勢に関する姿勢情報を取得する姿勢情報取得部と、
   前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する制御部と、
   を有することを特徴とする表示装置。
2. 前記指示体は、所定部分を有し、
   前記制御部は、前記所定部分が前記表示面に向いている場合には、前記設定情報を前記表示部に表示させず、前記所定部分が前記表示面に向いていない場合には、前記設定情報を前記表示部に表示させる、
   ことを特徴とする請求項１の記載の表示装置。
3. 前記制御部は、所定時間の間、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させる、
   ことを特徴とする請求項２の記載の表示装置。
4. 前記表示面に対する前記指示体の位置を検出する位置検出部をさらに有し、
   前記表示部は、前記設定情報を、前記指示体の位置に応じて設定された位置に表示する、
   ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。
5. 前記制御部は、さらに、前記指示体が前記表示面から所定距離以上離れており、かつ、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させる、
   ことを特徴とする請求項１から４のいずれか１項に記載の表示装置。
6. 画像情報に基づく画像を表示面に表示する表示部を含む表示装置の制御方法であって、
   指示体の前記表示面に対する姿勢に関する姿勢情報を取得し、
   前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する、
   ことを特徴とする表示装置の制御方法。
   

Images