JP2018077605A - Display device and control method of display device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To reduce a processing load on a display device capable of displaying information on functional setting for a pointer.SOLUTION: A display device includes: a display part that displays an image based on image information on a display surface; a posture information acquisition part that acquires posture information relating to a posture with respect to the display surface of a pointer; and a control part that controls whether or not to display setting information on functional setting for the pointer on the display part on the basis of the posture information.SELECTED DRAWING: Figure 2

Description

本発明は、表示装置および表示装置の制御方法に関する。   The present invention relates to a display device and a display device control method.

画像を表示しているスクリーンに対して指示体（例えば、指または電子ペン）を用いて位置を指示することにより、画像に描画することができるプロジェクターが知られている。このようなプロジェクターでは、指示体に設定される機能（例えば、描画に関する機能）が、スクリーン上のツールバーで示される。ユーザーは、ツールバーを指示体で指示することによって、指示体に対して描画に関する機能を設定する。   There is known a projector capable of drawing an image by instructing the position on the screen displaying the image using an indicator (for example, a finger or an electronic pen). In such a projector, a function (for example, a function related to drawing) set in the indicator is indicated by a toolbar on the screen. The user sets a drawing-related function for the indicator by indicating the tool bar with the indicator.

特許文献１には、ユーザーが指示体についての機能設定に関する情報を容易に確認できるように、指示体に設定されている機能に応じたアイコンをユーザーの手に常に投射するプロジェクターが記載されている。   Patent Document 1 describes a projector that always projects an icon corresponding to a function set in a pointer to the user's hand so that the user can easily check information related to the function setting for the pointer. .

特許文献２には、指示体である電子ペンからの信号に応じて、描画に関する電子ペンの機能を設定するペン入力装置が記載されている。特許文献２に記載のペン入力装置では、電子ペン自体に、描画に関する機能を設定するためのスイッチが設けられている。このスイッチの操作に応じて所定の信号が電子ペンから描画部に伝わり、描画部が、その信号に応じて、描画に関する機能を電子ペンに設定する。   Patent Document 2 describes a pen input device that sets a function of an electronic pen related to drawing according to a signal from an electronic pen that is an indicator. In the pen input device described in Patent Document 2, a switch for setting a function relating to drawing is provided on the electronic pen itself. A predetermined signal is transmitted from the electronic pen to the drawing unit in response to the operation of the switch, and the drawing unit sets a function related to drawing to the electronic pen in accordance with the signal.

特開２０１１−２０３８３０号公報JP 2011-203830 A 特開平７−１６０３９８号公報JP 7-160398 A

特許文献１に記載のプロジェクターのユーザーは、描画を始める前の段階では、指示体に設定されている機能に応じたアイコンを視認することによって、指示体の設定を確認する可能性が高い。一方、描画を始めてしまうと、ユーザーは、実際の描画の結果から指示体に設定されている機能を認識するため、アイコンを視認する可能性が低い。
このように特許文献１に記載のプロジェクターは、アイコンを表示する必要性が低い状況であっても、該アイコン、つまり指示体についての機能設定に関する情報を、表示し続ける。このため、特許文献１に記載のプロジェクターでは、この必要性の低い情報の表示のために処理負荷が大きくなってしまう。
また、特許文献２に記載のペン入力装置では、電子ペンと描画部との間で、電子ペンについての機能設定のための信号をやり取りする必要があり、この信号のやり取りのために処理負荷が大きくなってしまう。 The user of the projector described in Patent Document 1 is highly likely to confirm the setting of the indicator by visually recognizing an icon corresponding to the function set in the indicator before starting drawing. On the other hand, when drawing is started, the user recognizes the function set in the indicator from the actual drawing result, and thus the possibility of visually recognizing the icon is low.
As described above, the projector described in Patent Document 1 continues to display information related to the function setting for the icon, that is, the indicator even in a situation where the necessity of displaying the icon is low. For this reason, in the projector described in Patent Document 1, the processing load is increased due to the display of information with low necessity.
Moreover, in the pen input device described in Patent Document 2, it is necessary to exchange a signal for setting the function of the electronic pen between the electronic pen and the drawing unit, and a processing load is required for the exchange of the signal. It gets bigger.

本発明は上述した事情に鑑みてなされたものであり、指示体についての機能設定に関する情報を表示可能な表示装置において処理負荷を低減することを解決課題とする。   The present invention has been made in view of the above-described circumstances, and an object of the present invention is to reduce a processing load in a display device capable of displaying information related to function setting for an indicator.

本発明に係る表示装置の一態様は、画像情報に基づく画像を表示面に表示する表示部と、指示体の前記表示面に対する姿勢に関する姿勢情報を取得する姿勢情報取得部と、前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する制御部と、を有することを特徴とする。
指示体の表示面に対する姿勢が、ユーザーが指示体を使用していないときの指示体の姿勢（例えば、ユーザーがこれから指示体を用いるときの指示体の姿勢）である場合、ユーザーは、設定情報を視認する可能性は高い。
一方、指示体の表示面に対する姿勢が、ユーザーが指示体を使用しているときの指示体の姿勢である場合、ユーザーは、実際の指示体の使用結果から指示体に設定されている機能を認識する。このため、この場合、設定情報を表示する必要性は低い。
つまり、設定情報の必要性の程度は、指示体の表示面に対する姿勢に応じて変化する。
この態様によれば、指示体の表示面に対する姿勢に関する姿勢情報に基づいて、設定情報を表示するか否かが制御される。このため、設定情報の表示を必要に応じて行うことが可能になる。よって、設定情報を常に表示する場合に比べて、表示装置の処理負荷を低減することが可能になる。
また、指示体と表示装置との間で、指示体についての機能設定のための信号をやり取りする必要がないので、この信号のやり取りのために処理負荷が大きくなってしまうことを抑制できる。 One aspect of the display device according to the present invention includes a display unit that displays an image based on image information on a display surface, a posture information acquisition unit that acquires posture information regarding the posture of the indicator with respect to the display surface, and the posture information. And a control unit that controls whether or not to display the setting information related to the function setting for the indicator on the display unit.
When the orientation of the indicator relative to the display surface is the orientation of the indicator when the user is not using the indicator (for example, the orientation of the indicator when the user uses the indicator from now on), the user The possibility of visually recognizing is high.
On the other hand, when the orientation of the indicator with respect to the display surface is the orientation of the indicator when the user is using the indicator, the user can change the function set for the indicator from the actual usage result of the indicator. recognize. For this reason, in this case, the necessity of displaying the setting information is low.
That is, the degree of necessity of the setting information changes according to the posture of the indicator with respect to the display surface.
According to this aspect, whether or not the setting information is displayed is controlled based on the posture information related to the posture of the indicator with respect to the display surface. For this reason, it becomes possible to display the setting information as necessary. Therefore, it is possible to reduce the processing load of the display device as compared with the case where the setting information is always displayed.
In addition, since it is not necessary to exchange a function setting signal for the indicator between the indicator and the display device, it is possible to suppress an increase in processing load due to the exchange of the signal.

上述した表示装置の一態様において、前記指示体は、所定部分を有し、前記制御部は、前記所定部分が前記表示面に向いている場合には、前記設定情報を前記表示部に表示させず、前記所定部分が前記表示面に向いていない場合には、前記設定情報を前記表示部に表示させることが望ましい。
例えば、指示体の所定部分が、指示体に設定された機能を実行するために用いられる場合、指示体の所定部分が表示面に向いていない状況は、ユーザーが指示体を使用していない可能性が低い。この状況では、ユーザーは、これから指示体を使用する可能性があり、ユーザーが設定情報を視認する可能性は高い。
一方、指示体の所定部分が表示面に向いている状況は、ユーザーが指示体を使用している可能性が高い。この状況では、ユーザーは、実際の指示体の使用結果から指示体に設定されている機能を認識するため、設定情報を表示する必要性は低い。
この態様によれば、指示体の所定部分が表示面に向いている場合には、設定情報が表示されず、指示体の所定部分が表示面に向いていない場合には、設定情報が表示される。このため、設定情報の表示を必要に応じて行うことが可能になる。 In one aspect of the display device described above, the indicator has a predetermined portion, and the control unit causes the display unit to display the setting information when the predetermined portion faces the display surface. If the predetermined portion does not face the display surface, it is desirable to display the setting information on the display unit.
For example, when a predetermined part of the indicator is used to execute a function set in the indicator, the user may not use the indicator when the predetermined part of the indicator is not facing the display surface. The nature is low. In this situation, the user may use the indicator from now on, and the user is highly likely to visually recognize the setting information.
On the other hand, when the predetermined part of the indicator is facing the display surface, the user is highly likely to use the indicator. In this situation, since the user recognizes the function set in the indicator from the actual usage result of the indicator, it is not necessary to display the setting information.
According to this aspect, the setting information is not displayed when the predetermined portion of the indicator faces the display surface, and the setting information is displayed when the predetermined portion of the indicator does not face the display surface. The For this reason, it becomes possible to display the setting information as necessary.

上述した表示装置の一態様として、前記制御部は、所定時間の間、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させることが望ましい。
ユーザーが所定部分を使用していても、所定部分が表示面に向いていない状態が一時的に生じる可能性がある。この一時的に生じた状態に応じて設定情報が表示されても、その設定情報が視認される可能性は低い。
この態様によれば、所定部分が表示面に向いていない状況が所定時間の間継続した場合に、設定情報が表示される。このため、所定部分が表示面に向いていない状態が一時的に生じた際に設定情報が表示されることを抑制可能になる。 As one aspect of the display device described above, it is preferable that the control unit displays the setting information on the display unit when the predetermined portion is not facing the display surface for a predetermined time.
Even if the user is using the predetermined portion, there is a possibility that a state in which the predetermined portion does not face the display surface may temporarily occur. Even if the setting information is displayed according to the temporarily generated state, the setting information is unlikely to be visually recognized.
According to this aspect, the setting information is displayed when the situation where the predetermined portion is not facing the display surface continues for a predetermined time. For this reason, it is possible to prevent the setting information from being displayed when a state where the predetermined portion does not face the display surface temporarily occurs.

上述した表示装置の一態様として、前記表示面に対する前記指示体の位置を検出する位置検出部をさらに有し、前記表示部は、前記設定情報を、前記指示体の位置に応じて設定された位置に表示することが望ましい。
この態様によれば、設定情報の表示位置を指示体の位置に応じて変更することが可能になる。 As one aspect of the display device described above, the display device further includes a position detection unit that detects the position of the indicator with respect to the display surface, and the display unit is configured to set the setting information according to the position of the indicator. It is desirable to display the position.
According to this aspect, the display position of the setting information can be changed according to the position of the indicator.

上述した表示装置の一態様として、前記制御部は、さらに、前記指示体が前記表示面から所定距離以上離れており、かつ、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させることが望ましい。
指示体が表示面から所定距離以上離れており、かつ、所定部分が表示面に向いていない状況は、ユーザーが指示体を使用していない状況である可能性が高い。
この態様によれば、指示体が表示面から所定距離以上離れており、かつ、所定部分が表示面に向いていない場合に、設定情報が表示される。このため、設定情報を必要なときに表示させることが可能になる。 As one aspect of the display device described above, the control unit further includes the setting information when the indicator is separated from the display surface by a predetermined distance or more and the predetermined portion does not face the display surface. Is preferably displayed on the display unit.
The situation in which the indicator is separated from the display surface by a predetermined distance or more and the predetermined portion does not face the display surface is highly likely that the user is not using the indicator.
According to this aspect, the setting information is displayed when the indicator is separated from the display surface by a predetermined distance or more and the predetermined portion does not face the display surface. For this reason, setting information can be displayed when necessary.

本発明に係る表示装置の制御方法は、画像情報に基づく画像を表示面に表示する表示部を含む表示装置の制御方法であって、指示体の前記表示面に対する姿勢に関する姿勢情報を取得し、前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する、ことを特徴とする。
この態様によれば、指示体の表示面に対する姿勢に関する姿勢情報に基づいて、指示体についての機能設定に関する設定情報を表示するか否かが制御される。このため、設定情報の表示を必要に応じて行うことが可能になる。よって、設定情報を常に表示する場合に比べて、表示装置の処理負荷を低減することが可能になる。
また、指示体と表示装置との間で、指示体についての機能設定のための信号をやり取りする必要がないので、この信号のやり取りのために処理負荷が大きくなってしまうことを抑制できる。 A control method for a display device according to the present invention is a control method for a display device that includes a display unit that displays an image based on image information on a display surface, and obtains posture information relating to the posture of the indicator with respect to the display surface, Based on the posture information, it is controlled whether or not setting information related to function setting for the indicator is displayed on the display unit.
According to this aspect, whether or not the setting information regarding the function setting for the indicator is displayed is controlled based on the posture information regarding the posture of the indicator with respect to the display surface. For this reason, it becomes possible to display the setting information as necessary. Therefore, it is possible to reduce the processing load of the display device as compared with the case where the setting information is always displayed.
In addition, since it is not necessary to exchange a function setting signal for the indicator between the indicator and the display device, it is possible to suppress an increase in processing load due to the exchange of the signal.

本発明の第１実施形態に係るプロジェクター１００を含むプロジェクションシステム１を示した図である。1 is a diagram showing a projection system 1 including a projector 100 according to a first embodiment of the present invention. プロジェクター１００を示した図である。1 is a diagram showing a projector 100. FIG. プロジェクター１００の動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the projector 100. ツールバー４００が表示される状況Ａとツールバー４００表示されない状況Ｂの一例を示した図である。It is the figure which showed an example of the situation A where the toolbar 400 is displayed, and the situation B where the toolbar 400 is not displayed. ツールバー４００の表示例を示した図である。5 is a diagram showing a display example of a toolbar 400. FIG.

以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings, the size and scale of each part are appropriately different from the actual ones. The embodiments described below are preferred specific examples of the present invention. For this reason, the technically preferable various restrictions are attached | subjected to this embodiment. However, the scope of the present invention is not limited to these forms unless otherwise specified in the following description.

＜第１実施形態＞
図１は、本発明の第１実施形態に係るプロジェクター１００を含むプロジェクションシステム１を示した図である。以下、プロジェクションシステム１の概要について説明する。
プロジェクションシステム１は、スクリーンＳＣの上方に設置されたプロジェクター１００と、ＰＣ（パーソナルコンピューター）２００と、を含んで構成されている。プロジェクター１００は表示装置の一例である。スクリーンＳＣは表示面の一例である。表示面はスクリーンＳＣに限らず適宜変更可能である。表示面は例えば壁でもよい。プロジェクター１００は、ＰＣ２００から画像情報を受信する。プロジェクター１００は、ＰＣ２００から受信した画像情報に基づく画像をスクリーンＳＣに投射して表示する。以下、スクリーンＳＣに表示された画像を「表示画像」とも称する。 <First Embodiment>
FIG. 1 is a diagram showing a projection system 1 including a projector 100 according to the first embodiment of the present invention. Hereinafter, an outline of the projection system 1 will be described.
The projection system 1 includes a projector 100 installed above the screen SC and a PC (personal computer) 200. The projector 100 is an example of a display device. The screen SC is an example of a display surface. The display surface is not limited to the screen SC and can be changed as appropriate. The display surface may be a wall, for example. The projector 100 receives image information from the PC 200. The projector 100 projects and displays an image based on the image information received from the PC 200 on the screen SC. Hereinafter, an image displayed on the screen SC is also referred to as a “display image”.

指示体３００は、例えばペン型のデバイス（以下「電子ペン」と称する）またはユーザーの指である。図１では、指示体３００として、先端３０１が赤外光（ＩＲ）を発する電子ペンが示されている。先端３０１は、指示体３００の所定部分の一例である。指示体３００の所定部分は、先端３０１に限らず適宜変更可能である。また、指示体３００として人の指が用いられる場合、指の先端が所定部分の一例となる。   The indicator 300 is, for example, a pen-type device (hereinafter referred to as “electronic pen”) or a user's finger. In FIG. 1, an electronic pen whose tip 301 emits infrared light (IR) is shown as the indicator 300. The tip 301 is an example of a predetermined portion of the indicator 300. The predetermined portion of the indicator 300 is not limited to the tip 301 and can be changed as appropriate. When a human finger is used as the indicator 300, the tip of the finger is an example of a predetermined portion.

指示体３００には、１以上の機能が設定される。指示体３００の所定部分は、指示体３００に設定された機能を実行するために使用される。
指示体３００に対して「描画機能」と「操作機能」を択一的に設定することができる。以下、指示体３００に「描画機能」を設定するモードを「描画モード」と称し、指示体３００に「操作機能」を設定するモードを「マウスモード」と称する。 The indicator 300 is set with one or more functions. A predetermined portion of the indicator 300 is used to execute a function set in the indicator 300.
A “drawing function” and an “operation function” can be alternatively set for the indicator 300. Hereinafter, the mode for setting the “drawing function” on the indicator 300 is referred to as “drawing mode”, and the mode for setting the “operation function” on the indicator 300 is referred to as “mouse mode”.

「描画モード」は、指示体３００を、表示画像に対してアノテーション（例えば、線または図形）を描画するためのデバイスとして機能させるモードである。
「描画モード」では、ユーザーは、指示体３００をスクリーンＳＣ上で動かすことで描画を行うことができる。
また、「描画モード」では、指示体３００を用いて描かれる画像の属性（例えば、色、太さおよび線種）を指定する属性指定機能を設定することができる。
さらに、「描画モード」では、指示体３００を用いて描かれた画像を指定する画像指定機能と、該画像を消去する消去機能とを個別に設定することができる。
「マウスモード」は、指示体３００を、ＰＣ２００で処理させる指示を入力するためのデバイスとして機能させるモードである。
ここで、描画モード（描画機能）の設定状態、マウスモード（操作機能）の設定状態、属性指定機能の設定状態、画像指定機能の設定状態、および消去機能の設定状態は、それぞれ、指示体３００についての機能設定に関する設定情報の一例である。 “Drawing mode” is a mode in which the indicator 300 functions as a device for drawing an annotation (for example, a line or a figure) on a display image.
In the “drawing mode”, the user can draw by moving the indicator 300 on the screen SC.
In the “drawing mode”, an attribute designation function for designating attributes (for example, color, thickness, and line type) of an image drawn using the indicator 300 can be set.
Further, in the “drawing mode”, an image designating function for designating an image drawn using the indicator 300 and an erasing function for erasing the image can be individually set.
“Mouse mode” is a mode in which the indicator 300 functions as a device for inputting an instruction to be processed by the PC 200.
Here, the setting state of the drawing mode (drawing function), the setting state of the mouse mode (operation function), the setting state of the attribute specifying function, the setting state of the image specifying function, and the setting state of the erasing function are respectively indicated by the indicator 300. It is an example of the setting information regarding the function setting about.

プロジェクター１００は、設定情報をスクリーンＳＣに表示することができる。以下、設定情報としてツールバーが用いられる例を説明する。なお、設定情報は、ツールバーに限らず適宜変更可能である。   The projector 100 can display setting information on the screen SC. Hereinafter, an example in which a toolbar is used as setting information will be described. Note that the setting information is not limited to the toolbar and can be changed as appropriate.

図１に示されたツールバー４００には、複数の機能ボタン４０１等が配置されている。複数の機能ボタン４０１は、属性指定機能が割り当てられた機能ボタンと、画像指定機能が割り当てられた機能ボタンと、消去機能が割り当てられた機能ボタンとを含む。
指示体３００の操作により、いずれかの機能ボタン４０１の位置が指示されると、プロジェクター１００は、該当する機能ボタン４０１に割り当てられた機能を、指示体３００に設定する。 In the tool bar 400 shown in FIG. 1, a plurality of function buttons 401 and the like are arranged. The plurality of function buttons 401 include a function button to which an attribute specifying function is assigned, a function button to which an image specifying function is assigned, and a function button to which an erasing function is assigned.
When the position of any function button 401 is instructed by operating the indicator 300, the projector 100 sets the function assigned to the corresponding function button 401 in the indicator 300.

ツールバー４００には、さらに、描画モードボタン４０２と、マウスモードボタン４０３とが配置されている。
指示体３００の操作により、描画モードボタン４０２の位置が指定されると、プロジェクター１００は、描画モードを指示体３００に設定する。描画モードが設定されると、描画モードボタン４０２がマウスモードボタン４０３よりも大きく表示される。
指示体３００の操作により、マウスモードボタン４０３の位置が指定されると、プロジェクター１００は、マウスモードを指示体３００に設定する。マウスモードが設定されると、マウスモードボタン４０３が描画モードボタン４０２よりも大きく表示される。
このため、ユーザーは、描画モードボタン４０２の大きさとマウスモードボタン４０３の大きさとを比べることによって、描画モードとマウスモードとのいずれが設定されているかを直感的に認識することができる。 The toolbar 400 further includes a drawing mode button 402 and a mouse mode button 403.
When the position of the drawing mode button 402 is designated by the operation of the indicator 300, the projector 100 sets the drawing mode to the indicator 300. When the drawing mode is set, the drawing mode button 402 is displayed larger than the mouse mode button 403.
When the position of the mouse mode button 403 is designated by the operation of the indicator 300, the projector 100 sets the mouse mode to the indicator 300. When the mouse mode is set, the mouse mode button 403 is displayed larger than the drawing mode button 402.
For this reason, the user can intuitively recognize which one of the drawing mode and the mouse mode is set by comparing the size of the drawing mode button 402 and the size of the mouse mode button 403.

プロジェクター１００は、指示体３００のスクリーンＳＣに対する姿勢に基づいて、ツールバー４００をスクリーンＳＣに表示するか否かを制御する。   The projector 100 controls whether or not the tool bar 400 is displayed on the screen SC based on the posture of the indicator 300 with respect to the screen SC.

指示体３００の先端３０１がスクリーンＳＣに向いていない場合、ユーザーが指示体３００を使用していない可能性が低い。この状況では、ユーザーは、これから指示体３００を使用する可能性があり、ユーザーが指示体３００についての機能設定を確認するためにツールバー４００を視認する可能性は高い。このため、指示体３００の先端３０１がスクリーンＳＣに向いていない場合、プロジェクター１００は、ツールバー４００をスクリーンＳＣに表示する。   When the tip 301 of the indicator 300 does not face the screen SC, the possibility that the user is not using the indicator 300 is low. In this situation, the user may use the indicator 300 from now on, and the user is highly likely to visually recognize the tool bar 400 in order to confirm the function setting for the indicator 300. For this reason, when the tip 301 of the indicator 300 does not face the screen SC, the projector 100 displays the toolbar 400 on the screen SC.

一方、指示体３００の先端３０１がスクリーンＳＣに向いている場合、ユーザーが指示体３００を使用している可能性が高い。この状況では、ユーザーは、実際の指示体３００の使用結果から指示体３００の機能設定を認識するため、ユーザーがツールバー４００を視認する可能性は低い。このため、指示体３００の先端３０１がスクリーンＳＣに向いている場合、プロジェクター１００は、ツールバー４００をスクリーンＳＣに表示しない。   On the other hand, when the tip 301 of the indicator 300 faces the screen SC, it is highly likely that the user is using the indicator 300. In this situation, since the user recognizes the function setting of the indicator 300 from the actual use result of the indicator 300, the possibility that the user visually recognizes the toolbar 400 is low. For this reason, when the tip 301 of the indicator 300 faces the screen SC, the projector 100 does not display the toolbar 400 on the screen SC.

次に、本実施形態の詳細について説明する。
図２は、プロジェクター１００を示した図である。
プロジェクター１００は、設定管理部１０１と、ＩＲフィルター付きカメラ１０２と、ペン位置検出部１０３と、位置通知部１０４と、画像情報入力部１０５と、カメラ１０６ａおよび１０６ｂと、オブジェクト識別部１０７と、判定部１０８と、描画部１０９と、画像処理部１１０と、投射部１１１と、を含んで構成されている。設定管理部１０１と判定部１０８と描画部１０９と画像処理部１１０とは、制御部１１２に含まれる。 Next, details of the present embodiment will be described.
FIG. 2 is a diagram showing the projector 100.
The projector 100 includes a setting management unit 101, an IR filter-equipped camera 102, a pen position detection unit 103, a position notification unit 104, an image information input unit 105, cameras 106a and 106b, an object identification unit 107, and a determination. A unit 108, a drawing unit 109, an image processing unit 110, and a projection unit 111. The setting management unit 101, the determination unit 108, the drawing unit 109, and the image processing unit 110 are included in the control unit 112.

設定管理部１０１は、指示体３００についてのモード（描画モードとマウスモード）の設定状態を管理する。さらに、設定管理部１０１は、ツールバー４００の機能ボタン４０１に割り当てられた機能が指示体３００に設定されているか否かを管理する。
指示体３００へのモードの設定と、機能ボタン４０１に割り当てられた機能についての指示体３００への設定は、ツールバー４００に対する指示体３００の操作によって実行される。 The setting management unit 101 manages the setting state of the mode (drawing mode and mouse mode) for the indicator 300. Further, the setting management unit 101 manages whether or not the function assigned to the function button 401 of the toolbar 400 is set in the indicator 300.
The setting of the mode for the indicator 300 and the setting of the function assigned to the function button 401 to the indicator 300 are performed by operating the indicator 300 on the toolbar 400.

ＩＲフィルター付きカメラ１０２は、ＩＲフィルター（不図示）を介してスクリーンＳＣを撮像して第１撮影画像を生成する。このため、指示体３００として、上述した先端３０１が発光する電子ペンが用いられた場合、第１撮影画像には、電子ペンの先端３０１で発光した赤外光が示される。   The camera with IR filter 102 captures the screen SC through an IR filter (not shown) to generate a first captured image. Therefore, when the above-described electronic pen that emits light from the tip 301 is used as the indicator 300, the first photographed image shows infrared light emitted from the tip 301 of the electronic pen.

ペン位置検出部１０３は、第１撮影画像に基づいて、スクリーンＳＣに対する先端３０１の位置を検出する。具体的には、ペン位置検出部１０３は、第１撮影画像に示されたスクリーンＳＣ上の赤外光の位置を、スクリーンＳＣに対する先端３０１の位置として検出する。ペン位置検出部１０３は、位置検出部の一例である。ペン位置検出部１０３は、スクリーンＳＣに対する先端３０１の位置を示す先端位置情報を、設定管理部１０１と描画部１０９とに出力する。
設定管理部１０１では、先端位置情報が示す位置に応じて、指示体３００へのモードの設定と、機能ボタン４０１に割り当てられた機能についての指示体３００への設定とがそれぞれ変更される。
描画部１０９での先端位置情報の使われ方については後述する。
また、ペン位置検出部１０３は、マウスモードでは、先端位置情報を位置通知部１０４にも出力する。位置通知部１０４は、先端位置情報をＰＣ２００に送信する。 The pen position detection unit 103 detects the position of the tip 301 with respect to the screen SC based on the first captured image. Specifically, the pen position detection unit 103 detects the position of the infrared light on the screen SC shown in the first captured image as the position of the tip 301 with respect to the screen SC. The pen position detection unit 103 is an example of a position detection unit. The pen position detection unit 103 outputs tip position information indicating the position of the tip 301 with respect to the screen SC to the setting management unit 101 and the drawing unit 109.
In the setting management unit 101, the mode setting for the indicator 300 and the setting for the function 300 assigned to the function button 401 are changed according to the position indicated by the tip position information.
How the tip position information is used in the drawing unit 109 will be described later.
The pen position detection unit 103 also outputs the tip position information to the position notification unit 104 in the mouse mode. The position notification unit 104 transmits the tip position information to the PC 200.

画像情報入力部１０５は、ＰＣ２００から画像情報を受信する。
カメラ１０６ａは、スクリーンＳＣを繰り返し撮像し、撮像を行うごとに第２撮影画像を生成する。カメラ１０６ａは、第２撮影画像を生成するごとに、第２撮影画像をオブジェクト識別部１０７に出力する。
カメラ１０６ｂは、カメラ１０６ａとは異なる位置からカメラ１０６ａの撮像タイミングに同期してスクリーンＳＣを撮像し、撮像を行うごとに第３撮影画像を生成する。カメラ１０６ｂは、第３撮影画像を生成するごとに、第３撮影画像をオブジェクト識別部１０７に出力する。 The image information input unit 105 receives image information from the PC 200.
The camera 106a repeatedly captures the screen SC and generates a second captured image every time it captures an image. The camera 106 a outputs the second captured image to the object identification unit 107 every time the second captured image is generated.
The camera 106b images the screen SC in synchronization with the imaging timing of the camera 106a from a position different from the camera 106a, and generates a third captured image every time it performs imaging. The camera 106b outputs the third captured image to the object identification unit 107 every time the third captured image is generated.

オブジェクト識別部１０７は、第２撮影画像および第３撮影画像に基づいて、ユーザーの手および電子ペン等のオブジェクトを識別する。また、オブジェクト識別部１０７は、スクリーンＳＣに対する指示体３００の姿勢に関する姿勢情報を取得する。オブジェクト識別部１０７は、姿勢情報取得部の一例である。
以下、オブジェクト識別部１０７について説明する。 The object identifying unit 107 identifies objects such as a user's hand and an electronic pen based on the second photographed image and the third photographed image. Further, the object identification unit 107 acquires posture information regarding the posture of the indicator 300 with respect to the screen SC. The object identification unit 107 is an example of a posture information acquisition unit.
Hereinafter, the object identification unit 107 will be described.

まず、オブジェクト識別部１０７は、カメラ１０６ａの画角に指示体３００が存在しない状態でカメラ１０６ａがスクリーンＳＣを撮像して生成した基準画像と、第２撮影画像とを比較する。続いて、オブジェクト識別部１０７は、その比較結果を解析して、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。   First, the object identification unit 107 compares the second captured image with a reference image generated by the camera 106a imaging the screen SC in a state where the indicator 300 is not present at the angle of view of the camera 106a. Subsequently, the object identification unit 107 analyzes the comparison result to identify whether the user's hand is present and whether the electronic pen is present.

オブジェクト識別部１０７は、ユーザーの手と電子ペンとの両方を識別した場合、つまり、電子ペンが指示体３００として用いられている可能性が高い場合、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、ユーザーの手の３次元座標位置と、電子ペンの３次元座標位置とを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣの法線方向におけるユーザーの手とスクリーンＳＣとの距離Ｌを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣに対する電子ペンの姿勢を表す姿勢情報を生成する。 When the object identifying unit 107 identifies both the user's hand and the electronic pen, that is, when the electronic pen is likely to be used as the indicator 300, the object identifying unit 107 Using the third captured image, the three-dimensional coordinate position of the user's hand and the three-dimensional coordinate position of the electronic pen are detected.
Furthermore, the object identification unit 107 detects the distance L between the user's hand and the screen SC in the normal direction of the screen SC using the second and third captured images whose imaging timings are synchronized with each other.
Further, the object identification unit 107 generates posture information representing the posture of the electronic pen with respect to the screen SC using the second captured image and the third captured image whose imaging timings are synchronized with each other.

例えば、オブジェクト識別部１０７は、以下のように、電子ペンの姿勢を表す姿勢情報を生成する。
オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣの法線に対する電子ペンの長手方向の傾き角度を検出する。
そして、オブジェクト識別部１０７は、電子ペンの長手方向の傾き角度が所定角度（例えば、４５度）以内であり、かつ、電子ペンの先端がスクリーンＳＣに向いている場合、電子ペンがスクリーンＳＣに向いている旨を示す姿勢情報を生成する。なお、所定角度は、適宜変更可能である。
一方、オブジェクト識別部１０７は、電子ペンの長手方向の傾き角度が所定角度よりも大きい場合、および、電子ペンの先端がスクリーンＳＣに向いていない場合、電子ペンがスクリーンＳＣに向いていない旨を示す姿勢情報を生成する。 For example, the object identification unit 107 generates posture information representing the posture of the electronic pen as follows.
The object identification unit 107 detects the tilt angle of the electronic pen in the longitudinal direction with respect to the normal line of the screen SC using the second captured image and the third captured image whose imaging timings are synchronized with each other.
Then, the object identification unit 107 determines that the electronic pen is on the screen SC when the tilt angle of the electronic pen in the longitudinal direction is within a predetermined angle (for example, 45 degrees) and the tip of the electronic pen is facing the screen SC. Attitude information indicating that it is facing is generated. The predetermined angle can be changed as appropriate.
On the other hand, the object identification unit 107 indicates that the electronic pen is not facing the screen SC when the tilt angle of the electronic pen in the longitudinal direction is larger than a predetermined angle and when the tip of the electronic pen is not facing the screen SC. The attitude information shown is generated.

オブジェクト識別部１０７は、距離Ｌと、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを検出し、姿勢情報を生成すると、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを、判定部１０８に出力する。   When the object identification unit 107 detects the distance L, the three-dimensional coordinate position of the electronic pen, and the three-dimensional coordinate position of the user's hand and generates posture information, the distance L, the posture information, and the electronic pen 3 The dimensional coordinate position and the three-dimensional coordinate position of the user's hand are output to the determination unit 108.

一方、オブジェクト識別部１０７は、電子ペンを識別できずにユーザーの手を識別した場合、つまり、ユーザーの指が指示体３００として用いられている可能性が高い場合、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、ユーザーの指の先端の位置を検出する。この場合、オブジェクト識別部１０７は、位置検出部としても機能する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、距離Ｌを検出する。
さらに、オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、スクリーンＳＣに対するユーザーの指の姿勢を表す姿勢情報を生成する。 On the other hand, when the object identification unit 107 identifies the user's hand without identifying the electronic pen, that is, when it is highly likely that the user's finger is used as the indicator 300, the imaging timing is synchronized with each other. The position of the tip of the user's finger is detected using the two captured images and the third captured image. In this case, the object identification unit 107 also functions as a position detection unit.
Furthermore, the object identification unit 107 detects the distance L using the second captured image and the third captured image whose imaging timings are synchronized with each other.
Furthermore, the object identification unit 107 generates posture information representing the posture of the user's finger with respect to the screen SC using the second and third captured images whose imaging timings are synchronized with each other.

例えば、オブジェクト識別部１０７は、以下のように、ユーザーの指の姿勢を表す姿勢情報を生成する。
オブジェクト識別部１０７は、撮像タイミングが互いに同期した第２撮影画像と第３撮影画像とを用いて、１本の指の先端でスクリーンＳＣが指示されているか否かを判断する。
一本の指の先端でスクリーンＳＣが指示されている場合、オブジェクト識別部１０７は、スクリーンＳＣの法線に対する指の長さ方向の傾き角度を検出する。
そして、オブジェクト識別部１０７は、指の長さ方向の傾き角度が所定角度以内である場合、指がスクリーンＳＣに向いている旨を示す姿勢情報を生成する。
一方、オブジェクト識別部１０７は、指の長さ方向の傾き角度が所定角度よりも大きい場合、および、１本の指の指先でスクリーンＳＣが指示されていない場合、指がスクリーンＳＣに向いていない旨を示す姿勢情報を生成する。 For example, the object identification unit 107 generates posture information representing the posture of the user's finger as follows.
The object identification unit 107 determines whether the screen SC is instructed with the tip of one finger, using the second captured image and the third captured image whose imaging timings are synchronized with each other.
When the screen SC is instructed with the tip of one finger, the object identification unit 107 detects the inclination angle of the finger in the length direction with respect to the normal line of the screen SC.
Then, the object identification unit 107 generates posture information indicating that the finger is facing the screen SC when the tilt angle in the length direction of the finger is within a predetermined angle.
On the other hand, the object identification unit 107 does not point the finger toward the screen SC when the tilt angle in the finger length direction is larger than a predetermined angle and when the screen SC is not instructed by the fingertip of one finger. Attitude information indicating the effect is generated.

オブジェクト識別部１０７は、距離Ｌとユーザーの指の先端の位置とを検出し、姿勢情報を生成すると、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを、判定部１０８に出力する。   When the object identification unit 107 detects the distance L and the position of the tip of the user's finger and generates posture information, the object identification unit 107 outputs the distance L, the posture information, and the position of the tip of the user's finger to the determination unit 108. To do.

判定部１０８は、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを受け取った場合には、距離Ｌと、姿勢情報とに基づいて、ツールバー４００を表示するか否かを判定する。
例えば、判定部１０８は、スクリーンＳＣの法線方向においてユーザーの手がスクリーンＳＣから第１距離Ｌ１（例えば、２０ｃｍ）以上離れており（距離Ｌ≧第１距離Ｌ１）、かつ、所定時間（例えば１秒）の間、指示体３００の先端（この場合、指の先端）がスクリーンＳＣに向いている場合、ツールバー４００を表示すると判定する。第１距離Ｌ１は、２０ｃｍに限らず適宜変更可能である。所定時間は１秒に限らず適宜変更可能である。 When the determination unit 108 receives the distance L, posture information, and the position of the tip of the user's finger, the determination unit 108 determines whether to display the toolbar 400 based on the distance L and posture information. .
For example, the determination unit 108 determines that the user's hand is separated from the screen SC by a first distance L1 (for example, 20 cm) or more in the normal direction of the screen SC (distance L ≧ first distance L1) and a predetermined time (for example, If the tip of the indicator 300 (in this case, the tip of the finger) faces the screen SC for 1 second, it is determined that the tool bar 400 is displayed. The first distance L1 is not limited to 20 cm and can be changed as appropriate. The predetermined time is not limited to 1 second and can be changed as appropriate.

一方、判定部１０８は、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とを受け取った場合には、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手の３次元座標位置とに基づいて、ツールバー４００を表示するか否かを判定する。
例えば、判定部１０８は、スクリーンＳＣの法線方向においてユーザーの手がスクリーンＳＣから第１距離Ｌ１以上離れており（距離Ｌ≧第１距離Ｌ１）、ユーザーの手と電子ペンとの距離が第２距離Ｌ２（例えば１０ｃｍ）以内であり、かつ、所定時間の間、指示体３００の先端（この場合、電子ペンの先端３０１）がスクリーンＳＣに向いている場合、ツールバー４００を表示すると判定する。なお、第２距離Ｌ２は、１０ｃｍに限らず適宜変更可能である。
判定部１０８は、判定結果を描画部１０９に出力する。
なお、判定部１０８は、ユーザーの指の先端の位置をオブジェクト識別部１０７から受け取った場合には、判定結果に加えて、ユーザーの指の先端の位置も描画部１０９に出力する。 On the other hand, when the determination unit 108 receives the distance L, the posture information, the three-dimensional coordinate position of the electronic pen, and the three-dimensional coordinate position of the user's hand, the determination unit 108 receives the distance L, the posture information, and the electronic pen. Whether to display the toolbar 400 is determined based on the three-dimensional coordinate position and the three-dimensional coordinate position of the user's hand.
For example, the determination unit 108 determines that the user's hand is separated from the screen SC by the first distance L1 or more in the normal direction of the screen SC (distance L ≧ first distance L1), and the distance between the user's hand and the electronic pen is the first. When the distance is within two distances L2 (for example, 10 cm) and the tip of the indicator 300 (in this case, the tip 301 of the electronic pen) faces the screen SC for a predetermined time, it is determined that the tool bar 400 is displayed. The second distance L2 is not limited to 10 cm and can be changed as appropriate.
The determination unit 108 outputs the determination result to the drawing unit 109.
When the determination unit 108 receives the position of the tip of the user's finger from the object identification unit 107, the determination unit 108 outputs the position of the tip of the user's finger to the drawing unit 109 in addition to the determination result.

描画部１０９は、判定部１０８の判定結果に加えてユーザーの指の先端の位置を受け取ると、判定結果がツールバー４００を表示する旨を示すか否かを判断する。
判定結果がツールバー４００を表示する旨を示す場合、描画部１０９は、ユーザーの指の先端の位置に応じて設定された位置に、設定管理部１０１が管理している設定状態をツールバー４００で示したツールバー画像情報を生成する。
ユーザーの指の先端の位置に応じて設定された位置は、例えば、画面上で、ユーザーの指の先端の位置よりも上側の位置である。なお、ユーザーの指の先端の位置に応じて設定された位置は適宜変更可能である。 When the drawing unit 109 receives the position of the tip of the user's finger in addition to the determination result of the determination unit 108, the drawing unit 109 determines whether the determination result indicates that the toolbar 400 is displayed.
When the determination result indicates that the toolbar 400 is displayed, the drawing unit 109 indicates the setting state managed by the setting management unit 101 at the position set according to the position of the tip of the user's finger. Tool bar image information is generated.
The position set according to the position of the tip of the user's finger is, for example, a position above the position of the tip of the user's finger on the screen. The position set according to the position of the tip of the user's finger can be changed as appropriate.

また、描画部１０９は、ユーザーの指の先端の位置を受け取らずに判定部１０８の判定結果を受け取ると、判定結果がツールバー４００を表示する旨を示すか否かを判断する。
判定結果がツールバー４００を表示する旨を示す場合、描画部１０９は、ペン位置検出部１０３から受け取った先頭位置情報が示す位置に応じて設定された位置に、設定管理部１０１が管理している設定状態をツールバー４００で示したツールバー画像情報を生成する。
先頭位置情報が示す位置に応じて設定された位置は、例えば、画面上で、先頭位置情報が示す位置よりも上側の位置である。なお、先頭位置情報が示す位置に応じて設定された位置は適宜変更可能である。 Further, when the drawing unit 109 receives the determination result of the determination unit 108 without receiving the position of the tip of the user's finger, the drawing unit 109 determines whether or not the determination result indicates that the toolbar 400 is displayed.
When the determination result indicates that the tool bar 400 is displayed, the drawing unit 109 is managed by the setting management unit 101 at a position set according to the position indicated by the head position information received from the pen position detection unit 103. Toolbar image information whose setting state is indicated by the toolbar 400 is generated.
The position set according to the position indicated by the head position information is, for example, a position above the position indicated by the head position information on the screen. Note that the position set in accordance with the position indicated by the head position information can be changed as appropriate.

描画部１０９は、ツールバー画像情報を生成すると、ツールバー画像情報を画像処理部１１０に出力する。   When the drawing unit 109 generates the toolbar image information, the drawing unit 109 outputs the toolbar image information to the image processing unit 110.

なお、描画部１０９は、描画モードでは、先端位置情報が示す位置に、線等の画像を表す描画情報を生成する。描画部１０９は、描画情報を生成すると、描画情報を画像処理部１１０に出力する。   In the drawing mode, the drawing unit 109 generates drawing information representing an image such as a line at the position indicated by the tip position information. When the drawing unit 109 generates the drawing information, the drawing unit 109 outputs the drawing information to the image processing unit 110.

画像処理部１１０は、描画情報を受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上に描画情報の表す画像を合成した合成画像を示す合成画像情報を生成する。   When the image processing unit 110 receives the drawing information, the image processing unit 110 generates combined image information indicating a combined image obtained by combining the image represented by the drawing information on the image represented by the image information received from the image information input unit 105.

画像処理部１１０は、ツールバー情報画像を受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上にツールバー画像情報の表すツールバーを合成した合成画像を示す合成画像情報を生成する。   When the image processing unit 110 receives the toolbar information image, the image processing unit 110 generates combined image information indicating a combined image obtained by combining the toolbar represented by the toolbar image information on the image represented by the image information received from the image information input unit 105.

画像処理部１１０は、描画情報とツールバー画像情報とを受け取った場合、画像情報入力部１０５から受け取った画像情報の表す画像上に、描画情報の表す画像とツールバー画像情報の表すツールバーとを合成した合成画像を示す合成画像情報を生成する。   When the image processing unit 110 receives the drawing information and the toolbar image information, the image processing unit 110 combines the image represented by the drawing information and the toolbar represented by the toolbar image information on the image represented by the image information received from the image information input unit 105. Composite image information indicating the composite image is generated.

画像処理部１１０は、合成画像情報を投射部１１１に出力する。
なお、画像処理部１１０は、描画情報とツールバー画像情報とのいずれも受け取っていない場合、画像情報入力部１０５から受信した画像情報を投射部１１１に出力する。 The image processing unit 110 outputs the composite image information to the projection unit 111.
Note that the image processing unit 110 outputs the image information received from the image information input unit 105 to the projection unit 111 when neither drawing information nor toolbar image information is received.

投射部１１１は、表示部の一例である。表示部はスクリーンＳＣ（表示面）を含まない。
投射部１１１は、合成画像情報を受け取った場合、合成画像情報に応じた合成画像をスクリーンＳＣに投射して表示する。また、投射部１１１は、画像情報を受け取った場合、画像情報に応じた画像をスクリーンＳＣに投射して表示する。 The projection unit 111 is an example of a display unit. The display unit does not include the screen SC (display surface).
When receiving the composite image information, the projection unit 111 projects and displays a composite image corresponding to the composite image information on the screen SC. Further, when receiving the image information, the projection unit 111 projects and displays an image corresponding to the image information on the screen SC.

制御部１１２は、ツールバー４００を投射部１１１に投射させて表示させるか否かを制御する。例えば、制御部１１２は、指示体３００のスクリーンＳＣに対する姿勢を示す姿勢情報に基づいて、ツールバー４００を投射部１１１に投射させて表示させるか否かを制御する。   The control unit 112 controls whether or not the toolbar 400 is projected and displayed on the projection unit 111. For example, the control unit 112 controls whether or not the tool bar 400 is projected and displayed on the projection unit 111 based on the posture information indicating the posture of the indicator 300 with respect to the screen SC.

次に、動作を説明する。
図３は、プロジェクター１００の動作を説明するためのフローチャートである。
オブジェクト識別部１０７は、カメラ１０６ａが生成した第２撮影画像を用いて、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。 Next, the operation will be described.
FIG. 3 is a flowchart for explaining the operation of the projector 100.
The object identification unit 107 uses the second captured image generated by the camera 106a to identify whether the user's hand is present and whether the electronic pen is present.

まず、オブジェクト識別部１０７は、基準画像（カメラ１０６ａの画角に指示体３００が存在しない状態でカメラ１０６ａがスクリーンＳＣを撮像して生成した画像）と、第２撮影画像とを比較する。続いて、オブジェクト識別部１０７は、その比較結果を解析して、ユーザーの手が存在するか否か、および、電子ペンが存在するか否かを識別する。   First, the object identification unit 107 compares the reference image (the image generated by the camera 106a capturing the screen SC in a state where the indicator 300 is not present at the angle of view of the camera 106a) and the second captured image. Subsequently, the object identification unit 107 analyzes the comparison result to identify whether the user's hand is present and whether the electronic pen is present.

オブジェクト識別部１０７は、ユーザーの手と電子ペンとの両方を識別した場合、つまり、電子ペンが指示体３００として用いられている可能性が高い場合、ユーザーの手の３次元座標位置と、電子ペンの３次元座標位置と、距離Ｌとを検出し、さらに、スクリーンＳＣに対する電子ペンの姿勢を表す姿勢情報を生成する。
続いて、オブジェクト識別部１０７は、距離Ｌと、姿勢情報と、電子ペンの３次元座標位置と、ユーザーの手および指の３次元座標位置とを、判定部１０８に出力する。 When the object identifying unit 107 identifies both the user's hand and the electronic pen, that is, when there is a high possibility that the electronic pen is used as the indicator 300, the object identifying unit 107 and the electronic pen The three-dimensional coordinate position of the pen and the distance L are detected, and posture information representing the posture of the electronic pen with respect to the screen SC is generated.
Subsequently, the object identification unit 107 outputs the distance L, the posture information, the three-dimensional coordinate position of the electronic pen, and the three-dimensional coordinate positions of the user's hand and finger to the determination unit 108.

一方、オブジェクト識別部１０７は、電子ペンを識別できずにユーザーの手を識別した場合、つまり、ユーザーの指が指示体３００として用いられている可能性が高い場合、ユーザーの指の先端の位置と、距離Ｌとを検出し、スクリーンＳＣに対するユーザーの指の姿勢を表す姿勢情報を生成する。
続いて、オブジェクト識別部１０７は、距離Ｌと、姿勢情報と、ユーザーの指の先端の位置とを、判定部１０８に出力する。 On the other hand, when the object identification unit 107 identifies the user's hand without identifying the electronic pen, that is, when it is highly likely that the user's finger is used as the indicator 300, the position of the tip of the user's finger And the distance L are detected, and posture information representing the posture of the user's finger with respect to the screen SC is generated.
Subsequently, the object identification unit 107 outputs the distance L, the posture information, and the position of the tip of the user's finger to the determination unit 108.

判定部１０８は、オブジェクト識別部１０７から種々の情報を受け取ると、ユーザーの手がスクリーンＳＣから第１距離Ｌ１以上離れているか否か、具体的には、距離Ｌ≧第１距離Ｌ１が満たされるか否かを判断する（ステップＳ３０１）。   When the determination unit 108 receives various information from the object identification unit 107, whether or not the user's hand is away from the screen SC by the first distance L1 or more, specifically, the distance L ≧ the first distance L1 is satisfied. Whether or not (step S301).

距離Ｌ≧第１距離Ｌ１が満たされる場合（ステップＳ３０１：ＹＥＳ）、判定部１０８は、ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下であるか否かを判断する（ステップＳ３０２）。ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下である場合、電子ペンが使用されている可能性が高い。一方、ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２よりも長い場合、電子ペンが使用されている可能性が低い。
ステップＳ３０２では、判定部１０８は、ユーザーの手の３次元座標位置と電子ペンの３次元座標位置とを用いてユーザーの手と電子ペンとの間の距離を決定する。なお、判定部１０８は、電子ペンの３次元座標位置を受信していない場合には、ユーザーの手と電子ペンとの間の距離は第２距離Ｌ２以下ではないと判定する。 When the distance L ≧ the first distance L1 is satisfied (step S301: YES), the determination unit 108 determines whether or not the distance between the user's hand and the electronic pen is equal to or less than the second distance L2 (step S301). S302). When the distance between the user's hand and the electronic pen is equal to or less than the second distance L2, it is highly likely that the electronic pen is being used. On the other hand, when the distance between the user's hand and the electronic pen is longer than the second distance L2, the possibility that the electronic pen is used is low.
In step S302, the determination unit 108 determines the distance between the user's hand and the electronic pen using the three-dimensional coordinate position of the user's hand and the three-dimensional coordinate position of the electronic pen. Note that the determination unit 108 determines that the distance between the user's hand and the electronic pen is not equal to or less than the second distance L2 when the three-dimensional coordinate position of the electronic pen is not received.

ユーザーの手と電子ペンとの間の距離が第２距離Ｌ２以下であると（ステップＳ３０２：ＹＥＳ）、判定部１０８は、姿勢情報を用いて、電子ペンがスクリーンＳＣに向いているか否かを判断する（ステップＳ３０３）。   When the distance between the user's hand and the electronic pen is equal to or less than the second distance L2 (step S302: YES), the determination unit 108 uses the posture information to determine whether the electronic pen is facing the screen SC. Judgment is made (step S303).

電子ペンがスクリーンＳＣに向いていない場合（ステップＳ３０３：ＮＯ）、判定部１０８は、所定時間、電子ペンが静止しているか否かを判定する（ステップＳ３０４）。
ステップＳ３０４では、判定部１０８は、オブジェクト識別部１０７から継続的に送られてくる電子ペンの３次元座標位置の間のずれ量が、所定時間の間、第１閾値以下に維持されている場合に、所定時間、電子ペンが静止していると判定する。一方、判定部１０８は、該ずれ量が、所定時間の間に第１閾値を超えた場合に、所定時間、電子ペンが静止していないと判定する。 When the electronic pen is not facing the screen SC (step S303: NO), the determination unit 108 determines whether or not the electronic pen is stationary for a predetermined time (step S304).
In step S304, the determination unit 108 determines that the deviation amount between the three-dimensional coordinate positions of the electronic pen continuously sent from the object identification unit 107 is kept below the first threshold for a predetermined time. In addition, it is determined that the electronic pen is stationary for a predetermined time. On the other hand, the determination unit 108 determines that the electronic pen is not stationary for a predetermined time when the deviation amount exceeds the first threshold value during the predetermined time.

所定時間、電子ペンが静止している場合（ステップＳ３０４：ＹＥＳ）、判定部１０８は、ツールバー４００を表示すると判定し、その判定結果を描画部１０９に出力する。   When the electronic pen is stationary for a predetermined time (step S304: YES), the determination unit 108 determines to display the toolbar 400 and outputs the determination result to the drawing unit 109.

描画部１０９は、ツールバー４００を表示する旨の判定結果を受け取ると、ペン位置検出部１０３からの先頭位置情報が示す位置に応じて設定された位置に、設定管理部１０１が管理している設定状態を示したツールバー４００を表すツールバー画像情報を生成する。描画部１０９は、ツールバー画像情報を生成すると、ツールバー画像情報を画像処理部１１０に出力する。
画像処理部１１０は、ツールバー画像情報を受け取ると、画像情報入力部１０５から受け取った画像情報の表す画像上にツールバー画像情報の表すツールバー４００を合成した合成画像を示す合成画像情報を生成し、その合成画像情報を投射部１１１に出力する。
投射部１１１は、合成画像情報を受け取ると、合成画像情報に応じた合成画像をスクリーンＳＣに投射してツールバー４００を表示する（ステップＳ３０５）。 When the drawing unit 109 receives the determination result indicating that the toolbar 400 is displayed, the setting management unit 101 manages the setting that is set in accordance with the position indicated by the head position information from the pen position detection unit 103. Toolbar image information representing the toolbar 400 indicating the state is generated. When the drawing unit 109 generates the toolbar image information, the drawing unit 109 outputs the toolbar image information to the image processing unit 110.
When the image processing unit 110 receives the toolbar image information, the image processing unit 110 generates composite image information indicating a composite image obtained by combining the toolbar 400 represented by the toolbar image information on the image represented by the image information received from the image information input unit 105. The composite image information is output to the projection unit 111.
Upon receiving the composite image information, the projection unit 111 projects a composite image corresponding to the composite image information on the screen SC and displays the toolbar 400 (step S305).

一方、ステップＳ３０２でユーザーの手と電子ペンとの間の距離が第２距離Ｌ２よりも長いと（ステップＳ３０２：ＮＯ）、判定部１０８は、姿勢情報を用いて、指がスクリーンＳＣに向いているか否かを判断する（ステップＳ３０６）。   On the other hand, when the distance between the user's hand and the electronic pen is longer than the second distance L2 in step S302 (step S302: NO), the determination unit 108 uses the posture information to point the finger toward the screen SC. It is determined whether or not (step S306).

指がスクリーンＳＣに向いていない場合（ステップＳ３０６：ＮＯ）、判定部１０８は、所定時間、指が静止しているか否かを判定する（ステップＳ３０７）。
ステップＳ３０７では、判定部１０８は、オブジェクト識別部１０７から継続的に送られてくるユーザーの指の先端の位置の間のずれ量が、所定時間の間、第２閾値以下になっている場合に、所定時間、指が静止していると判断する。一方、判定部１０８は、該ずれ量が、所定時間の間、第２閾値を超えた場合に、所定時間、指が静止していないと判断する。なお、第２閾値は、第１閾値と共通の値でもよいし、第１閾値とは異なる値でもよい。 When the finger is not facing the screen SC (step S306: NO), the determination unit 108 determines whether or not the finger is stationary for a predetermined time (step S307).
In step S307, the determination unit 108 determines that the deviation amount between the positions of the tips of the user's fingers continuously sent from the object identification unit 107 is equal to or less than the second threshold value for a predetermined time. It is determined that the finger is stationary for a predetermined time. On the other hand, the determination unit 108 determines that the finger is not stationary for a predetermined time when the deviation amount exceeds the second threshold value for a predetermined time. The second threshold value may be a value common to the first threshold value, or may be a value different from the first threshold value.

所定時間、指が静止している場合（ステップＳ３０７：ＹＥＳ）、判定部１０８は、ツールバー４００を表示すると判断し、その判断結果を描画部１０９に出力する。以下、ステップＳ３０５が実行される。   If the finger is stationary for a predetermined time (step S307: YES), the determination unit 108 determines to display the toolbar 400 and outputs the determination result to the drawing unit 109. Thereafter, step S305 is executed.

ステップＳ３０１で距離Ｌが第１距離Ｌ１よりも短いと（ステップＳ３０１：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、ユーザーの指がスクリーンＳＣに近いため、ユーザーが指示体３００（ユーザーの指または電子ペン）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。
描画部１０９は、ツールバー４００を表示しない旨の判定結果を受け取ると、ツールバー画像情報を画像処理部１１０に出力している場合にはツールバー画像情報の出力を停止する。このため、ツールバー４００の表示が終了する。 When the distance L is shorter than the first distance L1 in step S301 (step S301: NO), the determination unit 108 determines that the toolbar 400 is not displayed. In this determination, since the user's finger is close to the screen SC, the user is likely to be using the indicator 300 (user's finger or electronic pen), and the user is less likely to visually recognize the toolbar 400. to cause. The determination unit 108 outputs the determination result to the drawing unit 109.
Upon receiving the determination result indicating that the toolbar 400 is not displayed, the drawing unit 109 stops outputting the toolbar image information when the toolbar image information is output to the image processing unit 110. For this reason, the display of the toolbar 400 ends.

ステップＳ３０３で電子ペンがスクリーンＳＣに向いている場合（ステップＳ３０３：ＹＥＳ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、電子ペンがスクリーンＳＣに向いている場合、ユーザーが指示体３００（電子ペン）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。   If the electronic pen is facing the screen SC in step S303 (step S303: YES), the determination unit 108 determines that the toolbar 400 is not displayed. This determination is due to the fact that when the electronic pen is facing the screen SC, the user is likely to be using the indicator 300 (electronic pen), and the user is less likely to visually recognize the toolbar 400. The determination unit 108 outputs the determination result to the drawing unit 109. The operation when the drawing unit 109 receives the determination result indicating that the toolbar 400 is not displayed is as described above.

ステップＳ３０６で指がスクリーンＳＣに向いている場合（ステップＳ３０６：ＹＥＳ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、指がスクリーンＳＣに向いているため、ユーザーが指示体３００（指）を使用している可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。   If it is determined in step S306 that the finger is facing the screen SC (step S306: YES), the determination unit 108 determines that the toolbar 400 is not displayed. This determination is due to the high possibility that the user is using the indicator 300 (finger) because the finger is facing the screen SC, and the low possibility that the user visually recognizes the tool bar 400. The determination unit 108 outputs the determination result to the drawing unit 109. The operation when the drawing unit 109 receives the determination result indicating that the toolbar 400 is not displayed is as described above.

ステップＳ３０４で、所定時間、電子ペンが静止していない場合（ステップＳ３０４：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、電子ペンが静止していないため、電子ペンが使用されている可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときに動作は上述した通りである。   If the electronic pen is not stationary for a predetermined time in step S304 (step S304: NO), the determination unit 108 determines not to display the toolbar 400. This determination is due to the high possibility that the electronic pen is being used because the electronic pen is not stationary, and the possibility that the user visually recognizes the toolbar 400 is low. The determination unit 108 outputs the determination result to the drawing unit 109. The operation is as described above when the drawing unit 109 receives a determination result indicating that the toolbar 400 is not displayed.

ステップＳ３０７で、所定時間、指が静止していない場合（ステップＳ３０７：ＮＯ）、判定部１０８は、ツールバー４００を表示しないと判定する。この判定は、指が静止しておらず、指が使用されている可能性が高く、ユーザーがツールバー４００を視認する可能性が低いことに起因する。判定部１０８は、その判定結果を描画部１０９に出力する。描画部１０９が、ツールバー４００を表示しない旨の判定結果を受け取ったときの動作は上述した通りである。   If it is determined in step S307 that the finger is not stationary for a predetermined time (step S307: NO), the determination unit 108 determines that the toolbar 400 is not displayed. This determination is due to the fact that the finger is not stationary, the finger is likely to be used, and the user is less likely to visually recognize the toolbar 400. The determination unit 108 outputs the determination result to the drawing unit 109. The operation when the drawing unit 109 receives the determination result indicating that the toolbar 400 is not displayed is as described above.

図４は、ツールバー４００が表示される状況Ａとツールバー４００表示されない状況Ｂの一例を示した図である。
図４に示した状況Ａでは、ユーザーの手Ｈは、スクリーンＳＣの法線方向においてスクリーンＳＣから第１距離Ｌ１以上離れており、電子ペンＰ（指示体３００）の向きはスクリーンＳＣに向いておらず、所定時間の間、電子ペンＰが静止している。このため、例えば図５に示したように、ツールバー４００がスクリーンＳＣに表示される。
一方、図４に示した状況Ｂでは、電子ペンＰ（指示体３００）がスクリーンＳＣに向いている。このため、ツールバー４００はスクリーンＳＣに表示されない。 FIG. 4 is a diagram illustrating an example of a situation A in which the toolbar 400 is displayed and a situation B in which the toolbar 400 is not displayed.
In the situation A shown in FIG. 4, the user's hand H is separated from the screen SC by a first distance L1 or more in the normal direction of the screen SC, and the direction of the electronic pen P (indicator 300) is directed to the screen SC. The electronic pen P is stationary for a predetermined time. Therefore, for example, as shown in FIG. 5, the toolbar 400 is displayed on the screen SC.
On the other hand, in the situation B shown in FIG. 4, the electronic pen P (indicator 300) faces the screen SC. For this reason, the toolbar 400 is not displayed on the screen SC.

本実施形態によれば、ツールバー４００は、ユーザーがツールバー４００を視認する可能性が高い場合に表示され、ユーザーがツールバー４００を視認する可能性が低い場合に表示されない。このため、指示体３００についての機能設定に関する設定情報であるツールバー４００の表示を必要に応じて行うことが可能になる。よって、ツールバー４００を常に表示する場合に比べて、プロジェクター１００の処理負荷を低減することが可能になる。   According to the present embodiment, the toolbar 400 is displayed when the possibility that the user visually recognizes the toolbar 400 is high, and is not displayed when the possibility that the user visually recognizes the toolbar 400 is low. For this reason, it is possible to display the toolbar 400, which is setting information related to function settings for the indicator 300, as necessary. Therefore, it is possible to reduce the processing load of the projector 100 as compared with the case where the toolbar 400 is always displayed.

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。 <Modification>
The present invention is not limited to the above-described embodiments, and various modifications as described below are possible, for example. Further, one or a plurality of modifications arbitrarily selected from the modifications described below can be appropriately combined.

＜変形例１＞
電子ペンが、スクリーンＳＣに対する電子ペンの姿勢を検出する姿勢検出部と、姿勢検出部の検出結果（姿勢情報）を送信する送信部とを有する場合、オブジェクト識別部１０７は、電子ペンから該検出結果を受信することで、姿勢情報を取得してもよい。 <Modification 1>
When the electronic pen includes a posture detection unit that detects the posture of the electronic pen with respect to the screen SC and a transmission unit that transmits a detection result (posture information) of the posture detection unit, the object identification unit 107 detects the detection from the electronic pen. The posture information may be acquired by receiving the result.

＜変形例２＞
判定部１０８は、ペン位置検出部１０３が出力する先端位置情報を受け取り、この先端位置情報を、電子ペンの３次元位置座標の代わりに用いてもよい。 <Modification 2>
The determination unit 108 may receive tip position information output from the pen position detection unit 103 and use the tip position information instead of the three-dimensional position coordinates of the electronic pen.

＜変形例３＞
プロジェクター１００は、指示体３００として、人の指と電子ペンのいずれか一方のみが用いられる構成でもよい。
指示体３００として人の指が用いられ電子ペンが用いられない場合、図３において、処理は、ステップＳ３０１でＹＥＳの場合、ステップＳ３０６に進み、ステップＳ３０２〜ステップＳ３０４が省略される。
また、指示体３００として電子ペンが用いられ人の指が用いられない場合、図３において、処理は、ステップＳ３０１でＹＥＳの場合、ステップＳ３０３に進み、ステップＳ３０２、ステップＳ３０６およびステップＳ３０７が省略される。 <Modification 3>
The projector 100 may be configured such that only one of a human finger and an electronic pen is used as the indicator 300.
When a human finger is used as the indicator 300 and an electronic pen is not used, in FIG. 3, if YES in step S301, the process proceeds to step S306, and steps S302 to S304 are omitted.
When the electronic pen is used as the indicator 300 and a human finger is not used, in FIG. 3, if YES in step S <b> 301, the process proceeds to step S <b> 303 and steps S <b> 302, S <b> 306, and S <b> 307 are omitted. The

＜変形例４＞
図３において、ステップＳ３０１、ステップ３０４およびステップＳ３０７の少なくとも１つは省略されてもよい。 <Modification 4>
In FIG. 3, at least one of step S301, step 304, and step S307 may be omitted.

＜変形例５＞
図３において、ステップＳ３０３とステップＳ３０４の実行順序が入れ替わってもよい。また、図３において、ステップＳ３０６とステップＳ３０７の実行順序が入れ替わってもよい。 <Modification 5>
In FIG. 3, the execution order of step S303 and step S304 may be switched. In FIG. 3, the execution order of step S306 and step S307 may be switched.

＜変形例６＞
ツールバー４００の表示態様は、図１に示した表示態様に限らず適宜変更可能である。 <Modification 6>
The display mode of the toolbar 400 is not limited to the display mode shown in FIG.

＜変形例７＞
表示装置としてプロジェクターが用いられたが、表示装置はプロジェクターに限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイあってもよい。 <Modification 7>
Although a projector is used as the display device, the display device is not limited to the projector and can be changed as appropriate. For example, the display device may be a direct view type display.

＜変形例８＞
上述した実施形態において、設定管理部１０１とペン位置検出部１０３とオブジェクト識別部１０７と判定部１０８と描画部１０９と画像処理部１１０の全部または一部は、専用の電子回路によって実現されてもよいし、ＣＰＵ等のコンピューターが、記憶装置に記憶されたプログラムを読み取って実行することによって実現されてもよい。 <Modification 8>
In the embodiment described above, all or part of the setting management unit 101, the pen position detection unit 103, the object identification unit 107, the determination unit 108, the drawing unit 109, and the image processing unit 110 may be realized by a dedicated electronic circuit. Alternatively, it may be realized by a computer such as a CPU reading and executing a program stored in a storage device.

１００…プロジェクター、１０１…設定管理部、１０２…ＩＲフィルター付きカメラ、１０３…ペン位置検出部、１０４…位置通知部、１０５…画像情報入力部、１０６ａ，１０６ｂ…カメラ、１０７…オブジェクト識別部、１０８…判定部、１０９…描画部、１１０…画像処理部、１１１…投射部、１１２…制御部、３００…指示体、ＳＣ…スクリーン。
DESCRIPTION OF SYMBOLS 100 ... Projector, 101 ... Setting management part, 102 ... Camera with IR filter, 103 ... Pen position detection part, 104 ... Position notification part, 105 ... Image information input part, 106a, 106b ... Camera, 107 ... Object identification part, 108 DESCRIPTION OF SYMBOLS ... Determination part 109 ... Drawing part 110 ... Image processing part 111 ... Projection part 112 ... Control part 300 ... Indicator, SC ... Screen.

Claims (6)

画像情報に基づく画像を表示面に表示する表示部と、
指示体の前記表示面に対する姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する制御部と、
を有することを特徴とする表示装置。 A display unit for displaying an image based on the image information on a display surface;
A posture information acquisition unit that acquires posture information regarding the posture of the indicator with respect to the display surface;
Based on the posture information, a control unit that controls whether or not to display setting information related to function setting for the indicator on the display unit;
A display device comprising: 前記指示体は、所定部分を有し、
前記制御部は、前記所定部分が前記表示面に向いている場合には、前記設定情報を前記表示部に表示させず、前記所定部分が前記表示面に向いていない場合には、前記設定情報を前記表示部に表示させる、
ことを特徴とする請求項１の記載の表示装置。 The indicator has a predetermined portion,
The control unit does not display the setting information on the display unit when the predetermined portion faces the display surface, and the setting information when the predetermined portion does not face the display surface. Is displayed on the display unit,
The display device according to claim 1. 前記制御部は、所定時間の間、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させる、
ことを特徴とする請求項２の記載の表示装置。 The control unit displays the setting information on the display unit when the predetermined part is not facing the display surface for a predetermined time.
The display device according to claim 2, wherein: 前記表示面に対する前記指示体の位置を検出する位置検出部をさらに有し、
前記表示部は、前記設定情報を、前記指示体の位置に応じて設定された位置に表示する、
ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。 A position detection unit for detecting the position of the indicator with respect to the display surface;
The display unit displays the setting information at a position set according to the position of the indicator.
The display device according to claim 1, wherein the display device is a display device. 前記制御部は、さらに、前記指示体が前記表示面から所定距離以上離れており、かつ、前記所定部分が前記表示面に向いていない場合に、前記設定情報を前記表示部に表示させる、
ことを特徴とする請求項１から４のいずれか１項に記載の表示装置。 The control unit further causes the display unit to display the setting information when the indicator is separated from the display surface by a predetermined distance or more and the predetermined portion does not face the display surface.
The display device according to claim 1, wherein the display device is a display device. 画像情報に基づく画像を表示面に表示する表示部を含む表示装置の制御方法であって、
指示体の前記表示面に対する姿勢に関する姿勢情報を取得し、
前記姿勢情報に基づいて、前記指示体についての機能設定に関する設定情報を、前記表示部に表示させるか否かを制御する、
ことを特徴とする表示装置の制御方法。
A control method for a display device including a display unit that displays an image based on image information on a display surface,
Obtaining posture information regarding the posture of the indicator relative to the display surface;
Based on the posture information, control whether to display setting information related to function setting for the indicator on the display unit,
A control method for a display device.

Images