JP2020190793A - Operation method and processing device - Google Patents

Abstract

To provide a technique which can transmit position information to a provision source of image information even when a user is not positioned near a display surface on which a display device displays an image.SOLUTION: An operation method executed by a processing device which controls a display device displaying a first image based on first image information provided by a first device and a second image based on second image information provided by a second device on a display surface comprises: displaying a first operation image which receives a first operation to the first image on behalf of the first image and a second operation image which receives a second operation to the second image on behalf of the second image on a display screen possessed by the processing device; causing the display device to notify, as a position of the first operation on the first image, a position on the first image corresponding to a position of the first operation on the first operation image to the first device; and causing the display device to notify, as a position of the second operation on the second image, a position on the second image corresponding to a position of the second operation on the second operation image to the second device.SELECTED DRAWING: Figure 6

Description

本発明は、動作方法および処理装置に関する。 The present invention relates to an operating method and a processing device.

特許文献１には、インタラクティブ機能を有する表示システムが記載されている。この表示システムでは、プロジェクター等の表示装置が、複数の装置から提供される画像情報を受信する。表示装置は、各画像情報が示す画像を含む複合画像をスクリーン等の表示面に表示する。表示装置は、複合画像に含まれる一の画像をユーザーが指示体によって操作すると、当該一の画像を示す画像情報の提供元に、指示体による操作位置に基づく位置情報を送信する。 Patent Document 1 describes a display system having an interactive function. In this display system, a display device such as a projector receives image information provided by a plurality of devices. The display device displays a composite image including an image indicated by each image information on a display surface such as a screen. When the user operates one image included in the composite image by the indicator, the display device transmits the position information based on the operation position by the indicator to the image information provider indicating the one image.

特開２０１７−１１７０２０号公報Japanese Unexamined Patent Publication No. 2017-11720

特許文献１に記載の技術では、画像情報の提供元に位置情報を送信するためには、表示面に表示されている画像をユーザーが指示体によって操作しなければならない。このため、表示面の近くにユーザーが位置する必要がある。 In the technique described in Patent Document 1, in order to transmit the position information to the image information provider, the user must operate the image displayed on the display surface by the indicator. Therefore, the user needs to be located near the display surface.

本発明に係る動作方法は、第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置を、制御する処理装置が実行する動作方法であって、前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、を前記処理装置が有する表示画面に表示し、前記表示装置に、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、前記表示装置に、前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる。 In the operation method according to the present invention, a first image based on the first image information provided by the first device and a second image based on the second image information provided by the second device are displayed on the display surface. The operation method executed by the processing device that controls the display device, the first operation image that receives the first operation on the first image instead of the first image, and the second operation on the second image. The second operation image received in place of the second image is displayed on the display screen of the processing device, and the display device is displayed in the first image corresponding to the position of the first operation in the first operation image. The position is notified to the first device as the position of the first operation in the first image, and the display device is notified of the position in the second image corresponding to the position of the second operation in the second operation image. Is notified to the second device as the position of the second operation in the second image.

本発明に係る処理装置は、第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置を、制御する処理装置であって、前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、を前記処理装置が有する表示画面に表示する表示部と、前記表示装置を制御する制御部と、を含み、前記制御部は、前記表示装置に、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、前記表示装置に、前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる。 The processing apparatus according to the present invention displays a first image based on the first image information provided by the first apparatus and a second image based on the second image information provided by the second apparatus on the display surface. A processing device that controls the display device, the first operation image that receives the first operation on the first image instead of the first image, and the second operation on the second image instead of the second image. The second operation image received by the processing device includes a display unit for displaying on a display screen of the processing device, and a control unit for controlling the display device. The control unit causes the display device to perform the first operation. The position in the first image corresponding to the position of the first operation in the image is notified to the first device as the position of the first operation in the first image, and the display device is notified of the second operation image. The position in the second image corresponding to the position of the second operation in the second image is notified to the second device as the position of the second operation in the second image.

本発明に係る動作方法は、第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置と、前記表示装置を制御する処理装置と、を含む表示システムが実行する動作方法であって、前記処理装置が、前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、を前記処理装置が有する表示画面に表示し、前記処理装置が、前記表示装置に、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、前記処理装置が、前記表示装置に、前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる。 In the operation method according to the present invention, a first image based on the first image information provided by the first device and a second image based on the second image information provided by the second device are displayed on the display surface. A method of operation executed by a display system including a display device and a processing device that controls the display device, wherein the processing device receives a first operation on the first image instead of the first image. The 1 operation image and the second operation image that receives the second operation for the second image instead of the second image are displayed on the display screen of the processing device, and the processing device displays the second operation on the display device. The position in the first image corresponding to the position of the first operation in the first operation image is notified to the first device as the position of the first operation in the first image, and the processing device determines the position. The display device is made to notify the second device of the position in the second image corresponding to the position of the second operation in the second operation image as the position of the second operation in the second image.

第１実施形態に係る表示システム１０００の一例を示す図である。It is a figure which shows an example of the display system 1000 which concerns on 1st Embodiment. 操作画像Ｆの一例を示す図である。It is a figure which shows an example of the operation image F. 第３処理装置３の一例を示す図である。It is a figure which shows an example of the 3rd processing apparatus 3. プロジェクター５の一例を示す図である。It is a figure which shows an example of the projector 5. 投射部５３の一例を示す図である。It is a figure which shows an example of the projection part 53. 表示システム１０００の動作を説明するための図である。It is a figure for demonstrating the operation of the display system 1000. 第３処理装置３の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of the 3rd processing apparatus 3. 第１座標系を説明するための図である。It is a figure for demonstrating the 1st coordinate system. 第２座標系を説明するための図である。It is a figure for demonstrating the 2nd coordinate system.

Ａ：第１実施形態
Ａ１：表示システム１０００の概要
図１は、第１実施形態に係る表示システム１０００の一例を示す図である。表示システム１０００は、第１処理装置１〜第４処理装置４と、プロジェクター５と、を含む。 A: First Embodiment A1: Outline of the display system 1000 FIG. 1 is a diagram showing an example of the display system 1000 according to the first embodiment. The display system 1000 includes the first processing device 1 to the fourth processing device 4, and the projector 5.

第１処理装置１〜第４処理装置４の各々は、例えばＰＣ（Personal Computer）である。第１処理装置１〜第４処理装置４の各々は、ＰＣに限らず、例えば、タブレット端末またはスマートフォンでもよい。 Each of the first processing device 1 to the fourth processing device 4 is, for example, a PC (Personal Computer). Each of the first processing device 1 to the fourth processing device 4 is not limited to a PC, and may be, for example, a tablet terminal or a smartphone.

第１処理装置１〜第４処理装置４の少なくとも一は、他の一の処理装置とは異なる種類の処理装置でもよい。例えば、第１処理装置１〜第３処理装置３の各々がＰＣであり、第４処理装置４がタブレット端末でもよい。 At least one of the first processing apparatus 1 to the fourth processing apparatus 4 may be a processing apparatus of a type different from that of the other processing apparatus. For example, each of the first processing device 1 to the third processing device 3 may be a PC, and the fourth processing device 4 may be a tablet terminal.

以下では、説明の簡略化のため、第１処理装置１〜第４処理装置４の各々がＰＣであるとする。第１処理装置１〜第４処理装置４を相互に区別する必要がない場合、これらを「処理装置１０」と称する。処理装置は、情報処理装置とも称され得る。処理装置１０の数は４台に限らない。処理装置１０の数は２台以上であればよい。処理装置１０の数が２台である場合、２台のうち１台が第１装置の一例となり、２台のうち残りの１台が第２装置および処理装置の一例となる。 In the following, for simplification of the description, it is assumed that each of the first processing device 1 to the fourth processing device 4 is a PC. When it is not necessary to distinguish the first processing device 1 to the fourth processing device 4 from each other, these are referred to as "processing device 10". The processing device may also be referred to as an information processing device. The number of processing devices 10 is not limited to four. The number of processing devices 10 may be two or more. When the number of processing devices 10 is 2, one of the two is an example of the first device, and the remaining one of the two is an example of the second device and the processing device.

処理装置１０は、プロジェクター５と電気的に接続されている。典型的には、処理装置１０は、ネットワークを介してプロジェクター５と接続されている。ネットワークは、例えば、無線ＬＡＮ（Local Area Network）である。ネットワークは、無線ＬＡＮに限らず、他の通信ネットワークでもよい。 The processing device 10 is electrically connected to the projector 5. Typically, the processing device 10 is connected to the projector 5 via a network. The network is, for example, a wireless LAN (Local Area Network). The network is not limited to the wireless LAN, and may be another communication network.

処理装置１０は、画像を示す画像情報をプロジェクター５に提供する。プロジェクター５は、各処理装置１０から提供される画像情報を用いて、図１に示すような投射画像Ｅを投射面６に投射する。投射面６は、例えば、スクリーンである。投射面６は、スクリーンに限らず、例えば、壁または扉でもよい。投射面６は、表示面の一例である。 The processing device 10 provides the projector 5 with image information indicating an image. The projector 5 projects the projected image E as shown in FIG. 1 onto the projection surface 6 by using the image information provided by each processing device 10. The projection surface 6 is, for example, a screen. The projection surface 6 is not limited to the screen, and may be, for example, a wall or a door. The projection surface 6 is an example of a display surface.

第１処理装置１は、第１画像Ａを示す第１画像情報と、投射画像Ｅにおける第１画像Ａの位置を示す第１配置情報とを、ネットワークを介してプロジェクター５に提供する。
第２処理装置２は、第２画像Ｂを示す第２画像情報と、投射画像Ｅにおける第２画像Ｂの位置を示す第２配置情報とを、ネットワークを介してプロジェクター５に提供する。
第３処理装置３は、第３画像Ｃを示す第３画像情報と、投射画像Ｅにおける第３画像Ｃの位置を示す第３配置情報とを、ネットワークを介してプロジェクター５に提供する。
第４処理装置４は、第４画像Ｄを示す第４画像情報と、投射画像Ｅにおける第４画像Ｄの位置を示す第４配置情報とを、ネットワークを介してプロジェクター５に提供する。
投射画像Ｅにおける第１画像Ａの位置と、投射画像Ｅにおける第２画像Ｂの位置と、投射画像Ｅにおける第３画像Ｃの位置と、投射画像Ｅにおける第４画像Ｄの位置とは、例えば、ユーザーによって設定される。
第１処理装置１は、第１装置の一例である。第２処理装置２は、第２装置の一例である。第３処理装置３は、プロジェクター５を制御する処理装置の一例である。 The first processing device 1 provides the projector 5 with the first image information indicating the first image A and the first arrangement information indicating the position of the first image A in the projected image E via the network.
The second processing device 2 provides the projector 5 with the second image information indicating the second image B and the second arrangement information indicating the position of the second image B in the projected image E via the network.
The third processing device 3 provides the projector 5 with the third image information indicating the third image C and the third arrangement information indicating the position of the third image C in the projected image E via the network.
The fourth processing device 4 provides the projector 5 with the fourth image information indicating the fourth image D and the fourth arrangement information indicating the position of the fourth image D in the projected image E via the network.
The position of the first image A in the projected image E, the position of the second image B in the projected image E, the position of the third image C in the projected image E, and the position of the fourth image D in the projected image E are, for example, , Set by the user.
The first processing device 1 is an example of the first device. The second processing device 2 is an example of the second device. The third processing device 3 is an example of a processing device that controls the projector 5.

第１画像Ａ〜第４画像Ｄの各々は、投射画像Ｅの構成要素である。投射画像Ｅは、複合画像とも称され得る。図１に示す例では、第１画像Ａは、第１配置情報に基づいて、投射画像Ｅにおける左上に配置される。第２画像Ｂは、第２配置情報に基づいて、投射画像Ｅにおける右上に配置される。第３画像Ｃは、第３配置情報に基づいて、投射画像Ｅにおける左下に配置される。第４画像Ｄは、第４配置情報に基づいて、投射画像Ｅにおける右下に配置される。
なお、投射画像Ｅにおける構成要素の配列は、図１に示す例に限らず、適宜変更可能である。また、投射画像Ｅの構成要素となる画像の数は、４つに限らず、２つ以上であればよい。 Each of the first image A to the fourth image D is a component of the projected image E. The projected image E may also be referred to as a composite image. In the example shown in FIG. 1, the first image A is arranged at the upper left of the projected image E based on the first arrangement information. The second image B is arranged at the upper right of the projected image E based on the second arrangement information. The third image C is arranged at the lower left of the projected image E based on the third arrangement information. The fourth image D is arranged at the lower right of the projected image E based on the fourth arrangement information.
The arrangement of the components in the projected image E is not limited to the example shown in FIG. 1, and can be changed as appropriate. Further, the number of images that are components of the projected image E is not limited to four, and may be two or more.

プロジェクター５は、ネットワークを介して、第１画像情報〜第４画像情報と、第１配置情報〜第４配置情報と、を受ける。プロジェクター５は、第１画像情報〜第４画像情報と第１配置情報〜第４配置情報とを用いて、投射画像Ｅを生成する。プロジェクター５は、投射画像Ｅを投射面６に投射することによって、投射画像Ｅを投射面６に表示する。プロジェクター５は、表示装置の一例である。 The projector 5 receives the first image information to the fourth image information and the first arrangement information to the fourth arrangement information via the network. The projector 5 generates a projected image E by using the first image information to the fourth image information and the first arrangement information to the fourth arrangement information. The projector 5 displays the projected image E on the projection surface 6 by projecting the projected image E on the projection surface 6. The projector 5 is an example of a display device.

第３処理装置３は、図２に示すような、投射画像Ｅに対応する操作画像Ｆを表示する。操作画像Ｆは、第１操作画像Ｇと、第２操作画像Ｈと、第３操作画像Ｉと、第４操作画像Ｊと、を有する。なお、第１処理装置１と第２処理装置２と第４処理装置４のうち少なくとも１台も、操作画像Ｆを表示してもよい。 The third processing device 3 displays the operation image F corresponding to the projected image E as shown in FIG. The operation image F includes a first operation image G, a second operation image H, a third operation image I, and a fourth operation image J. At least one of the first processing device 1, the second processing device 2, and the fourth processing device 4 may also display the operation image F.

第１操作画像Ｇは、第１画像Ａに対する第１操作を、第１画像Ａの代わりに受ける。第２操作画像Ｈは、第２画像Ｂに対する第２操作を、第２画像Ｂの代わりに受ける。第３操作画像Ｉは、第３画像Ｃに対する第３操作を、第３画像Ｃの代わりに受ける。第４操作画像Ｊは、第４画像Ｄに対する第４操作を、第４画像Ｄの代わりに受ける。第１操作から第４操作の各々は、例えば、指示操作である。 The first operation image G receives the first operation on the first image A instead of the first image A. The second operation image H receives the second operation on the second image B instead of the second image B. The third operation image I receives a third operation on the third image C instead of the third image C. The fourth operation image J receives the fourth operation with respect to the fourth image D in place of the fourth image D. Each of the first to fourth operations is, for example, an instruction operation.

第３処理装置３は、第１操作画像Ｇにおける第１操作の位置に対応する第１画像Ａにおける位置を特定する。以下、第１操作画像Ｇにおける第１操作の位置に対応する第１画像Ａにおける位置を「第１対応位置」と称する。第１対応位置は、第１操作画像Ｇにおける第１操作の位置に基づいて特定される。第３処理装置３は、第１対応位置を第１処理装置１へ通知する処理を、プロジェクター５に実行させる。 The third processing device 3 specifies a position in the first image A corresponding to the position of the first operation in the first operation image G. Hereinafter, the position in the first image A corresponding to the position of the first operation in the first operation image G is referred to as a “first corresponding position”. The first corresponding position is specified based on the position of the first operation in the first operation image G. The third processing device 3 causes the projector 5 to execute a process of notifying the first processing device 1 of the first corresponding position.

第３処理装置３は、第２操作画像Ｈにおける第２操作の位置に対応する第２画像Ｂにおける位置を特定する。以下、第２操作画像Ｈにおける第２操作の位置に対応する第２画像Ｂにおける位置を「第２対応位置」と称する。第２対応位置は、第２操作画像Ｈにおける第２操作の位置に基づいて特定される。第３処理装置３は、第２対応位置を第２処理装置２へ通知する処理を、プロジェクター５に実行させる。 The third processing device 3 specifies a position in the second image B corresponding to the position of the second operation in the second operation image H. Hereinafter, the position in the second image B corresponding to the position of the second operation in the second operation image H will be referred to as a “second corresponding position”. The second corresponding position is specified based on the position of the second operation in the second operation image H. The third processing device 3 causes the projector 5 to execute a process of notifying the second processing device 2 of the second corresponding position.

第３処理装置３は、第３操作画像Ｉにおける第３操作の位置に対応する第３画像Ｃにおける位置を特定する。以下、第３操作画像Ｉにおける第３操作の位置に対応する第３画像Ｃにおける位置を「第３対応位置」と称する。第３対応位置は、第３操作画像Ｉにおける第３操作の位置に基づいて特定される。第３処理装置３は、第３対応位置を第３処理装置３へ通知する処理を、プロジェクター５に実行させる。
なお、第３処理装置３は、第３対応位置を認識できるため、第３対応位置を第３処理装置３へ通知する処理を、プロジェクター５に実行させなくてもよい。 The third processing device 3 specifies a position in the third image C corresponding to the position of the third operation in the third operation image I. Hereinafter, the position in the third image C corresponding to the position of the third operation in the third operation image I will be referred to as a “third corresponding position”. The third corresponding position is specified based on the position of the third operation in the third operation image I. The third processing device 3 causes the projector 5 to execute a process of notifying the third processing device 3 of the third corresponding position.
Since the third processing device 3 can recognize the third corresponding position, the projector 5 does not have to execute the process of notifying the third processing device 3 of the third corresponding position.

第３処理装置３は、第４操作画像Ｊにおける第４操作の位置に対応する第４画像Ｄにおける位置を特定する。以下、第４操作画像Ｊにおける第４操作の位置に対応する第４画像Ｄにおける位置を「第４対応位置」と称する。第４対応位置は、第４操作画像Ｊにおける第４操作の位置に基づいて特定される。第３処理装置３は、第４対応位置を第４処理装置４へ通知する処理を、プロジェクター５に実行させる。 The third processing device 3 specifies a position in the fourth image D corresponding to the position of the fourth operation in the fourth operation image J. Hereinafter, the position in the fourth image D corresponding to the position of the fourth operation in the fourth operation image J will be referred to as a “fourth corresponding position”. The fourth corresponding position is specified based on the position of the fourth operation in the fourth operation image J. The third processing device 3 causes the projector 5 to execute a process of notifying the fourth processing device 4 of the fourth corresponding position.

Ａ２：第３処理装置３の一例
図３は、第３処理装置３の一例を示す図である。第３処理装置３は、第１操作部３１と、第１通信部３２と、表示部３３と、第１記憶部３４と、第１処理部３５と、を含む。 A2: An example of the third processing device 3 FIG. 3 is a diagram showing an example of the third processing device 3. The third processing device 3 includes a first operation unit 31, a first communication unit 32, a display unit 33, a first storage unit 34, and a first processing unit 35.

第１操作部３１は、例えば、キーボード、マウスまたはタッチパネルである。第１操作部３１は、ユーザーから種々の情報を受ける。 The first operation unit 31 is, for example, a keyboard, a mouse, or a touch panel. The first operation unit 31 receives various information from the user.

例えば、第１操作部３１は、第１操作画像Ｇ〜第４操作画像Ｊの相互の位置関係を示す位置関係情報を受ける。位置関係情報は、第１操作画像Ｇ〜第４操作画像Ｊの相互の位置関係として、例えば、図２に示すような位置関係を示す。第３処理装置３は、位置関係情報を用いて、第１操作画像Ｇ〜第４操作画像Ｊの位置関係を定める。 For example, the first operation unit 31 receives the positional relationship information indicating the mutual positional relationship between the first operation image G to the fourth operation image J. The positional relationship information shows, for example, the positional relationship as shown in FIG. 2 as the mutual positional relationship between the first operation image G to the fourth operation image J. The third processing device 3 determines the positional relationship between the first operation image G to the fourth operation image J by using the positional relationship information.

第１操作部３１は、操作画像Ｆへのユーザーによる操作を受ける。第１操作部３１は、例えば、操作画像Ｆの一部をカーソル７で指示する指示操作を受ける。 The first operation unit 31 receives an operation by the user on the operation image F. The first operation unit 31 receives, for example, an instruction operation for instructing a part of the operation image F with the cursor 7.

第１通信部３２は、プロジェクター５と通信する。例えば、第１通信部３２は、無線ＬＡＮ等のネットワークを介してプロジェクター５と通信する。 The first communication unit 32 communicates with the projector 5. For example, the first communication unit 32 communicates with the projector 5 via a network such as a wireless LAN.

第１通信部３２は、プロジェクター５に、投射画像Ｅの左下の位置に第３画像Ｃを投射させるために、第３画像情報と、第３配置情報とを、ネットワークを介してプロジェクター５に提供する。 The first communication unit 32 provides the projector 5 with the third image information and the third arrangement information via the network in order for the projector 5 to project the third image C at the lower left position of the projected image E. To do.

第１通信部３２は、操作画像Ｆへの操作位置に基づく情報の転送をプロジェクター５に実行させるために、操作画像Ｆに対する操作の位置に基づく情報と、転送先を示す情報とを、ネットワークを介してプロジェクター５に提供する。操作画像Ｆに対する操作の位置に基づく情報は、例えば、第１対応位置を示す第１位置情報である。また、操作画像Ｆに対する操作の位置に基づく情報の転送先が第１処理装置１である場合、転送先を示す情報として、第１処理装置１を示す第１処理装置情報が用いられる。 In order for the projector 5 to transfer information based on the operation position to the operation image F, the first communication unit 32 connects the information based on the operation position with respect to the operation image F and the information indicating the transfer destination to the network. It is provided to the projector 5 via. The information based on the operation position with respect to the operation image F is, for example, the first position information indicating the first corresponding position. When the transfer destination of the information based on the operation position with respect to the operation image F is the first processing device 1, the first processing device information indicating the first processing device 1 is used as the information indicating the transfer destination.

表示部３３は、ディスプレイ、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイである。表示部３３は、種々の情報を表示する。例えば、表示部３３は、第３画像Ｃと、操作画像Ｆと、を表示する。 The display unit 33 is a display, for example, a liquid crystal display, a plasma display, or an organic EL (Electro Luminescence) display. The display unit 33 displays various information. For example, the display unit 33 displays the third image C and the operation image F.

第１記憶部３４は、第１処理部３５が読み取り可能な記録媒体である。第１記憶部３４は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）が挙げられる。揮発性メモリーとしては、例えば、ＲＡＭ（Random Access Memory）が挙げられる。 The first storage unit 34 is a recording medium that can be read by the first processing unit 35. The first storage unit 34 includes, for example, a non-volatile memory and a volatile memory. Examples of the non-volatile memory include ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically Erasable Programmable Read Only Memory). Examples of the volatile memory include RAM (Random Access Memory).

第１記憶部３４は、第１処理部３５によって実行される制御プログラムと、第１処理部３５が使用する各種のデータと、を記憶する。 The first storage unit 34 stores the control program executed by the first processing unit 35 and various data used by the first processing unit 35.

第１処理部３５は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第１処理部３５は、単数または複数のＣＰＵ（Central Processing Unit）によって構成される。第１処理部３５の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。第１処理部３５は、各種の処理を並列的または逐次的に実行する。 The first processing unit 35 is composed of, for example, a single processor or a plurality of processors. As an example, the first processing unit 35 is composed of a single CPU (Central Processing Unit) or a plurality of CPUs (Central Processing Units). Part or all of the functions of the first processing unit 35 are composed of circuits such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). May be good. The first processing unit 35 executes various processes in parallel or sequentially.

第１処理部３５は、第１記憶部３４から制御プログラムを読み取り実行することによって、表示制御部３５１、特定部３５２および動作制御部３５３として機能する。第１処理部３５は、制御部の一例である。 The first processing unit 35 functions as a display control unit 351 and a specific unit 352 and an operation control unit 353 by reading and executing a control program from the first storage unit 34. The first processing unit 35 is an example of a control unit.

表示制御部３５１は、表示部３３を制御する。例えば、表示制御部３５１は、図２に示されるように、第３画像Ｃの上に操作画像Ｆが重畳されている重畳画像Ｋを、表示部３３に表示させる。表示制御部３５１は、第１操作部３１が受けた位置関係情報に基づいて、操作画像Ｆにおける第１操作画像Ｇ〜第４操作画像Ｊの位置関係を決定する。表示制御部３５１は、表示部３３が有する表示画面３ａにおける操作画面Ｆの位置を、第１操作部３１が受ける移動指示に従って移動する。このため、ユーザーは、操作画面Ｆを、ユーザーが希望する位置に配置できる。表示制御部３５１は、ディスプレイコントローラーとも称され得る。 The display control unit 351 controls the display unit 33. For example, as shown in FIG. 2, the display control unit 351 causes the display unit 33 to display the superimposed image K in which the operation image F is superimposed on the third image C. The display control unit 351 determines the positional relationship between the first operation image G to the fourth operation image J in the operation image F based on the positional relationship information received by the first operation unit 31. The display control unit 351 moves the position of the operation screen F on the display screen 3a of the display unit 33 according to the movement instruction received by the first operation unit 31. Therefore, the user can arrange the operation screen F at a position desired by the user. The display control unit 351 may also be referred to as a display controller.

特定部３５２は、カーソル７の位置が操作画像Ｆ上であるか否かを判定する。カーソル７の位置が操作画像Ｆ上である場合、特定部３５２は、カーソル７の位置に基づいて、第１対応位置から第４対応位置のいずれかを特定する。 The specific unit 352 determines whether or not the position of the cursor 7 is on the operation image F. When the position of the cursor 7 is on the operation image F, the identification unit 352 specifies one of the first corresponding position to the fourth corresponding position based on the position of the cursor 7.

特定部３５２は、第１操作画像Ｇにおけるカーソル７の位置に基づいて、第１操作画像Ｇにおけるカーソル７の位置に対応する第１対応位置を特定する。第１操作画像Ｇにカーソル７を位置させる操作は、第１操作の一例である。 The identification unit 352 specifies the first corresponding position corresponding to the position of the cursor 7 in the first operation image G based on the position of the cursor 7 in the first operation image G. The operation of positioning the cursor 7 on the first operation image G is an example of the first operation.

特定部３５２は、第２操作画像Ｈにおけるカーソル７の位置に基づいて、第２操作画像Ｈにおけるカーソル７の位置に対応する第２対応位置を特定する。第２操作画像Ｈにカーソル７を位置させる操作は、第２操作の一例である。 The identification unit 352 specifies the second corresponding position corresponding to the position of the cursor 7 in the second operation image H based on the position of the cursor 7 in the second operation image H. The operation of positioning the cursor 7 on the second operation image H is an example of the second operation.

特定部３５２は、第３操作画像Ｉにおけるカーソル７の位置に基づいて、第３操作画像Ｉにおけるカーソル７の位置に対応する第３対応位置を特定する。 The identification unit 352 specifies a third corresponding position corresponding to the position of the cursor 7 in the third operation image I based on the position of the cursor 7 in the third operation image I.

特定部３５２は、第４操作画像Ｊにおけるカーソル７の位置に基づいて、第４操作画像Ｊにおけるカーソル７の位置に対応する第４対応情報を特定する。特定部３５２は、デジネーション（designation）コントローラーとも称され得る。 The identification unit 352 specifies the fourth correspondence information corresponding to the position of the cursor 7 in the fourth operation image J based on the position of the cursor 7 in the fourth operation image J. The specific unit 352 may also be referred to as a digitalation controller.

動作制御部３５３は、プロジェクター５の動作を制御する。例えば、動作制御部３５３は、特定部３５２が第１対応位置を特定する場合、プロジェクター５に、第１対応位置を第１処理装置１へ通知させる。 The motion control unit 353 controls the motion of the projector 5. For example, the motion control unit 353 causes the projector 5 to notify the first processing device 1 of the first corresponding position when the specific unit 352 specifies the first corresponding position.

例えば、動作制御部３５３は、特定部３５２が第１対応位置を特定する場合、まず、第１対応位置を示す第１位置情報を生成する。続いて、動作制御部３５３は、第１位置情報と、第１位置情報の転送先が第１処理装置１であることを示す第１処理装置情報とを、第１通信部３２からプロジェクター５に提供する。 For example, when the specific unit 352 specifies the first corresponding position, the motion control unit 353 first generates the first position information indicating the first corresponding position. Subsequently, the operation control unit 353 transfers the first position information and the first processing device information indicating that the transfer destination of the first position information is the first processing device 1 from the first communication unit 32 to the projector 5. provide.

動作制御部３５３は、特定部３５２が第２対応位置を特定する場合、第２対応位置を示す第２位置情報を生成する。続いて、動作制御部３５３は、第２位置情報と、第２位置情報の転送先が第２処理装置２であることを示す第２処理装置情報とを、第１通信部３２からプロジェクター５に提供する。 When the specific unit 352 specifies the second corresponding position, the operation control unit 353 generates the second position information indicating the second corresponding position. Subsequently, the operation control unit 353 transfers the second position information and the second processing device information indicating that the transfer destination of the second position information is the second processing device 2 from the first communication unit 32 to the projector 5. provide.

動作制御部３５３は、特定部３５２が第３対応位置を特定する場合、第３対応位置を示す第３位置情報を生成する。続いて、動作制御部３５３は、第３位置情報と、第３位置情報の転送先が第３処理装置３であることを示す第３処理装置情報とを、第１通信部３２からプロジェクター５に提供する。 When the specific unit 352 specifies the third corresponding position, the operation control unit 353 generates the third position information indicating the third corresponding position. Subsequently, the operation control unit 353 transfers the third position information and the third processing device information indicating that the transfer destination of the third position information is the third processing device 3 from the first communication unit 32 to the projector 5. provide.

動作制御部３５３は、特定部３５２が第４対応位置を特定する場合、第４対応位置を示す第４位置情報を生成する。続いて、動作制御部３５３は、第４位置情報と、第４位置情報の転送先が第４処理装置４であることを示す第４処理装置情報とを、第１通信部３２からプロジェクター５に提供する。動作制御部３５３は、オペレーションコントローラーとも称され得る。 When the specific unit 352 specifies the fourth corresponding position, the operation control unit 353 generates the fourth position information indicating the fourth corresponding position. Subsequently, the operation control unit 353 transfers the fourth position information and the fourth processing device information indicating that the transfer destination of the fourth position information is the fourth processing device 4 from the first communication unit 32 to the projector 5. provide. The operation control unit 353 may also be referred to as an operation controller.

Ａ３：第１処理装置１、第２処理装置２および第４処理装置４の一例
第１処理装置１、第２処理装置２および第４処理装置４の各々の構成は、第３処理装置３の構成と以下の点を除き同一である。
第１処理装置１は、第３画像情報と第３配置情報の代わりに、第１画像情報と第１配置情報とを、ネットワークを介してプロジェクター５に提供する。第２処理装置２は、第３画像情報と第３配置情報の代わりに、第２画像情報と第２配置情報とを、ネットワークを介してプロジェクター５に提供する。第４処理装置４は、第３画像情報と第３配置情報の代わりに、第４画像情報と第４配置情報とを、ネットワークを介してプロジェクター５に提供する。 A3: An example of the first processing device 1, the second processing device 2, and the fourth processing device 4. Each configuration of the first processing device 1, the second processing device 2, and the fourth processing device 4 is the third processing device 3. It is the same except for the configuration and the following points.
The first processing device 1 provides the first image information and the first arrangement information to the projector 5 via the network instead of the third image information and the third arrangement information. The second processing device 2 provides the second image information and the second arrangement information to the projector 5 via the network instead of the third image information and the third arrangement information. The fourth processing device 4 provides the fourth image information and the fourth arrangement information to the projector 5 via the network instead of the third image information and the third arrangement information.

第１処理装置１、第２処理装置２および第４処理装置４の各々は、第３処理装置３が有する要素に加えて他の要素を有してもよい。なお、第１処理装置１、第２処理装置２および第４処理装置４の各々は、表示制御部３５１と特定部３５２と動作制御部３５３の各々の機能を有さなくてもよい。 Each of the first processing device 1, the second processing device 2, and the fourth processing device 4 may have other elements in addition to the elements of the third processing device 3. It should be noted that each of the first processing device 1, the second processing device 2, and the fourth processing device 4 does not have to have the functions of the display control unit 351 and the specific unit 352 and the operation control unit 353.

Ａ４：プロジェクター５の一例
図４は、プロジェクター５の一例を示す図である。プロジェクター５は、第２操作部５１と、第２通信部５２と、投射部５３と、第２記憶部５４と、第２処理部５５と、を含む。 A4: An example of the projector 5 FIG. 4 is a diagram showing an example of the projector 5. The projector 5 includes a second operation unit 51, a second communication unit 52, a projection unit 53, a second storage unit 54, and a second processing unit 55.

第２操作部５１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。第２操作部５１は、プロジェクター５の筐体に設けられている。第２操作部５１は、ユーザーの入力操作を受け取る。第２操作部５１は、リモートコントローラーでもよい。 The second operation unit 51 is, for example, various operation buttons, operation keys, or a touch panel. The second operation unit 51 is provided in the housing of the projector 5. The second operation unit 51 receives the input operation of the user. The second operation unit 51 may be a remote controller.

第２通信部５２は、第１処理装置１〜第４処理装置４の各々と通信する。第２通信部５２は、例えば、無線ＬＡＮ等のネットワークを介して、第１処理装置１〜第４処理装置４の各々と通信する。 The second communication unit 52 communicates with each of the first processing device 1 to the fourth processing device 4. The second communication unit 52 communicates with each of the first processing device 1 to the fourth processing device 4 via a network such as a wireless LAN.

投射部５３は、投射画像Ｅを投射面６に投射する。投射部５３は、例えば、投射画像Ｅを示す投射画像情報に基づいて、投射画像Ｅを投射面６に投射する。 The projection unit 53 projects the projection image E onto the projection surface 6. The projection unit 53 projects the projection image E onto the projection surface 6 based on the projection image information indicating the projection image E, for example.

第２記憶部５４は、第２処理部５５が読み取り可能な記録媒体である。第２記憶部５４は、例えば、不揮発性メモリーと揮発性メモリーとを含む。第２記憶部５４は、第２処理部５５によって実行される制御プログラムと、第２処理部５５が使用する各種のデータと、を記憶する。 The second storage unit 54 is a recording medium that can be read by the second processing unit 55. The second storage unit 54 includes, for example, a non-volatile memory and a volatile memory. The second storage unit 54 stores the control program executed by the second processing unit 55 and various data used by the second processing unit 55.

第２処理部５５は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第２処理部５５は、単数または複数のＣＰＵによって構成される。第２処理部５５の機能の一部または全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって構成されてもよい。第２処理部５５は、各種の処理を並列的または逐次的に実行する。 The second processing unit 55 is composed of, for example, a single processor or a plurality of processors. As an example, the second processing unit 55 is composed of a single CPU or a plurality of CPUs. Part or all of the functions of the second processing unit 55 may be configured by circuits such as DSP, ASIC, PLD, and FPGA. The second processing unit 55 executes various processes in parallel or sequentially.

第２処理部５５は、第２記憶部５４から制御プログラムを読み取り実行することによって、画像情報生成部５５１および通信制御部５５２として機能する。 The second processing unit 55 functions as an image information generation unit 551 and a communication control unit 552 by reading and executing a control program from the second storage unit 54.

画像情報生成部５５１は、第２通信部５２が第１画像情報〜第４画像情報と第１配置情報〜第４配置情報とを受信すると、第１画像情報〜第４画像情報と第１配置情報〜第４配置情報とを用いて、投射画像Ｅを示す投射画像情報を生成する。画像情報生成部５５１は、投射画像情報を投射部５３に提供する。画像情報生成部５５１は、イメージデータジェネレーターとも称され得る。 When the second communication unit 52 receives the first image information to the fourth image information and the first arrangement information to the fourth arrangement information, the image information generation unit 551 receives the first image information to the fourth image information and the first arrangement. The projected image information indicating the projected image E is generated by using the information to the fourth arrangement information. The image information generation unit 551 provides the projected image information to the projection unit 53. The image information generation unit 551 may also be referred to as an image data generator.

通信制御部５５２は、第２通信部５２と各処理装置１０との通信を制御する。
例えば、通信制御部５５２は、第２通信部５２が第１位置情報と第１処理装置情報とを受信する場合、第１処理装置情報によって示される第１処理装置１へ第１位置情報を転送する。
通信制御部５５２は、第２通信部５２が第２位置情報と第２処理装置情報とを受信する場合、第２処理装置情報によって示される第２処理装置２へ第２通信部５２から第２位置情報を転送する。
通信制御部５５２は、第２通信部５２が第３位置情報と第３処理装置情報とを受信する場合、第３処理装置情報によって示される第３処理装置３へ第２通信部５２から第３位置情報を転送する。
通信制御部５５２は、第２通信部５２が第４位置情報と第４処理装置情報とを受信する場合、第４処理装置情報によって示される第４処理装置４へ第２通信部５２から第４位置情報を転送する。
通信制御部５５２は、コミュニケーションコントローラーとも称され得る。 The communication control unit 552 controls communication between the second communication unit 52 and each processing device 10.
For example, when the second communication unit 52 receives the first position information and the first processing device information, the communication control unit 552 transfers the first position information to the first processing device 1 indicated by the first processing device information. To do.
When the second communication unit 52 receives the second position information and the second processing device information, the communication control unit 552 transfers the second communication unit 52 to the second processing device 2 indicated by the second processing device information. Transfer location information.
When the second communication unit 52 receives the third position information and the third processing device information, the communication control unit 552 connects the second communication unit 52 to the third processing device 3 indicated by the third processing device information. Transfer location information.
When the second communication unit 52 receives the fourth position information and the fourth processing device information, the communication control unit 552 transfers the second communication unit 52 to the fourth processing device 4 indicated by the fourth processing device information. Transfer location information.
The communication control unit 552 may also be referred to as a communication controller.

Ａ５：投射部５３の一例
図５は、投射部５３の一例を示す図である。投射部５３は、光源５３１と、赤色用液晶ライトバルブ５３２Ｒと、緑色用液晶ライトバルブ５３２Ｇと、青色用液晶ライトバルブ５３２Ｂと、投射光学系５３３と、ライトバルブ駆動部５３４と、を含む。以下、赤色用液晶ライトバルブ５３２Ｒと、緑色用液晶ライトバルブ５３２Ｇと、青色用液晶ライトバルブ５３２Ｂとを相互に区別する必要がない場合、これらを「液晶ライトバルブ５３２」と称する。 A5: An example of the projection unit 53 FIG. 5 is a diagram showing an example of the projection unit 53. The projection unit 53 includes a light source 531, a red liquid crystal light valve 532R, a green liquid crystal light valve 532G, a blue liquid crystal light valve 532B, a projection optical system 533, and a light valve drive unit 534. Hereinafter, when it is not necessary to distinguish the red liquid crystal light bulb 532R, the green liquid crystal light bulb 532G, and the blue liquid crystal light bulb 532B from each other, these are referred to as "liquid crystal light bulb 532".

ライトバルブ駆動部５３４は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部５３４は、第２処理部５５から提供される画像情報に基づいて液晶ライトバルブ５３２を駆動する。 The light bulb drive unit 534 is composed of, for example, a circuit such as a driver. The light bulb drive unit 534 drives the liquid crystal light bulb 532 based on the image information provided by the second processing unit 55.

光源５３１は、例えば、ＬＥＤ（light emitting diode）である。光源５３１は、ＬＥＤに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源５３１から出射される光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は赤色用液晶ライトバルブ５３２Ｒに入射する。緑色の色光成分は緑色用液晶ライトバルブ５３２Ｇに入射する。青色の色光成分は青色用液晶ライトバルブ５３２Ｂに入射する。 The light source 531 is, for example, an LED (light emitting diode). The light source 531 is not limited to the LED, and may be, for example, a xenon lamp, an ultrahigh pressure mercury lamp, or a laser light source. The light emitted from the light source 531 is reduced in brightness distribution by an integrator optical system (not shown), and then separated into three primary colors of light, red, green, and blue, by a color separation optical system (not shown). Will be done. The red color light component is incident on the red liquid crystal light bulb 532R. The green color light component is incident on the green liquid crystal light bulb 532G. The blue color light component is incident on the blue liquid crystal light bulb 532B.

液晶ライトバルブ５３２は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ５３２は、マトリクス状に位置する複数の画素５３２ｐを含む矩形の画素領域５３２ａを有する。液晶ライトバルブ５３２では、液晶に対して画素５３２ｐごとに駆動電圧が印加される。ライトバルブ駆動部５３４が、画像情報に基づく駆動電圧を各画素５３２ｐに印加すると、各画素５３２ｐは、駆動電圧に基づく光透過率に設定される。光源５３１から出射される光は、画素領域５３２ａを通ることで変調され画像データに基づく画像が色光ごとに形成される。液晶ライトバルブ５３２は、光変調装置の一例である。各色の画像は、図示しない色合成光学系によって画素５３２ｐごとに合成され、カラー画像が生成される。カラー画像は、投射光学系５３３を介して投射される。 The liquid crystal light bulb 532 is composed of a liquid crystal panel or the like in which liquid crystal exists between a pair of transparent substrates. The liquid crystal light bulb 532 has a rectangular pixel region 532a including a plurality of pixels 532p located in a matrix. In the liquid crystal light bulb 532, a driving voltage is applied to the liquid crystal for each pixel 532p. When the light bulb drive unit 534 applies a drive voltage based on image information to each pixel 532p, each pixel 532p is set to a light transmittance based on the drive voltage. The light emitted from the light source 531 is modulated by passing through the pixel region 532a, and an image based on the image data is formed for each colored light. The liquid crystal light bulb 532 is an example of an optical modulation device. The image of each color is synthesized for each pixel 532p by a color synthesis optical system (not shown) to generate a color image. The color image is projected via the projection optical system 533.

なお、投射部５３は、ディスプレイ、例えば、ＦＰＤ（Flat Panel Display）でもよい。ＦＰＤは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬディスプレイである。 The projection unit 53 may be a display, for example, an FPD (Flat Panel Display). The FPD is, for example, a liquid crystal display, a plasma display or an organic EL display.

Ａ６：表示システム１０００の動作例
図６は、表示システム１０００の動作を説明するための図である。以下では、プロジェクター５は、図１に示す投射画像Ｅを投射面６に投射しているとする。第３処理装置３は、図２に示す操作画像Ｆを表示しているとする。 A6: Operation example of the display system 1000 FIG. 6 is a diagram for explaining the operation of the display system 1000. In the following, it is assumed that the projector 5 projects the projection image E shown in FIG. 1 onto the projection surface 6. It is assumed that the third processing device 3 displays the operation image F shown in FIG.

ステップＳ１００において第１操作部３１が、第１操作画像Ｇへの指示操作を受ける場合、ステップＳ１０１において特定部３５２は、第１操作画像Ｇにおける指示操作の位置に基づいて、第１対応位置を特定する。 When the first operation unit 31 receives the instruction operation to the first operation image G in step S100, the specific unit 352 in step S101 sets the first corresponding position based on the position of the instruction operation in the first operation image G. Identify.

続いて、ステップＳ１０２において動作制御部３５３は、第１対応位置を示す第１位置情報を生成する。 Subsequently, in step S102, the motion control unit 353 generates the first position information indicating the first corresponding position.

続いて、ステップＳ１０３において動作制御部３５３は、第１位置情報と、第１処理装置情報とを、第１通信部３２からプロジェクター５に提供する。 Subsequently, in step S103, the motion control unit 353 provides the first position information and the first processing device information from the first communication unit 32 to the projector 5.

続いて、ステップＳ１０４においてプロジェクター５の第２通信部５２が、第１位置情報と、第１処理装置情報とを受ける場合、ステップＳ１０５において通信制御部５５２は、第１処理装置情報によって示される第１処理装置１へ第１位置情報を転送する動作を、第２通信部５２に実行させる。 Subsequently, when the second communication unit 52 of the projector 5 receives the first position information and the first processing device information in step S104, the communication control unit 552 is indicated by the first processing device information in step S105. 1 The second communication unit 52 is made to execute the operation of transferring the first position information to the processing device 1.

続いて、ステップＳ１０６において第１処理装置１は、第１位置情報に基づく処理を実行する。例えば、第１処理装置１は、表示中の第１画像Ａのうち、第１位置情報が示す位置にカーソルを移動する。 Subsequently, in step S106, the first processing device 1 executes processing based on the first position information. For example, the first processing device 1 moves the cursor to the position indicated by the first position information in the displayed first image A.

また、ステップＳ２００において第１操作部３１が、第２操作画像Ｈへの指示操作を受ける場合、ステップＳ２０１において特定部３５２は、第２操作画像Ｈにおける指示操作の位置に基づいて、第２対応位置を特定する。 Further, when the first operation unit 31 receives an instruction operation to the second operation image H in step S200, the specific unit 352 responds to the second operation based on the position of the instruction operation in the second operation image H in step S201. Identify the location.

続いて、ステップＳ２０２において動作制御部３５３は、第２対応位置を示す第２位置情報を生成する。 Subsequently, in step S202, the motion control unit 353 generates the second position information indicating the second corresponding position.

続いて、ステップＳ２０３において動作制御部３５３は、第２位置情報と、第２処理装置情報とを、第１通信部３２からプロジェクター５に提供する。 Subsequently, in step S203, the operation control unit 353 provides the second position information and the second processing device information from the first communication unit 32 to the projector 5.

続いて、ステップＳ２０４においてプロジェクター５の第２通信部５２が、第２位置情報と、第２処理装置情報とを受ける場合、ステップＳ２０５において通信制御部５５２は、第２処理装置情報によって示される第２処理装置２へ第２位置情報を転送する動作を、第２通信部５２に実行させる。 Subsequently, when the second communication unit 52 of the projector 5 receives the second position information and the second processing device information in step S204, the communication control unit 552 is indicated by the second processing device information in step S205. 2 The second communication unit 52 is made to execute the operation of transferring the second position information to the processing device 2.

続いて、ステップＳ２０６において第２処理装置２は、第２位置情報に基づく処理を実行する。例えば、第２処理装置２は、表示中の第２画像Ｂのうち、第２位置情報が示す位置にカーソルを移動する。 Subsequently, in step S206, the second processing device 2 executes processing based on the second position information. For example, the second processing device 2 moves the cursor to the position indicated by the second position information in the displayed second image B.

Ａ７：第３処理装置３の動作例
図７は、第３処理装置３の動作例を説明するためのフローチャートである。以下では、説明の簡略化のため、第１画像Ａから第４画像Ｄの各々の解像度が１２８０×８００であり、操作画像Ｆの解像度が３２０×２００であり、第１操作画像Ｇから第４操作画像Ｊの各々の解像度が１６０×１００であるとする。 A7: Operation example of the third processing device 3 FIG. 7 is a flowchart for explaining an operation example of the third processing device 3. In the following, for simplification of the description, the resolution of each of the first image A to the fourth image D is 1280 × 800, the resolution of the operation image F is 320 × 200, and the first operation image G to the fourth image G to the fourth. It is assumed that each resolution of the operation image J is 160 × 100.

１２８０×８００は、横方向に１２８０個の画素が並び、縦方向に８００個の画素が並ぶことを意味する。以下、１２８０×８００を「Ｍ×Ｎ」とも称する。３２０×２００は、横方向に３２０個の画素が並び、縦方向に２００個の画素が並ぶことを意味する。以下、３２０×２００を「Ｐ×Ｑ」とも称する。１６０×１００は、横方向に１６０個の画素が並び、縦方向に１００個の画素が並ぶことを意味する。以下、１６０×１００を「Ｒ×Ｓ」とも称する。Ｍ、Ｎ、Ｐ、Ｑ、ＲおよびＳの各々の値は、適宜変更可能である。 1280 × 800 means that 1280 pixels are arranged in the horizontal direction and 800 pixels are arranged in the vertical direction. Hereinafter, 1280 × 800 is also referred to as “M × N”. 320 × 200 means that 320 pixels are arranged in the horizontal direction and 200 pixels are arranged in the vertical direction. Hereinafter, 320 × 200 is also referred to as “P × Q”. 160 × 100 means that 160 pixels are arranged in the horizontal direction and 100 pixels are arranged in the vertical direction. Hereinafter, 160 × 100 is also referred to as “R × S”. The values of M, N, P, Q, R and S can be changed as appropriate.

ステップＳ３００において第１操作部３１が、カーソル７が指示する位置を設定する指示操作を受けると、特定部３５２は、ステップＳ３０１においてカーソル７の位置が操作画像Ｆ上であるか否かを判定する。 When the first operation unit 31 receives the instruction operation for setting the position indicated by the cursor 7 in step S300, the specific unit 352 determines whether or not the position of the cursor 7 is on the operation image F in step S301. ..

カーソル７の位置が操作画像Ｆ上である場合、すなわち、第１操作部３１が操作画像Ｆへの指示操作を受けた場合、ステップＳ３０２において、特定部３５２は、カーソル７の位置の座標を、操作画像Ｆにおいて設定されている座標系に基づく領域座標に変換する。 When the position of the cursor 7 is on the operation image F, that is, when the first operation unit 31 receives an instruction operation to the operation image F, in step S302, the specific unit 352 sets the coordinates of the position of the cursor 7. It is converted into the area coordinates based on the coordinate system set in the operation image F.

ここで、変換前のカーソル７の位置の座標は、表示部３３が有する表示画面３ａに設定されている第１座標系における座標である。第１座標系は、図８に示すように、表示画面３ａの左上の隅を原点とし、表示画面３ａの横方向に延びるｘ１軸と、表示画面３ａの縦方向に延びるｙ１軸と、を有する。 Here, the coordinates of the position of the cursor 7 before conversion are the coordinates in the first coordinate system set on the display screen 3a of the display unit 33. As shown in FIG. 8, the first coordinate system has an x1 axis extending in the horizontal direction of the display screen 3a and a y1 axis extending in the vertical direction of the display screen 3a with the upper left corner of the display screen 3a as the origin. ..

操作画像Ｆにおいて設定された座標系は、図９に示すような第２座標系である。第２座標系は、図９に示すように、操作画像Ｆの左上の隅を原点とし、操作画像Ｆの横方向に延びるｘ２軸と、操作画像Ｆの縦方向に延びるｙ２軸と、を有する。 The coordinate system set in the operation image F is a second coordinate system as shown in FIG. As shown in FIG. 9, the second coordinate system has an x2 axis extending in the horizontal direction of the operation image F and a y2 axis extending in the vertical direction of the operation image F with the upper left corner of the operation image F as the origin. ..

続いて、ステップＳ３０３において特定部３５２は、領域座標に基づいて、操作画像Ｆに対する指示操作が、第１操作画像Ｇ〜第４操作画像Ｊのいずれの画像であるかを特定する。以下、第１操作画像Ｇ〜第４操作画像Ｊのうち指示操作を受けた画像を「***作画像」と称する。 Subsequently, in step S303, the identification unit 352 specifies which of the first operation image G to the fourth operation image J is the instruction operation for the operation image F based on the area coordinates. Hereinafter, among the first operation image G to the fourth operation image J, the image that has received the instruction operation is referred to as an "operated image".

続いて、ステップＳ３０４において特定部３５２は、まず、操作画像Ｆにおける***作画像の位置に基づいて、第１画像Ａから第４画像Ｄの中から***作画像に対応する対応画像を特定する。例えば、***作画像が第１操作画像Ｇである場合、特定部３５２は、対応画像として第１画像Ａを特定する。***作画像が第２操作画像Ｈである場合、特定部３５２は、対応画像として第２画像Ｂを特定する。***作画像が第３操作画像Ｉである場合、特定部３５２は、対応画像として第３画像Ｃを特定する。***作画像が第４操作画像Ｊである場合、特定部３５２は、対応画像として第４画像Ｄを特定する。ステップＳ３０４では、続いて特定部３５２は、領域座標を、当該対応画像における座標である対応座標に変換する。 Subsequently, in step S304, the identification unit 352 first identifies the corresponding image corresponding to the operated image from the first image A to the fourth image D based on the position of the operated image in the operation image F. For example, when the operated image is the first operated image G, the specifying unit 352 specifies the first image A as the corresponding image. When the operated image is the second operated image H, the specifying unit 352 specifies the second image B as the corresponding image. When the operated image is the third operation image I, the identification unit 352 specifies the third image C as the corresponding image. When the operated image is the fourth operated image J, the specifying unit 352 specifies the fourth image D as the corresponding image. In step S304, the specific unit 352 subsequently converts the area coordinates into the corresponding coordinates, which are the coordinates in the corresponding image.

ステップＳ３０４の一例を挙げると、特定部３５２は、まず、***作画像に適用されている第２座標系での領域座標を、***作画像の左上の隅を原点とする第３座標系での第１仮座標に変換する。 To give an example of step S304, first, the specific unit 352 sets the area coordinates in the second coordinate system applied to the operated image in the third coordinate system with the upper left corner of the operated image as the origin. Convert to the first temporary coordinates.

***作画像が第１操作画像Ｇである場合、第１仮座標は、領域座標と同じである。 When the operated image is the first operated image G, the first temporary coordinates are the same as the area coordinates.

***作画像が第２操作画像Ｈである場合、第１仮座標のｘ座標は、領域座標のｘ座標から「１６０」を差し引いた座標であり、第１仮座標のｙ座標は、領域座標のｙ座標と同じである。ここで、「１６０」は上述の「Ｒ×Ｓ」におけるＲの値である。 When the operated image is the second operation image H, the x coordinate of the first temporary coordinate is the coordinate obtained by subtracting "160" from the x coordinate of the area coordinate, and the y coordinate of the first temporary coordinate is the area coordinate. It is the same as the y coordinate. Here, "160" is the value of R in the above-mentioned "R × S".

***作画像が第３操作画像Ｉである場合、第１仮座標のｘ座標は、領域座標のｘ座標と同じであり、第１仮座標のｙ座標は、領域座標のｙ座標から「１００」を差し引いた座標である。ここで、「１００」は「Ｒ×Ｓ」におけるＳの値である。 When the operated image is the third operation image I, the x coordinate of the first temporary coordinate is the same as the x coordinate of the area coordinate, and the y coordinate of the first temporary coordinate is "100" from the y coordinate of the area coordinate. It is the coordinates obtained by subtracting. Here, "100" is the value of S in "R × S".

***作画像が第４操作画像Ｊである場合、第１仮座標のｘ座標は、領域座標のｘ座標から「１６０」を差し引いた座標であり、第１仮座標のｙ座標は、領域座標のｙ座標から「１００」を差し引いた座標である。ここで、「１６０」は「Ｒ×Ｓ」におけるＲの値であり、「１００」は「Ｒ×Ｓ」におけるＳの値である。 When the operated image is the fourth operation image J, the x coordinate of the first temporary coordinate is the coordinate obtained by subtracting "160" from the x coordinate of the area coordinate, and the y coordinate of the first temporary coordinate is the area coordinate. It is the coordinate obtained by subtracting "100" from the y coordinate. Here, "160" is the value of R in "RxS", and "100" is the value of S in "RxS".

続いて、特定部３５２は、***作画像の解像度「１６０×１００」を操作画像Ｆの解像度「３２０×２００」の解像度に変換する場合に第１仮座標の移動先となる第２仮座標を特定する。 Subsequently, the specific unit 352 sets the second temporary coordinates to which the first temporary coordinates are moved when converting the resolution “160 × 100” of the operated image to the resolution “320 × 200” of the operation image F. Identify.

具体的には、第２仮座標のＸ座標は、第１仮座標のｘ座標を「２倍」にした座標であり、第２仮座標のｙ座標は、第１仮座標のｙ座標を「２倍」にした座標である。
ここで、ｘ座標の変換に用いられる「２倍」は、上述の「Ｐ×Ｑ」におけるＰの値「３２０」と「Ｒ×Ｓ」におけるＲの値「１６０」とに基づいて得られる値、具体的には「３２０／１６０」から得られる値である。
また、ｙ座標の変換に用いられる「２倍」は、「Ｐ×Ｑ」におけるＱの値「２００」と「Ｒ×Ｓ」におけるＳの値「１００」とに基づいて得られる値、具体的には「２００／１００」から得られる値である。
以下、***作画像の解像度を操作画像Ｆの解像度に変換した画像を「仮画像」称する。 Specifically, the X coordinate of the second temporary coordinate is a coordinate obtained by "double" the x coordinate of the first temporary coordinate, and the y coordinate of the second temporary coordinate is the y coordinate of the first temporary coordinate ". The coordinates are doubled.
Here, "double" used for the conversion of the x-coordinate is a value obtained based on the value "320" of P in the above-mentioned "PxQ" and the value "160" of R in "RxS". Specifically, it is a value obtained from "320/160".
Further, "double" used for the conversion of the y coordinate is a value obtained based on the Q value "200" in "P × Q" and the S value "100" in "R × S", specifically. Is a value obtained from "200/100".
Hereinafter, the image obtained by converting the resolution of the operated image to the resolution of the operated image F is referred to as a "temporary image".

続いて、特定部３５２は、仮画像の解像度「３２０×２００」を対応画像の解像度「１２８０×８００」に変換する場合に第２仮座標の移動先となる対応座標を特定する。 Subsequently, the specifying unit 352 specifies the corresponding coordinates to which the second temporary coordinates are moved when the resolution "320 x 200" of the temporary image is converted to the resolution "1280 x 800" of the corresponding image.

具体的には、対応座標のＸ座標は、第２仮座標のｘ座標を「４倍」にした座標であり、対応座標のｙ座標は、第２仮座標のｙ座標を「４倍」にした座標である。
ここで、ｘ座標の変換に用いられる「４倍」は、上述の「Ｍ×Ｎ」におけるＭ値「１２８０」と「Ｐ×Ｑ」におけるＰの値「３２０」とに基づいて得られる値、具体的には「１２８０／３２０」から得られる値である。
また、ｙ座標の変換に用いられる「４倍」は、「Ｍ×Ｎ」におけるＮの値「８００」と「Ｐ×Ｑ」におけるＱの値「２００」とに基づいて得られる値、具体的には「８００／２００」から得られる値である。 Specifically, the X coordinate of the corresponding coordinate is a coordinate obtained by multiplying the x coordinate of the second temporary coordinate by "4 times", and the y coordinate of the corresponding coordinate is a coordinate obtained by multiplying the y coordinate of the second temporary coordinate by "4 times". These are the coordinates.
Here, "4 times" used for the conversion of the x-coordinate is a value obtained based on the above-mentioned M value "1280" in "MxN" and P value "320" in "PxQ". Specifically, it is a value obtained from "1280/320".
Further, "4 times" used for the conversion of the y coordinate is a value obtained based on the N value "800" in "M × N" and the Q value "200" in "P × Q", specifically. Is a value obtained from "800/200".

続いて、ステップＳ３０５において動作制御部３５３は、対応座標を示す位置情報を生成する。 Subsequently, in step S305, the motion control unit 353 generates position information indicating the corresponding coordinates.

続いて、ステップＳ３０６において動作制御部３５３は、位置情報と、位置情報の転送先を示す処理装置情報とを、第１通信部３２からプロジェクター５に提供する。位置情報が第１位置情報である場合、動作制御部３５３は、処理装置情報として、第１処理装置情報を用いる。位置情報が第２位置情報である場合、動作制御部３５３は、処理装置情報として、第２処理装置情報を用いる。位置情報が第３位置情報である場合、動作制御部３５３は、処理装置情報として、第３処理装置情報を用いる。位置情報が第４位置情報である場合、動作制御部３５３は、処理装置情報として、第４処理装置情報を用いる。 Subsequently, in step S306, the operation control unit 353 provides the position information and the processing device information indicating the transfer destination of the position information from the first communication unit 32 to the projector 5. When the position information is the first position information, the operation control unit 353 uses the first processing device information as the processing device information. When the position information is the second position information, the operation control unit 353 uses the second processing device information as the processing device information. When the position information is the third position information, the operation control unit 353 uses the third processing device information as the processing device information. When the position information is the fourth position information, the operation control unit 353 uses the fourth processing device information as the processing device information.

ステップＳ３０１においてカーソル７の位置が操作画像Ｆ上でない場合、動作制御部３５３は、カーソル７の位置に応じた処理を実行する。例えば、動作制御部３５３は、カーソル７の位置にある画像等のオブジェクトを選択する動作を実行する。 If the position of the cursor 7 is not on the operation image F in step S301, the operation control unit 353 executes the process according to the position of the cursor 7. For example, the motion control unit 353 executes an operation of selecting an object such as an image at the position of the cursor 7.

Ａ８：第１実施形態についてのまとめ
上述の開示に係る動作方法、処理装置１０および表示システム１０００は、以下の態様を含む。 A8: Summary of First Embodiment The operation method, processing device 10 and display system 1000 according to the above disclosure include the following aspects.

表示部３３は、第１画像Ａに対する操作を第１画像Ａの代わりに受ける第１操作画像Ｇと、第２画像Ｂに対する操作を第２画像Ｂの代わりに受ける第２操作画像Ｈと、表示画面３ａに表示する。
第１処理部３５は、プロジェクター５に、第１操作画像Ｇにおける操作の位置に対応する第１画像Ａにおける位置、すなわち、第１対応位置を、第１画像Ａにおける当該操作の位置として、第１処理装置１へ通知させる。
第１処理部３５は、プロジェクター５に、第２操作画像Ｈにおける操作の位置に対応する第２画像Ｂにおける位置、すなわち、第２対応位置を、第２画像Ｂにおける当該操作の位置として、第２処理装置２へ通知させる。 The display unit 33 displays a first operation image G that receives an operation on the first image A instead of the first image A, and a second operation image H that receives an operation on the second image B instead of the second image B. It is displayed on the screen 3a.
The first processing unit 35 tells the projector 5 that the position in the first image A corresponding to the position of the operation in the first operation image G, that is, the first corresponding position is set as the position of the operation in the first image A. 1 Notify the processing device 1.
The first processing unit 35 tells the projector 5 that the position in the second image B corresponding to the position of the operation in the second operation image H, that is, the second corresponding position is set as the position of the operation in the second image B. 2 Notify the processing device 2.

このため、第３処理装置３のユーザーは、第３処理装置３を操作することによって、第１処理装置１へ位置に関する情報を送信できる。また、第３処理装置３のユーザーは、第３処理装置３を操作することによって、第２処理装置２へ位置に関する情報を送信できる。よって、第３処理装置３のユーザーは、第１処理装置１へ位置に関する情報を送信するために、または、第２処理装置２へ位置に関する情報を送信するために、投射面６の近くに位置する必要がなくなる。 Therefore, the user of the third processing device 3 can transmit information about the position to the first processing device 1 by operating the third processing device 3. Further, the user of the third processing device 3 can transmit information regarding the position to the second processing device 2 by operating the third processing device 3. Therefore, the user of the third processing device 3 is positioned near the projection surface 6 in order to transmit the information regarding the position to the first processing device 1 or to transmit the information regarding the position to the second processing device 2. You don't have to.

特定部３５２は、第１操作画像Ｇにおける操作の位置に基づいて第１対応位置を特定する。このため、例えば、第１対応位置をプロジェクター５が特定する構成に比べて、プロジェクター５の処理負荷を低減できる。 The identification unit 352 specifies the first corresponding position based on the operation position in the first operation image G. Therefore, for example, the processing load of the projector 5 can be reduced as compared with the configuration in which the projector 5 specifies the first corresponding position.

なお、プロジェクター５の処理負荷は増えるが、第３処理装置３は、第１対応位置をプロジェクター５に特定させてもよい。例えば、プロジェクター５が特定部３５２と動作制御部３５３を含み、第３処理装置３の第１通信部３２が、領域座標をプロジェクター５に送信する。この場合、第３処理装置３は、例えば、第１対応位置を特定する処理を実行する必要がないため、第１実施形態に比べて第３処理装置３の処理負荷を低減できる。 Although the processing load of the projector 5 increases, the third processing device 3 may have the projector 5 specify the first corresponding position. For example, the projector 5 includes a specific unit 352 and an operation control unit 353, and the first communication unit 32 of the third processing device 3 transmits the area coordinates to the projector 5. In this case, since it is not necessary for the third processing device 3 to execute, for example, the process of specifying the first corresponding position, the processing load of the third processing device 3 can be reduced as compared with the first embodiment.

表示制御部３５１は、第１操作部３１が受けた位置関係情報に基づいて、操作画像Ｆにおける第１操作画像Ｇ〜第４操作画像Ｊの位置関係を決定する。このため、位置関係情報を用いることによって、第１操作画像Ｇ〜第４操作画像Ｊの位置関係を設定できる。 The display control unit 351 determines the positional relationship between the first operation image G to the fourth operation image J in the operation image F based on the positional relationship information received by the first operation unit 31. Therefore, the positional relationship between the first operation image G to the fourth operation image J can be set by using the positional relationship information.

なお、表示制御部３５１は、以下の手法によって、第１操作画像Ｇ〜第４操作画像Ｊを表示してもよい。
まず、表示制御部３５１は、プロジェクター５から、複合画像である投射画像Ｅ示す複合画像情報を、第１通信部３２を介して受ける。続いて、表示制御部３５１は、複合画像情報に基づいて、第１操作画像Ｇ〜第４操作画像Ｊを表示する。例えば、第１操作画像Ｇとして第１画像Ａが用いられ、第２操作画像Ｈとして第２画像Ｂが用いられ、第３操作画像Ｉとして第３画像Ｃが用いられ、第４操作画像Ｊとして第４画像Ｄが用いられる。
この場合、操作画像Ｆの示す内容を投射画像Ｅの示す内容と同じにすることが容易になり、操作画像Ｆの示す内容が投射画像Ｅの示す内容と異なる場合に比べて、ユーザーの使い勝手がよくなる。
また、本実施形態では、第１操作画像Ｇ〜第４操作画像Ｊを有する操作画像Ｆは、表示画面３ａの任意の位置に配置できる。そして、操作画像Ｆにおいて設定されている座標系に基づいて、領域座標が特定されるため、表示画面３ａにおける操作画像Ｆの位置にかかわらず、領域座標を特定することができる。 The display control unit 351 may display the first operation image G to the fourth operation image J by the following method.
First, the display control unit 351 receives the composite image information indicating the projected image E, which is a composite image, from the projector 5 via the first communication unit 32. Subsequently, the display control unit 351 displays the first operation image G to the fourth operation image J based on the composite image information. For example, the first image A is used as the first operation image G, the second image B is used as the second operation image H, the third image C is used as the third operation image I, and the fourth operation image J is used. The fourth image D is used.
In this case, it becomes easy to make the content indicated by the operation image F the same as the content indicated by the projection image E, and the user's usability is improved as compared with the case where the content indicated by the operation image F is different from the content indicated by the projection image E. Get better.
Further, in the present embodiment, the operation image F having the first operation image G to the fourth operation image J can be arranged at an arbitrary position on the display screen 3a. Then, since the area coordinates are specified based on the coordinate system set in the operation image F, the area coordinates can be specified regardless of the position of the operation image F on the display screen 3a.

Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。 B: Modification example The modification of the embodiment illustrated above will be illustrated below. Two or more embodiments arbitrarily selected from the following examples may be appropriately merged to the extent that they do not contradict each other.

Ｂ１：第１変形例
第１実施形態において、動作制御部３５３は、位置情報等に加えて、描画指示等の指示を、プロジェクター５に転送させてもよい。
例えば、第３処理装置３において、赤色の線の描画を指示するアイコン等の操作部が操作された後、操作画像Ｆに対してカーソル７によって指示操作がなされた場合、動作制御部３５３は、位置情報等に加えて、赤色の線を描画する指示を、プロジェクター５に転送させる。
位置情報等の転送先である処理装置は、プロジェクター５から位置情報等に加えて赤色の線を描画する指示を受信すると、位置情報が示す位置に赤色の線を描画する。
なお、指示は、赤色の線を描画する描画指示に限らず、適宜変更可能である。例えば、指示として、線の太さを指定する指示でもよいし、四角形等の特定の図形を描画する指示でもよい。 B1: First Modification Example In the first embodiment, the motion control unit 353 may transfer instructions such as drawing instructions to the projector 5 in addition to position information and the like.
For example, in the third processing device 3, when an operation unit such as an icon for instructing drawing of a red line is operated and then an instruction operation is performed with the cursor 7 on the operation image F, the operation control unit 353 may perform an instruction operation. In addition to the position information and the like, the instruction to draw the red line is transferred to the projector 5.
When the processing device, which is the transfer destination of the position information or the like, receives an instruction from the projector 5 to draw a red line in addition to the position information or the like, the processing device draws the red line at the position indicated by the position information.
The instruction is not limited to the drawing instruction for drawing the red line, and can be changed as appropriate. For example, the instruction may be an instruction to specify the thickness of the line, or an instruction to draw a specific figure such as a quadrangle.

第１変形例によれば、位置情報等の転送先である処理装置に対して、描画等の処理を実行させることが可能になる。この場合、位置情報等の転送先である処理装置は、位置情報および指示に基づき描画等の処理を実行しつつ、当該装置に接続されている操作部が受けた指示に基づき描画を行える。よって、位置情報等の転送先である処理装置の操作性が低下することを抑制できる。
また、位置情報等の転送先である処理装置にインストールされているアプリケーションの種別を意識することなく、位置情報等の転送先である処理装置に、描画等の処理を実行させることが可能になる。 According to the first modification, it is possible to cause a processing device that is a transfer destination of position information or the like to execute processing such as drawing. In this case, the processing device to which the position information or the like is transferred can perform drawing or the like based on the position information and the instruction, and draw based on the instruction received by the operation unit connected to the device. Therefore, it is possible to suppress deterioration of the operability of the processing device that is the transfer destination of the position information and the like.
Further, it is possible to cause the processing device, which is the transfer destination of the position information, to execute the processing such as drawing, without being aware of the type of the application installed in the processing device, which is the transfer destination of the position information or the like. ..

Ｂ２：第２変形例
第１実施形態および第１変形例において、光変調装置の一例として液晶ライトバルブ５３２が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源５３１が発した光を変調可能な構成は、光変調装置として採用できる。 B2: Second Modified Example In the first embodiment and the first modified example, the liquid crystal light valve 532 was used as an example of the light modulation device, but the light modulation device is not limited to the liquid crystal light valve and can be appropriately changed. For example, the optical modulation device may have a configuration using three reflective liquid crystal panels. Further, the optical modulation device may be configured such as a method using one liquid crystal panel, a method using three digital mirror devices (DMD), a method using one digital mirror device, and the like. When only one liquid crystal panel or DMD is used as the optical modulation device, members corresponding to the color separation optical system and the color synthesis optical system are unnecessary. In addition to the liquid crystal panel and DMD, a configuration capable of modulating the light emitted by the light source 531 can be adopted as the optical modulation device.

Ｂ３：第３変形例
第１実施形態および第１変形例から第２変形例において、表示装置として、プロジェクター５ではなく、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬディスプレイ等のディスプレイが用いられてもよい。例えば、表示装置は、電子黒板または電子会議システムに用いられているディスプレイでもよい。 B3: Third Modified Example In the first embodiment and the first modified example to the second modified example, a display such as a liquid crystal display, a plasma display, or an organic EL display may be used as the display device instead of the projector 5. For example, the display device may be an electronic blackboard or a display used in an electronic conferencing system.

１…第１処理装置、２…第２処理装置、３…第３処理装置、３ａ…表示画面、４…第４処理装置、５…プロジェクター、６…投射面、３１…第１操作部、３２…第１通信部、３３…表示部、３４…第１記憶部、３５…第１処理部、５１…第２操作部、５２…第２通信部、５３…投射部、５４…第２記憶部、５５…第２処理部、３５１…表示制御部、３５２…特定部、３５３…動作制御部、５５１…画像情報生成部、５５２…通信制御部、１０００…表示システム。 1 ... 1st processing device, 2 ... 2nd processing device, 3 ... 3rd processing device, 3a ... Display screen, 4 ... 4th processing device, 5 ... Projector, 6 ... Projection surface, 31 ... 1st operation unit, 32 ... 1st communication unit, 33 ... Display unit, 34 ... 1st storage unit, 35 ... 1st processing unit, 51 ... 2nd operation unit, 52 ... 2nd communication unit, 53 ... Projection unit, 54 ... 2nd storage unit , 55 ... Second processing unit, 351 ... Display control unit, 352 ... Specific unit, 353 ... Operation control unit, 551 ... Image information generation unit, 552 ... Communication control unit, 1000 ... Display system.

Claims (8)

第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置を、制御する処理装置が実行する動作方法であって、
前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、
前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、
を前記処理装置が有する表示画面に表示し、
前記表示装置に、
前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、
前記表示装置に、
前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる、
動作方法。 A processing device that controls a display device that displays a first image based on the first image information provided by the first device and a second image based on the second image information provided by the second device on a display surface. Is the way it works
A first operation image that receives the first operation on the first image instead of the first image, and
A second operation image that receives a second operation on the second image instead of the second image,
Is displayed on the display screen of the processing device.
On the display device
The first device is notified of the position in the first image corresponding to the position of the first operation in the first operation image as the position of the first operation in the first image.
On the display device
The second device is notified of the position in the second image corresponding to the position of the second operation in the second operation image as the position of the second operation in the second image.
How it works. 前記第１操作画像と前記第２操作画像とを含む操作画像に、前記第１操作と前記第２操作とのいずれかである操作があるか否かを判定し、
前記操作画像に前記操作がある場合、
前記第１操作画像に前記第１操作があるときには、前記表示装置に、
前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、
前記第２操作画像に前記第２操作があるときには、前記表示装置に、
前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる、
請求項１に記載の動作方法。 It is determined whether or not the operation image including the first operation image and the second operation image has an operation that is either the first operation or the second operation.
When the operation image has the operation,
When the first operation is included in the first operation image, the display device is displayed.
The position in the first image corresponding to the position of the first operation in the first operation image is notified to the first device as the position of the first operation in the first image.
When the second operation image has the second operation, the display device displays the second operation.
The second device is notified of the position in the second image corresponding to the position of the second operation in the second operation image as the position of the second operation in the second image.
The operation method according to claim 1. 前記第１操作画像における前記第１操作の位置に基づいて、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を特定する、
請求項１または２に記載の動作方法。 Based on the position of the first operation in the first operation image, the position in the first image corresponding to the position of the first operation in the first operation image is specified.
The operation method according to claim 1 or 2. 前記表示装置に、
前記第１操作画像における前記第１操作の位置に基づいて、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を特定させる、
請求項１または２に記載の動作方法。 On the display device
Based on the position of the first operation in the first operation image, the position in the first image corresponding to the position of the first operation in the first operation image is specified.
The operation method according to claim 1 or 2. 前記第１操作画像と前記第２操作画像との位置関係を示す位置関係情報を受け、
前記位置関係情報が示す前記位置関係で、前記第１操作画像と前記第２操作画像とを表示する、
請求項１から４のいずれか１項に記載の動作方法。 Upon receiving the positional relationship information indicating the positional relationship between the first operation image and the second operation image,
The first operation image and the second operation image are displayed in the positional relationship indicated by the positional relationship information.
The operation method according to any one of claims 1 to 4. 前記表示装置から、前記第１画像と前記第２画像とを含む複合画像を示す複合画像情報を受け、
前記複合画像情報に基づいて、前記第１操作画像と前記第２操作画像とを表示する、
請求項１から４のいずれか１項に記載の動作方法。 Receives composite image information indicating a composite image including the first image and the second image from the display device.
The first operation image and the second operation image are displayed based on the composite image information.
The operation method according to any one of claims 1 to 4. 第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置を、制御する処理装置であって、
前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、
前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、
を前記処理装置が有する表示画面に表示する表示部と、
前記表示装置を制御する制御部と、
を含み、
前記制御部は、
前記表示装置に、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、
前記表示装置に、前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる、
処理装置。 A processing device that controls a display device that displays a first image based on the first image information provided by the first device and a second image based on the second image information provided by the second device on a display surface. And
A first operation image that receives the first operation on the first image instead of the first image, and
A second operation image that receives a second operation on the second image instead of the second image,
On the display screen of the processing device, and
A control unit that controls the display device and
Including
The control unit
The display device is made to notify the first device of the position in the first image corresponding to the position of the first operation in the first operation image as the position of the first operation in the first image.
The display device is made to notify the second device of the position in the second image corresponding to the position of the second operation in the second operation image as the position of the second operation in the second image.
Processing equipment. 第１装置から提供される第１画像情報に基づく第１画像と、第２装置から提供される第２画像情報に基づく第２画像と、を表示面に表示する表示装置と、
前記表示装置を制御する処理装置と、
を含む表示システムが実行する動作方法であって、
前記処理装置が、前記第１画像に対する第１操作を前記第１画像の代わりに受ける第１操作画像と、前記第２画像に対する第２操作を前記第２画像の代わりに受ける第２操作画像と、を前記処理装置が有する表示画面に表示し、
前記処理装置が、前記表示装置に、前記第１操作画像における前記第１操作の位置に対応する前記第１画像における位置を、前記第１画像における前記第１操作の位置として、前記第１装置へ通知させ、
前記処理装置が、前記表示装置に、前記第２操作画像における前記第２操作の位置に対応する前記第２画像における位置を、前記第２画像における前記第２操作の位置として、前記第２装置へ通知させる、
動作方法。 A display device that displays a first image based on the first image information provided by the first device and a second image based on the second image information provided by the second device on a display surface.
A processing device that controls the display device and
Is the method of operation performed by the display system, including
A first operation image in which the processing device receives a first operation on the first image in place of the first image, and a second operation image in which the processing device receives a second operation on the second image in place of the second image. Is displayed on the display screen of the processing device.
The processing device causes the display device to use the position in the first image corresponding to the position of the first operation in the first operation image as the position of the first operation in the first image. To notify
The processing device uses the position in the second image corresponding to the position of the second operation in the second operation image as the position of the second operation in the second image on the display device. To notify
How it works.

Images