JP2014170319A

JP2014170319A - System, image projection device, control method and program

Info

Publication number: JP2014170319A
Application number: JP2013041116A
Authority: JP
Inventors: Takahiro Yagishita; 高弘柳下
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-03-01
Filing date: 2013-03-01
Publication date: 2014-09-18
Anticipated expiration: 2033-03-01
Also published as: JP6065654B2

Abstract

PROBLEM TO BE SOLVED: To provide a system capable of accelerating a response to instruction operation by a user, an image projection device, a control method, and a program.SOLUTION: A projector 200 comprises a first acquisition unit 201, a second acquisition unit 202, a first control unit 203, and a second control unit 204. The first acquisition unit 201 acquires first information from a detector for detecting the first information used to detect a detection object existing in an object space corresponding to a projection area. The second acquisition unit 202 acquires third information in which an image of a projection object and second information showing how much information amount of the first information can be reduced are associated with each other, from a server device for generating an image according ot the instruction operation recognized on the basis of the first information. The first control unit 203 performs control so as to reduce the information amount of the first information and transmit the information to the server device on the basis of the second information included in the third information. The second control unit 204 performs control so as to output the image included in the third information to the projection area.

Description

本発明は、システム、画像投影装置、制御方法およびプログラムに関する。 The present invention relates to a system, an image projection apparatus, a control method, and a program.

画面に表示された画像を見ながら、その手前の何もない対象空間に仮想の操作面を想定し、この仮想操作面をタッチパネルに見立て、例えば指を動かすなどの指示動作を行うと、その指示動作に応じた画像を、画像出力面に出力するシステムが従来から提案されている。 While looking at the image displayed on the screen, assume a virtual operation surface in the empty target space in front of it, and if this virtual operation surface is viewed as a touch panel and an instruction operation such as moving a finger is performed, the instruction Conventionally, a system for outputting an image corresponding to an operation to an image output surface has been proposed.

例えば画像出力面に出力する画像の管理（画像コンテンツの管理）を容易にするために、ユーザによる指示動作に応じた画像を生成するサーバ装置が、画像を出力する画像出力装置（例えばプロジェクタ）を遠隔制御するシステム構成が考えられる。 For example, in order to facilitate management of images to be output to the image output surface (management of image contents), a server device that generates an image according to an instruction operation by a user uses an image output device (for example, a projector) that outputs an image. A system configuration for remote control is conceivable.

上記システム構成では、サーバ装置側で、ユーザによる指示動作を認識する処理を行う必要があるため、対象空間内に存在する検知対象を検知するのに用いられる情報（例えば対象空間の撮像データ）を、画像出力装置からサーバ装置へ転送する必要がある。しかしながら、対象空間の撮像データのような情報はその情報量が膨大であるため、転送路の帯域を圧迫し、ユーザによる指示動作に対する応答が遅れてしまうという問題がある。 In the system configuration described above, since it is necessary to perform processing for recognizing an instruction operation by the user on the server device side, information used to detect a detection target existing in the target space (for example, imaging data of the target space) is used. The image output device needs to be transferred to the server device. However, since information such as imaging data in the target space has an enormous amount of information, there is a problem that the bandwidth of the transfer path is compressed and a response to an instruction operation by the user is delayed.

本発明は、上記に鑑みてなされたものであって、ユーザによる指示動作に対する応答を早めることが可能なシステム、画像投影装置、制御方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide a system, an image projection apparatus, a control method, and a program capable of speeding up a response to an instruction operation by a user.

上述した課題を解決し、目的を達成するために、本発明は、画像を出力する画像出力装置と、前記画像を生成するサーバ装置とを備えるシステムであって、前記サーバ装置は、前記画像出力装置から、前記画像が出力される画像出力面に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を受信する受信部と、前記第１情報に基づいて、ユーザによる指示動作を認識する認識部と、前記認識部により認識された前記指示動作に応じて、出力対象の前記画像を生成する生成部と、前記生成部により生成された前記画像に応じて、前記第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定する決定部と、前記生成部により生成された前記画像と、前記決定部により決定された前記第２情報とを対応付けた第３情報を、前記画像出力装置へ送信する送信部と、を有し、前記画像出力装置は、前記第１情報を検知する検知器から、前記第１情報を取得する第１取得部と、前記サーバ装置から前記第３情報を取得する第２取得部と、前記第３情報に含まれる前記第２情報に基づいて、前記第１情報の情報量を削減して前記サーバ装置へ送信する制御を行う第１制御部と、前記第３情報に含まれる前記画像を前記画像出力面に出力する制御を行う第２制御部と、を有することを特徴とするシステムである。 In order to solve the above-described problems and achieve the object, the present invention is a system including an image output device that outputs an image and a server device that generates the image, and the server device includes the image output device. A receiving unit that receives first information used to detect a detection target existing in a target space corresponding to an image output surface from which the image is output, and a user based on the first information A recognition unit for recognizing an instruction operation, a generation unit for generating the image to be output according to the instruction operation recognized by the recognition unit, and the first unit according to the image generated by the generation unit. A determination unit that variably determines second information indicating how much the amount of information of one information can be reduced, the image generated by the generation unit, and the second information determined by the determination unit Date A transmission unit that transmits third information to the image output device, and the image output device includes a first acquisition unit that acquires the first information from a detector that detects the first information; Control that reduces the information amount of the first information and transmits the second information to the server device based on the second information included in the third information and a second acquisition unit that acquires the third information from the server device And a second control unit that performs control to output the image included in the third information to the image output surface.

本発明によれば、ユーザによる指示動作に対する応答を早めることが可能になるという有利な効果を奏する。 According to the present invention, there is an advantageous effect that a response to an instruction operation by a user can be accelerated.

図１は、実施形態に係るシステムの概略構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration example of a system according to the embodiment. 図２は、ユーザが、仮想操作面に対して手を差し伸ばしている様子を示す図である。FIG. 2 is a diagram illustrating a state in which the user extends his / her hand with respect to the virtual operation surface. 図３は、実施形態の座標系を説明するための図である。FIG. 3 is a diagram for explaining the coordinate system of the embodiment. 図４は、実施形態のサーバ装置の機能構成例を示す図である。FIG. 4 is a diagram illustrating a functional configuration example of the server apparatus according to the embodiment. 図５は、出力対象の画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of an image to be output. 図６は、空間限定情報で指定された領域を模式的に示す図である。FIG. 6 is a diagram schematically illustrating a region designated by the space limitation information. 図７は、第２情報の一例を示す図である。FIG. 7 is a diagram illustrating an example of the second information. 図８は、出力対象の画像の一例を示す図である。FIG. 8 is a diagram illustrating an example of an output target image. 図９は、空間限定情報で指定された領域を模式的に示す図である。FIG. 9 is a diagram schematically showing a region designated by the space limitation information. 図１０は、第２情報の一例を示す図である。FIG. 10 is a diagram illustrating an example of the second information. 図１１は、出力対象の画像の一例を示す図である。FIG. 11 is a diagram illustrating an example of an output target image. 図１２は、空間限定情報で指定された領域を模式的に示す図である。FIG. 12 is a diagram schematically illustrating a region designated by the space limitation information. 図１３は、第２情報の一例を示す図である。FIG. 13 is a diagram illustrating an example of the second information. 図１４は、実施形態のプロジェクタの機能構成例を示す図である。FIG. 14 is a diagram illustrating a functional configuration example of the projector according to the embodiment. 図１５は、プロジェクタの動作例を示すフローチャートである。FIG. 15 is a flowchart illustrating an operation example of the projector.

以下、添付図面を参照しながら、本発明に係るシステム、画像投影装置、制御方法およびプログラムの実施形態を詳細に説明する。以下の説明では、本発明が適用される画像投影装置として、超短焦点プロジェクタを例に挙げて説明するが、これに限られるものではなく、例えば本発明が適用される画像投影装置として、短焦点プロジェクタや長焦点プロジェクタが採用されてもよい。 Hereinafter, embodiments of a system, an image projection apparatus, a control method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. In the following description, an ultra-short focus projector is described as an example of an image projection apparatus to which the present invention is applied. However, the present invention is not limited to this, and for example, a short image projection apparatus to which the present invention is applied. A focus projector or a long focus projector may be employed.

ここで、焦点とは、投写面から光学位置までの距離（例えば、投影光が出射される投影口から、画像が投影される投影対象物までの距離）を指す投写距離と同義である。超短焦点プロジェクタの投写距離は短焦点プロジェクタの投写距離よりも短く、短焦点プロジェクタの投写距離は長焦点プロジェクタの投写距離よりも短い。例えば超短焦点距離の投写距離を「１１．７〜２４．９ｃｍ」、短焦点プロジェクタの投写距離を「０．７〜１４．６ｍ」、長焦点プロジェクタの投写距離を「１．３ｍ〜３２．４ｍ」として設定することもできる。 Here, the focal point is synonymous with a projection distance indicating a distance from the projection surface to the optical position (for example, a distance from a projection port from which projection light is emitted to a projection target on which an image is projected). The projection distance of the ultra-short focus projector is shorter than the projection distance of the short focus projector, and the projection distance of the short focus projector is shorter than the projection distance of the long focus projector. For example, the projection distance of the ultra short focal length is “11.7 to 24.9 cm”, the projection distance of the short focus projector is “0.7 to 14.6 m”, and the projection distance of the long focus projector is “1.3 m to 32. 4m "can also be set.

図１は、本実施形態に係るシステム１の概略構成例を示すブロック図である。図１に示すように、システム１は、サーバ装置１００と、複数のプロジェクタ２００とを含む。複数のプロジェクタ２００の各々は、ネットワーク３００を介してサーバ装置１００と接続される。なお、システム１に含まれるプロジェクタ２００の数は任意である。要するに、システム１は、サーバ装置１００と、サーバ装置１００に接続される１以上のプロジェクタ２００とを備える形態であればよい。 FIG. 1 is a block diagram illustrating a schematic configuration example of a system 1 according to the present embodiment. As shown in FIG. 1, the system 1 includes a server device 100 and a plurality of projectors 200. Each of the plurality of projectors 200 is connected to the server apparatus 100 via the network 300. Note that the number of projectors 200 included in the system 1 is arbitrary. In short, the system 1 may have a form including the server device 100 and one or more projectors 200 connected to the server device 100.

本実施形態では、図２に示すように、投影対象物（図２の例では壁面）２のうち画像が投影される領域を示す投影領域（画像が出力される画像出力面の一例）３の手前の何もない空間に仮想操作面４を想定する。ユーザ（操作者）が、この仮想操作面４に対して、例えば手（指）を動かすなどの指示動作を行うことで、投影領域３に投影される画像は、当該指示動作に応じて変化する。なお、ここでは、図３に示すように、投影領域３の中心を原点とし、投影領域３の法線方向をＺ軸、鉛直方向（重力の作用方向）をＹ軸、水平方向をＸ軸に設定して説明するが、座標系の設定方法はこれに限られるものではない。 In the present embodiment, as shown in FIG. 2, a projection area (an example of an image output surface from which an image is output) 3 of a projection target object (wall surface in the example of FIG. 2) 2 that indicates an area where an image is projected. A virtual operation surface 4 is assumed in a space with nothing in front. When the user (operator) performs an instruction operation such as moving a hand (finger) on the virtual operation surface 4, the image projected on the projection region 3 changes according to the instruction operation. . Here, as shown in FIG. 3, the center of the projection area 3 is the origin, the normal direction of the projection area 3 is the Z axis, the vertical direction (the direction of gravity action) is the Y axis, and the horizontal direction is the X axis. Although set and explained, the method of setting the coordinate system is not limited to this.

図２の例では、想定されるユーザの胴体の位置と、投影対象物２との間に配置された検知器４００が、投影領域３に対応する対象空間内に存在する検知対象（この例では、人の手）を検知するのに用いられる第１情報を検知する。この例では、検知器４００は、光学センサ（例えばカメラ）で構成され、検知器４００は、投影領域３の手前の、仮想操作面４を含む空間である対象空間を撮像して得られる映像情報を、第１情報としてプロジェクタ２００へ出力する。なお、検知器４００が設置される位置は任意に変更可能であり、例えば検知対象が人の手である場合、検知器４００は、人の手と検知器４００との間に人の胴体が入り込まないように配置される必要がある。 In the example of FIG. 2, the detector 400 arranged between the assumed position of the user's torso and the projection target 2 is a detection target (in this example, present in the target space corresponding to the projection region 3. The first information used to detect the human hand) is detected. In this example, the detector 400 is configured by an optical sensor (for example, a camera), and the detector 400 is video information obtained by imaging a target space that is a space including the virtual operation surface 4 before the projection region 3. Is output to the projector 200 as the first information. Note that the position where the detector 400 is installed can be arbitrarily changed. For example, when the detection target is a human hand, the detector 400 is inserted between the human hand and the detector 400. Need to be arranged so that there is no.

ここでは、検知器４００は、プロジェクタ２００の一要素であると考えることもできる。また、検知器４００からプロジェクタ２００へ出力される第１情報のフレームレートは、予め定められた値に設定されている。 Here, the detector 400 can also be considered as an element of the projector 200. The frame rate of the first information output from the detector 400 to the projector 200 is set to a predetermined value.

詳細な内容については後述するが、プロジェクタ２００は、検知器４００から出力された第１情報の情報量を削減（削減方法に関する部分は後述）してサーバ装置１００へ送信し、サーバ装置１００は、プロジェクタ２００から受信した第１情報に基づいて、ユーザによる指示動作を認識する。そして、認識した指示動作に応じて、投影対象の画像を生成し、生成した画像をプロジェクタに供給する。以下、サーバ装置１００およびプロジェクタ２００の各々の具体的な内容を説明する。 Although the detailed contents will be described later, the projector 200 reduces the information amount of the first information output from the detector 400 (the part related to the reduction method will be described later) and transmits the information to the server apparatus 100. Based on the first information received from the projector 200, the instruction operation by the user is recognized. Then, an image to be projected is generated according to the recognized instruction operation, and the generated image is supplied to the projector. Hereinafter, specific contents of the server device 100 and the projector 200 will be described.

まず、サーバ装置１００の構成を説明する。図４は、サーバ装置１００の機能構成例を示すブロック図である。図４に示すように、サーバ装置１００は、受信部１０１と、認識部１０２と、生成部１０３と、記憶部１０４と、決定部１０５と、送信部１０６とを有する。 First, the configuration of the server device 100 will be described. FIG. 4 is a block diagram illustrating a functional configuration example of the server apparatus 100. As illustrated in FIG. 4, the server device 100 includes a reception unit 101, a recognition unit 102, a generation unit 103, a storage unit 104, a determination unit 105, and a transmission unit 106.

受信部１０１は、プロジェクタ２００から送信される第１情報を受信する。プロジェクタ２００による第１情報の送信方法については後述する。 The receiving unit 101 receives first information transmitted from the projector 200. A method of transmitting the first information by the projector 200 will be described later.

認識部１０２は、受信部１０１で受信した第１情報に基づいて、ユーザによる指示動作を認識する。より具体的には、認識部１０２は、受信部１０１で受信した第１情報に映り込んだ検知対象を検知し、その検知に基づいて、ユーザによる指示動作（例えば手を動かすなどの動作）を認識する。例えば手を動かすなどの動作を認識する方法としては、公知の様々な技術を利用することができる。 Based on the first information received by the receiving unit 101, the recognizing unit 102 recognizes an instruction operation by the user. More specifically, the recognition unit 102 detects a detection target reflected in the first information received by the reception unit 101, and performs an instruction operation (for example, an operation such as moving a hand) by the user based on the detection. recognize. For example, various known techniques can be used as a method of recognizing an action such as moving a hand.

生成部１０３は、認識部１０２により認識された指示動作に応じて、出力対象の画像（この例では投影対象の画像）を生成する。 The generation unit 103 generates an output target image (in this example, a projection target image) according to the instruction operation recognized by the recognition unit 102.

記憶部１０４は、生成部１０３により生成され得る画像（出力対象の画像）ごとに、第１情報の情報量をどの程度削減できるのかを示す第２情報を対応付けて予め記憶する。この例では、第２情報は、第１情報のうち削除しない領域を指定する情報（以下の説明では、「空間限定情報」と呼ぶ場合がある）と、第１情報のフレーム数の間引き量を指定する情報（以下の説明では、「時間間引き情報」と呼ぶ場合がある）と、第１情報の圧縮量子化の許容範囲を指定する情報（以下の説明では、「圧縮量子化情報」と呼ぶ場合がある）とを含む。 The storage unit 104 stores, in advance, second information indicating how much the information amount of the first information can be reduced for each image (output target image) that can be generated by the generation unit 103. In this example, the second information includes information specifying an area not to be deleted in the first information (in the following description, sometimes referred to as “space limited information”), and the number of frames thinned out of the first information. Information to be specified (may be referred to as “time decimation information” in the following description) and information to specify an allowable range of compression quantization of the first information (in the following description, referred to as “compression quantization information”) In some cases).

ただし、これに限らず、例えば第２情報として、「空間限定情報」、「時間間引き情報」および「圧縮量子化情報」のうちの何れか１つのみが含まれる形態であってもよいし、何れか２つの組み合わせが含まれる形態であってもよい。要するに、第２情報は、「空間限定情報」、「時間間引き情報」および「圧縮量子化情報」のうちの少なくとも１つを含むものであればよい。 However, the present invention is not limited to this. For example, as the second information, only one of “space limited information”, “time thinning information”, and “compressed quantization information” may be included, Any two of the combinations may be included. In short, the second information only needs to include at least one of “space limited information”, “time thinning information”, and “compressed quantization information”.

例えば図５に示すように、出力対象の画像（投影対象の画像データ）が、操作用のボタンを表すＵＩ画像１１０を含む場合、ユーザによる指示動作を認識するためには、ＵＩ画像１１０の近傍の空間の映像だけが必要で、その他の領域の映像は不要である。これを座標で表現すれば、図６の網点で示された領域外の映像は削除してもよいことになる。また、図５のように、出力対象の画像が、操作用のボタンを表すＵＩ画像１１０を含む場合は、想定される指示動作としては、操作用のボタンを表すＵＩ画像１１０に向けて手（指）を差し出す（ボタンを押下する）という、検知対象（この例では人の手）の移動速度が比較的遅い動作なので、対象空間を撮像して得られる第１情報のフレームレートは低くてもよく、所定量以上のフレーム数の間引きが許容される。さらに、操作用のボタンを押す物体（検知対象）も、背景と区別できればよいので、解像度や階調は低くてもよく、第１情報の圧縮量子化の許容範囲として所定範囲以上が許容される。 For example, as shown in FIG. 5, when an output target image (projection target image data) includes a UI image 110 representing an operation button, in order to recognize an instruction operation by the user, the vicinity of the UI image 110 Only the image of the space is necessary, and the image of the other area is unnecessary. If this is expressed in coordinates, the video outside the area indicated by the halftone dots in FIG. 6 may be deleted. Further, as shown in FIG. 5, when the output target image includes a UI image 110 representing an operation button, a possible pointing action is a hand (to the UI image 110 representing an operation button) ( Since the movement speed of the detection target (in this example, a human hand) is a relatively slow movement of pushing out the finger (pressing the button), even if the frame rate of the first information obtained by imaging the target space is low In many cases, thinning out of a predetermined number of frames is allowed. Furthermore, since the object (detection target) that presses the operation button only needs to be distinguishable from the background, the resolution and gradation may be low, and a predetermined range or more is allowed as the allowable range of compression quantization of the first information. .

本実施形態では、図５に示す画像に対応付けられる第２情報は、図７のようになる。図７の例では、第２情報は、第１情報のうちＵＩ画像１１０に対応する領域を、削除しない領域として指定する情報（図７の例では、ＵＩ画像１１０に対応する領域の座標値で表されている）を示す空間限定情報と、フレーム数の間引き量を所定量以上に指定する情報（フレームレートを指定する情報であると捉えることもできる）を示す時間間引き情報と、圧縮量子化の許容範囲を所定範囲以上に指定する情報を示す圧縮量子化情報とから構成されている。また、見方を変えれば、図７に例示された空間限定情報は、第１情報のうちＵＩ画像１１０に対応する領域以外の領域を削除可能な領域として指定する情報であると捉えることもできる。 In the present embodiment, the second information associated with the image shown in FIG. 5 is as shown in FIG. In the example of FIG. 7, the second information is information that designates an area corresponding to the UI image 110 in the first information as an area not to be deleted (in the example of FIG. 7, the coordinate value of the area corresponding to the UI image 110 is specified). Space-limited information indicating that the number of frames is thinned out, time-thinning information indicating information that specifies the amount of thinning out to a predetermined amount or more (which can also be regarded as information that specifies a frame rate), and compression quantization And compression quantization information indicating information for designating the allowable range to be equal to or greater than a predetermined range. In other words, the space limited information illustrated in FIG. 7 can be regarded as information that designates an area other than the area corresponding to the UI image 110 in the first information as an erasable area.

また、例えば図８に示すように、出力対象の画像が、ユーザからの所定の情報が入力される入力欄を表すＵＩ画像１２０を含む場合も、ＵＩ画像１２０の近傍の空間の映像だけが必要で、その他の領域の映像は不要である。これを座標で表現すれば、図９の網点で示された領域外の映像は削除してもよいことになる。また、図８の例では、想定される指示動作としては、入力欄を表すＵＩ画像１２０に対して文字を描くという、検知対象の移動速度が速く、細かい動作なので、許容されるフレーム数の間引き量は所定量未満となる。さらに、どのような文字を描いたのかを正確に認識するためには、第１情報のうち入力欄を表すＵＩ画像１２０に対応する領域の解像度や階調が高いことが要求され、第１情報の圧縮量子化の許容範囲として許容される範囲は所定範囲未満となる。 Further, for example, as shown in FIG. 8, even when the output target image includes a UI image 120 representing an input field in which predetermined information from the user is input, only an image of a space in the vicinity of the UI image 120 is necessary. Thus, images in other areas are unnecessary. If this is expressed in coordinates, the video outside the area indicated by the halftone dots in FIG. 9 may be deleted. Further, in the example of FIG. 8, as an assumed instruction operation, a character to be drawn on the UI image 120 representing the input field has a high movement speed of a detection target and is a fine operation. The amount will be less than the predetermined amount. Further, in order to accurately recognize what character is drawn, it is required that the resolution and gradation of the area corresponding to the UI image 120 representing the input field in the first information is high, and the first information The allowable range for the compression quantization is less than the predetermined range.

本実施形態では、図８に示す画像に対応付けられる第２情報は、図１０のようになる。図１０の例では、第２情報は、第１情報のうちＵＩ画像１２０に対応する領域を、削減を行わない領域として指定する情報（図１０の例では、ＵＩ画像１２０に対応する領域の座標値で表されている）を示す空間限定情報と、フレーム数の間引き量を所定量未満に指定する情報を示す時間間引き情報（フレームレートを所定値よりも大きい値に指定する情報でもよい）と、圧縮量子化の許容範囲を所定範囲未満に指定する情報を示す圧縮量子化情報とから構成されている。 In the present embodiment, the second information associated with the image shown in FIG. 8 is as shown in FIG. In the example of FIG. 10, the second information is information that designates an area corresponding to the UI image 120 in the first information as an area not to be reduced (in the example of FIG. 10, the coordinates of the area corresponding to the UI image 120). Space-limited information indicating (indicated by a value) and time-thinning information (information specifying the frame rate to a value larger than a predetermined value) indicating information specifying the thinning-out amount of the number of frames to be less than a predetermined amount; And compression quantization information indicating information for designating an allowable range of compression quantization to be less than a predetermined range.

また、例えば図１１に示すように、出力対象の画像が、地図を表す画像である場合は、指示動作の対象となる領域は、画像の全領域にわたるため、削除可能な領域は存在しないことになる。これを座標で表現すれば、図１２の網点で示された領域は削除できないことになる。また、図１２の例では、想定される指示動作としては、地図を表す画像のうちの所望の領域に対して、手（指）を動かす（例えば所望の領域の表示を拡大するために、２本の指の間隔を広げるピンチ動作など）という、検知対象の移動速度が比較的遅い動作なので、対象空間を撮像して得られる第１情報のフレームレートは低くてもよく、所定量以上のフレーム数の間引きが許容される。さらに、検知対象も、背景と区別できればよいので、解像度や階調は低くてもよく、第１情報の圧縮量子化の許容範囲として所定範囲以上が許容される。 Further, for example, as shown in FIG. 11, when the image to be output is an image representing a map, the area that is the target of the instruction operation covers the entire area of the image, and therefore there is no area that can be deleted. Become. If this is expressed in coordinates, the area indicated by the halftone dots in FIG. 12 cannot be deleted. Further, in the example of FIG. 12, as an assumed instruction operation, a hand (finger) is moved with respect to a desired area in an image representing a map (for example, 2 in order to enlarge the display of the desired area). Since the movement speed of the detection target is a relatively slow movement (such as a pinch operation that widens the interval between the fingers of the book), the frame rate of the first information obtained by imaging the target space may be low, and the number of frames exceeding a predetermined amount Decimation of numbers is allowed. Furthermore, since it is sufficient that the detection target can be distinguished from the background, the resolution and gradation may be low, and a predetermined range or more is allowed as the allowable range of compression quantization of the first information.

本実施形態では、図１１に示す画像に対応付けられる第２情報は、図１３のようになる。図１３の例では、第２情報は、第１情報のうち図１１に示す出力対象の画像に対応する領域を、削除の対象としない領域として指定する情報（図１３の例では、図１１に示す画像に対応する領域の座標値で表されている）を示す空間限定情報と、フレーム数の間引き量を所定量以上に指定する情報を示す時間間引き情報と、圧縮量子化の許容範囲を所定範囲以上に指定する情報を示す圧縮量子化情報とから構成されている。 In the present embodiment, the second information associated with the image shown in FIG. 11 is as shown in FIG. In the example of FIG. 13, the second information is information that designates an area corresponding to the output target image shown in FIG. 11 in the first information as an area not to be deleted (in the example of FIG. 13, Space limited information (indicated by the coordinate value of the area corresponding to the image to be displayed), time thinning information indicating information specifying the amount of frame thinning to be equal to or greater than a predetermined amount, and an allowable compression quantization range It consists of compressed quantization information indicating information to be specified above the range.

再び図４に戻って説明を続ける。決定部１０５は、生成部１０３により生成された画像に応じて、第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定する。より具体的には、決定部１０５は、生成部１０３により生成された画像に対応する第２情報を記憶部１０４から読み出し、読み出した第２情報を、プロジェクタ２００へ送信する第２情報として決定する。 Returning to FIG. 4 again, the description will be continued. The determination unit 105 variably determines the second information indicating how much the information amount of the first information can be reduced according to the image generated by the generation unit 103. More specifically, the determination unit 105 reads the second information corresponding to the image generated by the generation unit 103 from the storage unit 104, and determines the read second information as second information to be transmitted to the projector 200. .

なお、本実施形態では、生成部１０３により生成され得る画像ごとに、第１情報の情報量をどの程度削減できるのかを示す第２情報が対応付けられて予め記憶部１０４に記憶されているが、例えば生成部１０３により出力対象の画像が生成されるたびに、決定部１０５が、その画像に基づいて、その画像に対応する第２情報を生成し、生成した第２情報を、プロジェクタ２００へ送信する第２情報として決定する形態であってもよい。要するに、決定部１０５は、生成部１０３により生成された画像に応じて、第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定する機能を有するものであればよい。 In the present embodiment, the second information indicating how much the information amount of the first information can be reduced is associated with each image that can be generated by the generating unit 103 and stored in the storage unit 104 in advance. For example, every time an image to be output is generated by the generation unit 103, the determination unit 105 generates second information corresponding to the image based on the image, and sends the generated second information to the projector 200. The form determined as 2nd information to transmit may be sufficient. In short, the determination unit 105 only needs to have a function of variably determining the second information indicating how much the information amount of the first information can be reduced according to the image generated by the generation unit 103.

送信部１０６は、生成部１０３により生成された画像と、決定部１０５により決定された第２情報とを対応付けた第３情報を、プロジェクタ２００へ送信する。 Transmitting section 106 transmits third information in which the image generated by generating section 103 is associated with the second information determined by determining section 105 to projector 200.

また、本実施形態では、サーバ装置１００のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置のハードウェア構成を利用したものであり、上述した各部（受信部１０１、認識部１０２、生成部１０３、決定部１０５、および、送信部１０６）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、上述した各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。また、上述の記憶部１０４は、例えばＲＡＭ、ＲＯＭ、あるいは、ＨＤＤ等の補助記憶装置などで実現可能である。 In the present embodiment, the hardware configuration of the server device 100 uses a hardware configuration of a normal computer device including a CPU, a ROM, a RAM, and the like, and the above-described units (reception unit 101, recognition unit 102). The functions of the generation unit 103, the determination unit 105, and the transmission unit 106) are realized by the CPU executing a program stored in a ROM or the like. However, the present invention is not limited to this, and at least a part of the functions of each unit described above may be realized by a dedicated hardware circuit. The storage unit 104 described above can be realized by an auxiliary storage device such as a RAM, a ROM, or an HDD, for example.

次に、プロジェクタ２００の構成を説明する。ここでは、１つのプロジェクタ２００の構成を例に挙げて説明するが、システム１に含まれ得る他のプロジェクタ２００の構成も同様である。図１４は、プロジェクタ２００の機能構成例を示すブロック図である。図１４に示すように、プロジェクタ２００は、第１取得部２０１と、第２取得部２０２と、第１制御部２０３と、第２制御部２０４とを有する。 Next, the configuration of the projector 200 will be described. Here, the configuration of one projector 200 will be described as an example, but the configurations of other projectors 200 that can be included in the system 1 are also the same. FIG. 14 is a block diagram illustrating a functional configuration example of the projector 200. As illustrated in FIG. 14, the projector 200 includes a first acquisition unit 201, a second acquisition unit 202, a first control unit 203, and a second control unit 204.

第１取得部２０１は、検知器４００から出力される第１情報を取得する。第２取得部２０２は、サーバ装置１００から送信されてくる第３情報を取得する。 The first acquisition unit 201 acquires first information output from the detector 400. The second acquisition unit 202 acquires third information transmitted from the server device 100.

第１制御部２０３は、第２取得部２０２により取得された第３情報に含まれる第２情報に基づいて、第１取得部２０１により取得された第１情報の情報量を削減してサーバ装置１００へ送信する制御を行う。例えば図７に示す第２情報が、第２取得部２０２により取得された第３情報に含まれている場合を想定する。この場合、第１制御部２０３は、第２情報に含まれる時間間引き情報に基づいてフレームレート（見方を変えればフレーム数の間引き量）を決定する。そして、第２情報に含まれる空間限定情報に基づいて、第１取得部２０１により取得された第１情報のマスク処理を行う。より具体的には、第１制御部２０３は、第１取得部２０１により取得された第１情報のうち、第２情報に含まれる空間限定情報により指定された領域以外の領域の映像情報を削除する処理を行う。そして、第１制御部２０３は、第２情報に含まれる圧縮量子化情報に基づいて、マスク処理が行われた第１情報の圧縮量子化を行う。第１制御部２０３は、以上のようにして情報量を削減した第１情報を、第２情報に含まれる時間間引き情報に基づいて決定したフレームレートに従ってサーバ装置１００へ送信（転送）する制御を行う。 The first control unit 203 reduces the information amount of the first information acquired by the first acquisition unit 201 based on the second information included in the third information acquired by the second acquisition unit 202, and the server device Control to transmit to 100 is performed. For example, it is assumed that the second information illustrated in FIG. 7 is included in the third information acquired by the second acquisition unit 202. In this case, the first control unit 203 determines a frame rate (a thinning amount of the number of frames if the view is changed) based on the time thinning information included in the second information. Then, based on the space limitation information included in the second information, the first information acquired by the first acquisition unit 201 is masked. More specifically, the first control unit 203 deletes video information of an area other than the area specified by the space limitation information included in the second information from the first information acquired by the first acquisition unit 201. Perform the process. And the 1st control part 203 performs the compression quantization of the 1st information in which the mask process was performed based on the compression quantization information contained in 2nd information. The first control unit 203 performs control for transmitting (transferring) the first information whose amount of information is reduced as described above to the server apparatus 100 according to the frame rate determined based on the time thinning information included in the second information. Do.

なお、プロジェクタ２００からサーバ装置１００へ送信（転送）する第１情報の最終的な内容は、サーバ装置１００から取得した第２情報だけでなく、プロジェクタ２００ごとに異なる検知器４００の性能（スペック）や、転送路帯域、対象空間の明るさ等の他の情報も加味して決定することもできる。 Note that the final content of the first information transmitted (transferred) from the projector 200 to the server apparatus 100 is not only the second information acquired from the server apparatus 100 but also the performance (spec) of the detector 400 that differs for each projector 200. It can also be determined in consideration of other information such as the transfer path bandwidth and the brightness of the target space.

第２制御部２０４は、第２取得部２０２により取得された第３情報に含まれる画像を、画像出力面に出力する制御（この例では、投影領域３に投影する制御）を行う。これにより、投影領域３に投影される画像は、第２取得部２０２により取得された第３情報に含まれる画像に切り替わる。 The second control unit 204 performs control to output an image included in the third information acquired by the second acquisition unit 202 to the image output surface (in this example, control to project onto the projection region 3). Thereby, the image projected on the projection area 3 is switched to an image included in the third information acquired by the second acquisition unit 202.

また、本実施形態では、プロジェクタ２００には、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置が搭載され、上述した各部（第１取得部２０１、第２取得部２０２、第１制御部２０３、および、第２制御部２０４）の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、上述した各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。 In the present embodiment, the projector 200 is equipped with a normal computer device including a CPU, ROM, RAM, and the like, and the above-described units (first acquisition unit 201, second acquisition unit 202, first control unit 203, The function of the second control unit 204) is realized by the CPU executing a program stored in the ROM or the like. However, the present invention is not limited to this, and at least a part of the functions of each unit described above may be realized by a dedicated hardware circuit.

次に、図１５を参照しながら、プロジェクタ２００の動作例を説明する。図１５は、プロジェクタ２００の動作例を示すフローチャートである。図１５に示すように、まず、第２取得部２０２は、サーバ装置１００から送信されてくる第３情報を取得する（ステップＳ１）。次に、第２制御部２０４は、ステップＳ１で取得された第３情報に含まれる画像（サーバ装置１００により生成された投影対象の画像）を、投影領域３に投影する制御を行う（ステップＳ２）。次に、第１制御部２０３は、ステップＳ１で取得された第３情報に含まれる第２情報を構成する時間間引き情報に基づいて、フレームレートを決定する（ステップＳ３）。 Next, an operation example of the projector 200 will be described with reference to FIG. FIG. 15 is a flowchart illustrating an operation example of the projector 200. As shown in FIG. 15, first, the second acquisition unit 202 acquires third information transmitted from the server device 100 (step S1). Next, the second control unit 204 performs control to project the image included in the third information acquired in Step S1 (the projection target image generated by the server device 100) onto the projection region 3 (Step S2). ). Next, the 1st control part 203 determines a frame rate based on the time thinning information which comprises the 2nd information contained in the 3rd information acquired by step S1 (step S3).

次に、第１取得部２０１は、検知器４００から出力される第１情報を取得する（ステップＳ４）。次に、第１制御部２０３は、ステップＳ１で取得された第３情報に含まれる第２情報を構成する空間限定情報に基づいて、ステップＳ４で取得された第１情報のマスク処理を行う（ステップＳ５）。前述したように、第１制御部２０３は、ステップＳ４で取得された第１情報のうち、ステップＳ１で取得された第３情報に含まれる第２情報を構成する空間限定情報により指定された領域以外の領域の映像情報を削除する処理を行う。 Next, the first acquisition unit 201 acquires first information output from the detector 400 (step S4). Next, the 1st control part 203 performs the mask process of the 1st information acquired at Step S4 based on the space limited information which constitutes the 2nd information contained in the 3rd information acquired at Step S1. Step S5). As described above, the first control unit 203 specifies the area specified by the space-limited information that constitutes the second information included in the third information acquired in step S1 among the first information acquired in step S4. A process of deleting video information in a region other than the above is performed.

次に、第１制御部２０３は、ステップＳ１で取得された第３情報に含まれる第２情報を構成する圧縮量子化情報に基づいて、ステップＳ５でマスク処理が行われた第１情報の圧縮量子化を行う（ステップＳ６）。これにより、第１情報の情報量がさらに削減される。次に、第１制御部２０３は、ステップＳ３で決定したフレームレートに従って、情報量を削減した第１情報を、サーバ装置１００へ送信する制御を行う（ステップＳ７）。 Next, the first control unit 203 compresses the first information masked in step S5 based on the compressed quantization information constituting the second information included in the third information acquired in step S1. Quantization is performed (step S6). Thereby, the information amount of the first information is further reduced. Next, the 1st control part 203 performs control which transmits the 1st information which reduced information amount to the server apparatus 100 according to the frame rate determined by step S3 (step S7).

次に、第２取得部２０２は、サーバ装置１００から、新たな第３情報が送信されてきたか否かを判断する（ステップＳ８）。サーバ装置１００から、新たな第３情報が送信されてきたと判断した場合（ステップＳ８：ＹＥＳ）、つまり、第２取得部２０２が、サーバ装置１００から新たな第３情報を取得した場合、前述のステップＳ２以降の処理が繰り返される。一方、サーバ装置１００から、新たな第３情報が送信されてきていないと判断した場合（ステップＳ８：ＮＯ）、つまり、第２取得部２０２が、サーバ装置１００から新たな第３情報を取得していない場合、前述のステップＳ４以降の処理が繰り返される。 Next, the second acquisition unit 202 determines whether or not new third information has been transmitted from the server device 100 (step S8). When it is determined that new third information has been transmitted from the server apparatus 100 (step S8: YES), that is, when the second acquisition unit 202 has acquired new third information from the server apparatus 100, The process after step S2 is repeated. On the other hand, when it is determined that new third information has not been transmitted from the server device 100 (step S8: NO), that is, the second acquisition unit 202 acquires new third information from the server device 100. If not, the processes after step S4 are repeated.

以上に説明したように、本実施形態では、サーバ装置１００は、投影対象の画像に応じて、第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定し、決定した第２情報と、投影対象の画像とを対応付けた第３情報を、プロジェクタ２００へ送信する。そして、プロジェクタ２００は、サーバ装置１００から送信されてきた第３情報に含まれる第２情報に基づいて、検知器４００から取得した第１情報（対象空間を撮像して得られる映像情報）の情報量を削減してサーバ装置１００へ送信するので、検知器４００から出力された第１情報をそのままサーバ装置１００へ転送する構成に比べて、第１情報の転送速度（送信速度）を高めることができる。これにより、ユーザによる指示動作に対する応答（指示動作に応じた画像の投影表示）を高めることができるという有利な効果を奏する。 As described above, in the present embodiment, the server apparatus 100 variably determines and determines the second information indicating how much the information amount of the first information can be reduced according to the projection target image. The third information in which the second information is associated with the projection target image is transmitted to the projector 200. The projector 200 then acquires information on the first information (video information obtained by imaging the target space) acquired from the detector 400 based on the second information included in the third information transmitted from the server device 100. Since the amount is reduced and transmitted to the server apparatus 100, the transfer speed (transmission speed) of the first information can be increased compared to the configuration in which the first information output from the detector 400 is transferred to the server apparatus 100 as it is. it can. Thereby, there exists an advantageous effect that the response (projection display of the image according to instruction | indication operation | movement) with respect to instruction | indication operation | movement by a user can be improved.

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、実施形態および変形例は任意に組み合わせることが可能である。 As mentioned above, although embodiment of this invention was described, the above-mentioned embodiment is shown as an example and is not intending limiting the range of invention. The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, the embodiment and the modification examples can be arbitrarily combined.

上述の実施形態では、サーバ装置１００に接続される画像出力装置の一例としてプロジェクタ２００を挙げて説明したが、これに限らず、サーバ装置１００に接続される画像出力装置の種類は任意であり、例えば液晶型のディスプレイ装置であってもよい。 In the above-described embodiment, the projector 200 has been described as an example of the image output device connected to the server device 100. However, the present invention is not limited to this, and the type of the image output device connected to the server device 100 is arbitrary. For example, a liquid crystal display device may be used.

要するに本発明に係るシステムは、画像を出力する画像出力装置と、画像を生成するサーバ装置とを備えるシステムであって、サーバ装置は、受信部と認識部と生成部と決定部と送信部とを有し、画像出力装置は、第１取得部と第２取得部と第１制御部と第２制御部とを有する形態であればよい。 In short, a system according to the present invention is a system including an image output device that outputs an image and a server device that generates an image. The server device includes a reception unit, a recognition unit, a generation unit, a determination unit, and a transmission unit. The image output device may have any form as long as it includes a first acquisition unit, a second acquisition unit, a first control unit, and a second control unit.

上記受信部は、画像出力装置から、画像が出力される画像出力面に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を受信する。上記認識部は、第１情報に基づいて、ユーザによる指示動作を認識する。上記生成部は、認識部により認識された指示動作に応じて、出力対象の画像を生成する。上記決定部は、生成部により生成された画像に応じて、第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定する。上記送信部は、生成部により生成された画像と、決定部により決定された第２情報とを対応付けた第３情報を、画像出力装置へ送信する。 The receiving unit receives first information used to detect a detection target existing in a target space corresponding to an image output surface from which an image is output, from the image output device. The recognition unit recognizes an instruction operation by the user based on the first information. The generation unit generates an output target image in accordance with the instruction operation recognized by the recognition unit. The determination unit variably determines the second information indicating how much the information amount of the first information can be reduced according to the image generated by the generation unit. The transmission unit transmits third information in which the image generated by the generation unit is associated with the second information determined by the determination unit to the image output device.

また、上記第１取得部は、第１情報を検知する検知器から、第１情報を取得する。上記第２取得部は、サーバ装置から第３情報を取得する。第１制御部は、第３情報に含まれる第２情報に基づいて、第１情報の情報量を削減してサーバ装置へ送信する制御を行う。上記第２制御部は、第３情報に含まれる画像を画像出力面に出力する制御を行う。 The first acquisition unit acquires first information from a detector that detects the first information. The second acquisition unit acquires third information from the server device. The first control unit performs control to reduce the information amount of the first information and transmit it to the server device based on the second information included in the third information. The second control unit performs control to output an image included in the third information to the image output surface.

上述のサーバ装置１００およびプロジェクタ２００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The programs executed by the server apparatus 100 and the projector 200 described above are installable or executable files, and are computers such as CD-ROM, flexible disk (FD), CD-R, and DVD (Digital Versatile Disk). The information may be provided by being recorded on a recording medium that can be read by the user.

さらに、上述のサーバ装置１００およびプロジェクタ２００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のサーバ装置１００およびプロジェクタ２００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Furthermore, the program executed by the server device 100 and the projector 200 described above may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the server apparatus 100 and the projector 200 described above may be provided or distributed via a network such as the Internet.

１システム
１００サーバ装置
１０１受信部
１０２認識部
１０３生成部
１０４記憶部
１０５決定部
１０６送信部
２００プロジェクタ
２０１第１取得部
２０２第２取得部
２０３第１制御部
２０４第２制御部
４００検知器 DESCRIPTION OF SYMBOLS 1 System 100 Server apparatus 101 Receiving part 102 Recognition part 103 Generation part 104 Storage part 105 Determination part 106 Transmission part 200 Projector 201 1st acquisition part 202 2nd acquisition part 203 1st control part 204 2nd control part 400 Detector

特開２０１２−００３５２１号公報JP 2012-003521 A

Claims

画像を出力する画像出力装置と、前記画像を生成するサーバ装置とを備えるシステムであって、
前記サーバ装置は、
前記画像出力装置から、前記画像が出力される画像出力面に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を受信する受信部と、
前記第１情報に基づいて、ユーザによる指示動作を認識する認識部と、
前記認識部により認識された前記指示動作に応じて、出力対象の前記画像を生成する生成部と、
前記生成部により生成された前記画像に応じて、前記第１情報の情報量をどの程度削減できるのかを示す第２情報を可変に決定する決定部と、
前記生成部により生成された前記画像と、前記決定部により決定された前記第２情報とを対応付けた第３情報を、前記画像出力装置へ送信する送信部と、を有し、
前記画像出力装置は、
前記第１情報を検知する検知器から、前記第１情報を取得する第１取得部と、
前記サーバ装置から前記第３情報を取得する第２取得部と、
前記第３情報に含まれる前記第２情報に基づいて、前記第１情報の情報量を削減して前記サーバ装置へ送信する制御を行う第１制御部と、
前記第３情報に含まれる前記画像を前記画像出力面に出力する制御を行う第２制御部と、を有する、
ことを特徴とするシステム。 An image output device that outputs an image and a server device that generates the image,
The server device
A receiving unit that receives, from the image output device, first information used to detect a detection target existing in a target space corresponding to an image output surface from which the image is output;
A recognition unit for recognizing an instruction operation by a user based on the first information;
A generating unit that generates the image to be output in response to the instruction operation recognized by the recognizing unit;
A determination unit that variably determines second information indicating how much the information amount of the first information can be reduced according to the image generated by the generation unit;
A transmission unit that transmits, to the image output device, third information in which the image generated by the generation unit is associated with the second information determined by the determination unit;
The image output device includes:
A first acquisition unit that acquires the first information from a detector that detects the first information;
A second acquisition unit for acquiring the third information from the server device;
Based on the second information included in the third information, a first control unit that performs control to reduce the information amount of the first information and transmit the information to the server device;
A second control unit that performs control to output the image included in the third information to the image output surface,
A system characterized by that.

前記サーバ装置は、
前記生成部により生成され得る前記画像ごとに、前記第２情報を対応付けて予め記憶する記憶部をさらに備え、
前記決定部は、前記生成部により生成された前記画像に対応する前記第２情報を前記記憶部から読み出し、読み出した前記第２情報を、前記画像出力装置に送信する前記第２情報として決定する、
ことを特徴とする請求項１に記載のシステム。 The server device
For each of the images that can be generated by the generation unit, the image processing apparatus further includes a storage unit that associates and stores the second information in advance.
The determination unit reads the second information corresponding to the image generated by the generation unit from the storage unit, and determines the read second information as the second information to be transmitted to the image output device. ,
The system according to claim 1.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報のうち削除しない領域を指定する情報を含む、
ことを特徴とする請求項１または請求項２に記載のシステム。 The first information is video information obtained by imaging the target space,
The second information includes information designating an area not to be deleted in the first information.
The system according to claim 1 or 2, characterized by the above.

前記生成部により生成された前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、前記決定部により決定される前記第２情報は、前記第１情報のうち前記ＵＩ画像に対応する領域を削除しない領域として指定する情報を含む、
ことを特徴とする請求項３に記載のシステム。 When a UI image representing an operation button is included in the image generated by the generation unit, the second information determined by the determination unit corresponds to the UI image of the first information. Including information that designates the area to be deleted as an area not to be deleted,
The system according to claim 3.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報のフレーム数の間引き量を指定する情報を含む、
ことを特徴とする請求項１または請求項２に記載のシステム。 The first information is video information obtained by imaging the target space,
The second information includes information specifying a thinning amount of the number of frames of the first information.
The system according to claim 1 or 2, characterized by the above.

前記生成部により生成された前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、前記決定部により決定される前記第２情報は、前記第１情報のフレーム数の間引き量を所定量以上に指定する情報を含む、
ことを特徴とする請求項５に記載のシステム。 In the case where a UI image representing an operation button is included in the image generated by the generation unit, the second information determined by the determination unit is a thinning amount of the number of frames of the first information. Contains information that specifies more than a predetermined amount,
The system according to claim 5.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報の圧縮量子化の許容範囲を指定する情報を含む、
ことを特徴とする請求項１または請求項２に記載のシステム。 The first information is video information obtained by imaging the target space,
The second information includes information specifying an allowable range of compression quantization of the first information.
The system according to claim 1 or 2, characterized by the above.

前記生成部により生成された前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、前記決定部により決定された前記第２情報は、前記第１情報の圧縮量子化の許容範囲を所定範囲以上に指定する情報を含む、
ことを特徴とする請求項６に記載のシステム。 When a UI image representing an operation button is included in the image generated by the generation unit, the second information determined by the determination unit is an allowable range of compression quantization of the first information. Including information that specifies a specified range above
The system according to claim 6.

投影対象物に画像を投影する画像投影装置であって、
前記投影対象物のうち前記画像が投影される領域を示す投影領域に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を検知する検知器から、前記第１情報を取得する第１取得部と、
前記第１情報に基づいて認識された指示動作に応じて前記画像を生成するサーバ装置から、投影対象の前記画像と、前記第１情報の情報量をどの程度削減できるのかを示す第２情報とが対応付けられた第３情報を取得する第２取得部と、
前記第３情報に含まれる前記第２情報に基づいて、前記第１情報の情報量を削減して前記サーバ装置へ送信する制御を行う第１制御部と、
前記第３情報に含まれる前記画像を前記投影領域に出力する制御を行う第２制御部と、を備える、
ことを特徴とする画像投影装置。 An image projection apparatus that projects an image onto a projection object,
The first information is detected from a detector that detects first information used to detect a detection target that exists in a target space corresponding to a projection area that represents an area on which the image is projected, among the projection objects. A first acquisition unit to acquire;
From the server device that generates the image according to the instruction operation recognized based on the first information, the image to be projected and the second information indicating how much the information amount of the first information can be reduced A second acquisition unit that acquires third information associated with
Based on the second information included in the third information, a first control unit that performs control to reduce the information amount of the first information and transmit the information to the server device;
A second control unit that performs control to output the image included in the third information to the projection region,
An image projection apparatus characterized by that.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報のうち削減可能な領域を指定する情報を含む、
ことを特徴とする請求項９に記載の画像投影装置。 The first information is video information obtained by imaging the target space,
The second information includes information specifying a reducible area of the first information.
The image projection apparatus according to claim 9.

前記第３情報に含まれる前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、当該第３情報に含まれる前記第２情報は、前記第１情報のうち前記ＵＩ画像に対応する領域以外の領域を削減可能な領域として指定する情報を含む、
ことを特徴とする請求項１０に記載の画像投影装置。 When a UI image representing an operation button is included in the image included in the third information, the second information included in the third information corresponds to the UI image in the first information. Including information that designates areas other than areas to be reduced as areas that can be reduced,
The image projection apparatus according to claim 10.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報のフレーム数の間引き量を指定する情報を含む、
ことを特徴とする請求項９に記載の画像投影装置。 The first information is video information obtained by imaging the target space,
The second information includes information specifying a thinning amount of the number of frames of the first information.
The image projection apparatus according to claim 9.

前記第３情報に含まれる前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、当該第３情報に含まれる前記第２情報は、前記第１情報のフレーム数の間引き量を所定量以上に指定する情報を含む、
ことを特徴とする請求項１２に記載の画像投影装置。 When a UI image representing an operation button is included in the image included in the third information, the second information included in the third information includes a thinning amount of the number of frames of the first information. Contains information that specifies more than a predetermined amount,
The image projection apparatus according to claim 12.

前記第１情報は、前記対象空間を撮像して得られる映像情報であり、
前記第２情報は、前記第１情報の圧縮量子化の許容範囲を指定する情報を含む、
ことを特徴とする請求項９に記載の画像投影装置。 The first information is video information obtained by imaging the target space,
The second information includes information specifying an allowable range of compression quantization of the first information.
The image projection apparatus according to claim 9.

前記第３情報に含まれる前記画像の中に、操作用のボタンを表すＵＩ画像が含まれる場合、当該第３情報に含まれる前記第２情報は、前記第１情報の圧縮量子化の許容範囲を所定範囲以上に指定する情報を含む、
ことを特徴とする請求項１４に記載の画像投影装置。 When a UI image representing an operation button is included in the image included in the third information, the second information included in the third information is an allowable range of compression quantization of the first information. Including information that specifies a specified range above
The image projection apparatus according to claim 14.

画像が出力される画像出力面に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を検知する検知器から、前記第１情報を取得する第１取得ステップと、
前記第１情報に基づいて認識された指示動作に応じて前記画像を生成するサーバ装置から、出力対象の前記画像と、前記第１情報の情報量をどの程度削減できるのかを示す第２情報とが対応付けられた第３情報を取得する第２取得ステップと、
前記第３情報に含まれる前記第２情報に基づいて、前記第１情報の情報量を削減して前記サーバ装置へ送信する制御を行う第１制御ステップと、
前記第３情報に含まれる前記画像を前記画像出力面に出力する制御を行う第２制御ステップと、を含む、
ことを特徴とする制御方法。 A first acquisition step of acquiring the first information from a detector that detects first information used to detect a detection target existing in a target space corresponding to an image output surface from which an image is output;
From the server device that generates the image according to the instruction operation recognized based on the first information, the image to be output and the second information indicating how much the information amount of the first information can be reduced; A second acquisition step of acquiring third information associated with
A first control step of performing control to reduce the amount of information of the first information and transmit it to the server device based on the second information included in the third information;
A second control step for performing control to output the image included in the third information to the image output surface,
A control method characterized by that.

コンピュータに、
画像が出力される画像出力面に対応する対象空間内に存在する検知対象を検知するのに用いられる第１情報を検知する検知器から、前記第１情報を取得する第１取得ステップと、
前記第１情報に基づいて認識された指示動作に応じて前記画像を生成するサーバ装置から、出力対象の前記画像と、前記第１情報の情報量をどの程度削減できるのかを示す第２情報とが対応付けられた第３情報を取得する第２取得ステップと、
前記第３情報に含まれる前記第２情報に基づいて、前記第１情報の情報量を削減して前記サーバ装置へ送信する制御を行う第１制御ステップと、
前記第３情報に含まれる前記画像を前記画像出力面に出力する制御を行う第２制御ステップと、を実行させるためのプログラム。 On the computer,
A first acquisition step of acquiring the first information from a detector that detects first information used to detect a detection target existing in a target space corresponding to an image output surface from which an image is output;
From the server device that generates the image according to the instruction operation recognized based on the first information, the image to be output and the second information indicating how much the information amount of the first information can be reduced; A second acquisition step of acquiring third information associated with
A first control step of performing control to reduce the amount of information of the first information and transmit it to the server device based on the second information included in the third information;
And a second control step for performing control to output the image included in the third information to the image output surface.