JP2016092779A - Image projection system, information processing apparatus, information processing method, and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To detect a light spot applied on a projection surface accurately and stably, without any influence of a video signal, in a system using a plurality of image projection apparatuses.SOLUTION: An image projection apparatus includes a synchronization signal output section 11 which transmits a synchronization signal designated to capture a projection surface in a projection period excluding a period where a light instruction apparatus emits light of a predetermined color, to an information processing apparatus. The information processing apparatus includes: a projection control section 28 for projecting projection images so as to synthesize the projection images of a plurality of projection apparatuses; an imaging control section 21 which causes an imaging section to capture the projection surface, in response to the synchronization signal; an irradiation image detection section 24 which detects an irradiation image applied on the projection surface by the light instruction apparatus from image data captured by the imaging section; and an irradiation image generation section 25 which generates irradiation image data by adding a predetermined image according to a position of the detected irradiation image.SELECTED DRAWING: Figure 4

Description

本発明は、画像投影システム、情報処理装置、情報処理方法、及びプログラムに関する。   The present invention relates to an image projection system, an information processing apparatus, an information processing method, and a program.

プロジェクタは、スクリーンに文字やグラフなどの画像を拡大投影するので、多人数に対するプレゼンテーションなどに広く用いられている。このプレゼンテーションの際に、プレゼンターが説明を判りやすくするために、スクリーンに投影された画像を、レーザポインタなどを用いて指し示す場合がある。しかしながら、レーザポインタで投影画像を直接的に指し示すのは、手振れによって所望の場所を正確に指せないといった問題があった。そこで、使用者がレーザポインタによって照射した地点を、プロジェクタに内蔵されたＣＣＤ（Charge Coupled Device）カメラが検知し、この照射地点と同じ地点にポインタ画像を表示する、という技術が知られている。   A projector enlarges and projects an image such as a character or graph on a screen, and is therefore widely used for presentations for a large number of people. During the presentation, in order to make it easy for the presenter to understand the explanation, the image projected on the screen may be indicated using a laser pointer or the like. However, pointing the projected image directly with the laser pointer has a problem that the desired location cannot be accurately pointed by camera shake. Therefore, a technique is known in which a CCD (Charge Coupled Device) camera built in a projector detects a point irradiated by a laser pointer by a user and displays a pointer image at the same point as the irradiation point.

例えば、特許文献１には、複数のプロジェクタによって複数のスクリーン上に同一の投影用画像を投影する場合に、投影画像に、レーザポインタなどの光点と共に撮影した画像を用いて光点の座標を演算し画像合成処理をする技術が開示されている。なお、この特許文献１は、複数台のプロジェクタ映像を合成することによって成立するマルチプロジェクションやプロジェクションマッピング時に対応するものではない。   For example, in Patent Document 1, when the same projection image is projected on a plurality of screens by a plurality of projectors, the coordinates of the light spot are obtained by using an image taken together with a light spot such as a laser pointer in the projection image. A technique for calculating and performing image composition processing is disclosed. Note that Patent Document 1 does not correspond to multi-projection or projection mapping established by combining a plurality of projector images.

しかしながら、上記に示されるような従来の技術にあっては、複数台の画像投影装置（プロジェクタ）の映像を合成した投影面において、映像信号の影響を受けることにより投影面に照射されたレーザポインタ等の光点が検出できなくなる可能性があるという問題があった。   However, in the conventional techniques as described above, the laser pointer irradiated to the projection surface due to the influence of the video signal on the projection surface where the images of the plurality of image projection apparatuses (projectors) are combined. There is a problem that the light spot such as the above may not be detected.

本発明は、上記に鑑みてなされたものであって、複数の画像投影装置を用いるシステムにおいても、映像信号の影響を受けることなく、精度良く安定的に投影面に照射された光点を検出することを目的とする。   The present invention has been made in view of the above, and even in a system using a plurality of image projection apparatuses, the light spot irradiated to the projection surface can be detected accurately and stably without being affected by the video signal. The purpose is to do.

上述した課題を解決し、目的を達成するために、本発明は、画像データを投影面に投影する複数の画像投影装置と、前記複数の画像投影装置と接続された情報処理装置と、前記投影面を撮影する撮影部と、を有し、前記画像投影装置は、光指示装置が照射している照射色とは異なる投影期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部を備え、前記情報処理装置は、前記複数の画像投影装置の投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、前記同期信号に従い、前記撮影部に前記投影面を撮影させる撮影制御部と、前記撮影部で撮影された前記画像データから前記光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a plurality of image projection apparatuses that project image data onto a projection plane, an information processing apparatus connected to the plurality of image projection apparatuses, and the projection An image capturing unit that captures a surface, and the image projection device includes a synchronization signal that specifies a projection period that is different from an irradiation color irradiated by the light indicating device as a timing for capturing the projection surface. A synchronization signal output unit for transmitting to a processing device, wherein the information processing device projects the projection images so that the projection images of the plurality of image projection devices become one composite image; and the synchronization In accordance with the signal, an imaging control unit that causes the imaging unit to image the projection plane, and an irradiation image detection that detects an irradiation image irradiated on the projection plane by the light indicating device from the image data captured by the imaging unit Department and Characterized in that and an illumination image generating unit for generating radiation image data in which a predetermined image is added in accordance with the position of the detected said radiation image.

本発明は、複数の画像投影装置を用いるシステムにおいても、映像信号の影響を受けることなく、精度良く安定的に投影面に照射された光点を検出することができるという効果を奏する。   The present invention has an effect that even in a system using a plurality of image projection apparatuses, it is possible to detect a light spot irradiated onto a projection surface accurately and stably without being affected by a video signal.

図１は、第１の実施の形態の画像投影装置の使用態様を示す全体図である。FIG. 1 is an overall view showing a usage mode of the image projection apparatus according to the first embodiment. 図２は、第１の実施の形態の画像投影装置のハードウェアの内部構成を示す図である。FIG. 2 is a diagram illustrating an internal configuration of hardware of the image projection apparatus according to the first embodiment. 図３は、画像投影装置、及び外部ＰＣのハードウェア構成を示すブロック図である。FIG. 3 is a block diagram illustrating a hardware configuration of the image projection apparatus and the external PC. 図４は、図３における機能構成を示すブロック図である。FIG. 4 is a block diagram showing a functional configuration in FIG. 図５は、第１の実施の形態の投影パターンの一例を示す図である。FIG. 5 is a diagram illustrating an example of a projection pattern according to the first embodiment. 図６は、第１の実施の形態のカラーホイールシアン（Ｃｙ）−白色（Ｗ）−赤色（Ｒ）−マゼンタ（Ｍ）−黄色（Ｙ）−緑色（Ｇ）−青（Ｂ）の７セグメントを示す図である。FIG. 6 shows seven segments of color wheel cyan (Cy) -white (W) -red (R) -magenta (M) -yellow (Y) -green (G) -blue (B) according to the first embodiment. FIG. 図７は、第１の実施の形態のカラーホイールの７セグメントと、各セグメントが投影面に表示されたときのカメラ撮影画像との相関関係を示す図である。FIG. 7 is a diagram illustrating a correlation between the seven segments of the color wheel according to the first embodiment and a camera-captured image when each segment is displayed on the projection plane. 図８は、カラーホイールの一周期に対する投影光色との関係を示す図である。FIG. 8 is a diagram illustrating the relationship between the color of projection light and one period of the color wheel. 図９は、ある投影画像に対し、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のレーザポインタを照射した場合の画像データを示す図である。FIG. 9 is a diagram illustrating image data when a red (R), green (G), and blue (B) laser pointer is irradiated to a certain projected image. 図１０は、タイミングＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタを示す図である。FIG. 10 is a diagram showing a detected laser pointer when the laser pointer projected on the projection image at timings A, B, and C is photographed. 図１１は、単色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。FIG. 11 is a diagram illustrating the relationship between the rotation cycle of the color wheel, the shooting cycle of the shooting camera, and the shutter timing for detecting a monochrome laser pointer. 図１２は、複数色のレーザポインタを検出するための、カラーホイールの回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。FIG. 12 is a diagram illustrating the relationship between the rotation cycle of the color wheel, the shooting cycle of the shooting camera, and the shutter timing for detecting laser pointers of a plurality of colors. 図１３は、オプションカメラの例を示す説明図である。FIG. 13 is an explanatory diagram illustrating an example of an option camera. 図１４は、射影変換係数の算出と、レーザポインタの検出の処理の流れを示すフローチャートである。FIG. 14 is a flowchart showing a flow of processing for calculating a projective transformation coefficient and detecting a laser pointer. 図１５は、第１の実施の形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。FIG. 15 is an overall view illustrating an example of a projection mode of a pointer in the image projection apparatus according to the first embodiment. 図１６は、第１の実施の形態の投影パターンの一例を示す図である。FIG. 16 is a diagram illustrating an example of a projection pattern according to the first embodiment. 図１７は、円筒型スクリーンを用いた投影システムの例を示す説明図である。FIG. 17 is an explanatory diagram showing an example of a projection system using a cylindrical screen. 図１８は、車を投影するシステム例を示す説明図である。FIG. 18 is an explanatory diagram showing a system example for projecting a car. 図１９は、特殊な物体でのインタラクション例を説明図である。FIG. 19 is an explanatory diagram of an example of interaction with a special object.

以下に添付図面を参照して、この発明にかかる画像投影システム、情報処理装置、情報処理方法、及びプログラムの一実施の形態を詳細に説明する。   Exemplary embodiments of an image projection system, an information processing apparatus, an information processing method, and a program according to the present invention will be explained below in detail with reference to the accompanying drawings.

（実施の形態）
本実施の形態は、同じ映像信号発生器（映像生成器、パーソナルコンピュータなど）から同じタイミングで映像信号を受け取る複数のプロジェクタがあるシステム例である。本システムでは、同じタイミングで映像信号を受け取ると、カラーホイールの動きも同一となり、どの瞬間でもすべての画像投影装置（プロジェクタ）で投影色が合致している状態となる。さらに、投影面を撮影するカメラを搭載し、カメラが投影像の座標を認識するプロジェクタ装置において、複数台のプロジェクタ装置からの同期投影と、特定色を発色する区間に同期して光点画像をカメラで撮影との２つを実施する。これにより、カメラで撮影された光点の色彩情報（ＲＧＢのいずれかのチャンネルのデータ）が特異的に検出するものである。以下、図面を参照して詳細な具体例をあげて説明する。 (Embodiment)
This embodiment is an example of a system having a plurality of projectors that receive video signals from the same video signal generator (video generator, personal computer, etc.) at the same timing. In this system, when the video signal is received at the same timing, the movement of the color wheel is also the same, and the projection colors match in all the image projection apparatuses (projectors) at any moment. Furthermore, in a projector device that is equipped with a camera that captures the projection plane and recognizes the coordinates of the projected image, the light spot image is synchronized with the synchronized projection from a plurality of projector devices and the section that develops a specific color. The camera and shooting are performed. Thereby, the color information (data of any of RGB channels) of the light spot photographed by the camera is specifically detected. Hereinafter, a detailed example will be described with reference to the drawings.

以下、図面を参照して本発明の画像投影装置を具体化した第１の実施の形態について説明する。図１は、画像投影装置を含む画像投影システムの示す全体図である。画像投影装置１０ａ，１０ｂ，１０ｃは、外部ＰＣ２０と接続されて、外部ＰＣ２０から入力された静止画や動画などの画像データを投影面であるスクリーン３０に対して投影する。また、ユーザは照射装置としてレーザポインタ４０を用いた場合を示している。また、外部ＰＣ２０にはカメラ部２２が接続されている。なお、カメラ部２２は、外付けのハードウェアとして設けてもよいし、外部ＰＣ２０に内蔵されていてもよい。   Hereinafter, a first embodiment of an image projection apparatus according to the present invention will be described with reference to the drawings. FIG. 1 is an overall view showing an image projection system including an image projection apparatus. The image projection apparatuses 10a, 10b, and 10c are connected to the external PC 20 and project image data such as still images and moving images input from the external PC 20 onto the screen 30 that is a projection plane. Moreover, the user has shown the case where the laser pointer 40 is used as an irradiation apparatus. A camera unit 22 is connected to the external PC 20. The camera unit 22 may be provided as external hardware, or may be built in the external PC 20.

図２は、画像投影装置１０ａ，１０ｂ，１０ｃの光学エンジン部の内部構成を示す図である。図２に示されるように、画像投影装置１０ａ，１０ｂ，１０ｃは、光学系３ａ、及び投射系３ｂを備える。光学系３ａは、カラーホイール５、ライトトンネル６、リレーレンズ７、平面ミラー８、凹面ミラー９を備えている。これらの各部材は、画像投影装置１０の本体部内に設けられている。また、画像投影装置１０には、ＤＭＤ（デジタルミラーデバイス）２が設けられている。ＤＭＤ２は、画像を形成する画像形成素子であるＤＭＤ素子により構成されている。   FIG. 2 is a diagram illustrating an internal configuration of the optical engine unit of the image projection apparatuses 10a, 10b, and 10c. As shown in FIG. 2, the image projectors 10a, 10b, and 10c include an optical system 3a and a projection system 3b. The optical system 3 a includes a color wheel 5, a light tunnel 6, a relay lens 7, a plane mirror 8, and a concave mirror 9. Each of these members is provided in the main body of the image projector 10. The image projection apparatus 10 is provided with a DMD (digital mirror device) 2. The DMD 2 includes a DMD element that is an image forming element that forms an image.

円盤状のカラーホイール５は、光源４から照射される白色光を単位時間ごとにＲＧＢの各色が繰り返す光に変換してライトトンネル６に向けて出射する。本実施の形態では、カラーホイール５が用いられる画像投影装置１０において、レーザポインタ４０を検出する構成について説明する。なお、カラーホイール５の詳細な構成については後述する。ライトトンネル６は、板ガラスを張り合わせて筒状に構成されており、カラーホイール５から出射された光をリレーレンズ７へと導出する。リレーレンズ７は、二枚のレンズを組み合わせて構成されており、ライトトンネル６から出射される光の軸上色収差を補正しつつ集光する。平面ミラー８、及び凹面ミラー９は、リレーレンズ７により出射される光を反射して、ＤＭＤ２へと案内して、集光させる。ＤＭＤ２は、複数のマイクロミラーからなる矩形状のミラー面を有し、映像や画像のデータに基づいて各マイクロミラーが時分割駆動されることにより、所定の画像データを形成するように投射光を加工して反射するＤＭＤ素子を備えている。   The disc-shaped color wheel 5 converts the white light emitted from the light source 4 into light that repeats each color of RGB every unit time and emits the light toward the light tunnel 6. In the present embodiment, a configuration for detecting the laser pointer 40 in the image projector 10 using the color wheel 5 will be described. The detailed configuration of the color wheel 5 will be described later. The light tunnel 6 is formed in a cylindrical shape by laminating plate glasses, and guides the light emitted from the color wheel 5 to the relay lens 7. The relay lens 7 is configured by combining two lenses, and collects light while correcting axial chromatic aberration of light emitted from the light tunnel 6. The plane mirror 8 and the concave mirror 9 reflect the light emitted from the relay lens 7 and guide it to the DMD 2 to collect it. The DMD 2 has a rectangular mirror surface composed of a plurality of micromirrors, and each micromirror is driven in a time-sharing manner based on video and image data, thereby projecting projection light so as to form predetermined image data. A DMD element that is processed and reflected is provided.

また、光源４は、例えば高圧水銀ランプなどが用いられる。光源４は光学系３ａに向けて白色光を照射する。光学系３ａ内においては、光源４から照射された白色光がＲＧＢに分光され、ＤＭＤ２へと導出される。ＤＭＤ２は、変調信号に応じて画像形成を行う。投射系３ｂは、形成された画像を拡大投射する。   The light source 4 is a high-pressure mercury lamp, for example. The light source 4 emits white light toward the optical system 3a. In the optical system 3a, the white light emitted from the light source 4 is separated into RGB and led to the DMD 2. The DMD 2 forms an image according to the modulation signal. The projection system 3b enlarges and projects the formed image.

また、図２で示されるＤＭＤ２の図中手前側となる鉛直方向上方には、ＤＭＤ２に入射した光のうち、投射光としては使用しない不要な光を受光するＯＦＦ光板が設けられている。ＤＭＤ２に光が入射すると、ＤＭＤ素子の働きにより時分割で映像データに基づいて複数のマイクロミラーが作動し、このマイクロミラーによって使用する光は投射レンズへと反射され、捨てる光はＯＦＦ光板へと反射される。ＤＭＤ２では、投射画像に使用する光は投射系３ｂへと反射され、複数の投射レンズを通って拡大され、拡大された映像光が拡大されて投射される。   Further, an OFF light plate that receives unnecessary light that is not used as projection light among light incident on the DMD 2 is provided above the DMD 2 shown in FIG. When light enters the DMD 2, a plurality of micromirrors are operated based on video data in a time-sharing manner by the action of the DMD element, the light used by the micromirrors is reflected to the projection lens, and the discarded light is directed to the OFF light plate Reflected. In the DMD 2, light used for the projection image is reflected to the projection system 3b, is enlarged through a plurality of projection lenses, and the enlarged image light is enlarged and projected.

図３は、画像投影装置１０、及び外部ＰＣ２０のハードウェア構成を示すブロック図である。画像投影装置１０は、映像信号の入力を制御し、投射系３ｂ、及び光学系３ａの駆動を同期するように制御を行う。画像投影装置１０は、ＣＰＵ（Central Processing Unit）５０、ＲＯＭ（Read Only Memory）５１、ＲＡＭ（Random Access Memory）５２を含むマイクロコンピュータシステムでなる。ＣＰＵ５０には、ＤＭＤ２、ランプ電源１７、カラーホイール５などが接続され、また、ＨＤＭＩ（登録商標）などのデジタル信号や、ＶＧＡ（Video Graphics Array：登録商標）やコンポーネント信号等のアナログ信号が入力される。また、外部ＰＣ２０は、ＣＰＵ６０、ＲＯＭ６１、ＲＡＭ６２などを有している。   FIG. 3 is a block diagram illustrating hardware configurations of the image projection apparatus 10 and the external PC 20. The image projection device 10 controls the input of the video signal and synchronizes the driving of the projection system 3b and the optical system 3a. The image projection apparatus 10 is a microcomputer system including a CPU (Central Processing Unit) 50, a ROM (Read Only Memory) 51, and a RAM (Random Access Memory) 52. The CPU 50 is connected to the DMD 2, the lamp power supply 17, the color wheel 5, and the like, and receives digital signals such as HDMI (registered trademark) and analog signals such as VGA (Video Graphics Array: registered trademark) and component signals. The The external PC 20 includes a CPU 60, a ROM 61, a RAM 62, and the like.

図４は、図３における機能構成を示すブロック図である。ＣＰＵ５０は、同期信号出力部１１、映像処理部１２、映像信号入力部１３、駆動制御部１４の機能が設けられている。また、ＣＰＵ６０は、撮影制御部２１、映像信号入力部２３、照射画像検出部２４、照射画像生成部２５、投影制御部２８の機能を備えている。また、照射画像生成部２５は、後述するように変換処理部、変換係数演算部、ポインタ生成部の機能を含んでいる。   FIG. 4 is a block diagram showing a functional configuration in FIG. The CPU 50 is provided with functions of a synchronization signal output unit 11, a video processing unit 12, a video signal input unit 13, and a drive control unit 14. Further, the CPU 60 includes functions of the imaging control unit 21, the video signal input unit 23, the irradiation image detection unit 24, the irradiation image generation unit 25, and the projection control unit 28. Further, the irradiation image generation unit 25 includes functions of a conversion processing unit, a conversion coefficient calculation unit, and a pointer generation unit, as will be described later.

なお、上述の画像投影装置１０ａ，１０ｂ，１０ｃのＣＰＵ５０、及び外部ＰＣ２０におけるＣＰＵ６０の機能構成の全部、または一部をハードウェアで構成してもよい。   Note that all or part of the functional configurations of the CPU 50 of the image projection apparatuses 10a, 10b, and 10c and the CPU 60 of the external PC 20 may be configured by hardware.

映像信号入力部１３は、入力信号に応じてＲＧＢやＹＰｂＰｒ信号等へと映像を加工する処理を行う。なお、映像信号入力部１３は、入力された映像信号がデジタル信号の場合は、入力信号のビット数に応じて映像処理部１２が規定するビットフォーマットに変換する。また、映像信号入力部１３は、入力された映像信号がアナログ信号入力の場合はアナログ信号をデジタルサンプリングするＤＡＣ処理等を行い、ＲＧＢまたはＹＰｂＰｒのフォーマット信号を映像処理部へと入力する。   The video signal input unit 13 performs processing for processing video into RGB, YPbPr signals, and the like according to the input signals. When the input video signal is a digital signal, the video signal input unit 13 converts the video signal into a bit format defined by the video processing unit 12 according to the number of bits of the input signal. Further, when the input video signal is an analog signal input, the video signal input unit 13 performs a DAC process for digitally sampling the analog signal, and inputs an RGB or YPbPr format signal to the video processing unit.

映像処理部１２は、入力信号に応じてデジタル画像処理等を行う。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等のスケーラー機能等、または駆動制御部１４の特性に応じて適切な画像処理を行う。デジタル画像処理後の入力信号は駆動制御部１４に渡される。また、映像処理部１２は、任意に指定した、または登録したレイアウトの画像信号を生成することもできる。   The video processing unit 12 performs digital image processing or the like according to the input signal. Specifically, appropriate image processing is performed according to the scaler function such as contrast, brightness, saturation, hue, RGB gain, sharpness, enlargement / reduction, or the like, or the characteristics of the drive control unit 14. The input signal after the digital image processing is passed to the drive control unit 14. The video processing unit 12 can also generate an image signal of a layout that is arbitrarily designated or registered.

駆動制御部１４は、入力信号に応じて白色光に色をつけるカラーホイール５や光の出射を選択するＤＭＤ２、光源４の駆動電流をコントロールするランプ電源１７の駆動条件を決定し、カラーホイール５やＤＭＤ２、ランプ電源１７に駆動の指示を出す。   The drive control unit 14 determines the drive condition of the color wheel 5 that colors white light according to the input signal, the DMD 2 that selects light emission, and the lamp power source 17 that controls the drive current of the light source 4. In addition, a drive instruction is issued to the DMD 2 and the lamp power source 17.

光指示装置としてレーザポインタ４０が照射している照射色とは異なる投影期間を、投影面を撮影するタイミングとして指定した同期信号を外部ＰＣ２０（情報処理装置）へと送信する。すなわち、同期信号出力部１１は、予め設定されるレーザポインタ４０の照射色光が投影されていない期間を、投影面を撮影するタイミングとして指定した同期信号を外部ＰＣ２０へと送信する。駆動制御部１４は、画像投影装置１０ａ，１０ｂ，１０ｃの画像データを投影する際に、所望の色調の画像データに対応した光を生成させる。   A synchronization signal that designates a projection period that is different from the irradiation color irradiated by the laser pointer 40 as a light indicating device as a timing for photographing the projection surface is transmitted to the external PC 20 (information processing device). That is, the synchronization signal output unit 11 transmits to the external PC 20 a synchronization signal that designates a period during which the irradiation color light of the laser pointer 40 that is set in advance is not projected as a timing for photographing the projection plane. The drive control unit 14 generates light corresponding to image data of a desired color tone when projecting the image data of the image projection apparatuses 10a, 10b, and 10c.

投影制御部２８は、複数の画像投影装置１０ａ，１０ｂ，１０ｃから投影される投影画像の出力タイミングを合致させて１つの合成画像をスクリーン（投影面）３０に投影する。   The projection control unit 28 projects one composite image on the screen (projection plane) 30 by matching the output timings of the projection images projected from the plurality of image projection apparatuses 10a, 10b, and 10c.

撮影制御部２１は、同期信号出力部１１の同期信号に従い、カメラ部２２により投影面を撮影させる。照射画像検出部２４は、カメラ部２２で撮影された画像データからレーザポインタ４０が投影面に対して照射した照射画像を検出する。   The imaging control unit 21 causes the camera unit 22 to image the projection plane in accordance with the synchronization signal from the synchronization signal output unit 11. The irradiation image detection unit 24 detects an irradiation image irradiated by the laser pointer 40 on the projection surface from the image data captured by the camera unit 22.

照射画像生成部２５は、検出された照射画像の位置に応じて所定の画像が付加された投影用画像データを生成する。すなわち、照射画像生成部２５は、検出された照射画像の位置座標を元にした領域に画像処理後の照射画像データを生成する。   The irradiation image generation unit 25 generates image data for projection to which a predetermined image is added according to the position of the detected irradiation image. In other words, the irradiation image generation unit 25 generates irradiation image data after image processing in an area based on the position coordinates of the detected irradiation image.

投影制御部２８は、外部ＰＣ２０から各画像投影装置１０ａ，１０ｂ，１０ｃへの転送タイミングを合致させる機構を有する。つまり、一つの出力のデータを、ＵＳＢ（Universal Serial Bus）等により複数の信号に分配するような機構である。これらのデータを、画像投影装置１０a，１０ｂ，１０ｃ間のつながりに違和感がないよう接続するマルチプロジェクション処理によりつなぎ合わせ投影する。すなわち、投影制御部２８は、各画像投影装置１０ａ，１０ｂ，１０ｃの投影画像を一つの合成画像となるように各投影画像を投影する。これにより、マルチプロジェクション、及び立体物、ドーム、円筒型を含むプロジェクションマッピングに対応可能となる。   The projection control unit 28 has a mechanism for matching the transfer timing from the external PC 20 to each of the image projection apparatuses 10a, 10b, and 10c. That is, it is a mechanism that distributes one output data to a plurality of signals by USB (Universal Serial Bus) or the like. These data are connected and projected by a multi-projection process in which connections between the image projection apparatuses 10a, 10b, and 10c are connected so that there is no sense of incongruity. That is, the projection control unit 28 projects the projection images so that the projection images of the image projection apparatuses 10a, 10b, and 10c become one composite image. This makes it possible to support multi-projection and projection mapping including a three-dimensional object, a dome, and a cylindrical shape.

また、複数の画像投影装置１０ａ，１０ｂ，１０ｃのうち、特定の画像投影装置が、他の画像投影装置に対して同一タイミングで映像信号を送信する。図１に示す例では、画像投影装置１０ａが同期信号出力プロジェクタとして機能する。これにより、一つの同期信号信を出力する画像投影装置のみで、１つまたは複数のカメラ部２２と同期をとることが可能となる。   Further, among the plurality of image projection apparatuses 10a, 10b, and 10c, a specific image projection apparatus transmits a video signal to the other image projection apparatuses at the same timing. In the example shown in FIG. 1, the image projection device 10a functions as a synchronization signal output projector. Accordingly, it is possible to synchronize with one or a plurality of camera units 22 only by an image projection apparatus that outputs one synchronization signal.

次に、外部ＰＣ２０における構成を説明する。外部ＰＣ２０にあっては、画像投影装置１０から投影された投影パターンを撮影し、投影パターンの座標と画像データにおける座標とのずれから射影変換係数を決定する処理の流れと、照射されたポインタを検出する処理の流れとが存在する。まずは、投影された投影パターンを撮影する処理の流れについて説明する。   Next, the configuration of the external PC 20 will be described. In the external PC 20, the projection pattern projected from the image projection device 10 is photographed, and the process flow for determining the projective transformation coefficient from the deviation between the coordinates of the projection pattern and the coordinates in the image data, and the irradiated pointer are used. There is a flow of processing to detect. First, the flow of processing for photographing the projected pattern will be described.

外部ＰＣ２０の撮影制御部２１は、同期信号出力部１１から同期信号を受け取り、カメラ部２２に撮影指示を出す。カメラ部２２が撮影した画像が画像投影装置１０へと入力される場合、映像信号入力部２３にて撮影したカメラ画像に、シェーディング補正、ベイヤー変換、色補正等を行い、ＲＧＢ信号を生成する。照射画像生成部２５の変換係数演算部は、図５に示した投影パターンを外部ＰＣ２０で生成し、画像投影装置１０にて投影する。   The shooting control unit 21 of the external PC 20 receives the synchronization signal from the synchronization signal output unit 11 and issues a shooting instruction to the camera unit 22. When an image captured by the camera unit 22 is input to the image projection device 10, the camera image captured by the video signal input unit 23 is subjected to shading correction, Bayer conversion, color correction, and the like to generate an RGB signal. The conversion coefficient calculation unit of the irradiation image generation unit 25 generates the projection pattern shown in FIG. 5 by the external PC 20 and projects it by the image projection apparatus 10.

カメラ部２２は、投影パターンを投影したシーンを撮影する。カメラ部２２の撮影方式としては、グローバルシャッター方式と、ローリングシャッター方式とがある。グローバルシャッター方式では、全画素の同時感光が行われ、それぞれの画素に対して、ローリングシャッター方式よりも複雑な回路を必要とするが、全画素を一気に感光させ、撮影することができるという利点がある。ローリングシャッター方式では、順次走査型の感光が行われ、シンプルな回路で実装でき、走査する形で撮影することができる。しかし、１つの画素ごとに、撮影タイミングが違うので、高速移動する物体を撮影した際には、歪みなどが発生することがある。カメラ部２２のシャッター速度は、撮影制御部２１によって制御されることが望ましい。   The camera unit 22 captures a scene on which the projection pattern is projected. As a photographing method of the camera unit 22, there are a global shutter method and a rolling shutter method. In the global shutter method, all pixels are simultaneously exposed to light, and each pixel requires a more complicated circuit than the rolling shutter method. However, the advantage is that all pixels can be exposed and photographed at once. is there. In the rolling shutter system, progressive scanning type photosensitivity is performed, which can be implemented with a simple circuit and can be photographed while scanning. However, since the shooting timing is different for each pixel, distortion or the like may occur when shooting an object that moves at high speed. The shutter speed of the camera unit 22 is preferably controlled by the shooting control unit 21.

撮影制御部２１は、例えばカラーホイール５の回転速度から、同期信号で指定されたタイミングの時間の長さの撮影に必要なシャッター速度を決定して、制御する。撮影された画像を元に、照射画像検出部２４は、現在投影している投影面上での各格子点の座標を取得する。照射画像生成部２５の変換係数演算部は、投影パターンの映像信号上における座標（ｘ，ｙ）と撮影画像上での座標（ｘ‘，ｙ’）の関係を紐付ける射影変換係数Ｈを算出し、照射画像生成部２５の変換処理部へパラメータＨをセットする。照射画像検出部２４は、投影面に照射された座標を抽出する。検出された照射点座標（ｘ’，ｙ‘）は照射画像生成部２５の変換処理部によって対応する格子点のパラメータＨを用いて射影変換を行い、照射点の映像信号上の座標（ｘ，ｙ）に変換される。   The imaging control unit 21 determines and controls the shutter speed necessary for imaging for the length of time at the timing specified by the synchronization signal, for example, from the rotation speed of the color wheel 5. Based on the photographed image, the irradiation image detection unit 24 acquires the coordinates of each lattice point on the currently projected projection surface. The conversion coefficient calculation unit of the irradiation image generation unit 25 calculates a projection conversion coefficient H that links the relationship between the coordinates (x, y) on the video signal of the projection pattern and the coordinates (x ′, y ′) on the captured image. Then, the parameter H is set in the conversion processing unit of the irradiation image generation unit 25. The irradiation image detection unit 24 extracts coordinates irradiated on the projection surface. The detected irradiation point coordinates (x ′, y ′) are subjected to projective transformation using the corresponding lattice point parameter H by the conversion processing unit of the irradiation image generating unit 25, and the coordinates (x, y).

次に照射画像生成部２５のポインタ生成部は、座標（ｘ，ｙ）に照射点画像データ（投影用画像データ）を生成する。照射点画像データは、例えば座標（ｘ，ｙ）を中心に半径ｚ画素分の円形や、予め登録されたポインタ画像などを任意の生成の仕方で生成してよい。これらの計算を外部ＰＣ２０内で行い、投影用画像信号を生成して、投影制御部２８に送られる。画像投影装置１０の映像処理部１２は、映像信号にポインタ生成部で生成された映像信号を重畳し、任意の画像処理を行ったのち駆動制御部１４へ制御信号を出力する。そして、ポインタ画像が重畳された投影像が画像投影装置１０から投影されることとなる。   Next, the pointer generation unit of the irradiation image generation unit 25 generates irradiation point image data (projection image data) at coordinates (x, y). As the irradiation point image data, for example, a circle having a radius of z pixels centering on the coordinates (x, y), a pointer image registered in advance, or the like may be generated by an arbitrary generation method. These calculations are performed in the external PC 20 to generate a projection image signal, which is sent to the projection control unit 28. The video processing unit 12 of the image projection apparatus 10 superimposes the video signal generated by the pointer generation unit on the video signal, performs arbitrary image processing, and then outputs a control signal to the drive control unit 14. Then, the projection image on which the pointer image is superimposed is projected from the image projection device 10.

続いて、照射画像検出部２４による投影面に照射されたポインタの座標を検出する処理の流れについて説明する。図６はカラーホイール５のシアン（Ｃｙ）−白色（Ｗ）−赤色（Ｒ）−マゼンタ（Ｍ）−黄色（Ｙ）−緑色（Ｇ）−青（Ｂ）の複数色に対応した７つのフィルタを示す図である。また、図７は、カラーホイール５のフィルタと、各セグメントが投影面に表示されたときのカメラ撮影画像、すなわちＲＧＢデータとの相関関係を示している。例えば、赤色（Ｒｅｄ）のセグメントであればＲＧＢでも赤色（Ｒｅｄ）のデータの値が大半を占めている。また、赤色（Ｒｅｄ）のセグメントにおいては、緑色（Ｇｒｅｅｎ）と青色（Ｂｌｕｅ）の透過率が小さくこれらの色の光は制限される。同様に２次色のシアン（Ｃｙａｎ）のセグメントであれば、青色（Ｂｌｕｅ）と緑色（Ｇｒｅｅｎ）の光が透過され、３次色の白色（Ｗｈｉｔｅ）はＲＧＢ全ての光が透過される。   Next, a flow of processing for detecting the coordinates of the pointer irradiated on the projection surface by the irradiation image detection unit 24 will be described. FIG. 6 shows seven filters corresponding to a plurality of colors of the color wheel 5 of cyan (Cy) -white (W) -red (R) -magenta (M) -yellow (Y) -green (G) -blue (B). FIG. FIG. 7 shows a correlation between the filter of the color wheel 5 and a camera photographed image when each segment is displayed on the projection plane, that is, RGB data. For example, in the case of a red (Red) segment, the value of red (Red) data occupies most of the RGB. Further, in the red (Red) segment, the transmittance of green (Green) and blue (Blue) is small, and light of these colors is limited. Similarly, in the secondary color cyan segment, blue (Blue) and green (Green) light is transmitted, and in the tertiary color white (White), all RGB light is transmitted.

図８は、カラーホイール５の一周期に対する投影光色との関係を示す図である。なお、光色とは、光源のランプそのもの光の色と、装置から投射された光から視覚的に認識できる色の双方を含む概念である。図中で実線の矢印で示される該当期間の区間はその発光色において、該当するカラーホイール５のセグメントを通じて画像信号が投影されている領域であることを示している。例えば投影光色赤（Ｒｅｄ）に注目すると赤（Ｒｅｄ）に分類される成分はセグメントが赤（Ｒｅｄ），マゼンタ（Ｍａｇｅｎｔａ），黄（Ｙｅｌｌｏｗ）の区間、及び白（Ｗｈｉｔｅ）の区間である。一方、タイミングＡの破線の矢印で示された区間は映像信号が投影されない区間である。すなわち、このタイミングＡである緑色，青色，及びシアンに該当するカラーホイール５のタイミングでは、投影光色が赤色であっても、実際に映像信号の投影がされていないことから、赤色のレーザポインタ４０であっても検出しやすくなる。   FIG. 8 is a diagram showing a relationship between the color of the projection light and one color wheel 5 period. The light color is a concept including both the color of the light source lamp itself and the color visually recognizable from the light projected from the apparatus. In the drawing, the section of the corresponding period indicated by the solid arrow indicates that the image signal is projected through the segment of the corresponding color wheel 5 in the emission color. For example, when attention is paid to the projection light color red (Red), the components classified into red (Red) are segments of red (Red), magenta (Magenta), yellow (Yellow), and white (White). On the other hand, a section indicated by a dashed arrow at timing A is a section in which no video signal is projected. That is, at the timing of the color wheel 5 corresponding to green, blue, and cyan, which is the timing A, the video signal is not actually projected even if the projection light color is red. Even 40 is easy to detect.

したがって、本実施の形態では、このタイミングに同期させて投影パターンに照射された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレーザポインタ４０の撮影、および検出が行われる。図９は、ある投影画像に対し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレーザポインタ４０を照射した場合の画像データを示す図である。また、図１０は、タイミングＡ，Ｂ，Ｃで投影画像に対して投影されたレーザポインタを撮影した場合の、検出されるレーザポインタ４０を示す図である。図１０のタイミングＡ Ｒｅｄ ｓｈｏｔ ｉｍａｇｅは、カメラ部２２でタイミングＡの区間と同期をとって撮影し、取得した画像データを示したものである。このタイミングＡとの同期は、画像投影装置１０の駆動制御部１４がカラーホイール５を駆動するタイミングとあわせて同期信号出力部１１に指示を送信することで実現される。すなわち、カラーホイール５は、固定の周波数（本実施の形態では１２０Ｈｚ）で回転するため、撮影制御部２１（受信部）は、カラーホイール５がタイミングＡになるタイミングで、同期信号を受信する。   Therefore, in the present embodiment, imaging and detection of the red (R), green (G), and blue (B) laser pointers 40 irradiated to the projection pattern are performed in synchronization with this timing. FIG. 9 is a diagram showing image data when a red (R), green (G), and blue (B) laser pointer 40 is irradiated to a certain projected image. FIG. 10 is a diagram showing the detected laser pointer 40 when the laser pointer projected on the projected image at the timings A, B, and C is photographed. Timing A Red shot image in FIG. 10 shows image data acquired by the camera unit 22 in synchronization with a section of timing A. The synchronization with the timing A is realized by transmitting an instruction to the synchronization signal output unit 11 together with the timing when the drive control unit 14 of the image projection apparatus 10 drives the color wheel 5. That is, since the color wheel 5 rotates at a fixed frequency (120 Hz in the present embodiment), the imaging control unit 21 (reception unit) receives the synchronization signal at the timing when the color wheel 5 becomes timing A.

このタイミングＡの区間では赤（Ｒｅｄ）版の映像信号が照射されていないので、赤色のレーザポインタ４０の照射点の検出が容易になる。よって、赤色のレーザポインタ４０の照射光を検知する場合は、タイミングＡと同期してカメラ部２２で撮影すれば検出の精度が向上する。同様にタイミングＢでは、緑色（Ｇｒｅｅｎ）版の映像信号が照射されていないので、緑色のレーザポインタ４０の検出の精度が向上する。そして、タイミングＣでは青色（Ｂｌｕｅ）版の映像信号が照射されていないため、青色のレーザポインタ４０の照射点の検出が容易となる。このように、タイミングごとによって検出しやすい色があり、また各タイミングを有効活用することによって複数の照射点を同時に検出することもできる。   Since the red (Red) image signal is not irradiated in the section of timing A, the irradiation point of the red laser pointer 40 can be easily detected. Therefore, when detecting the irradiation light of the red laser pointer 40, the detection accuracy can be improved by photographing with the camera unit 22 in synchronization with the timing A. Similarly, at timing B, since the green image signal is not irradiated, the detection accuracy of the green laser pointer 40 is improved. At timing C, since the blue version of the video signal is not irradiated, it becomes easy to detect the irradiation point of the blue laser pointer 40. Thus, there are colors that are easy to detect depending on the timing, and a plurality of irradiation points can be detected simultaneously by effectively utilizing each timing.

次にカメラ部２２による撮影を、カラーホイール５の駆動と同期させる方法について説明する。カラーホイール５自体に回転検出するための指標となる黒色シールと、カラーホイール５のホルダーに黒色シールを検知するためのセンサーが設けられている。駆動制御部１４は、この黒色シールが検出されるタイミングをセンサーから取得することによって同期信号の生成指示を行う。生成される同期信号は、設定されたレーザポインタ４０の照射点の色に最も近い色が投影されていない期間と同期するように決定される。よって、撮影を行うカメラ部２２はカラーホイール５の同期信号に合わせて撮影のシャッタータイミングを制御することができる。   Next, a method for synchronizing photographing by the camera unit 22 with driving of the color wheel 5 will be described. The color wheel 5 itself is provided with a black seal serving as an index for detecting rotation, and a sensor for detecting the black seal on the holder of the color wheel 5. The drive control unit 14 issues a synchronization signal generation instruction by acquiring the timing at which the black seal is detected from the sensor. The generated synchronization signal is determined so as to be synchronized with a period in which the color closest to the set color of the irradiation point of the laser pointer 40 is not projected. Therefore, the camera unit 22 that performs shooting can control the shutter timing of shooting in accordance with the synchronization signal of the color wheel 5.

図１１と図１２はカラーホイール５の回転周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している。カラーホイール５は１２０Ｈｚの周期で回転し、カラーカメラは３０Ｈｚの周期で撮影する。本例ではカラーホイール５が４回転するのに対してカメラ部２２が１回撮影することができる。図１１はレーザポインタ４０が赤系の色を持つ場合の撮影を同期させるタイミングを示す例である。なお、レーザポインタ４０の色は、例えばユーザが画像投影装置１０や外部ＰＣ２０の操作用のインタフェースから入力することによって設定され（設定部）、外部ＰＣ２０が把握することができる。ここで、本実施形態の場合、Ｃの区間が赤色（Ｒｅｄ）のブランク期間、すなわちタイミングＡに相当するカラーホイール５の（緑色）Ｇｒｅｅｎ、（青色）Ｂｌｕｅ、（シアン）Ｃｙａｎに相当するものとする。この場合、カメラ部２２は１周期目で１つのＣの区間に対して露光して、撮影することで、このときに撮影した画像を観測すると赤色のレーザポインタ４０の照射点を検出することができるようになる。   11 and 12 show the relationship between the rotation cycle of the color wheel 5, the shooting cycle of the shooting camera, and the shutter timing. The color wheel 5 rotates at a cycle of 120 Hz, and the color camera captures images at a cycle of 30 Hz. In this example, while the color wheel 5 rotates four times, the camera unit 22 can take a picture once. FIG. 11 shows an example of timing for synchronizing photographing when the laser pointer 40 has a red color. Note that the color of the laser pointer 40 is set by, for example, a user input from an operation interface of the image projection apparatus 10 or the external PC 20 (setting unit), and can be grasped by the external PC 20. Here, in the present embodiment, the section C corresponds to a red (Red) blank period, that is, (green) Green, (blue) Blue, (cyan) Cyan of the color wheel 5 corresponding to the timing A. To do. In this case, the camera unit 22 can detect and irradiate one C section in the first period and detect the irradiation point of the red laser pointer 40 when observing the image captured at this time. become able to.

通常、ＤＭＤ２がＯＮのときは光がスクリーン３０に照射され、ＯＦＦのときは照射されないが、上述の例ではＯＮのときでも対応するタイミングに同期して撮影を行うことで、ＲＧＢいずれかの色版データからも照射点が検出できるようになる。つまり、映像の内容に依存せずレーザポインタ４０から照射される照射点を検出することができるようになる。   Normally, when the DMD 2 is ON, the light is emitted to the screen 30 and is not irradiated when the DMD 2 is OFF. In the above example, even if the light is ON, any color of RGB can be obtained by shooting in synchronization with the corresponding timing. The irradiation point can be detected from the plate data. That is, the irradiation point irradiated from the laser pointer 40 can be detected without depending on the content of the image.

図１２はレーザポインタ４０が複数の色を持つ場合の同期の方法を示す図である。カメラ部２２は１周期目で１つのＡの区間に対して露光して、撮影がされる。Ａの区間は、ここではタイミングＡに相当する区間であり、このタイミングで撮影された画像データを観測すると赤色（Ｒｅｄ）のレーザポインタ４０の照射点が検出できる。２周期目についてもＢの区間に対して露光して撮影される。Ｂの区間はタイミングＢに相当する区間であり、このタイミングで撮影された画像データを観測することで緑色（Ｇｒｅｅｎ）のレーザポインタ４０の照射点が検出できる。３周期目では同様に青色（Ｂｌｕｅ）の照射点が検出できる。以降は、同様に制御が行われる。以上の場合、同期信号には１周期目のタイミングＡ、２周期目のタイミングＢ、３週目のタイミングＣの３つのタイミングが含まれている。なお、同じ色で複数のレーザポインタ４０を使用する場合においては画面内に複数の点として検出されることになるので問題なく検出できる。   FIG. 12 is a diagram showing a synchronization method when the laser pointer 40 has a plurality of colors. The camera unit 22 exposes and shoots one A section in the first cycle. Here, the section A corresponds to the timing A, and when the image data photographed at this timing is observed, the irradiation point of the red laser pointer 40 can be detected. In the second period, the B section is exposed and photographed. The section B corresponds to the timing B, and the irradiation point of the green laser pointer 40 can be detected by observing the image data photographed at this timing. Similarly, in the third period, a blue irradiation point can be detected. Thereafter, the same control is performed. In the above case, the synchronization signal includes three timings: timing A in the first cycle, timing B in the second cycle, and timing C in the third week. When a plurality of laser pointers 40 are used with the same color, they are detected as a plurality of points on the screen, and can be detected without any problem.

また、複数の色のレーザポインタ４０を検出する場合、カメラ部２２を１個で複数の色を検出する例を記載したが、検出する色ごとにカメラ部２２を別個搭載し、それぞれの色ごとに検出制御するようにしてもよい。これにより、カメラ部２２側の撮影タスクが他の色に占有される時間がなくなり、各単色の検出区間を短くすることができるようになる。この場合、カメラ部２２それぞれに対して、どのタイミングが対応しているかを予め設定しておくことが望ましい。すなわち、例えばＲＧＢの３色の色に対応して、３台のカメラ部２２を設けるようにすると、１周期ごとに各色のレーザポインタ４０の照射点を検出することができるようになる。   Further, in the case of detecting the laser pointer 40 of a plurality of colors, an example has been described in which a single camera unit 22 detects a plurality of colors. However, a camera unit 22 is separately mounted for each color to be detected, and each color is detected. Alternatively, the detection control may be performed. As a result, the time taken for the shooting task on the camera unit 22 side to be occupied by other colors is eliminated, and the detection interval for each single color can be shortened. In this case, it is desirable to set in advance which timing corresponds to each camera unit 22. That is, for example, if three camera units 22 are provided corresponding to three colors of RGB, it becomes possible to detect the irradiation point of the laser pointer 40 of each color for each period.

また、上記以外にも中間色の色を検出したい場合においてはタイミングＡ，Ｂ，Ｃの領域をさらに細かく色ごとに分割すればよい。この場合、検出したい中間色に相当するタイミングで撮影を行うことで、カラーホイール５の領域ごとに検出することもできる。   In addition to the above, when it is desired to detect intermediate colors, the areas of timings A, B, and C may be further divided into colors. In this case, it is also possible to detect for each area of the color wheel 5 by shooting at a timing corresponding to the intermediate color to be detected.

図１３は、オプションカメラの例を示す説明図である。図１３（Ａ）はカメラ部分が外付けされたタイプ、（Ｂ）はカメラ部分が内蔵されたタイプ、（Ｃ）はカメラ部分が外部接続されるタイプについて示しており、図１のシステムに利用される。   FIG. 13 is an explanatory diagram illustrating an example of an option camera. 13A shows a type with an external camera part, FIG. 13B shows a type with a built-in camera part, and FIG. 13C shows a type with a camera part externally connected. Is done.

次に、以上の理論と制御に基づき、射影変換係数の算出と、レーザポインタ４０の検出の処理の流れについて図１４を参照して説明する。本動作は、光点検出モードが照射デバイスによって映像投影面に照射された光点を検出する機能である。初期設定とは、投影環境が変わった場合に射影変換係数を演算するためのフローである。光点モードを最初に起動した場合に動作する。入力Ｉ／Ｆが無信号になった場合等、任意の状態変化をトリガーにして状態を変更してもよい。各種入力Ｉ／Ｆから出力される映像信号を投射にフローが戻っているのはカメラ部２２が撮影対象とするフレームセットが次のフレームセットに置き換わって同様に処理されていくループ処理を示している。   Next, based on the above theory and control, the flow of processing for calculating the projective transformation coefficient and detecting the laser pointer 40 will be described with reference to FIG. This operation is a function in which the light spot detection mode detects a light spot irradiated on the image projection plane by the irradiation device. The initial setting is a flow for calculating the projective transformation coefficient when the projection environment changes. Operates when the light spot mode is activated for the first time. For example, when the input I / F becomes no signal, the state may be changed by using an arbitrary state change as a trigger. The flow returns to the projection of the video signals output from the various input I / Fs, showing a loop process in which the frame set to be captured by the camera unit 22 is replaced with the next frame set and processed in the same manner. Yes.

図１４で示した処理は、入力された映像信号の１フレーム単位で行われる処理である。図１４に示されるように、まず駆動制御部１４は、映像信号の入力Ｉ／Ｆから入力された映像信号を投射するための処理を行う（ステップＳ１０１）。次いで、撮影制御部２１は、照射点検出モードであるか否かを判定する（ステップＳ１０２）。照射点検出モードとは、照射装置によってスクリーン３０に照射された照射点を検出するモードである。照射点検出モードは、例えばユーザがレーザポインタ４０を使用する場合などに、操作画面やボタンなどを操作することで起動される。照射点検出モードでないと判定された場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０１へと戻り次の映像信号のフレームへと移行する。   The processing shown in FIG. 14 is processing performed in units of one frame of the input video signal. As shown in FIG. 14, first, the drive control unit 14 performs a process for projecting the video signal input from the video signal input I / F (step S <b> 101). Next, the imaging control unit 21 determines whether or not the irradiation point detection mode is set (step S102). The irradiation point detection mode is a mode for detecting an irradiation point irradiated on the screen 30 by the irradiation device. The irradiation point detection mode is activated by operating an operation screen or a button when the user uses the laser pointer 40, for example. When it is determined that the irradiation point detection mode is not set (step S102: No), the process returns to step S101 and shifts to the frame of the next video signal.

一方、照射点検出モードであると判定された場合（ステップＳ１０２：Ｙｅｓ）、撮影制御部２１は、初期設定モードか」否かを判定する（ステップＳ１０３）。初期設定モードとは、投影環境が変わった場合に射影変換係数を演算する処理であり、照射点モードを最初に起動した場合には初期設定モードとなっている。また、例えば射影変換係数がセットされているか否かや、射影変換係数がセットされてから一定時間経過しているか否かなどによって判断してもよい。射影変換係数とは、投影前の画像信号と、投影した際の画像パターンとの座標のずれを補正するための係数である。   On the other hand, when it is determined that the irradiation point detection mode is set (step S102: Yes), the imaging control unit 21 determines whether or not it is the initial setting mode (step S103). The initial setting mode is a process of calculating a projective transformation coefficient when the projection environment changes, and is the initial setting mode when the irradiation point mode is first activated. Further, for example, the determination may be made based on whether or not a projective transformation coefficient is set and whether or not a certain time has elapsed since the projection transformation coefficient was set. The projective transformation coefficient is a coefficient for correcting a shift in coordinates between an image signal before projection and an image pattern upon projection.

初期設定モードであると判定された場合（ステップＳ１０３：Ｙｅｓ）、駆動制御部１４は、画像形成部２等を駆動して、射影変換用の画像パターン（図５参照）を照射させる（ステップＳ１０４）。次いで、撮影制御部２１は、同期信号出力部１１を通じて、駆動制御部１４から画像パターンが投影されたことを通知され、照射された画像パターンを撮影する（ステップＳ１０５）。そして、照射画像生成部２５内の変換係数演算部は、映像信号入力部２３を通じて入力されたカメラ部２２が撮影した画像パターンにおける座標と、照射された画像パターンのデータにおける座標とのずれを測定する。この２つのデータ間における座標が一致するように射影変換係数を算出する（ステップＳ１０６）。算出が完了した射影変換係数は保存されて、ステップＳ１０３へと移行する。   If it is determined that the mode is the initial setting mode (step S103: Yes), the drive control unit 14 drives the image forming unit 2 and the like to irradiate an image pattern for projective conversion (see FIG. 5) (step S104). ). Next, the imaging control unit 21 is notified that the image pattern has been projected from the drive control unit 14 through the synchronization signal output unit 11, and captures the irradiated image pattern (step S105). The conversion coefficient calculation unit in the irradiation image generation unit 25 measures a shift between the coordinates in the image pattern captured by the camera unit 22 input through the video signal input unit 23 and the coordinates in the data of the irradiated image pattern. To do. Projection transformation coefficients are calculated so that the coordinates between the two data coincide (step S106). The projection transformation coefficient for which calculation has been completed is stored, and the process proceeds to step S103.

一方、射影変換係数が設定され、初期設定モードでないと判定された場合（ステップＳ１０３：Ｎｏ）、撮影制御部２１は、同期信号出力部１１から送信された撮影タイミングにあわせて、照射パターンを撮影する（ステップＳ１０７）。この撮影のタイミングは、上述したように照射されているレーザポインタ４０の色に応じて決定されている。したがって、照射画像検出部２４は、撮影された画像データからレーザポインタ４０の照射点を検出することができる（ステップＳ１０８）。検出された照射点の座標は、照射画像生成部２５内の変換処理部に入力される。照射画像生成部２５の変換処理部は、照射画像生成部２５内の変換係数演算部が演算した射影変換係数を用いて、照射点の座標を、画像データ上の座標へと射影変換する（ステップＳ１０９）。射影変換された座標のデータは画像投影装置１０へと送信される。映像処理部１２は、投射する元の映像信号に対して、受信した座標において合成するポインタの画像データを生成し（ステップＳ１１０）、映像信号とポインタの画像データとを合成する（ステップＳ１１１）。すなわち、検出された照射点の位置に応じて所定の画像が付加された投影用画像データが生成される。   On the other hand, when the projection conversion coefficient is set and it is determined that the mode is not the initial setting mode (step S103: No), the imaging control unit 21 captures the irradiation pattern in accordance with the imaging timing transmitted from the synchronization signal output unit 11. (Step S107). The timing of this shooting is determined according to the color of the laser pointer 40 being irradiated as described above. Therefore, the irradiation image detection unit 24 can detect the irradiation point of the laser pointer 40 from the captured image data (step S108). The coordinates of the detected irradiation point are input to the conversion processing unit in the irradiation image generation unit 25. The conversion processing unit of the irradiation image generation unit 25 performs projective conversion of the coordinates of the irradiation point into coordinates on the image data by using the projection conversion coefficient calculated by the conversion coefficient calculation unit in the irradiation image generation unit 25 (step). S109). The coordinate data subjected to the projective transformation is transmitted to the image projector 10. The video processing unit 12 generates pointer image data to be combined at the received coordinates with respect to the original video signal to be projected (step S110), and combines the video signal and the pointer image data (step S111). That is, projection image data to which a predetermined image is added according to the position of the detected irradiation point is generated.

この際、合成するポインタとしては、視認性をよくするために例えば、図１５に示されるように、レーザポインタ４０が、元のサイズよりも算出された照射点を中心に拡大されて投影されるようにすることもできる。すなわち、図１５の符号１５に示すように、光点の連続的な検出結果をつなげて、軌跡を描画した画像を投影している。この場合、ポインタが大きくなるため、映像におけるポインタがより見やすくなる。また、ポインタを拡大するのではなく、映像処理部１２は、算出された照射点の座標を基準に、周囲の一部の画像データの領域を拡大表示して投影するようにしてもよい。   At this time, as a pointer to be combined, for example, as shown in FIG. 15, the laser pointer 40 is enlarged and projected around the irradiation point calculated from the original size in order to improve visibility. It can also be done. That is, as shown by reference numeral 15 in FIG. 15, an image in which a locus is drawn is projected by connecting the continuous detection results of light spots. In this case, since the pointer becomes large, the pointer in the video becomes easier to see. Instead of enlarging the pointer, the video processing unit 12 may enlarge and project a part of the surrounding image data area based on the calculated coordinates of the irradiation point.

また、射影変換係数を演算する際に投影する投影パターンの一例としては、図５で示したもののほか、例えば図１６で示したように、（Ａ）のグリッドパターンや、（Ｂ）の円パターンを用いるようにしてもよい。円パターンの投影パターンを用いる場合、射影変形があっても重心を取ることで、座標がずれていても正確な座標を入手することができるようになる。また、グリッドパターンを用いれば、座標のずれ自体を抑制しつつ、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。   Further, as an example of the projection pattern to be projected when calculating the projective transformation coefficient, in addition to the one shown in FIG. 5, for example, as shown in FIG. 16, a grid pattern (A) or a circle pattern (B) May be used. When a projected pattern of a circular pattern is used, accurate coordinates can be obtained even if the coordinates are shifted by taking the center of gravity even if there is projective deformation. If a grid pattern is used, it is possible to extract a pattern with higher accuracy if it can be assumed that there is no disturbance due to ambient light while suppressing the coordinate shift itself.

また、情報処理装置である外部ＰＣ２０は、画像投影装置１０とローカルに接続されているが、ネットワークを通じて接続された情報処理装置によって演算や、撮影の同期を行うようにしてもよい。例えば、ネットワーク上におかれた、高機能な演算処理サーバを用いて、初期の射影変換の行列演算を行ったり、重畳するコンテンツ等をダウンロードし、画像処理時に用いたりするようにしてもよい。   Further, the external PC 20 that is an information processing apparatus is locally connected to the image projection apparatus 10, but may be configured to perform computation and synchronization of shooting by an information processing apparatus connected through a network. For example, it is possible to perform an initial projection transformation matrix calculation using a high-performance calculation processing server placed on a network, or to download contents to be superimposed and use them during image processing.

［変形例１］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、曲面に適用してもよい。図１７は、円筒型スクリーンを用いた投影システムの例を示すものである。この図１７に示すように、円筒型スクリーンの投影像が実現でき、さらに上述した実施の形態の技術と組み合わせる。これによって、操作者とシステムの間の情報（映像）とのやりとりといったインタラクション（interaction）が可能な投影システムとなる。 [Modification 1]
In the example shown in FIG. 1 described above, the screen 30 is assumed to be a plane, but may be applied to a curved surface. FIG. 17 shows an example of a projection system using a cylindrical screen. As shown in FIG. 17, a projection image of a cylindrical screen can be realized and further combined with the technique of the above-described embodiment. Thus, a projection system capable of interaction such as exchange of information (video) between the operator and the system is obtained.

［変形例２］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、車や３Ｄプリンタによる出力物のような立体物に適用してもよい。図１８は、車を投影するシステム例を示すものである。この図１８に示すように、投影像が実現でき、さらに上述した実施の形態の技術と組み合わせることで、インタラクションが可能なシステムとなる。また、投影対象が立体物の場合、死角が多くなるため、インタラクションの範囲を広げる場合は、カメラ部２２を複数台に増やし、同期信号付きプロジェクタとつなげ同期撮影を行う。 [Modification 2]
In the example shown in FIG. 1 described above, the screen 30 is assumed to be a plane, but may be applied to a three-dimensional object such as an output product by a car or a 3D printer. FIG. 18 shows an example of a system for projecting a car. As shown in FIG. 18, a projection image can be realized, and a system capable of interaction can be obtained by combining with the technique of the above-described embodiment. In addition, when the projection target is a three-dimensional object, the blind spot increases, and when the range of interaction is widened, the camera unit 22 is increased to a plurality of units and connected to a projector with a synchronization signal to perform synchronous shooting.

このように、カメラ部２２は、１つまたは複数台設けられている構成（図１７、図１８参照）とすることで、プロジェクションマッピングによる立体物への投影において、死角が多いことに対して複数台のカメラ部２２ａ，２２ｂ，２２ｃで撮影可能になる。   As described above, by adopting a configuration in which one or a plurality of camera units 22 are provided (see FIGS. 17 and 18), a plurality of blind spots are generated in the projection onto a three-dimensional object by projection mapping. Images can be taken by the camera units 22a, 22b, and 22c.

［変形例３］
上述した図１に示す例では、スクリーン３０は平面仮定をしているが、指の押し込み力等により反応する物質でできた特殊物体に適用してもよい。この特殊な物体でのインストラクション例を図１９に示す。例えば、指で押し込んだ部分がゴムボールのように変形し、かつ、発光する物体であるとする。図１９のように、例えば、緑の物質が黄色く自発光するとしたら、その光点をカメラ部２２で検出できる。 [Modification 3]
In the example shown in FIG. 1 described above, the screen 30 is assumed to be a plane, but the screen 30 may be applied to a special object made of a substance that reacts by a pushing force of a finger or the like. An example of instruction with this special object is shown in FIG. For example, it is assumed that a portion pushed by a finger is deformed like a rubber ball and emits light. As shown in FIG. 19, for example, if a green substance emits yellow light spontaneously, the light spot can be detected by the camera unit 22.

このように、複数の画像投影装置１０ａ，１０，１０ｃで投影される投影対象物は、外力に応じて発色する弾性体または塑性体とする。これによって、プロジェクションマッピングにおいて押し込んだ位置が光る物体の光点検出が実現する。   As described above, the projection objects projected by the plurality of image projection apparatuses 10a, 10, and 10c are elastic bodies or plastic bodies that develop colors according to external forces. This realizes detection of a light spot of an object whose illuminated position is illuminated in projection mapping.

先に記載した参考文献のような技術を用いることで、投影像が実現でき、さらに上述した実施の形態の技術と組み合わせることで、インタラクションが可能なシステムとなる。また、立体物の場合、死角が多くなるため、インタラクション範囲を広げる場合は、カメラ部２２を複数台に増やし、同期信号付きプロジェクタとつなげ同期撮影を行う必要がある。   A projection image can be realized by using a technique such as the reference described above, and a system capable of interaction can be obtained by combining with the technique of the above-described embodiment. In the case of a three-dimensional object, the number of blind spots increases. Therefore, in order to widen the interaction range, it is necessary to increase the number of camera units 22 and connect to a projector with a synchronization signal to perform synchronized shooting.

［変形例４］
図１６は、図５に示したチェスパターン以外の投影パターン例である。上述した図５の例では、チェスパターンを例に説明をしているが、図１６（Ａ）に示すようにグリッドパターン、また（Ｂ）に示す円パターンなど、他のパターンにて、ロバストにパターン抽出してもよい。例えば、図１６（Ｂ）の円パターンは、射影変形があっても重心を取ることで、ロバストにある程度正確な座標を入手することができる。また図１６（Ａ）に示す、グリッドパターンを用いれば、ロバスト性は下がるが、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。 [Modification 4]
FIG. 16 is an example of a projection pattern other than the chess pattern shown in FIG. In the example of FIG. 5 described above, a chess pattern has been described as an example. However, a robust pattern such as a grid pattern as shown in FIG. 16A or a circular pattern as shown in FIG. Pattern extraction may be performed. For example, the circle pattern in FIG. 16B can obtain coordinates that are robust to a certain extent by taking the center of gravity even if there is projective deformation. Further, if the grid pattern shown in FIG. 16A is used, the robustness is lowered, but if it is assumed that there is no disturbance due to ambient light, more accurate pattern extraction can be realized.

このように上述した実施の形態では、画像のブランキング区間に同期した１台または複数のカメラ部２２と複数台の画像投影装置１０ａ，１０ｂ，１０ｃを用いて、投影像上のレーザポインタ４０の光点をカメラ部２２で撮影する。これにより、レーザポインタ４０の光点の色彩情報（ＲＧＢのいずれかのチャンネルのデータ）が特異的に検出することができる。したがって、複数の画像投影装置１０ａ，１０ｂ，１０ｃを用いたマルチプロジェクション等のシステムにおいて、精度良く、かつ、映像信号の影響受けることなく、レーザポインタ４０の光点を検出することができる。   As described above, in the above-described embodiment, the laser pointer 40 on the projected image is used by using one or a plurality of camera units 22 and a plurality of image projection apparatuses 10a, 10b, and 10c synchronized with the blanking interval of the image. The light spot is photographed by the camera unit 22. Thereby, the color information of the light spot of the laser pointer 40 (data of any of RGB channels) can be specifically detected. Therefore, in a system such as multi-projection using a plurality of image projection apparatuses 10a, 10b, and 10c, the light spot of the laser pointer 40 can be detected with high accuracy and without being affected by the video signal.

ところで、本実施の形態の情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。   By the way, the program executed by the information processing apparatus of the present embodiment is provided by being incorporated in advance in a ROM or the like. Further, the program is provided as a file in an installable or executable format and recorded on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. It may be configured.

さらに、本実施の形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。   Furthermore, the program executed by the information processing apparatus of the present embodiment may be configured to be stored by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the information processing apparatus according to the present embodiment may be configured to be provided or distributed via a network such as the Internet.

本実施の形態の情報処理装置で実行されるプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。   The program executed by the information processing apparatus according to the present embodiment has a module configuration including the above-described units. As actual hardware, a CPU (processor) reads out a program from the ROM and executes the program, so that each unit is loaded on the main storage device, and each unit is generated on the main storage device.

２ ＤＭＤ
３ａ 光学系
３ｂ 投射系
４ 光源
５ カラーホイール
６ ライトトンネル
７ リレーレンズ
８ 平面ミラー
９ 凹面ミラー
１０ 画像投影装置
１１ 同期信号出力部
１２ 映像処理部
１３ 映像信号入力部
１４ 駆動制御部
１７ ランプ電源
２０ 外部ＰＣ
２１ 撮影制御部
２２ カメラ部
２３ 映像信号入力部
２４ 照射画像検出部
２５ 照射画像生成部
２８ 投影制御部
３０ スクリーン
４０ レーザポインタ
５０，６０ ＣＰＵ
５１，６１ ＲＯＭ
５２，６２ ＲＡＭ 2 DMD
3a Optical system 3b Projection system 4 Light source 5 Color wheel 6 Light tunnel 7 Relay lens 8 Plane mirror 9 Concave mirror 10 Image projection device 11 Synchronization signal output unit 12 Video processing unit 13 Video signal input unit 14 Drive control unit 17 Lamp power source 20 External PC
21 Imaging Control Unit 22 Camera Unit 23 Video Signal Input Unit 24 Irradiation Image Detection Unit 25 Irradiation Image Generation Unit 28 Projection Control Unit 30 Screen 40 Laser Pointer 50, 60 CPU
51, 61 ROM
52, 62 RAM

特開２００９−２２９８３４号公報JP 2009-229834 A

Claims (8)

画像データを投影面に投影する複数の画像投影装置と、前記複数の画像投影装置と接続された情報処理装置と、前記投影面を撮影する撮影部と、を有し、
前記画像投影装置は、
光指示装置が照射している照射色とは異なる投影期間を、前記投影面を撮影するタイミングとして指定した同期信号を前記情報処理装置へと送信する同期信号出力部を備え、
前記情報処理装置は、
前記複数の画像投影装置の投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、
前記同期信号に従い、前記撮影部に前記投影面を撮影させる撮影制御部と、
前記撮影部で撮影された前記画像データから前記光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、
を備えることを特徴とする画像投影システム。 A plurality of image projection devices that project image data onto a projection surface; an information processing device connected to the plurality of image projection devices; and a photographing unit that photographs the projection surface;
The image projector is
A synchronization signal output unit configured to transmit a synchronization signal designating a projection period different from the irradiation color irradiated by the light indicating device as a timing for photographing the projection plane to the information processing device;
The information processing apparatus includes:
A projection control unit that projects the projection images so that the projection images of the plurality of image projection devices become one composite image;
In accordance with the synchronization signal, a photographing control unit that causes the photographing unit to photograph the projection plane;
An irradiation image detection unit for detecting an irradiation image irradiated on the projection plane from the image data captured by the imaging unit;
An irradiation image generation unit that generates irradiation image data to which a predetermined image is added according to the position of the detected irradiation image;
An image projection system comprising: 前記複数の画像投影装置のうち特定の画像投影装置が、他の画像投影装置に対して同一タイミングで映像信号を送信することを特徴とする請求項１に記載の画像投影システム。   The image projection system according to claim 1, wherein a specific image projection apparatus among the plurality of image projection apparatuses transmits a video signal to another image projection apparatus at the same timing. 前記投影制御部は、複数の画像投影装置からの各投影画像がつながった合成画像となるように投影することを特徴とする請求項１または２に記載の画像投影システム。   The image projection system according to claim 1, wherein the projection control unit projects the projection images from a plurality of image projection apparatuses so as to be a combined image in which the projection images are connected. 前記撮影部は、１つまたは複数台設けられていることを特徴とする請求項１，２または３に記載の画像投影システム。   The image projection system according to claim 1, wherein one or a plurality of the photographing units are provided. 前記複数の画像投影装置で投影される投影対象物は、外力に応じて発色する弾性体または塑性体であることを特徴とする請求項１〜４の何れか一つに記載の画像投影システム。   5. The image projection system according to claim 1, wherein the projection object projected by the plurality of image projection apparatuses is an elastic body or a plastic body that develops color according to an external force. 複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御部と、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御部と、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成部と、
を備えることを特徴とする情報処理装置。 A projection control unit that projects the projection images from the plurality of image projection devices so that the projection images become one composite image;
In accordance with a synchronization signal from the image projection device, a photographing control unit that causes the photographing unit to photograph the projection surface;
An irradiation image detection unit for detecting an irradiation image irradiated on the projection plane by the light indicating device from image data captured by the imaging unit;
An irradiation image generation unit that generates irradiation image data to which a predetermined image is added according to the position of the detected irradiation image;
An information processing apparatus comprising: 複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御工程と、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御工程と、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出工程と、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成工程と、
を含むことを特徴とする情報処理方法。 A projection control step of projecting each projection image so that the projection images from a plurality of image projection devices become one composite image;
In accordance with a synchronization signal from the image projection device, an imaging control step for causing the imaging unit to image the projection surface;
An irradiation image detection step of detecting an irradiation image irradiated on the projection plane by the light indicating device from image data captured by the imaging unit;
An irradiation image generation step of generating irradiation image data to which a predetermined image is added according to the position of the detected irradiation image;
An information processing method comprising: 複数の画像投影装置からの投影画像を一つの合成画像となるように各投影画像を投影する投影制御ステップと、
前記画像投影装置からの同期信号に従い、前記投影面を撮影部に撮影させる撮影制御ステップと、
前記撮影部で撮影された画像データから光指示装置が前記投影面に対して照射した照射画像を検出する照射画像検出ステップと、
前記検出された前記照射画像の位置に応じて所定の画像が付加された照射画像データを生成する照射画像生成ステップと、
をコンピュータに実行させるためのプログラム。 A projection control step of projecting each projection image so that the projection images from the plurality of image projection devices become one composite image;
In accordance with a synchronization signal from the image projection device, an imaging control step for causing the imaging unit to image the projection plane;
An irradiation image detection step of detecting an irradiation image irradiated to the projection plane by the light indicating device from image data captured by the imaging unit;
An irradiation image generation step of generating irradiation image data to which a predetermined image is added according to the position of the detected irradiation image;
A program that causes a computer to execute.