JP2017016061A

JP2017016061A - Projection device, projection system, and control method, and program, for the same

Info

Publication number: JP2017016061A
Application number: JP2015135507A
Authority: JP
Inventors: 和浩今泉; Kazuhiro Imaizumi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-07-06
Filing date: 2015-07-06
Publication date: 2017-01-19

Abstract

PROBLEM TO BE SOLVED: To enable, even if patterns synthesized by projection devices overlap one another in an overlap area, the pattern of each projection device to be identified.SOLUTION: In a projection system having first and second projection devices so arranged that their projection areas partly overlap each other, the first projection device projects a synthesized image obtained by synthesizing a first pattern by using either of mutually different first and second synthesizing methods, and the second projection device projects a synthesized image obtained by synthesizing a second pattern by using either of the first and second synthesizing methods. The first and second projection devices are so controlled that the combinations of synthesizing methods used by the first and second projection devices in first, second and third periods differ from one another. The first pattern is extracted from two of photographed images of the projected images obtained in the three periods, and the second pattern is extracted from two of the other photographed images.SELECTED DRAWING: Figure 1A

Description

複数の投影装置を用いて画像を投影する投影システムおよびその投影システムを構成する投影装置、それらの制御方法に関する。 The present invention relates to a projection system that projects an image using a plurality of projection apparatuses, a projection apparatus that constitutes the projection system, and a control method thereof.

近年、例えばアミューズメント施設や博物館展示などで、単体あるいは複数の投射装置を用いた投影システムが常設されるようになってきている。このような投影システムにおける一つの課題は、投射装置の設置調整を維持することである。特に複数の投射装置を用いた投影システムにおいて、該設置調整を手動で行うには専門知識と多大な労力が必要となる。 In recent years, for example, in amusement facilities and museum exhibitions, a projection system using a single or a plurality of projection apparatuses has been permanently installed. One problem with such a projection system is maintaining installation adjustment of the projection device. In particular, in a projection system using a plurality of projection apparatuses, specialized knowledge and a great deal of labor are required to perform the installation adjustment manually.

そこで、投射装置から投射する調整パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投射形状を補正することが知られている（特許文献１）。しかしながら、特許文献１の構成においては、自動調整のための調整パターンを投射するため、投射システムをオフラインにする必要がある。すなわち、調整を行っている間は画像の投影を中断しなければならない。 Therefore, it is known that an adjustment pattern projected from a projection device is captured by a camera, an adjustment parameter is generated, and a projection shape on a screen is corrected (Patent Document 1). However, in the configuration of Patent Document 1, since an adjustment pattern for automatic adjustment is projected, the projection system needs to be offline. That is, the image projection must be interrupted while the adjustment is performed.

このような課題に対して、調整パターンを非可視光（赤外光等）で投射することが知られている（特許文献２、特許文献３）。上記特許文献２、３の構成では、非可視光で調整パターンを投射するため、投射システムをオフラインにすることなく自動調整を行うことができる。しかしながら、非可視光の調整パターンを投射、検出するための構成が別途必要となる。 In order to solve such a problem, it is known to project an adjustment pattern with invisible light (infrared light or the like) (Patent Documents 2 and 3). In the configurations of Patent Documents 2 and 3, since the adjustment pattern is projected with invisible light, automatic adjustment can be performed without taking the projection system offline. However, a separate configuration for projecting and detecting the adjustment pattern of invisible light is necessary.

また、複数の投影装置を用いて、各投影装置が隣接する投影装置の投影領域と一部が重複する領域（オーバーラップ領域）を持つようにして画像を投射し、１つの画面を表示する方法が知られている。このようにオーバーラップする領域があると、たとえ非可視光による投影を行ったとしても、投影装置の投影領域（調整パターン）を特定することが困難となる。そのため、１台ずつ投影装置から調整パターンを投射して設置調整を行うことが必要となり、設置調整に時間を要することになる。 Also, a method of projecting an image using a plurality of projection devices so that each projection device has a region (overlap region) partially overlapping with a projection region of an adjacent projection device, and displaying one screen It has been known. When there are overlapping regions in this way, it is difficult to specify the projection region (adjustment pattern) of the projection device even if projection with invisible light is performed. For this reason, it is necessary to perform installation adjustment by projecting an adjustment pattern from the projection apparatus one by one, and time is required for installation adjustment.

特開２００６−０１４３５６号公報JP 2006-014356 A 特開２０１１−２１１６９３号公報JP 2011-2111693 A 特開２０１２−０１８２１４号公報JP 2012-018214 A 米国特許第７９０７７９５号明細書（実施形態で参照）US Pat. No. 7,907,795 (see embodiment)

投影装置のオーバーラップ領域においては、どのパターンがどの投影装置によって表示されたものかを識別することが困難である。あるいは、隣接する投影装置がそれぞれパターンの一部をスクリーン上の同じ位置に投射した場合に、それらパターンが相補の関係（例えば輝度が明暗関係にあるパターン）である場合は、その位置のパターンは欠けてしまう。このため、投影装置毎のパターンを識別することが困難になり、投影装置による設置調整の実行が困難になる。 In the overlap region of the projection device, it is difficult to identify which pattern is displayed by which projection device. Alternatively, when adjacent projection devices project a part of the pattern to the same position on the screen, if these patterns are in a complementary relationship (for example, a pattern in which the brightness is in a light-dark relationship), the pattern at that position is It will be missing. For this reason, it becomes difficult to identify the pattern for each projection apparatus, and it becomes difficult to perform installation adjustment by the projection apparatus.

本発明は上記の課題に鑑みてなされたものであり、各投影装置が入力画像に合成するパターンがオーバーラップ領域において重なっていても、各投影装置のパターンを把握可能にすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to grasp the pattern of each projection apparatus even if the pattern synthesized by each projection apparatus on the input image overlaps in the overlap region. .

上記の目的を達成するための本発明の位置態様による投影システムは以下の構成を備える。すなわち、
各々の投影領域の一部が重なるように配置される第１および第２の投影装置を有する投影システムであって、
前記第１の投影装置において、互いに異なる第１または第２の合成方法のいずれかを用いて第１のパターンを画像に合成して得られた合成画像を投影する第１の投影手段と、
前記第２の投影装置において、前記第１または第２の合成方法のいずれかを用いて第２のパターンを画像に合成して得られた合成画像を投影する第２の投影手段と、
第１、第２および第３の期間において、前記第１および第２の投影手段が用いる合成方法の組み合わせが異なるように前記第１および第２の投影手段を制御する制御手段と、
前記第１、第２および第３の期間のそれぞれにおいて、前記第１および第２の投影手段により投影された像を撮影して撮影画像を得る撮影手段と、
前記第１、第２および第３の期間で得られた撮影画像のうちの２つの撮影画像から前記第１のパターンを抽出し、他の２つの撮影画像から前記第２のパターンを抽出する抽出手段と、を備える。 In order to achieve the above object, a projection system according to a position aspect of the present invention comprises the following arrangement. That is,
A projection system having first and second projection devices arranged such that a part of each projection region overlaps,
A first projection unit configured to project a synthesized image obtained by synthesizing the first pattern with the image using either of the first or second synthesis methods different from each other in the first projection device;
A second projecting unit for projecting a synthesized image obtained by synthesizing the second pattern with the image using either the first or second synthesizing method in the second projecting device;
Control means for controlling the first and second projection means so that the combination of the synthesis methods used by the first and second projection means is different in the first, second and third periods;
In each of the first, second and third periods, photographing means for photographing the images projected by the first and second projecting means to obtain a photographed image;
Extraction that extracts the first pattern from two photographed images out of the photographed images obtained in the first, second, and third periods and extracts the second pattern from the other two photographed images Means.

本発明によれば、各投影装置が入力画像に合成するパターンがオーバーラップ領域において重なっていても、各投影装置のパターンを把握することができる。 According to the present invention, it is possible to grasp the pattern of each projection device even if the pattern synthesized by each projection device on the input image overlaps in the overlap region.

実施形態による投影装置の機能構成例を示すブロック図。The block diagram which shows the function structural example of the projection apparatus by embodiment. 実施形態による投影システムの構成を説明する図。The figure explaining the structure of the projection system by embodiment. 第１実施形態による投影装置の設置調整処理を説明するフローチャート。6 is a flowchart for explaining installation adjustment processing of the projection apparatus according to the first embodiment. 第１実施形態におけるパターン領域を説明する図である。It is a figure explaining the pattern area | region in 1st Embodiment. オーバーラップ領域における投影画像を示す図。The figure which shows the projection image in an overlap area | region. マスタの投影装置のパターン合成領域を特定するイメージ図。The image figure which specifies the pattern synthetic | combination area | region of the projection apparatus of a master. スレーブの投影装置のパターン合成領域を特定するイメージ図。The image figure which specifies the pattern synthetic | combination area | region of the projection apparatus of a slave. 第１実施形態の投影装置による合成方法の選択を説明するフローチャート。6 is a flowchart for explaining selection of a synthesis method by the projection apparatus according to the first embodiment. 第２実施形態における調整（投影領域が一列に並ぶ場合）を説明する図。The figure explaining adjustment (when a projection field is located in a line) in a 2nd embodiment. 第２実施形態における調整（投影領域が複数行、複す列に並ぶ場合）を説明する図。The figure explaining the adjustment in the second embodiment (when projection areas are arranged in multiple rows and multiple columns). 第２実施形態の投影装置による合成方法の選択を説明するフローチャート。12 is a flowchart for explaining selection of a synthesis method by the projection apparatus according to the second embodiment.

以下、添付の図面を参照して本発明の好適な実施形態の例を説明する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

＜第１実施形態＞
第１実施形態では、２台の投影装置により構成された投影システムを説明する。また、各投影装置がスクリーンに投影画像を表示したとき、各投影装置の投影領域の一部が重なるように投影されるよう、隣接して配置されているものとする。 <First Embodiment>
In the first embodiment, a projection system constituted by two projection apparatuses will be described. Further, it is assumed that when each projection apparatus displays a projection image on the screen, the projection apparatuses are arranged adjacent to each other so that a part of the projection area is projected.

図１Ａは、第１実施形態に関わる投影装置の概略構成の一例である。図１Ａにおいて、投影装置１は制御部１０、生成部１１、合成部１２、投影部１３、取得部１４、記録部１５、解析部１６、抽出部１７、決定部１８、形状補正部１９、通信部２０を備える。 FIG. 1A is an example of a schematic configuration of a projection apparatus according to the first embodiment. 1A, a projection apparatus 1 includes a control unit 10, a generation unit 11, a synthesis unit 12, a projection unit 13, an acquisition unit 14, a recording unit 15, an analysis unit 16, an extraction unit 17, a determination unit 18, a shape correction unit 19, and a communication. The unit 20 is provided.

図１Ｂは、本実施形態による投影装置１のハードウエア構成、投影システムの一構成例を示す図である。本実施形態では、２台の投影装置１ａ、１ｂが、投影領域の一部が重なるように配置されている。なお２台の投影装置１ａ、１ｂによる投影領域の重なった部分をオーバーラップ領域（重複領域）１２１という。投影装置１ａ、１ｂにおいて、ＣＰＵ１０１は、ＲＯＭ１０２に格納されているプログラムを実行することにより、図１Ａに示した各機能部を実現する。ＲＡＭ１０３は、ＣＰＵ１０１が各種処理を実行する際のワークメモリとして機能する。通信インターフェース１０４は、通信部２０として機能し、投影装置間の通信や、入力画像の受信を行う。撮影部１０５は、投影装置１ａが投影する像を撮影する。取得部１４は、撮影部１０５により撮影された画像を撮影画像として取得する。なお、撮影部１０５は２台の投影装置１ａ、１ｂで共用してもよい。また、撮影部１０５は、投影装置１に組み込まれてもよいし、外部装置として設置されてもよい。撮影部１０５が外部装置の場合、通信インターフェース１０４を介して撮影画像を受信するようにしてもよい。また、撮影部１０５は、２台の投影装置からの複数の投影画像の全体の範囲を撮影してもよい。以下、投影装置１ａ、１ｂを総称して投影装置１と記載する。 FIG. 1B is a diagram illustrating a hardware configuration of the projection apparatus 1 according to the present embodiment and a configuration example of the projection system. In the present embodiment, the two projectors 1a and 1b are arranged so that the projection areas partially overlap. A portion where the projection areas of the two projectors 1a and 1b overlap is referred to as an overlap area (overlap area) 121. In the projection apparatuses 1a and 1b, the CPU 101 executes the programs stored in the ROM 102, thereby realizing the functional units illustrated in FIG. 1A. The RAM 103 functions as a work memory when the CPU 101 executes various processes. The communication interface 104 functions as the communication unit 20 and performs communication between projection apparatuses and reception of input images. The imaging unit 105 captures an image projected by the projection device 1a. The acquisition unit 14 acquires an image captured by the imaging unit 105 as a captured image. Note that the photographing unit 105 may be shared by the two projectors 1a and 1b. Further, the photographing unit 105 may be incorporated in the projection device 1 or may be installed as an external device. When the photographing unit 105 is an external device, a photographed image may be received via the communication interface 104. Further, the photographing unit 105 may photograph the entire range of a plurality of projection images from the two projection devices. Hereinafter, the projection apparatuses 1a and 1b are collectively referred to as the projection apparatus 1.

設置調整処理を開始する前に、ユーザは投影装置１ａと投影装置１ｂとの間でマスタ、スレーブの関係を設定しておく。ユーザは、たとえば不図示のキーボードや、投影装置に設けられた切替スイッチで設定する等の方法により、投影装置にマスタ、スレーブを設定する。本例では、投影装置１ａがマスタ、投影装置１ｂがスレーブに設定されたものとして説明する。マスタの投影装置１ａは、所定のタイミングで自装置とスレーブの投影装置１ｂに設置調整処理の開始を指示する。設置調整処理の開始の指示は、通信部２０が通信インターフェース１０４を用いて投影装置１ｂへ送信する。なお、マスタの投影装置１ａからスレーブの投影装置１ｂへ指示を行うための通信、すなわち通信部２０を実現するための通信としては、たとえば公知のＬＡＮやＷｉ−Ｆｉ等を用いることができる。また、設置調整処理とは、たとえば、投影装置により投影された画像の形状に基づいて、その投影装置が用いる形状補正のための調整パラメータなどを決定する処理であり、以下、単に調整処理という。 Before starting the installation adjustment process, the user sets a master / slave relationship between the projection apparatus 1a and the projection apparatus 1b. The user sets a master and a slave in the projection apparatus, for example, by a method such as setting with a keyboard (not shown) or a changeover switch provided in the projection apparatus. In this example, it is assumed that the projection apparatus 1a is set as a master and the projection apparatus 1b is set as a slave. The master projection apparatus 1a instructs the apparatus and the slave projection apparatus 1b to start installation adjustment processing at a predetermined timing. An instruction to start the installation adjustment process is transmitted from the communication unit 20 to the projection apparatus 1 b using the communication interface 104. For example, a known LAN or Wi-Fi can be used as communication for instructing the slave projection apparatus 1b from the master projection apparatus 1a, that is, communication for realizing the communication unit 20. The installation adjustment process is a process for determining an adjustment parameter for shape correction used by the projection apparatus based on the shape of an image projected by the projection apparatus, and is simply referred to as an adjustment process hereinafter.

投影装置１において、調整処理を実行するタイミングになると、制御部１０は、生成部１１にパターンを生成させ、合成部１２に、生成されたパターンを画像に合成させる。パターンが合成される画像は、公知のＤＶＩやＨＤＭＩ（登録商標）等のインターフェースや記録デバイスを介して不図示の映像入力部が取得した入力画像を、形状補正部１９で補正して得られた、投影対象のフレーム画像である。なお、入力画像は、人の視覚特性で輝度変化に対してフリッカが目立たなくなる周波数（フレームレート）であることが望ましい。また、調整処理を開始するタイミングは、不図示のユーザインタフェースを用いてユーザが指定したタイミングとしてもよいし、投影装置に設けられた時計が所定時刻となったタイミングとしてもよい。あるいは、制御部１０が入力映像の同期信号をカウントし、そのカウント値に基づいて一定間隔で調整処理を行うようにしてもよい。 In the projection apparatus 1, when it is time to execute the adjustment process, the control unit 10 causes the generation unit 11 to generate a pattern, and causes the combining unit 12 to combine the generated pattern with an image. The image to be combined with the pattern was obtained by correcting the input image acquired by a video input unit (not shown) via a known interface such as DVI or HDMI (registered trademark) or a recording device with the shape correction unit 19. This is a frame image to be projected. It is desirable that the input image has a frequency (frame rate) at which flicker is not noticeable with respect to a luminance change in human visual characteristics. The timing for starting the adjustment process may be a timing specified by the user using a user interface (not shown), or may be a timing when a clock provided in the projection apparatus reaches a predetermined time. Alternatively, the control unit 10 may count the synchronization signal of the input video and perform adjustment processing at regular intervals based on the count value.

生成部１１は、制御部１０からの指示に基づいて、画像の二次元座標（位置）をコード化したパターンを生成する。コード化したパターンは、例えば、特許文献１で示されるような二次元座標を特許文献４で開示される技術を用いて生成されたドットパターンである。 The generation unit 11 generates a pattern in which the two-dimensional coordinates (position) of the image are coded based on an instruction from the control unit 10. The coded pattern is, for example, a dot pattern generated by using the technique disclosed in Patent Document 4 with two-dimensional coordinates as shown in Patent Document 1.

合成部１２は、制御部１０からの指示に応じて、入力画像から得られたフレーム画像とパターンを合成し、合成画像を生成する。合成部１２は、互いに異なる第１の合成方法と第２の合成方法により、合成画像を生成することができる。たとえば、フレーム画像とパターンの合成に際して、合成部１２は、パターンの輝度値や色値を設定し、そのパターンをフレーム画像に加算あるいはフレーム画像から減算することにより合成画像を生成する。パターンをフレーム画像に対して加算する（加算合成）か、減算する（減算合成）か、といった合成方法の選択は、制御部１０からの指示に基づいてなされる。なお、合成部１２では合成処理を行う際に、パターンのサイズ、密度、および濃度を制御することが可能である。また、色値を設定する場合は、合成部１２は、投影時にパターンが非可視となるように、連続するフレーム画像間で補色となる色値（たとえば、連続するフレームにおいて赤色とシアンを交互に用いる）を設定する。また、２台の投影装置が構成する場合に、ＲＧＢ色相環の場合、たとえば一方の投影装置が赤色のパターンを出す場合は、もう一方の投影装置がシアンのパターンを出すようにして、オーバーラップ領域１２１において見かけ上パターンが視認できないようにする。このように、フレームを連続して表示させたときに、見かけ上パターンが視認できないような色のパターンを合成し表示する。 The synthesizing unit 12 synthesizes the frame image obtained from the input image and the pattern in accordance with an instruction from the control unit 10 to generate a synthesized image. The synthesizing unit 12 can generate a synthesized image by using a first synthesis method and a second synthesis method that are different from each other. For example, when synthesizing a frame image and a pattern, the synthesizing unit 12 sets a luminance value and a color value of the pattern, and generates a synthesized image by adding the pattern to the frame image or subtracting the pattern from the frame image. Selection of a synthesis method, such as whether to add a pattern to a frame image (addition synthesis) or subtract (subtraction synthesis), is made based on an instruction from the control unit 10. The synthesizing unit 12 can control the size, density, and density of the pattern when performing the synthesizing process. Also, when setting color values, the composition unit 12 alternates color values that are complementary colors between successive frame images (for example, red and cyan alternately in successive frames so that the pattern is invisible during projection). To use). In addition, when two projectors are configured, in the case of an RGB hue ring, for example, when one of the projection devices produces a red pattern, the other projection device produces a cyan pattern and overlaps. In the area 121, the pattern is not visually recognized. In this way, a color pattern is synthesized and displayed so that the pattern cannot be visually recognized when the frames are continuously displayed.

マスタおよびスレーブの投影装置１ａ，１ｂのそれぞれにおいて、フレーム画像へのパターンの加算合成および減算合成の各々は少なくとも一つのフレーム画像に対して実行される。また、複数のフレーム画像についてマスタおよびスレーブの投影装置１ａ、１ｂで実施される加算合成と減算合成の回数のそれぞれの和が等しくなるようにする。なお、連続するフレーム画像で合成するパターンの合成方法が同じである場合（あるフレーム画像でパターンを加算合成し次のフレーム画像でもパターンを加算合成するような場合）、パターンがフリッカとしてわずかにユーザに視認されてしまう恐れがある。これを防止するために、制御部１０はパターンを合成するフレーム画像間に少なくとも１フレーム期間を空けてから、パターンを合成することが好ましい。 In each of the master and slave projection apparatuses 1a and 1b, each of addition and subtraction synthesis of a pattern to a frame image is performed on at least one frame image. In addition, the sum of the number of addition / subtraction synthesis performed by the master and slave projection apparatuses 1a and 1b is made equal to each other for a plurality of frame images. If the pattern synthesis method is the same for consecutive frame images (when a pattern is added and synthesized in one frame image, and the pattern is added and synthesized in the next frame image), the pattern is slightly flickered by the user. There is a risk of being visually recognized. In order to prevent this, it is preferable that the control unit 10 synthesizes the pattern after at least one frame period is provided between the frame images to be synthesized.

投影部１３は、不図示の表示パネル上に表示される合成画像を、投射レンズを介してスクリーン１２０（図１Ｂ）に投射する。取得部１４は、たとえばカメラ等の撮影部１０５を含み、または撮影部１０５と接続し、制御部１０の指示に応じて、スクリーン１２０に表示される投影画像を撮影し、撮影画像を生成する。記録部１５は、取得部１４が取得した撮影画像をメモリに記録する。なお、撮影画像が記録されるメモリとしては、揮発性のＤＲＡＭでも不揮発性のＨＤＤやＮＡＮＤフラッシュメモリ等、調整作業中に取得した撮影画像を記録できるものであればよい。 The projection unit 13 projects a composite image displayed on a display panel (not shown) onto the screen 120 (FIG. 1B) via a projection lens. The acquisition unit 14 includes, for example, a photographing unit 105 such as a camera, or is connected to the photographing unit 105 and photographs a projection image displayed on the screen 120 in accordance with an instruction from the control unit 10 to generate a photographed image. The recording unit 15 records the captured image acquired by the acquisition unit 14 in a memory. The memory for recording the captured image may be any memory that can record the captured image acquired during the adjustment work, such as a volatile DRAM or a nonvolatile HDD or NAND flash memory.

解析部１６は、取得部１４が取得した取得画像間の差分に基づいて、各投影装置が投影したパターンを特定する。抽出部１７は、解析部１６が特定したパターンをデコードすることで二次元の座標情報を抽出する。決定部１８は、抽出部１７で抽出した座標情報を用いて、例えば座標情報を用いた公知の方法により画像の形状を補正するための調整パラメータを決定する。形状補正部１９は、決定部１８で決定された調整パラメータに基づいて入力画像の形状を補正し、投影対象の画像（フレーム画像ともいう）を生成する。 The analysis unit 16 identifies the pattern projected by each projection device based on the difference between the acquired images acquired by the acquisition unit 14. The extraction unit 17 extracts two-dimensional coordinate information by decoding the pattern specified by the analysis unit 16. The determining unit 18 uses the coordinate information extracted by the extracting unit 17 to determine an adjustment parameter for correcting the shape of the image by a known method using the coordinate information, for example. The shape correcting unit 19 corrects the shape of the input image based on the adjustment parameter determined by the determining unit 18 and generates an image to be projected (also referred to as a frame image).

次に、第１実施形態における投影装置１の調整処理を図２のフローチャートを用いて説明する。上述したような調整処理の開始タイミングになると、制御部１０の制御下で図２に示す処理が開始される。まず、ステップＳ２１では、制御部１０の指示に応じて、生成部１１が画像の二次元座標（位置）をコード化したパターンを生成する。次に、ステップＳ２２では、制御部１０がオーバーラップ領域１２１上に投影されている、各投影装置のパターンを特定できるだけの撮影画像が取得部１４により得られ記録部１５によりメモリに格納されているか評価する。十分な撮影画像が得られていない場合、処理はステップＳ２３に進む。また、十分な撮影画像が得られている場合は、処理はステップＳ２６に進む。本実施形態では、撮影画像の差分によりマスタおよびスレーブの各撮影装置からのパターンを特定するのに必要な撮影画像が得られているかが判定される。撮影画像については後述する。 Next, adjustment processing of the projection apparatus 1 in the first embodiment will be described using the flowchart of FIG. At the start timing of the adjustment process as described above, the process shown in FIG. 2 is started under the control of the control unit 10. First, in step S <b> 21, the generation unit 11 generates a pattern in which the two-dimensional coordinates (position) of the image are coded in accordance with an instruction from the control unit 10. Next, in step S <b> 22, is the captured image that can be used to identify the pattern of each projection device projected by the control unit 10 on the overlap area 121 obtained by the acquisition unit 14 and stored in the memory by the recording unit 15? evaluate. If a sufficient captured image has not been obtained, the process proceeds to step S23. If a sufficient captured image is obtained, the process proceeds to step S26. In the present embodiment, it is determined whether a captured image necessary for specifying a pattern from each of the master and slave imaging devices is obtained based on the difference between the captured images. The captured image will be described later.

ステップＳ２３では、制御部１０の指示に応じて、合成部１２が形状補正部１９により生成されたフレーム画像に、生成部１１が生成したパターンを合成し、合成画像を生成する。ステップＳ２４では、投影部１３がステップＳ２３で生成された合成画像をスクリーンへ投影する。ステップＳ２５では、取得部１４がスクリーンに投影された投影画像を撮影し、撮影画像を得る。そして、処理はステップＳ２２に戻り、上記処理が繰り返される。但し、ステップＳ２３においては、処理の繰り返しごとにマスタの投影装置１ａとスレーブの投影装置１ｂにおける合成処理の組合せ（加算合成と減算合成の組合わせ）が変更される。この処理については後述する。ステップＳ２３およびステップＳ２４による合成画像の投影、およびステップＳ２５における投影画像の撮影による撮影画像の取得は、１フレーム期間で実行される必要は無い。合成画像の切り換えや、撮影は、所定数のフレーム画像ずつ（たとえば、１０フレームずつ）実行されてもよい。 In step S <b> 23, in response to an instruction from the control unit 10, the synthesis unit 12 synthesizes the pattern generated by the generation unit 11 with the frame image generated by the shape correction unit 19 to generate a composite image. In step S24, the projection unit 13 projects the composite image generated in step S23 onto the screen. In step S25, the acquisition unit 14 captures a projection image projected on the screen to obtain a captured image. And a process returns to step S22 and the said process is repeated. However, in step S23, the combination of combination processing (combination of addition combination and subtraction combination) in the master projection apparatus 1a and the slave projection apparatus 1b is changed every time the process is repeated. This process will be described later. The projection of the composite image in step S23 and step S24 and the acquisition of the captured image by capturing the projection image in step S25 do not need to be executed in one frame period. The switching of composite images and shooting may be performed for each predetermined number of frame images (for example, 10 frames each).

以上のようなステップＳ２２〜Ｓ２５の処理の繰り返しにより、パターンの抽出に十分な撮影画像が取得されたと判定されると、処理はステップＳ２６へ進む。ステップＳ２６では、まず、解析部１６が撮影画像を用いてパターンの二次元座標情報を抽出する。パターンは、パターンを加減算した合成画像の差分から特定される。なお、マスタの投影装置１ａとスレーブの投影装置１ｂとでは、それぞれ異なる合成画像の組み合わせによりパターンを抽出するが、この点については図５、図６により後述する。そして、抽出部１７が抽出されたパターンをデコードすることで二次元の座標情報を抽出する。抽出部１７が抽出した座標情報によって投射画像表示装置の表示パネル上の座標と投射面上の座標（撮像画面上の座標）が対応付けられる。 If it is determined that a captured image sufficient for pattern extraction has been acquired by repeating the processes in steps S22 to S25 as described above, the process proceeds to step S26. In step S26, the analysis unit 16 first extracts the two-dimensional coordinate information of the pattern using the captured image. The pattern is specified from the difference between the combined images obtained by adding and subtracting the pattern. The master projection apparatus 1a and the slave projection apparatus 1b extract patterns by combining different composite images. This point will be described later with reference to FIGS. Then, the extraction unit 17 extracts the two-dimensional coordinate information by decoding the extracted pattern. Coordinates on the display panel of the projection image display device and coordinates on the projection surface (coordinates on the imaging screen) are associated with the coordinate information extracted by the extraction unit 17.

ステップＳ２７では、決定部１８が、ステップＳ２６で抽出された座標情報を用いて、座標情報を用いた公知の方法により画像の形状を補正するための調整パラメータを決定する。例えば、座標情報がメッシュを形成する座標であれば、決定部１８は、メッシュの各四角形領域の４頂点を用いて射影変換行列を求め、その射影変換行列を用いて形状補正するためのパラメータを決定する。ステップＳ２８では、形状補正部１９が、ステップＳ２７で決定された調整パラメータに基づいて入力画像の形状を補正するように設定される。こうして、調整処理が終了する。 In step S27, the determination unit 18 uses the coordinate information extracted in step S26 to determine an adjustment parameter for correcting the shape of the image by a known method using the coordinate information. For example, if the coordinate information is coordinates that form a mesh, the determination unit 18 obtains a projection transformation matrix using the four vertices of each quadrangular region of the mesh, and sets parameters for shape correction using the projection transformation matrix. decide. In step S28, the shape correcting unit 19 is set to correct the shape of the input image based on the adjustment parameter determined in step S27. Thus, the adjustment process ends.

ところで、ステップＳ２２からステップＳ２６に進むためには、ステップＳ２５における撮影により、各投影装置からのパターンを抽出するのに必要な撮影画像が得られている必要がある。本実施形態では、マスタ、スレーブの投影装置１ａ、１ｂの合成部１２が、パターン（二次元座標情報）が非可視となるように加算合成、減算合成を行う。後述するように、投影装置１ａ、１ｂにおいて合成されたパターンのそれぞれを抽出するには、投影装置１ａによる２とおりの合成画像と投影装置１ｂによる２とおりの合成画像による４種類の組み合わせのうちの３つを使用する必要がある。たとえば、ステップＳ２３〜Ｓ２５の繰り返しにより、第１〜第３の期間で以下のようにパターンを合成して投影する。
第１の期間：マスタの投影装置１ａが加算合成、スレーブの投影装置１ｂが加算合成
第２の期間：マスタの投影装置１ａが減算合成、スレーブの投影装置１ｂが減算合成
第３の期間：マスタの投影装置１ａが減算合成、スレーブの投影装置１ｂが加算合成
これら３つの期間において撮影画像が取得されると、処理はステップＳ２２からステップＳ２６へ分岐し、解析部１６がこれら３つの期間において得られた撮影画像を用いてパターンを抽出する。このような撮影画像を用いることにより、解析部１６は、オーバーラップ領域１２１においても、各投影装置で合成されたパターンを個別に抽出することができる。 By the way, in order to proceed from step S22 to step S26, it is necessary to obtain a photographed image necessary for extracting a pattern from each projection apparatus by photographing in step S25. In the present embodiment, the synthesis unit 12 of the master and slave projection apparatuses 1a and 1b performs addition synthesis and subtraction synthesis so that the pattern (two-dimensional coordinate information) is invisible. As will be described later, in order to extract each of the patterns synthesized in the projection apparatuses 1a and 1b, one of four types of combinations of two synthesized images by the projection apparatus 1a and two synthesized images by the projection apparatus 1b is used. Three need to be used. For example, by repeating steps S23 to S25, patterns are synthesized and projected in the first to third periods as follows.
First period: Master projection apparatus 1a is addition synthesis, Slave projection apparatus 1b is addition synthesis Second period: Master projection apparatus 1a is subtraction synthesis, Slave projection apparatus 1b is subtraction synthesis Third period: Master When the photographed image is acquired during these three periods, the projection device 1a of the subtracting and synthesizing is performed by the slave projecting device 1b, and the process branches from step S22 to step S26, and the analysis unit 16 obtains the images during these three periods. A pattern is extracted using the captured image. By using such a captured image, the analysis unit 16 can individually extract the patterns synthesized by the respective projection devices even in the overlap region 121.

以下、オーバーラップ領域におけるパターンの抽出に関して説明する。まずマスタ、スレーブの投影装置が表示するパターンの領域がそれぞれ図３（ａ）、（ｂ）であるとする。なお、本実施形態では、以降の説明を分かりやすくするため、パターンを図３のような簡易なイメージとしている。また、加算合成および減算合成を単に「加算」「減算」と記載する。また、説明の都合上、フレーム画像の全体がオーバーラップ領域であるとして説明する。図４（ａ）の入力画像（あるいはフレーム画像）に対し上記のような合成方法の組合せ、（マスタ、スレーブ）＝（加算、加算）、（減算、減算）、（加算、減算）、（減算、加算）でパターンを合成したときの撮影画像は、それぞれ図４（ｂ）、（ｃ）、（ｄ）、（ｅ）で示されるようになる。図４ではマスタ、スレーブの各投影装置の加算合成および減算合成に用いられるパターンの濃度は同じものとして説明する。なお、マスタ、スレーブの投影装置がパターンを合成する濃度は、調整処理中のフレーム間で一致していれば十分である。 Hereinafter, extraction of a pattern in the overlap region will be described. First, assume that the areas of the patterns displayed by the master and slave projection apparatuses are shown in FIGS. In the present embodiment, the pattern is a simple image as shown in FIG. 3 for easy understanding of the following description. Further, addition synthesis and subtraction synthesis are simply referred to as “addition” and “subtraction”. In addition, for convenience of explanation, it is assumed that the entire frame image is an overlap region. A combination of the above synthesis methods for the input image (or frame image) in FIG. 4A, (master, slave) = (addition, addition), (subtraction, subtraction), (addition, subtraction), (subtraction) ), The captured images when the patterns are combined are as shown in FIGS. 4B, 4C, 4D, and 4E, respectively. In FIG. 4, description will be made assuming that the pattern densities used for addition synthesis and subtraction synthesis in the master and slave projection apparatuses are the same. Note that it is sufficient that the density at which the master and slave projection apparatuses synthesize the patterns match between the frames being adjusted.

上記の撮影画像を用いると、オーバーラップ領域における、各投影装置のスクリーン上のパターンは次のように特定することができる。すなわち、マスタの投影装置１ａのパターンの領域を特定する場合は、図５に示すように、合成方法が（マスタ、スレーブ）＝（加算、加算）、（減算、加算）である合成画像を撮影して得られた撮影画像の差分から求めることができる。また、マスタの投影装置のパターンの領域を特定する場合は、図６に示すように、合成方法が（マスタ、スレーブ）＝（減算、減算）、（減算、加算）である合成画像を撮影して得られた撮影画像の差分から求めることができる。 When the above-described photographed image is used, the pattern on the screen of each projection device in the overlap region can be specified as follows. That is, when specifying the pattern area of the projection device 1a of the master, as shown in FIG. 5, a composite image in which the synthesis method is (master, slave) = (addition, addition), (subtraction, addition) is taken. It can obtain | require from the difference of the picked-up image obtained by doing. Further, when specifying the pattern area of the master projection device, as shown in FIG. 6, a composite image in which the synthesis method is (master, slave) = (subtraction, subtraction), (subtraction, addition) is taken. It can obtain | require from the difference of the picked-up image obtained in this way.

何れにしても、マスタとスレーブの投影装置による加算合成と減算合成の組み合せ（以下の４種類）のうちの３種類の組み合わせが必要である。たとえば、
（マスタ、スレーブ）＝（加算、加算）、（減算、減算）、（加算、減算）、
（マスタ、スレーブ）＝（加算、加算）、（減算、減算）、（減算、加算）、
（マスタ、スレーブ）＝（加算、加算）、（加算、減算）、（減算、加算）、および
（マスタ、スレーブ）＝（減算、減算）、（加算、減算）、（減算、加算）、
のいずれかの組み合わせの撮影画像が必要である。 In any case, three types of combinations of the combination of addition synthesis and subtraction synthesis (the following four types) by the master and slave projectors are necessary. For example,
(Master, slave) = (addition, addition), (subtraction, subtraction), (addition, subtraction),
(Master, slave) = (addition, addition), (subtraction, subtraction), (subtraction, addition),
(Master, slave) = (addition, addition), (addition, subtraction), (subtraction, addition), and (master, slave) = (subtraction, subtraction), (addition, subtraction), (subtraction, addition),
Any combination of these images is required.

次に、図７を参照して、上述したような加算合成および減算合成の組み合わせによる合成画像を第１〜第３の期間で得るための、ステップＳ２３の処理についてより詳細に説明する。なお、ステップＳ２３の処理は、マスタの投影装置１ａとスレーブの投影装置１ｂとで異なり、図７（ａ）はマスタの投影装置１ａによる処理、図７（ｂ）はスレーブの投影装置１ｂによる処理を示す。 Next, with reference to FIG. 7, the process of step S23 for obtaining a composite image by the combination of addition synthesis and subtraction synthesis as described above in the first to third periods will be described in more detail. The processing in step S23 differs between the master projection device 1a and the slave projection device 1b. FIG. 7A shows processing by the master projection device 1a, and FIG. 7B shows processing by the slave projection device 1b. Indicates.

ステップＳ７０１において、制御部１０は、変数ｍ＝３かどうかを判定する。なお、変数ｍは図２に示す調整処理の起動時にリセット（ｍ＝０）されるものとする。変数ｍは、上述した合成処理の３種類の組み合わせによる画像を得るための期間を示すカウンタである。変数ｍ＝３であれば、ステップＳ７０２において制御部１０は変数ｍを０にセットし、処理をステップＳ７０３へ進める。変数ｍ＝３でなければ、処理はステップＳ７０１からステップＳ７０３へ進む。ステップＳ７０３、Ｓ７０４により、変数ｍの値に応じて処理が分岐される。 In step S701, the control unit 10 determines whether or not the variable m = 3. Note that the variable m is reset (m = 0) when the adjustment process shown in FIG. 2 is started. The variable m is a counter that indicates a period for obtaining an image by the combination of the above-described three types of synthesis processing. If variable m = 3, in step S702, control unit 10 sets variable m to 0, and the process proceeds to step S703. If the variable m is not 3, the process proceeds from step S701 to step S703. In steps S703 and S704, the process branches according to the value of the variable m.

変数ｍ＝０の場合、ステップＳ７０５において、制御部１０はステップＳ２１で生成したパターンを加算合成するよう合成部１２に指示する。そして、ステップＳ７０８において、制御部１０は、スレーブの投影装置１ｂに対してｍの値を通信部２０より送信する。ｍ＝０を受信した投影装置１ｂは、図７（ｂ）に示されるようにパターンを加算合成する（Ｓ７２１、Ｓ７２２）。こうしてｍ＝０の期間において、投影装置１ａ、１ｂはともにパターンが加算された合成画像を投影することになる。そして、投影装置１ａの制御部１０は、変数ｍを１つインクリメントし（ステップＳ７０９）、ステップＳ２３の処理を終える。したがって、ｍ＝０の期間において、ステップＳ２５では、取得部１４により、（マスタ、スレーブ）＝（加算、加算）の合成画像による投影画像が撮影されることになる。 When the variable m = 0, in step S705, the control unit 10 instructs the synthesis unit 12 to add and synthesize the pattern generated in step S21. In step S708, the control unit 10 transmits the value of m from the communication unit 20 to the slave projection apparatus 1b. The projection apparatus 1b that has received m = 0 adds and synthesizes the patterns as shown in FIG. 7B (S721, S722). Thus, in the period of m = 0, the projection apparatuses 1a and 1b both project the composite image with the added pattern. Then, the control unit 10 of the projection device 1a increments the variable m by 1 (step S709), and ends the process of step S23. Therefore, in the period of m = 0, in step S25, the acquisition unit 14 captures a projection image of a composite image of (master, slave) = (addition, addition).

変数ｍ＝１の状態でステップＳ２３の処理が開始されると、処理はステップＳ７０６へ進み、制御部１０はステップＳ２１で生成したパターンを減算合成するよう合成部１２に指示する。そして、ステップＳ７０８において、制御部１０は、スレーブの投影装置に対してｍ＝１を送信する。ｍ＝１を受信した投影装置１ｂは、図７（ｂ）に示されるようにパターンを減算合成する（Ｓ７２１、Ｓ７２３）。こうして投影装置１ａ、１ｂは、ｍ＝１の期間において、パターンが減算された合成画像を投影することになる。そして、変数ｍを１つインクリメントし（ステップＳ７０９）、ステップＳ２３の処理を終える。これにより、ｍ＝１の期間において、ステップＳ２５では、取得部１４により、（マスタ、スレーブ）＝（減算、減算）の合成画像による投影画像が撮影されることになる。 When the process of step S23 is started with the variable m = 1, the process proceeds to step S706, and the control unit 10 instructs the synthesizing unit 12 to subtract and synthesize the pattern generated in step S21. In step S708, the control unit 10 transmits m = 1 to the slave projection apparatus. Receiving m = 1, the projector 1b subtracts and combines the patterns as shown in FIG. 7B (S721, S723). In this way, the projection apparatuses 1a and 1b project the composite image from which the pattern is subtracted in the period of m = 1. Then, the variable m is incremented by 1 (step S709), and the process of step S23 is finished. As a result, in the period of m = 1, in step S25, the acquisition unit 14 captures a projection image by a composite image of (master, slave) = (subtraction, subtraction).

さらに、変数ｍ＝２の場合、ステップＳ７０７において、制御部１０はステップＳ２１で生成したパターンを減算合成するよう合成部１２に指示する。そして、ステップＳ７１０において、制御部１０は、スレーブの投影装置１ｂに対してｍ＝２を送信する。ｍ＝２を受信した投影装置１ｂは、図７（ｂ）に示されるようにパターンを加算合成する（Ｓ７２１、Ｓ７２２）。こうして、ｍ＝２の期間において、投影装置１ａはパターンが減算された合成画像を投影し、投影装置１ｂはパターンが加算された合成画像を投影することになる。そして、変数ｍを１つインクリメントし、ステップＳ２３の処理を終える。これにより、ｍ＝２の期間において、ステップＳ２５では、取得部１４により、（マスタ、スレーブ）＝（減算、加算）の合成画像による投影画像が撮影されることになる。こうして、図５、図６に示すような差分画像を得るための撮影画像が揃うことになる。 Further, when the variable m = 2, in step S707, the control unit 10 instructs the synthesizing unit 12 to subtract and synthesize the pattern generated in step S21. In step S710, the control unit 10 transmits m = 2 to the slave projection apparatus 1b. The projection apparatus 1b that has received m = 2 adds and synthesizes the patterns as shown in FIG. 7B (S721, S722). Thus, in the period of m = 2, the projection device 1a projects the composite image with the pattern subtracted, and the projection device 1b projects the composite image with the pattern added. Then, the variable m is incremented by 1, and the process of step S23 is finished. Thereby, in the period of m = 2, in step S25, the acquisition unit 14 captures a projection image by a composite image of (master, slave) = (subtraction, addition). Thus, the captured images for obtaining the difference images as shown in FIGS. 5 and 6 are prepared.

上述のように、加算合成するか減算合成するかがマスタの投影装置１ａより、変数ｍの値により指示される。スレーブの投影装置１ｂの制御部１０は、ステップＳ７２１において、マスタの投影装置１ａから受信した変数ｍの値が０，１，２のいずれであるかを判定する。受信したｍの値が０または２であれば、ステップＳ７２２において、制御部１０は合成部１２に加算合成を指示し、これにより合成部１２はステップＳ２１で生成したパターンを入力画像に加算合成する。他方、受信したｍの値が１であれば、ステップＳ７２３において、制御部１０は合成部１２に減算合成を指示し、これにより合成部１２はステップＳ２１で生成したパターンを入力画像に減算合成する。また、スレーブの投影装置１ｂでは、マスタの投影装置１ａから送信されるｍの値により、マスタの投影装置１ａが採用している合成方法を把握することができる。したがって、スレーブの投影装置１ｂにおいて、ｍの値により合成方法の組み合わせを把握できる。 As described above, whether to perform addition synthesis or subtraction synthesis is instructed from the master projection apparatus 1a by the value of the variable m. In step S721, the control unit 10 of the slave projection apparatus 1b determines whether the value of the variable m received from the master projection apparatus 1a is 0, 1, or 2. If the received value of m is 0 or 2, in step S722, the control unit 10 instructs the synthesizing unit 12 to perform addition synthesis, whereby the synthesis unit 12 adds and synthesizes the pattern generated in step S21 to the input image. . On the other hand, if the received value of m is 1, in step S723, the control unit 10 instructs the synthesizing unit 12 to perform subtractive synthesis, whereby the synthesizing unit 12 subtracts and combines the pattern generated in step S21 with the input image. . Further, the slave projection apparatus 1b can grasp the composition method adopted by the master projection apparatus 1a from the value of m transmitted from the master projection apparatus 1a. Therefore, in the slave projection apparatus 1b, the combination of the synthesis methods can be grasped from the value of m.

各投影装置では、３つの期間のうちの、自身の合成方法が異なり、他の装置の合成方法が同じである２つの期間で撮影された撮影画像を用いて、パターンの抽出を行う。たとえば、マスタの投影装置１ａは、ｍ＝０である期間とｍ＝２である期間に撮影された撮影画像の差分画像を用いて、図５に示すようにパターンを抽出することができる。これら両期間では、マスタの投影装置１ａによる合成方法が加算合成と減算合成であるのに対し、スレーブの投影装置１ｂにおいては、パターンが共通の（同一の）合成方法（本例では加算合成）により合成される。同様に、スレーブの投影装置１ｂは、ｍ＝１である期間とｍ＝２である期間に撮影された撮影画像の差分画像を用いて、図６に示すようにパターンを抽出することができる。これら両期間では、スレーブの投影装置１ｂによる合成方法が加算合成と減算合成であるのに対し、マスタの投影装置１ａにおいてはパターンが共通の合成方法（本例では減算合成）により合成される。 Each projection apparatus extracts a pattern using captured images taken in two periods in which the composition method of the other apparatuses is different and the composition method of the other apparatuses is the same. For example, the master projection device 1a can extract a pattern as shown in FIG. 5 using a difference image of a captured image captured during a period in which m = 0 and a period in which m = 2. In both of these periods, the synthesis method by the master projection device 1a is addition synthesis and subtraction synthesis, whereas in the slave projection device 1b, the pattern is the same (same) synthesis method (addition synthesis in this example). Is synthesized. Similarly, the slave projection apparatus 1b can extract a pattern as shown in FIG. 6 by using a difference image between the captured images captured during the period in which m = 1 and the period in which m = 2. In both of these periods, the synthesis method by the slave projection device 1b is addition synthesis and subtraction synthesis, whereas in the master projection device 1a, the patterns are synthesized by a common synthesis method (subtraction synthesis in this example).

なお、マスタの投影装置１ａは、たとえば、１０フレームごとに合成処理の組合せを変更する（１０フレームごとにステップＳ２３を実行する）ようにし、この１０フレームの期間中に取得部１４が投影された画像を取得するようする。スレーブの投影装置１ｂは、マスタの投影装置１ｂからの変数ｍの送信により、マスタの投影装置１ａと同期して合成方法を切り換えることになる。なお、マスタおよびスレーブの投影装置ともに、必要な撮影画像が揃ったところで（ステップＳ２２でＹＥＳに分岐した時点で）パターンの合成を終了する。 For example, the master projection device 1a changes the combination of the synthesis processes every 10 frames (executes step S23 every 10 frames), and the acquisition unit 14 is projected during the 10 frames. Try to get an image. The slave projection device 1b switches the synthesis method in synchronization with the master projection device 1a by transmitting the variable m from the master projection device 1b. In both the master and slave projection apparatuses, the pattern synthesis is completed when the necessary captured images are prepared (at the time of branching to YES in step S22).

上記で説明したような方法によれば、複数の投影装置が同じ投影領域に画像を表示した場合であっても、各投影装置のドットパターンを特定することができる。そして、各投影装置のドットパターンを自動調整に用いることで、投影装置の運用を停止することなく品質を保った表示を続けることが可能となる。 According to the method described above, the dot pattern of each projection device can be specified even when a plurality of projection devices display an image in the same projection area. Then, by using the dot pattern of each projection apparatus for automatic adjustment, it is possible to continue displaying with quality without stopping the operation of the projection apparatus.

＜第２実施形態＞
第１実施形態では、投影領域が重複する２台の投影装置における調整処理を説明した。第２実施形態では、３台以上の投影装置が存在する投影システムにおける調整処理を説明する。まず、３台以上の投影装置が一列に並ぶ場合について説明する。なお、投影装置１の構成は第１実施形態（図１Ａ）と同様である。 Second Embodiment
In the first embodiment, the adjustment process in the two projection apparatuses having overlapping projection areas has been described. In the second embodiment, adjustment processing in a projection system including three or more projection apparatuses will be described. First, a case where three or more projectors are arranged in a row will be described. In addition, the structure of the projection apparatus 1 is the same as that of 1st Embodiment (FIG. 1A).

３台以上の投影装置が一列に並ぶ場合、偶数番目の投影領域に投影する投影装置のグループと、奇数番目の投影領域に投影する投影装置のグループに分け、同じグループに属する投影装置は一つの期間において同じ合成方法で合成画像を生成するようにする。図８（ａ）では、４台の投影装置が一列に並び、隣接する投影装置の投影領域の一部が重複している様子を示す。この場合、たとえば奇数番目の投影装置の一つをマスタとし、その他の全ての投影装置をスレーブとする。マスタの投影装置は図７（ａ）に示した動作を行う。但し、ｍの値は、マスタの投影装置から、システムを構成しているすべての（複数の）スレーブの投影装置に送信される。偶数番目の投影装置は、図７（ｂ）に示した動作を行う。また、マスタ以外の奇数番目の投影装置は、変数ｍの値に応じてマスタの投影装置と同じ合成方法を用いるようにする。マスタ以外の奇数番目の投影装置を第１グループ、偶数番目の投影装置を第２グループとすると、上述した処理により、ｍ＝０〜２の３つの期間において、図８（ｂ）に示されるようなパターンの合成が実行されることになる。したがって、３台以上の投影装置が一列に並ぶような場合にも、ｍ＝０〜３の３つの期間で、隣接する投影装置において、パターンの抽出に必要な合成画像の組み合せを得ることができる。 When three or more projection devices are arranged in a line, the projection device group is projected into an even-numbered projection region and the projection device group is projected into an odd-numbered projection region. A synthesized image is generated in the same period by the same synthesis method. FIG. 8A shows a state in which four projectors are arranged in a line and a part of the projection area of the adjacent projector overlaps. In this case, for example, one of the odd-numbered projection apparatuses is set as a master, and all other projection apparatuses are set as slaves. The master projection apparatus performs the operation shown in FIG. However, the value of m is transmitted from the master projection device to all (several) slave projection devices constituting the system. The even-numbered projector performs the operation shown in FIG. The odd-numbered projection devices other than the master use the same synthesis method as the master projection device according to the value of the variable m. Assuming that the odd-numbered projection devices other than the master are the first group and the even-numbered projection devices are the second group, as shown in FIG. A simple pattern is synthesized. Therefore, even when three or more projectors are arranged in a line, a combination of composite images necessary for pattern extraction can be obtained in the adjacent projectors in three periods of m = 0 to 3. .

次に、４台以上の投影装置による投影領域が複数行、複数列に配置されている場合について説明する。たとえば、６台の投影装置を用いて、各投影装置の投影領域の一部が重なるように、スクリーンに（縦、横）＝（２行、３列）のタイル状に配置した場合を説明する。このとき、オーバーラップ領域には、４台の投影装置が投影画像を投影する。この場合の投影装置の構成も第１実施形態（図１Ａ）と同様である。 Next, a description will be given of a case where the projection areas formed by four or more projectors are arranged in a plurality of rows and a plurality of columns. For example, a case will be described in which six projectors are used and are arranged in a tile shape of (vertical, horizontal) = (2 rows, 3 columns) on the screen so that a part of the projection area of each projector overlaps. . At this time, the four projection devices project the projection image onto the overlap region. The configuration of the projection apparatus in this case is the same as that of the first embodiment (FIG. 1A).

制御部１０は、一つの期間ではオーバーラップ領域に２台の投影装置がパターンを投影するように投影装置による合成を制御する。これは、オーバーラップ領域に投影する投影装置の台数が増加することにより、オーバーラップ領域内の各投影装置が投影するパターンを特定するために必要な取得画像が増加し、ひいては調整時間が増加することを抑制するためである。オーバーラップ領域に２台ずつ投影装置が投影画像を投影することで、第１実施形態と同様に２台の投影装置あたり４種類の撮影画像のうち３つを用いることにより各投影装置のパターンを識別することができる。 The control unit 10 controls the synthesis by the projection apparatus so that the two projection apparatuses project patterns onto the overlap region in one period. This is because, as the number of projection devices that project onto the overlap region increases, the number of acquired images necessary for specifying the pattern projected by each projection device within the overlap region increases, and as a result adjustment time increases. This is to suppress this. By projecting projected images by two projectors onto the overlap area, the pattern of each projector can be obtained by using three of the four types of captured images per two projectors as in the first embodiment. Can be identified.

制御部１０は例えば図９（ａ）、（ｂ）に示すような、市松模様において同色の配置にある投影装置ごとに、調整作業を行う。すなわち、まず図９（ａ）でグレーで示される対象領域に投影画像を投影している投影装置を調整し、その後、図９（ｂ）のグレーで示される対象領域に投影画像を投射している投影装置を調整する。換言すれば、複数行複数列に並ぶ投影領域のうち、奇数行奇数列と偶数行偶数列の投影領域に投影する投影装置の集合を集合Ａ、奇数行偶数列と偶数行奇数列の投影領域に投影する投影装置の集合を集合Ｂとし、集合毎に投影装置の調整が行われる。集合Ａはさらに奇数行に属する投影装置からなる第１グループと偶数行に属する投影装置からなる第２グループに分けられる。集合Ｂも同様に奇数行に属する投影装置からなる第３グループと偶数行に属する投影装置からなる第４グループに分けられる。そして、集合Ａと集合Ｂの一方の集合に属する投影装置が合成画像を投影している間は、他方の集合に属する投影装置は合成画像を投影しないように制御される。 For example, the control unit 10 performs adjustment work for each of the projection apparatuses that are arranged in the same color in a checkered pattern as shown in FIGS. 9A and 9B. That is, first, the projection device that projects the projection image onto the target area shown in gray in FIG. 9A is adjusted, and then the projection image is projected onto the target area shown in gray in FIG. 9B. Adjust the projection device. In other words, among the projection regions arranged in a plurality of rows and a plurality of columns, a set of projection devices that project onto the projection regions of odd rows and odd columns and even rows and even columns is set A, and projection regions of odd rows and even columns and even rows and odd columns A set of projection apparatuses to be projected onto is set as a set B, and the projection apparatus is adjusted for each set. The set A is further divided into a first group consisting of projection devices belonging to odd rows and a second group consisting of projection devices belonging to even rows. The set B is similarly divided into a third group consisting of projectors belonging to odd rows and a fourth group consisting of projectors belonging to even rows. Then, while the projection devices belonging to one of the sets A and B are projecting the composite image, the projection devices belonging to the other set are controlled so as not to project the composite image.

第１グループに属する投影装置のうちの一つをマスタに設定した場合を説明する。図１０は、第２実施形態におけるマスタの投影装置が実行するステップＳ２３の処理を示すフローチャートである。マスタの投影装置の制御部１０は、ステップＳ１００１において変数ｍが６か否かを判定する。ｍ＝６の場合、処理はステップＳ７０２に進み、制御部１０は、変数ｍをゼロにリセットする。ステップＳ７０３〜Ｓ７０９の処理は第１実施形態（図７）と同様であり、変数ｍが０〜２の場合は、マスタの投影装置１ａは第１実施形態と同様に動作する。変数ｍが３以上になると、処理はステップＳ１００２からステップＳ１００３へ進み、マスタの投影装置１ｂはパターンの合成を行わずに、変数ｍの値を送信する（ステップＳ７０８）。また、スレーブの投影装置では、図７（ｂ）に示した処理と同様に、マスタの投影装置から受信したｍの値にしたがって合成方法（加算合成か減算合成か）を決定し、実行する。但し、集合Ａに属するスレーブの投影装置（第１、第２グループの投影装置）では、ｍ＝３〜５の間はパターンの合成を行わない。同様に、集合Ｂに属するスレーブの投影装置（第３、第４グループの投影装置）では、ｍ＝０〜２の間はパターンの合成を行わない。 A case where one of the projection apparatuses belonging to the first group is set as a master will be described. FIG. 10 is a flowchart showing the process of step S23 executed by the master projection apparatus in the second embodiment. The control unit 10 of the master projection apparatus determines whether or not the variable m is 6 in step S1001. When m = 6, the process proceeds to step S702, and the control unit 10 resets the variable m to zero. The processing in steps S703 to S709 is the same as in the first embodiment (FIG. 7). When the variable m is 0 to 2, the master projection device 1a operates in the same manner as in the first embodiment. When the variable m becomes 3 or more, the process proceeds from step S1002 to step S1003, and the master projection device 1b transmits the value of the variable m without performing pattern synthesis (step S708). Further, in the slave projection apparatus, the synthesis method (addition synthesis or subtraction synthesis) is determined and executed according to the value of m received from the master projection apparatus, similarly to the processing shown in FIG. 7B. However, the slave projection apparatuses (first and second group projection apparatuses) belonging to the set A do not perform pattern synthesis during m = 3 to 5. Similarly, the slave projection apparatuses (third and fourth group projection apparatuses) belonging to the set B do not perform pattern synthesis during m = 0-2.

以上の処理の結果、マスタの投影装置１ａは、図９（ｃ）に示すように合成処理を実行することになる。すなわち、ｍ＝０で加算合成を実行し、ｍ＝１と２で減算合成を実行し、ｍ＝３〜５では合成を行わない。スレーブの投影装置は、マスタの投影装置１ａから受信したｍの値と、自身が第１グループから第４グループの何れに属しているかに応じて、図９（ｃ）に示すようにパターンの合成を実行する。なお、スレーブの各投影装置がどのグループに属しているかは、各投影装置へユーザが設定する構成としてもよいし、マスタの投影装置からコマンドを送信して設定する構成としてもよい。 As a result of the above processing, the master projection apparatus 1a executes the composition processing as shown in FIG. That is, addition synthesis is performed when m = 0, subtraction synthesis is performed when m = 1 and 2, and synthesis is not performed when m = 3 to 5. Depending on the value of m received from the master projection device 1a and whether it belongs to the first group to the fourth group, the slave projection device combines the patterns as shown in FIG. 9C. Execute. It should be noted that the group to which each slave projection device belongs may be set by the user to each projection device, or may be set by sending a command from the master projection device.

なお、本実施形態では、６台の投影装置を用いた場合で説明したが、投影装置の台数が７台以上であってもよいことは言うまでもない。 In the present embodiment, the case where six projectors are used has been described, but it goes without saying that the number of projectors may be seven or more.

上記で説明した方法によれば、投影装置の構成台数が増加しても、集合Ａと集合Ｂに属する投影装置について、ｍ＝０〜２またはｍ＝３〜５の３つずつの期間（計６つの期間）で、全ての投影装置に関してパターンの抽出に必要な撮影画像を得ることができる。したがって、投影装置の台数が増加しても一定の調整時間以内で調整作業を行うことができ、投影装置を１台ずつ調整する場合に比べ調整時間を短縮することができる。すなわち、投影装置の設置台数に依らず、調整時間を一定に抑えることができる。また、投影装置の運用を停止することなく品質を保った表示を続けることが可能となる。 According to the method described above, even if the number of projectors increases, three periods of m = 0 to 2 or m = 3 to 5 are calculated for the projectors belonging to the set A and the set B (total In six periods, captured images necessary for pattern extraction can be obtained for all projection apparatuses. Therefore, even if the number of projection apparatuses increases, the adjustment work can be performed within a certain adjustment time, and the adjustment time can be shortened compared with the case where the projection apparatuses are adjusted one by one. That is, the adjustment time can be kept constant regardless of the number of projectors installed. In addition, it is possible to continue displaying with high quality without stopping the operation of the projection apparatus.

上記実施形態では、マスタとなった投影装置１ａの制御部１０によりスレーブの投影装置にパターンの合成方法を指示するようにしたが、これに限られるものではない。複数の投影装置と通信可能な、独立した制御装置から、各投影装置に合成方法を指示するようにしてもよい。 In the above-described embodiment, the control unit 10 of the projection device 1a serving as the master instructs the slave projection device about the pattern synthesis method. However, the present invention is not limited to this. You may make it instruct | indicate the synthesis | combining method to each projection apparatus from the independent control apparatus which can communicate with several projection apparatuses.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１：投影装置、１０：制御部、１１：生成部、１２：合成部、１３：投影部、１４：取得部、１５：記録部、１６：解析部、１７：抽出部、１８：決定部、１９：形状補正部 1: projection device, 10: control unit, 11: generation unit, 12: synthesis unit, 13: projection unit, 14: acquisition unit, 15: recording unit, 16: analysis unit, 17: extraction unit, 18: determination unit, 19: Shape correction unit

Claims

各々の投影領域の一部が重なるように配置される第１および第２の投影装置を有する投影システムであって、
前記第１の投影装置において、互いに異なる第１または第２の合成方法のいずれかを用いて第１のパターンを画像に合成して得られた合成画像を投影する第１の投影手段と、
前記第２の投影装置において、前記第１または第２の合成方法のいずれかを用いて第２のパターンを画像に合成して得られた合成画像を投影する第２の投影手段と、
第１、第２および第３の期間において、前記第１および第２の投影手段が用いる合成方法の組み合わせが異なるように前記第１および第２の投影手段を制御する制御手段と、
前記第１、第２および第３の期間のそれぞれにおいて、前記第１および第２の投影手段により投影された像を撮影して撮影画像を得る撮影手段と、
前記第１、第２および第３の期間で得られた撮影画像のうちの２つの撮影画像から前記第１のパターンを抽出し、他の２つの撮影画像から前記第２のパターンを抽出する抽出手段と、を備えることを特徴とする投影システム。 A projection system having first and second projection devices arranged such that a part of each projection region overlaps,
A first projection unit configured to project a synthesized image obtained by synthesizing the first pattern with the image using either of the first or second synthesis methods different from each other in the first projection device;
A second projecting unit for projecting a synthesized image obtained by synthesizing the second pattern with the image using either the first or second synthesizing method in the second projecting device;
Control means for controlling the first and second projection means so that the combination of the synthesis methods used by the first and second projection means is different in the first, second and third periods;
In each of the first, second and third periods, photographing means for photographing the images projected by the first and second projecting means to obtain a photographed image;
Extraction that extracts the first pattern from two photographed images out of the photographed images obtained in the first, second, and third periods and extracts the second pattern from the other two photographed images And a projection system.

前記抽出手段は、前記第１、第２および第３の期間で得られた３つの撮影画像のうちの２つの撮影画像の差分画像から前記第１のパターンを抽出し、前記３つの撮影画像のうちの前記２つの撮影画像とは異なる組み合わせの２つの撮影画像の差分画像から前記第２のパターンを抽出することを特徴とする請求項１に記載の投影システム。 The extraction unit extracts the first pattern from a difference image of two photographed images of the three photographed images obtained in the first, second, and third periods, and extracts the three photographed images. 2. The projection system according to claim 1, wherein the second pattern is extracted from a difference image of two captured images having a combination different from the two captured images.

前記第１の投影装置と前記第２の投影装置を通信可能に接続する通信手段をさらに備え、
前記制御手段は、前記第１の投影装置から前記第２の投影装置に、前記第２の投影手段が用いる合成方法の指示を前記通信手段を介して送信することを特徴とする請求項１または２に記載の投影システム。 Communication means for connecting the first projection device and the second projection device so that they can communicate with each other;
The control unit transmits an instruction of a synthesis method used by the second projection unit from the first projection unit to the second projection unit via the communication unit. 3. The projection system according to 2.

前記第１の投影装置および前記第２の投影装置と通信可能に接続された制御装置をさらに備え、
前記制御手段は、前記制御装置から前記第１および第２の投影装置に対して、前記第１および第２の投影手段が用いる合成方法を指示することを特徴とする請求項１または２に記載の投影システム。 A control device communicably connected to the first projection device and the second projection device;
The said control means instruct | indicates the synthetic | combination method which the said 1st and 2nd projection means uses with respect to the said 1st and 2nd projection apparatus from the said control apparatus. Projection system.

３つ以上の投影装置による投影領域が一列に配置され、
偶数番目の投影領域に投影する投影装置が前記第１の投影装置、奇数番目の投影領域に投影する投影装置が前記第２の投影装置として動作することを特徴とする請求項１に記載の投影システム。 Projection areas by three or more projection devices are arranged in a line,
2. The projection according to claim 1, wherein a projection device that projects onto an even-numbered projection region operates as the first projection device, and a projection device that projects onto an odd-numbered projection region operates as the second projection device. system.

４つ以上の投影装置による投影領域が複数行、複数列に配置され、
奇数行奇数列と偶数行偶数列の投影領域に投影する投影装置を第１の集合、奇数行偶数列と偶数行奇数列の投影領域に投影する投影装置を第２の集合とし、
前記第１の集合に属する投影装置のうち、奇数行奇数列の投影領域に投影する投影装置が前記第１の投影装置、偶数行偶数列の投影領域に投影する投影装置が前記第２の投影装置として動作し、
前記第２の集合に属する投影装置のうち、奇数行偶数列の投影領域に投影する投影装置が前記第１の投影装置、偶数行奇数列の投影領域に投影する投影装置が前記第２の投影装置として動作し、
前記第１の集合と前記第２の集合の一方の集合に属する投影装置が合成画像を投影している間は、他方の集合に属する投影装置は合成画像を投影しないことを特徴とする請求項１に記載の投影システム。 Projection areas by four or more projection devices are arranged in multiple rows and multiple columns,
Projectors that project onto the projection areas of odd rows and odd columns and even rows and even columns are the first set, and projection devices that project onto the projection areas of odd rows and even columns and even rows and odd columns are the second set,
Of the projection devices belonging to the first set, a projection device that projects onto an odd row / odd column projection region is the first projection device, and a projection device that projects onto an even row / even column projection region is the second projection. Works as a device,
Of the projection devices belonging to the second set, a projection device that projects onto an odd-numbered row and even-column projection region is the first projection device, and a projection device that projects onto an even-numbered row and odd-column projection region is the second projection. Works as a device,
The projection apparatus belonging to one of the first set and the second set projects a composite image while the projection apparatus belonging to the other set does not project the composite image. 2. The projection system according to 1.

画像を他の投影装置から投影される画像と重複して投影する投影装置において、
投影のための画像に、パターンを第１の合成方法または前記第１の合成方法と異なる第２の合成方法により合成して合成画像を生成する合成手段と、
第１の期間において前記第１の合成方法により合成された合成画像を投影し、第２の期間において前記第２の合成方法により合成された合成画像を投影する投影手段と、
前記第１および第２の期間において前記投影手段により投影された合成画像を撮影して得られた撮影画像から前記パターンを抽出する抽出手段と、を備え、
前記第１および第２の期間の両期間では、他の投影装置において前記第１または第２の合成方法のいずれかが共通に用いられて生成された合成画像が投影される期間となるように制御されることを特徴とする投影装置。 In a projection apparatus that projects an image overlapping with an image projected from another projection apparatus,
A synthesizing unit for synthesizing a pattern on the image for projection by the first synthesizing method or a second synthesizing method different from the first synthesizing method;
Projecting means for projecting the synthesized image synthesized by the first synthesis method in the first period and projecting the synthesized image synthesized by the second synthesis method in the second period;
Extracting means for extracting the pattern from a photographed image obtained by photographing a composite image projected by the projection means in the first and second periods;
Both the first and second periods are periods in which a composite image generated by using any one of the first and second synthesis methods in common in other projection apparatuses is projected. A projection apparatus characterized by being controlled.

前記他の投影装置と通信する通信手段と、
前記第１および第２の期間において、前記第１または第２の合成方法のいずれかを実行させるための指示を前記通信手段を介して前記他の投影装置に送信する送信手段と、をさらに備えることを特徴とする請求項７に記載の投影装置。 Communication means for communicating with the other projection device;
Transmission means for transmitting an instruction for executing either the first or second synthesis method to the other projection apparatus via the communication means in the first and second periods. The projection apparatus according to claim 7.

前記他の投影装置と通信する通信手段と、
前記他の投影装置から、前記投影手段が用いる合成方法の指示と、前記他の投影装置が用いる合成方法を示す情報とを受信する受信手段とをさらに備え、
前記投影手段は、前記指示により示される合成方法を用いて合成画像を投影し、
前記第１および第２の期間は、前記投影手段が採用した合成方法と、前記情報が示す合成方法に基づいて特定されることを特徴とする請求項７に記載の投影装置。 Communication means for communicating with the other projection device;
Receiving means for receiving, from the other projection device, an instruction of a synthesis method used by the projection unit and information indicating a synthesis method used by the other projection device;
The projecting means projects a synthesized image using a synthesis method indicated by the instruction,
The projection apparatus according to claim 7, wherein the first period and the second period are specified based on a synthesis method employed by the projection unit and a synthesis method indicated by the information.

前記抽出手段により抽出されたパターンに基づいて調整パラメータを生成する生成手段をさらに備えることを特徴とする請求項７乃至９のいずれか１項に記載の投影装置。 The projection apparatus according to claim 7, further comprising a generation unit that generates an adjustment parameter based on the pattern extracted by the extraction unit.

前記投影手段により投影された像を撮影する撮影手段をさらに備えることを特徴とする請求項７乃至１０のいずれか１項に記載の投影装置。 The projection apparatus according to claim 7, further comprising an imaging unit that captures an image projected by the projection unit.

前記第１の合成方法ではパターンを画像に加算して合成画像を取得し、前記第２の合成方法では画像からパターンを減算して合成を取得し、
前記抽出手段は、前記第１および第２の期間において前記投影手段により投影された合成画像を撮影して得られた撮影画像の差分画像から前記パターンを抽出することを特徴とする請求項７乃至１１のいずれか１項に記載の投影装置。 In the first synthesis method, a pattern is added to the image to obtain a synthesized image, and in the second synthesis method, the pattern is subtracted from the image to obtain a synthesis,
8. The extraction unit according to claim 7, wherein the extraction unit extracts the pattern from a difference image of a photographed image obtained by photographing the combined image projected by the projection unit during the first and second periods. The projection device according to any one of 11.

前記投影手段による投影領域と前記他の装置の投影領域の少なくとも一部が重なるように配置されることを特徴とする請求項７乃至１２のいずれか１項に記載の投影装置。 13. The projection apparatus according to claim 7, wherein the projection apparatus is arranged so that at least a part of a projection area of the projection unit and a projection area of the other apparatus overlap each other.

各々の投影領域の一部が重なるように配置される第１および第２の投影装置を有する投影システムの制御方法であって、
前記第１の投影装置において、互いに異なる第１または第２の合成方法のいずれかを用いて第１のパターンを画像に合成して得られた合成画像を投影する第１の投影工程と、
前記第２の投影装置において、前記第１または第２の合成方法のいずれかを用いて第２のパターンを画像に合成して得られた合成画像を投影する第２の投影工程と、
第１、第２および第３の期間において、前記第１および第２の投影工程で用いる合成方法の組み合わせが異なるように前記第１および第２の投影工程を制御する制御工程と、
前記第１、第２および第３の期間のそれぞれにおいて、前記第１および第２の投影工程で投影された像を撮影して撮影画像を得る撮影工程と、
前記第１、第２および第３の期間で得られた撮影画像のうちの２つの撮影画像から前記第１のパターンを抽出し、他の２つの撮影画像から前記第２のパターンを抽出する抽出工程と、を備えることを特徴とする投影システムの制御方法。 A control method of a projection system having first and second projection devices arranged so that a part of each projection region overlaps,
A first projecting step of projecting a synthesized image obtained by synthesizing the first pattern with the image using either the first or second synthesis method different from each other in the first projection device;
A second projecting step of projecting a synthesized image obtained by synthesizing the second pattern with the image using either the first or second synthesizing method in the second projecting device;
A control step of controlling the first and second projection steps so that the combination of the synthesis methods used in the first and second projection steps is different in the first, second and third periods;
In each of the first, second and third periods, a photographing step of photographing the images projected in the first and second projection steps to obtain a photographed image;
Extraction that extracts the first pattern from two photographed images out of the photographed images obtained in the first, second, and third periods and extracts the second pattern from the other two photographed images And a method for controlling the projection system.

投影のための画像に、パターンを第１の合成方法または前記第１の合成方法と異なる第２の合成方法により合成して合成画像を生成する合成工程と、
第１の期間において前記第１の合成方法により合成された合成画像を投影し、第２の期間において前記第２の合成方法により合成された合成画像を投影する投影工程と、
前記第１および第２の期間において前記投影工程で投影された合成画像を撮影して得られた撮影画像から前記パターンを抽出する抽出工程と、を備え、
前記第１および第２の期間の両期間では、他の投影装置において前記第１または第２の合成方法のいずれかが共通に用いられて生成された合成画像が投影される期間となるように制御されることを特徴とする投影装置の制御方法。 A synthesis step of synthesizing a pattern on the image for projection by the first synthesis method or a second synthesis method different from the first synthesis method to generate a synthesized image;
A projecting step of projecting a composite image synthesized by the first synthesis method in a first period and projecting a composite image synthesized by the second synthesis method in a second period;
An extraction step of extracting the pattern from a photographed image obtained by photographing the composite image projected in the projection step in the first and second periods,
Both the first and second periods are periods in which a composite image generated by using any one of the first and second synthesis methods in common in other projection apparatuses is projected. A control method for a projection apparatus, characterized by being controlled.

コンピュータを、請求項７乃至１３のいずれか１項に記載された投影装置の各手段として機能させるためのプログラム。 The program for functioning a computer as each means of the projection apparatus described in any one of Claims 7 thru | or 13.