JP2017055346A - Projection system, image processing system and program - Google Patents

Projection system, image processing system and program Download PDF

Info

Publication number
JP2017055346A
JP2017055346A JP2015179851A JP2015179851A JP2017055346A JP 2017055346 A JP2017055346 A JP 2017055346A JP 2015179851 A JP2015179851 A JP 2015179851A JP 2015179851 A JP2015179851 A JP 2015179851A JP 2017055346 A JP2017055346 A JP 2017055346A
Authority
JP
Japan
Prior art keywords
projection
image
calibration
group
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015179851A
Other languages
Japanese (ja)
Inventor
石川　雅朗
Masaaki Ishikawa
雅朗 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015179851A priority Critical patent/JP2017055346A/en
Publication of JP2017055346A publication Critical patent/JP2017055346A/en
Pending legal-status Critical Current

Links

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a projection system, image processing system and program.SOLUTION: In a projection system 100, a plurality of projection means 150 composes a plurality of groups, each of which includes two or more of the projection means 150, and images are projected on a target projection surface by the plurality of projection means 150. The projection system 100 comprises: output means 116 that outputs a correction image including a correction pattern, to each of the projection means 150; acquisition means 126 that acquires a plurality of correction pick-up images respectively including correction images and picked up; extraction means 128 that extracts, from the correction picked-up images, a correction point indicating distortion of an image projected by each of the projection means of each of the groups 150 on the basis of the correction patterns; and correction coefficient calculation means 130 that, on the basis of the extracted correction points, calculates a correction coefficient for providing an image projected from each projection means 150 such that images are projected one on another in each of the plurality of groups in a target projection area shared among the plurality of groups.SELECTED DRAWING: Figure 3

Description

本発明は、投影システム、画像処理装置およびプログラムに関する。   The present invention relates to a projection system, an image processing apparatus, and a program.

近年、複数のプロジェクタからの投影像を重畳させてスクリーン上に投影し、画像の明るさを向上させるスタック投影が知られている。   In recent years, stack projection is known in which projection images from a plurality of projectors are superimposed and projected onto a screen to improve the brightness of the image.

上述したスタック投影に関しては、例えば、特許第３９０８２５５号公報（特許文献１）が知られている。特許文献１の画像投影システムでは、校正に際して、予め座標位置が既知である４つ以上の特徴点を有する基準画像データ、例えば一定間隔に輝点や十字を並べたものや格子模様など既知の画像を、平面スクリーンに投影して、デジタルカメラにより撮像する。そして、撮像した基準画像撮像データ中の上記特徴点の位置が検出され、スクリーン上で原画像に忠実な投影像となるように複数のプロジェクタ間の投影像のシフト量と上記スクリーンに対する各プロジェクタ同士の投影角度の違いに起因する投影像の歪みの違いおよび位置ずれ（シフト量）が補正される。これにより、２つのプロジェクタによる投影像を重畳させている。   Regarding the stack projection described above, for example, Japanese Patent No. 3908255 (Patent Document 1) is known. In the image projection system of Patent Document 1, reference image data having four or more feature points whose coordinate positions are known in advance at the time of calibration, for example, a known image such as a lattice pattern or a pattern in which bright spots or crosses are arranged at regular intervals. Are projected on a flat screen and imaged by a digital camera. Then, the position of the feature point in the captured reference image imaging data is detected, and the projected image shift amount between the plurality of projectors and the projectors relative to the screen so that the projected image is faithful to the original image on the screen. The difference in the distortion of the projected image and the positional deviation (shift amount) due to the difference in the projection angle are corrected. Thereby, the projection images by the two projectors are superimposed.

上述したスタック投影を行う場合、通常、焦点距離の長いプロジェクタの場合は、プロジェクタを上下に重ねたり、横一列に並べたりすればよく、各プロジェクタの投影の向きを調整して投影像を重ねて同じ位置に投影させることも容易である。しかしながら、プロジェクタの焦点距離によっては、物理的な配置の制約からスタック投影を行うことが困難となる場合があった。   When performing the stack projection described above, in the case of a projector having a long focal length, the projectors may be stacked one above the other or arranged in a horizontal row, and the projection direction of each projector is adjusted to superimpose the projection images. Projecting to the same position is easy. However, depending on the focal length of the projector, it may be difficult to perform stack projection due to physical arrangement restrictions.

本発明は、上記従来技術に鑑みてなされたものであり、本発明は、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、投影手段の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システムを提供することを目的とする。   The present invention has been made in view of the above prior art, and the present invention is a projection system for projecting an image onto a projection surface by a plurality of projection means, and the physical arrangement of the projection means is easy. And it aims at providing the projection system which can improve the brightness of an image by superimposing a some projection image.

本発明では、上記課題を解決するために、下記特徴を有する、複数の投影手段により被投影面上に像を投影するための投影システムを提供する。複数の投影手段は、それぞれ複数の投影手段を含む複数のグループを構成する。本投影システムは、複数の投影手段各々に対し、校正パターンを含む校正用画像を出力する出力手段と、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、取得した複数の校正用撮像画像から、校正パターンに基づき、複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、抽出された校正点に基づいて、複数のグループ間で共通の目標投影領域に、複数のグループ各々が像を重ねて投影するよう、複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段とを含む。   In order to solve the above problems, the present invention provides a projection system for projecting an image on a projection surface by a plurality of projection means having the following characteristics. The plurality of projection units constitute a plurality of groups each including a plurality of projection units. The projection system includes an output unit that outputs a calibration image including a calibration pattern to each of a plurality of projection units, and an acquisition unit that acquires a plurality of calibration captured images each including a projected calibration image. And, based on the extracted calibration points, based on the extracted calibration points, the extraction means for extracting the calibration points indicating the distortion of the projection image of each of the projection means of each of the plurality of groups based on the calibration pattern, Correction coefficient calculation means for calculating a correction coefficient that gives a projection image to be projected from each of the plurality of projection means so that each of the plurality of groups projects an image on a common target projection region among the plurality of groups.

上記構成により、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、容易な投影手段の物理的な配置にて、複数の投影像を重ねることで像の明るさを向上することが可能となる。   With the above configuration, in a projection system for projecting an image onto a projection surface by a plurality of projection means, the brightness of the image is improved by superimposing a plurality of projection images with a simple physical arrangement of the projection means. It becomes possible to do.

本実施形態による投影システムの全体構成を示す概略図。Schematic which shows the whole structure of the projection system by this embodiment. 超短焦点プロジェクタからスクリーンに対して少しずれた角度で投影した場合の投影像を撮影した写真を示す図。The figure which shows the photograph which image | photographed the projection image at the time of projecting from the ultra-short focus projector at an angle shifted a little with respect to the screen. 本実施形態による投影システムの機能ブロック図。The functional block diagram of the projection system by this embodiment. 本実施形態による投影システムで用いられる各プロジェクタから投影する校正用画像を例示する図。The figure which illustrates the image for calibration projected from each projector used with the projection system by this embodiment. 本実施形態による校正処理の全体的な処理の流れを示すフローチャート。The flowchart which shows the flow of the whole process of the calibration process by this embodiment. 本実施形態において順次投影される校正用投影シーンおよびその撮影方法を説明する図（１／２）。The figure explaining the projection scene for a calibration projected sequentially in this embodiment, and its imaging | photography method (1/2). 本実施形態において順次投影される校正用投影シーンおよびその撮影方法を説明する図（２／２）。FIG. 2B is a diagram (2/2) for explaining a calibration projection scene sequentially projected and a photographing method thereof in the present embodiment. 特定の実施形態において、目標投影領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する図。The figure which illustrates the user interface screen for fine-tuning the position of the four corners of a target projection area | region in specific embodiment. 本実施形態において、校正用画像の投影像、各プロジェクタの投影可能領域、目標投影領域および被投影面の関係を撮像画像の座標系にて表す図。FIG. 6 is a diagram illustrating a relationship between a projection image of a calibration image, a projectable area of each projector, a target projection area, and a projection surface in the present embodiment, in a coordinate system of captured images. 本実施形態による補正係数計算部が実行する幾何補正係数の計算処理を示すフローチャート。The flowchart which shows the calculation process of the geometric correction coefficient which the correction coefficient calculation part by this embodiment performs. 統合された校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。The figure which shows the calculation method of the outer periphery coordinate of the projectable area | region by the linear extrapolation using each integrated calibration point coordinate. プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。The figure explaining matching with each coordinate on a projector memory, and the pixel position on the same size content image corresponding to the position on a projection content image. プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。The figure explaining matching of the blending coefficient with respect to each coordinate on a projector memory. （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。The figure which illustrates the data structure of (A) geometric correction coefficient and (B) blending coefficient. 他の実施形態による投影システムの概略構成を示す概略図。Schematic which shows schematic structure of the projection system by other embodiment. さらに他の実施形態による投影システムの概略構成を示す概略図。Schematic which shows schematic structure of the projection system by other embodiment. 本実施形態による汎用コンピュータ装置のハードウェア構成を示す図。The figure which shows the hardware constitutions of the general purpose computer apparatus by this embodiment.

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタ１５０と、１つのカメラ１６０と、全体制御を行う画像処理装置１１０とを含む投影システム１００を用いて説明する。   Hereinafter, although this embodiment is described, this embodiment is not limited to the embodiment described below. In the embodiment described below, a projection system 100 including a plurality of projectors 150 as projection means, a single camera 160, and an image processing apparatus 110 that performs overall control will be described as an example of a projection system. To do.

（全体構成）
図１は、本実施形態による投影システム１００の全体構成を示す概略図である。図１に示す投影システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、投影システム１００は、図１に示す実施形態では、合計５台のプロジェクタ１５０ａ〜１５０ｅの投影像１０４ａ〜１０４ｅを投影面上で合成し、単一のプロジェクタの投影可能領域よりも大きな領域に画像を投影する、いわゆるマルチ・プロジェクションに対応した構成とされている。 (overall structure)
FIG. 1 is a schematic diagram showing an overall configuration of a projection system 100 according to the present embodiment. A projection system 100 shown in FIG. 1 includes an image processing device 110 that performs overall control of the system, a plurality of projectors 150, a camera 160, and an input device 170. In the embodiment shown in FIG. 1, the projection system 100 synthesizes the projection images 104 a to 104 e of a total of five projectors 150 a to 150 e on the projection surface, and makes the area larger than the projectable area of a single projector. It is configured to support so-called multi-projection, which projects an image.

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよいし、タブレット・コンピュータのようなデバイスに組み込まれてもよい。   The image processing apparatus 110 is typically configured as a general-purpose computer such as a personal computer or a workstation. Note that the image processing apparatus 110 is not limited to a general-purpose computer, and may be implemented as a dedicated controller, may be incorporated in any projector 150, or may be incorporated in a device such as a tablet computer. May be.

プロジェクタ１５０は、それぞれ、液晶方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。プロジェクタ１５０は、好ましくは、短焦点プロジェクタであり、より好ましくは、凹面ミラーを自由曲面ミラーとし、レンズ系と自由曲面ミラーとの間に屈曲ミラー設けた屈曲光学系を含む、超短焦点プロジェクタである。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢ（World Wide Web）カメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてよい。   The projector 150 is a projection apparatus that employs a liquid crystal system, a DLP (Digital Light Processing) system, an LCOS (Liquid Crystal On Silicon) system, or the like. The projector 150 is preferably a short focus projector, and more preferably an ultra short focus projector including a bending optical system in which a concave mirror is a free curved mirror and a bending mirror is provided between the lens system and the free curved mirror. is there. The camera 160 is an imaging device that includes an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD) and an imaging optical system such as a lens for forming an image on a light receiving region of the image sensor. The camera 160 may be configured as a dedicated device such as a WEB (World Wide Web) camera, a digital still camera, and a digital video camera.

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付けることができる。入力装置１７０は、校正の結果や途中結果における微調整の際などに利用することができる。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。   The input device 170 is an input device such as a mouse, a keyboard, a touch panel, or an operation panel, and can accept an instruction from a user. The input device 170 can be used for fine adjustment of a calibration result or an intermediate result. The input device 170 may be configured as a device connected to the image processing device 110, the projector 150, or the camera 160, or may be configured as a device incorporated in these devices.

本投影システム１００においては、被投影面を提供する投影体は、スクリーンや壁面などである。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながら被投影面１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０に投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像を被投影面１０２上に投影する。被投影面１０２上には、図１に示すように、複数のプロジェクタ１５０各々からの複数の投影像１０４が投影されている。これらの複数の投影像１０４は、投影面上で重なり合わせられて、被投影面１０２上の単一の投影像１０６に合成される。   In the projection system 100, the projection body that provides the projection surface is a screen, a wall surface, or the like. Each of the projectors 150 is installed so as to project onto the projection surface 102 while shifting the position of the projection center. The image processing apparatus 110 generates a plurality of projection images to be projected by the plurality of projectors 150, and outputs each projection image to each corresponding projector 150. Each of the projectors 150 projects a projection image input from the image processing device 110 onto the projection surface 102. On the projection surface 102, as shown in FIG. 1, a plurality of projection images 104 from each of the plurality of projectors 150 are projected. The plurality of projection images 104 are overlapped on the projection surface and synthesized into a single projection image 106 on the projection surface 102.

投影システム１００では、投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像（以下、校正用画像と参照する。）を出力し、被投影面１０２上に投影像（以下、校正用画像を投影したものを校正用投影像と参照する。）を投影させる。そして、プロジェクタ１５０により投影された被投影面１０２上の校正用投影像が画角内に収まるように、カメラ１６０の視点および視野が設定され、校正用の撮像が行われることになる。画像処理装置１１０は、撮像された複数の撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）を用いて、校正処理を行い、校正完了後、校正結果に基づいてコンテンツ画像を補正しながら投影を行う。   In the projection system 100, calibration processing is normally performed before the projection mode. The camera 160 shown in FIG. 1 is used for this calibration process. During the calibration mode, the image processing apparatus 110 outputs a calibration image (hereinafter referred to as a calibration image) to each of the plurality of projectors 150, and projects a projected image (hereinafter referred to as a calibration image) on the projection surface 102. The projected image is referred to as a calibration projection image). Then, the viewpoint and field of view of the camera 160 are set so that the calibration projection image projected on the projection surface 102 projected by the projector 150 is within the angle of view, and calibration imaging is performed. The image processing apparatus 110 performs a calibration process using a plurality of captured images (hereinafter, a captured image in which a projection image for calibration is reflected is referred to as a captured image for calibration). Projection is performed while correcting the content image based on the result.

一般的な投影システムにおいて、明るさを向上させることを目的としてスタック投影する場合、プロジェクタが通常の焦点距離の長いプロジェクタであれば、複数のプロジェクタを上下に重ねて配置したり、横一列に並べて配置したりすればよい。各プロジェクタの投影の向きを調整して投影像を重ねて同じ位置に投影させることにより、容易にスタック投影を実現することができる。焦点距離の長い通常のプロジェクタであれば、多少スクリーンと正対せずとも、ピントのずれが少なく、プロジェクタの投影方向の調整角度が比較的小さくて済み、幾何的な歪みは小さく、通常の台形歪み補正機能で容易に補正が可能であるからである。   In a general projection system, when stack projection is performed for the purpose of improving brightness, if the projector is a normal projector with a long focal length, a plurality of projectors may be stacked one above the other or arranged in a horizontal row. Or just place them. Stack projection can be easily realized by adjusting the projection direction of each projector and projecting the projected images at the same position. For a normal projector with a long focal length, there is little focus deviation, even if it does not face the screen to some extent, the adjustment angle in the projection direction of the projector is relatively small, the geometric distortion is small, and a normal trapezoid This is because the distortion can be easily corrected by the distortion correction function.

しかしながら、焦点が短い短焦点プロジェクタ、特に超短焦点プロジェクタと呼ばれるプロジェクタの場合、焦点距離が短いため、投影像を重ねるにはプロジェクタの向きを比較的大きく調整しなければならない。図２は、超短焦点プロジェクタからスクリーンに少しずれた角度で投影した場合の投影像を撮影した写真を示す。図２に示す格子画像の投影例を参照すると理解されるように、スクリーンに対して少しでも斜めから投影してしまうと、非線形な幾何歪みが大きくなり、特に場所によるピントのずれ（例えば図２に示す写真中の右上部分）が非常に大きくなってしまう。   However, in the case of a short focus projector with a short focus, particularly a projector called an ultra short focus projector, since the focal length is short, the orientation of the projector must be adjusted relatively large in order to superimpose projection images. FIG. 2 shows a photograph of a projected image when projected from the ultra-short focus projector onto the screen at a slightly shifted angle. As can be understood by referring to the projection example of the grid image shown in FIG. 2, if the projection is slightly oblique to the screen, nonlinear geometric distortion increases, and in particular, a focus shift (for example, FIG. 2). The upper right part in the picture shown in (2) becomes very large.

上記を考慮して、スクリーンに正対させるために、超短焦点プロジェクタを複数上下に重ねて配置しようとしても、一方のプロジェクタの本体が、他方のプロジェクタの光線や視野を遮ることになり、物理的な配置に大きな制約がかかってしまう。一方、複数の超短焦点プロジェクタを横一列に並べて配置しようとしても、上述したようにスクリーンに正対させて配置することができず、投影像の画質が劣化してしまうことになる。すなわち、短焦点プロジェクタでは、通常のプロジェクタと同様な方法でプロジェクタを積載したり横一列に並べたりする方法で、スタック投影を実現することが困難であった。   In consideration of the above, even when trying to arrange multiple ultra-short focus projectors vertically so as to face the screen, the main body of one projector will block the rays and field of view of the other projector, A large restriction is imposed on the general arrangement. On the other hand, even if an attempt is made to arrange a plurality of ultra-short focus projectors side by side, they cannot be arranged to face the screen as described above, and the image quality of the projected image will deteriorate. That is, with a short focus projector, it is difficult to realize stack projection by a method of stacking projectors or arranging them in a horizontal row in the same manner as a normal projector.

そこで、本実施形態による投影システム１００では、複数のプロジェクタ１５０を、それぞれ複数のプロジェクタを含む複数のグループに分けて構成し、それぞれのグループでは、所属する複数のプロジェクタ１５０からの投影像１０４を連結し、単一の投影像１０６を形成して投影するよう構成される。   Therefore, in the projection system 100 according to the present embodiment, the plurality of projectors 150 are divided into a plurality of groups each including a plurality of projectors, and the projection images 104 from the plurality of projectors 150 to which the projectors belong are connected in each group. And it is comprised so that the single projection image 106 may be formed and projected.

投影システム１００は、上記複数のプロジェクタ１５０各々に対し、校正パターンを含む校正用画像を出力し、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する。そして、投影システム１００は、取得された複数の校正用撮像画像から、上記校正パターンに基づいて、複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出し、抽出された校正点に基づいて、複数のグループ間で共通の目標投影領域に複数のグループ各々が像を重ねて投影するよう、複数の投影手段各々から投影する投影画像を与える補正係数を計算する。   The projection system 100 outputs a calibration image including a calibration pattern to each of the plurality of projectors 150, and acquires a plurality of calibration captured images captured including the projected calibration images. Then, the projection system 100 extracts a calibration point indicating the distortion of the projection image of each projection unit of each of the plurality of groups from the acquired plurality of calibration captured images based on the calibration pattern, and extracts the calibration Based on the points, a correction coefficient that gives a projection image to be projected from each of the plurality of projection units is calculated so that each of the plurality of groups projects an image on a common target projection region among the plurality of groups.

上記構成により、グループ各々で全体としての投影像１０６が一層ずつ投影され、複数のグループからの複数の投影像１０６が、同じ位置にて重畳されて、これにより、一連結のマルチ・プロジェクションでは実現困難な明るさを実現することが可能となる。また、プロジェクタ１５０が超短焦点プロジェクタであったとしても、プロジェクタ１５０の物理的な配置に対する制約が緩和されており、容易な物理的な配置によってスタック投影を実現することが可能となる。   With the above configuration, the projection images 106 as a whole are projected one layer at a time in each group, and a plurality of projection images 106 from a plurality of groups are superimposed at the same position, thereby realizing a single multi-projection. Difficult brightness can be realized. Even if the projector 150 is an ultra-short focus projector, restrictions on the physical arrangement of the projector 150 are relaxed, and stack projection can be realized by an easy physical arrangement.

また好適な実施形態では、複数のグループでは、所属するプロジェクタ１５０の数が異なっており、より好ましい実施形態では、一方のグループに所属するプロジェクタ数は、他方のグループに所属するプロジェクタ数よりも１個多くなるように構成される（つまり、Ｎ個のグループと、Ｎ＋１個のグループを含む。）。そして、複数のプロジェクタ１５０は、被投影面１０２に対して略正対して概ね一列に互い違いに配置されるように配置される。このように構成することにより、プロジェクタ１５０が超短焦点プロジェクタであったとしても、容易な物理的な配置によりスタック投影を実現することが可能となる。   In a preferred embodiment, the number of projectors 150 belonging to a plurality of groups is different. In a more preferred embodiment, the number of projectors belonging to one group is one more than the number of projectors belonging to the other group. It is configured so as to increase in number (that is, it includes N groups and N + 1 groups). The plurality of projectors 150 are arranged so as to be alternately arranged substantially in a line so as to be substantially opposed to the projection surface 102. With this configuration, even if the projector 150 is an ultra-short focus projector, stack projection can be realized with an easy physical arrangement.

以下、図３を参照しながら、本実施形態による投影システムにおける、各種補正係数の計算処理および補正係数に基づく補正処理の概要について説明する。なお、以下に説明する実施形態では、Ｎ＝２として、３つの第１〜第３のプロジェクタ１５０ａ〜１５０ｃが、第１のグループを構成しており、２つの第４および第５のプロジェクタ１５０ｄ，１５０ｅが、第２のグループを構成しているものとして説明する。図１に示すように、プロジェクタ１５０ａ〜１５０ｅは、被投影面１０２に対して略正対して、概ね一列に互い違いに配置されるように配置されている。特に、図１に示す例では、すべてのプロジェクタ１５０ａ〜１５０ｅは、床置きされて、被投影面１０２に対して下方から投影するよう構成されている。   Hereinafter, an overview of various correction coefficient calculation processes and correction processes based on the correction coefficients in the projection system according to the present embodiment will be described with reference to FIG. In the embodiment described below, it is assumed that N = 2, and the three first to third projectors 150a to 150c constitute the first group, and the two fourth and fifth projectors 150d, It is assumed that 150e constitutes the second group. As shown in FIG. 1, the projectors 150 a to 150 e are arranged so as to be arranged in a staggered manner substantially in a row substantially facing the projection surface 102. In particular, in the example illustrated in FIG. 1, all the projectors 150 a to 150 e are configured to be placed on the floor and projected onto the projection surface 102 from below.

ここで、「概ね一列」とは、プロジェクタが厳密に一致するものに限定されず、プロジェクタ１５０の位置が凹凸することが許容されることを意味し、概ね一列に、好ましくはプロジェクタの投影光を他のプロジェクタの本体で遮られないように配置することを意味する。これは、被投影面１０２までの距離を同一として一列に並べると、台数少ない方のグループの連結した投影像が他方のグループグループの投影より小さくなってしまうところ、２つのグループで可能な限り大きな共通する投影領域を確保するためである。可能な限り大きな共通投影領域を確保するためには、台数少ない方の連結したグループの投影を大きくする方が好ましいため、台数少ない方のグループを若干スクリーンから離すと良い。なお、上記配置では、２つのグループのプロジェクタ１５０は、互い違いに設置されるため、被投影面１０２への正対は充分に確保することができる。   Here, “substantially in a line” means that the projectors are not limited to exactly matching one another, and that the position of the projector 150 is allowed to be uneven, and the projection light of the projector is preferably arranged in a line. This means that the projector is arranged so as not to be blocked by the main body of another projector. This is because if the distances to the projection surface 102 are the same and arranged in a row, the connected projection image of the smaller group becomes smaller than the projection of the other group group. This is for securing a common projection area. In order to secure a common projection area as large as possible, it is preferable to enlarge the projection of the smaller connected group. Therefore, it is preferable to slightly separate the smaller group from the screen. In the above arrangement, the two groups of projectors 150 are installed in a staggered manner, so that the direct facing to the projection surface 102 can be sufficiently secured.

なお、説明する実施形態では、図１に示すような、２台と２＋１台のプロジェクタ１５０からなる２つのグループが、それぞれ２台連結のマルチ・プロジェクションおよび２＋１台連結のマルチ・プロジェクションを構成しており、これらが、各グループの投影可能領域の論理積で規定される領域内に像を重畳させて投影するものとして説明する。しかしながら、このような配置に限定されるものではなく、他の実施形態については、詳細を後述する。   In the embodiment to be described, two groups of two and 2 + 1 projectors 150 as shown in FIG. 1 constitute a multi-projection with two units connected and a multi-projection with two units connected, respectively. These will be described on the assumption that an image is superimposed and projected within an area defined by the logical product of the projectable areas of each group. However, the present invention is not limited to such an arrangement, and details of other embodiments will be described later.

（機能構成）
図３は、本実施形態による投影システム１００の機能ブロック図である。画像処理装置１１０は、コンテンツ格納部１１２を含み、さらに、プロジェクタ毎に、補正処理部１１４ａ〜１１４ｅと、投影画像出力部１１６ａ〜１１６ｅと、切替部１２４ａ〜１２４ｅとを含む。画像処理装置１１０は、さらに、校正用シーン生成部１２０と、校正用画像格納部１２２と、校正用撮像画像入力部１２６と、特徴点抽出処理部１２８と、補正係数計算部１３０と、目標投影領域調整部１３２とを含み構成される。 (Functional configuration)
FIG. 3 is a functional block diagram of the projection system 100 according to the present embodiment. The image processing apparatus 110 includes a content storage unit 112, and further includes correction processing units 114a to 114e, projection image output units 116a to 116e, and switching units 124a to 124e for each projector. The image processing apparatus 110 further includes a calibration scene generation unit 120, a calibration image storage unit 122, a calibration captured image input unit 126, a feature point extraction processing unit 128, a correction coefficient calculation unit 130, a target projection. And an area adjustment unit 132.

コンテンツ格納部１１２は、単一の投影像１０６として投影する信号源のコンテンツ画像を格納する。コンテンツ格納部１１２は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。なお、投影対象となるコンテンツ画像は、特に限定されるものではなく、静止画像ファイルとして与えられてもよいし、プレゼンテーションなどのアプリケーションやオペレーティング・システムの実行により生成される表示画面として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。   The content storage unit 112 stores a content image of a signal source to be projected as a single projection image 106. The content storage unit 112 is configured as a storage area such as a random access memory (RAM), a hard disk drive (HDD), a solid state drive (SSD), and a removable removable medium. The content image to be projected is not particularly limited, and may be given as a still image file, or may be given as a display screen generated by execution of an application such as a presentation or an operating system. Alternatively, it may be given as a frame at an arbitrary timing in the moving image file. Hereinafter, for convenience of explanation, a case where a content image is given as a still image will be described as an example.

補正処理部１１４ａ〜１１４ｅは、投影システム１００に含まれるプロジェクタ１５０ａ〜１５０ｅに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。   Correction processing units 114 a to 114 e are provided corresponding to projectors 150 a to 150 e included in projection system 100. The correction processing unit 114 reads the content image from the content storage unit 112, performs correction processing, and generates a corresponding projection image for the projector.

投影画像出力部１１６ａ〜１１６ｅは、投影システム１００に含まれるプロジェクタ１５０ａ〜１５０ｅに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力インタフェースを含み構成され、接続されるプロジェクタ１５０に対し、切替部１２４で選択された入力画像を映像出力する。   Projection image output units 116 a to 116 e are provided corresponding to projectors 150 a to 150 e included in projection system 100. Each of the projection image output units 116 includes a display output interface connected to the corresponding projector 150, and outputs the input image selected by the switching unit 124 to the connected projector 150.

切替部１２４ａ〜１２４ｅは、当該システム１００の動作モードに応じて、画像信号のフローを切り替える。切替部１２４は、コンテンツ画像を投影する投影モード中は、補正処理部１１４の出力に入力側を切り替え、校正モード中は、校正用画像格納部１２２の出力に入力側を切り替える。   The switching units 124 a to 124 e switch the flow of the image signal according to the operation mode of the system 100. The switching unit 124 switches the input side to the output of the correction processing unit 114 during the projection mode for projecting the content image, and switches the input side to the output of the calibration image storage unit 122 during the calibration mode.

校正用画像格納部１２２は、校正モード中に各プロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２２は、ＲＡＭ、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。   The calibration image storage unit 122 stores a calibration image to be projected from each projector 150 during the calibration mode. The calibration image storage unit 122 is configured as a storage area such as a RAM, an HDD, an SSD, or a removable removable medium.

本実施形態による校正処理では、複数回に分けて、校正のための撮像が行われる。画像処理装置１１０は、校正用画像格納部１２２から各校正用画像を読み出して、複数のプロジェクタ１５０ａ〜１５０ｅ各々から適時に出力させる。このとき、画像処理装置１１０は、ユーザ入力等に基づいて、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なくすべてのプロジェクタ１５０の校正結果が得られるように、校正処理の各段階に応じて校正用画像を選択して投影する。各校正処理の段階における各プロジェクタが画像を投影して構成されるシーンを、以下、校正用投影シーンと参照する。   In the calibration processing according to the present embodiment, imaging for calibration is performed in a plurality of times. The image processing apparatus 110 reads out each calibration image from the calibration image storage unit 122 and outputs it from each of the projectors 150a to 150e in a timely manner. At this time, the image processing apparatus 110 grasps the positional relationship of the projection images of the plurality of projectors 150 based on user input and the like, so that the calibration results of all the projectors 150 can be obtained without excess or deficiency as a whole. A calibration image is selected and projected according to each stage of the calibration process. Hereinafter, a scene configured by projecting an image by each projector in each calibration processing stage is referred to as a calibration projection scene.

上述した各校正用投影シーンを構成する校正用画像は、校正用シーン生成部１２０により、典型的には静止画像として生成される。校正用シーン生成部１２０は、ユーザから入力されたプロジェクタ１５０の設置条件に基づいて、各プロジェクタ１５０の最適化された校正用画像を生成する。設置条件は、プロジェクタ台数およびグループ構成（例えば、３台のプロジェクタを含む第１のグループと、２台のプロジェクタを含む第２のグループとの合計５台プロジェクタが設置されているといった条件）を含むことができる。校正用シーン生成部１２０は、複数のグループのうちのプロジェクタ１５０各々が属するグループを判定し、各プロジェクタ１５０に応じた校正用画像を生成する、本実施形態における判定手段を構成する。   The calibration images constituting the calibration projection scenes described above are typically generated as still images by the calibration scene generation unit 120. The calibration scene generation unit 120 generates an optimized calibration image for each projector 150 based on the installation conditions of the projector 150 input from the user. The installation conditions include the number of projectors and a group configuration (for example, a condition that a total of five projectors including a first group including three projectors and a second group including two projectors are installed). be able to. The calibration scene generation unit 120 constitutes a determination unit in the present embodiment that determines a group to which each of the projectors 150 among a plurality of groups belongs and generates a calibration image corresponding to each projector 150.

図４（Ａ）〜（Ｃ）は、本実施形態において、横一列に互い違いに並べた５台のうちの被投影面１０２に近い前方側の第１のグループに属するプロジェクタ１５０ａ〜１５０ｃに対して生成される３つの校正用画像２００ａ〜２００ｃを例示する。図４（Ｄ）および（Ｅ）は、５台のうちの被投影面から離れた後方側の第２のグループに属する２台のプロジェクタ１５０ｄ，１５０ｅに対して生成される２つの校正用画像２００ｄ，２００ｅを例示する。   4A to 4C show projectors 150a to 150c that belong to the first group on the front side close to the projection surface 102 out of the five units arranged in a horizontal row in this embodiment. The three calibration images 200a to 200c to be generated are illustrated. 4D and 4E show two calibration images 200d generated for two projectors 150d and 150e belonging to the second group on the rear side away from the projection surface among the five projectors. , 200e.

図４に示すように、校正用画像２００は、投影像の歪みを検出するための校正点を規定する校正パターンの配列を含み構成される。校正パターンの配列は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。図４に示す例示では、黒地上に白ベタの円が等間隔に配列されている。投影された校正パターンの配列がカメラ１６０により撮像され、その校正点の組が抽出され、座標が検出されることにより、各プロジェクタにおける投影像の台形歪みや局所的な歪みが検出される。校正用画像２００は、好適には、校正パターンの配列の外側に一定の余白部が設けられる。校正モード中、各プロジェクタ１５０に対し、校正パターンを含む校正用画像を出力する投影画像出力部１１６が、本実施形態における出力手段を構成する。   As shown in FIG. 4, the calibration image 200 includes an array of calibration patterns that define calibration points for detecting distortion of the projected image. The calibration pattern array defines coordinates on the projector memory and is configured as a pattern formed by arranging arbitrary graphic elements according to a predetermined rule. In the example shown in FIG. 4, solid white circles are arranged at equal intervals on the black ground. The projected calibration pattern array is picked up by the camera 160, a set of calibration points is extracted, and coordinates are detected to detect trapezoidal distortion and local distortion of the projected image in each projector. The calibration image 200 is preferably provided with a certain margin outside the calibration pattern array. The projection image output unit 116 that outputs a calibration image including a calibration pattern to each projector 150 during the calibration mode constitutes output means in the present embodiment.

単一の投影像１０６の隅の領域を担当する第１グループの左右端のプロジェクタ１５０ａ，１５０ｃに対する校正用画像２００ａ，２００ｃには、さらに、校正パターンの配列の外側の余白領域に四隅マーカが設けられる。四隅マーカは、上記目標投影領域をスクリーンなどの被投影面１０２の四隅に位置合わせする目安となるものである。ユーザは、投影される四隅マーカが被投影面１０２内に収まるように、複数のプロジェクタ１５０の投影角度、ズームを調整すればよい。図４に示す例示では、黒地上に白ベタの正方形が付加されている。四隅マーカは、本実施形態における位置合わせマーカを構成する。   The calibration images 200a and 200c for the left and right projectors 150a and 150c of the first group in charge of the corner area of the single projection image 106 are further provided with four corner markers in the blank area outside the calibration pattern array. It is done. The four-corner markers serve as a standard for aligning the target projection area with the four corners of the projection surface 102 such as a screen. The user may adjust the projection angles and zooms of the plurality of projectors 150 so that the projected four corner markers are within the projection surface 102. In the example shown in FIG. 4, a white solid square is added to the black ground. The four corner markers constitute the alignment markers in the present embodiment.

なお、説明する実施形態では、第１のグループにおいて、左２隅の領域を担当するプロジェクタ１５０ａと右２隅の領域を担当するプロジェクタ１５０ｃとに対する校正用画像に四隅マーカが含められるが、これに限定されない。他の実施形態では、第２のグループにおいて隅の領域を担当するプロジェクタ１５０ｄ，１５０ｅに対する校正用画像に四隅マーカが含められてもよいし、それぞれのプロジェクタ１５０ａ〜１５０ｅに対する校正用画像の四隅に四隅マーカが設けられることを妨げるものではなく、位置合わせマーカが、校正パターンとは別の校正用画像として準備されることを妨げるものでもない。第１のグループおよび第２のグループあわせて、被投影面のすべての隅の位置合わせマーカが少なくとも１揃いすれば充分である。   In the embodiment to be described, in the first group, a four-corner marker is included in the calibration image for the projector 150a in charge of the left two corner region and the projector 150c in charge of the right two corner region. It is not limited. In another embodiment, four-corner markers may be included in the calibration images for the projectors 150d and 150e that are in charge of the corner region in the second group, or four corners are included in the four corners of the calibration images for the projectors 150a to 150e. It does not prevent the marker from being provided, nor does it prevent the alignment marker from being prepared as a calibration image different from the calibration pattern. It is sufficient that at least one alignment marker of all corners of the projection surface is aligned for the first group and the second group.

再び図３を参照すると、カメラ１６０は、投影された校正用投影像が画角に収まるように固定されており、校正用投影シーン毎に、投影された校正用投影像の撮像を行う。カメラ１６０で撮像された校正用撮像画像は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、撮像された画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。校正用撮像画像入力部１２６は、カメラ１６０からの各撮像画像の入力を受け、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する、本実施形態における取得手段を構成する。   Referring to FIG. 3 again, the camera 160 is fixed so that the projected calibration projection image falls within the angle of view, and captures the projected calibration projection image for each calibration projection scene. The calibration image captured by the camera 160 is a wireless connection such as a wireless local area network (LAN), Bluetooth (registered trademark), or wireless USB (Universal Serial Bus), or a wired connection such as a wired USB or a wired LAN. To the image processing apparatus 110. Alternatively, the captured image is read by the image processing apparatus 110 via a removable medium such as an SD card (registered trademark) or a compact flash (registered trademark). The calibrated captured image input unit 126 receives input of each captured image from the camera 160, and obtains a plurality of calibrated captured images that include the projected calibration images and that has been captured. Configure.

特徴点抽出処理部１２８は、上述した複数の校正用撮像画像から校正パターンの配列の校正点および四隅マーカの検出点を抽出する。特徴点抽出処理部１２８により抽出された校正点の座標情報および四隅マーカの検出点の座標情報は、補正係数計算部１３０に渡される。特徴点抽出処理部１２８は、本実施形態における抽出手段を構成する。   The feature point extraction processing unit 128 extracts the calibration points of the calibration pattern array and the detection points of the four corner markers from the plurality of calibration captured images described above. The coordinate information of the calibration points and the coordinate information of the detection points of the four corner markers extracted by the feature point extraction processing unit 128 are passed to the correction coefficient calculation unit 130. The feature point extraction processing unit 128 constitutes extraction means in the present embodiment.

補正係数計算部１３０は、初期校正においては、渡された四隅マーカの検出点に基づき、目標投影領域を画定する基準点の初期位置座標を設定する。そして、補正係数計算部１３０は、設定した目標投影領域および渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｅに対する補正係数を計算する。補正係数としては、幾何補正係数および投影像のブレンディングの補正係数が算出され、補正処理部１１４ａ〜１１４ｅに設定される。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。   In the initial calibration, the correction coefficient calculation unit 130 sets the initial position coordinates of the reference point that defines the target projection area based on the detected detection points of the four corner markers. Then, the correction coefficient calculation unit 130 calculates correction coefficients for the plurality of projectors 150a to 150e based on the set target projection area and the passed calibration points. As the correction coefficient, a geometric correction coefficient and a correction coefficient for blending the projected image are calculated and set in the correction processing units 114a to 114e. The geometric correction coefficient is a correction coefficient that incorporates geometric correction such as alignment, scale adjustment, and distortion correction. The blending coefficient is a correction coefficient for performing color and luminance adjustment when overlapping areas are overlapped.

なお、初期校正で設定された基準点の位置座標は、四隅マーカの検出点の位置座標を起点として、例えば、ユーザによる手動操作により調整され得る。補正係数計算部１３０は、調整においては、最新の基準点により画定される目標投影領域および渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｅに対する補正係数を再計算する。   Note that the position coordinates of the reference point set in the initial calibration can be adjusted by manual operation by the user, for example, starting from the position coordinates of the detection points of the four corner markers. In the adjustment, the correction coefficient calculation unit 130 recalculates the correction coefficients for the plurality of projectors 150a to 150e based on the target projection area defined by the latest reference point and the passed calibration points.

目標投影領域調整部１３２は、ユーザによる手動操作に関連して、目標投影領域を画定する基準点の位置座標を移動させる移動指示を受け付ける受領手段である。例えば、画像処理装置１１０のディスプレイ上に撮像中の撮像画像を表示し、その画像上で、現在の基準点の位置や現在の投影状態を表示しながら、ユーザからのマウスやカーソル移動などにより座標点を移動する操作を受けることによって、目標投影領域の基準点の座標の調整を受けることができる。   The target projection area adjustment unit 132 is a receiving unit that receives a movement instruction for moving the position coordinates of the reference point that defines the target projection area in association with a manual operation by the user. For example, the captured image being captured is displayed on the display of the image processing apparatus 110, and the coordinates of the current reference point position and the current projection state are displayed on the image while the user moves the mouse or the cursor. By receiving the operation of moving the point, the coordinates of the reference point of the target projection area can be adjusted.

補正処理部１１４は、それぞれ、計算された各種補正係数に基づき、全体として投影すべきコンテンツ画像から、プロジェクタ毎に出力すべき投影画像を生成する。コンテンツ画像を投影する投影モード中、切替部１２４は、補正処理部１１４の出力に入力側を切り替え、これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４の処理結果として与えられる投影画像を映像出力する。   The correction processing unit 114 generates a projection image to be output for each projector from the content image to be projected as a whole based on the calculated various correction coefficients. During the projection mode in which the content image is projected, the switching unit 124 switches the input side to the output of the correction processing unit 114, and accordingly, the projection image output unit 116 provides the processing result of the corresponding correction processing unit 114. Output the projected image.

なお、図３に示す実施形態では、各機能部１１２〜１３２が単一の画像処理装置１１０上で実現されるものとして説明したが、投影システム１００の実施形態は、図３に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｅ各々をプロジェクタ１５０ａ〜１５０ｅ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３２を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３２をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、上述した特徴点抽出処理部１２８、補正係数計算部１３０および目標投影領域調整部１３２などの機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。   In the embodiment illustrated in FIG. 3, the functional units 112 to 132 are described as being realized on the single image processing apparatus 110, but the embodiment of the projection system 100 is limited to that illustrated in FIG. 3. Is not to be done. In another embodiment, each of the correction processing units 114a to 114e may be realized on each of the projectors 150a to 150e in order to reduce a load concentrated on the image processing apparatus due to an increase in the number of units. In still another embodiment, the function units 112 to 132 may be distributedly mounted on a plurality of image processing apparatuses, or all the function units 112 to 132 may be mounted on any projector 150. Alternatively, the image processing apparatus 110 may be configured as a single apparatus having the functions of a plurality of projectors. Furthermore, in another embodiment, functions such as the feature point extraction processing unit 128, the correction coefficient calculation unit 130, and the target projection region adjustment unit 132 described above may be implemented as a server that provides services as a service via a network.

（全体処理フロー）
以下、本実施形態による校正処理について、図５に示すフローチャート、並びに図６および図７に示す校正用投影シーンを参照しながら、全体的な流れを説明する。図５は、本実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図５に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。 (Overall processing flow)
Hereinafter, the overall flow of the calibration processing according to the present embodiment will be described with reference to the flowchart shown in FIG. 5 and the calibration projection scenes shown in FIGS. FIG. 5 is a flowchart showing an overall processing flow of the calibration processing according to the present embodiment. The process shown in FIG. 5 is started from step S100 in response to a calibration process start instruction from the user.

ステップＳ１０１では、画像処理装置１１０は、ユーザからのプロジェクタ連結数、グループ構成などの設置条件およびスクリーンのアスペクト比などの形状特性の入力を受領する。ステップＳ１０２では、画像処理装置１１０は、上述したように、入力されたプロジェクの設置条件およびスクリーンの形状特性に基づいて、複数のグループのうちのプロジェクタ各々が含まれるグループを判定し、各プロジェクタに対する適切な校正用画像を生成し、校正用投影シーンを生成する。   In step S101, the image processing apparatus 110 receives input of shape characteristics such as the number of connected projectors, installation conditions such as a group configuration, and an aspect ratio of a screen from the user. In step S102, as described above, the image processing apparatus 110 determines a group that includes each of the plurality of groups based on the input installation conditions of the project and the shape characteristics of the screen. An appropriate calibration image is generated, and a calibration projection scene is generated.

ステップＳ１０３では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｅを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。   In step S <b> 103, the image processing apparatus 110 projects the generated calibration projection scenes in order using the plurality of projectors 150 a to 150 e, and each image captured by the camera 160 corresponding to each calibration projection scene. Acquire a calibration image.

図６および図７は、本実施形態による画像処理装置１１０が複数のプロジェクタ１５０ａ〜１５０ｅから投影させる校正用投影シーンを例示する図である。図６および図７には、図４（Ａ）〜（Ｅ）に示した５つの校正用画像を各プロジェクタから順次投影する５つの校正用投影シーンが示されている。   6 and 7 are diagrams illustrating calibration projection scenes that the image processing apparatus 110 according to the present embodiment projects from the plurality of projectors 150a to 150e. 6 and 7 show five calibration projection scenes for sequentially projecting the five calibration images shown in FIGS. 4A to 4E from the respective projectors.

図６および図７に示す例では、撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、第１プロジェクタ１５０ａから図４（Ａ）に示す校正用画像を投影させ、それ以外のプロジェクタ１５０ｂ〜１５０ｅからは何も投影しない。撮像２回目の第２シーンおよび撮像３回目の第３シーンは、同様に、プロジェクタ１５０ｂ，１５０ｃから、順次、図４（Ｂ）および（Ｃ）に示す校正用画像が投影される。ある１つのプロジェクタが校正用画像を投影している間、他のプロジェクタからは何も投影されない。撮像１回目から撮像３回目までの校正用投影シーンは、第１のグループに対する。   In the example shown in FIGS. 6 and 7, in the first calibration projection scene for the first imaging, the image processing apparatus 110 first projects the calibration image shown in FIG. 4A from the first projector 150a, Nothing is projected from other projectors 150b to 150e. Similarly, in the second scene for the second imaging and the third scene for the third imaging, the calibration images shown in FIGS. 4B and 4C are sequentially projected from the projectors 150b and 150c. While one projector projects the calibration image, nothing is projected from the other projectors. The calibration projection scenes from the first imaging to the third imaging are for the first group.

同様に、撮像４，５回目の第４および第５校正用投影シーンでは、画像処理装置１１０は、第４プロジェクタ１５０ｄおよび第５プロジェクタ１５０ｅから順次、図４（Ｄ）および図４（Ｅ）に示す校正用画像を投影させる。撮像４回目から撮像５回目までの校正用投影シーンは、第２のグループに対する。   Similarly, in the fourth and fifth calibration projection scenes for the fourth and fifth imaging, the image processing apparatus 110 sequentially starts from the fourth projector 150d and the fifth projector 150e in FIGS. 4D and 4E. The calibration image shown is projected. The calibration projection scenes from the fourth imaging to the fifth imaging are for the second group.

ユーザは、連結するすべてのプロジェクタ１５０ａ〜１５０ｅの投影像２１２〜２２０全体が画角内に収まるようにカメラ１６０を三脚などで固定して、例えば画像処理装置１１０が行うガイダンスに従って、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ１０４へ処理が進められる。あるいは、画像処理装置１１０は、順次校正用投影シーンを出力し、タイミングを合わせて各段階での撮影を行い、校正用撮像画像を取得する。これにより、校正パターンや四隅マーカの位置を単一の座標系において抽出することが可能となる。   The user fixes the camera 160 with a tripod or the like so that the projection images 212 to 220 of all the projectors 150a to 150e to be connected are within the angle of view, and, for example, according to the guidance performed by the image processing apparatus 110, Take multiple shots at. Each of the calibration captured images corresponding to each calibration projection scene from the camera 160 is acquired by the image processing apparatus 110 in a batch or sequentially, and the process proceeds to step S104. Alternatively, the image processing apparatus 110 sequentially outputs calibration projection scenes, performs shooting at each stage in accordance with the timing, and acquires a calibration captured image. As a result, the positions of the calibration pattern and the four corner markers can be extracted in a single coordinate system.

なお、説明する実施形態では、すべてのプロジェクタ１５０ａ〜１５０ｅの投影像全体が画角内に収まるようにカメラ１６０を三脚などで固定するものとして説明したが、これに限定されるものではない。他の実施形態では、共通のマーカなどにより撮像画像間の射影変換を求めて、分割して撮像した各撮像画像の座標系を単一の座標系に変換することで、分割撮像を行ってもよい。   In the embodiment to be described, the camera 160 is fixed with a tripod or the like so that the entire projected images of all the projectors 150a to 150e are within the angle of view. However, the present invention is not limited to this. In another embodiment, even if division imaging is performed by obtaining projective transformation between captured images using a common marker or the like, and converting the coordinate system of each captured image captured in a divided manner into a single coordinate system. Good.

ステップＳ１０４では、画像処理装置１１０は、取得された複数の校正用撮像画像各々から特徴点を抽出する特徴点抽出統合処理を実行する。特徴点抽出統合処理では、各プロジェクタの校正点の組および四隅マーカが規定する基準点の座標位置が、撮像座標系において抽出される。   In step S <b> 104, the image processing apparatus 110 executes feature point extraction and integration processing that extracts feature points from each of the acquired plurality of calibration captured images. In the feature point extraction and integration process, the calibration point set of each projector and the coordinate position of the reference point defined by the four corner markers are extracted in the imaging coordinate system.

特徴点抽出統合処理では、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、校正点の座標として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、四隅マーカも同様であり、複数の撮像画像から、各々の撮像画像の座標系における四隅マーカの重心座標が検出され、その重心座標が基準点の座標として抽出される。   In the feature point extraction / integration processing, the image processing apparatus 110 first detects a calibration pattern (circular shape) of the projection image of each projector 150 in each captured image, and calculates the barycentric coordinate in the coordinate system of the captured image as a calibration point. Extract as the coordinates. The center-of-gravity coordinates of the circular shape can be calculated, for example, by binarizing the image, cutting out a block of white pixels by pattern matching, and obtaining the center-of-gravity coordinates. The same applies to the four corner markers. The barycentric coordinates of the four corner markers in the coordinate system of each picked-up image are detected from the plurality of picked-up images, and the barycentric coordinates are extracted as the coordinates of the reference point.

以下、第１〜第５プロジェクタ１５０ａ〜１５０ｅの校正点の座標をＬ１〜Ｌ５で表し、四隅マーカの基準点の座標をＭ１，Ｍ３で表す。説明する実施形態では、カメラ１６０を固定して撮像しているため、得られる校正点座標Ｌ１〜Ｌ５および基準点座標Ｍ１，Ｍ３は、単一の座標系（撮像画像座標系）の座標である。 Hereinafter, the coordinates of the calibration points of the first to fifth projectors 150a to 150e are represented by L 1 to L 5 , and the coordinates of the reference points of the four corner markers are represented by M 1 and M 3 . In the embodiment to be described, since the camera 160 is fixed and imaged, the calibration point coordinates L 1 to L 5 and the reference point coordinates M 1 and M 3 obtained are a single coordinate system (captured image coordinate system). Coordinates.

ステップＳ１０５では、詳細を後述するが、上記算出された校正点座標Ｌ１〜Ｌ５および基準点座標Ｍ１，Ｍ３に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０６では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０５およびステップＳ１０６で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。 In step S105, as will be described in detail later, a geometric correction coefficient for each projector is calculated based on the calculated calibration point coordinates L 1 to L 5 and reference point coordinates M 1 and M 3 . In step S106, the image processing apparatus 110 calculates a blending coefficient for each projector. In step S107, the image processing apparatus 110 sets the geometric correction coefficient and the blending coefficient for each projector calculated in steps S105 and S106 for each correction processing unit 114.

ステップＳ１０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。補正処理の開始により、切替部１２４は、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えて、投影モードに移行する。ステップＳ１１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。   In step S108, the image processing apparatus 110 reads the content image to be projected, and in step S109, the correction processing unit 114 for each projector executes correction processing on the content image. When the correction process is started, the switching unit 124 switches the input of the projection image output unit 116 to the output of the correction processing unit 114 and shifts to the projection mode. In step S110, the image processing apparatus 110 outputs the corrected projection image for each projector from the projection image output unit 116 for each projector.

このようにして、第１のグループの３つの投影像ならびに第２のグループの２つの投影像がそれぞれ１つに連結されかつ共通の目標投影領域に重畳して投影されるように、投影像各々の大きさおよび位置の補正が行われる。グループ内では、連結する投影像における重複部分の明るさがなだらかにつながるように画素値のブレンディング補正を行ったコンテンツ画像が投影され、グループ間では、第１のグループの連結投影像および第２のグループの連結投影像が重畳されて、ユーザが投影像で指定した四隅マーカ領域内へ表示されるようになる。   In this way, each of the projection images so that the three projection images of the first group and the two projection images of the second group are connected to each other and are superimposed and projected onto a common target projection region. Is corrected. Within a group, a content image that has undergone pixel value blending correction so that the brightness of overlapping portions in the connected projection images is smoothly connected is projected, and between the groups, the first group of connected projection images and the second The connected projection images of the groups are superimposed and displayed in the four corner marker areas specified by the projection image by the user.

上記投影モードの初期において、コンテンツ画像が投影される領域の四隅をスクリーン１０２に一致させる調整作業を行うためのユーザ・インタフェースが、プロジェクタ１５０が投影する画面の一部や、別途設けられたディスプレイ画面上に表示される。   In the initial stage of the projection mode, a user interface for performing an adjustment operation for matching the four corners of the area on which the content image is projected with the screen 102 is a part of the screen projected by the projector 150 or a display screen provided separately. Displayed above.

ユーザは、補正後の単一の投影像１０６が被投影面１０２に一致しているか否かを視察で確認し、上記ユーザ・インタフェースを介して、補正後の全体としての投影像１０６を被投影面１０２に合わせ込む調整を行うことができる。初期位置は、投影像が非線形に歪んでいる場合、四隅マーカの投影像を正確に矩形となるようにスクリーンの四隅に配置することは難しいので、通常、被投影面の四隅の少し内側に設定した領域となっている。そのため、全体としての投影像１０６を被投影面１０２の四隅へ少しずつ広げて行く調整となる。   The user confirms by inspection whether or not the corrected single projection image 106 matches the projection surface 102, and the projection image 106 as a whole after correction is projected via the user interface. Adjustment to fit the surface 102 can be made. The initial position is usually set slightly inside the four corners of the projection surface because it is difficult to place the four corner marker projection images at the four corners of the screen so that they are exactly rectangular when the projection image is distorted nonlinearly. It has become an area. Therefore, the adjustment is performed so that the projection image 106 as a whole is gradually spread to the four corners of the projection surface 102.

図８は、特定の実施形態において、目標投影領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する。図８に示す画面４００は、各四隅の座標値を調整するための設定領域４１０，４３０，４４０，４５０と、設定を反映させる指示を受け付ける「調整」ボタン４０２と、調整を終了する指示を受け付ける「終了」ボタン４０４とを含み構成される。   FIG. 8 illustrates a user interface screen for fine-tuning the positions of the four corners of the target projection area in a specific embodiment. A screen 400 shown in FIG. 8 receives setting areas 410, 430, 440, and 450 for adjusting the coordinate values of the four corners, an “adjustment” button 402 that receives an instruction to reflect the setting, and an instruction to end the adjustment. And an “end” button 404.

左上に対応する設定領域４１０を代表して説明すると、各設定領域には、四隅の位置座標（ｘ，ｙ）を表示するテキストボックス４１２，４１４と、四隅の座標位置を移動させる指示を受け付けるユーザ・インタフェース部品であるボタン４１６，４１８，４２０，４２２とが含まれる。なお図８に示す例では、調整量は２段階の大きさで行われている。   The setting area 410 corresponding to the upper left will be described as a representative. In each setting area, text boxes 412 and 414 displaying the position coordinates (x, y) of the four corners and a user who receives an instruction to move the coordinate positions of the four corners. -Buttons 416, 418, 420, and 422 which are interface parts are included. In the example shown in FIG. 8, the adjustment amount is performed in two stages.

目標投影領域の四隅の位置の微調整量がユーザ入力され、「調整」ボタン４０２が押下されると、統合座標系で目標投影領域を画定する基準点の座標が更新される。ユーザは、上記ユーザ・インタフェースを用いて、目視により、コンテンツ画像を投影する目標投影領域の四隅を微調整しながら、コンテンツ画像がスクリーン１０２にぴったり収まったと判断すると、調整終了の指示を行うことになる。ステップＳ１１１では、画像処理装置１１０は、ユーザから四隅位置調整の終了指示を受け付けたか否かを判定する。   When the fine adjustment amounts of the four corner positions of the target projection area are input by the user and the “adjustment” button 402 is pressed, the coordinates of the reference points that define the target projection area in the integrated coordinate system are updated. When the user determines that the content image is exactly within the screen 102 while finely adjusting the four corners of the target projection area onto which the content image is projected, using the user interface, the user gives an instruction to end the adjustment. Become. In step S <b> 111, the image processing apparatus 110 determines whether an instruction to end four-corner position adjustment has been received from the user.

ステップＳ１１１で、四隅位置調整の終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１２へ処理が進められる。ステップＳ１１２では、画像処理装置１１０は、ユーザ・インタフェースを介して入力された調整量に基づき、目標投影領域の四隅を規定する基準点の位置座標を更新し、ステップＳ１０５へ処理をループさせる。これにより、調整結果が反映された状態で、各プロジェクタの幾何補正係数およびブレンディング係数の再計算が行われる。補正後の投影画像が被投影面に一致していると視察で確認するまで、ユーザは、繰り返し操作することができる。一方、ステップＳ１１１で、終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１３へ処理を分岐させ、調整を完了させて、通常の投影モードに移行する。   If it is determined in step S111 that an instruction to end four-corner position adjustment has not been received (NO), the process proceeds to step S112. In step S112, the image processing apparatus 110 updates the position coordinates of the reference points that define the four corners of the target projection area based on the adjustment amount input via the user interface, and loops the process to step S105. Accordingly, the geometric correction coefficient and the blending coefficient of each projector are recalculated in a state where the adjustment result is reflected. The user can repeatedly operate until it is confirmed by inspection that the corrected projected image matches the projection surface. On the other hand, if it is determined in step S111 that an end instruction has been received (YES), the process is branched to step S113, the adjustment is completed, and the normal projection mode is entered.

（複数のグループの補正係数）
以下、図９を参照しながら、複数のグループの各プロジェクタの補正係数の計算について説明する。図９は、本実施形態において、校正用画像の投影像と、目標投影領域と、被投影面との関係を撮像画像の座標系にて示す図である。 (Correction factors for multiple groups)
Hereinafter, the calculation of the correction coefficient of each projector in the plurality of groups will be described with reference to FIG. FIG. 9 is a diagram showing the relationship among the projected image of the calibration image, the target projection area, and the projection surface in the present embodiment, in the coordinate system of the captured image.

図９（Ａ）には、第１のグループの３つの校正用画像の投影像２１２ａ，２１４ｂ，２１６ｃが、撮像画像座標系３００上で重ね合わせられて表示されている。プロジェクタ１５０ａ，１５０ｂ，１５０ｃの投影可能領域（全面白色の画像を投影した場合の投影領域に対応する。）３０４ａ，３０４ｂ，３０４ｃも併せて図９（Ａ）中に示されている。また、図９（Ｂ）には、第２のグループの２つの校正用画像の投影像２１８ｄ，２２０ｅが、撮像画像座標系３００上で重ね合わせられて表されている。プロジェクタ１５０ｄ，１５０ｅの投影可能領域３０４ｄ，３０４ｅも図９（Ｂ）中に示されている。図９中、点線の白線で示された領域３１０が目標投影領域であり、初期においては、ユーザが被投影面１０２に位置あわせした四隅マーカで囲まれる４辺形領域であり、この領域は、必ずしも矩形ではない。黒い矩形３０２で表された領域は、被投影面１０２に対応する領域であり、この領域にちょうど全体としての投影像を収めたいということになる。   In FIG. 9A, projection images 212 a, 214 b, and 216 c of three calibration images in the first group are displayed superimposed on the captured image coordinate system 300. Projectable areas of projectors 150a, 150b, and 150c (corresponding to projection areas when a white image is entirely projected) 304a, 304b, and 304c are also shown in FIG. 9A. In FIG. 9B, projection images 218d and 220e of two calibration images in the second group are superimposed on the captured image coordinate system 300. Projectable areas 304d and 304e of the projectors 150d and 150e are also shown in FIG. In FIG. 9, an area 310 indicated by a dotted white line is a target projection area. Initially, the area is a quadrilateral area surrounded by four corner markers aligned with the projection surface 102 by the user. It is not necessarily a rectangle. The area represented by the black rectangle 302 is an area corresponding to the projection surface 102, and it is intended to fit the entire projected image in this area.

補正係数の計算においては、まず、第１グループの３連結のプロジェクタ用の補正係数の計算が、以下のように行われる。校正用画像の投影像２１２ａ，２１４ｂ，２１６ｃは、図９に示すように、プロジェクタの向きがスクリーンと正対していないと、台形歪みを生じたり、超短焦点プロジェクタではスクリーンの凸凹形状に起因する非線形な幾何歪みを生じたりし得る。このため、校正点座標Ｌ１〜Ｌ３および基準点座標Ｍ１，Ｍ３に基づいて、コンテンツ画像座標から目標投影領域（初期位置は投影像の四隅マーカ領域）３１０への射影変換により、幾何歪みを補正するとともに、３つのプロジェクタ１５０の投影像が、隣接するプロジェクタ間で重複部分を持ちつつ、重ね合わさって１つの大きなコンテンツ画像を投影し、４隅マーカで画定される目標投影領域３１０内へコンテンツ画像を収めて投影できるように、各プロジェクタ１５０に対し、幾何補正係数およびブレンディング係数が算出される。 In calculating the correction coefficient, first, the correction coefficient for the first group of three-connected projectors is calculated as follows. As shown in FIG. 9, the projection images 212a, 214b, and 216c of the calibration image cause trapezoidal distortion when the projector is not facing the screen, or are caused by the uneven shape of the screen in the ultra-short focus projector. Non-linear geometric distortion may occur. Therefore, based on the calibration point coordinates L 1 to L 3 and the reference point coordinates M 1 and M 3 , geometric conversion is performed by projective conversion from the content image coordinates to the target projection area (initial position is the four corner marker area of the projected image) 310. In addition to correcting distortion, the projection images of the three projectors 150 are overlapped with each other while projecting one large content image, and within the target projection area 310 defined by the four corner markers. A geometric correction coefficient and a blending coefficient are calculated for each projector 150 so that the content image can be projected.

補正係数の計算においては、続いて、校正点座標Ｌ４，Ｌ５および基準点座標Ｍ１，Ｍ３に基づいて、第２グループの２連結のプロジェクタ用の補正係数の計算が同様にして行われる。目標投影領域は、第１グループで検出された基準点座標Ｍ１，Ｍ３に基づいて画定される領域３１０を共通して用いることができる。 In the calculation of the correction coefficient, the calculation of the correction coefficient for the second group of two connected projectors is performed in the same manner based on the calibration point coordinates L 4 and L 5 and the reference point coordinates M 1 and M 3. Is called. As the target projection area, an area 310 defined based on the reference point coordinates M 1 and M 3 detected in the first group can be used in common.

（幾何補正係数の計算）
以下、図１０〜図１２および図１４（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図１０は、本実施形態による補正係数計算部１３０が実行する幾何補正係数の計算処理を示すフローチャートである。図１０に示す処理は、図５に示したステップＳ１０５で呼び出されて、ステップＳ２００から開始される。 (Calculation of geometric correction coefficient)
Details of the geometric correction coefficient calculation process for each projector will be described below with reference to FIGS. 10 to 12 and FIG. FIG. 10 is a flowchart showing a geometric correction coefficient calculation process executed by the correction coefficient calculation unit 130 according to the present embodiment. The process shown in FIG. 10 is called in step S105 shown in FIG. 5, and is started from step S200.

ステップＳ２０１では、補正係数計算部１３０は、各プロジェクタ１５０について、撮像画像の座標系上の校正点座標Ｌ１〜Ｌ５各々を線形に外挿し、各プロジェクタ１５０の投影可能領域の外周座標を計算する。 In step S <b> 201, the correction coefficient calculation unit 130 linearly extrapolates each of the calibration point coordinates L 1 to L 5 on the coordinate system of the captured image for each projector 150 to calculate the outer peripheral coordinates of the projectable area of each projector 150. To do.

図１１は、校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１１（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの校正点を示し、図１１（Ｂ）は、撮像画像の座標系上の対応する４つの校正点を示す。図１１（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（各プロジェクタの投影像の四隅および四辺上の校正点）は、外周部に位置する４つの校正点（例えばＰ００Ｐ〜Ｐ１１Ｐ）の四辺形パッチを外挿する位置（校正点間距離の例えば１．５倍の距離の位置）に定められる。 FIG. 11 is a diagram showing a calculation method of the outer peripheral coordinates of the projectable region by linear extrapolation using each calibration point coordinate. FIG. 11A shows four calibration points at the upper left corner on the projector memory, and FIG. 11B shows four corresponding calibration points on the coordinate system of the captured image. As shown in FIG. 11A, the outer peripheral coordinates (the calibration points on the four corners and the four sides of the projection image of each projector) on the projector memory are four calibration points (for example, P00 P to P11 P on the outer peripheral portion). ) Is extrapolated to a position where the quadrangular patch is extrapolated (a position having a distance of 1.5 times the distance between calibration points, for example).

撮像画像座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（四隅および四辺上の校正点）は、図１１（Ｂ）に示すように、外周部に位置する各４つの校正点座標から線形に外挿することによって計算することができる。同様に、外周座標（四隅および四辺上の校正点）以外のプロジェクタ・メモリ上の任意の座標点に対応する座標系上の点も、近傍の４点の校正点座標を線形に内挿または外挿して求めることができる。   As shown in FIG. 11B, the coordinates of the outer peripheral pixels (calibration points on the four corners and the four sides) corresponding to the projectable area of each projector in the captured image coordinate system are the coordinates of the four calibration points located on the outer peripheral portion. Can be calculated by linear extrapolation from. Similarly, the points on the coordinate system corresponding to arbitrary coordinate points on the projector memory other than the outer peripheral coordinates (the calibration points on the four corners and four sides) are linearly interpolated or extrapolated from the four nearby calibration point coordinates. It can be obtained by inserting.

上述した線形的な外挿をプロジェクタ毎に行うことにより、第１のグループの３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が撮像画像の座標系上で検出される。図９（Ａ）には、撮像画像の座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃが表されている。３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃの論理和の領域は、これから投影像を投影する目標投影領域３１０を余すところ無く充足させることが求められる。   By performing the above-described linear extrapolation for each projector, the projectable regions of the three projectors 150a to 150c in the first group (that is, the range in which the entire white image is projected) are the coordinates of the captured image. Detected on the system. FIG. 9A shows the projectable areas 304a to 304c of the three projectors detected on the coordinate system 300 of the captured image. The area of the logical sum of the projectable areas 304a to 304c of the three projectors is required to fully satisfy the target projection area 310 from which a projection image is projected.

また、図９（Ｂ）には、撮像画像の座標系上の四隅の基準点が示されている。第２のグループについても同様にして、図９（Ｂ）に示すように、第２グループの２台のプロジェクタの格子点座標Ｌ４，Ｌ５が抽出され、投影可能領域３０４ｄ，３０４ｅが同様に検出される。なお、第２のグループも同様に、２台の投影可能領域３０４ｄ，ｅの論理和の領域は、これから投影像を投影する目標投影領域３１０を余すところ無く充足させることが求められる。 FIG. 9B shows reference points at four corners on the coordinate system of the captured image. Similarly for the second group, as shown in FIG. 9B, the grid point coordinates L 4 and L 5 of the two projectors of the second group are extracted, and the projectable areas 304d and 304e are similarly set. Detected. Similarly, in the second group, it is required that the logical sum area of the two projectable areas 304d and e satisfies the target projection area 310 where the projection image is projected from now on.

再び図１０を参照すると、ステップＳ２０２では、補正係数計算部１３０は、図９の四隅の基準点座標による目標投影領域３１０へ矩形のコンテンツ画像をマップするため射影変換を求める。ここで、目標投影領域３１０からコンテンツ画像への射影変換をＨ１とする。補正係数計算部１３０は、目標投影領域３１０を画定する基準点座標Ｍ１，Ｍ３と、コンテンツ画像の四隅の座標とに基づいて、目標投影領域３１０からコンテンツ画像への射影変換Ｈ１の係数を計算する。射影変換Ｈ１の計算方法は、ここでは詳細に説明しない。 Referring to FIG. 10 again, in step S202, the correction coefficient calculation unit 130 obtains projective transformation in order to map the rectangular content image to the target projection area 310 based on the reference point coordinates at the four corners in FIG. Here, the H 1 projective transformation to the content image from the target projection area 310. The correction coefficient calculation unit 130 is a coefficient of the projective transformation H 1 from the target projection area 310 to the content image based on the reference point coordinates M 1 and M 3 that define the target projection area 310 and the coordinates of the four corners of the content image. Calculate Calculation of the projective transformation H 1 are not described in detail here.

ステップＳ２０３〜ステップＳ２０７のループでは、プロジェクタ毎に、ステップＳ２０４〜ステップＳ２０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。   In the loop of step S203 to step S207, each process shown in step S204 to step S206 is executed for each projector, and the geometric correction coefficient of each of the plurality of projectors is obtained.

ステップＳ２０４では、補正係数計算部１３０は、上記求められた射影変換Ｈ１により、撮像画像の座標系上の校正点座標Ｌ１〜Ｌ５を、コンテンツ画像の座標系に変換する。以下、目標投影領域３１０に貼り付けられた撮像画像の座標系上でのコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。 In step S204, the correction coefficient calculation unit 130, the by projective transformation H 1 obtained, the calibration point coordinates L 1 ~L 5 on the coordinate system of the captured image is converted into the coordinate system of the content image. Hereinafter, the content image on the coordinate system of the captured image pasted on the target projection area 310 is referred to as a “projection content image”, and the original content image that is the basis thereof is referred to as a “same size content image”.

ステップＳ２０５では、補正係数計算部１３０は、プロジェクタ・メモリ上の校正点座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２０６では、補正係数計算部１３０は、プロジェクタ・メモリ上の各整数画素座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。   In step S205, the correction coefficient calculation unit 130 associates the calibration point coordinates on the projector memory with the pixel position in the coordinate system of the equal-size content image via the coordinate system of the captured image. In step S206, the correction coefficient calculation unit 130 associates each integer pixel coordinate on the projector memory with a pixel position in the coordinate system of the equal-magnification content image by linear interpolation via the coordinate system of the captured image.

ステップＳ２０４〜ステップＳ２０６で示す各処理で計算される幾何補正係数は、図１２に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。   As shown in FIG. 12, the geometric correction coefficient calculated in each process shown in steps S204 to S206 is obtained by converting each coordinate on the projector memory 330 on the same size content image corresponding to the position on the projection content image. This is associated with the pixel position.

図１２に示すプロジェクタ・メモリ３３０ａの１つの校正点Ｐ４２Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の校正点Ｐ４２Ｐに対しては、撮像画像の座標系３００上の対応点Ｐ４２Ｃ（ＸＰ４２Ｃ，ＹＰ４２Ｃ）が抽出されている。そして、四辺形の目標投影領域３１０がコンテンツ画像にマップされるため、図１２に示すように、座標系３００上の位置座標Ｐ４２Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４２ｍ（ＸＰ４２ｍ，ＹＰ４２ｍ）が定まる。プロジェクタ・メモリ上の校正点Ｐ４２Ｐ以外のすべての校正点ＰｉｊＰについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の校正点以外の任意の座標については、近傍の２×２校正点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像における第１プロジェクタ１５０ａが担当する領域の画素位置が対応付けられる。 A representative calibration point P42 P in the projector memory 330a shown in FIG. 12 will be described as a representative. For the calibration point P42 P on the projector memory 330, a corresponding point P42 C ( X P42C , Y P42C ) are extracted. Since the quadrilateral target projection area 310 is mapped to the content image, as shown in FIG. 12, the position coordinate P42 C on the coordinate system 300 further corresponds to the same-size content image. The pixel position P42 m (X P42m , Y P42m ) is determined. Similarly for all calibration points Pij P other than the calibration point P42 P on the projector memory, the corresponding pixel position on the magnification content image is calculated. For any coordinates other than the calibration points on the projector memory, by linearly interpolating (interpolating or extrapolating at the peripheral part) the corresponding pixel positions on the content image of the nearby 2 × 2 calibration points, The corresponding pixel position on the same size content image can be calculated. Thereby, the pixel position of the area in charge of the first projector 150a in the content image is associated with the pixel in the predetermined area 332a on the projector memory 330a.

図１４（Ａ）は、ステップＳ２０４〜ステップＳ２０６の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１４（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。   FIG. 14A illustrates the data structure of the geometric correction coefficient of one projector calculated in the processing of step S204 to step S206. As shown in FIG. 14A, the corresponding pixel position on the equal-magnification content image for all the pixels of the projector memory thus obtained is the geometric correction coefficient.

ステップＳ２０３〜ステップＳ２０７のループですべてのプロジェクタについて対応付けが完了すると、ステップＳ２０８に進められる。ステップＳ２０８では、本処理を終了し、図５に示した呼び出し元へ処理が戻される。第２のグループについても同様に幾何補正係数が求められる。   When the association is completed for all projectors in the loop of step S203 to step S207, the process proceeds to step S208. In step S208, this process is terminated, and the process is returned to the caller shown in FIG. A geometric correction coefficient is similarly obtained for the second group.

（ブレンディング係数の計算）
以下、図１３および図１４を参照しながら、各プロジェクタ１５０のブレンディング係数の計算処理の詳細について説明する。図１３は、プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図である。ブレンディング係数の計算処理では、注目するプロジェクタ毎に処理が実行され、第１のグループの複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。 (Calculation of blending coefficient)
The details of the blending coefficient calculation process of each projector 150 will be described below with reference to FIGS. 13 and 14. FIG. 13 is a diagram for explaining the association of the blending coefficient with each coordinate on the projector memory. In the blending coefficient calculation process, the process is executed for each projector of interest, and the blending coefficient of each of the plurality of projectors 150a to 150c in the first group is obtained.

まず、補正係数計算部１３０は、撮像画像の座標系３００において、注目プロジェクタと、注目プロジェクタに隣接するプロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１３に示すように、撮像画像の座標系３００での目標投影領域３１０の最上辺から、左原点（○）から右方向へ探索し、順次下へ探索を進めることにより、まず、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。   First, the correction coefficient calculation unit 130 detects these overlapping regions in the coordinate system 300 of the captured image based on the outer peripheral coordinates of the projectable region of the target projector and the projector adjacent to the target projector. As shown in FIG. 13, by searching from the uppermost side of the target projection area 310 in the coordinate system 300 of the captured image in the right direction from the left origin (O) and proceeding downward sequentially, first the first projector The start point (●) and the end point (◎) of the overlapping area between 150a and the second projector 150b are detected.

図１３の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、ブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。   As shown for the first projector in the lower graph of FIG. 13, the blending coefficient is determined to be a maximum of 1 for pixels in the range from the origin (◯) to the start point (●) of the overlapping area. On the other hand, for pixels in the range from the start point (●) to the end point (◎) of the overlapping area, the actual brightness is linearly from 1.0 depending on the horizontal distance from the start point (●). A blending coefficient is calculated by applying reverse correction of the input / output characteristics of the projector so that it gradually falls to zero.

補正係数計算部１３０は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１４（Ａ）に示すデータ構造によって対応付けられる撮像画像の座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。   The correction coefficient calculation unit 130 assigns each integer pixel coordinate on the projector memory to the integer pixel nearest to the coordinate (decimal point) of the coordinate system of the captured image associated with the data structure shown in FIG. Corresponding blending coefficients.

上述した処理により、第１のグループの複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、図１４（Ｂ）に示すように、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。第２のグループのプロジェクタ１５０ｄ，１５０ｅについても、同様に、ブレンディング補正係数の求め方は同様である。   With the above-described processing, as shown in FIG. 14B, blending coefficients for all the pixels in the projector memory are obtained for each of the plurality of projectors 150a to 150c in the first group. Similarly, for the second group of projectors 150d and 150e, the blending correction coefficient is obtained in the same manner.

（補正処理）
以下、図１４を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。上述した補正係数計算部１３０で算出された各プロジェクタの幾何補正係数およびブレンディング係数は、図５に示したステップＳ１０７で、各補正処理部１１４に設定される。 (Correction process)
The details of the correction process based on the correction coefficient will be described below with reference to FIG. The geometric correction coefficient and blending coefficient of each projector calculated by the correction coefficient calculation unit 130 described above are set in each correction processing unit 114 in step S107 shown in FIG.

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した補正係数計算部１３０での処理により、図１４（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められているので、補正処理部１１４は、この対応付けデータをそのまま読み出す。   First, the correction processing unit 114 prepares association data between all the pixels in the projector memory and the corresponding pixel positions on the same-size content image. Since the pixel position with respect to all the pixels of the projector memory as shown in FIG. 14A has been obtained by the processing in the correction coefficient calculation unit 130 described above, the correction processing unit 114 reads the association data as it is. .

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。この中間画像は、幾何補正係数により、コンテンツ画像を検出した幾何歪みの逆に変形した画像である。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１４（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。   The correction processing unit 114 generates an intermediate image from the same-size content image to be projected based on the pixel position on the same-size content image to be referenced for each pixel of the projector memory by a pixel interpolation method such as bilinear or bicubic. To do. This intermediate image is an image deformed in reverse of the geometric distortion in which the content image is detected by the geometric correction coefficient. The correction processing unit 114 further multiplies the pixel values of the R, G, and B colors of the generated intermediate image by the blending coefficient associated with the association data in FIG. Generate.

以上説明した処理により、複数のプロジェクタ１５０により被投影面１０２上に像を投影するための投影システム１００において、特に超短焦点プロジェクタを用いる場合でも、プロジェクタ１５０の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システム１００を提供することが可能となる。   Through the processing described above, in the projection system 100 for projecting an image onto the projection surface 102 by the plurality of projectors 150, the physical arrangement of the projectors 150 is easy even when an ultra-short focus projector is used. It is possible to provide a projection system 100 that can improve the brightness of an image by superimposing a plurality of projection images.

上記構成は、さらに、超短焦点プロジェクタを用いる場合でも、すべてのプロジェクタを床置きして設置することが可能となるという利点を有する。床置きおよび天吊りにより上下２段で投影することによりスタック投影を行うこともできるが、天吊りは大きな工事が必要であり、簡単な床置きだけでスタック投影することも望ましいためである。   The above configuration further has an advantage that all projectors can be installed on the floor even when an ultra-short focus projector is used. This is because stack projection can be performed by projecting in two steps, upper and lower, by placing on the floor and hanging from the ceiling, but ceiling suspension requires a large amount of construction, and it is also desirable to perform stack projection by simple floor placement.

さらに、プロジェクタは、一般に液晶ディスプレイなどと比較して明るいものを実現する技術的難易度が高い。このため高輝度の高価なプロジェクタ１台より、中低輝度の安価なプロジェクタを複数台用いて明るさを向上させられる本技術は、同程度の明るさを実現する上でもコスト上の利点を有する。   Furthermore, projectors are generally more technically difficult to achieve brighter than liquid crystal displays and the like. For this reason, the present technology, which can improve the brightness by using a plurality of inexpensive projectors with medium and low brightness rather than one expensive projector with high brightness, has a cost advantage in realizing the same level of brightness. .

（投影様式の変形例）
上述までの説明は、３台のプロジェクタ１５０ａ〜１５０ｃおよび２台のプロジェクタ１５０ｄ，１５０ｅの投影像を横一列に並べて全体としての画像を重畳して投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理が適用できる態様は、これに限定されるものではない。図１５および図１６は、本実施形態による校正処理を適用することができる他の実施形態を例示する。 (Modification of projection style)
The above description has described the embodiment in which the projection images of the three projectors 150a to 150c and the two projectors 150d and 150e are arranged in a horizontal row and the entire image is superimposed and projected. However, the aspect to which the calibration processing according to the present embodiment can be applied is not limited to this. 15 and 16 illustrate other embodiments to which the calibration process according to the present embodiment can be applied.

図１５は、Ｎ＋１台のプロジェクタおよびＮ台のプロジェクタを含むセットを２つ準備し、それぞれのセットを床置き（５１０ａ〜５１０ｅ）および天吊り（５１０ｆ〜５１０ｊ）で設置し、４つのグループによるそれぞれの全体としての投影像１０６を重ねる投影システム５００の他の実施形態を示す。図１５に示すように配置することによって、さらに明るさを向上させることが可能なスタック投影を実現することができる。なお、四隅マーカによる目標投影領域の指定は、スタックされる４つのグループのいずれか１つを使用すればよい。   In FIG. 15, two sets including N + 1 projectors and N projectors are prepared, and each set is installed on the floor (510a to 510e) and suspended from the ceiling (510f to 510j). FIG. 6 shows another embodiment of a projection system 500 that overlays the overall projected image 106 of FIG. By arranging as shown in FIG. 15, it is possible to realize stack projection that can further improve the brightness. In addition, what is necessary is just to use any one of the four groups stacked for designation | designated of the target projection area | region by a four-corner marker.

図１５は、２ｘ（Ｎ＋１）台のプロジェクタおよび２ｘＮ台のプロジェクタを準備し、４つのグループによるそれぞれの全体としての投影像５０６を重ねる実施形態を説明した。これに対して、図１６は、同様に２ｘ（Ｎ＋１）台のプロジェクタおよび２ｘＮ台のプロジェクタを準備するが、２つのグループに分けて、２つのグループでそれぞれの全体としての投影像５５６を重ねる投影システム５５０の他の実施形態を説明する。   FIG. 15 illustrates an embodiment in which 2 × (N + 1) projectors and 2 × N projectors are prepared, and the projection images 506 as a whole are overlaid by the four groups. On the other hand, FIG. 16 similarly prepares 2 × (N + 1) projectors and 2 × N projectors, but divides them into two groups and superimposes the projection images 556 as a whole in the two groups. Other embodiments of the system 550 are described.

図１６に示すように配置では、下方Ｎ＋１台のプロジェクタ（５６０ａ，５６０ｂ，５６０ｃ）および上方Ｎ＋１台（５６０ｆ、５６０ｇ、５６０ｈ）のプロジェクタが１つのグループを構成し、下方Ｎ台のプロジェクタ（５６０ｄ，５６０ｅ）および上方Ｎ台のプロジェクタ（５６０ｉ，５６０ｊ）が他のグループを構成している。同一グループ内では、左右のプロジェクタの投影領域に加えて、上下のプロジェクタの投影領域でさらに重複している。図１６に示すように、上下の投影像を一部重畳させて連結投影することで、さらに高解像度のスタック投影（図１６では、２ｘＮ連結、２ｘ（Ｎ＋１）連結の重畳投影である。）を実現することが可能となる。なお、四隅マーカによる目標投影領域の指定は、天吊りでスタックされるいずれか１つの左右端プロジェクタのそれぞれ左上端および右上端、床置きでスタックされるいずれか１つの左右端プロジェクタのそれぞれ左下端および右下端に四隅マーカを設ければよい。   As shown in FIG. 16, in the arrangement, the lower N + 1 projectors (560a, 560b, 560c) and the upper N + 1 projectors (560f, 560g, 560h) form one group, and the lower N projectors (560d, 560e) and the upper N projectors (560i, 560j) constitute another group. In the same group, in addition to the projection areas of the left and right projectors, the projection areas of the upper and lower projectors further overlap. As shown in FIG. 16, the upper and lower projection images are partially overlapped to perform concatenation projection, thereby further stacking projection with higher resolution (in FIG. 16, 2 × N concatenation, 2 × (N + 1) concatenation). It can be realized. In addition, the designation of the target projection area by the four-corner marker is such that each of the left and right end projectors stacked on the ceiling is respectively the upper left and upper right ends, and each of the left and lower end projectors is stacked on the floor. And a four corner marker should just be provided in a lower right end.

（ハードウェア構成）
以下、図１７を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図１７は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。 (Hardware configuration)
Hereinafter, the hardware configuration of the image processing apparatus 110 in the embodiments described above will be described with reference to FIG. The image processing apparatus 110 is typically configured as a general-purpose computer apparatus. FIG. 17 is a diagram illustrating a hardware configuration of the general-purpose computer apparatus according to the present embodiment.

図１７に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。   A general-purpose computer apparatus 110 illustrated in FIG. 17 includes a CPU 12, a north bridge 14 that is connected to the CPU 12 and a memory, and a south bridge 16. The south bridge 16 is connected to the north bridge 14 via a dedicated bus or a PCI bus, and is connected to an I / O such as a PCI bus or USB.

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。   Connected to the north bridge 14 are a RAM 18 that provides a work area for the CPU 12 and a graphic board 20 that outputs a video signal. The graphic board 20 is connected to the display 50 and the projector 150 via a video output interface.

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。   A PCI (Peripheral Component Interconnect) 22, a LAN port 24, IEEE1394, a USB port 28, an auxiliary storage device 30, an audio input / output 32, and a serial port 34 are connected to the south bridge 16. The auxiliary storage device 30 is an HDD, an SSD, or the like, and stores an OS for controlling the computer device, a program for realizing the functional unit, various system information, and various setting information. The LAN port 24 is an interface device that connects the general-purpose computer device 110 to a network by wire and wireless.

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、上述した基準点の移動指示を含む操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。   An input device 170 such as a keyboard 52 and a mouse 54 may be connected to the USB port 28, and provides a user interface for accepting input of various instructions from the operator including the reference point movement instruction described above. be able to. The general-purpose computer apparatus 110 according to the present embodiment reads the program from the auxiliary storage device 30 and develops it in the work space provided by the RAM 18 to realize the above-described functional units and processes under the control of the CPU 12. The projector 150 and the camera 160 are not particularly described, but similarly include hardware such as a CPU and a RAM, and hardware according to a specific application.

以上説明したように、本発明の実施形態によれば、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、投影手段の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システムを提供することができる。   As described above, according to the embodiment of the present invention, in a projection system for projecting an image onto a projection surface by a plurality of projection means, the physical arrangement of the projection means is easy, and a plurality of It is possible to provide a projection system capable of improving the brightness of an image by superimposing the projected images.

なお、上述までの説明では、複数台のプロジェクタ１５０の投影像を横一列または横二列に並べて、さらに重畳して全体としての画像を投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理が適用できるマルチ・プロジェクションの態様は、これに限定されるものではなく、プロジェクタ１５０の台数は、任意の台数とすることができる。   In the above description, the embodiment has been described in which the projected images of the plurality of projectors 150 are arranged in a horizontal row or a horizontal row, and further superimposed to project the entire image. However, the aspect of multi-projection to which the calibration processing according to the present embodiment can be applied is not limited to this, and the number of projectors 150 can be any number.

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。   The functional unit can be realized by a computer-executable program written in a legacy programming language such as assembler, C, C ++, C #, Java (registered trademark), an object-oriented programming language, or the like. ROM, EEPROM, EPROM , Stored in a device-readable recording medium such as a flash memory, a flexible disk, a CD-ROM, a CD-RW, a DVD-ROM, a DVD-RAM, a DVD-RW, a Blu-ray disc, an SD card, an MO, or through an electric communication line Can be distributed.

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。   Although the embodiments of the present invention have been described so far, the embodiments of the present invention are not limited to the above-described embodiments, and those skilled in the art may conceive other embodiments, additions, modifications, deletions, and the like. It can be changed within the range that can be done, and any embodiment is included in the scope of the present invention as long as the effects of the present invention are exhibited.

１００…投影システム、１０２…被投影面、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１２０…校正用シーン生成部、１２２…校正用画像格納部、１２４…切替部、１２６…校正用撮像画像入力部、１２８…特徴点抽出処理部、１３０…補正係数計算部、１３２…目標投影領域調整部、２００…校正用画像、２１２…投影像、２１４…投影像、２１６…投影像、２１８…投影像、２２０…投影像、３００…撮像画像座標系、３０４…投影可能領域、３１０…目標投影領域、３３０…プロジェクタ・メモリ、４００…画面、４０２…「調整」ボタン、４０４…「終了」ボタン、４１０…設定領域、４１２…テキストボックス、４１４…テキストボックス、４１６…ボタン、４１８…ボタン、４２０…ボタン、４２２…ボタン、４３０…設定領域、４４０…設定領域、４５０…設定領域、５００…投影システム、５１０…プロジェクタ、５５０…投影システム、５６０…プロジェクタ、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス DESCRIPTION OF SYMBOLS 100 ... Projection system, 102 ... Projection surface, 104 ... Projection image, 106 ... Single projection image, 110 ... Image processing apparatus, 150 ... Projector, 160 ... Camera, 170 ... Input device, 112 ... Content storage part, 114 ... correction processing unit, 116 ... projection image output unit, 120 ... calibration scene generation unit, 122 ... calibration image storage unit, 124 ... switching unit, 126 ... captured image input unit for calibration, 128 ... feature point extraction processing unit, DESCRIPTION OF SYMBOLS 130 ... Correction coefficient calculation part, 132 ... Target projection area adjustment part, 200 ... Calibration image, 212 ... Projection image, 214 ... Projection image, 216 ... Projection image, 218 ... Projection image, 220 ... Projection image, 300 ... Captured image Coordinate system, 304 ... Projectable area, 310 ... Target projection area, 330 ... Projector memory, 400 ... Screen, 402 ... "Adjust" button, 404 ... "End" button, 4 0 ... setting area, 412 ... text box, 414 ... text box, 416 ... button, 418 ... button, 420 ... button, 422 ... button, 430 ... setting area, 440 ... setting area, 450 ... setting area, 500 ... projection system , 510 ... projector, 550 ... projection system, 560 ... projector, 12 ... CPU, 14 ... north bridge, 16 ... south bridge, 18 ... RAM, 20 ... graphic board, 22 ... PCI, 24 ... LAN port, 26 ... IEEE 1394 port 28 ... USB port, 30 ... auxiliary storage device, 32 ... audio input / output, 34 ... serial port, 52 ... keyboard, 54 ... mouse

特許第３９０８２５５号公報Japanese Patent No. 3908255

Claims (10)

複数の投影手段により被投影面上に像を投影するための投影システムであって、
前記複数の投影手段は、それぞれ複数の投影手段を含む複数のグループを構成し、前記投影システムは、
前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力する出力手段と、
それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、
前記複数の校正用撮像画像から、前記校正パターンに基づき、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、
抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段と
を含む、投影システム。 A projection system for projecting an image on a projection surface by a plurality of projection means,
The plurality of projection units constitute a plurality of groups each including a plurality of projection units, and the projection system includes:
Output means for outputting a calibration image including a calibration pattern for each of the plurality of projection means;
Acquisition means for acquiring a plurality of calibration images captured including the projected calibration images, respectively;
Extraction means for extracting a calibration point indicating distortion of a projection image of each of the projection means of each of the plurality of groups based on the calibration pattern from the plurality of calibration captured images;
Based on the extracted calibration points, a projection image to be projected from each of the plurality of projection means is provided so that each of the plurality of groups projects an image on a common target projection region among the plurality of groups. A projection coefficient calculation means for calculating a correction coefficient; 前記複数のグループのうちの第１のグループおよび第２のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第１のグループの投影手段および前記第２のグループの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに配置される、請求項１に記載の投影システム。   Each of the first group and the second group of the plurality of groups includes a different number of projection means for connecting the projection images to form a single image, and the projection means of the first group 2. The projection system according to claim 1, wherein the projecting units of the second group are alternately arranged in a line substantially in front of the projection surface. 前記第１のグループの投影手段および前記第２のグループの投影手段は、前記被投影面に下方から投影するよう配置され、
前記複数のグループのうちの第３のグループおよび第４のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第３のグループの投影手段および前記第４のグループの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に上方から投影するよう配置される、請求項２に記載の投影システム。 The first group of projection means and the second group of projection means are arranged to project onto the projection surface from below,
Each of the third group and the fourth group of the plurality of groups includes a different number of projection means for connecting the projection images to form a single image, and the third group projection means. 3. The projection system according to claim 2, wherein the projecting units of the fourth group are arranged so as to project from the top onto the projection surface in a staggered manner so as to be substantially directly opposed to the projection surface. 前記複数のグループのうちの第１のグループおよび第２のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第１のグループの一部の投影手段および前記第２のグループの一部の投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に下方から投影するよう配置され、前記第１のグループの残りの投影手段および前記第２のグループの残りの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に上方から投影するよう配置される、請求項１に記載の投影システム。   Each of the first group and the second group of the plurality of groups includes a different number of projection means for connecting the projection images to form a single image, and is a part of the first group The projection means and a part of the projection means of the second group are arranged so as to project from the lower side to the projection surface in a staggered manner so as to be substantially directly opposite to the projection surface, respectively. The remaining projection means of the group and the remaining projection means of the second group are arranged so as to project on the projection surface from above in a staggered manner in a line substantially opposite to the projection surface, respectively. Item 4. The projection system according to Item 1. 前記投影手段は、短焦点プロジェクタである、請求項１〜４のいずれか１項に記載の投影システム。   The projection system according to claim 1, wherein the projection unit is a short focus projector. 隅を担当する投影手段に対する校正用画像は、前記校正点を規定する前記校正パターンとともに位置合わせマーカを含む校正用画像を含み、または、前記校正パターンを含む校正用画像と、前記校正パターンとは別に位置合わせマーカを含む校正用画像とを含み、前記抽出手段は、前記位置合わせマーカ一の位置を検出して、前記複数のグループ各々が像を重ねて投影する領域の基準点を抽出し、前記補正係数計算手段は、前記基準点に基づき前記共通の目標投影領域の初期位置を画定する、請求項１〜５のいずれか１項に記載の投影システム。   The calibration image for the projection means in charge of the corner includes a calibration image including an alignment marker together with the calibration pattern defining the calibration point, or a calibration image including the calibration pattern and the calibration pattern A calibration image including an alignment marker, and the extraction means detects the position of the alignment marker and extracts a reference point of a region where each of the plurality of groups projects an image, The projection system according to claim 1, wherein the correction coefficient calculation unit defines an initial position of the common target projection region based on the reference point. 前記投影システムは、さらに、
前記複数の投影手段各々に対し、各々に対して算出された前記補正係数に基づき投影する画像を補正して投影画像を生成する補正手段と、
前記共通の目標投影領域を画定する基準点の位置の調整を受領し、前記補正係数の再計算を呼び出す調整手段と
を含む、請求項１〜６のいずれか１項に記載の投影システム。 The projection system further comprises:
Correction means for correcting a projected image based on the correction coefficient calculated for each of the plurality of projection means to generate a projection image;
7. The projection system according to claim 1, further comprising: an adjustment unit that receives an adjustment of a position of a reference point that defines the common target projection area and calls a recalculation of the correction coefficient. 複数の投影手段により被投影面上に像を投影するための画像処理装置であって、
複数のグループのうちの前記複数の投影手段各々が含まれるグループを判定する判定手段と、
判定結果に基づいて、前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力させる出力手段と、
それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、
前記校正用撮像画像から、前記校正パターンに基づき、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、
抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段と
を含む、画像処理装置。 An image processing apparatus for projecting an image on a projection surface by a plurality of projection means,
Determination means for determining a group including each of the plurality of projection means among a plurality of groups;
Output means for outputting a calibration image including a calibration pattern for each of the plurality of projection means based on the determination result;
Acquisition means for acquiring a plurality of calibration images captured including the projected calibration images, respectively;
Extraction means for extracting a calibration point indicating distortion of a projection image of each of the projection means of each of the plurality of groups based on the calibration pattern from the calibration image;
Based on the extracted calibration points, a projection image to be projected from each of the plurality of projection means is provided so that each of the plurality of groups projects an image on a common target projection region among the plurality of groups. An image processing apparatus comprising: correction coefficient calculation means for calculating a correction coefficient. 隅を担当する投影手段に対する校正用画像は、前記校正点を規定する前記校正パターンとともに位置合わせマーカ一を含む校正用画像を含み、または、前記校正パターンを含む校正用画像と、前記校正パターンとは別に位置合わせマーカ一を含む校正用画像とを含み、前記抽出手段は、前記位置合わせマーカ一の位置を検出して、前記複数のグループ各々が像を重ねて投影する領域の基準点を抽出し、前記補正係数計算手段は、前記基準点に基づき前記共通の目標投影領域の初期位置を画定し、前記画像処理装置は、さらに、
前記複数の投影手段各々に対し、各々に対して算出された前記補正係数に基づき投影する画像を補正して投影画像を投影させる補正手段と、
前記共通の目標投影領域を画定する前記基準点の位置の調整を受領し、前記補正係数の再計算を呼び出す調整手段と
を含む、請求項８に記載の画像処理装置。 The calibration image for the projection means in charge of the corner includes a calibration image including an alignment marker together with the calibration pattern defining the calibration point, or a calibration image including the calibration pattern, and the calibration pattern And a calibration image including an alignment marker, and the extraction means detects a position of the alignment marker and extracts a reference point of a region in which each of the plurality of groups projects an image. The correction coefficient calculation means defines an initial position of the common target projection area based on the reference point, and the image processing apparatus further includes:
Correction means for correcting the image to be projected based on the correction coefficient calculated for each of the plurality of projection means, and projecting the projection image;
The image processing apparatus according to claim 8, further comprising: an adjustment unit that receives an adjustment of the position of the reference point that defines the common target projection area, and calls the recalculation of the correction coefficient. 複数の投影手段により被投影面上に像を投影するための画像処理装置を実現するためのプログラムであって、コンピュータを、
複数のグループのうちの前記複数の投影手段各々が含まれるグループを判定する判定手段、
判定結果に基づいて、前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力させる出力手段、
それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段、
前記校正用撮像画像から、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段、および、
抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段
として機能させるためのプログラム。 A program for realizing an image processing apparatus for projecting an image on a projection surface by a plurality of projection means, comprising:
Determination means for determining a group including each of the plurality of projection means among a plurality of groups;
An output unit that outputs a calibration image including a calibration pattern to each of the plurality of projection units based on the determination result;
Acquisition means for acquiring a plurality of proofreading captured images each including the projected proofreading image;
An extraction means for extracting a calibration point indicating distortion of the projection image of each of the projection means of each of the plurality of groups from the calibration image; and
Based on the extracted calibration points, a projection image to be projected from each of the plurality of projection means is provided so that each of the plurality of groups projects an image on a common target projection region among the plurality of groups. A program for functioning as a correction coefficient calculation means for calculating a correction coefficient.
JP2015179851A 2015-09-11 2015-09-11 Projection system, image processing system and program Pending JP2017055346A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015179851A JP2017055346A (en) 2015-09-11 2015-09-11 Projection system, image processing system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015179851A JP2017055346A (en) 2015-09-11 2015-09-11 Projection system, image processing system and program

Publications (1)

Publication Number Publication Date
JP2017055346A true JP2017055346A (en) 2017-03-16

Family

ID=58321505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015179851A Pending JP2017055346A (en) 2015-09-11 2015-09-11 Projection system, image processing system and program

Country Status (1)

Country Link
JP (1) JP2017055346A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041621A1 (en) * 2017-08-31 2019-03-07 深圳光峰科技股份有限公司 Image processing device and method, display device and method, and image capture and display device and method
JP2021071608A (en) * 2019-10-31 2021-05-06 セイコーエプソン株式会社 Method for controlling display system and control unit
JP2022128733A (en) * 2021-02-24 2022-09-05 セイコーエプソン株式会社 Information processing device and information processing system
CN115190281A (en) * 2022-06-30 2022-10-14 海宁奕斯伟集成电路设计有限公司 Device and method for adjusting projection position of projector
CN115343898A (en) * 2021-04-27 2022-11-15 中强光电股份有限公司 Projection system and projection image superposition method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041621A1 (en) * 2017-08-31 2019-03-07 深圳光峰科技股份有限公司 Image processing device and method, display device and method, and image capture and display device and method
JP2021071608A (en) * 2019-10-31 2021-05-06 セイコーエプソン株式会社 Method for controlling display system and control unit
JP7363380B2 (en) 2019-10-31 2023-10-18 セイコーエプソン株式会社 Display system control method and control device
JP2022128733A (en) * 2021-02-24 2022-09-05 セイコーエプソン株式会社 Information processing device and information processing system
JP7322910B2 (en) 2021-02-24 2023-08-08 セイコーエプソン株式会社 Information processing device and information processing system
CN115343898A (en) * 2021-04-27 2022-11-15 中强光电股份有限公司 Projection system and projection image superposition method
US11979689B2 (en) 2021-04-27 2024-05-07 Coretronic Corporation Projection system and projected image stacking method
CN115190281A (en) * 2022-06-30 2022-10-14 海宁奕斯伟集成电路设计有限公司 Device and method for adjusting projection position of projector
CN115190281B (en) * 2022-06-30 2024-01-02 海宁奕斯伟集成电路设计有限公司 Device and method for adjusting projection position of projector

Similar Documents

Publication Publication Date Title
JP6421445B2 (en) Projection system, image processing apparatus, calibration method, system, and program
JP6299124B2 (en) Projection system, image processing apparatus, projection method, and program
JP6554873B2 (en) Projection system, image processing apparatus, calibration method, and program
JP2015026992A (en) Projection system, image processing device, projection method, and program
JP6569742B2 (en) Projection system, image processing apparatus, projection method, and program
JP5604909B2 (en) Correction information calculation apparatus, image processing apparatus, image display system, and image correction method
US9781395B2 (en) Projection system, image processing apparatus, and computer-readable storage medium
JP2017055346A (en) Projection system, image processing system and program
JP6369810B2 (en) Projection image display system, projection image display method, and projection display device
WO2022179108A1 (en) Projection correction method and apparatus, storage medium, and electronic device
JP5910157B2 (en) Image projection device
US9348212B2 (en) Image projection system and image projection method
WO2019167455A1 (en) Information processing device, calculation method for information processing device, program
JP2018152782A (en) Image processing system, imaging apparatus, image processing method, and program
JP2015144344A (en) Projection auxiliary device, projection auxiliary method, and program
JP5812593B2 (en) VIDEO PROCESSING DEVICE, IMAGING DEVICE, VIDEO PROCESSING METHOD, AND PROGRAM
JP2018088654A (en) Projection system, image processing apparatus, and program
JP7459644B2 (en) Projection system, projection method, program
JP2004032665A (en) Image projection system
JP2006109088A (en) Geometric correction method in multi-projection system
JP2005252676A (en) Image correction method for multiprojection system
WO2024034437A1 (en) Simulation device, simulation method, and computer program
JP2022042408A (en) Information processing device
TWI695625B (en) Image calibration method and projector system
JP2024077843A (en) Projection control device, image projection device, image projection system, control method, and program