JP7116543B2 - PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM - Google Patents

PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM Download PDF

Info

Publication number
JP7116543B2
JP7116543B2 JP2017241122A JP2017241122A JP7116543B2 JP 7116543 B2 JP7116543 B2 JP 7116543B2 JP 2017241122 A JP2017241122 A JP 2017241122A JP 2017241122 A JP2017241122 A JP 2017241122A JP 7116543 B2 JP7116543 B2 JP 7116543B2
Authority
JP
Japan
Prior art keywords
projection
imaging
test
image
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017241122A
Other languages
Japanese (ja)
Other versions
JP2019110408A (en
JP2019110408A5 (en
Inventor
雄太 浦野
健介 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017241122A priority Critical patent/JP7116543B2/en
Priority to EP18208061.4A priority patent/EP3499881B1/en
Priority to US16/214,459 priority patent/US10663844B2/en
Priority to KR1020180157770A priority patent/KR102409805B1/en
Priority to CN201811531550.0A priority patent/CN109936734B/en
Publication of JP2019110408A publication Critical patent/JP2019110408A/en
Publication of JP2019110408A5 publication Critical patent/JP2019110408A5/ja
Application granted granted Critical
Publication of JP7116543B2 publication Critical patent/JP7116543B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、投写制御装置およびその制御方法、ならびに投写システムに関し、特には、投写位置の調整技術に関する。 The present invention relates to a projection control device, a control method thereof, and a projection system, and more particularly to a projection position adjustment technique.

複数の投写装置の投写位置を重複させる投写方法(マルチ投写)が知られている。マルチ投写では投写装置間での投写位置合わせが必要であるため、位置合わせを容易にする機能を有する投写装置も知られている。特許文献1では、複数の画像表示手段を有する画像表示装置において、1つの光学像を基準像とし、残りの光学像の画素位置が基準像の画素位置と合致するように光学像の形成位置を自動調整する一手法が開示されている。 A projection method (multi-projection) is known that overlaps the projection positions of a plurality of projection devices. Since multi-projection requires projection positioning between projection devices, projection devices having a function to facilitate positioning are also known. In Patent Document 1, in an image display device having a plurality of image display means, one optical image is used as a reference image, and the formation positions of the optical images are adjusted so that the pixel positions of the remaining optical images match the pixel positions of the reference image. One technique for automatic adjustment is disclosed.

特開2008-225297号公報JP-A-2008-225297

自動で光学像の位置合わせを行う場合、個々のプロジェクタの投写領域を認識するために、投写面を撮影する場合がある。この場合、撮像条件が不適切だと、投写面を撮影した画像から投写領域を認識できなかったり、認識精度が低下する可能性がある。そのため、位置合わせを実行する前に、露出条件などの撮影条件を決定するためのテスト撮影を行うことが考えられる(撮影条件確認を目的としたテスト撮影)。 When automatically aligning the optical images, the projection surface may be photographed in order to recognize the projection area of each projector. In this case, if the imaging conditions are inappropriate, the projection area may not be recognized from the captured image of the projection surface, or the recognition accuracy may deteriorate. Therefore, it is conceivable to perform test shooting for determining shooting conditions such as exposure conditions before performing alignment (test shooting for checking shooting conditions).

一方で、投写面を撮影した画像から投写領域を認識するには、投写領域が撮影範囲(画角)に収まっている(包含されている)必要がある。そのため、位置合わせを行うすべてのプロジェクタの投写範囲が撮影範囲に収まっていることを確認するためのテスト撮影を行うことが考えられる(画角確認を目的としたテスト撮影)。 On the other hand, in order to recognize the projection area from the captured image of the projection surface, the projection area must be within (included in) the imaging range (angle of view). Therefore, it is conceivable to perform test shooting for confirming that the projection range of all projectors to be aligned is within the shooting range (test shooting for checking the angle of view).

画角確認のためには、すべてのプロジェクタが投写している状態で投写面を1回撮影すればよい。一方、個々のプロジェクタに対して適切な撮影条件を確認するためには、1つのプロジェクタだけが投写している状態で投写面を撮影する必要がある。従来、このようなテスト撮影を容易に切り替えて実施するための仕組みは提供されていなかった。 In order to confirm the angle of view, it is sufficient to photograph the projection surface once while all the projectors are projecting. On the other hand, in order to confirm appropriate shooting conditions for each projector, it is necessary to shoot the projection surface while only one projector is projecting. Conventionally, no mechanism has been provided for easily switching between such test shootings.

本発明はこのような従来技術の課題に鑑みてなされたものであり、マルチ投写時の自動位置合わせ処理のためのテスト撮影を、目的に応じた方法で容易に実行可能な投写制御装置およびその制御方法、ならびに投写システムの提供を目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems of the prior art. An object of the present invention is to provide a control method and a projection system.

上述の目的は、投写面に画像を投写する複数の投写装置と、投写面を撮像する撮像装置とを制御する制御手段を備える投写制御装置であって、制御手段は、複数の投写装置のすべてが第1のテスト画像を投写している状態で投写面を撮像装置により撮像させて、複数の投写装置の投写領域が撮像装置の撮像範囲に収まっていることを確認するための第1のテスト撮像と、複数の投写装置のうち1つの投写装置が第2のテスト画像を投写している状態で投写面を撮像装置により撮像させて、第2のテスト画像を投写している投写装置の投写領域を特定するための第2のテスト撮像と、を実行第1のテスト撮像を実行する前に、複数の投写装置のすべてについて、適用されている幾何補正を解除し、第2のテスト撮像を実行する前に、複数の投写装置のうち第2のテスト画像を投写する投写装置について、適用されている幾何補正を解除しない、ことを特徴とする投写制御装置によって達成される。 The above object is a projection control apparatus comprising control means for controlling a plurality of projection apparatuses for projecting images onto a projection plane and an imaging apparatus for imaging the projection plane, wherein the control means controls all of the plurality of projection apparatuses. A first test for confirming that the projection area of a plurality of projection devices is within the imaging range of the imaging device by imaging the projection surface with the imaging device while projecting the first test image. imaging, and in a state in which one projection device out of a plurality of projection devices is projecting the second test image, the projection surface is imaged by the imaging device, and projection is performed by the projection device projecting the second test image. performing a second test imaging for identifying an area ; before performing the first test imaging, canceling the applied geometric corrections for all of the plurality of projection devices; performing the second test imaging; This is achieved by a projection control apparatus characterized by not releasing geometric corrections applied to a projection apparatus that projects a second test image of the plurality of projection apparatuses before imaging is performed .

本発明によれば、マルチ投写時の自動位置合わせ処理のためのテスト撮影を、目的に応じた方法で容易に実行可能な投写制御装置およびその制御方法、ならびに投写システムを提供できる。 According to the present invention, it is possible to provide a projection control device, a control method thereof, and a projection system that can easily perform test photography for automatic alignment processing during multi-projection by a method suitable for the purpose.

実施形態に係る、スタック投写を行う投写システムの構成例を示す模式図1 is a schematic diagram showing a configuration example of a projection system that performs stack projection according to an embodiment; FIG. 実施形態に係る、マルチスクリーン投写を行う投写システムの構成例を示す模式図1 is a schematic diagram showing a configuration example of a projection system that performs multi-screen projection according to an embodiment; FIG. 実施形態に係る投写システムの機能構成例を示すブロック図1 is a block diagram showing a functional configuration example of a projection system according to an embodiment; FIG. キーストーン補正に関する図Keystone Correction Diagram 実施形態に係る自動位置合わせ処理の概要に関するフローチャートFlowchart for outline of automatic registration processing according to the embodiment 実施形態に係る投写制御アプリケーションのGUI画面の一例を示す図FIG. 2 shows an example of a GUI screen of a projection control application according to an embodiment; 実施形態に係る投写制御アプリケーションのGUI画面の一例を示す図FIG. 2 shows an example of a GUI screen of a projection control application according to an embodiment; 実施形態に係るテストパターンの一例を示す図FIG. 4 is a diagram showing an example of a test pattern according to the embodiment; 実施形態に係る投写制御アプリケーションの遠隔設定用GUI画面の一例を示す図FIG. 4 is a diagram showing an example of a remote setting GUI screen of the projection control application according to the embodiment; 実施形態に係るテスト撮影処理に関するフローチャートFlowchart relating to test shooting processing according to the embodiment 実施形態に係るテストパターンの一例を示す図FIG. 4 is a diagram showing an example of a test pattern according to the embodiment; エッジブレンディング処理に関する図Diagram of edge blending process 実施形態に係る自動位置合わせ処理に関するフローチャートFlowchart relating to automatic registration processing according to the embodiment 実施形態に係る基準プロジェクタ確認処理に関するフローチャートFlowchart relating to reference projector confirmation processing according to the embodiment 実施形態に係る基準プロジェクタ確認処理で表示可能なダイアログの例を示す図FIG. 10 is a diagram showing an example of a dialog that can be displayed in the reference projector confirmation process according to the embodiment; FIG.

以下、図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって実現することができる。また、1つの機能ブロックは複数のハードウェアで実現されてもよい。また、1つのハードウェアが複数の機能ブロックを実現してもよい。また、1つ以上の機能ブロックは、1つ以上のプログラマブルプロセッサ(CPU、MPUなど)がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。1つ以上の機能ブロックをハードウェアで実現する場合、ディスクリート回路や、FPGA、ASICといった集積回路によって実現することができる。 Exemplary embodiments of the invention are described in detail below with reference to the drawings. It should be noted that the invention is not limited to the described embodiments. Also, not all of the components described in the embodiments are essential to the present invention. Individual functional blocks in the embodiments can be realized by hardware, software, or a combination of hardware and software. Also, one functional block may be realized by multiple pieces of hardware. Also, one piece of hardware may implement a plurality of functional blocks. Also, one or more functional blocks may be implemented by one or more programmable processors (CPU, MPU, etc.) executing a computer program loaded into memory. When one or more functional blocks are implemented by hardware, they can be implemented by discrete circuits or integrated circuits such as FPGAs and ASICs.

なお、以下の実施形態では、スタンドアロンタイプの投写装置(プロジェクタ)に本発明を適用した構成について説明する。しかし、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、ゲーム機、デジタル(ビデオ)カメラといった一般的な電子機器が内蔵するプロジェクタにも適用可能である。 In the following embodiments, a configuration in which the present invention is applied to a stand-alone type projection apparatus (projector) will be described. However, it can also be applied to projectors built in general electronic devices such as personal computers, smart phones, tablet terminals, game machines, and digital (video) cameras.

[本実施形態のシステム構成]
図1は、本発明の実施形態に係る投写システムの一例を表す模式図である。投写システム10は、光学像のダイナミックレンジの拡大、輝度の向上、もしくは3D表示のために、複数の投写装置(以下、プロジェクタ)の投写面上での投写領域を合致させるスタック投写を行う。なお、図1では最小数(2台)のプロジェクタ100aおよび100bを有し、それぞれの投写領域A,Bを合致させる投写システムを示しているが、3台以上のプロジェクタを有してもよい。
[System configuration of this embodiment]
FIG. 1 is a schematic diagram showing an example of a projection system according to an embodiment of the invention. The projection system 10 performs stack projection in which the projection areas of a plurality of projection devices (hereafter referred to as projectors) match on the projection surface in order to expand the dynamic range of optical images, improve brightness, or display 3D images. Although FIG. 1 shows the projection system having the minimum number (two) of projectors 100a and 100b and matching the respective projection areas A and B, it may have three or more projectors.

投写システム10に含まれる全てのプロジェクタは、投写制御装置として機能するパーソナルコンピュータ(PC)200と相互に通信可能に接続される。なお、複数のプロジェクタと投写制御装置との間の通信は、有線通信であっても無線通信であってもよく、また通信プロトコルにも特に制限はない。本実施形態では一例として、TCP/IPを通信プロトコルとして用いるローカルエリアネットワーク(LAN)で装置間の通信が行われるものとする。また、PC200は、予め定められたコマンドをプロジェクタ100aおよび100bに送信することにより、プロジェクタ100aおよび100bの動作を制御することができる。プロジェクタ100aおよび100bはPC200から受信したコマンドに応じた動作を行い、動作の結果をPC200に送信する。 All projectors included in the projection system 10 are connected to a personal computer (PC) 200 functioning as a projection control device so as to be able to communicate with each other. Communication between the plurality of projectors and the projection control apparatus may be wired communication or wireless communication, and the communication protocol is not particularly limited. In this embodiment, as an example, it is assumed that communication between devices is performed on a local area network (LAN) using TCP/IP as a communication protocol. In addition, PC 200 can control operations of projectors 100a and 100b by transmitting predetermined commands to projectors 100a and 100b. Projectors 100 a and 100 b perform operations according to commands received from PC 200 and transmit operation results to PC 200 .

映像分配器300は、PC200が出力する映像信号をプロジェクタ100aおよび100bに分配する。映像分配器300は接続されている全てのプロジェクタに同一の映像信号を出力する。ここでは観賞用の投写を行う前の調整時の構成を示しており、観賞用に個々のプロジェクタが投写する映像は再生装置などから個々のプロジェクタに別途供給される。なお、PC200からプロジェクタ100aおよび100bに映像信号を直接供給してもよい。なお、映像信号は、一般的に用いられているディスプレイインタフェースの規格に準じて伝送することができる。使用可能な規格の例としては、HDMI(登録商標)、DVI、VGAなどがある。 Video distributor 300 distributes video signals output from PC 200 to projectors 100a and 100b. The video distributor 300 outputs the same video signal to all connected projectors. Here, the configuration at the time of adjustment before projection for viewing is shown, and images projected by individual projectors for viewing are separately supplied to the individual projectors from a playback device or the like. The video signal may be directly supplied from the PC 200 to the projectors 100a and 100b. Note that the video signal can be transmitted according to the commonly used display interface standard. Examples of standards that can be used include HDMI®, DVI, VGA, and the like.

投写システム10はさらに、例えばデジタルカメラである撮像装置400を有する。撮像装置400は投写面に正対する位置に、投写面の全体を撮影範囲として含むように設置されているものとする。撮像装置400は直接、あるいはLANを通じて、PC200と通信可能に接続される。PC200は、撮像装置400に予め定められたコマンドを送信することにより、撮像装置400の動作を制御することができる。例えば撮像装置400はPC200からの要求に応じて撮影を行い、得られた画像データをPC200に送信することができる。 The projection system 10 further comprises an imaging device 400, for example a digital camera. It is assumed that the imaging device 400 is installed at a position facing the projection plane so as to include the entire projection plane as an imaging range. The imaging device 400 is communicably connected to the PC 200 directly or through a LAN. The PC 200 can control the operation of the imaging device 400 by transmitting predetermined commands to the imaging device 400 . For example, the image capturing device 400 can capture an image in response to a request from the PC 200 and transmit the obtained image data to the PC 200 .

図2は本発明の実施形態に係る投写システムの別の構成例を示す模式図であり、図1と同じ構成要素については同じ参照数字を付してある。投写システム11は、各々のプロジェクタが投写する光学像を投写面上で並べることにより、1台のプロジェクタで投写できない大きな解像度(画素数)の光学像を実現するマルチスクリーン投写を行う。図2の構成においても映像分配器300は接続されている全てのプロジェクタに同一の映像信号を出力する。観賞用に個々のプロジェクタが投写する映像は再生装置などから個々のプロジェクタに別途供給される。
なお、図2では4台のプロジェクタ100a~100dを有する投写システムを示しているが、より多くのプロジェクタを有してもよい。マルチスクリーン投写を行う場合、個々の光学像の繋ぎ目を目立たなくするため、プロジェクタ100a~100dの投写領域1~4のうち、隣接する投写領域を一部重複させる。また、重複部分の輝度上昇を目立たなくするため、減光処理(エッジブレンディング処理)を施す。なお、以下の説明において、「プロジェクタ100」は、複数のプロジェクタの全て、または任意の1つを表すものとする。
FIG. 2 is a schematic diagram showing another configuration example of the projection system according to the embodiment of the present invention, and the same reference numerals are given to the same components as in FIG. The projection system 11 performs multi-screen projection by arranging the optical images projected by the respective projectors on the projection surface to realize an optical image with a large resolution (the number of pixels) that cannot be projected by a single projector. Also in the configuration of FIG. 2, the video distributor 300 outputs the same video signal to all connected projectors. Images projected by individual projectors for viewing are separately supplied to individual projectors from a playback device or the like.
Although FIG. 2 shows a projection system having four projectors 100a to 100d, it may have more projectors. When performing multi-screen projection, adjacent projection areas among the projection areas 1 to 4 of the projectors 100a to 100d are partially overlapped in order to make the joints of the individual optical images inconspicuous. Also, in order to obscure the increase in brightness of the overlapping portion, light reduction processing (edge blending processing) is performed. In the following description, "projector 100" represents all or any one of a plurality of projectors.

また、本明細書において用いる用語を以下の様に定義する。
「投写領域」 プロジェクタ100が投写する光学像が投写面上に占める領域
「投写画像」 投写領域に投写されている光学像
「投写用画像」 PC200が出力する映像信号または画像データが表す画像
「マルチ投写」 複数の投写装置を用いた投写
「スタック投写」 投写領域が合致、もしくは投写画像が完全に重畳するマルチ投写
「マルチスクリーン投写」 隣接する投写領域の一部が重複するように投写領域を並べたマルチ投写
「プロジェクタ(投写装置)」 光源からの光を投写用画像に基づいて変調して投写面に投写または投写面上で走査することによって投写画像を投写面上に形成する装置
Also, the terms used in this specification are defined as follows.
“Projection area” The area on the projection surface where the optical image projected by the projector 100 occupies. “Projection image” The optical image projected on the projection area. Projection Projection using multiple projection devices Stack projection Multi-projection in which the projection areas match or completely overlap the projected images Multi-screen projection Arrange the projection areas so that some of the adjacent projection areas overlap Multi-projection "Projector (projection device)" A device that modulates the light from the light source based on the projection image and projects it onto the projection surface or scans the projection surface to form the projected image on the projection surface.

[プロジェクタ100の構成]
図3は、投写システム10または11に含まれるプロジェクタ100およびPC200の機能構成例を示すブロック図である。プロジェクタ100は、CPU101、RAM102、ROM103、投写部104、投写制御部105、VRAM106、操作部107、ネットワークIF108、画像処理部109、映像入力部110を有する。これらの機能ブロックは内部バス111によって通信可能に接続されている。
[Configuration of Projector 100]
FIG. 3 is a block diagram showing a functional configuration example of the projector 100 and the PC 200 included in the projection system 10 or 11. As shown in FIG. Projector 100 has CPU 101 , RAM 102 , ROM 103 , projection unit 104 , projection control unit 105 , VRAM 106 , operation unit 107 , network IF 108 , image processing unit 109 , and image input unit 110 . These functional blocks are communicably connected by an internal bus 111 .

CPU101は、プログラマブルプロセッサの一例であり、例えばROM103に記憶されているプログラムをRAM102に読み込んで実行することにより、プロジェクタ100の動作を実現する。
RAM102は、CPU101がプログラムを実行する際のワークメモリとして用いられる。RAM102には、プログラムやプログラムの実行に用いる変数などが記憶される。また、RAM102は、他の用途(例えばデータバッファとして)に用いられてもよい。
The CPU 101 is an example of a programmable processor, and realizes the operation of the projector 100 by reading a program stored in the ROM 103 into the RAM 102 and executing the program, for example.
The RAM 102 is used as a work memory when the CPU 101 executes programs. The RAM 102 stores programs, variables used for executing the programs, and the like. RAM 102 may also be used for other purposes (eg, as a data buffer).

ROM103は書き換え可能であってよい。ROM103は、CPU101が実行するプログラム、メニュー画面などの表示に用いるためのGUIデータ、キーストーン補正や位置合わせ処理などで用いられるテストパターンのデータ、各種の設定値などが記憶される。 The ROM 103 may be rewritable. The ROM 103 stores programs executed by the CPU 101, GUI data used for displaying menu screens, test pattern data used in keystone correction and alignment processing, various setting values, and the like.

投写部104は、光源、投写光学系などを有し、投写制御部105から供給される投写用画像に基づいて光学像を投写する。本実施形態では液晶パネルを光学変調素子として用い、光源からの光の反射率もしくは透過率を投写用画像に従って制御することにより、投写用画像に基づく光学像を生成し、投写光学系によって投写面に投写する。 The projection unit 104 has a light source, a projection optical system, etc., and projects an optical image based on the projection image supplied from the projection control unit 105 . In this embodiment, a liquid crystal panel is used as an optical modulation element, and by controlling the reflectance or transmittance of light from a light source according to a projection image, an optical image based on the projection image is generated, and the projection optical system generates an optical image on the projection surface. to project.

投写制御部105は、画像処理部109から供給される投写用画像のデータを投写部104に供給する。
VRAM106はPC200から受信した投写用画像のデータを格納するビデオメモリである。
The projection control unit 105 supplies the projection image data supplied from the image processing unit 109 to the projection unit 104 .
A VRAM 106 is a video memory that stores projection image data received from the PC 200 .

操作部107は、キー、ボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ100への指示を受け付ける。CPU101は操作部107の操作を監視しており、操作部107の操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ100がリモートコントローラを有する場合、操作部107はリモートコントローラから受信した操作信号をCPU101に通知する。 Operation unit 107 has input devices such as keys, buttons, switches, and a touch panel, and receives instructions from the user to projector 100 . The CPU 101 monitors an operation of the operation unit 107, and when detecting an operation of the operation unit 107, executes processing according to the detected operation. If the projector 100 has a remote controller, the operation unit 107 notifies the CPU 101 of the operation signal received from the remote controller.

ネットワークIF108はプロジェクタ100を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてプロジェクタ100は、ネットワークIF108を通じて、PC200と共通のローカルネットワークに接続される。したがって、プロジェクタ100とPC200との通信はネットワークIF108を通じて実行される。 Network IF 108 is an interface that connects projector 100 to a communication network, and has a configuration conforming to the standards of the supported communication network. In this embodiment, projector 100 is connected to a local network common to PC 200 via network IF 108 . Therefore, communication between projector 100 and PC 200 is performed through network IF 108 .

画像処理部109は、映像入力部110に供給され、VRAM106に格納された映像信号に対して様々な画像処理を必要に応じて適用し、投写制御部105に供給する。画像処理部109は例えば画像処理用のマイクロプロセッサであってよい。あるいは、画像処理部109に相当する機能を、CPU101がROM103に記憶されたプログラムを実行することによって実現してもよい。
画像処理部109が適用可能な画像処理には、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのOSDを重複させる処理、キーストーン補正処理、エッジブレンディング処理などが含まれるが、これらに限定されない。
The image processing unit 109 applies various image processing to the video signal supplied to the video input unit 110 and stored in the VRAM 106 as necessary, and supplies the video signal to the projection control unit 105 . The image processing unit 109 may be, for example, a microprocessor for image processing. Alternatively, the function corresponding to the image processing unit 109 may be realized by executing a program stored in the ROM 103 by the CPU 101 .
Image processing applicable to the image processing unit 109 includes frame thinning processing, frame interpolation processing, resolution conversion processing, processing for overlapping OSDs such as menu screens, keystone correction processing, edge blending processing, and the like. is not limited to

映像入力部110は、外部装置(本実施形態ではPC200)が出力する映像信号を直接または間接的に受信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像入力部110は例えば、コンポジット端子、S映像端子、D端子、コンポーネント端子、アナログRGB端子、DVI-I端子、DVI-D端子、HDMI(登録商標)端子の1つ以上を含む。映像入力部110はまた、アナログ映像信号を受信した場合、デジタル映像信号に変換してVRAM106に格納する。 The video input unit 110 is an interface that directly or indirectly receives a video signal output from an external device (the PC 200 in this embodiment), and has a configuration according to the supported video signal. The video input unit 110 includes, for example, one or more of a composite terminal, an S video terminal, a D terminal, a component terminal, an analog RGB terminal, a DVI-I terminal, a DVI-D terminal, and an HDMI (registered trademark) terminal. Also, when receiving an analog video signal, the video input unit 110 converts it into a digital video signal and stores it in the VRAM 106 .

[PC200の構成]
次に、PC200の機能構成について説明する。PC200は外部ディスプレイが接続可能な汎用コンピュータであってよく、したがって汎用コンピュータに準じた機能構成を有する。PC200は、CPU201、RAM202、ROM203、操作部204、表示部205、ネットワークIF206、映像出力部207、通信部208を有する。また、これの機能ブロックは内部バス209によって通信可能に接続されている。
[Configuration of PC 200]
Next, the functional configuration of the PC 200 will be described. The PC 200 may be a general-purpose computer to which an external display can be connected, and therefore has a functional configuration conforming to that of a general-purpose computer. PC 200 has CPU 201 , RAM 202 , ROM 203 , operation unit 204 , display unit 205 , network IF 206 , video output unit 207 and communication unit 208 . Also, these functional blocks are communicably connected by an internal bus 209 .

CPU201は、プログラマブルプロセッサの一例であり、例えばROM203に記憶されているプログラム(OSやアプリケーションプログラム)をRAM202に読み込んで実行することにより、PC200の動作を実現する。
RAM202は、CPU201がプログラムを実行する際のワークメモリとして用いられる。RAM202には、プログラムやプログラムの実行に用いる変数などが記憶される。また、RAM202は、他の用途(例えばデータバッファとして)に用いられてもよい。
The CPU 201 is an example of a programmable processor, and realizes the operation of the PC 200 by reading programs (OS and application programs) stored in the ROM 203 into the RAM 202 and executing the programs.
A RAM 202 is used as a work memory when the CPU 201 executes a program. The RAM 202 stores programs, variables used for executing the programs, and the like. RAM 202 may also be used for other purposes (eg, as a data buffer).

ROM203は書き換え可能であってよい。ROM203は、CPU201が実行するプログラム、メニュー画面などの表示に用いるためのGUIデータ、各種の設定値などが記憶される。なお、PC200はROM203よりも大容量の記憶装置(HDDやSSD)を有してもよく、この場合OSやアプリケーションプログラムといった容量の大きいプログラムは記憶装置に記憶してもよい。 The ROM 203 may be rewritable. The ROM 203 stores programs executed by the CPU 201, GUI data used for displaying menu screens, various setting values, and the like. The PC 200 may have a storage device (HDD or SSD) with a larger capacity than the ROM 203. In this case, large-capacity programs such as the OS and application programs may be stored in the storage device.

操作部204は、キーボード、ポインティングデバイス(マウスなど)、タッチパネル、スイッチなどの入力デバイスを有し、ユーザからPC200への指示を受け付ける。なお、キーボードはソフトウェアキーボードであってもよい。CPU201は操作部204の操作を監視しており、操作部204の操作を検出すると、検出した操作に応じた処理を実行する。 The operation unit 204 has input devices such as a keyboard, pointing device (mouse, etc.), touch panel, and switches, and receives instructions from the user to the PC 200 . Note that the keyboard may be a software keyboard. The CPU 201 monitors the operation of the operation unit 204, and upon detecting the operation of the operation unit 204, executes processing according to the detected operation.

表示部205は例えば液晶パネルや有機ELパネルである。表示部205は、OSやアプリケーションプログラムが提供する画面の表示を行う。なお、表示部205は外部装置であってもよい。また、表示部205はタッチディスプレイであってもよい。 The display unit 205 is, for example, a liquid crystal panel or an organic EL panel. A display unit 205 displays screens provided by the OS and application programs. Note that the display unit 205 may be an external device. Also, the display unit 205 may be a touch display.

ネットワークIF206はPC200を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてPC200は、ネットワークIF206を通じて、プロジェクタ100と共通のローカルネットワークに接続される。したがって、PC200とプロジェクタ100との通信はネットワークIF206を通じて実行される。 A network IF 206 is an interface that connects the PC 200 to a communication network, and has a configuration conforming to the standards of the supported communication network. In this embodiment, the PC 200 is connected to a local network shared with the projector 100 via the network IF 206 . Therefore, communication between PC 200 and projector 100 is performed through network IF 206 .

映像出力部207は、外部装置(本実施形態ではプロジェクタ100または映像分配器300)に映像信号を送信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像出力部207は例えば、コンポジット端子、S映像端子、D端子、コンポーネント端子、アナログRGB端子、DVI-I端子、DVI-D端子、HDMI(登録商標)端子の1つ以上を含む。 The video output unit 207 is an interface that transmits a video signal to an external device (the projector 100 or the video distributor 300 in this embodiment), and has a configuration corresponding to the supported video signal. The video output unit 207 includes, for example, one or more of a composite terminal, an S video terminal, a D terminal, a component terminal, an analog RGB terminal, a DVI-I terminal, a DVI-D terminal, and an HDMI (registered trademark) terminal.

なお、本実施形態では、プロジェクタ100の投写領域の調整機能を有する投写制御アプリケーションプログラムのUI画面を表示部205に表示するものとするが、映像出力部207に接続された外部機器にUI画面を表示させてもよい。 In this embodiment, the UI screen of the projection control application program having the function of adjusting the projection area of the projector 100 is displayed on the display unit 205. may be displayed.

通信部208は外部機器と例えばシリアル通信を行うための通信インタフェースであり、代表的にはUSBインタフェースであるが、RS-232Cなど他の規格に準じた構成を有しても良い。本実施形態では撮像装置400が通信部208に接続されるものとするが、撮像装置400とPC200との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した通信を行うことができる。 The communication unit 208 is a communication interface for serial communication with an external device, typically a USB interface, but may have a configuration conforming to other standards such as RS-232C. In this embodiment, it is assumed that the imaging device 400 is connected to the communication unit 208, but there is no particular limitation on the communication method between the imaging device 400 and the PC 200, and communication conforming to any standard supported by both is performed. be able to.

[映像分配器300]
本実施形態において投写制御装置であるPC200は、観賞用画像をマルチ投写する前の個々のプロジェクタの位置合わせを実行する。したがって、PC200から個々のプロジェクタに送信される映像信号はテスト用の映像信号(テストパターン)である。観賞用に投写する映像信号は、個々のプロジェクタに別途供給される。本実施形態では映像分配器300は同一の映像信号を接続されている全てのプロジェクタに並列出力するものとする。
[Video distributor 300]
The PC 200, which is a projection control device in this embodiment, aligns the individual projectors before multi-projecting the ornamental images. Therefore, the video signal transmitted from the PC 200 to each projector is a test video signal (test pattern). Video signals projected for viewing are separately supplied to individual projectors. In this embodiment, the video distributor 300 outputs the same video signal to all connected projectors in parallel.

[キーストーン補正について]
次に、キーストーン補正について図4を用いて説明する。キーストーン補正は、投写面の法線方向と投写方向(一般的には投写光学系の光軸)とのずれに応じて投写画像に生じる台形歪みを相殺するように元画像を幾何学的変換(変形)させる補正(幾何補正)である。画像の幾何学的変換は射影変換によって実現できるため、キーストーン補正は幾何補正の補正量である射影変換のパラメータの決定に等しい。例えば、CPU101は、矩形状の元画像の各頂点の移動量と移動方向に基づいて射影変換のパラメータを決定し、画像処理部109に与えることができる。
[About keystone correction]
Next, keystone correction will be described with reference to FIG. Keystone correction geometrically transforms the original image so as to cancel the trapezoidal distortion that occurs in the projected image due to the deviation between the normal direction of the projection surface and the projection direction (generally the optical axis of the projection optical system). It is a correction (geometric correction) for (deformation). Since the geometric transformation of an image can be realized by projective transformation, keystone correction is equivalent to determining the parameter of projective transformation, which is the correction amount of geometric correction. For example, the CPU 101 can determine the parameters of the projective transformation based on the movement amount and the movement direction of each vertex of the rectangular original image, and provide them to the image processing unit 109 .

例えば、元画像の座標を(xs,ys)とすると、射影変換による変形後の画像の座標(xd,yd)は以下の式1で表わされる。

Figure 0007116543000001
ここで、Mは3×3行列で、元画像から変形後の画像への射影変換行列である。また、xso、ysoは、図4に実線で示す元画像の左上の頂点の座標であり、xdo、ydoは、図4に一点鎖線で示す変形後の画像において、元画像の頂点(xso,yso)に対応する頂点の座標値である。 For example, if the coordinates of the original image are (xs, ys), the coordinates (xd, yd) of the image after being transformed by the projective transformation are represented by Equation 1 below.
Figure 0007116543000001
Here, M is a 3×3 matrix, which is a projective transformation matrix from the original image to the deformed image. Also, xso and yso are the coordinates of the upper left vertex of the original image indicated by the solid line in FIG. 4, and xdo and ydo are the vertices of the original image (xso, yso ) is the coordinate value of the vertex corresponding to

CPU101は、式1の行列Mとその逆行列M-1を、オフセット(xso,yso),(xdo,ydo)とともに、キーストーン補正のパラメータとして画像処理部109に与える。画像処理部109は、以下の式2に従い、キーストーン補正後の座標値(xd,yd)に対応する元画像の座標(xs,ys)を求めることができる。

Figure 0007116543000002
The CPU 101 supplies the matrix M of Equation 1 and its inverse matrix M −1 together with the offsets (xso, yso) and (xdo, ydo) to the image processing unit 109 as parameters for keystone correction. The image processing unit 109 can obtain the coordinates (xs, ys) of the original image corresponding to the coordinate values (xd, yd) after the keystone correction according to Equation 2 below.
Figure 0007116543000002

式2で得られる元画像の座標xs,ysがいずれも整数であれば、画像処理部109は元画像座標(xs,ys)の画素値をそのままキーストーン補正後の画像の座標(xd,yd)の画素値とすることができる。一方、式2で得られる元画像の座標が整数にならない場合、画像処理部109は、元画像座標(xs,ys)に相当する画素値を、複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。なお、式2で得られる元画像の座標が、元画像の外部領域の座標である場合、画像処理部109は、キーストーン補正後の画像の座標(xd,yd)の画素値を黒(0)またはユーザが設定した背景色とする。このようにして、画像処理部109は、キーストーン補正後の画像の全座標についての画素値を求め、変換後画像を作成することができる。 If both the coordinates xs and ys of the original image obtained by Expression 2 are integers, the image processing unit 109 directly converts the pixel values of the original image coordinates (xs, ys) into the coordinates (xd, yd) of the image after keystone correction. ). On the other hand, if the coordinates of the original image obtained by Expression 2 are not integers, the image processing unit 109 calculates the pixel value corresponding to the original image coordinates (xs, ys) by interpolation using the values of a plurality of surrounding pixels. can ask. The interpolation calculation can be performed using any known interpolation calculation such as bilinear or bicubic. Note that when the coordinates of the original image obtained by Equation 2 are the coordinates of the external region of the original image, the image processing unit 109 sets the pixel value of the coordinates (xd, yd) of the image after keystone correction to black (0 ) or the background color set by the user. In this manner, the image processing unit 109 can obtain the pixel values for all the coordinates of the image after keystone correction and create the post-conversion image.

ここでは、プロジェクタ100のCPU101から画像処理部109に、行列Mとその逆行列M-1の両方が供給されるものとしたが、いずれか一方の行列だけを供給し、他方の行列は画像処理部109が求めてもよい。 Here, it is assumed that both the matrix M and its inverse matrix M −1 are supplied from the CPU 101 of the projector 100 to the image processing unit 109, but only one of the matrices is supplied and the other matrix is used for image processing. section 109 may obtain.

通常、キーストーン補正には画素補間を伴うため、変形量が大きい場合は特に、元の画像の画素情報(RGB値など)が失われる。そのため、キーストーン補正量(幾何補正の補正量)は小さい方が画質の点では有利である。 Since keystone correction usually involves pixel interpolation, pixel information (such as RGB values) of the original image is lost, especially when the amount of deformation is large. Therefore, a smaller keystone correction amount (correction amount of geometric correction) is advantageous in terms of image quality.

なお、キーストーン補正後の画像の頂点の座標は、例えば投写画像の個々の頂点について、頂点が所望の位置に投写されるように操作部107を通じてユーザから移動量を入力させることにより取得することができる。この際、移動量の入力を支援するため、CPU201は、投写制御アプリケーションプログラムの機能を用い、プロジェクタ100にテストパターンを投写させるようにしてもよい。 Note that the coordinates of the vertices of the image after keystone correction can be obtained by, for example, inputting a movement amount from the user through the operation unit 107 so that each vertex of the projection image is projected at a desired position. can be done. At this time, the CPU 201 may use the function of the projection control application program to cause the projector 100 to project a test pattern in order to assist the input of the amount of movement.

[自動位置合わせ処理の概要]
本実施形態のPC200が投写制御アプリケーションプログラムを実行することにより実現する、自動位置合わせ処理の概要を図5のフローチャートに示す。
[Overview of automatic alignment processing]
A flowchart of FIG. 5 shows an outline of automatic alignment processing realized by the PC 200 of the present embodiment executing a projection control application program.

S100でCPU201は、PC200が通信可能なプロジェクタ100の中から、自動位置合わせ処理の対象(調整対象)とする複数のプロジェクタを選択する。選択される複数のプロジェクタは、基準像を投写する1つのプロジェクタと、基準像に位置合わせする光学像を投写する1つ以上のプロジェクタである。例えば後述するように、通信可能なプロジェクタの一覧を選択可能に表示部205に表示し、自動位置合わせ処理の対象とする複数のプロジェクタをユーザに選択させるようにしてもよい。また、基準プロジェクタはユーザが明示的に選択してもよいし、自動的に選択してもよい。自動的に選択する場合、例えば選択されたプロジェクタのうち、一覧表示での表示位置が一番上のプロジェクタを基準プロジェクタすることが考えられる。例えば、ユーザから選択完了の指示が入力されると、CPU201は処理をS200に進める。 In S100, the CPU 201 selects a plurality of projectors to be subjected to automatic alignment processing (adjustment targets) from among the projectors 100 with which the PC 200 can communicate. The multiple projectors selected are one projector that projects a reference image and one or more projectors that project optical images that align with the reference image. For example, as will be described later, a list of communicable projectors may be displayed in a selectable manner on the display unit 205 so that the user can select a plurality of projectors to be subjected to automatic alignment processing. Also, the reference projector may be explicitly selected by the user, or may be automatically selected. In the case of automatic selection, for example, among the selected projectors, the projector with the highest display position in the list display may be set as the reference projector. For example, when the user inputs an instruction to complete selection, the CPU 201 advances the process to S200.

S200でCPU201は、予め定められたテストパターンを投写するように指示するコマンドを、ネットワークIF206を通じて、S100において選択された各々のプロジェクタ100に送信する。コマンドを受信したプロジェクタ100のCPU101は、ROM103からテストパターンデータを読み出し、投写制御部105を通じて投写部104によりテストパターンの光学像を投写させる。ここで投写するテストパターンは、個々のプロジェクタ100の投写領域の位置関係や投写画像の歪みなどユーザに把握させるためのテストパターンである。例えば、方眼(メッシュ)パターンなどであってよい。 In S200, CPU 201 transmits a command to project a predetermined test pattern to each projector 100 selected in S100 via network IF206. Upon receiving the command, the CPU 101 of the projector 100 reads the test pattern data from the ROM 103 and causes the projection unit 104 to project an optical image of the test pattern through the projection control unit 105 . The test pattern projected here is a test pattern for allowing the user to grasp the positional relationship of the projection areas of the individual projectors 100, the distortion of the projected image, and the like. For example, it may be a grid (mesh) pattern.

ユーザは、投写されたテストパターンから、選択したプロジェクタ100の投写領域がおおよそ適切な位置にあるか否かを把握することができる。自動位置合わせ機能により調整可能な範囲には限りがあるため、この時点でユーザは個々のプロジェクタ100の投写領域がおおよそ所望の位置となるように、例えばプロジェクタ100の設置位置や投写倍率などを調整する。 From the projected test pattern, the user can ascertain whether or not the projection area of the selected projector 100 is roughly at an appropriate position. Since the range that can be adjusted by the automatic alignment function is limited, at this point the user adjusts, for example, the installation position and projection magnification of the projectors 100 so that the projection areas of the individual projectors 100 are approximately at desired positions. do.

一方、S300でCPU201は、表示部205に、ユーザに選択を促すメッセージとともに、PC200に接続されている撮像装置を選択可能に表示する。ここでは撮像装置400だけが使用可能であるため、撮像装置400が選択された状態で表示される。撮像装置が選択された状態で、操作部204を通じてテスト撮影指示を検出すると、CPU201は処理をS400に進める。 On the other hand, in S300, the CPU 201 causes the display unit 205 to display a message prompting the user to make a selection and display the imaging devices connected to the PC 200 so that they can be selected. Since only the imaging device 400 can be used here, it is displayed with the imaging device 400 selected. When a test shooting instruction is detected through the operation unit 204 while the imaging device is selected, the CPU 201 advances the process to S400.

S400でCPU201は、S300において選択された撮像装置400についての撮影条件(画角、露出条件、ホワイトバランスなど)を設定する。露出条件やホワイトバランスの設定は手動または自動で行うことができる。ユーザは撮像装置400を操作したり、投写制御アプリケーションが提供するGUIを操作部204で操作したりすることにより、直接もしくはPC200から遠隔的に設定することができる。手動設定の場合、全てのプロジェクタに対して共通した露出条件およびホワイトバランスが用いられる。撮像装置400の画角の変更は、露出条件やホワイトバランスの手動設定と同様に行うことができる。S400の処理については後で詳細に説明する。 In S400, the CPU 201 sets shooting conditions (angle of view, exposure conditions, white balance, etc.) for the imaging device 400 selected in S300. Exposure conditions and white balance can be set manually or automatically. The user can make settings directly or remotely from the PC 200 by operating the imaging device 400 or operating the GUI provided by the projection control application using the operation unit 204 . For manual settings, common exposure conditions and white balance are used for all projectors. The angle of view of the imaging device 400 can be changed in the same manner as the manual setting of exposure conditions and white balance. The processing of S400 will be described later in detail.

S500でCPU201は、表示部205に、自動位置合わせ処理の一覧を選択可能に表示する。詳細については後述する。投写制御アプリケーションが提供するGUI操作を通じて自動位置合わせ処理の実行指示が検出されると、CPU201は処理をS600に進める。 In S<b>500 , the CPU 201 displays a selectable list of automatic alignment processes on the display unit 205 . Details will be described later. When an instruction to execute the automatic alignment process is detected through a GUI operation provided by the projection control application, the CPU 201 advances the process to S600.

S600でCPU201は、選択された自動位置合わせ処理を実行する。CPU201は、例えば、スタック投写のために、S300で選択されたプロジェクタの投写領域を自動位置合わせする処理を実行する。S300で選択されたプロジェクタの投写領域を自動位置合わせする処理の詳細については後述する。 In S600, the CPU 201 executes the selected automatic alignment process. For stack projection, for example, the CPU 201 executes processing for automatically aligning the projection areas of the projectors selected in S300. The details of the process of automatically aligning the projection areas of the projectors selected in S300 will be described later.

なお、上述したS100~S600の実行順序は図5とは異なっていてもよい。例えばプロジェクタの投写領域を自動位置合わせする処理については、自動位置合わせ処理の開始指示がなされる時点で、対象とするプロジェクタの選択と、撮像装置400の選択および撮影条件の設定が完了していればよい。例えば、撮像装置400に関する処理(S300、S400)行った後で、プロジェクタの設定(S100、S200)を行ってもよい。 Note that the execution order of S100 to S600 described above may be different from that in FIG. For example, in the process of automatically aligning the projection areas of the projectors, the selection of the target projector, the selection of the imaging device 400, and the setting of the imaging conditions must be completed at the time when the start of the automatic alignment process is instructed. Just do it. For example, the projector setting (S100, S200) may be performed after the processing (S300, S400) related to the imaging device 400 is performed.

図6は、CPU201が投写制御アプリケーションプログラムを実行することにより表示部205に表示されるGUI画面600の例を示す図である。ユーザはPC200の操作部204を通じてGUI画面600を操作する。なお、図6(a)と図6(b)は、GUI画面600の下側の一部でスタック投写に関する表示を行っている場合と、マルチスクリーン投写に関する表示を行っている場合とを示していること以外は共通である。 FIG. 6 is a diagram showing an example of a GUI screen 600 displayed on the display unit 205 when the CPU 201 executes the projection control application program. A user operates the GUI screen 600 through the operation unit 204 of the PC 200 . 6(a) and 6(b) show a case where a display related to stack projection is performed on a part of the lower side of the GUI screen 600, and a case where a display related to multi-screen projection is performed. It is common except that there is

リストビュー601はPC200とネットワーク接続されたプロジェクタ100の情報を選択可能に一覧表示する領域である。本実施形態では、プロジェクタ名、IPアドレス、キーストーン補正を適用中か否かを、リストビュー601に一覧表示する。これらの情報はCPU201からプロジェクタ100のそれぞれに対して情報取得コマンドを送信することにより、プロジェクタ100から取得することができる。また、本実施形態ではキーストーン補正を適用中のプロジェクタについては「変形済」と表示し、未適用のプロジェクタについては「変形無」と表示するか、何も表示しない。 A list view 601 is an area in which information on the projector 100 network-connected to the PC 200 is displayed in a selectable list. In this embodiment, the list view 601 displays a list of projector names, IP addresses, and whether keystone correction is being applied. These pieces of information can be acquired from the projectors 100 by transmitting an information acquisition command from the CPU 201 to each of the projectors 100 . Further, in this embodiment, a projector to which keystone correction is being applied is displayed as "transformed", and a projector to which keystone correction is not applied is displayed as "untransformed" or nothing is displayed.

検索ボタン602の操作を検出すると、PC200のCPU201はネットワークIF206を介して、プロジェクタ名、IPアドレス、キーストーン補正の適用有無に関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。ネットワークに接続されている個々のプロジェクタ100のCPU101は、ネットワークIF108を介してコマンドを受信すると、自身のプロジェクタ名、IPアドレス、キーストーン補正の有無を示す情報を含んだデータを、PC200に対して送信する。PC200のCPU201はコマンドに応答して送信されたデータを受信し、データに含まれる情報を抽出してリストビュー601に一覧表示する。 Upon detecting the operation of the search button 602, the CPU 201 of the PC 200 broadcasts over the network via the network IF 206 a predetermined command requesting information regarding the projector name, IP address, and whether or not keystone correction is applied. When the CPU 101 of each projector 100 connected to the network receives a command via the network IF 108, the CPU 101 transmits data including information indicating the projector name, IP address, and whether keystone correction is performed to the PC 200. Send. The CPU 201 of the PC 200 receives the data transmitted in response to the command, extracts information contained in the data, and displays a list on the list view 601 .

リストビュー603は、リストビュー601に一覧表示されたプロジェクタのうち、自動位置合わせの対象として選択されたプロジェクタを一覧表示する領域である。例えば、ユーザがリストビュー601に一覧表示されている要素の1つ以上について、リストビュー603へドラッグアンドドロップする操作が検出されると、CPU201は、操作の対象とされた要素をリストビュー603に追加する。リストビュー603に表示されているプロジェクタの情報は、CPU201がRAM202上で管理する。なお、後述する追加ボタン605が操作された場合もCPU201はリストビュー603へ要素を追加する。 A list view 603 is an area for displaying a list of projectors selected as targets for automatic alignment among the projectors displayed in the list view 601 . For example, when an operation of dragging and dropping one or more of the elements listed in the list view 601 by the user to the list view 603 is detected, the CPU 201 moves the element targeted for the operation to the list view 603. to add. Information about projectors displayed in the list view 603 is managed on the RAM 202 by the CPU 201 . The CPU 201 also adds an element to the list view 603 when an add button 605 (to be described later) is operated.

テキストボックス604および追加ボタン605は、ユーザが自動位置合わせの対象として追加したいプロジェクタを、IPアドレスで指定して追加するためのGUIである。CPU201は、追加ボタン605の操作が検出された際にテキストボックス604に入力されているIPアドレスを有するプロジェクタをリストビュー603およびRAM202で管理するプロジェクタのリストに追加する。リストビュー603への要素追加処理が、上述したS100の処理に相当する。 A text box 604 and an add button 605 are a GUI for specifying and adding a projector that the user wants to add as a target of automatic alignment by specifying the IP address. The CPU 201 adds the projector having the IP address entered in the text box 604 to the projector list managed by the list view 603 and the RAM 202 when the operation of the add button 605 is detected. The process of adding elements to the list view 603 corresponds to the process of S100 described above.

本実施形態においてCPU201は、リストビュー603に追加されたプロジェクタやリストビュー603で選択されたプロジェクタがキーストーン補正を適用中である場合、それをユーザに通知することができる。選択されたプロジェクタがキーストーン補正を適用中であることの通知は、例えば図7に示す警告画面700を表示部205に表示することによって行うことができる。つまり、警告画面700は、自動位置合わせの対象として選択されたプロジェクタにキーストーン補正等の幾何補正が適用されている場合に、当該幾何補正の適用を解除するか否かをユーザに選択させるための通知画面である。また、CPU201は通知を行う際、警告画面700の表示に加え、対応するプロジェクタに対し、所定のテストパターンを投写させるコマンドを送信してもよい。これにより、通知の対象であるプロジェクタ100から、テストパターンが投写される。ユーザは投写されたテストパターンにより、通知されたプロジェクタの投写領域の位置を確認できる。 In this embodiment, the CPU 201 can notify the user when keystone correction is being applied to a projector added to the list view 603 or selected from the list view 603 . Notification that the selected projector is applying keystone correction can be made by displaying, for example, a warning screen 700 shown in FIG. In other words, the warning screen 700 allows the user to select whether or not to cancel the application of geometric correction such as keystone correction when the projector selected as the target of automatic alignment has been applied with geometric correction. is the notification screen. In addition to displaying the warning screen 700, the CPU 201 may transmit a command to project a predetermined test pattern to the corresponding projector when making the notification. As a result, the test pattern is projected from the projector 100 that is the target of the notification. The user can confirm the position of the notified projection area of the projector by the projected test pattern.

警告画面700の「はい」ボタン701の操作が検出された場合、CPU201はネットワークIF206を介して、対応するプロジェクタ100に対し、適用中のキーストーン補正(幾何補正)の補正量を要求するコマンドを送信する。CPU101はコマンドに応答して現在適用しているキーストーン補正量を例えばRAM102から取得し、PC200に送信する。CPU201は、補正量を受信すると、RAM202で管理しているリストの、対応するプロジェクタの情報として補正量を記憶する。そして、CPU201はさらに、そのプロジェクタ100に対し、キーストーン補正の解除を指示するコマンドを送信する。プロジェクタ100のCPU101はキーストーン補正の解除を指示するコマンドを受信すると、画像処理部109にキーストーン補正を解除するよう指示する。CPU201はキーストーン補正の解除を指示するコマンドを送信すると、警告画面700を閉じる。そして、CPU201は、キーストーン補正を解除したプロジェクタについてリストビュー601および603に表示されていた「変形済」表示を中止する(あるいは、「変形無」表示に変更する)。また、CPU201は、RAM202で管理している、プロジェクタのリストについても、キーストーン補正の適用有無の情報を更新する。 When the operation of the "Yes" button 701 on the warning screen 700 is detected, the CPU 201 issues a command to the corresponding projector 100 via the network IF 206 to request the correction amount of the keystone correction (geometric correction) being applied. Send. In response to the command, the CPU 101 acquires the currently applied keystone correction amount from, for example, the RAM 102 and transmits it to the PC 200 . Upon receiving the correction amount, the CPU 201 stores the correction amount as information of the corresponding projector in the list managed by the RAM 202 . Then, the CPU 201 further transmits to the projector 100 a command instructing cancellation of the keystone correction. When the CPU 101 of the projector 100 receives the command to cancel the keystone correction, it instructs the image processing unit 109 to cancel the keystone correction. The CPU 201 closes the warning screen 700 after transmitting the command to cancel the keystone correction. Then, the CPU 201 cancels the "deformed" display displayed in the list views 601 and 603 for the projectors for which keystone correction has been canceled (or changes the display to "no deformation" display). The CPU 201 also updates the projector list managed by the RAM 202 with information on whether or not keystone correction is applied.

一方、警告画面700の「いいえ」ボタン702の操作が検出された場合、CPU201は対応するプロジェクタ100との通信を行わずに警告画面700を閉じる。なお、警告画面700の「いいえ」ボタン702の操作が検出された場合、CPU201は、選択されているプロジェクタを基準プロジェクタ候補としてRAM202に記憶してもよい。したがって、リストビュー601、603の表示や、RAM202内のプロジェクタリストは変更されない。なお、リストビュー603へプロジェクタが追加された際の警告画面700の表示や、キーストーン補正の解除動作は必須ではない。 On the other hand, when the operation of the “No” button 702 on the warning screen 700 is detected, the CPU 201 closes the warning screen 700 without communicating with the corresponding projector 100 . Note that when the operation of the “No” button 702 on the warning screen 700 is detected, the CPU 201 may store the selected projector in the RAM 202 as a reference projector candidate. Therefore, the display of list views 601 and 603 and the projector list in RAM 202 are not changed. Note that the display of the warning screen 700 when the projector is added to the list view 603 and the operation of canceling the keystone correction are not essential.

図6に戻り、「テストパターン表示」ボタン606の操作が検出されると、CPU201はリストビュー603に表示されているプロジェクタ100のそれぞれに対し、ネットワークIF206を通じてテストパターンの表示を指示するコマンドを送信する。これは、図5のS200における処理に相当する。ボタン606の操作に応じて表示させるテストパターンは、各プロジェクタ100の表示領域の大きさや位置を確認しやすくするためのテストパターンであり、例えば図8(a)や図8(b)に示すテストパターンであってよい。2つのテストパターンは、4隅の矩形部分801、802の表示(例えば色)が異なっている。 Returning to FIG. 6, when an operation of the "display test pattern" button 606 is detected, the CPU 201 transmits a command to display a test pattern to each of the projectors 100 displayed in the list view 603 via the network IF 206. do. This corresponds to the processing in S200 of FIG. The test pattern displayed in response to the operation of the button 606 is a test pattern for facilitating confirmation of the size and position of the display area of each projector 100. For example, the test patterns shown in FIGS. It can be a pattern. The two test patterns differ in display (for example, color) of rectangular portions 801 and 802 at the four corners.

テストパターンはPC200から個々のプロジェクタ100にテストパターンの表示を指示するコマンドに関連づけて送信してもよいし、プロジェクタ100のCPU101が生成してもよい。 The test pattern may be transmitted from the PC 200 to each projector 100 in association with a command to display the test pattern, or may be generated by the CPU 101 of the projector 100 .

なお、個々のプロジェクタが表示するテストパターンの矩形部分801または802の大きさにより、そのプロジェクタにおけるキーストーン補正の上限値を表すようにテストパターンを生成することができる。例えば、あるプロジェクタ100のキーストーン補正の上限値がX方向に250画素、Y方向に200画素であったとする。この場合、そのプロジェクタ100で表示するテストパターンの矩形部分801の横幅が250画素、縦幅が200画素となるようにテストパターンを生成することができる。 Depending on the size of the rectangular portion 801 or 802 of the test pattern displayed by each projector, the test pattern can be generated so as to represent the upper limit of keystone correction for that projector. For example, assume that the upper limit of keystone correction for a certain projector 100 is 250 pixels in the X direction and 200 pixels in the Y direction. In this case, the test pattern can be generated so that the rectangular portion 801 of the test pattern displayed by the projector 100 has a horizontal width of 250 pixels and a vertical width of 200 pixels.

このようなテストパターンをPC200で生成する場合、CPU201はリストビュー603に表示されている個々のプロジェクタ100から、キーストーン補正の上限値を取得する。なお、キーストーン補正の上限値を直接取得する代わりに、キーストーン補正量の上限値に変換可能な他の情報(例えばファームウェアのバージョンおよび機種名)を取得してもよい。この場合、取得する情報をキーストーン補正量の上限値に変換するための情報(例えばルックアップテーブル)をPC200のROM203に記憶しておく。そして、CPU201は取得したキーストーン補正の上限値に基づいて、上述したテストパターンを表す画像データを生成する。 When generating such a test pattern with the PC 200 , the CPU 201 acquires the upper limit value of keystone correction from each projector 100 displayed in the list view 603 . Instead of directly acquiring the upper limit of keystone correction, other information (for example, firmware version and model name) that can be converted into the upper limit of keystone correction amount may be acquired. In this case, the ROM 203 of the PC 200 stores information (for example, a lookup table) for converting the acquired information into the upper limit value of the keystone correction amount. Then, the CPU 201 generates image data representing the above-described test pattern based on the obtained upper limit value of keystone correction.

一方、個々のプロジェクタ100でテストパターンを生成する場合、CPU101が例えばROM103に記憶されている自身の情報に基づいて、上述したテストパターンを表す画像データを生成する。なお、予め上述したテストパターンをROM103に記憶しておいてもよい。 On the other hand, when a test pattern is generated by each projector 100, the CPU 101 generates image data representing the test pattern based on its own information stored in the ROM 103, for example. Note that the test pattern described above may be stored in the ROM 103 in advance.

例えば、個々のプロジェクタが投写するテストパターンにおける矩形部分の表現(例えば色や塗りつぶしパターンなど)を異ならせることで、投写されたテストパターンに基づいて、現在のプロジェクタの配置で自動位置合わせが可能か否かの判定を支援できる。例えば図8(a)のテストパターンの矩形部分801を赤色、図8(b)のテストパターンの矩形部分802を緑色とする。そして、プロジェクタ100aおよび100bで別々のテストパターンを投写するものとする。 For example, is it possible to automatically align the current projector layout based on the projected test pattern by varying the representation (e.g., color, fill pattern, etc.) of the rectangular portion in the test pattern projected by each projector? It can support the determination of whether or not For example, assume that the rectangular portion 801 of the test pattern in FIG. 8A is red, and the rectangular portion 802 of the test pattern in FIG. 8B is green. It is assumed that projectors 100a and 100b project different test patterns.

この場合、2つのテストパターンが矩形部分で重なりを有する位置関係で投写された場合、矩形部分の重複領域は黄色に見える。テストパターンの矩形部分のうち、対応する位置の矩形部分の重複領域は、いずれのプロジェクタでもキーストーン補正によって頂点を移動可能な領域である。そのため、テストパターンの投写画像が同じ位置(左上、右上、左下、右下)の矩形部分の全てで重複領域を有していれば、それらテストパターンを投写したプロジェクタの投写領域を合わせることが可能(すなわち、スタック投写可能)であることが分かる。また、テストパターンの投写画像の矩形部分から、そのテストパターンを投写したプロジェクタのキーストーン補正の上限を把握することができる。 In this case, if the two test patterns are projected in a positional relationship with overlapping rectangles, the overlapping area of the rectangles will appear yellow. Among the rectangular portions of the test pattern, overlapping regions of rectangular portions at corresponding positions are regions in which vertices can be moved by keystone correction in any projector. Therefore, if the projected image of the test pattern has overlapping areas in all rectangular portions at the same position (upper left, upper right, lower left, lower right), it is possible to match the projection areas of the projectors that projected these test patterns. (that is, stack projection is possible). Also, from the rectangular portion of the projected image of the test pattern, the upper limit of the keystone correction of the projector that projected the test pattern can be grasped.

例えば、プロジェクタ100aおよび100bが投写したテストパターンの投写画像が図8(c)のような位置関係であれば、プロジェクタ100aおよび100bの投写領域を自動位置合わせ可能であることが分かる。しかし、テストパターンの投写画像が図8(d)のような位置関係の場合、現在のプロジェクタ100aおよび100bの配置では投写領域を自動位置合わせすることができない。この場合ユーザは、テストパターンの投写画像における、対応する矩形部分の全てが重複領域(黄色の領域)を有するように、プロジェクタ100aおよび100bの少なくとも一方を移動させることができる。また、ユーザは、テストパターンの投写画像における、対応する矩形部分の全てが重複領域(黄色の領域)を有するように、レンズシフト機能によってプロジェクタ100aおよび100bの少なくとも一方の投写位置を移動させることができる。 For example, if the projection images of the test patterns projected by the projectors 100a and 100b have the positional relationship shown in FIG. However, when the projected image of the test pattern has the positional relationship shown in FIG. 8D, the current arrangement of the projectors 100a and 100b cannot automatically align the projection areas. In this case, the user can move at least one of projectors 100a and 100b so that all of the corresponding rectangular portions in the projected image of the test pattern have overlapping areas (yellow areas). Also, the user can move the projection position of at least one of the projectors 100a and 100b using the lens shift function so that all of the corresponding rectangular portions in the projected image of the test pattern have overlapping areas (yellow areas). can.

図6に戻り、GUI画面600のリストビュー607は、現在PC200に接続されている撮像装置の1つを選択可能に一覧表示する。ここで選択された撮像装置が自動位置合わせに用いられる。図6の例ではリストビュー607に4台の撮像装置が表示されているが、本実施形態では撮像装置400だけが接続されているため、撮像装置400が選択された状態(ハイライトされた状態)で表示される。 Returning to FIG. 6, the list view 607 of the GUI screen 600 displays a list of one of the imaging devices currently connected to the PC 200 in a selectable manner. The imaging device selected here is used for automatic alignment. In the example of FIG. 6, four imaging devices are displayed in the list view 607. However, in this embodiment, only the imaging device 400 is connected, so the imaging device 400 is selected (highlighted). ).

CPU201はリストビュー607で選択された撮像装置と、通信部208を通じて、PC200から撮像装置を遠隔制御するための通信を確立させる(S300での撮像装置の選択処理に相当)。これにより、選択された撮像装置から各種の情報を取得したり、撮影を指示したり、撮影で得られた画像データを取得したり、撮影条件を設定(変更)したりすることが可能になる。CPU201はまた、撮像装置から取得した情報をRAM202に格納する。 The CPU 201 establishes communication with the imaging device selected in the list view 607 through the communication unit 208 for remotely controlling the imaging device from the PC 200 (corresponding to the imaging device selection processing in S300). This makes it possible to obtain various information from the selected imaging device, instruct photography, obtain image data obtained by photography, and set (change) photography conditions. . The CPU 201 also stores information acquired from the imaging device in the RAM 202 .

図6に戻って、「カメラ詳細設定」ボタン608の操作が検出されると、CPU201は、リストビュー607で選択されている撮像装置の撮影条件を遠隔的に設定するためのGUI画面を表示部205に表示する。図9は、撮像装置の遠隔操作用GUI画面910の例を示す。遠隔操作用GUI画面910には撮像装置の種類に応じた操作ボタンが含まれており、各操作ボタンには現在の設定値が表示されている。絞り値ボタン912、撮影感度ボタン913、シャッタスピードボタン914はそれぞれプルダウンリストを含んでおり、選択すると設定可能な値のリストが表示される。リストから値が選択されると、CPU201はボタンの種類に応じた露出条件を、選択された値に変更するコマンドを通信部208を通じて撮像装置に送信する。撮影指示ボタン911が操作されるとCPU201は撮影を指示するコマンドを通信部208を通じて撮像装置に送信する。 Returning to FIG. 6, when an operation of the "camera detail setting" button 608 is detected, the CPU 201 displays a GUI screen for remotely setting the imaging conditions of the imaging device selected in the list view 607. 205. FIG. 9 shows an example of a GUI screen 910 for remote control of the imaging device. The GUI screen 910 for remote operation includes operation buttons corresponding to the type of imaging device, and current setting values are displayed on each operation button. The aperture value button 912, the shooting sensitivity button 913, and the shutter speed button 914 each include a pull-down list, and when selected, a list of values that can be set is displayed. When a value is selected from the list, the CPU 201 transmits a command for changing the exposure condition corresponding to the button type to the selected value through the communication unit 208 to the imaging apparatus. When the shooting instruction button 911 is operated, the CPU 201 transmits a shooting instruction command to the imaging apparatus through the communication unit 208 .

「撮影条件自動設定」ボタン609の操作が検出されると、CPU201はリストビュー607で選択されている撮像装置の撮影条件(絞り値、露出条件、ホワイトバランス)を自動位置合わせに適した値に自動設定する処理を実行する。この処理の詳細についてはテスト撮影動作の説明とともに後述する。 When the operation of the "automatic setting of shooting conditions" button 609 is detected, the CPU 201 sets the shooting conditions (aperture value, exposure conditions, white balance) of the imaging device selected in the list view 607 to values suitable for automatic alignment. Execute the automatic setting process. The details of this process will be described later together with the description of the test shooting operation.

「テスト撮影」ボタン610の操作が検出されると、CPU201はリストビュー607で選択されている撮像装置によるテスト撮影処理を実行する。本実施形態では、撮像装置の画角確認を目的とした第1のテスト撮影と、各プロジェクタに対する撮影条件の確認もしくは自動設定を目的とした第2のテスト撮影とで異なる処理を実行する。 When the operation of the “test shooting” button 610 is detected, the CPU 201 executes test shooting processing using the imaging device selected in the list view 607 . In the present embodiment, different processes are executed for the first test shooting for checking the angle of view of the imaging device and the second test shooting for checking or automatically setting the shooting conditions for each projector.

図10のフローチャートを用いて、テスト撮影処理について説明する。CPU201は、投写制御アプリケーションのGUI画面600の「テスト撮影」ボタン610の操作を検出するとテスト撮影処理を開始する。 The test shooting process will be described with reference to the flowchart of FIG. When the CPU 201 detects an operation of the "test shooting" button 610 on the GUI screen 600 of the projection control application, the CPU 201 starts test shooting processing.

S1501でCPU201は、画角確認を目的としたテスト撮影(第1のテスト撮影)であるか、撮影条件確認を目的としたテスト撮影(第2のテスト撮影)であるかを、ラジオボタン627および628の選択状態に基づいて判定する。具体的には、CPU201は、ラジオボタン627が選択されていればテスト撮影の目的が画角確認であると判定し、処理をS1003に進める。また、CPU201は、ラジオボタン628が選択されていればテスト撮影の目的が撮影条件確認であると判定し、処理をS1021に進める。なお、「撮影条件自動設定」ボタン609の操作を検出した際に実行する撮影条件自動設定処理は、S1021からの処理に相当する。 In step S<b>1501 , the CPU 201 selects whether the test shooting (first test shooting) is for checking the angle of view or the test shooting (second test shooting) is for checking shooting conditions. 628 based on the selection state. Specifically, if the radio button 627 is selected, the CPU 201 determines that the purpose of the test shooting is to confirm the angle of view, and advances the process to S1003. If the radio button 628 is selected, the CPU 201 determines that the purpose of the test imaging is to confirm the imaging conditions, and advances the process to S1021. Note that the automatic imaging condition setting processing that is executed when the operation of the “automatic imaging condition setting” button 609 is detected corresponds to the processing from S1021.

まず、画角確認を目的としたテスト撮影動作について説明する。
S1003でCPU201は、調整対象のプロジェクタ(リストビュー603に表示されているプロジェクタ)のそれぞれから、現在適用中のキーストーン補正量を取得する。なお、リストビュー601に接続されているプロジェクタの情報を表示する際にキーストーン補正量を取得済みであれば、RAM202に管理しているプロジェクタの情報からキーストーン補正量を得ることができる。この場合、S1003でプロジェクタに改めてキーストーン補正量を要求するコマンドを送信する必要はない。
First, a test shooting operation for checking the angle of view will be described.
In S1003, the CPU 201 acquires the currently applied keystone correction amount from each of the adjustment target projectors (projectors displayed in the list view 603). Note that if the keystone correction amount has already been obtained when displaying information about the projectors connected to the list view 601 , the keystone correction amount can be obtained from the projector information managed in the RAM 202 . In this case, there is no need to send a command requesting the keystone correction amount again to the projector in S1003.

S1005でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのそれぞれに対し、キーストーン補正の解除を指示するコマンドを送信する。コマンドを受信したプロジェクタのCPU101は、画像処理部109に対してキーストーン補正の解除を指示する。以後、画像処理部109は投写用画像データにキーストーン補正を適用しない。 In step S<b>1005 , the CPU 201 transmits a command to cancel the keystone correction to each projector to be adjusted via the network IF 206 . Upon receiving the command, the CPU 101 of the projector instructs the image processing unit 109 to cancel the keystone correction. Thereafter, the image processing unit 109 does not apply keystone correction to the projection image data.

S1007でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのそれぞれに対し、投写状態をオンにするように指示するコマンドを送信する。このコマンドは例えば光源を点灯状態にするコマンドや、ブランク(黒画面)の投写解除を指示するコマンドであってよい。 In step S<b>1007 , the CPU 201 transmits a command to turn on the projection state to each projector to be adjusted via the network IF 206 . This command may be, for example, a command to turn on the light source or a command to cancel projection of a blank (black screen).

S1009でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのそれぞれに対し、テストパターンの投写を指示するコマンドを送信する。テストパターンをPC200から供給する場合、CPU201はコマンドとともにテストパターンの画像データも例えばROM203から読み出してプロジェクタに送信する。各プロジェクタが有するテストパターンを用いる場合、コマンドにテストパターンを指定する情報またはテストパターンの目的を示す情報を含めることができる。画角確認用のテストパターンは少なくとも投写領域の外縁が投写画像で確認可能であればよい。全面を塗りつぶした画像であってもよいし、外縁を実線で示す枠状の画像であってもよい。また、例えば図8(a)や図8(b)に関して説明したような、各プロジェクタのキーストーン補正量の上限値を表す矩形領域を有するテストパターンを用いてもよい。これにより、ユーザは、調整対象のプロジェクタ全ての投写領域が画角(撮影範囲)内に収まっているか否かだけでなく、補正により位置合わせが可能であるか否かについても把握することができる。 In step S<b>1009 , the CPU 201 transmits a command for instructing projection of the test pattern to each projector to be adjusted via the network IF 206 . When the test pattern is supplied from the PC 200, the CPU 201 reads image data of the test pattern from the ROM 203, for example, together with the command, and transmits the read data to the projector. When using test patterns possessed by each projector, the command can include information designating the test pattern or information indicating the purpose of the test pattern. As for the test pattern for confirming the angle of view, it is sufficient if at least the outer edge of the projection area can be confirmed in the projected image. It may be an image in which the entire surface is filled in, or may be a frame-shaped image in which the outer edge is indicated by a solid line. Alternatively, a test pattern having a rectangular area representing the upper limit of the keystone correction amount of each projector, such as that described with reference to FIGS. 8A and 8B, may be used. As a result, the user can grasp not only whether the projection areas of all the projectors to be adjusted are within the angle of view (shooting range), but also whether or not alignment can be performed by correction. .

コマンドを受信したプロジェクタのCPU101は、供給された、もしくはROM203から読み出したテストパターン画像をVRAM106に格納し、画像処理部109に対して投写を開始するように指示する。これにより、画像処理部109は投写制御部105にテストパターンの画像データの供給を開始する。投写制御部105はテストパターンの画像データに基づいて投写部104が有する光学変調素子の透過率または反射率を制御し、テストパターンの光学像を投写させる。 Upon receiving the command, the CPU 101 of the projector stores the test pattern image supplied or read from the ROM 203 in the VRAM 106 and instructs the image processing unit 109 to start projection. As a result, the image processing unit 109 starts supplying test pattern image data to the projection control unit 105 . The projection control unit 105 controls the transmittance or reflectance of the optical modulation element of the projection unit 104 based on the image data of the test pattern, and projects an optical image of the test pattern.

S1011でCPU201は、通信部208を通じて、撮像装置400に撮影の実行を指示する。これにより、撮像装置400は撮影を実行し、得られた画像データをPC200に送信する。 In step S<b>1011 , the CPU 201 instructs the imaging device 400 to execute imaging through the communication unit 208 . Accordingly, the imaging device 400 executes imaging and transmits the obtained image data to the PC 200 .

S1013でCPU201は、撮像装置400から取得した画像データを例えばRAM202に格納する。そして、CPU201は、撮影された画像を図6のGUI画面600の領域611に表示させる。ユーザは、領域611に表示された画像から、撮像装置400の画角内に、調整対象のプロジェクタの投写領域が全て収まっているかを確認することができる。なお、撮像装置400の画角内に調整対象のプロジェクタの投写領域が全て収まっているか否かの判定を、撮影で得られた画像データをCPU201が解析することによって自動的に実行してもよい。CPU201は、撮像装置400の画角内に投写領域が包含されていないプロジェクタがあると判定された場合には、警告画面などを表示して、ユーザにプロジェクタもしくは撮像装置の配置の変更を促してもよい。 In S1013, the CPU 201 stores the image data acquired from the imaging device 400 in the RAM 202, for example. Then, the CPU 201 displays the captured image in the area 611 of the GUI screen 600 of FIG. The user can confirm from the image displayed in the area 611 whether the projection area of the projector to be adjusted is entirely within the angle of view of the imaging device 400 . It should be noted that whether or not the projection area of the projector to be adjusted is entirely within the angle of view of the imaging device 400 may be automatically determined by the CPU 201 analyzing the image data obtained by shooting. . When the CPU 201 determines that there is a projector whose projection area is not included within the angle of view of the imaging device 400, the CPU 201 displays a warning screen or the like to prompt the user to change the arrangement of the projector or the imaging device. good too.

CPU201は、S1013で領域611に画像を表示すると、S1015に処理を進める。S1015でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのそれぞれに対し、キーストーン補正の適用を指示するコマンドを送信する。この際、CPU201は、コマンド送信先のプロジェクタごとに、先に取得したキーストーン補正量を指定したコマンドを送信する。これにより、各プロジェクタは、S1004でキーストーン補正を解除する前の投写状態に復帰する。なお、ここではプロジェクタがキーストーン補正量を保持する機能を有さない場合を想定している。しかし、プロジェクタがキーストーン補正量を保持する機能を有する場合、S1015では単にキーストーン補正を有効にするコマンドを送信すればよい。 After displaying the image in the area 611 in S1013, the CPU 201 advances the process to S1015. In step S<b>1015 , the CPU 201 transmits a command instructing application of keystone correction to each projector to be adjusted via the network IF 206 . At this time, the CPU 201 transmits a command designating the previously acquired keystone correction amount for each projector to which the command is transmitted. As a result, each projector returns to the projection state before canceling the keystone correction in S1004. Here, it is assumed that the projector does not have the function of holding the keystone correction amount. However, if the projector has a function to hold the keystone correction amount, S1015 may simply send a command to enable keystone correction.

以上で、画角確認を目的としたテスト撮影処理は終了する。なお、投写領域が撮像装置400の画角に収まらないプロジェクタが存在した場合、ユーザは、撮像装置400の画角およびプロジェクタの位置の少なくとも一方を調整したのち、画角確認を目的としたテスト撮影を再度実行する。そして、調整対象のプロジェクタ全ての投写領域が撮像装置400の画角に収まることが確認できるまで、調整とテスト撮影を繰り返し行う。 With this, the test shooting process for checking the angle of view is completed. Note that if there is a projector whose projection area does not fit within the angle of view of the imaging device 400, the user adjusts at least one of the angle of view of the imaging device 400 and the position of the projector, and then performs test shooting for the purpose of checking the angle of view. again. Then, until it is confirmed that the projection areas of all the projectors to be adjusted fit within the angle of view of the imaging device 400, adjustment and test photography are repeated.

なお、自動位置合わせを正確に行うためには、調整対象のプロジェクタの投写領域がある程度の大きさで撮像装置400の画角に収まることが望ましい。したがって、ユーザは、例えば、投写面を撮影した画像に占める投写領域の大きさがおおよそ25%以上となるように撮像装置400の画角およびプロジェクタの位置を調整する。なお、25%というのは一例であり、自動位置合わせの精度などを考慮して適宜決定することができる。 In order to perform automatic alignment accurately, it is desirable that the projection area of the projector to be adjusted is large enough to fit within the angle of view of the imaging device 400 . Therefore, the user adjusts the angle of view of the imaging device 400 and the position of the projector so that, for example, the size of the projection area occupied by the captured image of the projection plane is about 25% or more. Note that 25% is an example, and can be determined as appropriate in consideration of the accuracy of automatic alignment.

次に、S1021以降の、撮影条件確認(または撮影条件の自動設定)を目的としたテスト撮影動作について説明する。
まず、S1021でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのうち、撮影条件の確認を行っていない任意の1つに対し、投写状態をオンにするように指示するコマンドを送信する。このコマンドはS1007で送信するものと同じであってよい。撮影条件確認を目的としたテスト撮影では、プロジェクタごとの撮影条件を確認するため、1つのプロジェクタだけが投写している状態で撮影を行う必要がある。そのため、画角確認を目的としたテスト撮影とは異なり、調整対象のプロジェクタのうち、投写状態をオンにするのは撮影条件を確認する1つだけにする。
Next, a test shooting operation for checking shooting conditions (or automatically setting shooting conditions) after S1021 will be described.
First, in step S<b>1021 , the CPU 201 transmits a command to turn on the projection state to any one of the projectors to be adjusted, whose photographing conditions have not been confirmed, through the network IF 206 . This command may be the same as that sent in S1007. In the test shooting for the purpose of confirming the shooting conditions, it is necessary to shoot while only one projector is projecting in order to check the shooting conditions for each projector. Therefore, unlike the test shooting for the purpose of checking the angle of view, only one of the projectors to be adjusted is turned on for checking the shooting conditions.

なお、ここでは調整対象のプロジェクタの全てについて1つずつ撮影条件を確認する場合について説明するが、調整象のプロジェクタのうち、ユーザが選択した1つについてだけ撮影条件を確認できるようにしてもよい。この場合、調整対象のプロジェクタの1つを選択するためのGUI(例えば、リストビュー603に表示されているプロジェクタの1つを選択するGUI)を提供し、選択された1つのプロジェクタに対してのみ、S1021以降の処理を実行すればよい。 Here, a case will be described in which the shooting conditions are checked one by one for all the projectors to be adjusted . good. In this case, a GUI for selecting one of the projectors to be adjusted (for example, a GUI for selecting one of the projectors displayed in the list view 603) is provided, and only the selected one projector is displayed. , S1021 and subsequent steps may be executed.

S1023でCPU201は、ネットワークIF206を通じて、S1021で投写状態をオンにしたプロジェクタに対し、テストパターンの投写を指示するコマンドを送信する。このコマンドはS1009で送信するコマンドと同じであってよい。ただし、テストパターンは自動位置合わせ時に投写するものと同じものとする。例えば、プロジェクタごとに異なるテストパターンを用いてもよいし、全面白の画像といった同じ画像をテストパターンとして用いてもよい。 In S1023, the CPU 201 transmits, via the network IF 206, a command for instructing projection of the test pattern to the projector whose projection state has been turned on in S1021. This command may be the same as the command sent in S1009. However, the test pattern shall be the same as that projected during automatic alignment. For example, a different test pattern may be used for each projector, or the same image, such as an all-white image, may be used as the test pattern.

S1025でCPU201は、通信部208を通じてコマンドを送信し、撮像装置400に撮影条件を設定する。例えば既に「撮影条件自動設定」ボタン60の操作により、調整対象のプロジェクタそれぞれについての撮影条件が決定されている場合、CPU201は該当する撮影条件をRAM202から読み出して設定することができる。あるいは、CPU201は、撮像装置400をシャッタスピード優先AEモードに設定し、さらに、シャッタスピードをプロジェクタのフレームレートに応じた値に設定してもよい。この場合、シャッタスピードは、例えば、フレームレート[フレーム/秒]の逆数に等しいシャッタスピード(1/フレームレート[秒])に設定することができる。 In S<b>1025 , the CPU 201 transmits a command through the communication unit 208 and sets the imaging conditions for the imaging device 400 . For example, if the shooting conditions for each projector to be adjusted have already been determined by operating the "shooting condition automatic setting" button 609 , the CPU 201 can read the corresponding shooting conditions from the RAM 202 and set them. Alternatively, the CPU 201 may set the imaging device 400 to the shutter speed priority AE mode and set the shutter speed to a value corresponding to the frame rate of the projector. In this case, the shutter speed can be set, for example, to a shutter speed equal to the reciprocal of the frame rate [frames/second] (1/frame rate [seconds]).

S1027でCPU201は、通信部208を通じて、撮像装置400に撮影の実行を指示する。これにより、撮像装置400は撮影を実行し、得られた画像データをPC200に送信する。 In S<b>1027 , the CPU 201 instructs the imaging device 400 to execute imaging through the communication unit 208 . Accordingly, the imaging device 400 executes imaging and transmits the obtained image data to the PC 200 .

S1029でCPU201は、撮像装置400から取得した画像データを例えばRAM202に格納する。そして、CPU201は、撮影された画像を図6のGUI画面600の領域611に表示させ、処理をS1031に進める。なお、領域611に表示した画像上にマウスポインタやカーソルが位置していることが検出された場合、CPU201は対応する画素の輝度値などを表示してもよい。 In S1029, the CPU 201 stores the image data acquired from the imaging device 400 in the RAM 202, for example. Then, the CPU 201 displays the captured image in the area 611 of the GUI screen 600 in FIG. 6, and advances the process to S1031. Note that when it is detected that the mouse pointer or cursor is positioned on the image displayed in the area 611, the CPU 201 may display the luminance value of the corresponding pixel.

S1031でCPU201は、画像データから投写領域に該当する画像領域を抽出する。そしてCPU201は、抽出した領域内の画像データから、撮影条件を決定するための情報(統計量データ)を生成し、RAM202に格納する。統計量データは例えば輝度のヒストグラムや平均輝度、白画素の値など、一般的に自動露出制御やオートホワイトバランス調整に用いられるものであってよい。また、CPU201は投写領域が画角(撮影範囲)に収まっているか否かを判定し、収まっていない判定される場合には警告してもよい。 In S1031, the CPU 201 extracts an image area corresponding to the projection area from the image data. Then, the CPU 201 generates information (statistics data) for determining imaging conditions from the image data within the extracted region, and stores the information in the RAM 202 . The statistic data may be data generally used for automatic exposure control or automatic white balance adjustment, such as luminance histograms, average luminance, and white pixel values. Further, the CPU 201 may determine whether or not the projection area is within the angle of view (shooting range), and issue a warning if it is determined that the projection area is not within the angle of view (shooting range).

S1033でCPU201は、撮影条件の自動設定を行うか否かを判定する。例えば、図6の「撮影条件自動設定」ボタン609が操作されたことの検出によってS1021からの処理を実行している場合、CPU201は撮影条件の自動設定を行うものと判定する。一方、撮影条件確認を目的としたテスト撮影を実行している場合、CPU201は撮影条件の自動設定は行わないと判定する。あるいは、CPU201は、現在投写状態がオン(投写中)のプロジェクタについて撮影条件を自動設定するか否かをユーザに問い合わせ、応答結果にしたがって処理を分岐させてもよい。例えば、自動設定をするかしないかを選択可能な問い合わせ画面を表示部205に表示することによってユーザに問い合わせることができる。また、撮影条件の自動設定を目的としたテスト撮影を実行している場合には、S1033でCPU201は、直近に決定した撮影条件を全てのプロジェクタに対して適用してテスト撮影を終了させるかどうかをユーザに問い合わせてもよい。全プロジェクタに共通の撮影条件を適用できる場合には、個々のプロジェクタについて別個に撮影条件の決定を行うほどの精度が要求されない場合があるからである。 In S1033, the CPU 201 determines whether or not to automatically set the imaging conditions. For example, when the processing from step S1021 is executed by detecting that the "automatically set imaging conditions" button 609 in FIG. 6 has been operated, the CPU 201 determines that the imaging conditions are to be automatically set. On the other hand, when test shooting is being performed for the purpose of checking shooting conditions, the CPU 201 determines not to automatically set shooting conditions. Alternatively, the CPU 201 may inquire of the user whether or not to automatically set the shooting conditions for the projector that is currently on (projecting), and branch the process according to the response result. For example, by displaying on the display unit 205 an inquiry screen that allows selection of whether or not to perform automatic setting, the user can be inquired. When test shooting is being performed for the purpose of automatically setting shooting conditions, in S1033 the CPU 201 determines whether to end test shooting by applying the most recently determined shooting conditions to all projectors. may be asked of the user. This is because, if common shooting conditions can be applied to all projectors, there may not be a need for such precision as to determine shooting conditions separately for each projector.

CPU201は、自動設定を行うと判定(あるいはユーザから指示)された場合にはS1035へ、自動設定を行わないと判定(あるいはユーザから指示)された場合にはS1037へ、処理を進める。 The CPU 201 advances the process to S1035 if it is determined (or instructed by the user) to perform the automatic setting, and to S1037 if it is determined (or instructed by the user) not to perform the automatic setting.

S1035でCPU201は、S1031で生成した統計量データを用い、公知の方法で撮影条件(露出条件およびホワイトバランス)を決定する。そして、CPU201は、決定した撮影条件を通信部208を通じて撮像装置400に設定する。また、CPU201は、決定した撮影条件を、現在投写状態がオン(投写中)のプロジェクタに対する撮影条件としてRAM202に格納する。この際、CPU201は、過去に決定された撮影条件があれば、それを更新する。そして、CPU201は処理をS1039に進める。 In S1035, the CPU 201 uses the statistic data generated in S1031 to determine shooting conditions (exposure conditions and white balance) by a known method. Then, the CPU 201 sets the determined imaging conditions to the imaging device 400 through the communication unit 208 . In addition, the CPU 201 stores the determined shooting conditions in the RAM 202 as shooting conditions for the projector whose projection state is currently ON (projecting). At this time, the CPU 201 updates the photographing conditions determined in the past, if any. Then, the CPU 201 advances the process to S1039.

一方、S1037でCPU201は、S1031で生成した統計量データをGUI画面600内もしくは別画面に表示し、処理をS1039に進める。なお、現在投写中のプロジェクタに対する処理を完了してもよいとの確認入力の検出に応じて処理をS1039に進めるようにしてもよい。ユーザはたとえば、S1037で表示される統計量データに基づいて、現在投写中のプロジェクタについての撮影条件を手動設定することができる。手動設定は上述したように撮像装置400を直接操作して行ってもよいし、表示部205に表示されるGUI画面を通じて遠隔的に行ってもよい。 On the other hand, in S1037, the CPU 201 displays the statistic data generated in S1031 in the GUI screen 600 or another screen, and advances the process to S1039. Note that the process may proceed to S1039 in response to detection of a confirmation input indicating that the process for the projector currently projecting may be completed. For example, the user can manually set the shooting conditions for the projector currently projecting based on the statistical data displayed in S1037. Manual setting may be performed by directly operating the imaging device 400 as described above, or may be performed remotely through a GUI screen displayed on the display unit 205 .

S1039でCPU201は、調整対象のプロジェクタ全てについて撮影条件の確認(または撮影条件の決定および設定)が完了したか否かを判定し、完了したと判定されれば処理を終了し、完了したと判定されなければ処理をS1041に進める。 In S1039, the CPU 201 determines whether confirmation of the shooting conditions (or determination and setting of the shooting conditions) has been completed for all projectors to be adjusted. If not, the process proceeds to S1041.

S1041でCPU201は、処理の終了指示が検出されたか否かを判定し、検出された判定されれば処理を終了し、検出されたと判定されなければ処理をS1021に戻して残りのプロジェクタの1つについての処理を行う。ここで、終了指示とは、操作部204を通じた処理の中断もしくは強制終了の指示であってよい。調整対象のプロジェクタが多数である場合、全てのプロジェクタに対する撮影条件の確認(または決定および設定)処理は時間を要する。そのため、処理の中断を受け付けるようにしている。 In S1041, the CPU 201 determines whether or not an instruction to end processing has been detected. If it is detected, the processing ends. process. Here, the end instruction may be an instruction to interrupt or forcibly terminate processing through the operation unit 204 . When there are a large number of projectors to be adjusted, it takes time to confirm (or determine and set) shooting conditions for all projectors. Therefore, interruption of processing is accepted.

以上のテスト撮影処理は、S400における撮影条件の設定処理の一部として実行される。テスト撮影の目的が画角確認の場合と、撮影条件確認の場合とでは、同時に投写させるべきプロジェクタの数や投写させるタイミングが異なる。本実施形態では、テスト撮影の目的を指定してテスト撮影の実行を指示するだけで、それぞれの目的に適したテスト撮影が実行されるようにしたため、手間を省きつつ適切なテスト撮影を行うことができる。 The test photographing process described above is executed as part of the photographing condition setting process in S400. The number of projectors to be simultaneously projected and the timing of projection differ depending on whether the purpose of the test photographing is to confirm the angle of view or to confirm the photographing conditions. In the present embodiment, only by designating the purpose of the test photography and instructing the execution of the test photography, the test photography suitable for each purpose is executed. can be done.

図6に戻り、投写制御アプリケーションのGUI画面600の下半分について説明する。スタック投写(図1)とマルチスクリーン投写(図2)とでは自動位置合わせの内容が異なる。そのため、GUI画面600は、マルチ投写の種類に応じた設定領域を選択的に表示するように構成されている。具体的には、CPU201は、タブ613の選択操作が検出されるとスタック投写用の設定領域を、タブ614の選択操作が検出されるとマルチスクリーン投写用の設定領域を表示させる。図6(a)はスタック投写用の設定領域が、図6(b)はマルチスクリーン投写用の設定領域が、それぞれ表示された状態を示している。 Returning to FIG. 6, the lower half of the GUI screen 600 of the projection control application will be described. Stack projection (FIG. 1) and multi-screen projection (FIG. 2) differ in the content of automatic alignment. Therefore, the GUI screen 600 is configured to selectively display the setting area according to the type of multi-projection. Specifically, the CPU 201 displays the setting area for stack projection when the selection operation of the tab 613 is detected, and displays the setting area for multi-screen projection when the selection operation of the tab 614 is detected. FIG. 6(a) shows a state in which the set area for stack projection is displayed, and FIG. 6(b) shows a state in which the set area for multi-screen projection is displayed.

[スタック投写用の設定領域]
図1に関して説明したようにスタック投写は、複数の投写領域が合致するように投写するマルチ投写である。複数の投写光学系を、光軸が同一になるように配置することはできないため、キーストーン補正が不要なプロジェクタは最大でも1つである。投写面に正対する位置にプロジェクタを配置することも容易でない場合が多いため、実際には全てのプロジェクタでキーストーン補正が行われることが多い。スタック投写での位置合わせは、投写領域が合致するように各プロジェクタのキーストーン補正量を自動で決定する処理である。
[Setting area for stack projection]
Stack projection, as described with reference to FIG. 1, is multi-projection in which multiple projection areas are projected to coincide. Since a plurality of projection optical systems cannot be arranged with the same optical axis, the number of projectors that do not require keystone correction is at most one. In many cases, it is not easy to place a projector at a position directly facing the projection surface, so keystone correction is often performed in all projectors in practice. Alignment in stack projection is a process of automatically determining the keystone correction amount of each projector so that the projection areas match.

図6(a)に示すスタック投写用の設定領域において、615、616、617は自動位置合わせモードを排他的に選択するためのラジオボタンである。本実施形態では、スタック投写用の自動位置合わせモードとして「4点指定調整」、「自動形状決定」、「基準プロジェクタに合わせる」から1つを選択できる。 In the setting area for stack projection shown in FIG. 6A, 615, 616, and 617 are radio buttons for exclusively selecting the automatic alignment mode. In this embodiment, one can be selected from "four-point designation adjustment", "automatic shape determination", and "align with reference projector" as the automatic alignment mode for stack projection.

「4点指定調整」は予め定められた4点に個々の投写領域の頂点を合わせるようなキーストーン補正量を自動で決定するモードである。例えばCPU201は4点調整領域621上に、投写領域の左上、右上、右下、左下の頂点にそれぞれ対応する調整マーカ622、623、624、625を移動可能に表示する。ユーザは例えばドラッグアンドドロップ操作や、選択操作とカーソル操作との組み合わせなどにより、個々の調整マーカを移動させることにより、投写領域の各頂点の座標を指定することができる。4点指定調整は、例えば、投写面が枠付きのスクリーンである場合のように、投写目標位置が明確な場合に有用である。なお、座標を調整可能な点の数は4点より少なくてもよいし、頂点以外の座標を含む5点以上としてもよい。 "Four-point designation adjustment" is a mode for automatically determining a keystone correction amount such that the apex of each projection area is aligned with predetermined four points. For example, the CPU 201 movably displays adjustment markers 622 , 623 , 624 , and 625 corresponding to the upper left, upper right, lower right, and lower left vertices of the projection area on the four-point adjustment area 621 . The user can specify the coordinates of each vertex of the projection area by moving the individual adjustment markers by, for example, a drag-and-drop operation or a combination of a selection operation and a cursor operation. Four-point designation adjustment is useful when the projection target position is clear, such as when the projection surface is a framed screen. Note that the number of points whose coordinates can be adjusted may be less than four points, or may be five or more points including coordinates other than the vertices.

「自動形状決定」は、個々の投写画像が矩形になるようなキーストーン補正量を自動で決定するモードである。このモードでは、位置合わせの目標となる4点を投写領域の撮影画像に基づいてCPU201が決定する。そして、CPU201は、決定した4点に個々の投写領域の頂点を合わせるようなキーストーン補正量を決定する。そのため、ユーザによる4点の指定操作は不要である。自動形状決定は、投写の目標位置が明確でないような場合(例えば広い壁面に対する投写)において有用である。 "Automatic shape determination" is a mode for automatically determining the keystone correction amount so that each projected image becomes a rectangle. In this mode, the CPU 201 determines four points to be aligned targets based on the captured image of the projection area. Then, the CPU 201 determines a keystone correction amount that aligns the vertices of the individual projection areas with the determined four points. Therefore, it is not necessary for the user to specify four points. Automatic shape determination is useful in cases where the target position for projection is not clear (eg, projection onto a wide wall).

「4点指定調整」および「自動形状決定」は、ユーザやCPU201によって予め定められた投写領域に、全てのプロジェクタの投写領域合致させるキーストーン補正量を自動で決定する処理である。これに対し、「基準プロジェクタに合わせる」は、1つのプロジェクタを基準プロジェクタとして、基準プロジェクタの投写領域に他のプロジェクタの投写領域を合致させるようなキーストーン補正量を自動で決定するモードである。このモードの自動位置合わせが実行されるのは、基準プロジェクタの投写領域の位置が、指定された位置に調整されている場合である。基準プロジェクタ以外のプロジェクタの投写領域を基準プロジェクタの投写領域に合致させるためのキーストーン補正量を自動的に決定する。 “4-point designation adjustment” and “automatic shape determination” are processes for automatically determining keystone correction amounts that match the projection areas of all projectors with the projection areas predetermined by the user or the CPU 201 . On the other hand, "match with reference projector" is a mode in which one projector is used as a reference projector and the keystone correction amount is automatically determined so that the projection area of another projector matches the projection area of the reference projector. This mode of automatic alignment is performed when the position of the projection area of the reference projector has been adjusted to the specified position. A keystone correction amount for matching the projection area of a projector other than the reference projector to the projection area of the reference projector is automatically determined.

「基準プロジェクタに合わせる」のラジオボタン617の選択操作を検出すると、CPU201はリストビュー603に表示されているプロジェクタの情報を、リストビュー618にコピーする。基準プロジェクタの選択は自動的に行ってもよいし、ユーザが選択できるようにしてもよい。例えば、リストビュー618の先頭にリストされたプロジェクタを基準プロジェクタとし、リスト内の順序をユーザがドラッグアンドドロップ操作などによって変更可能に構成することができるが、他の任意の構成を採用しうる。また、CPU201がRAM202で管理するリストを参照し、キーストーン補正量が最も少ないプロジェクタを基準プロジェクタに自動設定することもできる。さらに、上述したように、リストビュー603において選択された際の警告に対して、キーストーン補正を解除しないとされたプロジェクタを基準プロジェクタとしてもよい。 When detecting the selection operation of the radio button 617 for “align with reference projector”, the CPU 201 copies the information of the projector displayed in the list view 603 to the list view 618 . The reference projector may be selected automatically, or may be selected by the user. For example, the projector listed at the top of the list view 618 can be used as a reference projector, and the order in the list can be changed by the user using a drag-and-drop operation or the like, but any other configuration can be adopted. It is also possible for the CPU 201 to refer to a list managed by the RAM 202 and automatically set the projector with the smallest keystone correction amount as the reference projector. Furthermore, as described above, a projector for which keystone correction is not canceled in response to a warning when selected in the list view 603 may be used as the reference projector.

なお、ユーザによる基準プロジェクタの選択を支援するため、例えばリストビュー618に表示されているプロジェクタについて、投写領域を示す投写を行わせてもよい。例えば、CPU201は、「テストパターン表示」ボタン619の操作を検出すると、リストビュー618に表示されているプロジェクタのうち、基準プロジェクタについて例えば図11(a)に示すようなパターン画像を投写させる。また、CPU201は、リストビュー618に表示されている残りのプロジェクタに関しては、例えば図11(b)に示すようなパターン画像を投写させる。基本的に、全てのプロジェクタの投写領域の外縁が把握可能で、かつ選択されている1つのプロジェクタの投写領域が特定可能であれば、任意のパターン画像を用いることができる。 In order to assist the user in selecting a reference projector, for example, the projectors displayed in the list view 618 may be caused to project a projection area. For example, when the CPU 201 detects the operation of the “test pattern display” button 619, the reference projector among the projectors displayed in the list view 618 projects a pattern image as shown in FIG. Further, the CPU 201 causes the remaining projectors displayed in the list view 618 to project pattern images as shown in FIG. 11B, for example. Basically, any pattern image can be used as long as the outer edges of the projection areas of all the projectors can be grasped and the projection area of one selected projector can be identified.

図11(c)は、2台のプロジェクタがリストビュー618に表示されている状態で、一方のプロジェクタの情報が選択されている際の投写画像を模式的に示した図である。ユーザはこの投写画像から、現在選択中のプロジェクタの投写領域を容易に判別できる。また、現在選択中のプロジェクタの投写領域と、他のプロジェクタの投写領域との関係についても容易に把握できる。なお、パターン画像は、PC200からプロジェクタ100へ画像データとしてネットワークIF206を通じて送信してもよいし、映像信号として映像出力部207を通じて送信してもよい。 FIG. 11C is a diagram schematically showing a projected image when two projectors are displayed in the list view 618 and the information of one projector is selected. The user can easily determine the projection area of the currently selected projector from this projected image. Also, the relationship between the projection area of the currently selected projector and the projection areas of other projectors can be easily grasped. Note that the pattern image may be transmitted from the PC 200 to the projector 100 as image data through the network IF 206 or may be transmitted as a video signal through the video output unit 207 .

「自動調整開始」ボタン620の操作が検出されると、CPU201は選択されているラジオボタンに応じた自動位置合わせ処理を開始する。自動位置合わせ処理の詳細については後述する。 When the operation of the "start automatic adjustment" button 620 is detected, the CPU 201 starts automatic alignment processing according to the selected radio button. Details of the automatic alignment process will be described later.

[マルチスクリーン投写用の設定領域]
図2に関して説明したようにマルチスクリーン投写は、複数の投写領域を並べて配置するマルチ投写である。マルチスクリーン投写での位置合わせは、隣接する投写領域の重複部分のずれが生じないように各プロジェクタのキーストーン補正量を自動で決定する処理である。
[Setting area for multi-screen projection]
Multi-screen projection, as described with reference to FIG. 2, is multi-projection in which a plurality of projection areas are arranged side by side. Alignment in multi-screen projection is a process of automatically determining the keystone correction amount of each projector so as not to cause misalignment of overlapping portions of adjacent projection areas.

スタック投写と共通する事項の説明は省略し、マルチスクリーン投写に特有な事項について説明する。まず、マルチスクリーン投写の場合、自動位置合わせモードに「基準プロジェクタに合わせる」が存在しない。タブ614の選択操作を検出してCPU201がマルチスクリーン投写用の設定領域を表示させる際、リストビュー603に表示されているプロジェクタの情報を、リストビュー631にコピーして表示する。 A description of items common to stack projection will be omitted, and items specific to multi-screen projection will be described. First, in the case of multi-screen projection, there is no "align to reference projector" in the automatic alignment mode. When the selection operation of the tab 614 is detected and the CPU 201 displays the setting area for multi-screen projection, the projector information displayed in the list view 603 is copied to the list view 631 and displayed.

リストビュー629はマルチスクリーン投写の投写領域の配置パターンの選択肢を提供する。ユーザは選択肢の中から1つを選択することができる。「2x2」は2行2列、「1x4」は1行4列、「4x1」は4行1列の配置をそれぞれ表す。選択可能な配置パターンの選択肢は、リストビュー631に表示されているプロジェクタの数によって変化する。 The list view 629 provides options for layout patterns of projection areas for multi-screen projection. The user can select one of the options. "2x2" indicates an arrangement of 2 rows and 2 columns, "1x4" indicates an arrangement of 1 row and 4 columns, and "4x1" indicates an arrangement of 4 rows and 1 column. The options for the layout patterns that can be selected change depending on the number of projectors displayed in the list view 631 .

領域630は、リストビュー629でユーザが選択した配置パターンを模式的に示す表示である。CPU201は、リストビュー629で配置パターンが選択されると、選択された配置パターンに応じた画像を領域630に表示させる。配置パターンを可視化することによって、例えば1x4の配置を誤って4x1の配置とすることを防止できる。 A region 630 is a display that schematically shows an arrangement pattern selected by the user in the list view 629 . When an arrangement pattern is selected in list view 629 , CPU 201 displays an image corresponding to the selected arrangement pattern in area 630 . By visualizing the arrangement pattern, it is possible to prevent, for example, erroneously changing the arrangement of 1×4 to 4×1.

リストビュー631は、配置パターンを構成する投写領域とプロジェクタとの対応関係を変更可能に表示する領域である。領域630に表示された配置パターンの画像に含まれる投写領域のID(図6(b)では1~4)と、リストビュー631において個々のプロジェクタの情報に関連づけて表示されているテキストボックス632の内容とから、ユーザは対応関係を把握できる。テキストボックス632の内容はユーザが変更可能であり、例えば、「プロジェクタA 192.168.254.1」で左上の領域を投写させる場合には対応するテキストボックス632に対して「1」を入力する。投写領域のIDは同じものが異なる投写領域に付与されなければ数字以外の任意の文字、記号、マークなどであってよい。CPU201は、配置パターンと、各プロジェクタが配置パターンのどの投写領域を受け持つかを示す情報とをRAM202に格納し、管理する。 The list view 631 is an area in which the correspondence between the projection areas and the projectors forming the layout pattern is displayed in a changeable manner. The projection area IDs (1 to 4 in FIG. 6B) included in the arrangement pattern image displayed in the area 630 and the text boxes 632 displayed in association with the information of the individual projectors in the list view 631. The user can grasp the correspondence relationship from the contents. The contents of the text box 632 can be changed by the user. For example, when projecting the upper left area with "projector A 192.168.254.1", enter "1" in the corresponding text box 632. . The projection area ID may be any character, symbol, mark, or the like other than a number as long as the same ID is not assigned to different projection areas. The CPU 201 stores and manages the arrangement pattern and information indicating which projection area of the arrangement pattern is assigned to each projector in the RAM 202 .

テキストボックス633および634は、縦方向および横方向のエッジブレンド幅を画素数で入力する領域である。CPU201は、テキストボックス633および634に入力された値をRAM202にエッジブレンド幅情報として格納する。なお、テキストボックス633および634はデフォルト値が入力された状態で表示することもできる。 Text boxes 633 and 634 are areas for entering vertical and horizontal edge blend widths in pixels. The CPU 201 stores the values entered in the text boxes 633 and 634 in the RAM 202 as edge blend width information. Text boxes 633 and 634 can also be displayed with default values entered.

エッジブレンディング処理について図12を用いて説明する。ここでは、横方向におけるエッジブレンディング処理について説明するが、縦方向においても原理は同じである。
図12(a)および(b)に、1台目および2台目のプロジェクタの投写画像1100aおよび1100bを示す。投写画像1100aは、非重複領域1110aと重複領域1120aから構成される。投写画像1100bもまた、非重複領域1110bと重複領域1120bから構成される。重複領域1120a、1120bの横方向の大きさはテキストボックス634で指定するエッジブレンド横幅に相当する。
Edge blending processing will be described with reference to FIG. Here, edge blending processing in the horizontal direction will be described, but the principle is the same in the vertical direction.
12(a) and (b) show projection images 1100a and 1100b of the first and second projectors. Projected image 1100a is composed of non-overlapping areas 1110a and overlapping areas 1120a. Projected image 1100b is also composed of non-overlapping regions 1110b and overlapping regions 1120b. The horizontal size of overlap regions 1120 a and 1120 b corresponds to the edge blend horizontal width specified in text box 634 .

図12(c)は、エッジブレンディング処理によって制御されるゲインの大きさと、画像の横方向における位置との関係を示している。ゲイン1130a、1130bは、1台目のプロジェクタと2台目のプロジェクタのそれぞれの画像処理部109に適用するゲインである。非重複領域1110aおよび1110bについては画像合成による輝度の上昇は生じないため、ゲインを1.0倍とし、画像の輝度を変化させない。一方、重複領域1120aおよび1120bについてゲインを両方とも1.0倍にすると、輝度が上昇して投写画像の重複領域が目立ってしまう。そのため、重複領域1120aおよび1120bについては、画像の端部に向かって直線的にゲインを0まで下げる。この際、1130a=1.0-1130bという関係を満たすようにする。なお、重複領域におけるゲインを非線形に変化させてもよい。 FIG. 12(c) shows the relationship between the magnitude of the gain controlled by the edge blending process and the position in the horizontal direction of the image. Gains 1130a and 1130b are gains applied to the image processing units 109 of the first and second projectors, respectively. As for the non-overlapping regions 1110a and 1110b, the luminance is not increased by image synthesis, so the gain is set to 1.0 and the luminance of the image is not changed. On the other hand, if the gains for both overlapping areas 1120a and 1120b are set to 1.0, the brightness increases and the overlapping areas of the projected image become conspicuous. Therefore, for overlapping regions 1120a and 1120b, the gain is reduced to 0 linearly toward the edge of the image. At this time, the relationship 1130a=1.0-1130b is satisfied. Note that the gain in the overlap region may be changed nonlinearly.

図12(d)は、投写画像を示す。投写画像の重複領域1140には、重複領域1120aおよび1120bの両方が投写されている。例えば均一な画像を投写しているとき、重複領域1140の輝度は非重複領域1110a、1110bの輝度と同等になるため、2つの投写画像の境界が目立たなくなる。なお、隣接する投写領域を左右または上下の両方に有する投写領域に投写する画像については、左右(または上下)に存在する重複領域の両方についてエッジブレンディング処理を適用する。
以上説明した、スタック投写用の設定領域およびマルチスクリーン投写用の設定領域に対する操作に応じた動作は、S500の処理の一部として行われる。
FIG. 12(d) shows a projected image. Overlap region 1140 of the projected image has both overlap regions 1120a and 1120b projected. For example, when projecting a uniform image, the brightness of the overlapping area 1140 is the same as the brightness of the non-overlapping areas 1110a and 1110b, so that the boundary between the two projected images is less noticeable. For an image projected onto a projection area that has adjacent projection areas on both the left and right or above and below, the edge blending process is applied to both of the overlapping areas that exist on the left and right (or above and below).
The operation corresponding to the operation on the set area for stack projection and the set area for multi-screen projection described above is performed as part of the processing of S500.

[自動位置合わせ処理]
次に、図5の自動位置合わせ処理(S600)の詳細について、図13~図15を用いて説明する。自動位置合わせ処理は、CPU201が「自動調整開始」ボタン620の操作を検出したことに応じて開始される。
[Auto Alignment Processing]
Next, the details of the automatic alignment process (S600) in FIG. 5 will be described with reference to FIGS. 13 to 15. FIG. The automatic alignment process is started when the CPU 201 detects the operation of the “automatic adjustment start” button 620 .

S601でCPU201は、基準プロジェクタの確認処理を行う。基準プロジェクタの確認処理は、「基準プロジェクタに合わせる」自動位置合わせ処理が設定されている際に、現在の基準プロジェクタについてS603以降の実体的な位置合わせ処理(調整処理)を実行することに関してユーザに確認を求めるための処理である。また、確認処理では、「基準プロジェクタに合わせる」自動位置合わせ処理が設定されている際には基準プロジェクタ以外のプロジェクタが現在適用中の幾何学補正を解除する。「基準プロジェクタに合わせる」以外の自動位置合わせ処理が設定されている場合には、各プロジェクタが現在適用中の幾何学補正を解除する。
S602でCPU201は、基準プロジェクタの確認処理の結果に応じてS603以降の調整処理を実行するかどうかを決定する。
ここで、S601における基準プロジェクタの確認処理について、図14のフローチャートを用いて説明する。
S1301でCPU201は、RAM202に格納されている自動位置合わせモードの設定が、「基準プロジェクタに合わせる」であるか否かを判定する。CPU201は、設定が「基準プロジェクタに合わせる」であると判定されればS1303に、判定されなければS1302に処理を進める。
In S601, the CPU 201 performs confirmation processing of the reference projector. The confirmation processing of the reference projector instructs the user regarding execution of the substantive registration processing (adjustment processing) after S603 for the current reference projector when the automatic registration processing of "align to the reference projector" is set. This is processing for requesting confirmation. Further, in the confirmation process, when the automatic registration process of "matching to the reference projector" is set, the geometric correction currently being applied by the projectors other than the reference projector is cancelled. If an automatic alignment process other than "align to reference projector" is set, each projector cancels the geometry correction currently being applied.
In S602, the CPU 201 determines whether or not to execute the adjustment process in S603 and subsequent steps according to the result of the confirmation process of the reference projector.
Here, the confirmation processing of the reference projector in S601 will be described using the flowchart of FIG.
In S1301, the CPU 201 determines whether or not the setting of the automatic alignment mode stored in the RAM 202 is "align with reference projector". The CPU 201 advances the process to S1303 if it is determined that the setting is "match with reference projector", and to S1302 if not determined.

S1302でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタ(図6のリストビュー603に表示されているプロジェクタ)全てに対し、キーストーン補正の解除を指示するコマンドを送信する。そして、CPU201は基準プロジェクタの確認処理を終了する。この場合、処理の戻り値は「処理開始」である。コマンドを受信したプロジェクタのCPU101は、画像処理部109に対してキーストーン補正の解除を指示する。 In step S<b>1302 , the CPU 201 transmits a command to cancel keystone correction to all projectors to be adjusted (projectors displayed in the list view 603 in FIG. 6 ) via the network IF 206 . Then, the CPU 201 terminates the process of confirming the reference projector. In this case, the return value of the process is "process start". Upon receiving the command, the CPU 101 of the projector instructs the image processing unit 109 to cancel the keystone correction.

S1303でCPU201は、ネットワークIF206を通じて調整対象のプロジェクタ(リストビュー618に表示されているプロジェクタ)のそれぞれにコマンドを送信し、現在適用中のキーストーン補正量を取得する。なお、リストビュー601に接続されているプロジェクタの情報を表示する際や、テスト撮影時にキーストーン補正量を取得済みであれば、RAM202に管理しているプロジェクタの情報からキーストーン補正量を得ることができる。この場合、S1303でプロジェクタに改めてキーストーン補正量を要求するコマンドを送信する必要はない。 In step S1303, the CPU 201 transmits a command to each of the adjustment target projectors (projectors displayed in the list view 618) through the network IF 206, and acquires the currently applied keystone correction amount. When displaying the information of the projector connected to the list view 601 or when the keystone correction amount has already been acquired at the time of test shooting, the keystone correction amount can be obtained from the projector information managed in the RAM 202. can be done. In this case, there is no need to send a command requesting the keystone correction amount again to the projector in S1303.

S1304でCPU201は、ネットワークIF206を通じ、調整対象のプロジェクタのうち、基準プロジェクタ以外のそれぞれに、キーストーン補正の解除を指示するコマンドを送信する。これにより、基準プロジェクタ以外の対象プロジェクタでは、キーストーン補正が解除される。なお、基準プロジェクタは上述したように、ユーザにより、あるいは自動的に選択されている。 In step S<b>1304 , the CPU 201 transmits a command to cancel the keystone correction to each of the adjustment target projectors other than the reference projector through the network IF 206 . As a result, the keystone correction is canceled in the target projectors other than the reference projector. Note that the reference projector is selected by the user or automatically as described above.

S1305でCPU201は、基準プロジェクタには図11(a)に示したパターン画像を、他の対象プロジェクタのそれぞれには図11(b)に示したパターン画像を投写させる。これにより、ユーザは現在設定されている基準プロジェクタと、他の対象プロジェクタの投写領域を確認できる。なお、基準プロジェクタだけにパターン画像を投写させるようにしてもよい。 In S1305, the CPU 201 causes the reference projector to project the pattern image shown in FIG. 11A, and the other target projectors to project the pattern image shown in FIG. 11B. This allows the user to check the currently set reference projector and the projection areas of the other target projectors. Note that the pattern image may be projected only by the reference projector.

S1306でCPU201は、現在設定されている基準プロジェクタに合わせる自動位置合わせ処理を実行することの承認をユーザに求める。CPU201は例えば図15に示すようなダイアログメッセージを表示部205に表示することにより、承認を求めることができる。CPU201は、ダイアログメッセージに含まれる「はい」ボタン1401または「いいえ」ボタン1402の操作が検出されるまで待機する。 In S1306, the CPU 201 asks the user for approval to execute automatic alignment processing for matching with the currently set reference projector. The CPU 201 can request approval by displaying a dialog message as shown in FIG. 15 on the display unit 205, for example. The CPU 201 waits until an operation of the "Yes" button 1401 or the "No" button 1402 included in the dialog message is detected.

S1307でCPU201は、自動位置合わせ処理の実行を開始してもよいと、ユーザが指示したか否かを判定する。CPU201は「はい」ボタン1401の操作を検出すると、自動位置合わせ処理の実行を開始してもよいとユーザが指示したと判定し、基準プロジェクタの確認処理を終了する。この場合、処理の戻り値は「処理開始」である。 In S1307, the CPU 201 determines whether or not the user has instructed to start executing the automatic alignment process. When the CPU 201 detects the operation of the "yes" button 1401, it determines that the user has instructed that the execution of the automatic alignment process may be started, and ends the confirmation process of the reference projector. In this case, the return value of the process is "process start".

一方、CPU201は、「いいえ」ボタン1402の操作を検出すると、自動位置合わせ処理の実行が不可であるとユーザが指示したと判定し、処理をS1308に進める。S1308でCPU201は、ネットワークIF206を通じて、調整対象のプロジェクタのうち、基準プロジェクタ以外のプロジェクタのそれぞれに対し、キーストーン補正の適用を指示するコマンドを送信する。この際、CPU201は、コマンド送信先のプロジェクタごとに、先に取得したキーストーン補正量を指定したコマンドを送信する。これにより、各プロジェクタは、S1304でキーストーン補正を解除する前の投写状態に復帰する。なお、ここではプロジェクタがキーストーン補正量を保持する機能を有さない場合を想定している。しかし、プロジェクタがキーストーン補正量を保持する機能を有する場合、S1308では単にキーストーン補正を有効にするコマンドを送信すればよい。S1308を処理すると、CPU201は基準プロジェクタの確認処理を終了する。この場合、処理の戻り値は「処理終了」である。 On the other hand, when the CPU 201 detects that the "no" button 1402 has been operated, the CPU 201 determines that the user has instructed that the execution of the automatic alignment process is impossible, and advances the process to step S1308. In step S<b>1308 , the CPU 201 transmits a command instructing application of keystone correction to each of the projectors to be adjusted, other than the reference projector, via the network IF 206 . At this time, the CPU 201 transmits a command designating the previously acquired keystone correction amount for each projector to which the command is transmitted. As a result, each projector returns to the projection state before canceling the keystone correction in S1304. Here, it is assumed that the projector does not have the function of holding the keystone correction amount. However, if the projector has the ability to hold keystone correction amounts, S1308 simply sends a command to enable keystone correction. After processing S1308, the CPU 201 terminates the reference projector confirmation process. In this case, the return value of the process is "end of process".

なお、自動位置合わせ処理を実行してよいか否かについてのユーザへの問い合わせは、図15に示したダイアログメッセージを用いたものに限らない。また、S1307の終了後に、S1305で投写させたパターン画像の投写を終了させるようにしてもよい。 It should be noted that the inquiry to the user as to whether or not the automatic alignment process may be executed is not limited to using the dialog message shown in FIG. Alternatively, the projection of the pattern image projected in S1305 may be terminated after S1307 is completed.

基準プロジェクタの確認処理により、基準プロジェクタの投写領域(または投写画像)に他のプロジェクタの投写領域(または投写画像)を合わせるための自動位置合わせ処理の実行前に、基準プロジェクタ以外のプロジェクタのキーストーン補正を解除する。そのため、厳密に投写位置を定めるために行った基準プロジェクタのキーストーン補正が解除されることによる、誤った投写位置への位置合わせや、基準プロジェクタに対する再度のキーストーン補正の手間を省くことができる。一方、4点指定調整や自動形状決定など、基準プロジェクタが設定されない自動位置合わせ処理を行う場合には、自動位置合わせ処理の実行前に、位置合わせの対象となる全てのプロジェクタのキーストーン補正を解除する。そのため、元画像に対するキーストーン補正量もしくは補正回数を最小限に抑えることができ、補正後の投写用画像の画質、ひいては投写画像の画質の劣化を抑制することができる。 By the confirmation processing of the reference projector, the keystoning of the projectors other than the reference projector is performed before executing the automatic alignment processing for aligning the projection area (or projection image) of the other projector with the projection area (or projection image) of the reference projector. Cancel the correction. As a result, it is possible to eliminate the need for erroneous alignment to the projection position and re-keystone correction for the reference projector due to canceling the keystone correction of the reference projector that was performed to precisely determine the projection position. . On the other hand, when performing automatic alignment processing in which a reference projector is not set, such as 4-point specification adjustment or automatic shape determination, keystone correction is performed for all projectors to be aligned before executing automatic alignment processing. Release. Therefore, the amount of keystone correction or the number of times of keystone correction for the original image can be minimized, and deterioration of the image quality of the projection image after correction, and thus the image quality of the projected image, can be suppressed.

また、自動位置合わせ処理の実行前に、基準プロジェクタの投写領域を表すテストパターンを投写させ、基準プロジェクタの設定をユーザに確認させるようにした。そのため、例えば基準プロジェクタが自動設定された場合など、ユーザの意図と異なるプロジェクタを基準プロジェクタとした位置合わせ処理が実行されることを防止できる。また、自動位置合わせ処理を開始する前に、意図した基準プロジェクタが設定されていることを確認することができる。 Also, before executing the automatic alignment process, a test pattern representing the projection area of the reference projector is projected, and the setting of the reference projector is confirmed by the user. Therefore, for example, when the reference projector is automatically set, it is possible to prevent the execution of alignment processing using a projector different from the user's intention as the reference projector. Also, it is possible to confirm that the intended reference projector is set before starting the automatic alignment process.

図13に戻って、S602でCPU201は、基準プロジェクタの確認処理の結果(戻り値)が、「処理開始」であるか「処理終了」であるかを判定し、「処理開始」と判定されれば処理をS603に進め、「処理終了」と判定されれば位置合わせ処理を終了する。このように、「基準プロジェクタに合わせる」位置合わせ処理は、現在の基準プロジェクタをユーザが承認しない場合には実行されない。 Returning to FIG. 13, in S602, the CPU 201 determines whether the result (return value) of the confirmation process of the reference projector is "process start" or "process end". If so, the process advances to step S603, and if it is determined that "processing has ended", the alignment process ends. Thus, the "fit to reference projector" alignment process will not be performed if the current reference projector is not approved by the user.

S603でCPU201は、実体的な自動位置合わせ処理(調整処理)を開始する。CPU201は、調整対象のプロジェクタ(基準プロジェクタがある場合はそれも含む)の全てについて、調整用テストパターンの投写および撮影を行ったか否かを判定し、行ったと判定されればS606に、判定されなければS604に、それぞれ処理を進める。 In S603, the CPU 201 starts substantive automatic alignment processing (adjustment processing). The CPU 201 determines whether or not the adjustment test pattern has been projected and photographed for all of the projectors to be adjusted (including the reference projector, if any). If not, the process proceeds to S604.

S604でCPU201は、調整対象のプロジェクタの1つに対し、位置合わせ用のテストパターンを投写させる。上述の通り、テストパターンの投写はネットワークIF206通じて送信するコマンドを用いて指示もよいし、映像出力部207および映像分配器300を通じて映像信号を供給することによって実現してもよい。なお、テストパターンを投写しているプロジェクタの投写領域を投写面の撮影画像から認識できるよう、CPU201は、テストパターンを投写させるプロジェクタ以外のプロジェクタに対して黒画像を投写させるか、投写をオフするコマンドを送信する。位置合わせ用のテストパターンは全てのプロジェクタに共通であってもなくてもよい。例えば、プロジェクタの設置位置や、マルチスクリーン投写におけるプロジェクタの投写位置などを考慮してテストパターンを異ならせてもよい。 In S604, the CPU 201 causes one of the projectors to be adjusted to project a test pattern for alignment. As described above, the projection of the test pattern may be instructed using a command transmitted through the network IF 206 or realized by supplying a video signal through the video output section 207 and the video distributor 300 . Note that the CPU 201 causes projectors other than the projector that projects the test pattern to project a black image or turns off projection so that the projection area of the projector that is projecting the test pattern can be recognized from the captured image on the projection surface. Send command. A test pattern for alignment may or may not be common to all projectors. For example, the test pattern may be changed in consideration of the installation position of the projector, the projection position of the projector in multi-screen projection, and the like.

S605でCPU201は、通信部208を通じて、位置合わせに用いる撮像装置400に対して撮影を指示するコマンドを送信する。撮像装置400はコマンドを受信すると撮影を行い、得られた画像データをPC200に送信する。なお、必要であれば、画像データをPC200に送信させるためのコマンドを別途CPU201から撮像装置400に送信してもよい。CPU201は受信した画像データをRAM202に格納する。 In step S<b>605 , the CPU 201 transmits, via the communication unit 208 , a command for instructing imaging to the imaging device 400 used for alignment. When the imaging device 400 receives the command, it takes an image and transmits the obtained image data to the PC 200 . If necessary, a command for transmitting image data to the PC 200 may be separately transmitted from the CPU 201 to the imaging device 400 . The CPU 201 stores the received image data in the RAM 202 .

S606で認識手段としてのCPU201はRAM202に格納した画像データから、テストパターンを投写中のプロジェクタの投写領域の頂点とその座標を認識する。そして、制御手段としてのCPU201は、テストパターンを投写中のプロジェクタについてのキーストーン補正量を、自動位置合わせモードの設定に応じた方法で決定する。 In S606, the CPU 201 as recognition means recognizes the apex of the projection area of the projector that is projecting the test pattern and its coordinates from the image data stored in the RAM 202 . Then, the CPU 201 as control means determines the keystone correction amount for the projector that is projecting the test pattern by a method according to the setting of the automatic alignment mode.

例えば、CPU201は、スタック投写用の自動位置合わせ処理の場合は以下の様にキーストーン補正量を決定する。「4点指定調整」の場合、CPU201は、ユーザが指定した4頂点の座標に投写領域の頂点の座標を合わせるためのキーストーン補正量を決定する。また、「自動形状決定」の場合であれば、CPU201は、全てのプロジェクタでキーストーン補正可能な範囲に含まれる4頂点の座標を決定し、その座標に投写領域の頂点を合わせるためのキーストーン補正量を決定する。「基準プロジェクタに合わせる」の場合、CPU201は、基準プロジェクタに関しては投写領域の4頂点とその座標の認識を行い、キーストーン補正量は決定しない。基準プロジェクタ以外のプロジェクタについては、認識した投写領域の4頂点の座標を、基準プロジェクタの投写領域の4頂点の座標に合わせるためのキーストーン補正量を決定する。なお、キーストーン補正量は公知の方法で決定することができること、本発明はキーストーン補正量の決定方法には依存しないことから、決定方法の詳細については説明を省略する。 For example, in the case of automatic alignment processing for stack projection, the CPU 201 determines the keystone correction amount as follows. In the case of "four-point designation adjustment", the CPU 201 determines the keystone correction amount for matching the coordinates of the vertices of the projection area with the coordinates of the four vertices designated by the user. In the case of "automatic shape determination", the CPU 201 determines the coordinates of four vertices included in the range where keystone correction is possible for all projectors, and performs keystone adjustment for matching the vertices of the projection area to the coordinates. Determine the amount of correction. In the case of "align with reference projector", the CPU 201 recognizes the four vertices of the projection area and their coordinates for the reference projector, and does not determine the keystone correction amount. For the projectors other than the reference projector, a keystone correction amount for matching the recognized coordinates of the four vertices of the projection area with the coordinates of the four vertices of the projection area of the reference projector is determined. The amount of keystone correction can be determined by a known method, and the present invention does not depend on the method of determining the amount of keystone correction, so the detailed description of the determination method will be omitted.

S607でCPU201は、ネットワークIF206を通じて、各プロジェクタ100に対して、キーストーン補正の適用を指示するコマンドを送信する。このコマンドは送信先のプロジェクタについて決定した、各頂点のキーストーン補正量を含む。なお、「基準プロジェクタに合わせる」場合、CPU201は基準プロジェクタに対してはキーストーン補正の適用を指示するコマンドを送信しない。 In step S<b>607 , the CPU 201 transmits a command instructing application of keystone correction to each projector 100 via the network IF 206 . This command contains the amount of keystone correction for each vertex determined for the destination projector. It should be noted that in the case of "matching to the reference projector", the CPU 201 does not transmit a command instructing application of keystone correction to the reference projector.

コマンドを受信したプロジェクタ100のCPU101は、コマンドからキーストーン補正量を抽出し、投写用画像に対してキーストーン補正を適用するように画像処理部109に指示する。 Upon receiving the command, the CPU 101 of the projector 100 extracts the keystone correction amount from the command and instructs the image processing unit 109 to apply the keystone correction to the projection image.

本実施形態では、基準プロジェクタの投写領域に他のプロジェクタの投写領域を合わせるための自動位置合わせ処理を行う場合、投写領域を認識するための撮影を行う前に、基準プロジェクタ以外のプロジェクタだけキーストーン補正を解除するようにした。そのため、厳密に投写位置を定めるために行った基準プロジェクタのキーストーン補正が解除されることによる、誤った投写位置への位置合わせや、基準プロジェクタに対する再度のキーストーン補正の手間を省くことができる。 In this embodiment, when performing automatic alignment processing for aligning the projection area of another projector with the projection area of the reference projector, only the projectors other than the reference projector are keystoned prior to photographing for recognizing the projection area. I canceled the correction. As a result, it is possible to eliminate the need for erroneous alignment to the projection position and re-keystone correction for the reference projector due to canceling the keystone correction of the reference projector that was performed to precisely determine the projection position. .

また、本実施形態では、テスト撮影の目的に応じて適切なテスト撮影が実行されるように投写するプロジェクタや投写のタイミングを制御するようにした。そのため、ユーザは、テスト撮影の目的を指定して実行を指示するだけで適切なテスト撮影を実行することができ、手間を大幅に省くことができる。 Further, in the present embodiment, the projector for projection and the timing of projection are controlled so that appropriate test photography is performed according to the purpose of the test photography. Therefore, the user can execute appropriate test photography only by designating the purpose of the test photography and instructing the execution, thereby greatly saving time and effort.

[その他の実施形態]
上述の実施形態では、位置合わせ時に用いるテストパターンがプロジェクタに共通でない場合を想定して、個々のプロジェクタについて別個に撮影および撮影条件を決定した。しかし、全プロジェクタで同じテストパターンを用いる場合に、撮影条件を自動設定するためのテスト撮影を行う場合には、代表的に1つのプロジェクタに対してだけ撮影を行い、決定した撮影条件を全てのプロジェクタに適用するようにしても良い。また、上述の実施形態では、プロジェクタが適用する幾何補正として、台形歪みを補正するキーストーン補正についてのみ説明したが、樽型歪みや糸巻き型歪みを補正するための幾何補正が適用される場合についてもキーストーン補正と同様に扱うことができる。
[Other embodiments]
In the above-described embodiment, assuming that the test pattern used for alignment is not common to the projectors, shooting and shooting conditions are determined separately for each projector. However, when the same test pattern is used for all projectors and test shooting for automatic setting of shooting conditions is performed, typically only one projector is shot and the determined shooting conditions are applied to all projectors. It may be applied to a projector. Further, in the above-described embodiments, only keystone correction for correcting trapezoidal distortion was described as the geometric correction applied by the projector. can be treated in the same way as keystone correction.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又はコンピュータ読み取り可能な記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a computer-readable storage medium, and one or more processors in a computer of the system or device It can also be realized by a process of reading and executing a program. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

100a、100b、100c、100d…プロジェクタ、200…PC、101、201…CPU、102、202…RAM、103、203…ROM、400…撮像装置 100a, 100b, 100c, 100d... projector, 200... PC, 101, 201... CPU, 102, 202... RAM, 103, 203... ROM, 400... imaging device

Claims (16)

投写面に画像を投写する複数の投写装置と、前記投写面を撮像する撮像装置とを制御する制御手段を備える投写制御装置であって、
前記制御手段は、
前記複数の投写装置のすべてが第1のテスト画像を投写している状態で前記投写面を前記撮像装置により撮像させて、前記複数の投写装置の投写領域が前記撮像装置の撮像範囲に収まっていることを確認するための第1のテスト撮像と、
前記複数の投写装置のうち1つの投写装置が第2のテスト画像を投写している状態で前記投写面を前記撮像装置により撮像させて、前記第2のテスト画像を投写している投写装置の投写領域を特定するための第2のテスト撮像と、を実行
前記第1のテスト撮像を実行する前に、前記複数の投写装置のすべてについて、適用されている幾何補正を解除し、
前記第2のテスト撮像を実行する前に、前記複数の投写装置のうち前記第2のテスト画像を投写する投写装置について、適用されている幾何補正を解除しない、
ことを特徴とする投写制御装置。
A projection control apparatus comprising control means for controlling a plurality of projection devices for projecting images onto a projection plane and an imaging device for imaging the projection plane,
The control means is
while all of the plurality of projection devices are projecting the first test image, the imaging device captures an image of the projection surface, and the projection areas of the plurality of projection devices fall within the imaging range of the imaging device. a first test imaging to confirm that
one of the plurality of projection devices is projecting the second test image, and the projection surface is imaged by the imaging device, thereby projecting the second test image. performing a second test imaging to identify the projection area;
before performing the first test imaging, canceling applied geometric corrections for all of the plurality of projection devices;
Before executing the second test imaging, the geometric correction applied to a projection device that projects the second test image among the plurality of projection devices is not released.
A projection control device characterized by:
前記制御手段は、前記第2のテスト画像を投写させる投写装置を順に切り換えて前記第2のテスト撮像を実行し、前記複数の投写装置のそれぞれについて投写領域を特定することを特徴とする請求項1に記載の投写制御装置。 3. The control means performs the second test imaging by sequentially switching projection devices for projecting the second test image, and specifies a projection area for each of the plurality of projection devices. 1. The projection control apparatus according to 1. 前記制御手段は、前記第2のテスト撮像で得られた画像に基づいて、前記撮像装置の撮像条件を決定することを特徴とする請求項1または2に記載の投写制御装置。 3. A projection control apparatus according to claim 1 , wherein said control means determines imaging conditions of said imaging device based on the image obtained by said second test imaging. 前記制御手段はさらに、
前記第2のテスト撮像によって得られた画像に基づいて前記撮像装置の撮像条件を決定し、
前記複数の投写装置のそれぞれに第3のテスト画像を投写させた状態で前記撮像装置に前記投写面を撮像させて得られた画像に基づいて、前記複数の投写装置の幾何補正の調整処理を実行する、
ことを特徴とする請求項からのいずれか1項に記載の投写制御装置。
The control means further includes:
determining imaging conditions of the imaging device based on the image obtained by the second test imaging;
Adjusting processing of geometric correction of the plurality of projection devices based on an image obtained by imaging the projection surface with the imaging device while projecting a third test image on each of the plurality of projection devices. Run,
4. The projection control apparatus according to any one of claims 1 to 3 , characterized in that:
前記第2のテスト画像と前記第3のテスト画像とが同一であることを特徴とする請求項に記載の投写制御装置。 5. A projection control apparatus according to claim 4 , wherein said second test image and said third test image are the same. 前記第1のテスト画像は、投写面に投写された状態で少なくとも投写領域の外縁を確認可能な画像であることを特徴とする請求項からのいずれか1項に記載の投写制御装置。 6. The projection control apparatus according to any one of claims 1 to 5 , wherein the first test image is an image that allows confirmation of at least the outer edge of the projection area when projected onto the projection surface. 前記制御手段はさらに、前記第1のテスト撮像で得られた画像を表示手段に表示することを特徴とする請求項からのいずれか1項に記載の投写制御装置。 7. The projection control apparatus according to claim 1 , wherein said control means further displays an image obtained by said first test imaging on display means. 投写面に画像を投写する複数の投写装置と、
前記投写面を撮像する撮像装置と
請求項からのいずれか1項に記載の投写制御装置と、
を有することを特徴とする投写システム。
a plurality of projection devices that project images onto a projection surface;
an imaging device for imaging the projection plane; a projection control device according to any one of claims 1 to 7 ;
A projection system comprising:
投写面に画像を投写する複数の投写装置と、前記投写面を撮像する撮像装置とを制御する投写制御装置の制御方法であって、
前記複数の投写装置のすべてが第1のテスト画像を投写している状態で前記投写面を前記撮像装置により撮像させて、前記複数の投写装置の投写領域が前記撮像装置の撮像範囲に収まっていることを確認するための第1のテスト撮像を実行する工程と、
前記複数の投写装置のうち1つの投写装置が第2のテスト画像を投写している状態で前記投写面を前記撮像装置により撮像させて、前記第2のテスト画像を投写している投写装置の投写領域を特定するための第2のテスト撮像を実行する工程と、
前記第1のテスト撮像を実行する工程の前に、前記複数の投写装置のすべてについて、適用されている幾何補正を解除する工程と、を有し、
前記第2のテスト撮像を実行する工程の前には、前記複数の投写装置のうち前記第2のテスト画像を投写する投写装置について、適用されている幾何補正を解除しない、
ことを特徴とする投写制御装置の制御方法。
A control method for a projection control device for controlling a plurality of projection devices for projecting images onto a projection surface and an imaging device for imaging the projection surface, comprising:
while all of the plurality of projection devices are projecting the first test image, the imaging device captures an image of the projection surface, and the projection areas of the plurality of projection devices fall within the imaging range of the imaging device. performing a first test imaging to confirm that the
one of the plurality of projection devices is projecting the second test image, and the projection surface is imaged by the imaging device, thereby projecting the second test image. performing a second test imaging to identify the projection area;
and, prior to the step of performing the first test imaging, canceling applied geometric corrections for all of the plurality of projection devices;
Before the step of performing the second test imaging, the geometric correction applied to a projection device that projects the second test image among the plurality of projection devices is not released.
A control method for a projection control apparatus, characterized by:
前記第2のテスト画像を投写させる投写装置を順に切り換えて実行された前記第2のテスト撮像で得られた画像に基づいて、前記複数の投写装置のそれぞれについて投写領域を特定する工程をさらに有することを特徴とする請求項に記載の投写制御装置の制御方法。 further comprising specifying a projection area for each of the plurality of projection devices based on the image obtained by the second test imaging performed by sequentially switching the projection device for projecting the second test image. 10. The method of controlling a projection control apparatus according to claim 9 , wherein: 前記第2のテスト撮像で得られた画像に基づいて、前記撮像装置の撮像条件を決定する工程をさらに有することを特徴とする請求項9または10に記載の投写制御装置の制御方法。 11. The method of controlling a projection control apparatus according to claim 9 , further comprising the step of determining imaging conditions of said imaging device based on the image obtained by said second test imaging. 前記第2のテスト撮像で得られた画像に基づいて前記撮像装置の撮像条件を決定する工程と、
前記複数の投写装置のそれぞれに第3のテスト画像を投写させた状態で前記撮像装置に前記投写面を撮像させて得られた画像に基づいて、前記複数の投写装置の幾何補正の調整処理を実行する工程と、
をさらに有することを特徴とする請求項から11のいずれか1項に記載の投写制御装置の制御方法。
determining imaging conditions of the imaging device based on the image obtained by the second test imaging;
Adjusting processing of geometric correction of the plurality of projection devices based on an image obtained by imaging the projection surface with the imaging device while projecting a third test image on each of the plurality of projection devices. the steps to perform;
12. The method of controlling a projection control apparatus according to any one of claims 9 to 11 , further comprising:
前記第2のテスト画像と前記第3のテスト画像とが同一であることを特徴とする請求項12に記載の投写制御装置の制御方法。 13. The method of controlling a projection control apparatus according to claim 12 , wherein said second test image and said third test image are the same. 前記第1のテスト画像は、投写面に投写された状態で少なくとも投写領域の外縁を確認可能な画像であることを特徴とする請求項から13のいずれか1項に記載の投写制御装置の制御方法。 14. The projection control apparatus according to any one of claims 9 to 13 , wherein the first test image is an image that allows confirmation of at least the outer edge of the projection area when projected onto the projection surface. control method. 前記第1のテスト撮像で得られた画像を表示手段に表示する工程をさらに有することを特徴とする請求項から14のいずれか1項に記載の投写制御装置の制御方法。 15. The method of controlling a projection control apparatus according to any one of claims 9 to 14 , further comprising the step of displaying an image obtained by said first test imaging on display means. コンピュータを、請求項からのいずれか1項に記載の投写制御装置が有する制御手段として機能させるためのプログラム。 A program for causing a computer to function as control means of the projection control apparatus according to any one of claims 1 to 7 .
JP2017241122A 2017-12-15 2017-12-15 PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM Active JP7116543B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017241122A JP7116543B2 (en) 2017-12-15 2017-12-15 PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM
EP18208061.4A EP3499881B1 (en) 2017-12-15 2018-11-23 Projection control apparatus and control method thereof, and projection system
US16/214,459 US10663844B2 (en) 2017-12-15 2018-12-10 Projection control apparatus and control method thereof, and projection system
KR1020180157770A KR102409805B1 (en) 2017-12-15 2018-12-10 Projection control apparatus and control method thereof, and projection system
CN201811531550.0A CN109936734B (en) 2017-12-15 2018-12-14 Projection control apparatus, projection system, recording medium, and projection control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017241122A JP7116543B2 (en) 2017-12-15 2017-12-15 PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM

Publications (3)

Publication Number Publication Date
JP2019110408A JP2019110408A (en) 2019-07-04
JP2019110408A5 JP2019110408A5 (en) 2021-01-07
JP7116543B2 true JP7116543B2 (en) 2022-08-10

Family

ID=67180240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017241122A Active JP7116543B2 (en) 2017-12-15 2017-12-15 PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM

Country Status (1)

Country Link
JP (1) JP7116543B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099497B2 (en) * 2020-07-28 2022-07-12 セイコーエプソン株式会社 Image generation method, image generation system, and program
JP7384193B2 (en) * 2021-07-30 2023-11-21 セイコーエプソン株式会社 Display method, projector, and projection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269358A (en) 2004-03-19 2005-09-29 Seiko Epson Corp Projector and exposure adjustment method
JP2005269352A (en) 2004-03-19 2005-09-29 Seiko Epson Corp Projector and exposure adjustment method
JP2013153392A (en) 2012-01-26 2013-08-08 Canon Inc Image processing apparatus and image processing method, and program
JP2014007484A (en) 2012-06-22 2014-01-16 Seiko Epson Corp Correction control device, correction method, and projector
JP2013254051A5 (en) 2012-06-06 2015-07-09
JP2017138581A (en) 2016-02-02 2017-08-10 パナソニックIpマネジメント株式会社 Projection image adjustment system and projection image adjustment method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6098045B2 (en) 2012-06-06 2017-03-22 セイコーエプソン株式会社 Projection system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269358A (en) 2004-03-19 2005-09-29 Seiko Epson Corp Projector and exposure adjustment method
JP2005269352A (en) 2004-03-19 2005-09-29 Seiko Epson Corp Projector and exposure adjustment method
JP2013153392A (en) 2012-01-26 2013-08-08 Canon Inc Image processing apparatus and image processing method, and program
JP2013254051A5 (en) 2012-06-06 2015-07-09
JP2014007484A (en) 2012-06-22 2014-01-16 Seiko Epson Corp Correction control device, correction method, and projector
JP2017138581A (en) 2016-02-02 2017-08-10 パナソニックIpマネジメント株式会社 Projection image adjustment system and projection image adjustment method

Also Published As

Publication number Publication date
JP2019110408A (en) 2019-07-04

Similar Documents

Publication Publication Date Title
CN109936734B (en) Projection control apparatus, projection system, recording medium, and projection control method
CN106605195B (en) Communication apparatus and control method of communication apparatus
JP5088018B2 (en) Image processing apparatus and control program
JP4637845B2 (en) Geometric correction method in multi-projection system
US10297005B2 (en) Method for generating panoramic image
JP7013896B2 (en) Projection system, projection system control method, projector
US10754237B2 (en) Control apparatus, control method, projection system, and storage medium
JP2020088691A (en) Projection control device, control method of the same, and projection system
CN107027013B (en) Projection image adjustment system and projection image adjustment method
US8985781B2 (en) Projector control device and computer-readable recording medium
JP2020178248A (en) Projection control device, projection control method, projection system, program, and storage medium
JP7096664B2 (en) Projection control device and its control method, and projection system
JP2019207392A (en) Controller, control method, projection system, program, and storage medium
JP2017072795A (en) Projector and control method therefor
JP7116543B2 (en) PROJECTION CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROJECTION SYSTEM
JP2020178221A (en) Projection control device, projection control method, and program
JP2020194998A (en) Control arrangement, projection system, control method, program and storage medium
JP2019204034A (en) Projection control device, control method thereof, projection system, program and storage medium
JP2021061541A (en) Control device, control method, projection system, program, and storage medium
JP2019192996A (en) Projection control apparatus and projection control method
US20190327457A1 (en) Projection control apparatus and projection control method
US20190346754A1 (en) Control apparatus controlling projection apparatuses, control method, and storage medium
JP2019192997A (en) Projection control apparatus and projection control method
JP2020150481A (en) Information processing device, projection system, information processing method, and program
JP2019078875A (en) Image display apparatus, adjustment method thereof, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201116

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220729

R151 Written notification of patent or utility model registration

Ref document number: 7116543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151