JP2006140831A - Projector device - Google Patents
Projector device Download PDFInfo
- Publication number
- JP2006140831A JP2006140831A JP2004329385A JP2004329385A JP2006140831A JP 2006140831 A JP2006140831 A JP 2006140831A JP 2004329385 A JP2004329385 A JP 2004329385A JP 2004329385 A JP2004329385 A JP 2004329385A JP 2006140831 A JP2006140831 A JP 2006140831A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- unit
- projection
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、スクリーンにプロジェクタで映像を投射するプロジェクタ装置に関し、特に、スクリーンの投射面の形状を求め、それにより歪のない映像を表示するプロジェクタ装置に関する。 The present invention relates to a projector device that projects an image on a screen with a projector, and more particularly to a projector device that obtains the shape of a projection surface of a screen and thereby displays an image without distortion.
プロジェクタからの映像をスクリーンに投射すると、スクリーン上では、歪がある画像が表示されることがある。平面スクリーンに投射した際、生じる台形歪を補正する技術としては、キーストーン補正がよく知られている。スクリーンが非平面の場合、キーストーン補正では歪を完全に補正することはできないため、スクリーン形状に基づいた補正を行う必要がある。 When an image from a projector is projected onto a screen, a distorted image may be displayed on the screen. Keystone correction is well known as a technique for correcting trapezoidal distortion that occurs when projected onto a flat screen. When the screen is non-planar, it is necessary to perform correction based on the screen shape because keystone correction cannot completely correct distortion.
特許文献１には、プロジェクタとカメラの特性、位置、姿勢をキャリブレーションし、三角測量の方法でスクリーン投影面の形状を取得する方法が記載されている。特許文献２には、レーザーポインタを用いて、スクリーン上の絶対位置をポイントし、計測したポイント位置に基づいて、プロジェクタの投影画像を補正する幾何補正データを求める方法が記載されている。
特許文献１に記載された方法では、プロジェクタとカメラの間の三角測量でスクリーン投影面の形状を推定する。しかしながら、三角測量によって算出した三次元形状の精度は、撮影部の内部特性や相対位置の精度に大きく依存し、内部特性や相対位置に誤差があると、推定するスクリーンの三次元形状では大きな誤差となって現れる。尚、内部特性とは、画角や焦点距離、レンズ歪などのことである。
In the method described in
また、特許文献１に記載された方法では、カメラのみならず、プロジェクタに関しても、内部特性及び相対位置のキャリブレーションを行う必要があるため、プロジェクタの配置やズームを変えるたびに、プロジェクタの内部特性及び相対位置のキャリブレーションを行わなければならない。これを回避するためには、プロジェクタの設置を高精度により行わなければならないという施工上の問題があった。
Further, in the method described in
特許文献２に記載された方法では、スクリーンの絶対位置をレーザーポインタでポイントするため、スクリーンの製作精度が高くなければならないという問題があった。
In the method described in
本発明はこのような従来の技術が有する問題点に鑑みてなされたものであり、スクリーンの投射面の形状を高い精度で取得することが可能なプロジェクタ装置を提供することを目的とする。 The present invention has been made in view of such problems of the conventional technology, and an object of the present invention is to provide a projector device that can acquire the shape of the projection surface of the screen with high accuracy.
本発明は、プロジェクタ装置は、スクリーン上にテストパターンの投射映像を順次隣接して表示する複数の画像投射部と、前記スクリーン上の投射映像を複数の位置から撮影する撮影部と、前記撮影部が撮影した前記撮影画像から前記スクリーンの投射面の三次元形状情報を求める幾何情報演算部とを有し、前記幾何情報演算部は、三角測量法によって、前記複数の撮影画像上の対応する点の座標から該点に対応する前記スクリーン上の点の座標を求めることにより、前記スクリーンの投射面の三次元座標を求める。 The projector includes a plurality of image projecting units that sequentially display the projected images of the test pattern on the screen, a photographing unit that photographs the projected images on the screen from a plurality of positions, and the photographing unit. A geometric information calculation unit that obtains three-dimensional shape information of the projection surface of the screen from the photographed image, the geometric information calculation unit corresponding points on the plurality of photographed images by triangulation method By obtaining the coordinates of the point on the screen corresponding to the point from the coordinates, the three-dimensional coordinates of the projection surface of the screen are obtained.
本発明によると、スクリーンの投射面の形状を高い精度で取得する結果、歪みのない映像を表示することができるようになる。 According to the present invention, as a result of acquiring the shape of the projection surface of the screen with high accuracy, an image without distortion can be displayed.
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に関わるプロジェクタ装置の機能的な基本構成を示した図である。本例のプロジェクタ装置は、テストパターン画像を保持するテストパターン保持部６００、入力された映像信号に所定の変形を施して又はテストパターン保持部６００からのテストパターン画像を出力する画像変換部５００、画像変換部５００から入力した画像をスクリーン１００上に投射する画像投射部２０１、２０２、スクリーン１００に投射された映像を撮影する撮影部３０１、３０２、撮影部３０１、３０２が撮影した画像を保持する撮影画像保持部３１０、及び、撮影部３０１、３０２による撮影画像からスクリーンの投射面の三次元形状情報を求める幾何情報演算部４００を備えている。ここでは、２つの画像投射部２０１、２０２が示されているが、２つ以上の画像投射部を設けてもよい。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a functional basic configuration of a projector apparatus according to an embodiment of the present invention. The projector apparatus of this example includes a test
尚、以下に、画像投射部２０１、２０２によって投射される元の画像を原画像、画像投射部２０１、２０２によって投射されたスクリーン上の映像を投射映像、撮影部３０１、３０２による撮影によって得られた画像を撮影画像と呼ぶ。
In the following, the original image projected by the
画像変換部５００は、最初に、テストパターン保持部６００からのテストパターン画像を恒等変形して（すなわち変形せずに）、画像投射部２０１、２０２へ出力する。幾何情報演算部４００は、テストパターン画像を使用してスクリーンの投射面の三次元形状情報を演算する。画像変換部５００は、幾何情報演算部４００からの三次元形状情報に基づいて、投射映像すべき画像を変形する。ここで使用するテストパターンは特願２００３−２０４２１７に記載された複数のパターンであり、以下の撮影においては、特願２００３−２０４２１７に記載された複数のテストパターンの撮影を行うものとする。
The
図２を参照して、スクリーンの投射面の三次元形状情報を算出し、それを補正する処理の概要を説明する。ステップＳ７００にて、スクリーン上にテストパターン像を順次隣接するように投射し、それを撮影する。スクリーン上に、先ず、第１の画像投射部２０１によって投射映像を生成し、次に、第２の画像投射部２０２によって、それに隣接する投射映像を生成する。第１の画像投射部２０１による投射映像と第２の画像投射部２０２による投射映像は、隣接する辺にて、互いに部分的に重複するように、投射される。これを順次繰り返し、スクリーンの全投射面を撮影する。ステップＳ８００にて、投射面の三次元形状情報を算出し、ステップＳ９００にて、投射面の重複領域情報を算出し、ステップＳ１０００にて、投射面の三次元形状情報を補正する。
With reference to FIG. 2, an outline of processing for calculating three-dimensional shape information of the projection surface of the screen and correcting it will be described. In step S700, test pattern images are sequentially projected on the screen so as to be photographed. On the screen, first, a projection image is generated by the first
本発明では、重複領域を用いて、スクリーンの投射面の三次元形状情報を補正するから、マルチプロジェクションのプロジェクタ装置により曲面スクリーン上に広範囲に映像を投射する用途にも適用可能である。更に、本発明によると、スクリーンの投射面の三次元形状情報を正確に得ることができるから、プロジェクタの設置、スクリーンの設置及び製作に要求される精度を緩和することができる。 In the present invention, since the three-dimensional shape information of the projection surface of the screen is corrected using the overlapping area, the present invention can be applied to an application in which an image is projected over a wide area by a multi-projection projector device. Furthermore, according to the present invention, since the three-dimensional shape information of the projection surface of the screen can be obtained accurately, the accuracy required for the installation of the projector, the installation and production of the screen can be relaxed.
図３を参照して、ステップＳ７００のテストパターンの撮影について説明する。ステップＳ７１０にて、第１の画像投射部２０１による投射映像領域の全体を撮影することができるように、撮影部３０１、３０２を配置する。図４を参照して説明する。スクリーン１００上には、第１の画像投射部２０１による投射映像領域４０１と第２の画像投射部２０２による投射映像領域４０２が生成されている。投射映像領域４０１、４０２には、テストパターン保持部６００に保存されているテストパターンを原画像とする映像が表示される。撮影部３０１、３０２は、第１の画像投射部２０１による投射映像領域４０１の全体を撮影することができるように、配置される。このときの、撮影部３０１のカメラ姿勢をカメラ姿勢３８１、撮影部３０２のカメラ姿勢をカメラ姿勢３８２とし、２つのカメラ姿勢３８１、３８２をまとめてカメラ姿勢群３８０とする。図６Ａは、第１の撮影部３０１のファインダーの画面を示し、図６Ｂは、第２の撮影部３０２のファインダーの画面を示す。
With reference to FIG. 3, imaging of the test pattern in step S700 will be described. In step S <b> 710, the
ステップＳ７２０にて、第１の画像投射部２０１によって生成されたスクリーン１００上の投射映像領域４０１を、第１の撮影部３０１によって撮影する。図７の撮影画像３１１は、第１の撮影部３０１によって、カメラ姿勢３８１にて、撮影された像である。
In step S 720, the
図５Ａを参照して説明する。第１の画像投影部２０１によって投射される原画像２１１上の点Ｐアの座標をＰア（ｐアｘ，ｐアｙ）、スクリーン１００上の原画像点Ｐアの投射映像点Ｓアのグローバル座標をＳア（ｓアｘ，ｓアｙ，ｓアｚ）、第１の撮影部３０１による撮影画像３１１上の投射映像点Ｓアの撮影画像点Ｃア＿ア１の座標をＣア＿ア１（ｃア＿ア１ｘ，ｃア＿ア１ｙ）とする。原画像点Ｐアの集合から撮影画像点Ｃア＿ア１への写像をｆア＿ア１、撮影画像点Ｃア＿ア１の集合から原画像点Ｐアの集合への写像をｆア＿ア１ −１と表すと、写像ｆア＿ア１、及びｆア＿ア１ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数１の関係がある。
This will be described with reference to FIG. 5A. The first
ステップＳ７３０にて、第１の画像投射部２０１によって生成されたスクリーン１００上の投射映像領域４０１を、第２の撮影部３０２で撮影する。
In step S <b> 730, the
図５Ａに示すように、第２の撮影部３０２による撮影画像３１２上の投影映像点Ｓアの撮影画像点Ｃア＿ア２の座標をＣア＿ア２（ｃア＿ア２ｘ，ｃア＿ア２ｙ）とする。原画像点Ｐアの集合から撮影画像点Ｃア＿ア２の集合への写像をｆア＿ア２、撮影画像点Ｃア＿ア２の集合から原画像点Ｐアの集合への写像をｆア＿ア２ −１と表すと、写像ｆア＿ア２、及びｆア＿ア２ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数２の関係がある。
As shown in FIG. 5A, the
ステップＳ７４０において、スクリーン１００上に、投射映像領域４０１に隣接する投射映像領域を生成する他の画像投射部が存在するか否かを判定する。ここでは、第２の画像投射部２０２が存在するので、ステップＳ７５０に進む。
In step S740, it is determined whether there is another image projection unit that generates a projection video area adjacent to the
ステップＳ７５０にて、第２の画像投射部２０２によって生成されたスクリーン１００上の投射映像領域４０２を、第１の撮影部３０１で撮影する。図７の撮影画像３１３は、第１の撮影部３０１によって、カメラ姿勢３８１にて、撮影された像である。
In step S 750, the
図５Ｂに示すように、第２の画像投影部２０２によって投射される原画像２１２上の点Ｐイの座標をＰイ（ｐイｘ，ｐイｙ）、スクリーン１００上の原画像点Ｐイの投射映像点Ｓイのグローバル座標をＳイ（ｓイｘ，ｓイｙ，ｓイｚ）、第１の撮影部３０１による撮影画像３１３上の投射映像点Ｓイの撮影画像点Ｃア＿イ１の座標をＣア＿イ１（ｃア＿イ１ｘ，ｃア＿イ１ｙ）とする。原画像点Ｐイの集合から撮影画像点Ｃア＿イ１への写像をｆア＿イ１、撮影画像点Ｃア＿イ１の集合から原画像点Ｐイの集合への写像をｆア＿イ１ −１と表すと、写像ｆア＿イ１、及びｆア＿イ１ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数４の関係がある。
As shown in FIG. 5B, coordinates P i of point P i on the
ステップＳ７６０において、上述の処理を未だ行っていない画像投射部が存在するか否かを判定する。ここでは、第２の画像投射部２０２について、上述の撮影処理を行っていない。従って、ステップＳ７１０に戻る。
In step S760, it is determined whether there is an image projection unit that has not yet been subjected to the above-described processing. Here, the above-described photographing process is not performed for the second
ステップＳ７１０にて、第２の画像投射部２０２による投射映像領域の全体を撮影することができるように、撮影部３０１、３０２を配置する。図４を参照して説明する。撮影部３０１、３０２は、第２の画像投射部２０２による投射映像領域４０２の全体を撮影することができるように、配置される。このときの、撮影部３０１のカメラ姿勢をカメラ姿勢３９１、撮影部３０２のカメラ姿勢をカメラ姿勢３９２とし、２つのカメラ姿勢３９１、３９２をまとめてカメラ姿勢群３９０とする。図６Ｃは、第１の撮影部３０１のファインダーの画面を示し、図６Ｄは、第２の撮影部３０２のファインダーの画面を示す。
In step S <b> 710, the photographing
ステップＳ７２０にて、第２の画像投射部２０２によって生成されたスクリーン１００上の投射映像領域４０２を、第１の撮影部３０１によって撮影する。
In step S <b> 720, the
図５Ｃに示すように、第２の画像投影部２０２によって投射される原画像２１２上の点Ｐイの座標をＰイ（ｐイｘ，ｐイｙ）、スクリーン１００上の原画像点Ｐイの投射映像点Ｓイのグローバル座標をＳイ（ｓイｘ，ｓイｙ，ｓイｚ）、第１の撮影部３０１による撮影画像３２１上の投射映像点Ｓイの撮影画像点Ｃイ＿イ１の座標をＣイ＿イ１（ｃイ＿イ１ｘ，ｃイ＿イ１ｙ）とする。原画像点Ｐイの集合から撮影画像点Ｃイ＿イ１への写像をｆイ＿イ１、撮影画像点Ｃイ＿イ１の集合から原画像点Ｐイの集合への写像をｆイ＿イ１ −１と表すと、写像ｆイ＿イ１、及びｆイ＿イ１ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数４の関係がある。
As shown in FIG. 5C, the coordinates of the point P i on the
ステップＳ７３０にて、第２の画像投射部２０２によって生成されたスクリーン１００上の投射映像領域４０２を、第２の撮影部３０２で撮影する。
In step S <b> 730, the
図５Ｃに示すように、第２の撮影部３０２による撮影画像３２２上の投影映像点Ｓイの撮影画像点Ｃイ＿イ２の座標をＣイ＿イ２（ｃイ＿イ２ｘ，ｃイ＿イ２ｙ）とする。原画像点Ｐイの集合から撮影画像点Ｃイ＿イ２の集合への写像をｆイ＿イ２、撮影画像点Ｃイ＿イ２の集合から原画像点Ｐイの集合への写像をｆイ＿イ２ −１と表すと、写像ｆイ＿イ２、及びｆイ＿イ２ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数５の関係がある。
As shown in FIG. 5C, a second of the coordinates captured image point C b _ 2 of the projection image point S i on the captured image 322 by the photographing unit 302 C Lee _ i 2 (
ステップＳ７４０において、スクリーン１００上に、投射映像領域４０２に隣接する投射映像領域を生成する他の画像投射部が存在するか否かを判定する。ここでは、第１の画像投射部２０１が存在するので、ステップＳ７５０に進む。
In step S740, it is determined whether there is another image projection unit that generates a projection video area adjacent to the
ステップＳ７５０にて、第１の画像投射部２０１によって生成されたスクリーン１００上の投射映像領域４０１を、第２の撮影部３０２で撮影する。ただし、この撮影は冗長なので省略してもよい。
In step S 750, the
図５Ａに示すように、第２の撮影部３０２による撮影画像３３３上の投射映像点Ｓアの撮影画像点Ｃイ＿ア２の座標をＣイ＿ア２（ｃイ＿ア２ｘ，ｃイ＿ア２ｙ）とする。第１の画像投射部２０１によって投射される原画像点Ｐアの集合から第２の撮影部３０２による撮影画像３２３上の撮影画像点Ｃイ＿ア２への写像をｆイ＿ア２、撮影画像点Ｃイ＿ア２の集合から原画像点Ｐアの集合への写像をｆイ＿ア２ −１と表すと、写像ｆイ＿ア２、及びｆイ＿ア２ −１は、特願２００３−２０４２１７に記載された例によって定義され、次の数６の関係がある。
As shown in FIG. 5A, the second the coordinate photographed image point C b _ A 2 of the projected image point S A on the captured image 333 by the photographing unit 302 C Lee _ A 2 (
ステップＳ７６０において、上述の処理を未だ行っていない画像投射部が存在するか否かを判定する。ここでは、全ての画像投射部について、上述の撮影処理を行っており、撮影処理を終了する。 In step S760, it is determined whether there is an image projection unit that has not yet been subjected to the above-described processing. Here, the above-described shooting process is performed for all the image projection units, and the shooting process ends.
図７は、第１の画像投影部２０１によって投射される原画像２１１、第１の画像投射部２０１によって生成されたスクリーン１００上の投射映像領域４０１を第１の撮影部３０１によって、カメラ姿勢３８１にて、撮影することにより得た撮影画像３１１、第２の画像投射部２０２によって生成されたスクリーン１００上の投射映像領域４０２を第１の撮影部３０１によって、カメラ姿勢３８１にて、撮影することにより得た撮影画像３１３、及び、第２の画像投影部２０２によって投射される原画像２１２、を示す。撮影画像３１１には、原画像２１１の像の全体が含まれるが、撮影画像３１３には、原画像２１２の像の一部が含まれる。
7 shows an original image 211 projected by the first
図８を参照して、ステップＳ８００の投射面の三次元形状情報を算出する処理を説明する。ステップＳ８１０にて、１つの画像投射部を選択する。ここでは、第１の画像投射部２０１を選択する。
With reference to FIG. 8, the process which calculates the three-dimensional shape information of the projection surface of step S800 is demonstrated. In step S810, one image projection unit is selected. Here, the first
ステップＳ８２０にて、特開２００１−３２０６５２に記載された三角測量法により、投射映像点Ｓアのグローバル座標Ｓア（ｓアｘ，ｓアｙ，ｓアｚ）を求める。図５Ａに示すように、第１の撮影部３０１による撮影画像３１１上の撮影画像点Ｃア＿ア１と第２の撮影部３０２による撮影画像３１２上の撮影画像点Ｃア＿ア２は、共に、スクリーン１００上の投射映像点Ｓアを示す。そこで、投射映像点Ｓアのグローバル座標Ｓア（ｓアｘ，ｓアｙ，ｓアｚ）を求める。
In step S820, JP by triangulation method described in 2001-320652, determine the global coordinates S A of the projected image point S A (s A x, s A y, s A z). As shown in FIG. 5A, the captured image points C A _ A 2 on the
ステップＳ８３０にて、第１の撮影部３０１による撮影画像３１１上の撮影画像点Ｃ１と第２の撮影部３０２による撮影画像３１２上の撮影画像点Ｃ２の組のうち、スクリーン１００上の１つの投射映像点Ｓを示す組があるか否かを判定する。このような組がある限り、ステップＳ８２０の処理を繰り返す。このような組がなくなったら、ステップＳ８４０へ進む。
In
ステップＳ８４０にて、上述の処理を未だ行っていない画像投射部が存在するか否かを判定する。ここでは、第２の画像投射部２０２について、上述の投射映像点のグローバル座標を求める処理を行っていない。従って、ステップＳ８１０に戻る。
ステップＳ８１０にて、第２の画像投射部２０２を選択する。
In step S840, it is determined whether there is an image projection unit that has not been subjected to the above-described processing. Here, the process for obtaining the global coordinates of the projected video point is not performed on the second
In step S810, the second
ステップＳ８２０にて、特開２００１−３２０６５２に記載された三角測量法により、投射映像点Ｓイのグローバル座標Ｓイ（ｓイｘ，ｓイｙ，ｓイｚ）を求める。図５Ｃに示すように、第１の撮影部３０１による撮影画像３２１上の撮影画像点Ｃイ＿イ１と第２の撮影部３０２による撮影画像３２２上の撮影画像点Ｃイ＿イ２は、共に、スクリーン１００上の投射映像点Ｓイを示す。そこで、投射映像点Ｓイのグローバル座標Ｓイ（ｓイｘ，ｓイｙ，ｓイｚ）を求める。
In step S820, the global coordinates S a (s i x , s y y , s i z ) of the projected video point S i are obtained by the triangulation method described in JP-A-2001-320652. As shown in FIG. 5C, the captured image point C b _ i 2 on the first imaging unit capturing an image point on the photographed image 321 by 301 C Lee _ b 1 and the
ステップＳ８３０にて、第１の撮影部３０１による撮影画像３２１上の撮影画像点と第２の撮影部３０２による撮影画像３２２上の撮影画像点の組のうち、スクリーン１００上の１つの投射映像点を示す組があるか否かを判定する。このような組がある限り、ステップＳ８２０の処理を繰り返す。ここでは、このような組がなくなったから、三次元形状情報算出処理を終了する。
In step S830, one projected video point on the
ステップＳ８１０〜Ｓ８４０の処理により、第１の画像投射部２０１によってスクリーン１００上に結像する投射映像領域４０１と第２の画像投射部２０２によってスクリーン１００上に結像する投射映像領域４０２の三次元形状が求まった。
By the processing in steps S810 to S840, the three-dimensional
図９および図１０を参照して、三次元形状の誤差を説明する。三角測量の方法により算出した三次元形状の精度は、上述のように撮影部の内部特性や相対位置の精度に大きく依存する。図９は、第２の撮影部３０２の内部特性や相対位置に誤差があり、スクリーン１００上に結像する投射映像領域の三次元形状に誤差が生ずる状態を示す。図１０に示すように、スクリーン１００上にて、２つの画像投射部２０１、２０２による投射映像領域４０１、４０２は三次元位置的に一致するはずであるが、実際には、一致しないケースが起こりうる。本発明では、この不一致を補正するために、以下に説明するように、投射映像領域の重複情報を利用する。
The error of the three-dimensional shape will be described with reference to FIGS. As described above, the accuracy of the three-dimensional shape calculated by the triangulation method greatly depends on the internal characteristics of the imaging unit and the accuracy of the relative position. FIG. 9 shows a state in which there is an error in the internal characteristics and relative position of the second photographing
図１１を参照して、ステップＳ９００の投射映像領域の重複情報の算出処理について説明する。 With reference to FIG. 11, the calculation process of the overlap information of the projection video area in step S900 will be described.
ステップＳ９１０にて、１つの画像投射部を選択する。ここでは、第１の画像投射部２０１を選択する。第１の画像投射部２０１によるスクリーン上の投射映像領域４０１の全体が写るように第１の撮影部３０１によって撮影し、そのときのカメラ姿勢３８１を選択する。
In step S910, one image projection unit is selected. Here, the first
ステップＳ９２０にて、第１の撮影部３０１は、選択したカメラ姿勢３８１にて、２つ以上の画像投射部による投射映像領域を撮像したか否かを判定する。ここでは、第１の撮影部３０１は、選択したカメラ姿勢３８１にて、２つの画像投射部２０１、２０２による投射映像領域を撮像したので、ステップＳ９３０に進む。図１２は、カメラ姿勢３８１にて、第１の撮影部３０１による撮影画像３１１、３１３を示す。撮影画像３１１には、第１の画像投射部２０１の原画像２１１の全体が含まれ、撮影画像３１３には、第２の画像投射部２０２の原画像２１２の一部が含まれる。
In step S920, the first photographing
ステップＳ９３０にて、画像投射部による投射映像のうち、重複領域が存在するものを互いに関連付ける。図１２に示すように、カメラ姿勢３８１にて得た２つの撮影画像３１１、３１３より、その重複領域３５０を得ることができる。
In step S930, among the projected images by the image projection unit, those having overlapping regions are associated with each other. As shown in FIG. 12, the overlapping
図１２に示すように、重複領域３５０上の点Ｐｃｏ（ｃｏｘ，ｃｏｙ）を写像ｆア＿ア１ −１で変換した点をＰアｏ（ｐアｏｘ，ｐアｏｙ）とし、写像ｆア＿イ１ −１で変換した点をＰイｏ（ｐイｏｘ，ｐイｏｙ）とする。原画像２１１上の座標点（ｐアｏｘ，ｐアｏｙ）と原画像２１２上の座標点（ｐイｏｘ，ｐイｏｙ）が対応する組となる。
As shown in FIG. 12, and point P co (c ox, c oy ) on overlapping
重複領域３５０上の全ての点に対し、対応する座標点の組（ｐアｏｘ，ｐアｏｙ）と（ｐイｏｘ，ｐイｏｙ）を求める。この組の集合が重複領域情報である。ここで、第１の画像投射部２０１の原画像２１１の座標系から第２の画像投影部２０２の原画像２１２の座標系への写像をｇ１２と表す。
For all the points on the overlapping
ステップＳ９４０において、選択する画像投射部及びカメラ姿勢が残っているか否かを判定する。ここでは、第２の画像投射部２０２が残っているので、ステップＳ９１０に戻る。
In step S940, it is determined whether the selected image projection unit and camera posture remain. Here, since the second
ステップＳ９１０にて、第２の画像投射部２０２を選択する。第２の画像投射部２０２によるスクリーン上の投射映像領域４０２を第１の撮影部３０１によって撮影したときのカメラ姿勢３９１を選択する。
In step S910, the second
ステップＳ９２０において、第１の撮影部３０１は、選択したカメラ姿勢３９１にて、２つ以上の画像投射部による投射映像領域を撮像したか否かを判定する。ここでは、第１の撮影部３０１は、選択したカメラ姿勢３９１にて、２つの画像投射部２０１、２０２による投射映像領域を撮像したので、ステップＳ９３０に進む
ステップＳ９３０にて、画像投射部による投射映像のうち、重複領域が存在するものを互いに関連付ける。この結果、写像ｇ１２が得られる。
In step S920, the first photographing
以上、ステップＳ９１０〜Ｓ９４０により、２つの画像投射部２０１、２０２による投射映像領域４０１、４０２のうち、重複する領域間の座標関係が得られる。
As described above, in steps S910 to S940, the coordinate relationship between overlapping areas among the projected
ステップＳ１０００にて、三角測量法で求めた投射映像領域４０１と４０２の三次元位置のずれを、写像ｇ１２を用いて補正する方法を以下に示す。
A method for correcting the displacement of the three-dimensional positions of the projected
写像ｇ１２より、第１の画像投射部２０１の原画像２１１上の点（ｐアｏｘ，ｐアｏｙ）と第２の画像投射部の原画像２１２上の点（ｐイｏｘ，ｐイｏｙ）がスクリーン１００上にて一致している。従って、ステップＳ８３０にて、原画像２１１上の点（ｐアｏｘ，ｐアｏｙ）から求まったグローバル座標ＳアＯ（ｓアｏｘ，ｓアｏｙ，ｓアｏｚ）と原画像２１２上の点（ｐイｏｘ，ｐイｏｙ）から求まったグローバル座標ＳイＯ（ｓイｏｘ，ｓイｏｙ，ｓイｏｚ）は、本来一致するはずである。したがって、グローバル座標上の点ＳアＯと点ＳイＯの差が縮まるように補正すればよい。
From mapping g 12, point (p A ox, p A oy) on the original image 211 of the first
本例では、以下に説明するように、カメラ姿勢のうちカメラ方向（経度、緯度）を補正することで、三次元形状情報を補正する。 In this example, as described below, the three-dimensional shape information is corrected by correcting the camera direction (longitude, latitude) in the camera posture.
図１３は、投射面の三次元形状情報を補正する詳細な流れを示す。ステップＳ１０１０にて、１つのカメラ姿勢群を選択する。ここではカメラ姿勢群３８０を選択する。ステップＳ１０２０にて、カメラ姿勢群３８０に含まれる各カメラ姿勢３８１、３８２を補正する。以下に補正方法を記す。 FIG. 13 shows a detailed flow for correcting the three-dimensional shape information of the projection surface. In step S1010, one camera posture group is selected. Here, the camera posture group 380 is selected. In step S1020, the camera postures 381 and 382 included in the camera posture group 380 are corrected. The correction method is described below.
三角測量で用いたカメラ姿勢３８１の経度をθ1c、緯度φ1c、カメラ姿勢３８２の経度をθ2c、緯度φ2cとする。また、経度の誤差範囲をθe、緯度の誤差範囲をφe、経度の補正精度をθ’、緯度の補正精度をφ’と表す。ただし、θe、φe、θ’、φ’は数７の条件を満たすものとする。 Longitude camera pose 381 used in triangulation Shita1c, latitude Fai1c, longitude theta 2c camera pose 382, and the latitude phi 2c. Also, the longitude error range is represented by θ e , the latitude error range is represented by φ e , the longitude correction accuracy is represented by θ ′, and the latitude correction accuracy is represented by φ ′. However, θ e , φ e , θ ′, and φ ′ satisfy the condition of Equation 7.
ここで、新たに求めるカメラ姿勢３８１の経度をθ1、緯度φ1、カメラ姿勢３８２の経度をθ2、緯度φ2とする。θ1、φ1、θ2、φ2の値の範囲は次の数８の式を満たすものとする。
Here, it is assumed that the newly obtained longitude of the camera posture 381 is θ 1 and latitude φ 1 , and the longitude of the
このとき、整数ｉ、ｊ、ｈ、ｋとθ’、φ’を用いて、θ1、φ1、θ2、φ2を次の数９の式のように表すことができる。 At this time, θ 1 , φ 1 , θ 2 , and φ 2 can be expressed as in the following Expression 9 using integers i, j, h, k, and θ ′ and φ ′.
数７の式の条件から、整数ｉ、ｊ、ｈ、ｋの値の範囲は、数１０のようになる。 From the condition of the expression (7), the range of values of the integers i, j, h, k is as shown in the expression (10)
θ1、φ1、θ2、φ2を用いて、原画像２１１上の点（ｐアｏｘ，ｐアｏｙ）からグローバル座標Ｓ’アＯ（ｓ’アｏｘ，ｓ’アｏｙ，ｓ’アｏｚ）を新たに算出すると、Ｓ’アＯとＳイＯの三次元距離ｄを数１１の式で表すことができる。 Using the angles θ 1 , φ 1 , θ 2 , and φ 2 , the global coordinates S ′ a O (s ′ a ox , s ′ aoy , s ′) are obtained from the point (p a ox , p a oy ) on the original image 211. When a oz) newly calculated, can represent the three-dimensional distance d S 'a O and S Lee O in the numerical formula 11.
ここで、求めた三次元座標の精度を表す指標値ｅを数１２の式で定義する。指標値ｅは、Ｓ’アＯとＳイＯの差が小さいほど、値が小さくなる。 Here, an index value e representing the accuracy of the obtained three-dimensional coordinates is defined by the equation (12). Index value e, the more the difference S 'A O and S b O is small, the value becomes smaller.
数１０を満たす全ての整数の組（ｉ，ｊ，ｈ，ｋ）について指標値ｅを求め、指標値ｅが最小となるθ1、φ1、θ2、φ2を補正したカメラ方向とする。これにより、カメラ姿勢３８１、３８２が補正された。 The index value e is obtained for all integer pairs (i, j, h, k) satisfying Equation 10, and θ 1 , φ 1 , θ 2 , and φ 2 that minimize the index value e are used as the corrected camera directions. . As a result, the camera postures 381 and 382 are corrected.
ステップＳ１０３０にて、補正したカメラ姿勢３８１、３８２に基づいて、投射映像領域４０１のグローバル座標を再計算する。グローバル座標の計算方法は、ステップＳ８２０と同じ方法を用いる。
In step S1030, the global coordinates of the
ステップＳ１０４０にて、選択するカメラ姿勢群が残っているか否かを判定する。ここでは、カメラ姿勢群３９０が残っているので、ステップＳ１０１０に戻る。 In step S1040, it is determined whether a camera posture group to be selected remains. Here, since the camera posture group 390 remains, the process returns to step S1010.
ステップＳ１０１０〜Ｓ１０２０にて、カメラ姿勢群３９０に関しても、カメラ姿勢群３８０と同様にして、カメラ姿勢３９１、３９２を補正する。 In steps S <b> 1010 to S <b> 1020, the camera postures 391 and 392 are corrected in the same manner as the camera posture group 380 with respect to the camera posture group 390.
ステップＳ１０３０にて、補正したカメラ姿勢３９１、３９２に基づいて、投射映像領域４０２のグローバル座標を再計算する。
In step S1030, the global coordinates of the projected
ステップＳ１０４０において、選択するカメラ姿勢群が残っていないので、投射面の三次元形状情報の補正処理を終了する。 In step S1040, the camera posture group to be selected does not remain, and thus the processing for correcting the three-dimensional shape information of the projection surface is terminated.
以上、ステップＳ１０１０〜Ｓ１０４０により、投射映像領域４０１と投射映像領域４０２の三次元形状情報が補正された。
As described above, the three-dimensional shape information of the
本例では、カメラ姿勢のうちカメラ方向（経度、緯度）を補正することで、投射面の三次元形状情報を補正したが、カメラ位置やカメラの内部特性を補正する方法を用いても、同様に投射面の三次元形状情報を補正することができ、結果としてスクリーンの投射面の形状を高い精度で取得することができる。 In this example, the three-dimensional shape information of the projection plane is corrected by correcting the camera direction (longitude, latitude) of the camera posture, but the same applies even if a method for correcting the camera position or the internal characteristics of the camera is used. In addition, the three-dimensional shape information of the projection surface can be corrected, and as a result, the shape of the projection surface of the screen can be obtained with high accuracy.
また、本例では映像投射部の数が２つだったが、３つ以上の映像投射部を有する映像投射装置においても、同様に投射面の三次元形状情報を補正することができ、結果としてスクリーンの投射面の形状を高い精度で取得することができる。 Further, in this example, the number of the video projection units is two, but in the video projection device having three or more video projection units, the three-dimensional shape information of the projection surface can be similarly corrected, and as a result The shape of the projection surface of the screen can be acquired with high accuracy.
以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。 The example of the present invention has been described above, but the present invention is not limited to the above-described example, and various modifications can be made by those skilled in the art within the scope of the invention described in the claims. It will be understood.
１００…スクリーン、２０１、２０２…画像投射部、３０１、３０２…撮影部、３１０…撮影画像保持部、４００…幾何情報演算部、５００…画像変換部、６００…テストパターン保持部
DESCRIPTION OF
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004329385A JP2006140831A (en) | 2004-11-12 | 2004-11-12 | Projector device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004329385A JP2006140831A (en) | 2004-11-12 | 2004-11-12 | Projector device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006140831A true JP2006140831A (en) | 2006-06-01 |
Family
ID=36621307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004329385A Pending JP2006140831A (en) | 2004-11-12 | 2004-11-12 | Projector device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006140831A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236550A (en) * | 2007-03-22 | 2008-10-02 | Matsushita Electric Works Ltd | Video display apparatus |
| JP2009147480A (en) * | 2007-12-12 | 2009-07-02 | Gifu Univ | Calibration apparatus of projection system |
| JP2010044255A (en) * | 2008-08-14 | 2010-02-25 | Seiko Epson Corp | Projection display device and method for correcting image |
| JP2010154461A (en) * | 2008-12-26 | 2010-07-08 | Samsung Techwin Co Ltd | Projection image converter and projector device |
| JP2013153392A (en) * | 2012-01-26 | 2013-08-08 | Canon Inc | Image processing apparatus and image processing method, and program |
| KR101408295B1 (en) * | 2013-05-31 | 2014-06-17 | (주)린소프트 | Projection device on nonflat screen and method therefor |
| JP2016042653A (en) * | 2014-08-18 | 2016-03-31 | 株式会社リコー | Image processing system, and image projection device |
| JP2017138581A (en) * | 2016-02-02 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Projection image adjustment system and projection image adjustment method |
| WO2020255766A1 (en) * | 2019-06-20 | 2020-12-24 | ソニー株式会社 | Information processing device, information processing method, program, projection device, and information processing system |
| KR102245223B1 (en) * | 2020-12-14 | 2021-04-27 | 주식회사 글림시스템즈 | Image processing system for displaying multi-layered beam projection contents on irregular projection surface and method thereof |
-
2004
- 2004-11-12 JP JP2004329385A patent/JP2006140831A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236550A (en) * | 2007-03-22 | 2008-10-02 | Matsushita Electric Works Ltd | Video display apparatus |
| JP2009147480A (en) * | 2007-12-12 | 2009-07-02 | Gifu Univ | Calibration apparatus of projection system |
| JP2010044255A (en) * | 2008-08-14 | 2010-02-25 | Seiko Epson Corp | Projection display device and method for correcting image |
| JP2010154461A (en) * | 2008-12-26 | 2010-07-08 | Samsung Techwin Co Ltd | Projection image converter and projector device |
| JP2013153392A (en) * | 2012-01-26 | 2013-08-08 | Canon Inc | Image processing apparatus and image processing method, and program |
| KR101408295B1 (en) * | 2013-05-31 | 2014-06-17 | (주)린소프트 | Projection device on nonflat screen and method therefor |
| JP2016042653A (en) * | 2014-08-18 | 2016-03-31 | 株式会社リコー | Image processing system, and image projection device |
| JP2017138581A (en) * | 2016-02-02 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Projection image adjustment system and projection image adjustment method |
| JP7015981B2 (en) | 2016-02-02 | 2022-02-04 | パナソニックＩｐマネジメント株式会社 | Projection image adjustment system and projection image adjustment method |
| WO2020255766A1 (en) * | 2019-06-20 | 2020-12-24 | ソニー株式会社 | Information processing device, information processing method, program, projection device, and information processing system |
| KR102245223B1 (en) * | 2020-12-14 | 2021-04-27 | 주식회사 글림시스템즈 | Image processing system for displaying multi-layered beam projection contents on irregular projection surface and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6079333B2 (en) | Calibration apparatus, method and program | |
| JP4307934B2 (en) | Imaging apparatus and method with image correction function, and imaging apparatus and method | |
| US9686479B2 (en) | Method for combining multiple image fields | |
| JP5549230B2 (en) | Ranging device, ranging module, and imaging device using the same | |
| CN108377378A (en) | Photographic device | |
| JP2007164258A (en) | Image synthesizing device and method | |
| US7742087B2 (en) | Image pickup device | |
| WO2014208230A1 (en) | Coordinate computation device and method, and image processing device and method | |
| JP6433200B2 (en) | Arithmetic apparatus, arithmetic method, and program | |
| WO2013005265A1 (en) | Three-dimensional coordinate measuring device and three-dimensional coordinate measuring method | |
| US10237485B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2000206403A (en) | Image pickup device and range-finding device using the same | |
| WO2019171984A1 (en) | Signal processing device, signal processing method, and program | |
| WO2021054140A1 (en) | Image processing device, image processing method, imaging device, and program | |
| JP2005244835A (en) | Multiprojection system | |
| JP2006140831A (en) | Projector device | |
| JP2006195540A (en) | Mosaic image composing device, mosaic image composing method, and mosaic image composing program | |
| JP2007033087A (en) | Calibration device and method | |
| JP2008298589A (en) | Device and method for detecting positions | |
| JP7185162B2 (en) | Image processing method, image processing device and program | |
| JP2017194591A (en) | Distance measurement device, imaging apparatus, and distance measurement method | |
| JP2008224323A (en) | Stereoscopic photograph measuring instrument, stereoscopic photograph measuring method, and stereoscopic photograph measuring program | |
| JP4969279B2 (en) | Position detection method and position detection apparatus | |
| JP5925109B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP6755737B2 (en) | Distance measuring device, imaging device, and distance measuring method |