JPWO2010013289A1 - Camera calibration image creation apparatus and camera calibration image creation program - Google Patents

Camera calibration image creation apparatus and camera calibration image creation program Download PDF

Info

Publication number
JPWO2010013289A1
JPWO2010013289A1 JP2010522532A JP2010522532A JPWO2010013289A1 JP WO2010013289 A1 JPWO2010013289 A1 JP WO2010013289A1 JP 2010522532 A JP2010522532 A JP 2010522532A JP 2010522532 A JP2010522532 A JP 2010522532A JP WO2010013289 A1 JPWO2010013289 A1 JP WO2010013289A1
Authority
JP
Japan
Prior art keywords
dimensional
image
camera
geometric pattern
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010522532A
Other languages
Japanese (ja)
Inventor
洋平 三木
洋平 三木
原田　雅之
雅之 原田
義広 都丸
義広 都丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2010013289A1 publication Critical patent/JPWO2010013289A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段、３次元データから、指定された姿勢の仮想基準ボード上の各位置の３次元座標を算出する３次元座標生成手段、予め測定されたカメラと所定のディスプレイの相対距離に基づいて、上記３次元座標をディスプレイの表示画面上に射影変換して２次元座標を算出する射影変換手段、２次元座標に基づいてディスプレイで表示する基準ボード画像を生成する画像生成手段を備える。A three-dimensional data storage means for storing three-dimensional data related to a plurality of postures of a virtual reference board composed of a single reference surface having geometric patterns representing a plurality of positions. A virtual reference board having a specified posture from the three-dimensional data Three-dimensional coordinate generation means for calculating the three-dimensional coordinates of each position above, and two-dimensionally transforming the three-dimensional coordinates onto the display screen of the display based on the relative distance between the camera measured in advance and the predetermined display. Projection conversion means for calculating coordinates and image generation means for generating a reference board image to be displayed on a display based on two-dimensional coordinates.

Description

この発明は、カメラ校正時に使用するチェッカーボードとして代替できる画像をディスプレイに表示するカメラ校正画像作成装置およびカメラ校正画像作成プログラムに関するものである。   The present invention relates to a camera calibration image creation apparatus and a camera calibration image creation program for displaying on a display an image that can be used as a checkerboard for use in camera calibration.

カメラで撮像された画像は、レンズの影響を受けて歪みを含んだ画像となる。このような画像を、例えば３次元位置計測にそのまま使用すると計算結果に大きな誤差が生じる。そのため、３次元位置計測において、正確な３次元位置を特定するためには上記の歪みを取り除いた画像を作成することが必要となる。この歪みを取り除いた画像を作成するに際しては、レンズの特性を表す各パラメータを求め、歪みのある画像の各画素をどの位置に移動させるかを表わすパラメータを計算する必要がある。このパラメータは、具体的には内部パラメータおよびレンズの歪み補正係数と呼ばれるものからなる。   An image captured by the camera is an image including distortion under the influence of the lens. If such an image is used as it is for, for example, three-dimensional position measurement, a large error occurs in the calculation result. Therefore, in the three-dimensional position measurement, in order to specify an accurate three-dimensional position, it is necessary to create an image from which the above distortion is removed. When creating an image from which this distortion has been removed, it is necessary to obtain parameters that represent the characteristics of the lens and calculate parameters that indicate to which position each pixel of the image with distortion is to be moved. Specifically, this parameter includes what is called an internal parameter and a lens distortion correction coefficient.

上記内部パラメータは、カメラ画像を正規化するために使用するパラメータであり、焦点距離ｆ、画像内におけるレンズ中心（ｕ0 ，ｖ0 ）や、せん断係数ｋs 、スケールファクタ（ｋu ，ｋv ）等のレンズ特性について表現したもので、次式で表される。

Figure 2010013289
The internal parameters are parameters used to normalize the camera image, and include the focal length f, the lens center (u 0 , v 0 ) in the image, the shear coefficient k s , and the scale factors ( ku , k v). ), Etc., and is expressed by the following equation.
Figure 2010013289

一方、歪み補正係数は、光学的性質による樽型歪みと円周方向の歪みについて数式にモデル化したときの係数である。ここで（ｘd ，ｙd ）を得られた歪みがあるカメラ画像中の座標とし、（ｘu ，ｙu ）を、歪みを除去した画像における対応点とすると、（２）式で表すことができる。

Figure 2010013289
また、Ｋi は樽型歪みの性質を表すパラメータであり、Ｐi は円周方向の歪みの性質を表すパラメータであり、これらを歪み補正係数と呼ぶ。
そして、（２）式において高次の項について影響は少ないとして無視すると、（３）式のように近似できる。
Figure 2010013289
 On the other hand, the distortion correction coefficient is a coefficient when the barrel distortion due to optical properties and the distortion in the circumferential direction are modeled into mathematical expressions. If (x d , y d ) is the coordinate in the obtained camera image with distortion and (x u , yu ) is the corresponding point in the image from which distortion is removed, Can do.
Figure 2010013289
 K i is a parameter representing the nature of barrel distortion, and P i is a parameter representing the nature of distortion in the circumferential direction, and these are called distortion correction coefficients.
If the higher-order terms in Equation (2) are ignored because they have little influence, they can be approximated as in Equation (3).
Figure 2010013289

これらのパラメータを実際に求める手法としては、一般的に非特許文献１に記載される手法が用いられている。この手法では、例えば図１に示すような、白と黒の正方形が交互に描かれたチェッカーボードが用いられる。パラメータを求めるためのカメラを所定の位置に設置し、このカメラに対してチェッカーボードを据え、いろいろな方向を向くように姿勢を変えてチェッカー面をカメラで撮像する。次に、得られた各カメラ画像上のチェッカー面を構成している白と黒の正方形の頂点が重なる交点の位置座標を検出する。そして、カメラ画像上の各位置座標と３次元的な位置情報の対応関係を求める。これらのデータを用いて最適化計算をすることにより、カメラの内部パラメータ、歪み補正係数が求まる。このように各パラメータを求めることをカメラキャリブレーションと呼んでいる。   As a method for actually obtaining these parameters, a method described in Non-Patent Document 1 is generally used. In this method, for example, a checker board in which white and black squares are alternately drawn as shown in FIG. 1 is used. A camera for obtaining parameters is installed at a predetermined position, a checkerboard is set on the camera, and the posture is changed so as to face various directions, and the checker surface is imaged by the camera. Next, the position coordinates of the intersection where the vertices of white and black squares constituting the checker plane on each obtained camera image overlap are detected. Then, the correspondence between each position coordinate on the camera image and three-dimensional position information is obtained. By performing optimization calculation using these data, the camera internal parameters and distortion correction coefficient can be obtained. Obtaining each parameter in this way is called camera calibration.

Zhenyou Zhang, “A Flexible New Technique for Camera Calibration”, Microsoft Research Technical Report,MSR-TR-98-71,December 2, 1998.Zhenyou Zhang, “A Flexible New Technique for Camera Calibration”, Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.

上述したように、非特許文献１に記載されたカメラ校正手法の場合、１台のカメラに対してチェッカーボードの姿勢を複数方向に変えて撮像するという作業が要求される。また、同タイプの複数のカメラでも歪みが異なる場合があるため、カメラごとに校正を行なう必要があり、カメラ校正に掛かる作業負荷はさらに大となる。また、カメラ校正結果に対する安定性について、各撮像画像に写っているチェッカーボードが均等な姿勢をとっていなければ適切な校正結果を得ることができないといった問題がある。さらに、複数のカメラに対してそれぞれカメラ校正を行う場合には、全く同じ位置にあるチェッカーボードを撮像することが困難であるので、安定した精度を保つことができないといった問題がある。   As described above, in the case of the camera calibration method described in Non-Patent Document 1, an operation of changing the posture of the checkerboard in a plurality of directions with respect to one camera is required. In addition, since a plurality of cameras of the same type may have different distortions, it is necessary to perform calibration for each camera, which further increases the work load required for camera calibration. In addition, with respect to the stability with respect to the camera calibration result, there is a problem that an appropriate calibration result cannot be obtained unless the checkerboard shown in each captured image takes an equal posture. Furthermore, when performing camera calibration for each of a plurality of cameras, there is a problem that it is difficult to capture a checkerboard at exactly the same position, so that stable accuracy cannot be maintained.

この発明は、上記のような課題を解決するためになされたもので、カメラ校正時の作業負荷を軽減し、均質で安定したカメラ校正を可能にするチェッカーボードのような基準ボード画像を提供するカメラ校正画像作成装置を得ることを目的とする。   The present invention has been made to solve the above-described problems, and provides a reference board image such as a checker board that reduces the workload during camera calibration and enables homogeneous and stable camera calibration. An object is to obtain a camera calibration image creation device.

この発明に係るカメラ校正画像作成装置は、平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたものである。   The camera calibration image creation apparatus according to the present invention stores three-dimensional data relating to a plurality of postures of a virtual reference board composed of one reference plane provided with a geometric pattern representing a plurality of predefined positions on a plane. A three-dimensional coordinate generating unit that calculates three-dimensional coordinates of each position of the geometric pattern of the virtual reference board in the specified posture from the three-dimensional data stored in the three-dimensional data storage unit; Projective transformation for projecting the three-dimensional coordinates calculated by the three-dimensional coordinate generation means onto the display screen of the display based on the relative distance between the camera to be calibrated and a predetermined display to calculate the two-dimensional coordinates at each position. And image generation means for generating a reference board image to be displayed on the display based on the two-dimensional coordinate information calculated by the projective conversion means.

このことによって、カメラで表示画面を撮像したときのカメラ画像が実際のチェッカーボードのような基準ボードを撮像したときと同様の画像となるように、各姿勢の基準ボード画像を生成できるようにしたので、ディスプレイに表示した基準ボード画像をカメラ校正手法に適用できる。また、実際の基準ボードの場合、ボードの姿勢をいろいろ変えて撮像しなければならないが、その姿勢を変える作業を自動化できるため、作業負荷を軽減することができる。さらに、表示される基準ボード画像は、複数の同タイプのカメラに対して、映っている基準ボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことを可能にする。   As a result, the reference board image of each posture can be generated so that the camera image when the display screen is imaged by the camera becomes the same image as when the reference board such as an actual checker board is imaged. Therefore, the reference board image displayed on the display can be applied to the camera calibration method. Further, in the case of an actual reference board, it is necessary to change the posture of the board and take an image. However, since the work of changing the posture can be automated, the work load can be reduced. In addition, the displayed reference board image can determine the posture of the displayed reference board evenly for multiple cameras of the same type at all times, enabling uniform and stable camera calibration. To do.

カメラ校正に用いるチェッカーボードのパターンを示す説明図である。It is explanatory drawing which shows the pattern of the checker board used for camera calibration. この発明の実施の形態１によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。It is a block circuit diagram which shows the function structure containing the camera calibration image creation apparatus by Embodiment 1 of this invention. この発明の実施の形態１に係る動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure which concerns on Embodiment 1 of this invention. この発明の実施の形態１に係るディスプレイとカメラの設定関係を示す説明図である。It is explanatory drawing which shows the setting relationship of the display and camera which concern on Embodiment 1 of this invention. この発明の実施の形態１に係る３次元座標を２次元座標に変換する射影変換について示す模式図である。It is a schematic diagram shown about the projective transformation which converts the three-dimensional coordinate which concerns on Embodiment 1 of this invention into a two-dimensional coordinate. この発明の実施の形態１に係るカメラによる撮像画像の処理過程を示す説明図である。It is explanatory drawing which shows the process of the captured image by the camera which concerns on Embodiment 1 of this invention. この発明の実施の形態２によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。It is a block circuit diagram which shows the function structure containing the camera calibration image creation apparatus by Embodiment 2 of this invention. この発明の実施の形態２に係る動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure which concerns on Embodiment 2 of this invention. この発明の実施の形態２に係る実際のチェッカーボードを撮像する状態を示す模式図である。It is a schematic diagram which shows the state which images the actual checker board which concerns on Embodiment 2 of this invention. この発明の実施の形態２に係る射影変換行列を用いた３次元座標／２次元座標変換の方法を示す模式図である。It is a schematic diagram which shows the method of the three-dimensional coordinate / 2-dimensional coordinate conversion using the projective transformation matrix which concerns on Embodiment 2 of this invention. この発明の実施の形態２に係る射影座標探索部の処理動作を示す説明図である。It is explanatory drawing which shows the processing operation of the projection coordinate search part which concerns on Embodiment 2 of this invention. この発明の実施の形態３に係るポインティングシステムの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the pointing system which concerns on Embodiment 3 of this invention.

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
カメラ校正には図１に示すようなチェッカーパターンが施されたチェッカーボードが多く使用されている。したがって、この発明の実施の形態の説明においても、同様なチェッカーボードを使用した例について説明することとする。このチェッカーボード上に施されたパターンは、平面上の予め定義された複数の位置を表すための幾何学パターンである。このような目的の幾何学パターンとしては、他に格子縞や位置そのものを表すドット（点）などがある。したがって、この発明としては、チェッカーボードのみに限らず、平面上の予め定義された複数の位置を表す幾何学パターンを施した基準ボードあるいは基準面でも適用可能である。Hereinafter, in order to describe the present invention in more detail, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
For the camera calibration, a checker board having a checker pattern as shown in FIG. 1 is often used. Therefore, in the description of the embodiment of the present invention, an example using a similar checker board will be described. The pattern applied on the checkerboard is a geometric pattern for representing a plurality of predefined positions on the plane. Examples of such a geometric pattern include a checkered pattern and dots (points) representing the position itself. Therefore, the present invention is not limited to the checker board, but can be applied to a reference board or a reference surface on which a geometric pattern representing a plurality of positions defined in advance on a plane is applied.

図２は、この発明の実施の形態１によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。
ディスプレイ２は、例えばＣＲＴ、液晶、プラズマなどのフラットな表示画面や投射型スクリーンを持つもので、後述するカメラ校正画像作成装置２００で生成される各種姿勢のチェッカーボード画像を表示する手段である。カメラ１は、カメラ校正の対象となるカメラで、ディスプレイ２の表示画面に表示されるチェッカーボード画像を撮像してその画像信号を出力する手段である。３次元データ格納部３は、１つのチェッカー面からなる実際のチェッカーボードを模した３次元モデル（以下、仮想チェッカーボードとする）の複数の姿勢における画像データを予め作成して格納しておく手段である。FIG. 2 is a block circuit diagram showing a functional configuration including the camera calibration image creation apparatus according to Embodiment 1 of the present invention.
The display 2 has a flat display screen such as a CRT, liquid crystal, plasma, or a projection screen, and is a means for displaying checkerboard images of various postures generated by a camera calibration image creation apparatus 200 described later. The camera 1 is a camera that is a camera calibration target, and is a means for capturing a checkerboard image displayed on the display screen of the display 2 and outputting the image signal. The three-dimensional data storage unit 3 creates and stores in advance image data in a plurality of postures of a three-dimensional model (hereinafter referred to as a virtual checker board) simulating an actual checker board composed of one checker surface. It is.

校正処理装置１００は、画像取得部１０１、特徴点抽出部１０２、カメラキャリブレーション部１０３を備えており、周知の構成である。
画像取得部１０１は、カメラ１により撮像されたカメラ画像を取得して保持する手段である。特徴点抽出部１０２は、画像取得部１０１で保持されたチェッカーボードのカメラ画像からチェッカーパターンの各交点座標を特徴点として検出する手段である。カメラキャリブレーション部１０３は、特徴点抽出部１０２で抽出されたチェッカーパターンの各交点座標に基づいて内部パラメータ、歪み補正係数を算出する手段である。The calibration processing apparatus 100 includes an image acquisition unit 101, a feature point extraction unit 102, and a camera calibration unit 103, and has a known configuration.
The image acquisition unit 101 is a unit that acquires and holds a camera image captured by the camera 1. The feature point extraction unit 102 is a unit that detects each intersection coordinate of the checker pattern as a feature point from the camera image of the checkerboard held by the image acquisition unit 101. The camera calibration unit 103 is a unit that calculates internal parameters and distortion correction coefficients based on the intersection coordinates of the checker pattern extracted by the feature point extraction unit 102.

カメラ校正画像作成装置２００は、３次元座標生成部１０４、射影変換部１０５、画像生成部１０６を備えており、この実施の形態１の発明の構成を表わしている。なお、上記３次元データ格納部３もカメラ校正画像作成装置２００に含める構成としてもよい。
３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標を算出する手段である。射影変換部２０２は、予め測定されたカメラ１とディスプレイ２の相対距離に基づいて、３次元座標生成部２０１で算出された交点の３次元座標をディスプレイ２の表示画面上に射影変換して２次元座標を算出する手段である。画像生成部２０３は、射影変換部２０２で算出された２次元座標情報に基づいてディスプレイ２で表示するチェッカーボード画像を生成する手段である。
なお、上記図２において破線で囲まれた部分１０は、コンピュータと処理プログラムで構成することが可能な機能部分を示している。The camera calibration image creation apparatus 200 includes a three-dimensional coordinate generation unit 104, a projective conversion unit 105, and an image generation unit 106, and represents the configuration of the invention of the first embodiment. The three-dimensional data storage unit 3 may be included in the camera calibration image creation apparatus 200.
The three-dimensional coordinate generation unit 201 is a unit that calculates, from the three-dimensional data storage unit 3, the three-dimensional coordinates of each intersection point of the checker pattern of the virtual checkerboard having the designated posture. The projective transformation unit 202 performs projective transformation on the display screen of the display 2 by converting the three-dimensional coordinates of the intersection calculated by the three-dimensional coordinate generation unit 201 based on the relative distance between the camera 1 and the display 2 measured in advance. Means for calculating dimensional coordinates. The image generation unit 203 is a unit that generates a checkerboard image to be displayed on the display 2 based on the two-dimensional coordinate information calculated by the projection conversion unit 202.
In FIG. 2, a portion 10 surrounded by a broken line indicates a functional portion that can be configured by a computer and a processing program.

次に、図３のフローチャートに従って動作を説明する。
図４に示すように、カメラ１を、治具を用いてディスプレイ２の表示画面に対してレンズの中心軸が垂直となるようにして固定し、このときのディスプレイ２とレンズ中心との距離Ｃを計測する（ステップＳＴ２０１）。なお、カメラ１の固定位置とディスプレイ２の設置位置の距離を予め計測して決めておき、既知の情報として用いてもよい。次に、３次元座標生成部２０１では、３次元データ格納部３から、カメラ１の撮像対象となる指定された姿勢の仮想チェッカーボードの３次元画像データを読み出し、その画像上のチェッカーパターンの各交点の３次元座標を算出する（ステップＳＴ２０２）。Next, the operation will be described with reference to the flowchart of FIG.
As shown in FIG. 4, the camera 1 is fixed using a jig so that the center axis of the lens is perpendicular to the display screen of the display 2, and the distance C between the display 2 and the lens center at this time is fixed. Is measured (step ST201). Note that the distance between the fixed position of the camera 1 and the installation position of the display 2 may be measured in advance and used as known information. Next, the three-dimensional coordinate generation unit 201 reads out the three-dimensional image data of the virtual checkerboard of the specified posture to be imaged by the camera 1 from the three-dimensional data storage unit 3, and each checker pattern on the image is read out. The three-dimensional coordinates of the intersection are calculated (step ST202).

射影変換部２０２では、３次元座標生成部２０１で算出された仮想チェッカーボードの交点座標をディスプレイ２の表示画面上へ射影変換して２次元座標を求める（ステップＳＴ２０３）。このとき、ステップＳＴ２０１で求めたディスプレイ２の表示画面とカメラレンズ中心との距離Ｃを用いて変換を行う。ここで、３次元座標を２次元座標に変換する射影変換について具体的に説明する。図５に示すように、カメラ１から見て、生成された３次元の仮想チェッカーボードＶ１をディスプレイ２の表示画面へ射影すると、Ｖ２のようなチェッカーボード画像となる。この場合、仮想チェッカーボードＶ１上の３次元座標Ａ（Ｘ，Ｙ，Ｚ）が、表示画面上の２次元座標Ａ’（ｘ，ｙ）に対応したとすると、この２次元座標は、射影変換により（４）式のように表される。

Figure 2010013289
In the projective transformation unit 202, the intersection coordinates of the virtual checkerboard calculated by the three-dimensional coordinate generation unit 201 are projectively transformed onto the display screen of the display 2 to obtain the two-dimensional coordinates (step ST203). At this time, the conversion is performed using the distance C between the display screen of the display 2 and the center of the camera lens obtained in step ST201. Here, the projective transformation for transforming the three-dimensional coordinates into the two-dimensional coordinates will be specifically described. As shown in FIG. 5, when the generated three-dimensional virtual checkerboard V1 is projected onto the display screen of the display 2 as viewed from the camera 1, a checkerboard image like V2 is obtained. In this case, assuming that the three-dimensional coordinates A (X, Y, Z) on the virtual checker board V1 correspond to the two-dimensional coordinates A ′ (x, y) on the display screen, the two-dimensional coordinates are converted by projective transformation. (4).
Figure 2010013289

画像生成部２０３では、射影変換部２０２で求めた仮想チェッカーボードの各交点の２次元座標データに基づいてチェッカーボード画像データを生成してディスプレイ２に与え、チェッカーボード画像を表示させる（ステップＳＴ２０４）。
次に、ディスプレイ２の表示画面に表示されたチェッカーボード画像を所定の距離Ｃに固定されたカメラ１で撮像し、そのカメラ画像を画像取得部１０１で取得して保持する（ステップＳＴ２０５）。このときの取得されたカメラ画像は、図６（ａ）に例示するように、レンズによる歪みを含んだチェッカーパターンの画像である。次に、特徴点抽出部１０２では、画像取得部１０１に保持されたカメラ画像上の特徴点であるチェッカーパターンの交点座標を抽出する（ステップＳＴ２０６）。ここでは、図６（ｂ）に例示するチェッカーパターンの交点位置を抽出する。この特徴点抽出方法は、一般的に知られているパターンマッチングが用いられる。The image generation unit 203 generates checkerboard image data based on the two-dimensional coordinate data of each intersection of the virtual checkerboard obtained by the projective conversion unit 202, gives it to the display 2, and displays the checkerboard image (step ST204). .
Next, the checkerboard image displayed on the display screen of the display 2 is captured by the camera 1 fixed at a predetermined distance C, and the camera image is acquired and held by the image acquisition unit 101 (step ST205). The acquired camera image at this time is an image of a checker pattern including distortion caused by a lens, as illustrated in FIG. Next, the feature point extraction unit 102 extracts the intersection coordinates of the checker pattern that is the feature point on the camera image held in the image acquisition unit 101 (step ST206). Here, the intersection position of the checker pattern illustrated in FIG. 6B is extracted. For this feature point extraction method, generally known pattern matching is used.

ステップＳＴ２０２からＳＴ２０６までの処理を、カメラ校正に必要とする複数の姿勢の仮想チェッカーボードについて全て行った場合（ステップＳＴ２０７）、カメラキャリブレーション部１０３では、これまで特徴点抽出部１０２で抽出された各カメラ画像上の交点座標のデータを用いてカメラ校正を行い、内部パラメータ、レンズの歪み補正係数を求め（ステップＳＴ２０８）、処理を終了する。なお、このカメラ校正は非特許文献１に記載されているような周知手法を用いて行うものとする。カメラ校正で得られた内部パラメータ、レンズの歪み補正係数を用いて補正されたカメラ画像は図６（ｃ）に例示されるようになる。   When the processing from step ST202 to ST206 is performed for all virtual checker boards having a plurality of postures necessary for camera calibration (step ST207), the camera calibration unit 103 has been extracted by the feature point extraction unit 102 so far. Camera calibration is performed using the data of the intersection coordinates on each camera image, internal parameters and lens distortion correction coefficients are obtained (step ST208), and the process ends. Note that this camera calibration is performed using a known method as described in Non-Patent Document 1. FIG. 6C illustrates a camera image corrected using the internal parameters obtained by camera calibration and the lens distortion correction coefficient.

なお、上記処理例では、３次元データ格納部３に予め格納されるデータは、各姿勢における実際のチェッカーボードを模した仮想チェッカーボードの３次元画像データであったが、この画像データの代わりに、仮想チェッカーボードの各姿勢におけるチェッカーパターンの各交点の３次元座標データとしてもよい。この場合、３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標データそのものを検索することになる。また、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの各姿勢におけるチェッカーパターンの１点の交点座標データとしてもよい。この場合は、３次元座標生成部２０１は、指定された姿勢の仮想チェッカーボードの１点の交点の３次元座標データ、対応する姿勢およびチェッカーパターンのサイズに基づいて、仮想チェッカーボードの各交点の３次元座標を算出することになる。   In the above processing example, the data stored in advance in the three-dimensional data storage unit 3 is three-dimensional image data of a virtual checkerboard that imitates an actual checkerboard in each posture, but instead of this image data. The three-dimensional coordinate data of each intersection of the checker patterns in each posture of the virtual checkerboard may be used. In this case, the three-dimensional coordinate generation unit 201 searches the three-dimensional data storage unit 3 for the three-dimensional coordinate data itself of each intersection point of the checker pattern of the virtual checkerboard in the specified posture. The data stored in advance in the three-dimensional data storage unit 3 may be intersection coordinate data of one point of the checker pattern in each posture of the virtual checkerboard. In this case, the three-dimensional coordinate generation unit 201 determines each intersection of the virtual checkerboard based on the three-dimensional coordinate data of one intersection of the virtual checkerboard of the specified posture, the corresponding posture, and the size of the checker pattern. Three-dimensional coordinates are calculated.

以上のように、この実施の形態１によれば、チェッカーパターンを施した１つの基準面からなる仮想チェッカーボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標を算出し、予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、上記算出された各交点の３次元座標をディスプレイの表示画面上に射影変換して各交点の２次元座標を算出し、算出された２次元座標情報に基づいてディスプレイで表示するチェッカーボード画像を生成するようにしている。すなわち、カメラで表示画面を撮像したときのカメラ画像が実際のチェッカーボードを撮像したときと同様の画像となるように、各姿勢のチェッカーボード画像を生成できるので、チェッカーボード画像をカメラ校正に適用できる。また、実際のチェッカーボードの場合、ボードの姿勢をいろいろ変えて撮像しなければならないが、その姿勢を変える作業を自動化できるため、作業負荷を軽減することができる。さらに、表示されるチェッカーボード画像は、複数の同タイプのカメラに対して、映っているチェッカーボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことを可能にする。   As described above, according to the first embodiment, the checker pattern of the virtual checkerboard having the specified posture is obtained from the three-dimensional data related to the plurality of postures of the virtual checkerboard including the single reference surface subjected to the checker pattern. The three-dimensional coordinates of each intersection are calculated, and the calculated three-dimensional coordinates of each intersection are projected onto the display screen of the display based on the relative distance between the camera to be calibrated and the predetermined display. A two-dimensional coordinate of each intersection is calculated, and a checkerboard image to be displayed on a display is generated based on the calculated two-dimensional coordinate information. In other words, checkerboard images can be generated for each posture so that the camera image when the display screen is captured by the camera is the same image as when the actual checkerboard is captured. it can. Further, in the case of an actual checker board, it is necessary to change the posture of the board and take an image. However, since the work of changing the posture can be automated, the work load can be reduced. In addition, the displayed checkerboard image can be used to determine the posture of the checkerboard being displayed evenly for multiple cameras of the same type at all times, enabling uniform and stable camera calibration. To do.

実施の形態２．
上記実施の形態１では、実際に計測したカメラとディスプレイの表示画面の相対距離を用いて、あたかも実際のチェッカーボードが３次元空間に存在しているようなチェッカーボード画像の表示を行う処理を行った。この実施の形態２では、カメラとディスプレイの相対距離を実測する代わりに、直交する２つのチェッカー面を持つチェッカーボード（以下、変形ボードと呼ぶことにする）を事前に１度撮像し、そのカメラ画像から求めた交点座標を用いて、実施の形態１と同様なチェッカーボード画像を生成する処理について述べる。Embodiment 2. FIG.
In the first embodiment, a process of displaying a checkerboard image as if an actual checkerboard is present in a three-dimensional space is performed using the actually measured relative distance between the camera and the display screen of the display. It was. In the second embodiment, instead of actually measuring the relative distance between the camera and the display, a checker board having two checker surfaces orthogonal to each other (hereinafter referred to as a deformation board) is imaged once in advance, and the camera A process for generating a checkerboard image similar to that in the first embodiment using the intersection coordinates obtained from the image will be described.

図７は、この発明の実施の形態２によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。図において、図２の構成に相当する部分には同一符号を付し、原則としてその説明は省略する。
この実施の形態２では、カメラ校正画像作成装置２００が、画像取得部１０１と特徴点抽出部１０２を、カメラ校正を行う校正処理装置１００と共用する構成となっている。ここで使用する変形ボード２は、図９に示すようなチェッカーパターンがそれぞれ施された２つの面を互いに直交させた構造を持つ。しかし、３次元データ格納部３には、実施の形態１と同じ１つのチェッカー面からなる仮想チェッカーボードの座標作成用のデータが格納されているものとする。FIG. 7 is a block circuit diagram showing a functional configuration including a camera calibration image creation apparatus according to Embodiment 2 of the present invention. In the figure, parts corresponding to those in FIG.
In the second embodiment, the camera calibration image creation apparatus 200 is configured to share the image acquisition unit 101 and the feature point extraction unit 102 with the calibration processing apparatus 100 that performs camera calibration. The deformation board 2 used here has a structure in which two surfaces each provided with a checker pattern as shown in FIG. 9 are orthogonal to each other. However, the three-dimensional data storage unit 3 is assumed to store the data for creating the coordinates of the virtual checkerboard composed of the same checker surface as in the first embodiment.

投影座標探索部２０４は、１度撮像した変形ボード４のカメラ画像から抽出した各交点座標に基づいて疑似カメラ画像を生成し、この疑似カメラ画像を撮像時における変形ボード４の各位置の座標データに基づいて修正し、その修正画像からディスプレイ２の表示画面上の２次元座標を算出する手段である。射影行列生成部２０５は、変形ボード４によって定義されるチェッカーパターンの各交点の３次元座標を、投影座標探索部２０４で算出されたディスプレイ２の表示画面上の２次元座標に対応付ける射影変換行列を生成する手段である。射影変換部２１２は、求めた射影変換行列を用いて、３次元座標生成部２０１で生成された仮想チェッカーボードの３次元座標をディスプレイ２の表示画面上に射影変換して各交点の２次元座標を算出する手段である。   The projection coordinate search unit 204 generates a pseudo camera image based on each intersection coordinate extracted from the camera image of the deformation board 4 captured once, and the coordinate data of each position of the deformation board 4 at the time of capturing the pseudo camera image. Is a means for calculating two-dimensional coordinates on the display screen of the display 2 from the corrected image. The projection matrix generation unit 205 generates a projection transformation matrix that associates the three-dimensional coordinates of each intersection of the checker pattern defined by the deformation board 4 with the two-dimensional coordinates on the display screen of the display 2 calculated by the projection coordinate search unit 204. Means for generating. The projective transformation unit 212 uses the obtained projective transformation matrix to projectively transform the three-dimensional coordinates of the virtual checkerboard generated by the three-dimensional coordinate generation unit 201 onto the display screen of the display 2 to obtain the two-dimensional coordinates of each intersection. Is a means for calculating.

次に、図８のフローチャートに従って動作を説明する。
図９に示すように、前もってカメラ1の前に直交する２つのチェッカー面を持つ変形ボード４をある姿勢にして設置し、そのチェッカー面をカメラ1で１度撮像したカメラ画像を画像取得部１０１で取得し保存する（ステップＳＴ４０１）。次に、特徴点抽出部１０２では、画像取得部１０１で取得したカメラ画像に写っているチェッカーパターンの各交点座標を特徴点として求める（ステップＳＴ４０２）。この特徴点の抽出方法としては、一般的に知られているパターンマッチングが用いられる。Next, the operation will be described with reference to the flowchart of FIG.
As shown in FIG. 9, a deformation board 4 having two checker surfaces orthogonal to each other is placed in a certain posture in front of the camera 1 in advance, and a camera image obtained by capturing the checker surface once with the camera 1 is acquired by the image acquisition unit 101. Is acquired and stored (step ST401). Next, the feature point extraction unit 102 obtains each intersection coordinate of the checker pattern reflected in the camera image acquired by the image acquisition unit 101 as a feature point (step ST402). As a feature point extraction method, generally known pattern matching is used.

ここで、次の処理ステップの説明に移る前に、直交する２つチェッカー面を持つ変形ボードを用いた場合における射影変換行列の求め方について説明する。
図１０に示すように、変形ボード４の直交する２つのチェッカー面を、それぞれＹ＝０、Ｚ＝０の平面となるように座標系を設定すると、射影変換行列は（５）式のようにそれぞれ３行３列の平面射影行列となる。

Figure 2010013289
これらの行列は、３次元座標と２次元座標の２つの座標系の対応データを複数用意することにより求めることができる。この２つの座標系をそれぞれ斉次座標で（Ｘ，Ｙ，Ｚ，１）と（ｘ，ｙ，１）として表すと、求めた（５）式の行列を組み合わせることで、（６）式のように、３行４列の行列で定義できる、３次元座標から２次元座標への射影変換行列が求まる。
Figure 2010013289
 Here, before moving on to the description of the next processing step, a method of obtaining a projective transformation matrix when using a deformation board having two orthogonal checker surfaces will be described.
As shown in FIG. 10, when the coordinate system is set so that two orthogonal checker planes of the deformation board 4 are planes of Y = 0 and Z = 0, the projective transformation matrix is as shown in the equation (5). Each is a 3 × 3 planar projection matrix.
Figure 2010013289
 These matrices can be obtained by preparing a plurality of correspondence data of two coordinate systems of three-dimensional coordinates and two-dimensional coordinates. When these two coordinate systems are expressed as homogeneous coordinates as (X, Y, Z, 1) and (x, y, 1), respectively, by combining the obtained matrix of (5), Thus, a projective transformation matrix from 3D coordinates to 2D coordinates, which can be defined by a 3 × 4 matrix, is obtained.
Figure 2010013289

そこで、図１０に示すように、カメラ１と変形ボード４の間にカメラ１から見て変形ボード４の像が映る仮想面３’を設置した場合、変形ボード４上の既知の交点座標で定義される３次元座標から、それに対応する仮想面３’上の射影位置（２次元座標）を求めることが可能となる。この実施の形態２では、上記仮想面３’をディスプレイ２の表示画面に置き替えて、変形ボード４の交点の３次元座標を表示画面上の２次元座標に変換する処理を行うようにする。   Therefore, as shown in FIG. 10, when a virtual plane 3 ′ on which the image of the deformation board 4 is seen when viewed from the camera 1 is installed between the camera 1 and the deformation board 4, the definition is based on known intersection coordinates on the deformation board 4. The projected position (two-dimensional coordinates) on the virtual plane 3 ′ corresponding to the three-dimensional coordinates can be obtained. In the second embodiment, the virtual plane 3 'is replaced with the display screen of the display 2, and the process of converting the three-dimensional coordinates of the intersection of the deformation board 4 into the two-dimensional coordinates on the display screen is performed.

図８のフローチャートに戻り、上記考えの基に、まず投影座標探索部２０４により、特徴点抽出部１０２で求めた変形ボード４のカメラ画像上の各交点座標に対して、変形ボード４の交点座標を用いてカメラ1から見たディスプレイ２の表示画面上の歪みの無い対応点の座標を探索する（ステップＳＴ４０３）。ここでは、特徴点抽出部１０２で求めた変形ボード４のカメラ画像上の各交点座標に基づいて上記カメラ画像に近似する疑似カメラ画像を生成し、図１１（ａ）に示すようにディスプレイ２に表示させる。この疑似カメラ画像は、レンズの歪みを受けているから、交点座標がずれているところがある筈である。そこで、疑似カメラ画像の交点座標と、既知である変形ボード４の撮像時の交点座標データの対応する交点座標を比較し、その結果に基づいて、図１１（ｂ）に示すように、疑似カメラ画像の交点座標を修正して再表示し、ディスプレイ２の表示画面上の修正画像の各交点座標を求める。なお、他の手法を用いて表示画面上の交点座標を求めてもよい。   Returning to the flowchart of FIG. 8, based on the above idea, the intersection coordinate of the deformation board 4 is first calculated by the projected coordinate search unit 204 with respect to each intersection coordinate on the camera image of the deformation board 4 obtained by the feature point extraction unit 102. Is used to search the coordinates of the corresponding points without distortion on the display screen of the display 2 viewed from the camera 1 (step ST403). Here, a pseudo camera image that approximates the camera image is generated based on the intersection coordinates on the camera image of the deformation board 4 obtained by the feature point extraction unit 102, and is displayed on the display 2 as shown in FIG. Display. Since this pseudo camera image is subjected to distortion of the lens, there should be a place where the coordinates of the intersection point are deviated. Therefore, the intersection coordinates of the pseudo camera image are compared with the corresponding intersection coordinates of the known intersection coordinate data when the deformation board 4 is imaged. Based on the result, as shown in FIG. The intersection coordinates of the image are corrected and displayed again, and the intersection coordinates of the corrected image on the display screen of the display 2 are obtained. In addition, you may obtain | require the intersection coordinate on a display screen using another method.

次に、射影行列生成部２０５では、ステップＳＴ４０１で撮像に用いた実際のチェッカーボード４によって定義される交点の３次元座標を、投影座標探索部２０４により求めたディスプレイ２の表示画面上の交点の２次元座標に対応付ける射影変換行列を求める（ステップＳＴ４０４）。ここでは、上記（６）式の射影変換行列を求めることになる。   Next, in the projection matrix generation unit 205, the three-dimensional coordinates of the intersection defined by the actual checkerboard 4 used for imaging in step ST401 are obtained from the intersections on the display screen of the display 2 obtained by the projection coordinate search unit 204. A projective transformation matrix associated with the two-dimensional coordinates is obtained (step ST404). Here, the projective transformation matrix of the above equation (6) is obtained.

次に、３次元座標生成部２０１では、３次元データ格納部３から、カメラ１の撮像対象とする指定された姿勢の仮想チェッカーボードの３次元画像データを読み出し、そのチェッカーパターンの各交点の３次元座標を算出する（ステップＳＴ４０５）。射影変換部２１２では、射影行列生成部２０５で生成された射影変換行列を用い、３次元座標生成部２０１で算出された仮想チェッカーボードの各交点の３次元座標をディスプレイ２の表示画面上に射影して各交点の２次元座標を算出する（ステップＳＴ４０６）。画像生成部２０３では、射影変換部２０２で求めた２次元座標データに基づいてチェッカーボード画像データを生成してディスプレイ２に与え、チェッカーボード画像を表示させる（ステップＳＴ４０７）。   Next, the three-dimensional coordinate generation unit 201 reads out the three-dimensional image data of the virtual checkerboard of the specified posture to be imaged by the camera 1 from the three-dimensional data storage unit 3, and 3 of each intersection of the checker pattern. Dimensional coordinates are calculated (step ST405). The projection conversion unit 212 projects the three-dimensional coordinates of each intersection of the virtual checkerboard calculated by the three-dimensional coordinate generation unit 201 onto the display screen of the display 2 using the projection conversion matrix generated by the projection matrix generation unit 205. Then, the two-dimensional coordinates of each intersection are calculated (step ST406). The image generation unit 203 generates checkerboard image data based on the two-dimensional coordinate data obtained by the projective conversion unit 202, gives it to the display 2, and displays the checkerboard image (step ST407).

次に、ディスプレイ２の表示画面に表示されたチェッカーボード画像をカメラ１で撮像し、そのカメラ画像を画像取得部１０１で取得して保持する（ステップＳＴ４０８）。このときの取得されたカメラ画像は、図６（ａ）に例示するように、レンズによる歪みを含んだチェッカーパターンの画像である。次に、特徴点抽出部１０２では、画像取得部１０１が保持されたカメラ画像上の特徴点であるチェッカーボードの交点座標の検出を行う（ステップＳＴ４０９）。ここでは、図６（ｂ）に例示するように、チェッカーパターンの交点位置を検出する。この特徴点抽出方法は、一般的に知られているパターンマッチングが用いられる。   Next, the checkerboard image displayed on the display screen of the display 2 is captured by the camera 1, and the camera image is acquired and held by the image acquisition unit 101 (step ST408). The acquired camera image at this time is an image of a checker pattern including distortion caused by a lens, as illustrated in FIG. Next, the feature point extraction unit 102 detects the intersection coordinates of the checkerboard, which is a feature point on the camera image held by the image acquisition unit 101 (step ST409). Here, as illustrated in FIG. 6B, the intersection position of the checker pattern is detected. For this feature point extraction method, generally known pattern matching is used.

ステップＳＴ４０５からステップＳＴ４０９までの処理を、カメラ校正に必要とする複数の姿勢のチェッカーボード画像について全て行った場合（ステップＳＴ４１０）、カメラキャリブレーション部１０３では、これまで特徴点抽出部１０２で抽出された各カメラ画像上の交点座標のデータを用いてカメラ校正を行い、内部パラメータ、レンズの歪み補正係数を求め（ステップＳＴ４１１）、処理を終了する。なお、このカメラ校正は非特許文献１に記載されているような周知手法を用いて行うものとする。カメラ校正で得られた内部パラメータ、レンズの歪み補正係数を用いて補正されたカメラ画像は図６（ｃ）に例示されるようになる。   When the processing from step ST405 to step ST409 is performed for all checkerboard images of a plurality of postures necessary for camera calibration (step ST410), the camera calibration unit 103 has been extracted by the feature point extraction unit 102 so far. Then, camera calibration is performed using the data of the intersection coordinates on each camera image, internal parameters and lens distortion correction coefficients are obtained (step ST411), and the process is terminated. Note that this camera calibration is performed using a known method as described in Non-Patent Document 1. FIG. 6C illustrates a camera image corrected using the internal parameters obtained by camera calibration and the lens distortion correction coefficient.

なお、実施の形態１と同様に、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの画像データの代わりに、仮想チェッカーボードの各姿勢におけるチェッカーパターンの各交点の３次元座標データとしてもよい。この場合、３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標データそのものを検索することになる。また、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの各姿勢におけるチェッカーパターンの１点の交点座標データとしてもよい。この場合は、３次元座標生成部２０１は、指定された姿勢の仮想チェッカーボードの１点の交点の３次元座標データ、対応する姿勢およびチェッカーパターンのサイズに基づいて、仮想チェッカーボードの各交点の３次元座標を算出することになる。   As in the first embodiment, the data stored in advance in the three-dimensional data storage unit 3 is replaced with the three-dimensional coordinates of each intersection of the checker patterns in each posture of the virtual checkerboard instead of the image data of the virtual checkerboard. It may be data. In this case, the three-dimensional coordinate generation unit 201 searches the three-dimensional data storage unit 3 for the three-dimensional coordinate data itself of each intersection point of the checker pattern of the virtual checkerboard in the specified posture. The data stored in advance in the three-dimensional data storage unit 3 may be intersection coordinate data of one point of the checker pattern in each posture of the virtual checkerboard. In this case, the three-dimensional coordinate generation unit 201 determines each intersection of the virtual checkerboard based on the three-dimensional coordinate data of one intersection of the virtual checkerboard of the specified posture, the corresponding posture, and the size of the checker pattern. Three-dimensional coordinates are calculated.

以上のように、この実施の形態２によれば、校正対象のカメラにより撮像した、チェッカーパターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得し、この変形ボードのカメラ画像に写っているチェッカーパターンの各交点の座標を抽出し、抽出されたチェッカーパターンの各交点の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、撮像時の変形ボードの各交点の座標データに基づいて疑似カメラ画像上の各交点を修正して修正画像を生成し、修正画像上のチェッカーパターンの各交点に対応する所定のディスプレイの表示画面上の２次元座標を算出し、変形ボードによって定義されるチェッカーの交点の３次元座標を、上記算出された所定ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成し、予め準備した、変形ボードと同じチェッカーパターンを施した１つの面からなる仮想チェッカーボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各位置の３次元座標を算出し、上記生成された射影変換行列に基づいて、算出された３次元座標を所定のディスプレイの表示画面上に射影変換して各交点の２次元座標を算出し、算出された２次元座標情報に基づいて所定のディスプレイで表示するチェッカーボード画像を生成するようにしている。すなわち、直交する２つのチェッカー面を持つ変形ボードを事前に１度撮像したデータを用いて、ディスプレイの表示画面に対する射影変換行列を作成し、この射影変換行列を使用して各姿勢のチェッカーボード画像をディスプレイに表示できるようにしたので、このチェッカーボード画像をカメラで撮像することは、所望の正確な位置、姿勢の分かった実際のチェッカーボードを撮像することと同等である。したがって、実施の形態１で行っているカメラとディスプレイの正確な相対距離を計測する必要がなくなり、カメラ校正の際にチェッカーボードの姿勢をいろいろ変えて撮像する作業を自動化することができ、作業効率を向上させることができる。また、表示されるチェッカーボード画像は、複数の同タイプのカメラに対して、映っているチェッカーボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことが可能となる。
さらに、直交する２つのチェッカー面を持つ変形ボードを撮像したデータを使用して射影変換行列を作成しているので、１つの面のチェッカーボードを用いた場合に比べ射影変換行列を簡略化できるため、射影変換の処理時間を短縮することができる。As described above, according to the second embodiment, a camera image of a deformation board having two orthogonal reference surfaces with a checker pattern captured by a camera to be calibrated is acquired, and the camera image of the deformation board is acquired. The coordinates of each intersection of the checker pattern shown in Fig. 1 are extracted, and a pseudo camera image to be displayed on a predetermined display is generated based on the coordinates of each intersection of the extracted checker pattern, and each intersection of the deformation board at the time of imaging is generated. Based on the coordinate data, each intersection point on the pseudo camera image is corrected to generate a corrected image, and two-dimensional coordinates on the display screen of a predetermined display corresponding to each intersection point of the checker pattern on the corrected image are calculated and transformed The three-dimensional coordinates of the intersection of the checkers defined by the board are associated with the calculated two-dimensional coordinates on the display screen of the predetermined display. The shadow transformation matrix is generated, and the checker pattern of the virtual checker board of the specified posture is prepared from the three-dimensional data relating to the plurality of postures of the virtual checker board which is prepared in advance and has the same checker pattern as the deformation board. Calculate the three-dimensional coordinates of each position, projectively transform the calculated three-dimensional coordinates on the display screen of a predetermined display based on the generated projective transformation matrix, and calculate the two-dimensional coordinates of each intersection point; A checkerboard image to be displayed on a predetermined display is generated based on the calculated two-dimensional coordinate information. That is, a projection transformation matrix for the display screen of the display is created using data obtained by imaging a deformation board having two orthogonal checker planes in advance, and a checkerboard image of each posture is used using this projection transformation matrix. Since the image can be displayed on the display, capturing the checkerboard image with the camera is equivalent to capturing the actual checkerboard with the desired accurate position and orientation. Therefore, it is not necessary to measure the exact relative distance between the camera and the display performed in the first embodiment, and it is possible to automate the work of imaging by changing the posture of the checkerboard during camera calibration. Can be improved. In addition, the displayed checkerboard image can always determine the posture of the checkerboard that is reflected evenly for multiple cameras of the same type, making it possible to perform uniform and stable camera calibration. Become.
Furthermore, since the projection transformation matrix is created using the data obtained by imaging the deformation board having two orthogonal checker planes, the projection transformation matrix can be simplified as compared with the case of using a single-side checkerboard. The projective transformation processing time can be shortened.

実施の形態３．
図１２は、カメラとプロジェクタを用いたポインティングシステムの概略構成も示す説明図である。
このポインティングシステムは、机の上板に相当する部分を半透過型のスクリーン３０とし、その下部に、スクリーン３０に画像を投影するプロジェクタ２０とスクリーン３０の投影面を撮像するためのカメラ１０を設置している。また、プロジェクタ２０に与える画像データの生成、カメラ１０で得られるカメラ画像の処理、および各種制御を行う画像処理装置４０を備えている。
ポインティングシステムの動作は、プロジェクタ２０によりスクリーン３０に画像を投影し、スクリーン３０の上部側に映し出された画像の適当な位置でユーザがＬＥＤを当てて点灯させると、その状態をカメラ１０が撮像し、得られるカメラ画像からスクリーン３０上のポインティング位置を算出する仕組みとなっている。Embodiment 3 FIG.
FIG. 12 is an explanatory diagram showing a schematic configuration of a pointing system using a camera and a projector.
In this pointing system, a portion corresponding to the top plate of a desk is a transflective screen 30, and a projector 20 that projects an image on the screen 30 and a camera 10 that captures the projection surface of the screen 30 are installed below the screen 30. is doing. Further, an image processing device 40 is provided for generating image data to be given to the projector 20, processing a camera image obtained by the camera 10, and performing various controls.
The operation of the pointing system is to project an image on the screen 30 by the projector 20, and when the user hits the LED at an appropriate position of the image projected on the upper side of the screen 30 and lights it, the camera 10 captures the state. The pointing position on the screen 30 is calculated from the obtained camera image.

このシステムの構成の場合、スクリーン３０を、実施の形態１または実施の形態２におけるディスプレイの表示画面としてそのまま利用することにより、カメラ校正用の画像を作成して表示し、カメラ１０に対するカメラ校正を行うことが可能となる。また、このシステムでは、カメラ１０の設置位置やレンズの設定を変更してもカメラを設置した状態のまま再キャリブレーションを行うことができるので、作業性がよい。なお、カメラ校正時にカメラ校正用画像が投影面で十分反射せずカメラ画像の品質が満たされないような場合には、スクリーン３０の上側に反射体を設置して撮像すればよい。   In the case of this system configuration, the screen 30 is used as it is as the display screen of the first or second embodiment, so that an image for camera calibration is created and displayed, and the camera 10 is calibrated. Can be done. Further, in this system, even if the installation position of the camera 10 or the lens setting is changed, recalibration can be performed with the camera installed, so that workability is good. Note that when the camera calibration image is not sufficiently reflected on the projection plane during camera calibration and the quality of the camera image is not satisfied, a reflector may be installed on the upper side of the screen 30 to capture the image.

以上のように、この発明に係るカメラ校正画像作成装置は、カメラで表示画面を撮像したときに得られる画像が、実際のチェッカーボードを撮像したときと同様の画像となるように各姿勢のチェッカーボード画像を生成できるので、各種カメラに対するカメラキャリブレーション作業の改善に適している。   As described above, the camera calibration image creation device according to the present invention is a checker for each posture so that the image obtained when the display screen is captured by the camera is the same image as when the actual checkerboard is captured. Since a board image can be generated, it is suitable for improving camera calibration work for various cameras.

Claims (10)

平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、
前記３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、
予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、前記３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、
前記射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたことを特徴とするカメラ校正画像作成装置。Three-dimensional data storage means for storing three-dimensional data relating to a plurality of postures of a virtual reference board composed of one reference plane subjected to a geometric pattern representing a plurality of predefined positions on a plane;
Three-dimensional coordinate generation means for calculating the three-dimensional coordinates of each position of the geometric pattern of the virtual reference board of the specified posture from the three-dimensional data of the three-dimensional data storage means;
Based on the measured relative distance between the camera to be calibrated and a predetermined display, the three-dimensional coordinates calculated by the three-dimensional coordinate generation means are projectively transformed onto the display screen of the display, and the two-dimensional coordinates at each position are converted. Projective transformation means for calculating
A camera calibration image creation apparatus comprising image generation means for generating a reference board image to be displayed on the display based on the two-dimensional coordinate information calculated by the projection conversion means. ３次元データ格納手段は、３次元データとして、仮想基準ボードの３次元画像データを格納しており、
３次元座標生成手段は、前記３次元データ格納手段から読み出した３次元画像データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項１記載のカメラ校正画像作成装置。The 3D data storage means stores 3D image data of the virtual reference board as 3D data,
The three-dimensional coordinate generation means calculates the three-dimensional coordinates of each position of the geometric pattern of the virtual reference board in the specified posture from the three-dimensional image data read from the three-dimensional data storage means. Item 1. The camera calibration image creation device according to Item 1. ３次元データ格納手段は、３次元データとして、仮想基準ボードの幾何学パターンの位置の３次元座標データを格納しており、
３次元座標生成手段は、前記３次元データ格納手段から、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標データそのものを検索することを特徴とする請求項１記載のカメラ校正画像作成装置。The 3D data storage means stores 3D coordinate data of the position of the geometric pattern of the virtual reference board as 3D data,
2. The camera according to claim 1, wherein the three-dimensional coordinate generation means retrieves the three-dimensional coordinate data itself at each position of the geometric pattern of the virtual reference board having the specified posture from the three-dimensional data storage means. Calibration image creation device. ３次元データ格納手段は、３次元データとして、仮想基準ボードの中心にある幾何学パターンの１点の位置の３次元座標データを格納しおり、
３次元座標生成手段は、前記３次元データ格納手段から読み出した指定された姿勢の仮想基準ボードの１点の位置の３次元座標データ、対応する姿勢および幾何学パターンのサイズに基づいて、当該仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項１記載のカメラ校正画像作成装置。The 3D data storage means stores 3D coordinate data of the position of one point of the geometric pattern in the center of the virtual reference board as 3D data,
The three-dimensional coordinate generation means is configured to determine the virtual position based on the three-dimensional coordinate data of the position of one point of the virtual reference board of the designated posture read from the three-dimensional data storage means, the corresponding posture, and the size of the geometric pattern. 2. The camera calibration image creation apparatus according to claim 1, wherein three-dimensional coordinates of each position of the geometric pattern of the reference board are calculated. 平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、
校正対象のカメラにより撮像した、前記仮想基準ボードと同じ幾何学パターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得する画像取得手段と、
前記画像取得手段が取得した変形ボードのカメラ画像に写っている幾何学パターンの各位置の座標を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出された幾何学パターンの各位置の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、撮像時における前記変形ボードの各位置の座標データに基づいて疑似カメラ画像の各位置を修正して修正画像を生成し、当該修正画像上の幾何学パターンの各位置に対応する前記ディスプレイの表示画面上の２次元座標を算出する投影座標探索手段と、
前記変形ボードによって定義される幾何学パターンの位置の３次元座標を、前記投影座標探索手段で算出された前記ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成する射影行列生成手段と、
前記３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、
前記射影行列変換手段で生成された射影変換行列に基づいて、前記３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、
前記射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたことを特徴とするカメラ校正画像作成装置。Three-dimensional data storage means for storing three-dimensional data relating to a plurality of postures of a virtual reference board composed of one reference plane subjected to a geometric pattern representing a plurality of predefined positions on a plane;
Image acquisition means for acquiring a camera image of a deformation board having two orthogonal reference planes that have been imaged by a camera to be calibrated and subjected to the same geometric pattern as the virtual reference board;
Feature point extracting means for extracting the coordinates of each position of the geometric pattern reflected in the camera image of the deformation board acquired by the image acquiring means;
A pseudo camera image to be displayed on a predetermined display is generated based on the coordinates of each position of the geometric pattern extracted by the feature point extracting means, and the pseudo camera is based on the coordinate data of each position of the deformation board at the time of imaging. A projected coordinate search means for correcting each position of the image to generate a corrected image, and calculating two-dimensional coordinates on the display screen of the display corresponding to each position of the geometric pattern on the corrected image;
Projection matrix generation means for generating a projection transformation matrix for associating the three-dimensional coordinates of the position of the geometric pattern defined by the deformation board with the two-dimensional coordinates on the display screen of the display calculated by the projection coordinate search means; ,
Three-dimensional coordinate generation means for calculating the three-dimensional coordinates of each position of the geometric pattern of the virtual reference board of the specified posture from the three-dimensional data of the three-dimensional data storage means;
Based on the projection transformation matrix generated by the projection matrix transformation means, the three-dimensional coordinates calculated by the three-dimensional coordinate generation means are projectively transformed on the display screen of the display to calculate the two-dimensional coordinates of each position. Projective transformation means;
A camera calibration image creation apparatus comprising image generation means for generating a reference board image to be displayed on the display based on the two-dimensional coordinate information calculated by the projection conversion means. ３次元データ格納手段は、３次元データとして、仮想基準ボードの３次元画像データを格納しており、
３次元座標生成手段は、前記３次元データ格納手段から読み出した３次元画像データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項５記載のカメラ校正画像作成装置。The 3D data storage means stores 3D image data of the virtual reference board as 3D data,
The three-dimensional coordinate generation means calculates the three-dimensional coordinates of each position of the geometric pattern of the virtual reference board in the specified posture from the three-dimensional image data read from the three-dimensional data storage means. Item 6. The camera calibration image creation device according to Item 5. ３次元データ格納手段は、３次元データとして、仮想基準ボードの幾何学パターンの位置の３次元座標データを格納しており、
３次元座標生成手段は、前記３次元データ格納手段から、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標データそのものを検索することを特徴とする請求項５記載のカメラ校正画像作成装置。The 3D data storage means stores 3D coordinate data of the position of the geometric pattern of the virtual reference board as 3D data,
6. The camera according to claim 5, wherein the three-dimensional coordinate generation means retrieves the three-dimensional coordinate data itself at each position of the geometric pattern of the virtual reference board having the specified posture from the three-dimensional data storage means. Calibration image creation device. ３次元データ格納手段は、３次元データとして、仮想基準ボードの中心にある幾何学パターンの１点の位置の３次元座標データを格納しおり、
３次元座標生成手段は、前記３次元データ格納手段から読み出した指定された姿勢の仮想基準ボードの１点の位置の３次元座標データ、対応する姿勢および幾何学パターンのサイズに基づいて、当該仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項５記載のカメラ校正画像作成装置。The 3D data storage means stores 3D coordinate data of the position of one point of the geometric pattern in the center of the virtual reference board as 3D data,
The three-dimensional coordinate generation means is configured to determine the virtual position based on the three-dimensional coordinate data of the position of one point of the virtual reference board of the designated posture read from the three-dimensional data storage means, the corresponding posture, and the size of the geometric pattern. 6. The camera calibration image creation apparatus according to claim 5, wherein three-dimensional coordinates of each position of the geometric pattern of the reference board are calculated. 予め準備された、平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出し、
予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、前記算出された各位置の３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出し、
前記算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する処理をコンピュータ上で行うことを特徴とするカメラ校正画像作成プログラム。A virtual reference board of a specified posture from three-dimensional data relating to a plurality of postures of a virtual reference board that is prepared in advance and is provided with a geometric pattern representing a plurality of predefined positions on a plane. 3D coordinates of each position of the geometric pattern of
Based on the measured relative distance between the camera to be calibrated and a predetermined display, the calculated three-dimensional coordinates of each position are projected on the display screen of the display to calculate the two-dimensional coordinates of each position. ,
A camera calibration image creation program for performing processing for generating a reference board image to be displayed on the display based on the calculated two-dimensional coordinate information on a computer. 校正対象のカメラにより撮像した、平面上の予め定義された複数の位置を表す幾何学パターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得し、
前記取得した変形ボードのカメラ画像に写っている幾何学パターンの各位置の座標を抽出し、
前記抽出された幾何学パターンの各位置の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、
撮像時の前記変形ボードの各位置の座標データに基づいて前記疑似カメラ画像上の各位置を修正して修正画像を生成し、
前記修正画像上の幾何学パターンの各位置に対応する前記ディスプレイの表示画面上の２次元座標を算出し、
前記変形ボードによって定義される幾何学パターンの位置の３次元座標を、前記算出された前記ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成し、
予め準備した、前記変形ボードと同じ幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出し、
前記生成された射影変換行列に基づいて、前記算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出し、
前記算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する処理をコンピュータ上で行うことを特徴とするカメラ校正画像作成プログラム。Acquire a camera image of a deformation board having two orthogonal reference planes that have been subjected to a geometric pattern that represents a plurality of predefined positions on a plane, captured by a camera to be calibrated,
Extracting the coordinates of each position of the geometric pattern reflected in the camera image of the acquired deformation board;
Generating a pseudo camera image to be displayed on a predetermined display based on the coordinates of each position of the extracted geometric pattern;
Correcting each position on the pseudo camera image based on the coordinate data of each position of the deformation board at the time of imaging to generate a corrected image;
Calculating two-dimensional coordinates on the display screen of the display corresponding to each position of the geometric pattern on the corrected image;
Generating a projective transformation matrix that associates the three-dimensional coordinates of the position of the geometric pattern defined by the deformation board with the calculated two-dimensional coordinates on the display screen of the display;
From the three-dimensional data relating to the plurality of postures of the virtual reference board made up of a single reference plane that has the same geometric pattern as that of the deformation board prepared in advance, each position of the geometric pattern of the virtual reference board in the designated posture is obtained. Calculate 3D coordinates,
Based on the generated projective transformation matrix, the calculated three-dimensional coordinates are projectively transformed on the display screen of the display to calculate the two-dimensional coordinates of each position;
A camera calibration image creation program for performing processing for generating a reference board image to be displayed on the display based on the calculated two-dimensional coordinate information on a computer.
JP2010522532A 2008-07-31 2008-07-31 Camera calibration image creation apparatus and camera calibration image creation program Pending JPWO2010013289A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/002062 WO2010013289A1 (en) 2008-07-31 2008-07-31 Camera calibration image creation apparatus and camera calibration image creation program

Publications (1)

Publication Number Publication Date
JPWO2010013289A1 true JPWO2010013289A1 (en) 2012-01-05

Family

ID=41610019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010522532A Pending JPWO2010013289A1 (en) 2008-07-31 2008-07-31 Camera calibration image creation apparatus and camera calibration image creation program

Country Status (2)

Country Link
JP (1) JPWO2010013289A1 (en)
WO (1) WO2010013289A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142617A (en) * 2016-02-09 2017-08-17 ローランドディー．ジー．株式会社 Cutting machine and method for determining necessity of position correction

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5483952B2 (en) 2009-08-18 2014-05-07 三菱電機株式会社 Rear projection display
ES2449480T3 (en) 2011-05-12 2014-03-19 Ip Energy Modular unit for the construction of computer data centers
JP2013243621A (en) * 2012-05-22 2013-12-05 Toshiba Corp Electronic device, electronic device control method, control program, and image display device
CA3105905A1 (en) * 2018-07-27 2020-01-30 Appario Global Solutions (AGS) AG Method and system for dynamic image content replacement in a video stream
CN113155053A (en) * 2020-01-22 2021-07-23 株式会社三丰 Three-dimensional geometry measuring device and three-dimensional geometry measuring method
CN112465913A (en) * 2020-11-18 2021-03-09 广东博智林机器人有限公司 Binocular camera-based correction method and device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234706A (en) * 1998-02-16 1999-08-27 Sharp Corp Adjustment device for video image of television camera
JP4250620B2 (en) * 2005-07-29 2009-04-08 キヤノン株式会社 Information processing method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142617A (en) * 2016-02-09 2017-08-17 ローランドディー．ジー．株式会社 Cutting machine and method for determining necessity of position correction

Also Published As

Publication number Publication date
WO2010013289A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN105026997B (en) Optical projection system, semiconductor integrated circuit and image correcting method
JP6344050B2 (en) Image processing system, image processing apparatus, and program
Sun et al. An empirical evaluation of factors influencing camera calibration accuracy using three publicly available techniques
JP6507730B2 (en) Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination
WO2010013289A1 (en) Camera calibration image creation apparatus and camera calibration image creation program
JP6079333B2 (en) Calibration apparatus, method and program
JP2011118553A (en) Image processing apparatus, image processing method and computer program
JP6067175B2 (en) Position measuring apparatus and position measuring method
CN111445533B (en) Binocular camera calibration method, device, equipment and medium
JPWO2018235163A1 (en) Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method
US20170223338A1 (en) Three dimensional scanning system and framework
JP2000350239A (en) Camera.calibration device and method, image processing unit and method, program serving medium and camera
JP2009053126A (en) Image measuring device
JP2007309660A (en) Calibration method in three-dimensional shape measuring device
JP2009042162A (en) Calibration device and method therefor
Gao et al. Accuracy evaluation of optical distortion calibration by digital image correlation
Suresh et al. Structured light system calibration with unidirectional fringe patterns
JP2015233266A (en) Image processing system, information processing device, and program
Van Crombrugge et al. Extrinsic camera calibration for non-overlapping cameras with Gray code projection
WO2018168757A1 (en) Image processing device, system, image processing method, article manufacturing method, and program
Chen et al. Calibrating large-FOV stereo digital image correlation system using phase targets and epipolar geometry
JP2011155412A (en) Projection system and distortion correction method in the same
Portalés et al. An efficient projector calibration method for projecting virtual reality on cylindrical surfaces
JP2006098065A (en) Calibration device and method, and three-dimensional modelling device and system capable of using the same
Dunne et al. Efficient generic calibration method for general cameras with single centre of projection

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121030