JPH0621772B2 - Method of calibrating internal parameters of TV camera - Google Patents
Method of calibrating internal parameters of TV cameraInfo
- Publication number
- JPH0621772B2 JPH0621772B2 JP1027088A JP2708889A JPH0621772B2 JP H0621772 B2 JPH0621772 B2 JP H0621772B2 JP 1027088 A JP1027088 A JP 1027088A JP 2708889 A JP2708889 A JP 2708889A JP H0621772 B2 JPH0621772 B2 JP H0621772B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- camera
- vertical
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000000611 regression analysis Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000005094 computer simulation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
【発明の詳細な説明】 3.1 発明の属する技術分野 本発明は，ディジタル画像に写っている物体の像から，
ディジタル演算を行って，３次元空間内にある物体の位
置を復元するためのＴＶカメラの内部パラメータの較正
方法に関する。DETAILED DESCRIPTION OF THE INVENTION 3.1 Technical Field of the Invention The present invention relates to an image of an object in a digital image,
The present invention relates to a method of calibrating internal parameters of a TV camera for performing digital calculation and restoring the position of an object in a three-dimensional space.
ディジタル画像とは，ＴＶカメラが出力するアナログ画
像信号をＡ／Ｄ変換器により縦横に数100個並んだ画素
に標本化し，かつ各画素毎に100程度の階調のうちのあ
る階調に量子化して計算機のメモリに入力して得るもの
である。なお，この量子化した階調値は濃度と呼ばれて
いる。A digital image is an analog image signal output by a TV camera sampled by an A / D converter into hundreds of pixels arranged vertically and horizontally, and each pixel is quantized to a certain gradation of about 100 gradations. It is obtained by inputting it into a computer memory. The quantized gradation value is called density.
3.2 従来の技術 高精度な３次元位置情報を得ることは，自動化やロボッ
ト化などへの応用を考えると，画像処理による視覚技
術，つまりコンピュータビジョンの課題の中でも最も重
要な課題の一つである。3.2 Conventional technology Obtaining highly accurate 3D position information is one of the most important tasks in visual technology by image processing, that is, computer vision, considering its application to automation and robotization. .
この３次元計測は次のようにして行われる。予め像距離
や画像歪曲係数などのＴＶカメラパラメータを正しく較
正しておく。そして，物体の像の位置，すなわち画像メ
モリ上の２次元座標を，さきのＴＶカメラパラメータを
用いた変換式に代入して，物体の実空間内の３次元座標
が求められる。この中で，ＴＶカメラの内部パラメータ
の較正は困難な問題として残置され，一般に，焦点距離
や撮像面上の１画素の大きさは，ＴＶカメラ製造メーカ
の仕様に定められている基準値（数％のばらつきがあ
る）を使い，画像歪曲は無いものとしている 。この
課題について，Tsaiは，これまでで最も良く検討してい
る。This three-dimensional measurement is performed as follows. TV camera parameters such as image distance and image distortion coefficient are calibrated in advance. Then, the position of the image of the object, that is, the two-dimensional coordinate on the image memory is substituted into the conversion formula using the TV camera parameter, and the three-dimensional coordinate of the object in the real space is obtained. Of these, calibration of internal parameters of TV cameras remains as a difficult problem, and in general, the focal length and the size of one pixel on the imaging surface are the reference values (numbers) defined in the specifications of TV camera manufacturers. %) And there is no image distortion. Tsai has best considered this issue so far.
（〔文献１〕R. Y. Tsai,“An efficient and accurate
camera calibration technique for 3-D Machine Visi
on", IEEE Proc. of Conf. on Computer Vision and Pa
ttern Recognition, pp. 346〜374, 1986. 〔文献２〕R. K. Lenz and R. Y. Tsai,“Techniques f
or calibration of the scale factor and image cente
r for high accuracy 3-D machine vision metrology",
Proc. of IEEE Int.Conf.on Robotics and Automation,
pp. 68〜75, 1987.). そこで扱われるＴＶカメラパラメータは，外部パラメー
タと内部パラメータとに大別される。外部パラメータ
は，３次元空間の基準座標系に対するＴＶカメラの姿勢
や位置であり，回転移動を表す３×３の大きさの行列
と，平行移動を表す３×１の大きさのベクトルである。
一方，内部パラメータは，実効的な焦点距離（通常，像
距離と呼ばれる），画像メモリの１画素に対応する撮像
面上の領域の幅と高さ，画像歪曲係数，そして画像にお
ける歪曲の中心の位置である。しかしながら，この方法
には次の欠点があった。([Reference 1] RY Tsai, “An efficient and accurate
camera calibration technique for 3-D Machine Visi
on ", IEEE Proc. of Conf. on Computer Vision and Pa
ttern Recognition, pp. 346-374, 1986. [Reference 2] RK Lenz and RY Tsai, “Techniques f
or calibration of the scale factor and image cente
r for high accuracy 3-D machine vision metrology ",
Proc. Of IEEE Int.Conf.on Robotics and Automation,
pp. 68-75, 1987.). TV camera parameters handled there are roughly classified into external parameters and internal parameters. The external parameters are the posture and position of the TV camera with respect to the reference coordinate system in the three-dimensional space, and are a 3 × 3 size matrix representing rotational movement and a 3 × 1 size vector representing parallel movement.
On the other hand, the internal parameters are the effective focal length (usually called the image distance), the width and height of the area on the imaging surface corresponding to one pixel of the image memory, the image distortion coefficient, and the center of distortion in the image. The position. However, this method has the following drawbacks.
(1) 画像メモリの１画素に対応する撮像面上の領域の幅
を求めるには，特殊な処理，例えば，サンプリング周波
数計測や１次元ＦＦＴ（１次元高速フーリエ変換）が必
要（上記〔文献２〕）。(1) Special processing such as sampling frequency measurement and one-dimensional FFT (one-dimensional fast Fourier transform) is required to obtain the width of the area on the imaging surface corresponding to one pixel of the image memory (see [Reference 2 above] ]).
(2) ２次元平面上に散在する較正用標点のデータを用い
て回帰分析を行っている。したがって，垂直，水平の両
方向のＴＶカメラパラメータを同時に扱うのでＴＶカメ
ラパラメータ数が多くなり，計算量の増大を招く（上記
〔文献１〕）。(2) The regression analysis is performed using the data of the calibration reference points scattered on the two-dimensional plane. Therefore, since the TV camera parameters in both the vertical and horizontal directions are handled at the same time, the number of TV camera parameters is increased and the amount of calculation is increased (the above [Reference 1]).
(3) 画像歪曲が無いと仮定した上で，外部パラメータを
求めている。そして、その外部パラメータを用いて内部
パラメータを求めている。したがって，画像歪曲の大き
なＴＶカメラでは，外部パラメータに誤差を生じ，さら
に内部パラメータにも誤差が伝播する（上記〔文献
１〕）。(3) External parameters are calculated assuming that there is no image distortion. Then, the internal parameters are obtained using the external parameters. Therefore, in a TV camera with a large image distortion, an error occurs in an external parameter, and the error also propagates to an internal parameter (above [Reference 1]).
3.3 発明の目的 本発明の目的は，サンプリング周波数計測などの特殊な
処理が不要で，計算量が少ない，較正値の誤差の小さい
ＴＶカメラの内部パラメータの較正方法を提供すること
にある。3.3 Object of the Invention It is an object of the present invention to provide a method of calibrating the internal parameters of a TV camera that does not require special processing such as sampling frequency measurement, has a small amount of calculation, and has a small error in the calibration value.
3.4 発明の構成 3.4.1 発明の特徴と従来の技術との差異 本発明は， (1) 較正用標点のデータの取得とそのデータのＴＶカメ
ラモデルへの回帰分析とのみで実行可能である。3.4 Structure of the invention 3.4.1 Differences between the features of the invention and the prior art The present invention can be implemented only by (1) acquisition of calibration gauge data and regression analysis of the data to a TV camera model. .
(2) １次元上の較正用標点のデータを用いて回帰分析を
行っているので計算量が著しく少ない， (3) 較正の過程で画像歪曲を無視していないので，画像
歪曲の大きなＴＶカメラでも誤差を生じない， という特徴を有する。(2) Regression analysis is performed using one-dimensional calibration mark data, so the amount of calculation is extremely small. (3) Image distortion is not ignored in the calibration process, so TV with large image distortion. It has the feature that no error occurs even in the camera.
3.4.2 実施例 (1) ＴＶカメラモデル はじめに，ＴＶカメラモデルを定義する。カメラモデル
の基礎となる幾何光学的なカメラモデルを第２図（ロ）
の(c)に示す。この図で，点Ｑｉは較正用チャート上の
較正用標点であり，その座標を（ｘｉ，ｙｉ，ｚｉ）と
表す。ここで，３次元空間の座標（ｘ，ｙ，ｚ）の原点
はＴＶカメラレンズ主点にとり，Ｚ軸はレンズの光軸に
一致させる。点ｑｉは，３次元空間内の点Ｑｉの像であ
り，その画像メモリ上の座標は（ｕｉ，ｖｉ）と表す。
（ｕｉ，ｖｉ）は画像歪曲の影響を受けている。画像メ
モリ上の座標の単位はすべて画素である。ここで，仮に
ピンホールカメラが用いられたとすれば，画像歪曲は生
じなく，３次元空間内の点Ｑｉの像は点ｑｉ′に結像す
る。その画像メモリ上の座標を（ｕｉ′，ｖｉ′）と表
す。点Ｃは画像中心，すなわちレンズの光軸と撮像面と
の交点であり，その画像メモリ上の座標を（ｃｕ，
ｃｖ）と表す。点Ｔは較正用チャートの回転中心であ
り，その３次元空間内の座標を（ｔｘ，ｔｙ，ｔｚ）と
表す。点Ｔの像は点ｔであり，その画像メモリ上の座標
を（ｔｕ，ｔｖ）と表す。3.4.2 Example (1) TV camera model First, a TV camera model is defined. Figure 2 (b) shows the geometrical optical camera model that is the basis of the camera model.
(C) of. In this figure, the point Q i is a calibration reference point on the calibration chart, and its coordinates are represented by (x i , y i , z i ). Here, the origin of the coordinates (x, y, z) in the three-dimensional space is set to the principal point of the TV camera lens, and the Z axis is made to coincide with the optical axis of the lens. The point q i is an image of the point Q i in the three-dimensional space, and its coordinates on the image memory are represented by (u i , v i ).
(U i , v i ) is affected by image distortion. The units of coordinates on the image memory are all pixels. Here, if a pinhole camera is used, image distortion does not occur, and the image of the point Q i in the three-dimensional space is formed at the point q i ′. The coordinates on the image memory are represented by (u i ′, v i ′). The point C is the center of the image, that is, the intersection of the optical axis of the lens and the imaging surface, and the coordinates on the image memory are ( cu ,
cv ). The point T is the center of rotation of the calibration chart, and its coordinates in the three-dimensional space are represented by (t x , t y , t z ). The image of the point T is the point t, and its coordinates on the image memory are represented by ( tu , tv ).
（ｘｉ，ｙｉ，ｚｉ）から（ｕｉ，ｖｉ）へは，次のよ
うに変換される。The conversion from (x i , y i , z i ) to (u i , v i ) is performed as follows.
まず，投影関係式により， ｕｉ′−ｃｕ＝ｆｘｉ／（ｚｉｄｘ′） …(1) ｖｉ′−ｃｖ＝ｆｙｉ／（ｚｉｄｙ） …(2) さらに，画像歪曲関係式により， ｕｉ＝ｕｉ′＋κ（ｄｘ′／ｄｙ）２ｕｉ′｛（ｕｉ′）２＋（ｄｙ′／ｄｘ）
２（ｖｉ′）２｝ …(3) ｖｉ＝ｖｉ′＋κｖｉ′｛（ｄｘ′／ｄｙ）２（ｕｉ′）２＋（ｖｉ′）２｝
…(4) である。ここで， κ：画像歪曲係数， ｆ：実効的な焦点距離，すなわち像距離， （ｄｘ′，ｄｙ）：画像メモリの１画素に対応する画像
面上の領域の幅と高さ， である。ｄｙはＴＶカメラの走査方式との関連で較正の
必要がない。すなわち，画像メモリ上の画素の垂直方向
の長さ，すなわち画素行の間隔と，ＴＶカメラの画像面
の個々の固体撮像素子の垂直方向の間隔とは正確に１対
１の対応関係にある。そして，この撮像素子の間隔は現
在の半導体の微細加工技術により，サブミクロン精度と
いう非常な高精度で加工され，かつその情報を我々は容
易に得ることができるので，不確定性は存在しない。First, according to the projection relational expression, u i ′ −c u = fx i / (z i d x ′) (1) vi i ′ −c v = fy i / (z i d y ) ... (2) Further, According to the image distortion relational expression, u i = u i ′ + κ (d x ′ / d y ) 2 u i ′ {(u i ′) 2 + (d y ′ / d x )
2 (v i ′) 2 } (3) v i = v i ′ + κv i ′ {(d x ′ / d y ) 2 (u i ′) 2 + (v i ′) 2 }
… (4). Here, κ: image distortion coefficient, f: effective focal length, that is, image distance, (d x ′, d y ): width and height of the area on the image surface corresponding to one pixel of the image memory, is there. d y there is no need for calibration in the context of the scanning system of the TV camera. That is, the vertical lengths of the pixels in the image memory, that is, the intervals between the pixel rows and the vertical intervals between the individual solid-state image pickup devices on the image plane of the TV camera are in exactly one-to-one correspondence. The interval between the image pickup devices is processed with a very high precision of submicron accuracy by the current fine processing technology for semiconductors, and since the information can be easily obtained by us, there is no uncertainty.
一方，ｄｘ′は，ＴＶカメラの画像信号出力ハードウェ
アと，計算機の画像メモリ入力ハードウェアとの不整合
のために，不確定となる。すなわち，ＴＶカメラのコン
トローラは，走査線に対応する各行を構成する固体撮像
素子群によってピックアップされた離散信号を，アナロ
グ信号に変換する。その後，そのアナログ信号はＡ／Ｄ
変換器によって 256あるいは 512程度の数に離散化，す
なわち標本化され，かつ量子化されて，画像メモリの特
定の行を構成する画素群の値，すなわち濃度として入
力，記憶される。ここで，撮像素子の水平方向の間隔が
上述のように既知であることを考慮すると，各行内の撮
像素子の数と画像メモリ上での各行内の画素の数とから
ｄｘ′は求められるように見える。しかし，実際には，
サンプリングのタイミングは数％のオーダーで不整合を
避けることはできず，何らかの祝段で較正する必要が生
じる。On the other hand, d x ′ becomes uncertain due to the mismatch between the image signal output hardware of the TV camera and the image memory input hardware of the computer. That is, the controller of the TV camera converts the discrete signal picked up by the solid-state imaging device group forming each row corresponding to the scanning line into an analog signal. After that, the analog signal is A / D
It is discretized into a number of about 256 or 512 by the converter, that is, sampled and quantized, and is input and stored as the value of the pixel group that constitutes a specific row of the image memory, that is, the density. Here, considering that the horizontal distance between the image pickup devices is known as described above, d x ′ is obtained from the number of image pickup devices in each row and the number of pixels in each row on the image memory. looks like. But in reality,
The timing of sampling cannot avoid inconsistency on the order of a few percent, and it is necessary to calibrate it at some stage.
(2) 回帰分析による較正 (2.1) 較正用チャート はじめに，較正用チャートについて述べる。較正用チャ
ートは既知の間隔ｌｃで精度良く平行に描かれた直線群
から成っており，垂直方向の較正では第２図（イ）の
(a)に示すように設定し，水平方向の較正では第２図
（イ）の(b)に示すように設定する。(2) Calibration by regression analysis (2.1) Calibration chart First, the calibration chart is described. The calibration chart is composed of a group of straight lines accurately drawn in parallel at a known interval l c , and in the vertical calibration, the calibration chart of FIG.
Set as shown in (a), and for horizontal calibration, set as shown in (b) of FIG. 2 (a).
直線を用いる利点を第２図（イ）の(a)の設定，すなわ
ち直線が水平になるようにチャートを設定する場合につ
いて説明する。まず，画像の各列毎に直線の像の位置を
計測し，その位置を，例えば放物線に最小２乗回帰する
ことにより直線の像の位置，形状は高精度に同定でき
る。さらに，この像の回帰曲線のピークを求めることに
より，各較正用直線の中で，水平方向の歪曲を受けず，
垂直方向の歪曲のみを受けている部分の像の位置を求め
ることができ，この像の位置を以下の較正用データとし
て用いる。そのため，後述のようにモデル回帰の計算を
１次元内で行うことが可能となり，計算量を著しく低減
できる。The advantage of using a straight line will be described with respect to the setting of (a) in FIG. 2A, that is, the case of setting the chart so that the straight line becomes horizontal. First, the position of a straight line image is measured for each column of the image, and the position and shape of the straight line image can be identified with high accuracy by performing a least square regression on the position, for example, to a parabola. Furthermore, by finding the peak of the regression curve of this image, in each calibration line, horizontal distortion is not generated,
The position of the image in the portion that is only vertically distorted can be determined, and this image position is used as the following calibration data. Therefore, the model regression calculation can be performed in one dimension as described later, and the calculation amount can be significantly reduced.
(2.2) 垂直方向の回帰分析によるｆ，κ，ｃｖ，φの較
正 較正用直線の上にあり，かつ(2.1) に説明した較正用デ
ータにあたる点Ｑｉの３次元座標のうちｙｉとｚｉは次
の簡単な式で表される。(2.2) f due to the vertical direction of the regression analysis, κ, c v, is above the calibration calibration straight phi, and the y i of the three-dimensional coordinates of (2.1) point corresponds to the calibration data described in Q i z i is represented by the following simple formula.
ｙｉ＝(iｌｃ−ｌ)cosφ＋ｔｙ， …(5) ｚｉ＝−(iｌｃ−ｌ)sin＋φｔｚ， …(6) ここで，φは較正用チャートの傾斜角であり，ｌは傾斜
中心点Ｔと最も下にある較正用直線との間の長さであ
る。なお，較正用直線と画像メモリ上の各行の方向との
角度の偏差ψは，画像を見ながら調整することにより，
1゜以下に低減しておく，これにより，上記の式(5)，
(6)のようにｙｉやｚｉへのの干渉を無視できる。さ
らに，Ｑｉの像ｑｉのｕ座標ｕｉ′はｃｕにほぼ等しい
と見なすことができる。 y i = (il c -l) cosφ + t y, ... (5) z i = - (il c -l) sin + φt z, ... (6) where, phi is the angle of inclination of the calibration chart, l is inclined It is the length between the center point T and the lowest calibration line. The angle deviation ψ between the calibration line and the direction of each row on the image memory can be adjusted by looking at the image.
It is reduced to 1 ° or less, which results in the above equation (5),
Interference with y i and z i can be ignored as in (6). Furthermore, the u coordinate u i ′ of the image q i of Q i can be regarded as approximately equal to c u .
いま，３次元空間にある点Ｑｉ（ｘｉ，ｙｉ，ｚｉ）か
ら，画像メモリ上の像ｑｉ（ｕｉ，ｖｉ）への変換を考
える。ｕｉ′がｃｕにほぼ等しく，かつｄｘ′はｄｙに
ほぼ等しいので，式(4)の（ｄｘ′／ｄｙ）
２（ｕｉ′）２の項は省略できる。このとき，式(5)，
(6)を式(2)に代入し，さらに式(2)を式(4)に代入するこ
とにより，較正用データを回帰する式，すなわち回帰方
程式 を得ることができる。Now, consider conversion from a point Q i (x i , y i , z i ) in a three-dimensional space to an image q i (u i , v i ) on an image memory. Since u i ′ is almost equal to c u and d x ′ is almost equal to d y , (d x ′ / d y ) in equation (4)
The term 2 (u i ′) 2 can be omitted. At this time, equation (5),
By substituting Eq. (6) into Eq. (2) and Eq. (2) into Eq. (4), the equation for regression of calibration data, that is, regression equation Can be obtained.
さらに，傾斜中心点Ｔをｉｔ番目の較正用直線に一致さ
せることにより，ｔｙはｉｔ番目の較正用データｖitを
用いて ｔｙ＝（ｖit−ｃｖ）ｔｚｄｙ／ｆ ……(8) と与えられ，消去できる。式(7)において，ｄｙとｌｃ
とはＴＶカメラや較正用チャートの製造メーカの仕様か
ら容易に知ることができ，ｔｚとｌ（＝ｉｔｌｃ）は我
々自身で計測することが可能である。Furthermore, by matching the inclined center point T to i t-th calibration straight, t y by using the i t-th calibration data v it t y = (v it -c v) t z d y / It is given as f …… (8) and can be erased. In equation (7), d y and l c
Can be easily known from the specifications of the TV camera and the manufacturer of the calibration chart, and t z and l (= i t l c ) can be measured by ourselves.
以上のようにして，残っている未知数はｆ，κ，ｃｖ，
φの４つとなる。これら４つの未知数は，すべてのｉに
対するｖｉの観測値，すなわち較正用データｖioと式
(7)によるｖｉの計算値ｖicとの間の残差２乗和を最小
にするように最急降下法を用いて解くことができる。な
お，解の誤差を小さくするためには，較正用チャートを
既知の角度間隔で点Ｔを中心として傾斜させるとよい。
この場合，初期の角度をφｏ（未知）とし，回転角度間
隔を△φ（既知）とすると，φ＝φｏ，φｏ＋△φ，φ
ｏ＋２△φ，……についての残差２乗和の和を最小にす
るように最急降下法を適用すればよい。As described above, the remaining unknowns are f, κ, cv ,
There will be 4 of φ. These four unknowns are the observed values of v i for all i, that is, the calibration data v io and the equation
It can be solved by using the steepest descent method so as to minimize the residual sum of squares between the calculated value v ic of v i according to (7). In order to reduce the error of the solution, it is advisable to tilt the calibration chart around the point T at a known angular interval.
In this case, assuming that the initial angle is φ o (unknown) and the rotation angle interval is Δφ (known), φ = φ o , φ o + Δφ, φ
The steepest descent method may be applied so as to minimize the sum of the residual sums of squares for o + 2Δφ, ....
(2.3) 水平方向の回帰分析によるｄｘ′，ｃｕ，θの較
正 ここでは，較正用直線が画像の垂直方向，すなわち列方
向に一致するように較正用チャートを設定する。そし
て，垂直方向の較正と同様にして，較正用直線上の点Ｐ
ｉについて，回帰方程式 が得られる。ここで，θは較正用チャートの方位角であ
る。そして，式(8)と同様に，ｔｘはｉｔ番目の較正用
データｕitを用いて， ｔｘ＝（ｕit−ｃｕ）ｔｚｄｘ′／ｆ ……(10) と与えられ，消去できる。式(9)において，ｆとκはす
でに較正されている値を用いる。したがって，残る２つ
の未知数θ，ｃｕ，ｄｘ′を垂直方向の較正と同様にし
て較正する。(2.3) Calibration of d x ′, c u , θ by horizontal regression analysis Here, the calibration chart is set so that the calibration line matches the vertical direction of the image, that is, the column direction. Then, similarly to the vertical calibration, the point P on the calibration straight line is
regression equation for i Is obtained. Here, θ is the azimuth angle of the calibration chart. Then, as in equation (8), t x by using the i t-th calibration data u it, t x = given as (u it -c u) t z d x '/ f ...... (10) Can be erased. In equation (9), f and κ use already calibrated values. Therefore, the remaining two unknowns θ, cu , d x ′ are calibrated in the same way as the vertical calibration.
以上で取り扱ってきた各変数がどのようにして求められ
るかについて整理する。Here is a summary of how each of the variables handled above is obtained.
外部パラメータ： ｔｙ；測定値を用いて式(8)で消去 ｔｘ；測定値を用いて式(10)で消去 ｔｚ；測定 φ；垂直方向の回帰分析により較正 θ；水平方向の回帰分析により較正 ；０゜に設定 内部パラメータ： ｆ；垂直方向の回帰分析により較正 κ；垂直方向の回帰分析により較正 ｃｖ；垂直方向の回帰分析により較正 ｃｕ；水平方向の回帰分析により較正 ｄｙ；メーカの仕様 ｄｘ′；水平方向の回帰分析により較正 ＴＶカメラパラメータ較正の目的は，内部パラメータに
あることを付記する。External parameter: t y ; erased by equation (8) using measured value t x ; erased by equation (10) using measured value tz ; measured φ; calibrated by regression analysis in vertical direction θ; regression in horizontal direction calibration analysis; 0 ° setting internal parameters: f; calibrated with vertical regression analysis c v;; calibration κ by vertical regression analysis calibrated with vertical regression analysis c u; calibrated by horizontal regression analysis d y : Manufacturer's specifications d x ′; Calibration by horizontal regression analysis Note that the purpose of TV camera parameter calibration lies in internal parameters.
(3) 較正の手順 (2.1) 〜(2.3) に述べた較正方法を発明方法として具体
化して第１図の流れ図に示し，以下に説明する。(3) Calibration procedure The calibration method described in (2.1) to (2.3) is embodied as an invention method in the flow chart of Fig. 1 and explained below.
はじめに，較正用チャートを第２図（イ）の(a)のよう
に，較正用直線が水平になるように設定する。そして，
垂直方向の較正用データ，すなわち，水平方向の歪曲を
受けていない列に結像した較正用標点の像の座標を測定
する第１工程を実施する(2.1参照) 。First, the calibration chart is set so that the calibration line is horizontal, as shown in (a) of Fig. 2 (a). And
Perform the first step of measuring the calibration data in the vertical direction, that is, the coordinates of the image of the calibration gauge imaged in the horizontal undistorted column (see 2.1).
次に，垂直方向の較正用データを，該列に対応する較正
用標点の３次元座標の像と座標との関係を表す回帰方程
式，すなわち式(8)が代入された式(7)に回帰し，３つの
内部パラメータ，すなわち像距離，画像歪曲係数，画像
中心の垂直座標，を較正する第２工程を実施する(2.2参
照) 。Next, the calibration data in the vertical direction is converted into a regression equation representing the relationship between the image of the three-dimensional coordinates of the calibration reference points corresponding to the column and the coordinates, that is, equation (7) in which equation (8) is substituted. A second step is carried out by regressing and calibrating the three internal parameters: image distance, image distortion coefficient, vertical coordinate of the image center (see 2.2).
次に，較正用チャートを第２図（イ）の(b)のように，
較正用直線が垂直になるように設定する。そして，水平
方向の較正用データ，すなわち垂直方向の歪曲を受けて
いない行に結像した較正用標点の像の座標を測定する第
３工程を実施する(2.1参照) 。Next, a calibration chart is displayed as shown in (b) of FIG.
Set the calibration line to be vertical. Then, the third step of measuring the calibration data in the horizontal direction, that is, the coordinates of the image of the calibration gauge imaged in the row not subjected to the vertical distortion is performed (see 2.1).
次に，水平方向の較正用データを該行に対応する較正用
標点の３次元座標と像の座標との関係を表す回帰方程
式，すなわち式(10)が代入された式(9)に回帰して，２
つの内部パラメータ，すなわち，画像メモリの１画素に
対応する撮像面上の領域の幅，画像中心の水平座標，を
較正する第４工程を実施する(2.3参照) 。Next, the calibration data in the horizontal direction is regressed to a regression equation representing the relationship between the three-dimensional coordinates of the calibration gauge corresponding to the row and the coordinates of the image, that is, equation (9) in which equation (10) is substituted. And then 2
The fourth step is performed to calibrate two internal parameters, that is, the width of the area on the imaging surface corresponding to one pixel of the image memory and the horizontal coordinate of the image center (see 2.3).
(4) 計算機シミュレーション 各ＴＶカメラパラメータの較正誤差を垂直方向の較正に
例をとり，計算機シミュレーションにより検討する。シ
ミュレーションの条件と結果を第３図に示す。(4) Computer simulation Let us consider the calibration error of each TV camera parameter as an example of vertical calibration and examine it by computer simulation. The conditions and results of the simulation are shown in FIG.
まず，計算機シミュレーションに用いた画像歪曲量ｖｉ
−ｖｉ′と較正用直線の順番ｉとの関係を第４図に示
す。レンズ収差と較正用チャートの傾斜とに起因する画
像歪曲は撮像面の端では数 10 画素にも達している。シ
ミュレーションに用いた較正用データｖｉは真の値付近
でランダムに変動させて得たものであり， 100組のデー
タそれぞれについてカメラパラメータの較正を行った。
この変動の最大値△ｖmax は0.1画素としている。ま
た，φは１種類，すなわちφ＝０゜の場合と，４種類φ
＝０゜，５゜，10゜，15゜の場合について計算してい
る。First, the image distortion amount v i used in the computer simulation
-V i 'and showing the relationship between the order i of the calibration straight line in Figure 4. Image distortion due to lens aberration and tilt of the calibration chart reaches several tens of pixels at the edge of the image pickup surface. The calibration data v i used in the simulation was obtained by randomly varying it near the true value, and camera parameters were calibrated for each of 100 sets of data.
The maximum value Δv max of this variation is 0.1 pixel. There are one type of φ, that is, φ = 0 ° and four types φ
Calculations are made for = 0 °, 5 °, 10 °, and 15 °.
第３図から，４種類のφを用いて較正したパラメータの
誤差（標準偏差）は１種類のφに対する誤差に比べて，
データ数の比４：１以上に著しく小さくなっていること
がわかる。４種類のφを用いる場合，φ，ｃｖ，κ，ｆ
の誤差の標準偏差δφ，δcv，δκ，δｆはそれぞれ0.
03゜，0.09画素，２×10-8画素，0.000 mmである。さら
に，約 40 画素にも達する画像歪曲に対して，較正され
た各パラメータを用いて式(7)により計算して求めたｖ
icの誤差，すなわち観測値に相当する較正用データｖio
とｖicとの差は標準偏差で約0.1 画素であり，較正用デ
ータの変動の最大値△ｖmax と同程度に過ぎない。From FIG. 3, the error (standard deviation) of the parameters calibrated using four kinds of φ is compared with the error for one kind of φ,
It can be seen that the ratio of the number of data is significantly smaller than 4: 1. When four kinds of φ are used, φ, cv , κ, f
The standard deviations of the errors δ φ , δ cv , δ κ , and δ f are 0.
03 °, 0.09 pixel, 2 × 10 -8 pixel, 0.000 mm. Furthermore, for image distortion reaching up to about 40 pixels, v calculated by equation (7) using each calibrated parameter was obtained.
Error of ic , that is, calibration data v io corresponding to the observed value
The difference between v ic and v ic is about 0.1 pixel in standard deviation, which is about the same as the maximum value Δv max of the fluctuation of the calibration data.
(5) 実験結果 実験に用いた各種機器，および実験で設定した条件を次
に列挙する。(5) Experimental results The equipment used in the experiment and the conditions set in the experiment are listed below.
ＴＶカメラ： 撮像素子；ＣＣＤ型固体撮像素子 素子数； 384（水平）× 491（垂直） 素子の大きさ； 0.023mm（水平）×0.0134mm（垂直） 画像メモリ上の１画素に対応する撮像面上の大きさ； ｄｘ′＝0.0345mm（不確定）， ｄｙ＝0.0268mm レンズ：ｆ＝4.8 mm（不確定） 画像メモリの大きさ： 256 （水平）× 240（垂直） 較正用チャート： 大きさ； 600mm（水平）×500mm（垂直） 較正用直線の数； 30 較正用着線の間隔；ｌｃ＝ 20.00mm 設定条件： ｌ＝ 160.0mm ｔｚ＝ 375.5mm ここでは，４種類のφを用いた垂直方向の較正の結果を
例にとって説明する。 19 本の較正用直線それぞれにつ
いて，画像の中心列近傍の16 列について，較正用直線
の座標を測定し，それらの座標を放物線に最小２乗回帰
して 19個のｖｉを求めた。このｖｉを用いて較正を行
い，次のようにＴＶカメラパラメータが求められた。TV camera: Image sensor; CCD solid-state image sensor Number of elements: 384 (horizontal) x 491 (vertical) Element size; 0.023 mm (horizontal) x 0.0134 mm (vertical) Imaging surface corresponding to one pixel in the image memory Upper size; d x ′ = 0.0345 mm (undefined), d y = 0.0268 mm Lens: f = 4.8 mm (undefined) Image memory size: 256 (horizontal) × 240 (vertical) Calibration chart: size; 600 mm (horizontal) × 500 mm (vertical) number of calibration straight; 30 intervals of the calibration wear line; l c = 20.00 mm setting conditions: l = 160.0mm t z = 375.5mm here, four types of φ An example of the result of the vertical calibration using is explained. About nineteen calibration straight lines each, the 16 columns of the central row near the image, measuring the coordinates of the calibration straight line, and the their coordinates calculated nineteen v i least square regression to the parabola. Calibration was performed using this v i , and TV camera parameters were obtained as follows.
ｆ＝ 5.015mm κ＝−6.16×10-6画素２ ｃｖ＝ 93.07画素 φｏ＝−0.30゜ これらのパラメータの精度を検討する。画像歪曲量と較
正用直線の順番との関係を第５図に示す。観測値は○，
□，△，・で表され，上記の較正値をものにして求めた
計算値は実線で表されている。画像歪曲は最大で 15 画
素に達しているのにもかかわらず，観測値と計算値との
差は 0.2画素以下となっている。このような計算値は観
測値に非常に良く一致しており，計算機シミュレーショ
ンの結果とも合わせて，提案のＴＶカメラパラメータ較
正方法の有効性が理解できる。f = 5.015mm κ = -6.16 × 10 -6 pixels 2 c v = 93.07 pixels phi o = -0.30 ° consider the accuracy of these parameters. FIG. 5 shows the relationship between the image distortion amount and the order of the calibration straight line. The observed value is ○,
It is represented by □, △, ·, and the calculated values obtained by using the above calibration values are represented by solid lines. Although the image distortion reaches a maximum of 15 pixels, the difference between the observed value and the calculated value is less than 0.2 pixel. Such calculated values agree very well with the observed values, and the effectiveness of the proposed TV camera parameter calibration method can be understood together with the results of computer simulation.
3.5 発明の効果 以上説明したように，本発明方法によれば， (1) 必要な処理は較正用データの取得と回帰分析とのみ
であり，サンプリング周波数計測や１次元ＦＦＴなどの
特殊な処理が不要である。3.5 Effects of the Invention As described above, according to the method of the present invention, (1) the only necessary processing is acquisition of calibration data and regression analysis, and special processing such as sampling frequency measurement and one-dimensional FFT is performed. It is unnecessary.
(2) 回帰分析に用いる較正用データを１次元化してい
る。ＴＶカメラパラメータは垂直方向の回帰分析で４
個，水平方向の回帰分析で３個になっている。最急降下
法の場合，変数の数が１つ増えると計算量が３倍にな
る。したがって，２次元の較正用データを用いてこれら
の７つのパラメータを同時に回帰分析する場合に比べ
て，計算量は約２／27（＝２／３３）に激減している。(2) The calibration data used for regression analysis is one-dimensional. TV camera parameters are 4 by vertical regression analysis
And three in the horizontal regression analysis. In the case of the steepest descent method, if the number of variables increases by one, the amount of calculation will triple. Therefore, the amount of calculation is drastically reduced to about 2/27 (= 2/3 3 ) as compared with the case where two 7-dimensional calibration data are used to perform regression analysis of these 7 parameters at the same time.
(3) 較正の過程で画像歪曲を無視していないので，実施
例に説明したように，非常に大きな歪曲を受けていても
高精度に較正できる。(3) Since image distortion is not neglected in the calibration process, as described in the embodiment, it is possible to calibrate with high accuracy even if the distortion is very large.
第１図は本発明方法を説明する流れ図，第２図（イ）の
(a)，(b)は夫々較正用チャートの設定を示す図，第２図
（ロ）の(c)はＴＶカメラへの結像についての幾何学的
関係を示す図，第３図はシミュレーションの条件と結果
とを説明する図，第４図は計算機シミュレーションに用
いた較正用データの例を示す図，第５図はＴＶカメラパ
ラメータ較正実験の結果であり，画像歪曲の観測値と較
正されたパラメータによる計算値を示す。FIG. 1 is a flow chart for explaining the method of the present invention, and FIG.
(a) and (b) are diagrams showing the setting of calibration charts respectively, (c) of Fig. 2 (b) is a diagram showing the geometrical relationship for image formation on a TV camera, and Fig. 3 is a simulation. For explaining the conditions and the results of Fig. 4, Fig. 4 is a diagram showing an example of the calibration data used in the computer simulation, and Fig. 5 is the result of the TV camera parameter calibration experiment. The calculated value by the parameter is shown.
Claims (1)
向の歪曲を受けていない列に結像した較正用標点の像の
座標，を測定する工程と， 垂直方向の較正用データを，該列に対応する較正用標点
の３次元座標と像の座標との関係を表す回帰方程式に回
帰し，３つのＴＶカメラの内部パラメータ，すなわち，
像距離，画像歪曲係数，画像中心の垂直座標を較正する
工程と， 水平方向の較正用データ，すなわち垂直方向の歪曲を受
けていない行に結像した較正用標点の像の座標を測定す
る工程と， 水平方向の較正用データを該行に対応する較正用標点の
３次元座標と像の座標との関係を表す回帰方程式に回帰
し，２つのＴＶカメラの内部パラメータ，すなわち，画
像メモリの１画素に対応する撮像面上の領域の幅，画像
中心の水平座標を較正する工程， とからなることを特徴とするＴＶカメラの内部パラメー
タの較正方法。1. A step of measuring vertical calibration data, that is, the coordinates of an image of a calibration gauge imaged in a row that has not been horizontally distorted, and the vertical calibration data. The internal parameters of the three TV cameras, ie, the internal parameters of the three TV cameras
The process of calibrating the image distance, the image distortion coefficient, and the vertical coordinate of the image center, and measuring the horizontal calibration data, that is, the coordinates of the image of the calibration gauge imaged in the vertical undistorted row. The process and the horizontal calibration data are regressed into a regression equation showing the relationship between the three-dimensional coordinates of the calibration gauge corresponding to the row and the coordinates of the image, and the internal parameters of the two TV cameras, that is, the image memory. A method for calibrating internal parameters of a TV camera, comprising: calibrating the width of the area on the image pickup surface corresponding to one pixel, and the horizontal coordinate of the image center.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1027088A JPH0621772B2 (en) | 1989-02-06 | 1989-02-06 | Method of calibrating internal parameters of TV camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1027088A JPH0621772B2 (en) | 1989-02-06 | 1989-02-06 | Method of calibrating internal parameters of TV camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02206707A JPH02206707A (en) | 1990-08-16 |
| JPH0621772B2 true JPH0621772B2 (en) | 1994-03-23 |
Family
ID=12211323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1027088A Expired - Fee Related JPH0621772B2 (en) | 1989-02-06 | 1989-02-06 | Method of calibrating internal parameters of TV camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0621772B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2515932B2 (en) * | 1991-03-06 | 1996-07-10 | 株式会社横河ブリッジ | Planar shape measurement method |
| JP3614529B2 (en) * | 1995-09-27 | 2005-01-26 | Ｎｔｎ株式会社 | Calculation parameter measuring method of measuring apparatus and measuring apparatus |
| US6484118B1 (en) * | 2000-07-20 | 2002-11-19 | Biosense, Inc. | Electromagnetic position single axis system |
-
1989
- 1989-02-06 JP JP1027088A patent/JPH0621772B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02206707A (en) | 1990-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nomura et al. | Simple calibration algorithm for high-distortion lens camera | |
| JP4418841B2 (en) | Working device and calibration method thereof | |
| CN112819903B (en) | L-shaped calibration plate-based camera and laser radar combined calibration method | |
| US10621791B2 (en) | Three-dimensional modeling method and system thereof | |
| Sirkis | System response to automated grid methods | |
| WO2018201677A1 (en) | Bundle adjustment-based calibration method and device for telecentric lens-containing three-dimensional imaging system | |
| WO2023165632A1 (en) | Active vision three-dimensional calibration method and system based on galvanometer camera, and device | |
| CN109272555B (en) | External parameter obtaining and calibrating method for RGB-D camera | |
| JPH0680404B2 (en) | Camera position and orientation calibration method | |
| US5550376A (en) | Method of calibration of imaging devices | |
| US11548156B2 (en) | Device and method for calibrating coordinate system of 3D camera and robotic arm | |
| CN112308930A (en) | Camera external parameter calibration method, system and device | |
| WO2018168757A1 (en) | Image processing device, system, image processing method, article manufacturing method, and program | |
| KR101545186B1 (en) | method of correction of defect location using predetermined wafer image targets | |
| JPH0621772B2 (en) | Method of calibrating internal parameters of TV camera | |
| JPH04181106A (en) | Calibration device of position dimension measuring device | |
| JPH08292019A (en) | Calibration method for article detecting device | |
| JPH0882505A (en) | Calibration method of camera parameter and measuring method of object position | |
| TW202035084A (en) | Device and method for calibrating coordinate of 3d camera and robot arm | |
| JPH0799327B2 (en) | Method and apparatus for calibrating focal length of camera | |
| Li et al. | An accurate camera calibration for the aerial image analysis | |
| Di Leo et al. | Uncertainty of line camera image based measurements | |
| CN117576170A (en) | Remote sensing image wave band registration method, device, equipment and medium | |
| Peipe et al. | Photogrammetric camera calibration software-a comparison | |
| JP3227797B2 (en) | Imaging process identification device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |