JP6641729B2

JP6641729B2 - Line sensor camera calibration apparatus and method

Info

Publication number: JP6641729B2
Application number: JP2015104136A
Authority: JP
Inventors: 寛修深井; 匠朗川畑; 庭川　誠; 誠庭川
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2015-05-22
Filing date: 2015-05-22
Publication date: 2020-02-05
Anticipated expiration: 2035-05-22
Also published as: JP2016218815A

Description

本発明は、画像処理分野において、ラインセンサカメラのキャリブレーションを行う装置及び方法に関する。 The present invention relates to an apparatus and a method for calibrating a line sensor camera in the field of image processing.

下記の非特許文献１では、カメラのキャリブレーション方法として、エリアカメラで立体のマーカを１枚撮影することにより、カメラの内部パラメータ（焦点距離、歪み係数）及び外部パラメータ（回転、並進）を求める提案を行っている。又、下記の非特許文献２では、カメラのキャリブレーション方法として、エリアカメラで平面マーカを様々な位置、姿勢で撮影することにより、撮影毎の外部パラメータ及びカメラの内部パラメータを求める提案を行っている。 In Non-Patent Document 1 below, as a camera calibration method, an internal camera (focal length, distortion coefficient) and external parameters (rotation, translation) are obtained by photographing one solid marker with an area camera. Making a proposal. Non-Patent Document 2 below proposes a camera calibration method in which an area camera shoots a planar marker at various positions and postures to obtain external parameters for each shooting and internal parameters of the camera. I have.

R. Y. Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE JOURNAL OF ROBOTICS AND AUTOMATION, VOL. RA-3, NO. 4, AUGUST 1987, pp. 323-344RY Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE JOURNAL OF ROBOTICS AND AUTOMATION, VOL.RA-3, NO.4, AUGUST 1987, pp . 323-344 Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000, pp. 1330-1334Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000, pp. 1330-1334 R. Szeliski 著、玉木徹他訳、「コンピュータビジョン −アルゴリズムと応用−」、共立出版、２０１３、５１頁R. Szeliski, Translated by Toru Tamaki et al., "Computer Vision-Algorithms and Applications-", Kyoritsu Shuppan, 2013, p.51

非特許文献１に記載のキャリブレーション方法は、立体のマーカを撮影し、仮に固定した内部パラメータを使い、線形解法によって仮の外部パラメータを求め、求めた仮の内部及び外部パラメータを初期値として、内部パラメータと外部パラメータを非線形最適化手法によって解く方法である。この方法は１回の撮影で良いことがメリットであるが、１回の撮影しか用いないため、奥行方向の変化によって得られる情報が少なく、焦点距離を正確に求めることができなかった。又、エリアカメラ用のキャリブレーション方法であり、ラインセンサカメラには対応していなかった。 The calibration method described in Non-Patent Document 1 captures a three-dimensional marker, uses temporary fixed internal parameters, obtains temporary external parameters by a linear solution, and sets the obtained temporary internal and external parameters as initial values. This is a method for solving internal parameters and external parameters by a nonlinear optimization method. This method has the merit that only one photographing is required. However, since only one photographing is used, the information obtained by the change in the depth direction is small, and the focal length cannot be accurately obtained. In addition, it is a calibration method for an area camera, and is not compatible with a line sensor camera.

又、非特許文献２に記載のキャリブレーション方法は、平面マーカを様々な位置姿勢で撮影し、内部パラメータと各撮影の外部パラメータを非線形最適化手法によって解く方法である。平面マーカを用いるためマーカの作成が容易なこと、複数回の撮影を行うため焦点距離などを上記非特許文献１の方法よりも高精度に推定できることといったメリットがある。これらの特徴から、非特許文献２の方法はカメラのキャリブレーション方法として現在最も用いられている。しかしながら、この方法もラインセンサカメラには対応していなかった。例えば、ラインセンサカメラにおいて、非特許文献２の方法のように、平面マーカを用いると、焦点距離などの算出が不安定になるという問題がある。 The calibration method described in Non-Patent Document 2 is a method in which a planar marker is photographed at various positions and orientations, and internal parameters and external parameters of each photographing are solved by a non-linear optimization method. The use of a planar marker has the advantage that the marker can be easily created, and the focal length and the like can be estimated with higher accuracy than the method of Non-Patent Document 1 because a plurality of imagings are performed. Due to these features, the method of Non-Patent Document 2 is currently most used as a camera calibration method. However, this method also did not correspond to a line sensor camera. For example, in a line sensor camera, when a planar marker is used as in the method of Non-Patent Document 2, there is a problem that calculation of a focal length and the like becomes unstable.

本発明は上記課題に鑑みなされたもので、ラインセンサカメラのキャリブレーションを行うことができるラインセンサカメラのキャリブレーション装置及び方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide a line sensor camera calibration apparatus and method capable of performing line sensor camera calibration.

上記課題を解決する第１の発明に係るラインセンサカメラのキャリブレーション装置は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカと、
前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
前記処理部は、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
ことを特徴とする。 A calibration device for a line sensor camera according to a first invention for solving the above-mentioned problems,
A three-dimensional marker having a plurality of detection points whose two-dimensional plane coordinates on a two-dimensional plane serving as an imaging range of the line sensor camera are known;
A processing unit that calculates an internal parameter and an external parameter for calibration of the line sensor camera based on a plurality of images of the three-dimensional marker captured by the line sensor camera,
The processing unit includes:
An image input unit to which the images of the three-dimensional markers having different positions and postures are respectively input;
A measurement coordinate calculation unit that calculates a one-dimensional image coordinate of the detection point of the three-dimensional marker on the image for each image;
For a conversion matrix obtained based on a mathematical model of the line sensor camera for converting the two-dimensional plane coordinates to the one-dimensional image coordinates, input a known initial value as an initial internal parameter in the conversion matrix, and perform a linear solution. An external parameter calculation unit that calculates an initial external parameter for each image from the transformation matrix,
For an error function that takes into account the lens distortion determined based on the mathematical model, input the initial internal parameters and the initial external parameters to the error function, and calculate the error for the total number of the detection points and the total number of the images. A nonlinear least-squares unit that calculates the internal parameters and the external parameters that minimize the sum of functions by a nonlinear solution method using iterative calculation.

上記課題を解決する第２の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１の発明に記載のラインセンサカメラのキャリブレーション装置において、
前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
ことを特徴とする。 A calibration device for a line sensor camera according to a second invention for solving the above-mentioned problems,
In the calibration device for a line sensor camera according to the first invention,
The three-dimensional marker has an L-shape, and the plurality of detection points are arranged on an inner surface bent in an L-shape.

上記課題を解決する第３の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１又は第２の発明に記載のラインセンサカメラのキャリブレーション装置において、
前記数式モデルは、ピンホールカメラモデルを用いたものである
ことを特徴とする。 A calibration device for a line sensor camera according to a third invention for solving the above-mentioned problems,
In the calibration device for a line sensor camera according to the first or second aspect,
The mathematical formula model uses a pinhole camera model.

上記課題を解決する第４の発明に係るラインセンサカメラのキャリブレーション方法は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
ことを特徴とする。 According to a fourth aspect of the present invention, there is provided a calibration method for a line sensor camera,
Calibration of the line sensor camera based on a plurality of images of the three-dimensional marker having a plurality of detection points whose two-dimensional plane coordinates are known on a two-dimensional plane serving as an imaging range of the line sensor camera, captured by the line sensor camera. A calibration method of a line sensor camera for calculating an internal parameter and an external parameter for an application,
An image inputting step in which the images of the three-dimensional marker having different positions and postures are respectively input;
A measurement coordinate calculation step of calculating one-dimensional image coordinates on the image of the detection point of the three-dimensional marker for each image;
For a conversion matrix obtained based on a mathematical model of the line sensor camera for converting the two-dimensional plane coordinates to the one-dimensional image coordinates, input a known initial value as an initial internal parameter in the conversion matrix, and perform a linear solution. An external parameter calculation step of calculating an initial external parameter for each image from the transformation matrix,
For an error function that takes into account the lens distortion determined based on the mathematical model, input the initial internal parameters and the initial external parameters to the error function, and calculate the error for the total number of the detection points and the total number of the images. A non-linear least-squares step of calculating the internal parameters and the external parameters that minimize the sum of functions by a non-linear solution method using iterative calculation.

上記課題を解決する第５の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第４の発明に記載のラインセンサカメラのキャリブレーション方法において、
前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
ことを特徴とする。 A calibration method for a line sensor camera according to a fifth invention for solving the above-mentioned problems,
In the calibration method for a line sensor camera according to the fourth aspect,
As the three-dimensional marker, an L-shaped marker in which the plurality of detection points are arranged on an inner surface bent in an L-shape is used.

上記課題を解決する第６の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第４又は第５の発明に記載のラインセンサカメラのキャリブレーション方法において、
前記数式モデルとして、ピンホールカメラモデルを用いる
ことを特徴とする。 A calibration method for a line sensor camera according to a sixth invention for solving the above-mentioned problems,
In the calibration method for a line sensor camera according to the fourth or fifth aspect,
A pinhole camera model is used as the mathematical expression model.

本発明によれば、ラインセンサカメラの撮像範囲となる２次元平面上に写る立体マーカを用い、立体マーカの２次元平面座標からラインセンサカメラの１次元画像座標へ変換する数式モデルを用いているので、ラインセンサカメラに対応する適切なキャリブレーションを行うことができる。又、線形解法と共に、誤差関数を最小化する非線形解法を用いているので、歪み係数を含む内部パラメータと外部パラメータを同時に算出することができる。又、立体マーカを用いて、検出点に奥行きを持たせたので、焦点距離を正確に算出することができる。又、立体マーカの位置及び姿勢が各々異なる複数の画像を撮像するので、歪み係数を含む内部パラメータを算出することができる。 According to the present invention, a three-dimensional marker projected on a two-dimensional plane which is an imaging range of the line sensor camera is used, and a mathematical expression model for converting the two-dimensional plane coordinates of the three-dimensional marker to the one-dimensional image coordinates of the line sensor camera is used. Therefore, appropriate calibration corresponding to the line sensor camera can be performed. In addition, since the nonlinear solution that minimizes the error function is used together with the linear solution, the internal parameters including the distortion coefficient and the external parameters can be calculated simultaneously. Further, since the detection point is given a depth by using the three-dimensional marker, the focal length can be accurately calculated. Further, since a plurality of images having different positions and orientations of the three-dimensional marker are captured, internal parameters including a distortion coefficient can be calculated.

本発明に係るラインセンサカメラのキャリブレーション装置の実施形態の一例を示す概略構成図である。1 is a schematic configuration diagram illustrating an example of an embodiment of a calibration device for a line sensor camera according to the present invention. 図１に示した装置で実施するラインセンサカメラのキャリブレーション方法を説明するフローチャートである。2 is a flowchart illustrating a method of calibrating a line sensor camera performed by the apparatus illustrated in FIG. 1.

カメラを用いた計測を行う際、カメラの焦点距離、主点座標、歪み係数などといったカメラパラメータを事前に求めることは必須であり、これを求めることをカメラキャリブレーションという。なお、以降、カメラキャリブレーションを、単に、キャリブレーションと呼ぶ。 When performing measurement using a camera, it is essential to obtain camera parameters such as the focal length, principal point coordinates, and distortion coefficient of the camera in advance, and this is called camera calibration. Hereinafter, camera calibration is simply referred to as calibration.

本発明では、非特許文献２の方法のように、ラインセンサカメラのキャリブレーションに、マーカの複数回撮影と非線形最適化手法によるカメラパラメータ算出を導入する。しかしながら、非特許文献２の方法はエリアカメラを前提としているため、この方法をそのままラインセンサカメラのキャリブレーションに導入することはできない。例えば、ラインセンサカメラでは、次元数が少ないため、回転行列の直交性を活用できず、又、ライセンサカメラがキャリブレーション用の平面マーカをチェスボード状に撮影できないため、焦点距離と外部パラメータ算出が不安定になることが問題となる。本発明では、これらの問題を解決するため、キャリブレーション用として、立体マーカを用いている。これにより、焦点距離と外部パラメータ算出が不安定になることを防ぐことができる。 In the present invention, as in the method of Non-Patent Document 2, a plurality of times of imaging of a marker and calculation of camera parameters by a non-linear optimization method are introduced into calibration of a line sensor camera. However, since the method of Non-Patent Document 2 presupposes an area camera, this method cannot be directly introduced into calibration of a line sensor camera. For example, in a line sensor camera, since the number of dimensions is small, the orthogonality of the rotation matrix cannot be utilized, and since the licensor camera cannot capture a planar marker for calibration in a chessboard shape, the focal length and external parameter calculation are Instability is a problem. In the present invention, to solve these problems, a three-dimensional marker is used for calibration. This makes it possible to prevent the calculation of the focal length and the external parameters from becoming unstable.

又、本発明では、カメラモデルとして、ピンホールカメラモデルを用いる。但し、本発明では、ラインセンサカメラを使うため、通常のエリアカメラでは撮像範囲の３次元空間が２次元画像になるのに対して、ラインセンサカメラでは撮像範囲の２次元平面が１次元画像となる。そして、撮像範囲の２次元平面上に立体マーカを設置することで、求める外部パラメータを、回転が１軸、平行移動が２次元とすることができる。 In the present invention, a pinhole camera model is used as the camera model. However, in the present invention, since a line sensor camera is used, the three-dimensional space of the imaging range becomes a two-dimensional image with a normal area camera, whereas the two-dimensional plane of the imaging range becomes a one-dimensional image with a line sensor camera. Become. By setting a three-dimensional marker on a two-dimensional plane of the imaging range, the required external parameters can be one axis for rotation and two dimensions for parallel movement.

ここで、本発明の装置構成を図１に示すと共に、図１に示す構成における数式モデルを下記式（１）に示す。なお、図１に示す本発明の装置構成の詳細については後述する。 Here, an apparatus configuration of the present invention is shown in FIG. 1, and a mathematical model in the configuration shown in FIG. 1 is shown in the following equation (1). The details of the device configuration of the present invention shown in FIG. 1 will be described later.

図１において、ラインセンサカメラ１０は１ラインしか撮像を行わないため、撮像範囲は３次元空間上では２次元平面１１となる。この２次元平面１１上のＬ字マーカ２０のオブジェクト座標系（２次元平面座標系）をＸ軸、Ｙ軸で表現し、ラインセンサカメラ１０のカメラ座標系（１次元画像座標系）を、ラインセンサカメラ１０の光軸方向の軸ｗに直交し、撮像範囲の２次元平面１１と並行なｕ軸で表現している。又、オブジェクト座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はθ）、並進ベクトルをｔ（２次元ベクトルで、その要素はｔ₁、ｔ₂）とする。 In FIG. 1, since the line sensor camera 10 captures only one line, the capturing range is a two-dimensional plane 11 in a three-dimensional space. The object coordinate system (two-dimensional plane coordinate system) of the L-shaped marker 20 on the two-dimensional plane 11 is expressed by the X axis and the Y axis, and the camera coordinate system (one-dimensional image coordinate system) of the line sensor camera 10 is represented by a line. It is represented by a u-axis orthogonal to the axis w in the optical axis direction of the sensor camera 10 and parallel to the two-dimensional plane 11 of the imaging range. The rotation matrix between the object coordinate system and the camera coordinate system is R (the rotation axis is one axis and the angle is θ), and the translation vector is t (a two-dimensional vector whose elements are t ₁ and t ₂ ).

ここで、ｓはスケーリング係数、ｆは焦点距離、ｃは主点座標、ｕは実際に観測されたカメラ座標系における位置（ピクセル座標における計測座標）、Ｘ、Ｙはオブジェクト座標系における位置（Ｌ字マーカ２０の実空間（２次元平面１１）上における真値座標）である。 Here, s is a scaling factor, f is a focal length, c is a principal point coordinate, u is a position (measured coordinate in pixel coordinates) in the camera coordinate system actually observed, and X and Y are positions (L in the object coordinate system). It is a true coordinate of the character marker 20 on the real space (two-dimensional plane 11).

又、上記式（１）及び下記の式（２）〜（１６）の式中において、ボールド体（太字）ではないアルファベットはスカラーであり、ボールド体（太字）の小文字のアルファベットはベクトルであり、ボールド体（太字）の大文字のアルファベットは行列である。なお、文書中においては、ボールド体（太字）を使用できないので、通常の書式とし、該当するアルファベットの直後に“（ボールド体）”と付記している。 In the above formula (1) and the following formulas (2) to (16), alphabets that are not bold (bold) are scalars, and lowercase alphabets in bold (bold) are vectors, The uppercase alphabet in bold (bold) is a matrix. In the document, a bold font (bold font) cannot be used, so that the document is in a normal format and “(bold font)” is added immediately after the corresponding alphabet.

上記式（１）は、Ｌ字マーカ２０のオブジェクト座標（２次元平面座標）からラインセンサカメラ１０のカメラ座標（１次元画像座標）へ変換する数式モデルとなっている。但し、上記式（１）では、ラインセンサカメラ１０のレンズの歪みが考慮されていない。そこで、下記式（２）のように（ｘ，ｙ）を定義すると、下記式（３）〜（５）のように歪みを表すことができる。なお、ｋ₁〜ｋ₃は半径歪み係数である。なお、レンズの歪みについては、非特許文献３（特に、５１頁）を参考にしている。 The above equation (1) is a mathematical model for converting the object coordinates (two-dimensional plane coordinates) of the L-shaped marker 20 to the camera coordinates (one-dimensional image coordinates) of the line sensor camera 10. However, in the above equation (1), the distortion of the lens of the line sensor camera 10 is not considered. Therefore, if (x, y) is defined as in the following equation (2), distortion can be expressed as in the following equations (3) to (5). Note that k _{1 to} k ₃ are radial distortion coefficients. The lens distortion is referred to Non-Patent Document 3 (especially, page 51).

上記式（１）〜（５）について展開したいが、式（５）にｘ”をそのまま代入できないため、次式（５）’を式（４）に代入する。式（１）〜（３）についても式（４）に代入すると下記式（６）となる。 Although it is desired to expand the above equations (1) to (5), x ″ cannot be directly substituted into equation (5), and therefore the following equation (5) ′ is substituted into equation (4): equations (1) to (3) Is also substituted into Expression (4) to obtain Expression (6) below.

このカメラモデルでキャリブレーションを行う場合には、単位焦点距離面での誤差最小化を行うことになり、下記式（７）が最小となるように、レーベンバーグマーカート法により、内部及び外部パラメータを求めることとなる。 When calibration is performed with this camera model, the error in the unit focal length plane is minimized, and the internal and external parameters are determined by the Levenberg-Marquardt method so that the following equation (7) is minimized. Will be required.

ここで、上記式（７）において、Ｍは画像の撮影回数、Ｎは各撮影において取得される特徴点数（白黒帯２３の検出点数）である。上記式（７）は、上記式（６）に基づく誤差関数を、撮像した画像の全数Ｍ及び検出点の全数Ｎについて総和したものとなる。 Here, in the above equation (7), M is the number of times of image capturing, and N is the number of feature points (the number of detected points of the black and white band 23) acquired in each image capturing. The above equation (7) is the sum of the error function based on the above equation (6) for the total number M of the captured images and the total number N of the detection points.

次に、上述した内部及び外部パラメータが全て校正済み（キャリブレーション済み）の場合に、計測座標ｕが得られた時のＸ、Ｙについて求める。これは、上記式（６）をＸ、Ｙの形になるように解けばよいが、上記式（６）にはＸ、Ｙ両方が含まれているため、このままでは解くことができない。そこで、Ｌ字マーカ２０の検出点では、Ｘ、Ｙの２次元平面１１上の真値座標がどちらかは０であることを利用し、真値座標が０となる方向で得られたパラメータによって算出される値も０と仮定して解く。その結果、上記式（６）は下記式（８）、（９）となり、解析的にＸ、Ｙの値を求めることができた。ここで、ｘ’やｘ”は上記式（３）〜（５）で定義された値である。 Next, when all of the above-mentioned internal and external parameters have been calibrated (calibrated), X and Y when the measurement coordinate u is obtained are obtained. This can be solved by solving the above equation (6) so as to be in the form of X and Y. However, since the above equation (6) includes both X and Y, it cannot be solved as it is. Therefore, at the detection point of the L-shaped marker 20, the fact that either of the true coordinate on the two-dimensional plane 11 of X and Y is 0 is used, and the parameter obtained in the direction in which the true coordinate becomes 0 is used. The solution is performed assuming that the calculated value is also 0. As a result, the above equation (6) becomes the following equations (8) and (9), and the values of X and Y could be obtained analytically. Here, x ′ and x ″ are values defined by the above equations (3) to (5).

次に、外部パラメータを撮影毎に求める方法について述べる。並進と回転を表す変換行列を下記式（１０）とすると、上記式（１）に基づいて、変換行列は下記式（１１）で表すことができる。 Next, a method of obtaining external parameters for each photographing will be described. Assuming that a transformation matrix representing translation and rotation is represented by the following equation (10), the transformation matrix can be represented by the following equation (11) based on the above equation (1).

これを展開、整理すると、下記式（１２）となる。 When this is developed and arranged, the following equation (12) is obtained.

ここで、スケールが次数を１つ減らせる性質を利用し、３本以上の同時方程式を立てることで変換行列を解くことができる。実際には、Ｌ字マーカ２０の座標は３点以上あるが、この場合、方程式と未知数の数が一致しない。そこで、最小二乗法を用いる。二乗誤差をＥ、各計測点で生じる誤差ベクトルをｅ（ボールド体）、マーカの座標数をｎとし、下記式（１３）で表す行列を用いると、二乗誤差Ｅを下記式（１４）で表すことができる。なお、“^T”は、転置行列を表す記号である。 Here, the conversion matrix can be solved by establishing three or more simultaneous equations using the property that the scale can reduce the order by one. Actually, there are three or more coordinates of the L-shaped marker 20, but in this case, the equation does not match the number of unknowns. Therefore, the least squares method is used. When the square error is E, the error vector generated at each measurement point is e (bold), the number of coordinates of the marker is n, and the matrix expressed by the following equation (13) is used, the square error E is expressed by the following equation (14) be able to. “ ^T ” is a symbol representing a transposed matrix.

二乗誤差Ｅを最小化するためのベクトルは、Ｂ^TＢ（ボールド体）の最小の固有値に対応する固有ベクトルとなる。そこで、解となる固有ベクトルを求めるため、特異値分解を用いる。これは下記式（１５）となる。ここで、Ｕ（ボールド体）は左特異行列、Ｖ（ボールド体）は右特異行列、Σ（ボールド体）は特異値行列であり、Ｉ（ボールド体）は単位行列である。これにより、Ｂ^TＢ（ボールド体）は下記式（１６）で表すことができる。 Vector to minimize the square error E is a eigenvector corresponding to the smallest eigenvalue of B ^T B (bold). Therefore, singular value decomposition is used to find an eigenvector as a solution. This is given by the following equation (15). Here, U (bold body) is a left singular matrix, V (bold body) is a right singular matrix, Σ (bold body) is a singular value matrix, and I (bold body) is a unit matrix. Thus, B ^T B (bold) can be represented by the following formula (16).

この結果より、固有ベクトルが右特異行列Ｖ（ボールド体）の右特異ベクトルと同じになり、固有値が特異値の二乗と同じになることが分かる。このことから、特異値分解を使うことで、変換行列を求めることができる。 From this result, it can be seen that the eigenvector is the same as the right singular vector of the right singular matrix V (bold body), and the eigenvalue is the same as the square of the singular value. From this, a transformation matrix can be obtained by using singular value decomposition.

実際の外部パラメータとするには、スケール不定及びｔ₂＞０のため、ｔ₂で正規化を行い、回転行列の性質より、（ｃｏｓθ）²＋（ｓｉｎθ）²＝１を使用して、回転と並進のパラメータを求める。 In order to make it an actual external parameter, since the scale is undefined and t ₂ > 0, normalization is performed at t ₂ , and from the nature of the rotation matrix, rotation is performed using (cos θ) ² + (sin θ) ² = 1. And the translation parameter.

このように、ラインセンサカメラであっても、計測座標ｕ、真値座標Ｘ、Ｙ、焦点距離ｆ、主点座標ｃが分かっていれば、線形解法で解を求めることができる。実際には、焦点距離ｆ、主点座標ｃは最初には分からないため、適当な値を入力することで、初期の外部パラメータを求める。そして、最終的に、この初期の外部パラメータを初期値として、式（７）をレーベンバーグマーカート法によって解くことで、最終的な内部及び外部パラメータを得ることができる。 As described above, even with a line sensor camera, if the measurement coordinates u, the true value coordinates X and Y, the focal length f, and the principal point coordinates c are known, a solution can be obtained by a linear solution method. Actually, since the focal length f and the principal point coordinates c are not known at first, the initial external parameters are obtained by inputting appropriate values. Finally, by using the initial external parameters as initial values and solving equation (7) by the Levenberg-Marquardt method, final internal and external parameters can be obtained.

次に、上述した計算を行う本発明に係るラインセンサカメラのキャリブレーション装置及び方法について、図１及び図２を参照して以下に説明する。 Next, a calibration apparatus and method for a line sensor camera according to the present invention that performs the above-described calculation will be described below with reference to FIGS.

［実施例１］
本実施例の装置は、ラインセンサカメラ１０のキャリブレーション装置であり、図１に示すように、Ｌ字マーカ２０と、処理システム３０とを有し、処理システム３０は、記憶部３１、画像入力部３２、計測座標算出部３３、外部パラメータ算出部３４及び非線形最小二乗部３５を有している。 [Example 1]
The apparatus according to the present embodiment is a calibration apparatus for the line sensor camera 10, and includes an L-shaped marker 20 and a processing system 30, as shown in FIG. It has a unit 32, a measurement coordinate calculation unit 33, an external parameter calculation unit 34, and a non-linear least square unit 35.

ラインセンサカメラ１０は、ＣＣＤ（Charge-Coupled Device）などの撮像素子が一次元の線状に配置され、１次元の線状に撮像対象物の画像を撮像するものである。 In the line sensor camera 10, an image sensor such as a CCD (Charge-Coupled Device) is arranged in a one-dimensional line, and an image of an object to be imaged is taken in a one-dimensional line.

Ｌ字マーカ２０は、Ｌ字型の形状の立体マーカであり、その中央２１で９０°に折れ曲がり、折れ曲がった内側の面２２に白黒帯２３を有する剛体からなる。この白黒帯２３は、中央２１を中心に対称的に配置されると共に、内側の面２２の長手方向に沿って交互に白黒となるように配置されており、白黒帯２３の白黒の幅が既知、つまり、白黒帯２３による複数の検出点が２次元平面１１上における２次元平面座標で既知となっている。上述した非特許文献２の方法のように、平面マーカを用いる場合には焦点距離が不安定になるが、本実施例では、Ｌ字マーカ２０をキャリブレーションに用いており、焦点距離を正確に算出可能となる。 The L-shaped marker 20 is an L-shaped three-dimensional marker, which is bent at 90 ° at the center 21 thereof and made of a rigid body having a black and white band 23 on the bent inner surface 22. The black-and-white bands 23 are arranged symmetrically about the center 21 and alternately black-and-white along the longitudinal direction of the inner surface 22, and the black-and-white band 23 has a known black-and-white width. That is, a plurality of detection points by the black-and-white band 23 are known by two-dimensional plane coordinates on the two-dimensional plane 11. As in the method of Non-Patent Document 2 described above, when a planar marker is used, the focal length becomes unstable. However, in this embodiment, the L-shaped marker 20 is used for calibration, and the focal length is accurately determined. It can be calculated.

なお、本実施例では、Ｌ字型の立体マーカを用いているが、複数の検出点に奥行きを持たせることができ、かつ、全ての検出点の２次元平面１１上のＸ、Ｙの真値座標のどちらかを必ず０とすることができれば、Ｌ字型の立体マーカに限らない。例えば、直方体や直角三角柱において、直角を挟む２辺の外面に図１に示したような白黒帯２３を設けても良い。 In the present embodiment, an L-shaped three-dimensional marker is used. However, a plurality of detection points can have depth, and the X and Y true values of all the detection points on the two-dimensional plane 11 can be obtained. The present invention is not limited to the L-shaped solid marker as long as either of the value coordinates can be set to 0 without fail. For example, in a rectangular parallelepiped or a right-angled triangular prism, a black-and-white band 23 as shown in FIG. 1 may be provided on the outer surface of two sides sandwiching the right angle.

処理システム３０において、記憶部３１では、後述するように、ラインセンサカメラ１０からの画像データ、各撮影でのＬ字マーカ２０の白黒帯２３の画像上の計測座標データ（計測座標ｕ）、レンズ初期値、Ｌ字マーカ２０の白黒帯２３の真値座標Ｘ、Ｙ、ラインセンサカメラ１０の内部パラメータ（焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃）及び各撮影でのラインセンサカメラ１０の外部パラメータ（回転θ、並進ｔ₁、ｔ₂）を保管する。記憶部３１としては、ＲＡＭ（Random Access memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置が使用可能である。 In the processing system 30, the storage unit 31 stores image data from the line sensor camera 10, measurement coordinate data (measurement coordinate u) on the image of the black-and-white band 23 of the L-shaped marker 20 in each shooting, and a lens, as described later. Initial values, true coordinates X and Y of the black and white band 23 of the L-shaped marker 20, internal parameters of the line sensor camera 10 (focal length f, principal point coordinates c, distortion coefficients k _{1 to} k ₃ ), and lines in each shooting The external parameters (rotation θ, translation t ₁ , t ₂ ) of the sensor camera 10 are stored. As the storage unit 31, a storage device such as a random access memory (RAM), a hard disk drive (HDD), or a solid state drive (SSD) can be used.

又、画像入力部３２では、ラインセンサカメラ１０で取得したＬ字マーカ２０の画像データが、ラインセンサカメラ１０から入力されて、入力された画像データを記憶部３１へ保管している。 In the image input unit 32, image data of the L-shaped marker 20 acquired by the line sensor camera 10 is input from the line sensor camera 10, and the input image data is stored in the storage unit 31.

又、計測座標算出部３３では、ラインセンサカメラ１０で撮像した画像データからＬ字マーカ２０の白黒帯２３（検出点）を検出し、各撮影でのＬ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を求め、計測座標データとして記憶部３１へ保管する。なお、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の座標については、２値化処理やエッジ検出といった画像処理を行うことにより検出している。 In addition, the measurement coordinate calculation unit 33 detects the black and white band 23 (detection point) of the L-shaped marker 20 from the image data captured by the line sensor camera 10 and detects the black and white band 23 (detection point) of the L-shaped marker 20 in each shooting. The measurement coordinates u (one-dimensional image coordinates) on the image are obtained and stored in the storage unit 31 as measurement coordinate data. Note that the coordinates of the L-shaped marker 20 on the image of the black and white band 23 (detection point) are detected by performing image processing such as binarization processing and edge detection.

又、外部パラメータ算出部３４では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙから、上述した式（１０）〜（１６）を用いて、各撮影でのラインセンサカメラ１０の外部パラメータを求め、記憶部３１へ保管している。 The external parameter calculation unit 34 calculates the coordinates u, the lens initial value, the true coordinates X, Y of the black and white band 23 (detection point) of the L-shaped marker 20 in each shooting calculated by the measurement coordinate calculation unit 33. The external parameters of the line sensor camera 10 for each photographing are obtained using the above-described equations (10) to (16) and stored in the storage unit 31.

又、非線形最小二乗部３５では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙ、外部パラメータ算出部３４で求めた各撮影でのラインセンサカメラ１０の外部パラメータを用い、最終的なラインセンサカメラ１０の内部パラメータ及び各撮影でのラインセンサカメラ１０の外部パラメータについて、上述した式（７）をレーベンバーグマーカート法により算出し、記憶部３１へ保管している。 In the non-linear least-square unit 35, the measurement coordinates u, the lens initial value, the true-value coordinates X, Y of the monochrome band 23 (detection point) of the L-shaped marker 20 in each photographing calculated by the measurement coordinate calculation unit 33, and the external Using the external parameters of the line sensor camera 10 in each shooting determined by the parameter calculation unit 34, the final internal parameters of the line sensor camera 10 and the external parameters of the line sensor camera 10 in each shooting are calculated using the above equation (7). ) Is calculated by the Levenberg-Marquardt method and stored in the storage unit 31.

次に、図１と共に図２を参照して、本発明に係るラインセンサカメラのキャリブレーション方法を説明する。 Next, a calibration method for a line sensor camera according to the present invention will be described with reference to FIGS.

（ステップＳ１）
画像入力工程において、位置を固定したＬ字マーカ２０に対し、様々な位置、姿勢になるようにラインセンサカメラ１０を設置し、それぞれの位置、姿勢での画像を撮像し、記憶部３２へ保管する（画像入力部３２）。Ｌ字マーカ２０は、その位置を固定しているので、設置誤差は含まれないようになっている。 (Step S1)
In the image input process, the line sensor camera 10 is installed so as to have various positions and postures with respect to the L-shaped marker 20 whose position is fixed, and images are taken at the respective positions and postures and stored in the storage unit 32. (Image input unit 32). Since the position of the L-shaped marker 20 is fixed, an installation error is not included.

（ステップＳ２）
計測座標算出工程において、撮影した画像毎に、Ｌ字マーカ２０の白黒帯２３（検出点）の検出処理を行い、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を算出し、計測座標データとして記憶部３２へ保管する（計測座標算出部３３）。 (Step S2)
In the measurement coordinate calculation step, the detection process of the black and white band 23 (detection point) of the L-shaped marker 20 is performed for each captured image, and the measurement coordinates u ( One-dimensional image coordinates are calculated and stored in the storage unit 32 as measurement coordinate data (measurement coordinate calculation unit 33).

（ステップＳ３）
外部パラメータ算出工程において、ラインセンサカメラ１０の初期の内部パラメータとなるレンズ初期値として、焦点距離ｆをメーカの公表値、主点座標ｃを総画素数の半分、歪み係数ｋ₁〜ｋ₃を全て０とし、撮影した画像毎に、上述した式（１０）〜（１６）を用い、線形解法により初期の外部パラメータを算出し、記憶部３２へ保管する（外部パラメータ算出部３４）。 (Step S3)
In the external parameter calculation step, the focal length f is the published value of the manufacturer, the principal point coordinate c is half of the total number of pixels, and the distortion coefficients k _{1 to} k ₃ are lens initial values that are initial internal parameters of the line sensor camera 10. All are set to 0, and the initial external parameters are calculated by a linear solution method using the above-described equations (10) to (16) for each captured image, and stored in the storage unit 32 (external parameter calculation unit 34).

（ステップＳ４）
非線形最小二乗工程において、上述した初期の内部パラメータ及びステップＳ３で算出した初期の外部パラメータを初期値として、撮影した画像毎に、上述した式（７）を用い、レーベンバーグマーカート法で最終的な内部及び外部パラメータを算出し、記憶部３２へ保管する（非線形最小二乗部３５）。 (Step S4)
In the nonlinear least-squares process, the initial internal parameters described above and the initial external parameters calculated in step S3 are used as initial values, and the final image is obtained by the Levenberg-Marquardt method using the above-described equation (7) for each captured image. The internal and external parameters are calculated and stored in the storage unit 32 (non-linear least square unit 35).

本実施例は、１台のラインセンサカメラ１０と１つのＬ字マーカ２０を用い、以上の手順により、ラインセンサカメラ１０の焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃といった内部パラメータを求めると共に、撮影毎のＬ字マーカ２０の回転θ、平行移動ｔ₁、ｔ₂といった外部パラメータを求めることが可能となる。 In this embodiment, one line sensor camera 10 and one L-shaped marker 20 are used, and according to the above-described procedure, the focal length f of the line sensor camera 10, the principal point coordinates c, and the distortion coefficients k _{1 to} k _3. In addition to obtaining the parameters, it becomes possible to obtain the external parameters such as the rotation θ of the L-shaped marker 20 and the parallel movements t ₁ and t _{2 for} each photographing.

以上説明したように、本実施例では、ラインセンサカメラ１０の撮像範囲となる２次元平面１１上に写るＬ字マーカ２０を用い、立体マーカの２次元平面座標からラインセンサカメラの１次元画像座標へ変換する数式モデルを用いているので、ラインセンサカメラ１０に対応する適切なキャリブレーションを行うことができる。又、線形解法と共に、誤差関数を最小化する非線形解法を用いているので、歪み係数ｋ₁〜ｋ₃を含む内部パラメータと外部パラメータを同時に算出することができる。又、Ｌ字マーカ２０を用いて、検出点となる白黒帯２３に奥行きを持たせたので、焦点距離ｆを正確に算出することができる。又、Ｌ字マーカ２０の位置及び姿勢が各々異なる複数の画像を撮像するので、歪み係数ｋ₁〜ｋ₃を含む内部パラメータの算出することができる。 As described above, in the present embodiment, the L-shaped marker 20 that is imaged on the two-dimensional plane 11 which is the imaging range of the line sensor camera 10 is used, and the two-dimensional plane coordinates of the three-dimensional marker are used to calculate the one-dimensional image coordinates of the line sensor camera. Since the mathematical model for conversion to is used, appropriate calibration corresponding to the line sensor camera 10 can be performed. In addition, since the nonlinear solution that minimizes the error function is used together with the linear solution, the internal parameters including the distortion coefficients k _{1 to} k ₃ and the external parameters can be calculated simultaneously. In addition, since the L-shaped marker 20 is used to give depth to the black-and-white band 23 serving as a detection point, the focal length f can be accurately calculated. Further, since a plurality of images having different positions and postures of the L-shaped marker 20 are captured, internal parameters including distortion coefficients k _{1 to} k ₃ can be calculated.

本発明は、ラインセンサカメラに好適なものである。 The present invention is suitable for a line sensor camera.

１０ラインセンサカメラ
２０Ｌ字マーカ
２３白黒帯
３０処理システム
３１記憶部
３２画像入力部
３３計測座標算出部
３４外部パラメータ算出部
３５非線形最小二乗部 Reference Signs List 10 line sensor camera 20 L-shaped marker 23 monochrome band 30 processing system 31 storage unit 32 image input unit 33 measurement coordinate calculation unit 34 external parameter calculation unit 35 nonlinear least square unit

Claims

ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有し、かつ、前記検出点の一つが他の前記検出点に対して奥行きを有する立体マーカと、
前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
前記処理部は、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
ことを特徴とするラインセンサカメラのキャリブレーション装置。 Stereoscopic two-dimensional plane coordinates on a two-dimensional plane as the imaging range of line sensor cameras have a known multiple detection points, and one of the detection point is have a depth relative to other of said detection points Markers and
A processing unit that calculates an internal parameter and an external parameter for calibration of the line sensor camera based on a plurality of images of the three-dimensional marker captured by the line sensor camera,
The processing unit includes:
An image input unit to which the images of the three-dimensional markers having different positions and postures are respectively input;
A measurement coordinate calculation unit that calculates a one-dimensional image coordinate of the detection point of the three-dimensional marker on the image for each image;
For a conversion matrix obtained based on a mathematical model of the line sensor camera for converting the two-dimensional plane coordinates to the one-dimensional image coordinates, input a known initial value as an initial internal parameter in the conversion matrix, and perform a linear solution. An external parameter calculation unit that calculates an initial external parameter for each image from the transformation matrix,
For an error function that takes into account the lens distortion determined based on the mathematical model, input the initial internal parameters and the initial external parameters to the error function, and calculate the error for the total number of the detection points and the total number of the images. A calibration apparatus for a line sensor camera, comprising: a non-linear least-squares unit that calculates the internal parameter and the external parameter that minimize the sum of functions by a non-linear solution method using iterative calculation.

請求項１に記載のラインセンサカメラのキャリブレーション装置において、
前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
ことを特徴とするラインセンサカメラのキャリブレーション装置。 The calibration device for a line sensor camera according to claim 1,
The calibration device for a line sensor camera, wherein the three-dimensional marker has an L-shape, and the plurality of detection points are arranged on an inner surface bent in an L-shape.

請求項１又は請求項２に記載のラインセンサカメラのキャリブレーション装置において、
前記数式モデルは、ピンホールカメラモデルを用いたものである
ことを特徴とするラインセンサカメラのキャリブレーション装置。 A calibration device for a line sensor camera according to claim 1 or 2,
A calibration apparatus for a line sensor camera, wherein the mathematical expression model uses a pinhole camera model.

ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有し、かつ、前記検出点の一つが他の前記検出点に対して奥行きを有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
ことを特徴とするラインセンサカメラのキャリブレーション方法。 Stereoscopic two-dimensional plane coordinates on a two-dimensional plane as the imaging range of line sensor cameras have a known multiple detection points, and one of the detection point is have a depth relative to other of said detection points A calibration method for a line sensor camera that calculates an internal parameter and an external parameter for calibration of the line sensor camera based on a plurality of images captured by the line sensor camera,
An image inputting step in which the images of the three-dimensional marker having different positions and postures are respectively input;
A measurement coordinate calculation step of calculating one-dimensional image coordinates on the image of the detection point of the three-dimensional marker for each image;
For a conversion matrix obtained based on a mathematical model of the line sensor camera for converting the two-dimensional plane coordinates to the one-dimensional image coordinates, input a known initial value as an initial internal parameter in the conversion matrix, and perform a linear solution. An external parameter calculation step of calculating an initial external parameter for each image from the transformation matrix,
For an error function that takes into account the lens distortion determined based on the mathematical model, input the initial internal parameters and the initial external parameters to the error function, and calculate the error for the total number of the detection points and the total number of the images. A non-linear least-squares step of calculating the internal parameter and the external parameter that minimize the sum of functions by a non-linear solution using iterative calculation.

請求項４に記載のラインセンサカメラのキャリブレーション方法において、
前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
ことを特徴とするラインセンサカメラのキャリブレーション方法。 The calibration method for a line sensor camera according to claim 4,
A method for calibrating a line sensor camera, characterized in that an L-shaped marker having the plurality of detection points arranged on an inner surface bent in an L-shape is used as the three-dimensional marker.

請求項４又は請求項５に記載のラインセンサカメラのキャリブレーション方法において、
前記数式モデルとして、ピンホールカメラモデルを用いる
ことを特徴とするラインセンサカメラのキャリブレーション方法。
In the calibration method of the line sensor camera according to claim 4 or 5,
A calibration method for a line sensor camera, wherein a pinhole camera model is used as the mathematical expression model.