JP4568050B2 - Camera parameter calculation calibration apparatus and camera parameter calculation calibration program - Google Patents
Camera parameter calculation calibration apparatus and camera parameter calculation calibration program Download PDFInfo
- Publication number
- JP4568050B2 JP4568050B2 JP2004209846A JP2004209846A JP4568050B2 JP 4568050 B2 JP4568050 B2 JP 4568050B2 JP 2004209846 A JP2004209846 A JP 2004209846A JP 2004209846 A JP2004209846 A JP 2004209846A JP 4568050 B2 JP4568050 B2 JP 4568050B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- point
- camera parameter
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、カメラの設置位置、姿勢およびレンズの焦点距離等の特性を表すカメラパラメータを算出して、逐次較正するカメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラムに関する。 The present invention relates to a camera parameter calculation calibration apparatus and a camera parameter calculation calibration program for calculating and sequentially calibrating camera parameters representing characteristics such as a camera installation position and orientation and a lens focal length.
従来、カメラの設置位置(座標)、姿勢(撮影方向)およびレンズの焦点距離等の特性を表すカメラパラメータを算出して、較正する(キャリブレーションを行う)手法として、「カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ」(特許文献1参照)が開示されている。 Conventionally, as a technique for calculating and calibrating (calibrating) camera parameters representing characteristics such as camera installation position (coordinates), posture (photographing direction), and focal length of a lens, the “camera calibration apparatus and A method, an image processing apparatus and method, a program providing medium, and a camera ”(see Patent Document 1) are disclosed.
この手法では、カメラで撮影した撮影画像および幾何形状の定義と一義的なパターンを持つ基準画像の対応付けを、輝度誤差最小化方法等の方法によって実行することで、カメラパラメータを自動的にキャリブレーションするものである。 In this method, the camera parameters are automatically calibrated by executing the correspondence between the captured image captured by the camera and the definition of the geometric shape and the reference image having a unique pattern by a method such as a luminance error minimization method. It is something to do.
しかしながら、従来の「カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ」に示す手法等、カメラパラメータを自動的にキャリブレーションする手法では、安定したキャリブレーション結果(較正結果)を得るために、基準画像のような人工的なパターンを使用したり、投光器等を用いて、当該人工的なパターンを投射する必要があった。このため、既存のパターンや構造物のモデル、例えば、スポーツ競技場に引かれた白線や、撮影しているビルディング等のモデルを基準にしてカメラパラメータのキャリブレーションを実行しようとすると、既存のパターンや構造物のモデル上の基準点と、カメラで実際に撮影している実写映像との対応付けを自動で行った場合に安定した動作が得難いという問題がある。一方対応付を手動で行うための効率的なユーザインターフェースが存在せず、データ入力が困難であるという問題がある。 However, in the conventional method of automatically calibrating camera parameters, such as the method described in “Camera Calibration Device and Method, Image Processing Device and Method, Program Provision Medium, and Camera”, a stable calibration result ( In order to obtain a calibration result, it is necessary to use an artificial pattern such as a reference image or project the artificial pattern using a projector or the like. For this reason, if you try to calibrate camera parameters based on a model of an existing pattern or structure, for example, a white line drawn in a sports stadium or a model of a building being photographed, the existing pattern In addition, there is a problem that it is difficult to obtain a stable operation when the reference point on the model of the structure and the actual image captured by the camera are automatically associated with each other. On the other hand, there is a problem that there is no efficient user interface for performing correspondence manually, and data input is difficult.
そこで、本発明では、前記した問題を解決し、既存のパターンや構造物のモデル上の基準点と、実写画像との対応付けを効率的に行って、カメラパラメータのキャリブレーションを実行することができるカメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラムを提供することを目的とする。 Therefore, in the present invention, it is possible to perform the calibration of the camera parameters by solving the above-described problems and efficiently associating the reference points on the existing pattern or model of the structure with the photographed image. An object of the present invention is to provide a camera parameter calculation calibration device and a camera parameter calculation calibration program.
前記課題を解決するため、請求項1記載のカメラパラメータ算出較正装置は、カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも1つを算出し、算出した算出結果に従って前記カメラパラメータを較正するカメラパラメタータ算出較正装置であって、カメラパラメータ記憶手段と、実写画像入力手段と、点対応入力手段と、基準画像生成手段と、合成画像出力手段と、合成画像表示手段と、逆投影手段と、点対応情報記憶手段と、カメラパラメータ算出手段と、を備える構成とした。
In order to solve the above-mentioned problem, the camera parameter calculation calibration device according to
かかる構成によれば、カメラパラメータ算出較正装置は、カメラパラメータ記憶手段に、カメラパラメータの少なくとも1つの初期値である初期カメラパラメータを予め記憶していると共に、カメラパラメータ算出手段で算出される算出結果に従って構成される新規のカメラパラメータを記憶する(更新していく)。ここでいうカメラとは、ビデオカメラ(撮影カメラ)、デジタルカメラ、画像スキャナ等であり、画像を取得するもの(画像取得装置)を指している。カメラパラメータは、カメラが設置されている設置位置の平面上の位置座標と、カメラが被写体を撮影している方向である撮影方向(姿勢)を示す角度と、カメラから被写体までの焦点距離との少なくとも一つを含むものである。まず、カメラパラメータ算出較正装置は、実写画像入力手段によって、カメラで撮影した実写映像を入力する。なお、この実写映像には、何らかの幾何形状(三次元幾何形状)をした被写体(既存のパターンや構造物)が含まれている。 According to such a configuration, the camera parameter calculation calibration apparatus stores in advance the initial camera parameter which is at least one initial value of the camera parameter in the camera parameter storage unit, and the calculation result calculated by the camera parameter calculation unit Store (update) new camera parameters configured according to The camera here refers to a video camera (photographing camera), a digital camera, an image scanner, or the like, which acquires an image (image acquisition device). The camera parameters are the position coordinates on the plane of the installation position where the camera is installed, the angle indicating the shooting direction (posture) that is the direction in which the camera is shooting the subject, and the focal length from the camera to the subject. It contains at least one. First, the camera parameter calculation / calibration apparatus inputs a photographed image captured by the camera by a photographed image input unit. This live-action image includes a subject (existing pattern or structure) having some geometric shape (three-dimensional geometric shape).
続いて、カメラパラメータ算出較正装置は、点対応入力手段によって、実写画像入力手段で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となるモデル基準点と、実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する。モデルは、実写画像に含まれている、つまり、被写体空間に存在する幾何形状と一致するもので、例えば、三角形、四角形等の平面図形や、三角錐や四角柱等の立体図形である。モデル基準点は、モデル上で基準となる点、例えば、モデルが三角形であった場合三角形の各頂点である。実写対応点は、実写画像上において被写体が存在している箇所を指すものである。なお、モデル基準点および実写対応点は、画像座標(x,y)として与えられる。 Subsequently, the camera parameter calculation / calibration apparatus uses the point correspondence input unit to set a model reference point that serves as a reference on a model related to a known structure that matches the geometric shape included in the actual image input by the actual image input unit. And the actual image corresponding point on the actual image are input as image coordinates. The model is included in the photographed image, that is, matches the geometric shape existing in the subject space, and is, for example, a planar figure such as a triangle or a quadrangle, or a three-dimensional figure such as a triangular pyramid or a quadrangular prism. The model reference point is a reference point on the model, for example, each vertex of the triangle when the model is a triangle. The live action corresponding point indicates a place where the subject is present on the live action image. The model reference point and the live-action corresponding point are given as image coordinates (x, y).
そして、カメラパラメータ算出較正装置は、基準画像生成手段によって、入力されたモデルに関するデータを、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換することで、点対応入力手段で入力されたモデル基準点と、実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する。投影変換とは、モデル基準点の座標を、予め設定した数式に代入することで、透視投影し、図形化することである。相関関係を表す図面は、モデル基準点と実写対応点とを結んだ、矢印状のもの(後記する図4参照)である。 Then, the camera parameter calculation calibration device performs projection conversion of the data related to the input model by the reference image generation unit according to the initial camera parameter or the camera parameter stored in the camera parameter storage unit, so that the point correspondence input unit A graphic representing the correlation between the input model reference point and the actual shooting corresponding point on the live-action image is generated as a reference image. Projection conversion is to perform perspective projection and form a figure by substituting the coordinates of the model reference point into a preset mathematical expression. The drawing representing the correlation is an arrow-like shape (see FIG. 4 to be described later) connecting the model reference point and the actual shooting corresponding point.
そして、カメラパラメータ算出較正装置は、合成画像出力手段によって、基準画像生成手段で生成された基準画像と、実写画像とを重畳して合成画像として出力し、この出力した合成画像を、合成画像表示手段によって、表示する。また、カメラパラメータ算出較正装置は、逆投影手段によって、カメラの投影中心から始まり、点対応入力手段で入力された実写対応点の画像座標を通る仮想的な半直線を算出し、この半直線と実空間上の距離が最も近いモデル基準点の三次元座標を算出し、この算出した三次元座標と、点対応入力手段で入力された実写対応点の画像座標とを関連付けた点対応情報として、点対応情報記憶手段に記憶する。 Then, the camera parameter calculation calibration device superimposes the reference image generated by the reference image generation means and the actual image by the composite image output means and outputs the composite image, and displays the output composite image as a composite image display Display by means. The camera parameter calculating correction means, by the back projection unit, it starts from the projection center of the camera, and calculates a virtual half line passing the image coordinates of the inputted photographed corresponding points in the point corresponding input means, the semi calculates a straight line and the three-dimensional coordinates of the distance is the closest model reference point in a real space, corresponding the calculated and 3D coordinates, a point associated with the image coordinates of the photographed corresponding points inputted at the point corresponding input means Information is stored in the point correspondence information storage means.
その後、カメラパラメータ算出較正装置は、カメラパラメータ算出手段によって、点対応情報記憶手段に記憶されている点対応情報に基づいて、カメラパラメータを算出し、カメラパラメータ記憶手段に記憶されたカメラパラメータを較正(更新)する。 Thereafter, the camera parameter calculation calibration device calculates camera parameters based on the point correspondence information stored in the point correspondence information storage means by the camera parameter calculation means, and calibrates the camera parameters stored in the camera parameter storage means. (Update.
請求項2記載のカメラパラメータ算出較正プログラムは、カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも1つを算出し、算出した算出結果に従って前記カメラパラメータを較正するために、前記カメラパラメータの少なくとも1つの初期値である初期カメラパラメータを記憶すると共に、前記算出結果に従って較正されるカメラパラメータを記憶するカメラパラメータ記憶手段と、点対応情報記憶手段とを備えるコンピュータを、実写画像入力手段、点対応入力手段、基準画像生成手段、合成画像出力手段、合成画像表示手段と、逆投影手段、点対応情報記憶制御手段、カメラパラメータ算出手段、として機能させる構成とした。
The camera parameter calculation calibration program according to
かかる構成によれば、カメラパラメータ算出較正プログラムは、実写画像入力手段によって、カメラで撮影した実写映像を入力し、点対応入力手段によって、実写画像入力手段で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となるモデル基準点と、実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する。続いて、カメラパラメータ算出較正プログラムは、基準画像生成手段によって、入力されたモデルに関するデータを、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換することで、点対応入力手段で入力されたモデル基準点と、実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する。そして、カメラパラメータ算出較正プログラムは、合成画像出力手段によって、基準画像生成手段で生成された基準画像と、実写画像とを重畳して合成画像として出力し、逆投影手段によって、カメラの投影中心から始まり、点対応入力手段で入力された実写対応点の画像座標を通る仮想的な半直線を算出し、この半直線と実空間上の距離が最も近いモデル基準点の三次元座標を算出する。そして、カメラパラメータ算出較正プログラムは、点対応情報記憶制御手段によって、逆投影手段で算出されたモデル基準点の三次元座標と、点対応入力手段で入力された実写対応点の画像座標とを関連付けた点対応情報として点対応情報記憶手段に記憶させ、カメラパラメータ算出手段によって、点対応情報記憶手段に記憶されている点対応情報に基づいて、カメラパラメータを算出し、カメラパラメータ記憶手段に記憶されたカメラパラメータ(初期カメラパラメータ)を較正(更新)する。
According to this configuration, the camera parameter calculation / calibration program is input to the photographed image input unit by the photographed image input unit, and the point correspondence input unit inputs the photographed image captured by the photographed image input unit. Correlation between a model reference point serving as a reference on a model related to a known structure that matches the geometric shape and a corresponding point on a live-action image is input as image coordinates. Subsequently, the camera parameter calculation calibration program performs projection conversion of the data related to the input model by the reference image generation unit according to the initial camera parameter or the camera parameter stored in the camera parameter storage unit, so that the point correspondence input unit A figure representing the correlation between the model reference point input in
請求項1、2記載の発明によれば、既存のパターンや構造物のモデル基準点と実写画像の実写対応点との相関関係を、画像座標にして入力し、基準画像を生成して、実写画像との合成映像を表示することで、モデル基準点と実写対応点との対応付けを効率的に行うことができ、これらの位置を調整することで、カメラパラメータのキャリブレーションを実行することができる。 According to the first and second aspects of the present invention, the correlation between the model reference point of the existing pattern or structure and the corresponding point of the live-action image is input as the image coordinates, the reference image is generated, By displaying the composite image with the image, it is possible to efficiently associate the model reference point with the live-action corresponding point, and by adjusting these positions, it is possible to perform camera parameter calibration. it can.
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈カメラパラメータ算出較正装置の構成〉
図1は、カメラパラメータ算出較正装置のブロック図である。この図1に示すように、カメラパラメータ算出較正装置1は、画像取得装置(図示せず)の設置位置(位置座標)、姿勢(撮影方向)およびレンズの焦点距離等のカメラパラメータを算出して、このカメラパラメータをキャリブレーション(較正)するもので、画像入力手段(実写画像入力手段)3と、点対応入力手段5と、カメラパラメータ記憶手段7と、逆投影手段9と、点対応記憶手段(点対応情報記憶制御手段)11と、カメラパラメータ算出手段13と、画像生成手段(基準画像生成手段)15と、画像合成手段(合成画像出力手段)17と、画像表示手段(合成画像表示手段)19とを備えている。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
<Configuration of camera parameter calculation calibration device>
FIG. 1 is a block diagram of a camera parameter calculation calibration apparatus. As shown in FIG. 1, the camera parameter calculation /
画像入力手段3は、ビデオカメラ、デジタルカメラ、画像スキャナ等の画像取得装置2に接続されており、当該画像取得装置で取得(撮影、入力)されたカメラ実写画像(実写画像信号)を取り込んで、内部に設けられたフレームメモリ(図示せず)に蓄積するものである。
The image input means 3 is connected to an
点対応入力手段5は、画像表示手段19で表示される合成画像に対して、当該装置1の操作者が、表示画面上(画像座標系)におけるモデル基準点と実写対応点との座標の対を画像座標にして入力するためのものである。この点対応入力手段5は、ロータリエンコーダ等の座標を計測する計測手段と、タクトスイッチ等の接点情報を入力する入力手段とから構成されており、例えば、計算機(パーソナルコンピュータ等)に接続されるマウス、デジタイザ、タブレット、タッチパネル等で実現することができる。
The point
また、この点対応入力手段5による座標の対は、例えば、マウスによる場合、マウスボタンを押し下げた時の座標情報およびマウスボタンを放した時の座標情報によって入力することができる。この座標の対のうちの一方を始点P(px,py)とし、他方を終点Q(qx,qy)として表すこととする。なお、これらは、モデルと実写画像との相関関係を表す図形の一部をなすものであるので、画像座標P、画像座標Qと呼ぶ。 In addition, for example, in the case of a mouse, the pair of coordinates by the point correspondence input means 5 can be input by coordinate information when the mouse button is pressed and coordinate information when the mouse button is released. One of the coordinate pairs is represented as a start point P (p x , p y ), and the other is represented as an end point Q (q x , q y ). Note that these are part of a graphic representing the correlation between the model and the photographed image, and are called image coordinates P and image coordinates Q.
カメラパラメータ記憶手段7は、メモリ等によって構成されており、入力されたカメラパラメータ初期値(初期カメラパラメータ)を記憶すると共に、算出されたカメラパラメータを記憶するものである。なお、カメラパラメータ初期値(初期カメラパラメータ)は、外部から入力される(与えられる)ものか、若しくは、予め設定された値が記憶されたものであってもよい。 The camera parameter storage means 7 is constituted by a memory or the like, and stores the input camera parameter initial value (initial camera parameter) and also stores the calculated camera parameter. The camera parameter initial value (initial camera parameter) may be input (given) from the outside, or may be a value stored in advance.
カメラパラメータは、画像取得装置2(例えば、カメラ)の設置位置(カメラの三次元の位置座標)、撮影方向(基準パターン[被写体空間における既存のパターンや構造物のモデル])に対するカメラの三軸相対姿勢)およびレンズの焦点距離の少なくとも1つを含むもので、ここでは、合計7パラメータ(三次元の位置座標で3パラメータ、三軸相対姿勢で3パラメータおよびレンズの焦点距離で1パラメータ)によって表されるものである。なお、この7つパラメータからなるカメラパラメータに、レンズの歪みパラメータを含めてもよい。 The camera parameters are the three axes of the camera with respect to the installation position (three-dimensional position coordinates of the camera) of the image acquisition device 2 (for example, camera) and the photographing direction (reference pattern [existing pattern or model of structure in the subject space]). Relative posture) and at least one of the focal length of the lens. Here, a total of seven parameters (three parameters for three-dimensional position coordinates, three parameters for three-axis relative posture and one parameter for lens focal length) It is expressed. It should be noted that a lens distortion parameter may be included in the camera parameters including these seven parameters.
カメラの三軸相対姿勢として、基準パターン(モデル)に固定された座標系(以下、ワールド座標系と呼ぶ)に対するパン角(方位角)α、チルト角(仰角)δおよびロール角(光軸まわりの回転角)φを用い、カメラの三次元の位置座標(三次元位置)として、ワールド座標系における三次元座標(TX,TY,TZ)を用い、レンズの焦点距離として、焦点距離長fを用いることとする。 Pan angle (azimuth angle) α, tilt angle (elevation angle) δ, and roll angle (around the optical axis) relative to the coordinate system (hereinafter referred to as the world coordinate system) fixed to the reference pattern (model) ), The three-dimensional coordinates (T X , T Y , T Z ) in the world coordinate system as the three-dimensional position coordinates (three-dimensional position) of the camera, and the focal length as the focal length of the lens. The length f is used.
逆投影手段9は、点対応入力手段5によって入力された始点の画像座標P(px,py)が、モデル上のどの点に対応するかを判定し、始点の画像座標P(px,py)のワールド座標W(WX,WY,WZ)を出力するものである。例えば、まず、画像表示手段19に表示される画像座標系のx軸およびy軸の両軸と共通のx軸およびy軸を有し、x軸およびy軸の両軸と直交するz軸を有する直交座標系x−y−zを定義する(この直交座標系x−y−zをカメラ座標系と呼ぶ)。 Backprojection means 9, image coordinates P (p x, p y) of the start point input by the point corresponding input means 5, to determine corresponding to any point on the model, the image coordinates of the starting point P (p x , P y ) for outputting world coordinates W (W X , W Y , W Z ). For example, first, the z-axis having the same x-axis and y-axis as the x-axis and y-axis of the image coordinate system displayed on the image display means 19 and orthogonal to both the x-axis and y-axis is selected. An orthogonal coordinate system xyz is defined (this orthogonal coordinate system xyz is referred to as a camera coordinate system).
画像表示手段19に表示される画像平面中央より焦点距離長fだけ(−z)方向に離れた点にカメラ座標系の原点をとる。このカメラ座標系はモデル(すなわちワールド座標系)に対して、カメラパラメータ記憶手段7に記憶されているカメラパラメータまたはカメラパラメータ初期値(初期カメラパラメータ)で記述される姿勢(撮影方向)、位置(位置座標)をとるものと仮定する。 The origin of the camera coordinate system is set at a point separated in the (−z) direction by the focal length f from the center of the image plane displayed on the image display means 19. This camera coordinate system is relative to the model (ie, the world coordinate system) with the posture (shooting direction) and position (camera direction) described by the camera parameters stored in the camera parameter storage means 7 or the camera parameter initial values (initial camera parameters). It is assumed that the position coordinates are taken.
ここで、図2を参照して逆投影手段9における画像座標からワールド座標への逆投影の仕方について説明する。図2は、画像座標からワールド座標への逆投影を模式的に説明した図である。
この図2に示すように、カメラ座標系の原点(投影中心)から始まり、点対応入力手段5によって入力された始点Pのカメラ座標を通る半直線hを想定してみる。続いて、モデルを構成する頂点、稜線、面、その他モデル内外の特徴的な幾何特徴と半直線hとの交点若しくは近傍点を求める。図2は、半直線hに最もユークリッド距離の近いモデル上の点を求めた例を示したものである。こうして求められた点のワールド座標をW(WX,WY,WZ)とする。
ここで、7つのカメラパラメータを次に示す数式1で定義(表現)する。
Here, the method of back projection from the image coordinates to the world coordinates in the back projection means 9 will be described with reference to FIG. FIG. 2 is a diagram schematically illustrating back projection from image coordinates to world coordinates.
As shown in FIG. 2, a half line h starting from the origin (projection center) of the camera coordinate system and passing through the camera coordinates of the start point P input by the point correspondence input means 5 is assumed. Subsequently, intersections or neighborhood points of the half line h with vertices, ridges, surfaces, and other characteristic geometric features inside and outside the model are obtained. FIG. 2 shows an example in which a point on the model having the closest Euclidean distance to the half line h is obtained. The world coordinates of the point thus obtained are set as W (W X , W Y , W Z ).
Here, the seven camera parameters are defined (represented) by the following
この数式(1)に示すように、カメラパラメータは、列ベクトルπによって定義(表現)される(以下、カメラパラメータπとする)。そして、このカメラパラメータπにより変換して得られる画像座標P^(p^ x,p^ y)とする。 As shown in Equation (1), the camera parameter is defined (represented) by a column vector π (hereinafter referred to as camera parameter π). The image coordinates P ^ (p ^ x , p ^ y ) obtained by conversion using the camera parameter π are used.
次に、図3を参照して、ワールド座標系とカメラ座標系との関係を例示して説明する。図3(a)〜(e)は、ワールド座標系とカメラ座標系との関係をベクトルを用いて説明した模式図である。
この図3(a)に示すように、ワールド座標系(X,Y,Z)における原点と、カメラ座標系(x,y,z)における原点とが、ベクトルT(TX,TY,TZ)で結ばれている。つまり、ワールド座標系(X,Y,Z)におけるカメラ座標系の原点の位置がT(TX,TY,TZ)で表されている。
Next, the relationship between the world coordinate system and the camera coordinate system will be exemplified and described with reference to FIG. FIGS. 3A to 3E are schematic diagrams illustrating the relationship between the world coordinate system and the camera coordinate system using vectors.
As shown in FIG. 3A, the origin in the world coordinate system (X, Y, Z) and the origin in the camera coordinate system (x, y, z) are vectors T (T X , T Y , T Z ). That is, the position of the origin of the camera coordinate system in the world coordinate system (X, Y, Z) is represented by T (T X , T Y , T Z ).
また、図3(b)〜(e)に示すように、カメラ座標系の姿勢(カメラの撮影方向)は、基準座標系x0−y0−z0に対するパン角α(図3(c))、チルト角δ(図3(d))およびロール角φ(図3(e))によって表現することとする。なお、ワールド座標系、基準座標系およびカメラ座標系の各軸はすべて同じスケーリングとしている。 Also, as shown in FIGS. 3B to 3E, the orientation of the camera coordinate system (camera shooting direction) is the pan angle α with respect to the reference coordinate system x 0 -y 0 -z 0 (FIG. 3C). ), A tilt angle δ (FIG. 3D) and a roll angle φ (FIG. 3E). The axes of the world coordinate system, the reference coordinate system, and the camera coordinate system are all set to the same scaling.
これらパン角α、チルト角δおよびロール角φによるカメラ座標系の定義の一例を図3(b)〜(e)を参照して説明する。まず、図3(b)に示すように、基準座標系x0−y0−z0のx0、y0およびz0の各軸はワールド座標系のX,(−Z)およびYの各軸と同一方向を向くものとする。続いて、図3(c)に示すように、基準座標系x0−y0−z0を、y0軸まわりに角度αだけ回転することにより、座標系x1−y0−z1を得る。そして、図3(d)に示すように、座標系x1−y0−z1を、x1軸のまわりに角度δだけ回転することにより、座標系x1−y2−z2を得る。最後に、図3(e)に示すように、座標系x1−y2−z2を、z2軸まわりに角度φだけ回転することにより、カメラ座標系x−y−zを得る。 An example of the definition of the camera coordinate system based on the pan angle α, the tilt angle δ, and the roll angle φ will be described with reference to FIGS. First, as shown in FIG. 3B, the x 0 , y 0, and z 0 axes of the reference coordinate system x 0 -y 0 -z 0 are the X, (−Z), and Y axes of the world coordinate system. It shall be in the same direction as the axis. Subsequently, as shown in FIG. 3C, by rotating the reference coordinate system x 0 -y 0 -z 0 by an angle α around the y 0 axis, the coordinate system x 1 -y 0 -z 1 is changed. obtain. Then, as shown in FIG. 3 (d), the coordinates x 1 -y 0 -z 1, by rotating by an angle δ about the x 1 axis, obtaining the coordinate system x 1 -y 2 -z 2 . Finally, as shown in FIG. 3E, the coordinate system x 1 -y 2 -z 2 is rotated about the z 2 axis by an angle φ to obtain a camera coordinate system xyz.
次に、画像表示手段19(図1参照)に表示される表示画面における画像座標系x−yの定義の一例を、数式を参照して説明する。画像座標系のx軸およびy軸の各軸は、カメラ座標系のx軸およびy軸の各軸と同一とする。すなわち、方向およびスケーリングともに同一とする。以上の定義により、ワールド座標W(WX,WY,WZ)と画像座標P^(p^ x,p^ y)との関係は次の数式(2)によって与えられる。 Next, an example of the definition of the image coordinate system xy on the display screen displayed on the image display means 19 (see FIG. 1) will be described with reference to mathematical expressions. The x-axis and y-axis of the image coordinate system are the same as the x-axis and y-axis of the camera coordinate system. That is, both direction and scaling are the same. With the above definition, the relationship between the world coordinates W (W X , W Y , W Z ) and the image coordinates P ^ (p ^ x , p ^ y ) is given by the following equation (2).
この数式(2)において、fは焦点距離(焦点距離長)である。
また、ここで、画像座標P^(p^ x,p^ y)をカメラパラメータπによって偏微分して得られるヤコビ行列(Jacobian)をJとすると、次の数式(3)のようになる。
In Equation (2), f is a focal length (focal length).
Here, when J is a Jacobian matrix obtained by partial differentiation of the image coordinates P ^ (p ^ x , p ^ y ) with the camera parameter π, the following equation (3) is obtained.
図1に戻って、カメラパラメータ算出較正装置1の構成の説明を続ける。
点対応記憶手段11は、メモリ等によって構成されており、逆投影手段9により求められたワールド座標W(WX,WY,WZ)と、点対応入力手段5により入力された終点の画像座標Q(qx,qy)との組を1つのレコードとして、記憶する(追加記憶する、更新する)ものである。この点対応記憶手段11に記憶されたレコードの総数をNとすると、n番目のレコードを[W(n)(WX (n),WY (n),WZ (n)),Q(n)(qx (n),qy (n))]のように丸括弧付きの上付き文字で表すこととする。
Returning to FIG. 1, the description of the configuration of the camera parameter
The point
カメラパラメータ算出手段13は、トリガ入力に従い、点対応記憶手段11に記憶されているレコードの情報に基づいて、新たにカメラパラメータを算出するものである。トリガ入力は、カメラパラメータ算出較正装置1のユーザによって、図示を省略した操作手段を用いて行われるものである。例えば、トリガ入力は、物理的なスイッチ、画像表示手段19に表示される仮想的なボタンに連動するものである。この実施形態では、非線形最小自乗法の1つのアルゴリズムであるLevenberg−Marquardt法によりカメラパラメータを算出している。
The camera
このLevenberg−Marquardt法では、まず、点対応記憶手段11に記憶されている各レコードのワールド座標W(n)(WX (n),WY (n),WZ (n))に対し、数式(2)に示したワールド座標から画像座標への変換式を用いて、ワールド座標W(n)(WX (n),WY (n),WZ (n))を、画像座標P^(n)(p^ x (n),p^ y (n))に変換する。
In the Levenberg-Marquardt method, first, for the world coordinates W (n) (W X (n) , W Y (n) , W Z (n) ) of each record stored in the point
そして、このLevenberg−Marquardt法では、N個のレコードそれぞれに対する画像座標P^(n)(p^ x (n),p^ y (n))と画像座標Q(n)(qx (n),qy (n))との誤差を列方向に列べたベクトルeと、それぞれの画像座標P^(n)(p^ x (n),p^ y (n))に対して、数式(3)により得られたヤコビ行列J(n)を列方向に列べた行列Kとを次の数式(4)により定義する。 And in this Levenberg-Marquardt method, the image coordinates P ^ (n) for each of the N records (p ^ x (n), p ^ y (n)) and the image coordinates Q (n) (q x ( n) , Q y (n) ) with respect to a vector e in which the errors are arranged in the column direction and the respective image coordinates P ^ (n) (p ^ x (n) , p ^ y (n) ) A matrix K obtained by arranging the Jacobian matrix J (n) obtained in 3) in the column direction is defined by the following equation (4).
続いて、カメラパラメータ修正ベクトルΔπを次の数式(5)により定義する。 Subsequently, the camera parameter correction vector Δπ is defined by the following equation (5).
この数式(5)において、λは正のパラメータとする。
このLevenberg−Marquardt法による場合、例えば、以下のステップによって、カメラパラメータπの推定を行っている。
まず、λに予め設定した正定数を代入する(ステップa1)。例えば、λ=0.001とする。続いて、数式(4)および数式(5)によりカメラパラメータ修正ベクトルΔπを求める(ステップa2)。そして、このカメラパラメータ修正ベクトルΔπを求める実行回数が指定する閾値を超えたかどうかを判定し(ステップa3)、超えた場合(ステップa3、Yes)は終了し、超えない場合(ステップa3、No)には、一時的なカメラパラメータ修正ベクトルΔπであるπtmpを、πtmp=π+Δπと設定する(ステップa4)。
In Equation (5), λ is a positive parameter.
In the case of the Levenberg-Marquardt method, for example, the camera parameter π is estimated by the following steps.
First, a positive constant set in advance is substituted for λ (step a1). For example, λ = 0.001. Subsequently, a camera parameter correction vector Δπ is obtained from Equation (4) and Equation (5) (Step a2). Then, it is determined whether or not the number of executions for obtaining the camera parameter correction vector Δπ exceeds a specified threshold value (step a3), and when it exceeds (step a3, Yes), the process ends, and when it does not exceed (step a3, No). to the [pi tmp is a temporary camera parameter correction vector Derutapai, sets a π tmp = π + Δπ (step a4).
続いて、Levenberg−Marquardt法では、各ワールド座標W(n)(WX (n),WY (n),WZ (n))に対し、πtmpを用いて、数式(2)に示す変換を実行し、その結果得られる画像座標を(ptmpx (n),ptmpy (n))とする(ステップa5)。そして、次の数式(6)に示した演算を実行し、ベクトルetmpを得る(ステップa6)。 Subsequently, in the Levenberg-Marquardt method, each world coordinate W (n) (W X (n) , W Y (n) , W Z (n) ) is expressed by Equation (2) using π tmp. The transformation is executed, and the resulting image coordinates are set to (p tmpx (n) , p tmpy (n) ) (step a5). Then, the calculation shown in the following equation (6) is executed to obtain a vector e tmp (step a6).
この数式(6)で得られたベクトルetmpについて、‖etmp‖≧‖e‖ならば、1より大きい定数(例えば、10)をかけ(ステップa7)、ステップa2に戻る。そして、π=πtmpにより、カメラパラメータπを更新する(ステップa8)。ちなみに、‖etmp‖は、ベクトルetmpをスカラーに戻すことを示している。 If ‖e tmp ‖ ≧ ‖e‖ with respect to the vector e tmp obtained by the equation (6), a constant (for example, 10) greater than 1 is applied (step a7), and the process returns to step a2. Then, the camera parameter π is updated by π = π tmp (step a8). Incidentally, ‖e tmp ‖ indicates that the vector e tmp is returned to a scalar.
さらに、‖e‖−‖etmp‖の値が指定する閾値を下回った場合、ステップa2に戻る(ステップa9)。そして、また、λに0より大きく1より小さい定数をかける(例えば、0.1倍する)(ステップa10)。そして、ステップa2に戻って(ステップa11)、終了する(ステップa12)。 Furthermore, when the value of ‖e‖-‖e tmp ‖ falls below the specified threshold value, the process returns to step a2 (step a9). Then, λ is multiplied by a constant larger than 0 and smaller than 1 (for example, multiplied by 0.1) (step a10). Then, the process returns to step a2 (step a11) and ends (step a12).
Levenberg−Marquardt法では、以上のようなステップa1からステップa12により得られたカメラパラメータπによって、カメラパラメータ記憶手段7に記憶されているカメラパラメータ(カメラパラメータ初期値)が書き換えられる。 In the Levenberg-Marquardt method, the camera parameters (camera parameter initial values) stored in the camera parameter storage means 7 are rewritten by the camera parameters π obtained in steps a1 to a12 as described above.
画像生成手段15は、入力されたモデル(モデルに関するデータ、ワールド座標系)と、カメラパラメータ記憶手段7に記憶されているカメラパラメータπまたはカメラパラメータ初期値(初期カメラパラメータ)とに基づき、基準画像を生成するものである。例えば、この画像生成手段15は、まず、モデル上に存在する頂点群のワールド座標を、数式(2)に代入することで、透視投影を行い(投影変換して)、画像座標群を得る。
The
続いて、この画像生成手段15は、得られた画像座標群に基づき、図示を省略したフレームメモリに記憶されている画像座標群の位置の画素の画素値を変更したり、モデル上の領域に対応する複数の画素座標によって決定される多角形内のフレームメモリ上の画素値を変更したりすることで、基準画像を生成することができる。 Subsequently, the image generation means 15 changes the pixel value of the pixel at the position of the image coordinate group stored in the frame memory (not shown) based on the obtained image coordinate group, or changes the pixel value to the area on the model. The reference image can be generated by changing the pixel value on the frame memory in the polygon determined by the corresponding plurality of pixel coordinates.
また、この画像生成手段15は、点対応記憶手段11に記憶されている点対応(ワールド座標W(WX,WY,WZ)と、画像座標Q(qx,qy)との1つのレコード)を図形化し、基準画像として生成してもよい。 Further, the image generation means 15 is a point correspondence (world coordinates W (W X , W Y , W Z ) stored in the point correspondence storage means 11 and the image coordinates Q (q x , q y ). Two records) may be made into a figure and generated as a reference image.
ここで、この画像生成手段15において、点対応を図形化する方法の一例を以下に記載する。まず、数式(2)に示したワールド座標から画像座標への変換式を用いて、ワールド座標W(n)(WX (n),WY (n),WZ (n))を画像座標P^(n)(p^ x (n),p^ y (n))に変換する。続いて、図示を省略したフレームメモリ上において、画像座標P^(n)(p^ x (n),p^ y (n))から画像座標Q(n)(qx (n),qy (n))に至る矢印(相関関係を表す図形)を描画する。この矢印の描画は、点対応記憶手段11に記憶されている点対応の組(レコード)に対して実行される。
Here, an example of a method of making the point correspondence into a graphic in the image generation means 15 will be described below. First, the world coordinates W (n) (W X (n) , W Y (n) , W Z (n) ) are converted into image coordinates using the conversion formula from world coordinates to image coordinates shown in Equation (2). P ^ (n) (p ^ x (n) , p ^ y (n) ). Then, on the frame memory which is not shown, the image coordinates P ^ (n) (p ^ x (n), p ^ y (n)) from the image coordinates Q (n) (q x ( n), q y (n) Draw an arrow leading to (a figure representing a correlation). The drawing of the arrow is executed for the point-corresponding set (record) stored in the point-corresponding
なお、この画像生成手段15は、カメラパラメータ記憶手段7に記憶されているカメラパラメータπが更新される度に、新たに基準画像を生成するように設定されている。また、この画像生成手段15は、点対応記憶手段11に記憶されている点対応の組(レコード)が更新される度に、新たに基準画像を生成するように設定されている。
The
画像合成手段17は、画像入力手段3によって入力されたカメラ実写画像と、画像生成手段15によって生成された基準画像とを重畳して新たな画像(合成画像)を生成するものである。この画像合成手段17による合成画像の一例を図4に示す。図4は、合成画像の一例(キャリブレーション前[較正前])を示した図である。
The
この図4に示したように、モデルを透視投影した結果が太線によって表現されることで、基準画像が生成されており、この基準画像がカメラ実写画像に重畳して画像表示手段19に出力(表示)されている。また、点対応記憶手段11に記憶された点対応の組(レコード)がそれぞれ矢印として重畳されている。
As shown in FIG. 4, the result of perspective projection of the model is expressed by a thick line, so that a reference image is generated. This reference image is superimposed on the camera actual image and output to the image display means 19 ( Displayed). In addition, the point correspondence sets (records) stored in the point
また、ここで、カメラパラメータ算出手段13の動作の後、すなわち、カメラパラメータ記憶手段7に記憶されているカメラパラメータπが更新された場合の合成画像を図5に示す。図5は、合成画像の一例(キャリブレーション後[較正後])を示した図である。
この図5に示すように、カメラパラメータπが更新される度(更新の都度)に合成画像が更新され、画像表示手段19を介して、当該装置1のユーザにフィードバック、すなわち、視認可能にされる。
Here, FIG. 5 shows a composite image after the operation of the camera
As shown in FIG. 5, each time the camera parameter π is updated (every time it is updated), the composite image is updated and fed back to the user of the
同様に、当該装置1の操作手段(図示せず)による操作によって、点対応記憶手段11に記憶されている点対応の組(レコード)が更新された場合も、直ちに合成画像が更新され、当該装置1のユーザにフィードバック、すなわち、視認可能にされる。
Similarly, when a point correspondence set (record) stored in the point correspondence storage means 11 is updated by an operation by an operation means (not shown) of the
図1に戻って、カメラパラメータ算出較正装置1の構成の説明を続ける。
画像表示手段19は、画像合成手段17でカメラ実写画像と基準画像とが合成された合成画像を表示するものである。この画像表示手段19は、例えば、CRT(Cathode Ray Tube:ブラウン管)ディスプレイ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスである。
Returning to FIG. 1, the description of the configuration of the camera parameter
The image display means 19 displays a composite image obtained by combining the camera real image and the reference image by the image composition means 17. The image display means 19 is a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, or the like.
このカメラパラメータ算出較正装置1によれば、画像入力手段3によって、カメラ(図示せず)で撮影したカメラ実写映像が入力され、点対応入力手段5によって、画像入力手段3で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となる始点の画像座標(モデル基準点)と、実写画像上の終点の画像座標(実写対応点)との相関関係を、それぞれ画像座標にして入力される。続いて、画像生成手段15によって、入力されたモデル(モデルに関するデータ)が、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換されることで、点対応入力手段5で入力された始点の画像座標(モデル基準点)と、実写画像上の終点の画像座標(実写対応点)との相関関係を表す図形(矢印)が、基準画像として生成される。そして、画像合成手段17によって、画像生成手段15で生成された基準画像と、実写画像とが重畳されて合成画像として出力される。
According to the camera parameter calculation /
その際に、逆投影手段9によって、点対応入力手段5で入力された画像座標に基づいて、始点の画像座標(モデル基準点)のワールド座標(三次元座標)が算出され、点対応記憶手段11によって、逆投影手段9で算出された始点の画像座標(モデル基準点)のワールド座標(三次元座標)と、点対応入力手段5で入力された終点の画像座標(実写対応点)とを関連付けた点対応の組(レコード、点対応情報)として点対応記憶手段11に記憶され、カメラパラメータ算出手段13によって、点対応記憶手段11に記憶されている点対応の組(レコード)に基づいて、カメラパラメータが算出され、カメラパラメータ記憶手段7に記憶されたカメラパラメータ(初期カメラパラメータ)が較正(更新)される。このため、既存のパターンや構造物のモデル上の基準点(始点の画像座標)と、実写画像上の終点の画像座標とによって、モデルと実写画像との対応付けを効率的に行って、カメラパラメータのキャリブレーションを実行することができる。 At this time, the back projection means 9 calculates the world coordinates (three-dimensional coordinates) of the image coordinates (model reference point) of the starting point based on the image coordinates input by the point correspondence input means 5, and the point correspondence storage means. 11, the world coordinates (three-dimensional coordinates) of the start point image coordinates (model reference point) calculated by the back projection means 9 and the end point image coordinates (actual shooting corresponding points) input by the point correspondence input means 5 are obtained. Based on the point-corresponding set (record) stored in the point-corresponding storage means 11 by the camera parameter calculation means 13 as a correlated point-corresponding pair (record, point correspondence information). The camera parameters are calculated, and the camera parameters (initial camera parameters) stored in the camera parameter storage means 7 are calibrated (updated). For this reason, the model and the live-action image are efficiently associated with each other using the reference point (start image coordinate) on the model of the existing pattern or structure and the image coordinate of the end-point on the live-action image. Parameter calibration can be performed.
〈カメラパラメータ算出較正装置の動作〉
次に、図6に示すフローチャートを参照して、カメラパラメータ算出較正装置1の動作について説明する(適宜、図1参照)。
まず、カメラパラメータ算出較正装置1は、カメラパラメータ記憶手段7に外部から与えられる、または、予め設定されたカメラパラメータ初期値(初期カメラパラメータ)をセットして、点対応記憶手段11の記憶をすべてクリア(消去)する(ステップS1)。
<Operation of camera parameter calculation calibration device>
Next, the operation of the camera parameter
First, the camera parameter calculation /
続いて、カメラパラメータ算出較正装置1は、画像入力手段3によって、カメラ実写画像を入力し(ステップS2)、画像生成手段15によって、カメラパラメータ記憶手段7に記憶されているカメラパラメータ初期値に基づき、入力されたモデル上の点を投影し、画像合成手段17によって、カメラ実写画像上に重畳合成することで合成映像を得る。なお、カメラパラメータ算出較正装置1は、点対応記憶手段11に複数の点対応の組(レコード)である点対応群がある場合(入力された場合)には、画像生成手段15によって、この点対応群を図形(基準画像)に変換し、合成画像上にさらに重畳する(ステップS3)。こうして、合成された合成画像は、画像表示手段19に表示される。
Subsequently, the camera parameter calculation /
そして、カメラパラメータ算出較正装置1は、点対応入力手段5に点対応(始点の画像座標および終点の画像座標)が入力されたか否かを判定し(ステップS4)、入力されたと判定されなかった場合(ステップS4、No)にはステップS8に進み、入力されたと判定された場合(ステップS4、Yes)には点対応入力手段5により入力された点対応(始点の画像座標および終点の画像座標)をP(px,py)およびQ(qx,qy)に代入する(ステップS5)。
Then, the camera parameter calculation /
そうすると、カメラパラメータ算出較正装置1は、逆投影手段9によって、逆投影を実行し、始点の画像座標P(px,py)に対応するモデル上のワールド座標W(WX,WY,WZ)を算出する(ステップS6)。続いて、カメラパラメータ算出較正装置1は、点対応記憶手段11に、ワールド座標W(WX,WY,WZ)と、終点の画像座標Q(qx,qy)との組み、つまり、点対応の組(レコード)を記憶する(ステップS7)。
Then, the camera parameter calculation /
そして、カメラパラメータ算出較正装置1は、カメラパラメータ算出手段13にトリガ入力があったか否かを判定し(ステップS8)、トリガ入力があったと判定しなかった場合(ステップS8、No)にはステップS11に進み、入力されたと判定された場合(ステップS8、Yes)にはカメラパラメータ算出手段13によるカメラパラメータπの算出を実行する(ステップS9)。つまり、カメラパラメータ算出較正装置1は、点対応記憶手段11に記憶されている点対応群、つまり、複数のレコード(モデル上のワールド座標W(WX,WY,WZ)と、終点の画像座標Q(qx,qy)との組み)に基づいて、新たなカメラパラメータπを算出し、カメラパラメータ記憶手段7に記憶(上書き)する(ステップS10)。
Then, the camera parameter calculation /
その後、カメラパラメータ算出較正装置1は、処理(動作)を終了するか否かを判定し(ステップS11)、外部からの終了信号等によって、終了すると判定された場合(ステップS11、Yes)には処理を終了し、終了すると判定されなかった場合(ステップS11、No)にはステップS2に戻って、処理を続行する。
Thereafter, the camera parameter
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、カメラパラメータ算出較正装置1として説明したが、当該装置1の各構成の処理を汎用的または特殊なコンピュータ言語によって記述したカメラパラメータ算出較正プログラムとすることもできるし、各構成の処理を、カメラ実写画像等の情報を処理する一つずつの過程と捉えたカメラパラメータ算出較正方法とすることもできる。これらの場合、カメラパラメータ算出較正装置1と同様の効果を得ることができる。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the camera parameter
また、カメラパラメータ算出較正装置1は、サッカー場におけるゴールエリア(ゴールポスト)やペナルティエリアの形状に基づいたモデル(幾何形状と一致するモデル)と、実際に撮影したゴールエリア(ゴールポスト)やペナルティエリアの実写画像とによって、カメラパラメータをキャリブレーションすることも可能である。さらに、ラグビー場や、テニスコート、バスケットボールコート等、幾何形状と一致するモデルが得られれば、カメラパラメータ算出較正装置1を、カメラパラメータのキャリブレーションに適用することは可能である。
The camera parameter calculation /
1 カメラパラメータ算出較正装置
3 画像入力手段(実写画像入力手段)
5 画像生成手段
7 カメラパラメータ記憶手段
9 逆投影手段
11 点対応記憶手段(点対応情報記憶手段)
13 カメラパラメータ算出手段
15 画像生成手段(基準画像生成手段)
17 画像合成手段(合成画像出力手段)
19 画像表示手段(合成画像表示手段)
1 Camera parameter
5 Image generation means 7 Camera parameter storage means 9 Back projection means 11 Point correspondence storage means (point correspondence information storage means)
13 camera parameter calculation means 15 image generation means (reference image generation means)
17 Image composition means (composition image output means)
19 Image display means (composite image display means)
Claims (2)
前記カメラパラメータの少なくとも1つの初期値である初期カメラパラメータを記憶すると共に、前記算出結果に従って較正されるカメラパラメータを記憶するカメラパラメータ記憶手段と、
前記カメラで撮像した実写画像を入力する実写画像入力手段と、
この実写画像入力手段で入力された実写画像に含まれている幾何形状と一致するモデル上において基準となるモデル基準点と、前記実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する点対応入力手段と、
前記モデルに関するデータが入力され、前記カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータにより、前記モデルに関するデータを投影変換することで、前記点対応入力手段で入力されたモデル基準点と、前記実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する基準画像生成手段と、
この基準画像生成手段で生成された基準画像と、前記実写画像とを重畳して合成画像として出力する合成画像出力手段と、
この合成画像出力手段で出力された合成画像を表示する合成画像表示手段と、
この合成画像表示手段で表示された合成画像が参照されて、前記カメラの投影中心から始まり、前記点対応入力手段で入力された前記実写対応点の画像座標を通る仮想的な半直線を算出し、この半直線と実空間上の距離が最も近いモデル基準点の三次元座標を算出する逆投影手段と、
この逆投影手段で算出されたモデル基準点の三次元座標と、前記点対応入力手段で入力された前記実写対応点の画像座標とを関連付けた点対応情報を記憶する点対応情報記憶手段と、
この点対応情報記憶手段に記憶されている点対応情報に基づいて、前記カメラパラメータを算出し、前記カメラパラメータ記憶手段に記憶されたカメラパラメータを較正するカメラパラメータ算出手段と、
を備えることを特徴とするカメラパラメータ算出較正装置。 A camera parameter data calculation calibration device that calculates at least one of camera parameters including a camera position coordinate, a shooting direction, and a focal length, and calibrates the camera parameter according to the calculated result,
Camera parameter storage means for storing an initial camera parameter, which is at least one initial value of the camera parameter, and storing a camera parameter calibrated according to the calculation result;
A photographed image input means for inputting a photographed image captured by the camera;
The correlation between the model reference point serving as a reference on the model that matches the geometric shape included in the photographed image input means by the photographed image input means and the photographed corresponding point on the photographed image is set as an image coordinate. Point corresponding input means to input,
Data relating to the model is input, and the model reference point input by the point-corresponding input means is obtained by projecting transformation of the data relating to the model according to the initial camera parameters or camera parameters stored in the camera parameter storage means. A reference image generating means for generating a figure representing a correlation with a corresponding point on the live-action image as a reference image;
A composite image output unit that superimposes the reference image generated by the reference image generation unit and the photographed image and outputs it as a composite image;
Composite image display means for displaying the composite image output by the composite image output means;
The composite image displayed by the composite image display means is referred to, and a virtual half line starting from the projection center of the camera and passing through the image coordinates of the real corresponding point input by the point correspondence input means is calculated. and backprojection means for calculating the half line and the three-dimensional coordinates of distance closest model reference point in the real space,
Point correspondence information storage means for storing point correspondence information associating the three-dimensional coordinates of the model reference point calculated by the back projection means and the image coordinates of the actual shooting corresponding point input by the point correspondence input means;
Camera parameter calculation means for calculating the camera parameters based on the point correspondence information stored in the point correspondence information storage means and calibrating the camera parameters stored in the camera parameter storage means;
A camera parameter calculation calibration apparatus comprising:
前記カメラで撮像した実写画像を入力する実写画像入力手段、
この実写画像入力手段で入力された実写画像に含まれている幾何形状と一致するモデル上において基準となるモデル基準点と、前記実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する点対応入力手段、
前記モデルに関するデータが入力され、前記カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータにより、前記モデルに関するデータを投影変換することで、前記点対応入力手段で入力されたモデル基準点と、前記実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する基準画像生成手段、
この基準画像生成手段で生成された基準画像と、前記実写画像とを重畳して合成画像として出力する合成画像出力手段、
この合成画像出力手段で出力された合成画像を表示する合成画像表示手段と、
この合成画像表示手段で表示された合成画像が参照されて、前記カメラの投影中心から始まり、前記点対応入力手段で入力された前記実写対応点の画像座標を通る仮想的な半直線を算出し、この半直線と実空間上の距離が最も近いモデル基準点の三次元座標を算出する逆投影手段、
この逆投影手段で算出されたモデル基準点の三次元座標と、前記点対応入力手段で入力された前記実写対応点の画像座標とを関連付けた点対応情報を前記点対応情報記憶手段に記憶させる点対応情報記憶制御手段、
この点対応情報記憶手段に記憶されている点対応情報に基づいて、前記カメラパラメータを算出し、前記カメラパラメータ記憶手段に記憶されたカメラパラメータを較正するカメラパラメータ算出手段、
として機能させることを特徴とするカメラパラメータ算出較正プログラム。 An initial camera parameter which is at least one initial value of the camera parameter in order to calculate at least one of the camera parameters including the camera position coordinates, the shooting direction, and the focal length, and to calibrate the camera parameters according to the calculated calculation result And a computer comprising a camera parameter storage means for storing camera parameters calibrated according to the calculation result, and a point correspondence information storage means,
A photographed image input means for inputting a photographed image captured by the camera;
The correlation between the model reference point serving as a reference on the model that matches the geometric shape included in the photographed image input means by the photographed image input means and the photographed corresponding point on the photographed image is set as an image coordinate. Point corresponding input means,
Data relating to the model is input, and the model reference point input by the point-corresponding input means is obtained by projecting transformation of the data relating to the model according to the initial camera parameters or camera parameters stored in the camera parameter storage means. , A reference image generating means for generating a figure representing a correlation with a corresponding point on the live-action image as a reference image;
A composite image output unit that superimposes the reference image generated by the reference image generation unit and the photographed image and outputs it as a composite image;
Composite image display means for displaying the composite image output by the composite image output means;
The composite image displayed by the composite image display means is referred to, and a virtual half line starting from the projection center of the camera and passing through the image coordinates of the real corresponding point input by the point correspondence input means is calculated. , backprojection means for calculating the half line and the three-dimensional coordinates of distance closest model reference point in the real space,
Point correspondence information that associates the three-dimensional coordinates of the model reference point calculated by the back projection unit with the image coordinates of the actual shooting corresponding point input by the point correspondence input unit is stored in the point correspondence information storage unit. Point correspondence information storage control means,
Camera parameter calculation means for calculating the camera parameters based on the point correspondence information stored in the point correspondence information storage means and calibrating the camera parameters stored in the camera parameter storage means;
A camera parameter calculation calibration program characterized by being made to function as:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004209846A JP4568050B2 (en) | 2004-07-16 | 2004-07-16 | Camera parameter calculation calibration apparatus and camera parameter calculation calibration program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004209846A JP4568050B2 (en) | 2004-07-16 | 2004-07-16 | Camera parameter calculation calibration apparatus and camera parameter calculation calibration program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006033449A JP2006033449A (en) | 2006-02-02 |
JP4568050B2 true JP4568050B2 (en) | 2010-10-27 |
Family
ID=35899261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004209846A Expired - Fee Related JP4568050B2 (en) | 2004-07-16 | 2004-07-16 | Camera parameter calculation calibration apparatus and camera parameter calculation calibration program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4568050B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019236208A1 (en) * | 2018-06-04 | 2019-12-12 | Waymo Llc | Multistage camera calibration |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4855278B2 (en) * | 2007-01-17 | 2012-01-18 | アルパイン株式会社 | Camera parameter acquisition device |
FR2911707B1 (en) * | 2007-01-22 | 2009-07-10 | Total Immersion Sa | METHOD AND DEVICES FOR INCREASED REALITY USING REAL - TIME AUTOMATIC TRACKING OF TEXTURED, MARKER - FREE PLANAR GEOMETRIC OBJECTS IN A VIDEO STREAM. |
JP5566281B2 (en) * | 2008-03-03 | 2014-08-06 | Toa株式会社 | Apparatus and method for specifying installation condition of swivel camera, and camera control system provided with the apparatus for specifying installation condition |
JP2018014579A (en) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | Camera tracking device and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350239A (en) * | 1999-06-08 | 2000-12-15 | Sony Corp | Camera.calibration device and method, image processing unit and method, program serving medium and camera |
JP2001319218A (en) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | Image monitoring device |
JP2002158915A (en) * | 2000-09-05 | 2002-05-31 | Inst Of Physical & Chemical Res | Correction method of lens distortion of image |
-
2004
- 2004-07-16 JP JP2004209846A patent/JP4568050B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350239A (en) * | 1999-06-08 | 2000-12-15 | Sony Corp | Camera.calibration device and method, image processing unit and method, program serving medium and camera |
JP2001319218A (en) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | Image monitoring device |
JP2002158915A (en) * | 2000-09-05 | 2002-05-31 | Inst Of Physical & Chemical Res | Correction method of lens distortion of image |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019236208A1 (en) * | 2018-06-04 | 2019-12-12 | Waymo Llc | Multistage camera calibration |
Also Published As
Publication number | Publication date |
---|---|
JP2006033449A (en) | 2006-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3805231B2 (en) | Image display apparatus and method, and storage medium | |
JP4832878B2 (en) | Image composition processing apparatus and method | |
JP2011223409A (en) | Processing target image generation device, processing target image generation method, and operation support system | |
JP4010754B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP4677281B2 (en) | Image processing method and image processing apparatus | |
JP2720920B2 (en) | A method for synthesizing real images and computer graphics in an image processing system | |
CN112399158A (en) | Projection image calibration method and device and projection equipment | |
JP2002209208A (en) | Image processing unit and its method, and storage medium | |
JP2007072537A (en) | 360-degree image photographing device | |
JP2003219324A (en) | Image correction data calculation method, image correction data calculation apparatus, and multi- projection system | |
WO2011129277A1 (en) | Image generation device and operation support system | |
KR20130018868A (en) | Image generation device and operation support system | |
JP2000011172A (en) | Method and device for generating virtual environment and recording medium recording virtual environment generation program | |
JP3245336B2 (en) | Modeling method and modeling system | |
JP4746717B2 (en) | Image generation system, image generation method, computer program, and recording medium on which computer program is recorded | |
KR100596976B1 (en) | apparatus and method for correcting distorted image and image display system using it | |
JP2008146497A (en) | Image processor and image processing method | |
JP4568050B2 (en) | Camera parameter calculation calibration apparatus and camera parameter calculation calibration program | |
JPH10116359A (en) | Camera parameter arithmetic unit and image composing device | |
CN115311133A (en) | Image processing method and device, electronic equipment and storage medium | |
JP3840171B2 (en) | Image display apparatus and method, and storage medium | |
CN114882194A (en) | Method and device for processing room point cloud data, electronic equipment and storage medium | |
JP5075659B2 (en) | Object trajectory calculation device and program thereof | |
CN113822936A (en) | Data processing method and device, computer equipment and storage medium | |
JP3052926B2 (en) | 3D coordinate measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100806 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140813 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |