JP2010025569A - Camera parameter identification apparatus, method, and program - Google Patents
Camera parameter identification apparatus, method, and program Download PDFInfo
- Publication number
- JP2010025569A JP2010025569A JP2008183589A JP2008183589A JP2010025569A JP 2010025569 A JP2010025569 A JP 2010025569A JP 2008183589 A JP2008183589 A JP 2008183589A JP 2008183589 A JP2008183589 A JP 2008183589A JP 2010025569 A JP2010025569 A JP 2010025569A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vanishing point
- image
- point
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 description 31
- 230000014509 gene expression Effects 0.000 description 24
- 239000013598 vector Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、カメラパラメータ特定装置および方法ならびにプログラムに関し、特に、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラの焦点距離と当該基準平面に対するカメラの視線の角度とを含むカメラパラメータを求める、カメラパラメータ特定装置および方法ならびにコンピュータ用プログラムに関する。 The present invention relates to a camera parameter specifying device, method, and program, and in particular, a focal length of a camera that is installed obliquely with respect to a reference plane and has a fixed shooting range, and an angle of a line of sight of the camera with respect to the reference plane. The present invention relates to a camera parameter specifying apparatus and method and a computer program for obtaining a camera parameter including:
この種の技術分野に関する従来技術として、例えば特許文献１に開示されたものがある。この従来技術によれば、まず、人の身長の統計的特性値が、予め登録される。そして、地面を含む領域がカメラで撮影され、このカメラによる撮影画像中の歩行者の着地部および頭部の座標データが複数収集される。さらに、これら複数の座標データが、歩行者の身長と、カメラの姿勢角と、カメラ（レンズ）の焦点距離と、カメラの位置と、を含む関係式に代入されることで、当該関係式が複数得られる。そして、これら複数の関係式に統計的処理が施されることで、歩行者の身長の統計的特性値を含む式が求められ、この式における歩行者の身長の統計的特性値に予め登録された人の身長の統計的特性値が代入されることで、カメラの姿勢角と、カメラの焦点距離と、カメラの位置と、の関係が得られる。この関係に基づいて、当該カメラの姿勢角と、カメラの焦点距離と、カメラの位置と、のいずれか１つ以上の値が算出される。
As a prior art regarding this type of technical field, for example, there is one disclosed in
しかし、上述の従来技術では、カメラの姿勢角と、カメラ焦点距離と、カメラの位置と、を含むカメラパラメータを求めるために、当該カメラによる撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要がある。このような処理（作業）を行うのは、当然に面倒であり、それ相応の労力や時間が掛かる。しかも、当該カメラパラメータを求めるための式には、歩行者の身長の統計的特性値が含まれており、この歩行者の身長の統計的特性値として、予め登録された人の身長の統計的特性値が代入され、言わば推定値が代入される。従って、このような推定値が代入された式によっては、当然ながら正確なカメラパラメータを求めることはできない。 However, in the above-described prior art, in order to obtain camera parameters including the camera attitude angle, the camera focal length, and the camera position, the coordinate data of the landing part and the head of the pedestrian from the image captured by the camera. It is necessary to statistically process a plurality of relational expressions to which a plurality of coordinate data are substituted and a plurality of relational expressions to which the plurality of coordinate data are substituted. It is naturally troublesome to perform such processing (work), and it takes corresponding labor and time. Moreover, the formula for obtaining the camera parameter includes a statistical characteristic value of the height of the pedestrian, and the statistical characteristic value of the height of the person registered in advance as the statistical characteristic value of the height of the pedestrian. A characteristic value is substituted, that is, an estimated value is substituted. Accordingly, it is natural that an accurate camera parameter cannot be obtained depending on an expression in which such an estimated value is substituted.
そこで、本発明は、従来よりも簡単かつ正確にカメラパラメータを求めることができるカメラパラメータ特性装置および方法ならびにコンピュータ用プログラムを提供することを、目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a camera parameter characteristic apparatus and method and a computer program that can determine a camera parameter more easily and accurately than in the past.
この目的を達成するために、本発明のうちの第１発明は、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対する当該カメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定装置である。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得手段を、具備する。そして、この画像取得手段によって取得された撮影画像に基づいて、当該撮影画像を含む２次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定手段をも、具備する。さらに、この位置特定手段によって特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算手段をも、具備する。 In order to achieve this object, the first invention of the present invention is applied to a camera installed so as to be inclined with respect to a reference plane and having a fixed photographing range. It is a camera parameter specifying device for obtaining camera parameters including a distance and an angle of the line of sight of the camera with respect to a reference plane. Specifically, the photographed image is acquired from the camera when an index capable of specifying the vertical vanishing point and the horizontal vanishing point with respect to the reference plane is present in the photographing range by the camera on the photographed image by the camera. Image acquisition means is provided. Then, based on the captured image acquired by the image acquisition means, a position specifying means for specifying the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional area including the captured image is also provided. In addition, a parameter calculation means for obtaining camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point specified by the position specifying means is also provided.
即ち、本第１発明では、カメラが、基準平面に対して斜めに向くように設定されており、当該カメラの撮影範囲は、固定されている。そして、このカメラによる撮影範囲内に指標が存在するときの撮影画像が、画像取得手段によって、当該カメラから取得される。この画像取得手段によって取得された撮影画像上では、基準平面に対する垂直消失点および水平消失点の特定が可能である。このため、指標は、例えば基準平面に対して垂直な方向に延伸すると共に、互いに距離を置いて平行な複数の第１直線を形成する部分を有しており、これら複数の第１直線は、撮影画像上において、いわゆる３点透視歪によって、互いに非平行に見える。そして、この互いに非平行に見える各第１直線（の像）の延長線が収束する点が、垂直消失点とされる。併せて、指標は、基準平面に対して平行な方向に延伸すると共に、互いに距離を置いて平行な複数の第２直線を形成する部分を有しており、これら複数の第２直線もまた、撮影画像上において、互いに非平行に見える。そして、この互いに非平行に見える各第２直線の延長線が収束する点が、水平消失点とされる。このような撮影画像に基づいて、当該撮影画像を含む２次元領域における垂直消失点および水平消失点それぞれの位置が、位置特定手段によって、特定される。そして、これら垂直消失点および水平消失点それぞれの位置に基づいて、パラメータ演算手段が、カメラパラメータを求める。 That is, in the first invention, the camera is set so as to be inclined with respect to the reference plane, and the shooting range of the camera is fixed. Then, a photographed image when the index is present within the photographing range by the camera is obtained from the camera by the image obtaining means. On the captured image acquired by the image acquisition means, it is possible to specify the vertical vanishing point and the horizontal vanishing point with respect to the reference plane. For this reason, the indicator has, for example, a portion that extends in a direction perpendicular to the reference plane and that forms a plurality of first straight lines that are parallel to each other at a distance from each other. On the captured image, the images appear non-parallel to each other due to so-called three-point perspective distortion. A point where the extended lines of the first straight lines (images) that appear to be non-parallel to each other converge is defined as a vertical vanishing point. In addition, the indicator has a portion that extends in a direction parallel to the reference plane and forms a plurality of second straight lines that are parallel to each other at a distance from each other. They appear non-parallel to each other on the captured image. A point where the extended lines of the second straight lines that appear to be non-parallel to each other converge is defined as a horizontal vanishing point. Based on such a photographed image, the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional region including the photographed image are identified by the position identifying means. Then, based on the positions of the vertical vanishing point and the horizontal vanishing point, the parameter calculation means obtains camera parameters.
なお、カメラは、撮影画像の水平方向が基準平面に平行を成すように設置されるのが、望ましい。この場合、撮影画像の中心を通りかつ当該撮影画像の垂直方向に沿って延伸する直線上に、垂直消失点が存在するようになる。これにより、少なくとも垂直消失点の位置の特定が容易になり、ひいてはカメラパラメータの特定が容易になる。 Note that the camera is preferably installed so that the horizontal direction of the captured image is parallel to the reference plane. In this case, a vertical vanishing point exists on a straight line that passes through the center of the captured image and extends along the vertical direction of the captured image. Thereby, at least the position of the vertical vanishing point can be easily specified, and hence the camera parameter can be easily specified.
これに対して、撮影画像の水平方向が基準平面に非平行であるとき、具体的にはカメラが視線を中心として回転（言わばロール）しているときには、次のようにすればよい。即ち、撮影画像の水平方向の基準平面に対する偏角を求める偏角演算手段と、この偏角演算手段によって求められた偏角に基づいて当該偏角がゼロであると仮定したときの垂直消失点および水平消失点それぞれの位置を仮想する位置仮想手段と、をさらに具備する。そして、この位置仮想手段によって仮想された垂直消失点および水平消失点それぞれの位置に基づいて、パラメータ演算手段が、カメラパラメータを求めるようにすればよい。 On the other hand, when the horizontal direction of the captured image is not parallel to the reference plane, specifically, when the camera is rotating (that is, rolling) around the line of sight, the following may be performed. That is, a declination calculation means for obtaining a declination with respect to a reference plane in the horizontal direction of the captured image, and a vertical vanishing point when it is assumed that the declination is zero based on the declination obtained by the declination calculation means And position virtual means for virtualizing the position of each horizontal vanishing point. Then, the parameter calculation means may obtain the camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point virtualized by the position virtual means.
また、本第１発明においては、撮影画像を含む２次元領域に２次元の画像座標系が設定されてもよい。この場合、位置特定手段は、当該２次元領域における垂直消失点および水平消失点それぞれの位置を、画像座標系の座標値で特定するものとする。 In the first invention, a two-dimensional image coordinate system may be set in a two-dimensional area including a captured image. In this case, the position specifying means specifies the position of each of the vertical vanishing point and the horizontal vanishing point in the two-dimensional area with the coordinate values of the image coordinate system.
さらに、撮影範囲を含む３次元空間に３次元の世界座標系が設定されている場合には、この世界座標系の座標値を構成する３つの要素値のうち少なくとも１つが既知である３次元空間における任意の２点間の距離を基準距離として設定する基準距離設定手段と、この設定された基準距離に基づいて基準平面からカメラまでの距離を含む３次元空間における当該カメラの位置を求めるカメラ位置演算手段と、を備えてもよい。そして、このカメラの位置をもカメラパラメータに加えて、当該カメラパラメータに基づき、画像座標系および世界座標系の一方における任意の座標値に対応する他方における座標値を求める、つまり画像座標系および世界座標系の間で相互変換を行う、座標変換手段を、さらに備えてもよい。 Further, when a three-dimensional world coordinate system is set in the three-dimensional space including the imaging range, the three-dimensional space in which at least one of the three element values constituting the coordinate value of the world coordinate system is known. A reference distance setting means for setting a distance between any two points as a reference distance, and a camera position for obtaining a position of the camera in a three-dimensional space including a distance from the reference plane to the camera based on the set reference distance And an arithmetic means. Then, the camera position is added to the camera parameter, and based on the camera parameter, a coordinate value in the other corresponding to an arbitrary coordinate value in one of the image coordinate system and the world coordinate system is obtained, that is, the image coordinate system and the world You may further provide the coordinate conversion means which performs mutual conversion between coordinate systems.
この構成によれば、基準平面からカメラまでの距離を含む当該カメラの位置が、カメラパラメータに加えられる。そして、このカメラパラメータを用いることによって、画像座標系および世界座標系間での相互変換、いわゆる座標変換が、可能となる。 According to this configuration, the position of the camera including the distance from the reference plane to the camera is added to the camera parameter. By using this camera parameter, mutual conversion between the image coordinate system and the world coordinate system, so-called coordinate conversion, becomes possible.
なお、カメラの位置、特に基準平面から当該カメラまでの距離、が不明であっても、これを１つの定数とみなすことによって、世界座標系については、スケールを持たない、言わば任意単位の座標系として、取り扱うことができる。このような任意単位の世界座標系においては、個々の座標値がどのようなスケール（単位）に基づくのかは不明であるものの、例えば或る２点間の距離と別の２点間の距離との比を求めることはできる。具体的には、撮影画像中の或る建物と別の建物との高さの比を求めたり、若しくは或る建物の高さに比べて或る人間の身長がどの程度であるのかを推定したり、さらには或る人間等の移動物体が移動した距離を任意の２点間の距離と比較して求めたりすることができる。 Even if the position of the camera, particularly the distance from the reference plane to the camera, is unknown, the world coordinate system has no scale, that is, an arbitrary unit coordinate system by considering this as one constant. Can be handled. In such an arbitrary unit world coordinate system, it is not clear what scale (unit) each coordinate value is based on, but for example, the distance between two points and the distance between two points. The ratio can be determined. Specifically, the ratio of the height of one building to another building in the captured image is calculated, or the height of a certain person is estimated compared to the height of a certain building. Further, the distance traveled by a moving object such as a person can be obtained by comparing with the distance between any two points.
ここで、世界座標系は、これを構成する３つの座標軸のうちの１つが基準平面に対して垂直に延伸するように設定されるのが、望ましい。そして、この基準平面に対して垂直に延伸する座標軸上に、カメラが設置されるのが、望ましい。さらに、上述の基準距離を規定する任意の２点のうちの少なくとも一方は、その世界座標系における座標値を構成する３つの要素値のうち当該基準平面に対して垂直に延伸する座標軸の値が既知であるのが、望ましい。厳密には、この条件下で、基準平面からカメラまでの距離を含む当該カメラの位置が求められる。 Here, it is desirable that the world coordinate system is set so that one of the three coordinate axes constituting the world coordinate system extends perpendicularly to the reference plane. It is desirable that the camera is installed on a coordinate axis extending perpendicular to the reference plane. Furthermore, at least one of the two arbitrary points that define the reference distance described above has a coordinate axis value extending perpendicularly to the reference plane among the three element values constituting the coordinate value in the world coordinate system. It is desirable to be known. Strictly speaking, under this condition, the position of the camera including the distance from the reference plane to the camera is obtained.
続いて、本発明のうちの第２発明は、第１発明に対応する方法発明である。即ち、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対するカメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定方法である。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得過程を、具備する。そして、この画像取得過程で取得された撮影画像に基づいて、当該撮影画像を含む２次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定過程をも、具備する。さらに、この位置特定過程で特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算過程をも、具備する。 Subsequently, the second invention of the present invention is a method invention corresponding to the first invention. That is, the present invention is applied to a camera that is installed obliquely with respect to a reference plane and whose shooting range is fixed, and includes a focal length of the camera and an angle of the line of sight of the camera with respect to the reference plane. This is a camera parameter specifying method for obtaining a parameter. Specifically, the photographed image is acquired from the camera when an index capable of specifying the vertical vanishing point and the horizontal vanishing point with respect to the reference plane is present in the photographing range by the camera on the photographed image by the camera. An image acquisition process is provided. A position specifying process for specifying the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional region including the photographed image based on the photographed image obtained in the image obtaining process is also provided. Furthermore, a parameter calculation process for obtaining camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point specified in the position specifying process is also provided.
本発明のうちの第３発明は、第１の発明に対応するコンピュータ用プログラムに関する発明である。即ち、基準平面に対して斜めに向くように設置されかつ撮影範囲が固定されたカメラに適用されるものであり、当該カメラの焦点距離と、基準平面に対するカメラの視線の角度と、を含むカメラパラメータを求めるカメラパラメータ特定プログラムである。具体的には、カメラによる撮影画像上で基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が当該カメラによる撮影範囲内に存在するときの当該撮影画像を当該カメラから取得する画像取得手順を、コンピュータに実行させる。さらに、この画像取得手順で取得された撮影画像に基づいて、当該撮影画像を含む２次元領域における垂直消失点および水平消失点それぞれの位置を特定する位置特定手順と、この位置特定手順で特定された垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータを求めるパラメータ演算手順と、をもコンピュータに実行させる。 A third invention of the present invention is an invention relating to a computer program corresponding to the first invention. That is, the present invention is applied to a camera that is installed obliquely with respect to a reference plane and whose shooting range is fixed, and includes a focal length of the camera and an angle of the line of sight of the camera with respect to the reference plane. This is a camera parameter specifying program for obtaining parameters. Specifically, the photographed image is acquired from the camera when an index capable of specifying the vertical vanishing point and the horizontal vanishing point with respect to the reference plane is present in the photographing range by the camera on the photographed image by the camera. The computer executes the image acquisition procedure. Further, based on the captured image acquired by the image acquisition procedure, a position specifying procedure for specifying the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional region including the captured image, and the position specifying procedure. The computer also executes a parameter calculation procedure for obtaining camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point.
上述したように、本発明によれば、カメラによる撮影範囲内に指標が存在するときの撮影画像に基づいて、当該撮影画像を含む２次元領域における垂直消失点および水平消失点それぞれの位置が特定され、これら垂直消失点および水平消失点それぞれの位置に基づいて、カメラパラメータが求められる。つまり、カメラの撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要のある上述した従来技術とは異なり、そのような処理（作業）を必要としない。また、当該従来技術とは異なり、カメラパラメータを求めるための式に推定値が代入されることもない。ゆえに、従来よりも簡単かつ正確にカメラパラメータを求めることができる。 As described above, according to the present invention, the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional region including the photographed image are specified based on the photographed image when the index exists within the photographing range of the camera. Then, camera parameters are obtained based on the positions of the vertical vanishing point and the horizontal vanishing point. In other words, the above-mentioned conventional technique needs to collect a plurality of coordinate data of a pedestrian's landing part and head from a photographed image of a camera and perform statistical processing on a plurality of relational expressions into which the plurality of coordinate data are substituted. Unlike the above, such processing (work) is not required. Unlike the related art, the estimated value is not substituted into the equation for obtaining the camera parameter. Therefore, camera parameters can be obtained more easily and accurately than in the past.
本発明の一実施形態について、図１に示すカメラキャリブレーションシステム１０を例に挙げて説明する。
An embodiment of the present invention will be described by taking the
同図に示すように、本実施形態に係るカメラキャリブレーションシステム１０は、パーソナルコンピュータ（以下、ＰＣと言う。）１２を備えており、このＰＣ１２には、撮影範囲（視野）が固定された固定カメラ（以下、単にカメラと言う。）１４が接続されている。ＰＣ１２は、自身にインストールされたカメラキャリブレーションプログラムを実行することによって、カメラ１４のキャリブレーションを行うカメラキャリブレーション装置として機能する。なお、カメラキャリブレーションプログラムは、公知のＣＤ−ＲＯＭ（Compact Disk Read Only
Memory）やＤＶＤ（Digital
Versatile Disk）等の適当な記録媒体１６を介して、供給される。また、ＰＣ１２には、これに各種命令を入力するための命令入力装置１８が付属されている。この命令入力装置１８としては、例えばマウス２０およびキーボード２２があるが、これ以外のものであってもよい。さらに、ＰＣ１２には、表示手段としての例えば液晶型のディスプレイ２４も付属されており、このディスプレイ２４には、後述するようにカメラ１４による撮影画像を含む各種情報が表示される。
As shown in the figure, a
Memory) and DVD (Digital
The
カメラ１４は、図２に示すように、水平な地面３０を基準平面とする実空間に設置される。具体的には、地面３０から高さηの位置にレンズ主点Ｏｃが置かれ、かつ、視線（光軸）３２が地面３０に対して斜めに向き、さらに、後述するように撮影画像の水平方向が実空間の水平方向と平行を成すように、設置される。そして、カメラキャリブレーションが行われる際には、地面３０上であって、カメラ１４による撮影範囲内に、２つの指標ＡおよびＢが設置される。これらの指標ＡおよびＢは、それぞれ地面３０から上方に向かって垂直に延伸する物体であり、それぞれの長さ寸法ＤａおよびＤｂは、既知でありかつ互いに同じ（Ｄａ＝Ｄｂ）である。このような指標ＡおよびＢとしては、例えば互いに同じ身長の人間が、適当である。そして、これらの指標ＡおよびＢは、カメラ１４のレンズ主点Ｏｃから距離（厳密にはカメラ１４の視線３２を含む鉛直面（地面３０に垂直な平面）に射影された場合のレンズ主点Ｏｃからの距離）も方向も互いに異なる位置に設置され、つまり、後述する垂直消失点Ｐｖおよび水平消失点Ｐｈが特定可能となるように設置される。
As shown in FIG. 2, the
ここで、本実施形態におけるカメラキャリブレーションとは、カメラ１４の焦点距離ｆ，俯角ρおよび設置高さηを、カメラパラメータとして求めることを言う。なお、カメラ１４の焦点距離ｆは、レンズ主点Ｏｃからカメラ１４内の撮像素子３４の撮像面Ｃｓまでの距離であり、俯角ρは、水平面（地面３０）に対する視線３２の角度である。設置高さηは、上述したように地面３０からレンズ主点Ｏｃまでの距離である。また、本実施形態におけるカメラキャリブレーションでは、カメラ１４の水平画角θｈおよび垂直画角θｖも、カメラパラメータとして併せて求められる。このようなカメラキャリブレーションは、次の要領で実現される。
Here, camera calibration in the present embodiment refers to obtaining the focal length f, depression angle ρ, and installation height η of the
即ち、今、図２の状態において、例えば図３に示すような撮影画像が得られる、つまり上述したディスプレイ２４に表示される、と仮定する。なお、この図３における格子模様３６は、各指標ＡおよびＢが地面３０上の互いに異なる位置に配置されていること、撮影画像の水平方向が実空間の水平方向と平行を成すようにカメラ１４が設置されていること、を表す架空のものである。この図３から分かるように、撮影画像上の各指標ＡおよびＢ（の像）は、いわゆる３点透視歪によって、いずれも（撮影画像の水平方向において中心から外れた位置に存在する限り）斜めに傾いて表示されると共に、（撮影画像の垂直方向において互いに異なる位置に存在する限り）互いの大きさが異なって表示される。
That is, it is assumed that a photographed image as shown in FIG. 3, for example, is obtained in the state shown in FIG. 2, that is, displayed on the display 24 described above. Note that the
このような撮影画像において、図４に示すように、２次元の画像座標系が、設定される。具体的には、撮影画像の中心Ｏｉが、原点とされる。そして、この原点Ｏｉを通りかつ撮影画像の水平方向に沿って延伸するように、Ｘｉ軸が設定され、当該原点ＯｉにおいてＸｉ軸と直交するように、Ｙｉ軸が設定される。なお、この画像座標系は、撮影画像上に限らず、当該撮影画像を外れた範囲にも、つまり当該撮影画像を含む広い２次元領域に、設定される。そして、この画像座標系において、一方の指標Ａの頂点Ｐｕａと底点Ｐｄａとを通る直線３８と、他方の指標Ｂの頂点Ｐｕｂと底点Ｐｄｂとを通る直線４０と、の交点Ｐｖが、特定される。この交点Ｐｖは、いわゆる垂直消失点であり、画像座標系の垂直軸であるＹｉ軸上に存在する。併せて、各指標ＡおよびＢの頂点ＰｕａおよびＰｕｂを通る直線４２と、当該各指標ＡおよびＢの底点ＰｄａおよびＰｄｂを通る直線４４と、の交点Ｐｈが、特定される。この交点Ｐｈは、水平消失点であり、画像座標系の水平軸であるＸｉ軸を挟んで、垂直消失点Ｐｖとは反対側に存在する。そして、これらの消失点ＰｖおよびＰｈそれぞれの画像座標値（Ｘｉ，Ｙｉ）に基づいて、詳しくは、それぞれの消失点ＰｖおよびＰｈからＸｉ軸までの距離βおよびγに基づいて、焦点距離ｆおよび俯角ρが求められ、さらには、設置高さη，水平画角θｈおよび垂直画角θｖが求められる。
In such a captured image, a two-dimensional image coordinate system is set as shown in FIG. Specifically, the center Oi of the captured image is set as the origin. Then, the Xi axis is set so as to extend through the origin Oi and along the horizontal direction of the photographed image, and the Yi axis is set so as to be orthogonal to the Xi axis at the origin Oi. This image coordinate system is set not only on the photographed image but also in a range outside the photographed image, that is, in a wide two-dimensional area including the photographed image. In this image coordinate system, the intersection Pv between the
このために、まず、図５に示すように、カメラ１４のレンズ主点Ｏｃと、このレンズ主点Ｏｃに関して上述した撮像面Ｃｓと共役（点対称）を成す等価的な撮像面Ｃｓ’と、各指標ＡおよびＢとの、相互の位置関係を考える。なお、上述したように、各指標ＡおよびＢは、いずれも地面３０から上方に向かって垂直に延伸しているので、これら指標Ａの延伸方向（線分ＰｕａＰｄａ）と指標Ｂの延伸方向（線分ＰｕｂＰｄｂ）とは、互いに平行である。ここで、図６に示すように、一方の指標Ａの頂点Ｐｕａおよび底点Ｐｄａ，ならびにレンズ主点Ｏｃを含む平面Ｓａを、想定する。併せて、等価撮像面Ｃｓ’を拡張した平面Ｃを、想定し、この平面Ｃと平面Ｓａとの交線である直線Ｌａを、想定する。この直線Ｌａは、レンズ主点Ｏｃから見て等価撮像面Ｃｓ’に投影される指標Ａ（の像）の頂点Ｐｕａおよび底点Ｐｄａを通る直線を表し、つまり図４に示した直線３８に対応する。
For this purpose, first, as shown in FIG. 5, a lens principal point Oc of the
これと同様に、図７に示すように、他方の指標Ｂの頂点Ｐｕｂおよび底点Ｐｄｂ，ならびにレンズ主点Ｏｃを含む平面Ｓｂを、想定する。そして、この平面Ｓｂと上述した平面Ｃとの交線である直線Ｌｂを、想定する。この直線Ｌｂは、レンズ主点Ｏｃから見て等価撮像面Ｃｓ’に投影される指標Ｂ（の像）の頂点Ｐｕｂおよび底点Ｐｄｂを通る直線を表し、つまり図４に示した直線４０に対応する。
Similarly, as illustrated in FIG. 7, a plane Sb including the vertex Pub and the bottom point Pdb of the other index B and the lens principal point Oc is assumed. A straight line Lb that is an intersection line between the plane Sb and the plane C described above is assumed. This straight line Lb represents a straight line passing through the vertex Pub and the bottom point Pdb of the index B (image) projected onto the equivalent imaging surface Cs ′ when viewed from the lens principal point Oc, that is, corresponds to the
さらに、図８に示すように、図６における平面Ｓａと図７における平面Ｓｂとの交線である直線Ｖを、想定する。ここで、平面Ｓａが、指標Ａの頂点Ｐｕａおよび底点Ｐｄａ，ならびにレンズ主点Ｏｃを含むと共に、平面Ｓｂが、指標Ｂの頂点Ｐｕｂおよび底点Ｐｄｂ，ならびにレンズ主点Ｏｃを含み、併せて、各指標ＡおよびＢの延伸方向が、互いに並行であることから、当該直線Ｖは、レンズ主点Ｏｃを通り、かつそれぞれの指標ＡおよびＢの延伸方向（線分ＰｕａＰｄａおよび線分ＰｕｂＰｄｂ）と平行になる。 Further, as shown in FIG. 8, a straight line V that is an intersection line of the plane Sa in FIG. 6 and the plane Sb in FIG. 7 is assumed. Here, the plane Sa includes the vertex Pua and the bottom point Pda of the index A and the lens principal point Oc, and the plane Sb includes the vertex Pub and the bottom point Pdb of the index B and the lens principal point Oc. Since the extending directions of the indices A and B are parallel to each other, the straight line V passes through the lens principal point Oc and extends in the extending directions of the indices A and B (line segment PuPda and line segment PubPdb). Become parallel.
そして、図９に示すように、直線Ｖと平面Ｃとの交点Ｑｖを、想定する。ここで、直線Ｖと図６に示した直線Ｌａとは、いずれも平面Ｓａ上に存在し、かつ互いに平行でないことから、必ずどこかで交わる。併せて、直線Ｌａは、平面Ｃ上に存在するので、当該直線Ｌａと直線Ｖとは、平面Ｃ上で交わる。さらに、平面Ｃは、点Ｑｖでのみ直線Ｖと交わる。これらを総合すると、図１０に示すように、直線Ｌａと直線Ｖとは、点Ｑｖで互いに交わることになる。これと同様に、直線Ｌｂと直線Ｖとについても、点Ｑｖで互いに交わることになる。 Then, as shown in FIG. 9, an intersection point Qv between the straight line V and the plane C is assumed. Here, since both the straight line V and the straight line La shown in FIG. 6 exist on the plane Sa and are not parallel to each other, they always cross somewhere. In addition, since the straight line La exists on the plane C, the straight line La and the straight line V intersect on the plane C. Furthermore, the plane C intersects with the straight line V only at the point Qv. When these are put together, as shown in FIG. 10, the straight line La and the straight line V cross each other at a point Qv. Similarly, the straight line Lb and the straight line V cross each other at the point Qv.
つまり、直線Ｌａと直線Ｌｂとは、直線Ｖ上の点Ｑｖで互いに交わる。そして、上述したように、直線Ｌａは、図４に示した直線３８に対応し、直線Ｌｂは、図４に示した直線４０に対応することから、点Ｑｖは、図４に示した垂直消失点Ｐｖに対応する。
That is, the straight line La and the straight line Lb intersect at a point Qv on the straight line V. As described above, since the straight line La corresponds to the
続いて、図１１に示すように、各指標ＡおよびＢの頂点ＰｕａおよびＰｕｂ同士を結んだ線分Ｌｕ（ＰｕａＰｕｂ）と、底点ＰｄａおよびＰｄｂ同士を結んだ線分Ｌｄ（ＰｄａＰｄｂ）とを、想定する。なお、上述したように、各指標ＡおよびＢの延伸方向は、互いに平行であり、当該各指標ＡおよびＢの長さ寸法ＤａおよびＤｂは、互いに同じであることから、これらの線分ＬｕおよびＬｄは、互いに同じ長さ寸法であり、かつ互いに平行である。 Subsequently, as shown in FIG. 11, a line segment Lu (PuaPub) connecting the vertices Pua and Pub of each index A and B and a line segment Ld (PdaPdb) connecting the base points Pda and Pdb are obtained. Suppose. As described above, the extending directions of the indicators A and B are parallel to each other, and the lengths Da and Db of the indicators A and B are the same as each other. Ld has the same length dimension as each other and is parallel to each other.
ここで、図１２に示すように、一方の線分Ｌｕの両端ＰｕａおよびＰｕｂ，ならびにレンズ主点Ｏｃを含む平面Ｔａを、想定する。さらに、この平面Ｔａと平面Ｃとの交線である直線Ｍａを、想定する。この直線Ｍａは、レンズ主点Ｏｃから見て等価撮像面Ｃｓ’に投影される線分Ｌｕ（の像）の両端ＰｕａおよびＰｕｂを通る直線を表し、つまり図４に示した直線４２に対応する。
Here, as shown in FIG. 12, a plane Ta including both ends Pua and Pub of one line segment Lu and the lens principal point Oc is assumed. Furthermore, a straight line Ma that is an intersection line between the plane Ta and the plane C is assumed. This straight line Ma represents a straight line passing through both ends Pua and Pub of the line segment Lu (image thereof) projected onto the equivalent imaging surface Cs ′ when viewed from the lens principal point Oc, that is, corresponds to the
これと同様に、図１３に示すように、他方の線分Ｌｄの両端ＰｄａおよびＰｄｂ，ならびにレンズ主点Ｏｃを含む平面Ｔｂを、想定する。さらに、この平面Ｔｂと平面Ｃとの交線である直線Ｍｂを、想定する。この直線Ｍｂは、レンズ主点Ｏｃから見て等価撮像面Ｃｓ’に投影される線分Ｌｄ（の像）の両端ＰｄａおよびＰｄｂを通る直線を表し、つまり図４に示した直線４４に対応する。
Similarly, as shown in FIG. 13, a plane Tb including both ends Pda and Pdb of the other line segment Ld and the lens principal point Oc is assumed. Further, a straight line Mb that is an intersection line between the plane Tb and the plane C is assumed. This straight line Mb represents a straight line passing through both ends Pda and Pdb of the line segment Ld (image thereof) projected onto the equivalent imaging surface Cs ′ as viewed from the lens principal point Oc, that is, corresponds to the
そして、図１２における平面Ｔａと図１３における平面Ｔｂとの交線を、想定する。この平面Ｔａは、線分Ｌｕの両端ＰｕａおよびＰｕｂ，ならびにレンズ主点Ｏｃを含むと共に、平面Ｔｂは、線分Ｌｄの両端ＰｄａおよびＰｄｂ，ならびにレンズ主点Ｏｃを含み、併せて、各線分ＬｕおよびＬｄが、互いに並行であることから、当該交線は、図１４に符号Ｈで示すように、レンズ主点Ｏｃを通り、かつそれぞれの線分ＬｕおよびＬｄと平行を成す直線になる。 Then, an intersection line between the plane Ta in FIG. 12 and the plane Tb in FIG. 13 is assumed. The plane Ta includes both ends Pua and Pub of the line segment Lu and the lens principal point Oc, and the plane Tb includes both ends Pda and Pdb of the line segment Ld and the lens principal point Oc, and each line segment Lu. Since Ld and Ld are parallel to each other, the intersection line is a straight line passing through the lens principal point Oc and parallel to the respective line segments Lu and Ld, as indicated by reference numeral H in FIG.
さらに、図１４に示すように、直線Ｈと平面Ｃとの交点Ｑｈを、想定する。ここで、直線Ｈと図１２に示した直線Ｍａとは、いずれも平面Ｔａ上に存在し、かつ互いに平行でないことから、必ずどこかで交わる。併せて、直線Ｍａは、平面Ｃ上に存在するので、当該直線Ｍａと直線Ｈとは、平面Ｃ上で交わる。そして、平面Ｃは、点Ｑｈでのみ直線Ｈと交わる。これらを総合すると、図１４に示すように、直線Ｍａと直線Ｈとは、点Ｑｈで互いに交わることになる。これと同様に、直線Ｍｂと直線Ｈとについても、点Ｑｈで互いに交わることになる。 Furthermore, as shown in FIG. 14, an intersection point Qh between the straight line H and the plane C is assumed. Here, since both the straight line H and the straight line Ma shown in FIG. 12 exist on the plane Ta and are not parallel to each other, they always cross somewhere. In addition, since the straight line Ma exists on the plane C, the straight line Ma and the straight line H intersect on the plane C. The plane C intersects with the straight line H only at the point Qh. When these are combined, as shown in FIG. 14, the straight line Ma and the straight line H cross each other at a point Qh. Similarly, the straight line Mb and the straight line H also intersect each other at the point Qh.
つまり、直線Ｍａと直線Ｍｂとは、直線Ｈ上の点Ｑｈで互いに交わる。そして、上述したように、直線Ｍａは、図４に示した直線４２に対応し、直線Ｍｂは、図４に示した直線４４に対応することから、直線Ｑｈは、図４に示した水平消失点Ｐｈに対応する。
That is, the straight line Ma and the straight line Mb intersect with each other at the point Qh on the straight line H. Since the straight line Ma corresponds to the
これらのことを念頭において、図１５に示すように、Ｘｗ軸，Ｙｗ軸およびＺｗ軸という３つの直交軸から成る３次元の世界座標系が定義される。 With these things in mind, as shown in FIG. 15, a three-dimensional world coordinate system composed of three orthogonal axes such as an Xw axis, a Yw axis, and a Zw axis is defined.
即ち、同図に示すように、実空間における地面３０上に、Ｘｗ軸およびＹｗ軸が設定される。要するに、Ｘｗ軸およびＹｗ軸から成る２次元平面（Ｘｗ−Ｙｗ平面）が、地面３０に当たる。そして、これらＸｗ軸およびＹｗ軸の交点である原点Ｏｗにおいて、当該Ｘｗ軸およびＹｗ軸のそれぞれと直交するように、Ｚｗ軸が設定される。つまり、Ｚｗ軸は、実空間における高さを規定する垂直軸となる。なお、同図には示さないが、各指標ＡおよびＢは、地面３０であるＸｗ−Ｙｗ平面上に、Ｚｗ軸と平行を成して延伸するように配置される。
That is, as shown in the figure, the Xw axis and the Yw axis are set on the
この世界座標系において、カメラ１４は、そのレンズ主点ＯｃがＺ軸上に位置し、かつ視線３２が地面３０であるＸｗ−Ｙｗ軸に対して斜めに向くように、詳しくは当該視線３２の延長線がＹｗ軸と斜めに交わるように、さらに等価撮像面Ｃｓ’の上端縁および下端縁がＸｗ軸と平行を成すように、設置される。この条件によれば、上述した直線Ｖは、Ｚｗ軸と一致する。従って、レンズ主点Ｏｃの世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）は、（０，０，η）となる。さらに、Ｙｗ軸とＺｗ軸とから成る２次元平面（Ｙｗ−Ｚｗ平面）と等価撮像面Ｃｓ’を含む平面Ｃとの交線である直線４６を、想定すると、この直線４６は、等価撮像面Ｃｓ’の中心Ｏｓを通り、かつ、Ｙｗ軸と非直角に交わり、Ｚｗ軸とも非直角に交わることになる。
In this world coordinate system, the
一方、等価撮像面Ｃｓ’は撮像面Ｃｓと共役であるので、図４に示した画像座標系を当該等価撮像面Ｃｓ’上に転換することができる。即ち、図１６に示すように、等価撮像面Ｃｓ’の中心Ｏｓが、画像座標系の原点Ｏｉとされる。そして、この原点Ｏｉを通りかつ等価撮像面Ｃｓ’の上端縁および下端縁と平行を成すように、画像座標系のＸｉ軸が設定され、当該原点ＯｉにおいてＸｉ軸と直交するように、画像座標系のＹｉ軸が設定される。なお、この図１６においても、画像座標系は、等価撮像面Ｃｓ’上に限らず、当該等価撮像面Ｃｓ’を含む平面Ｃ上の広い範囲に、設定される。 On the other hand, since the equivalent imaging plane Cs ′ is conjugate with the imaging plane Cs, the image coordinate system shown in FIG. 4 can be converted onto the equivalent imaging plane Cs ′. That is, as shown in FIG. 16, the center Os of the equivalent imaging surface Cs ′ is set as the origin Oi of the image coordinate system. Then, the Xi axis of the image coordinate system is set so as to pass through the origin Oi and be parallel to the upper edge and the lower edge of the equivalent imaging surface Cs ′, and the image coordinates are orthogonal to the Xi axis at the origin Oi. The system Yi axis is set. In FIG. 16 as well, the image coordinate system is set not only on the equivalent imaging surface Cs ′ but also in a wide range on the plane C including the equivalent imaging surface Cs ′.
このように等価撮像面Ｃｓ’を含む平面Ｃ上に設定された画像座標系が、図１５に示した世界座標系に重ねられることによって、これら画像座標系と世界座標系との間で、上述した垂直消失点Ｐｖが関連付けられる。即ち、図１７に示すように、画像座標系のＹｉ軸が、世界座標系における平面ＣとＹｗ−Ｚｗ平面との交線である直線４６と一致する。ここで、図１０を参照して説明したように、平面Ｃは、垂直消失点Ｐｖでのみ直線Ｖと交わり、併せて、直線Ｖは、上述の如く世界座標系のＺｗ軸と一致することから、当該垂直消失点Ｐｖは、画像座標軸のＹｉ軸である直線４６と世界座標系のＺｗ軸との交点に当たる。従って、この垂直消失点Ｐｖの世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）は、例えばＰｖｚという未知数を用いて、（０，０，Ｐｖｚ）と表される。その一方で、画像座標系においては、垂直消失点Ｐｖの座標値（Ｘｉ，Ｙｉ）は、図４に示した距離βを用いて、図１８に示すように、（０，−β）となる。そうすると、世界座標系において、垂直消失点Ｐｖから等価撮像面Ｃｓ’の中心Ｏｓまでの距離Ｐｖ−Ｏｓは、当該垂直消失点Ｐｖの画像座標値（０，−β）により判明し、つまりβとなる。
As described above, the image coordinate system set on the plane C including the equivalent imaging surface Cs ′ is superimposed on the world coordinate system shown in FIG. The vertical vanishing point Pv is associated. That is, as shown in FIG. 17, the Yi axis of the image coordinate system coincides with a
これと同様に、水平消失点Ｐｈについて、考える。即ち、図１９に示すように、レンズ主点Ｏｃを通り、かつＸｗ−Ｙｗ平面（地面３０）と平行な平面Ｒを、想定する。すると、図１４に示した直線Ｈは、この平面Ｒ上に存在することになる。そして、直線Ｈ上に水平消失点Ｐｈが存在することから、当該水平消失点Ｐｈもまた、平面Ｒ上に存在することになる。従って、水平消失点Ｐｈの世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）は、例えばＰｈｘおよびＰｈｙという２つの未知数を用いて、（Ｐｈｘ，Ｐｈｙ，η）と表される。さらに、平面Ｒと平面Ｃとの交線である直線４８を、想定する。ここで、平面Ｃ上には、画像座標系のＹｉ軸が存在し、このＹｉ軸は、Ｘｗ−Ｙｗ平面と平行でないことから、当該直線４８は、Ｙｉ軸と交わる。併せて、水平消失点Ｐｈは、平面Ｒ上に存在すると同時に、平面Ｃ上にも存在することから、当該水平消失点Ｐｈは、直線４８上に存在する。そうすると、直線４８とＹｉ軸との交点Ｐｈ’は、水平消失点Ｐｈが平面Ｒに沿ってＸｗ＝０の位置まで移動したものである、と考えることができる。そして、この交点Ｐｈ’の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）は、（０，Ｐｈｙ，η）と表される。その一方で、画像座標系においては、水平消失点Ｐｈの座標値（Ｘｉ，Ｙｉ）は、図４に示した距離γを用いて、例えば図２０に示すように、（Ｐｈｉ，γ）となる。そして、交点Ｐｈ’の画像座標値（Ｘｉ，Ｙｉ）は、（０，γ）となる。ゆえに、世界座標系において、交点Ｐｈ’から等価撮像面Ｃｓ’の中心Ｏｓまでの距離Ｐｈ’−Ｏｓは、当該交点Ｐｈ’の画像座標値（０，γ）により判明し、つまりγとなる。
Similarly, the horizontal vanishing point Ph will be considered. That is, as shown in FIG. 19, a plane R passing through the lens principal point Oc and parallel to the Xw-Yw plane (ground 30) is assumed. Then, the straight line H shown in FIG. 14 exists on this plane R. Since the horizontal vanishing point Ph exists on the straight line H, the horizontal vanishing point Ph also exists on the plane R. Accordingly, the world coordinate value (Xw, Yw, Zw) of the horizontal vanishing point Ph is expressed as (Phx, Phy, η) using two unknowns, for example, Phx and Phy. Further, a
これら図１７および図１９に示される各要部の位置関係を整理すると、図２１および図２２に示すようになる。なお、図２１の（ａ）は、当該各要部をＺｗ軸の先端側から見た図であり、（ｂ）は、当該各要部をＸｗ軸の先端側から見た図である。そして、図２２の（ａ）は、当該各要部を上述の交点Ｐｈ’側（Ｙｉ軸の先端側）から見た図であり、（ｂ）は、図２１（ｂ）と同様である。また、これら図２１および図２２において、レンズ主点Ｏｃから等価撮像面Ｃｓ’までの距離ｆ’は、焦点距離ｆと等価である。そして、等価撮像面Ｃｓ’の有効水平寸法Ｄｈは、実際の撮像面Ｃｓのそれと等価であり、単位は［画素（ピクセル）］である。等価撮像面Ｃｓ’の有効垂直寸法Ｄｖもまた、実際の撮像面Ｃｓのそれと等価であり、単位は［画素］である。さらに、有効水平寸法Ｄｈおよび有効垂直寸法Ｄｖの少なくとも一方、例えば有効水平寸法Ｄｈは、既知である。そして、両者ＤｈおよびＤｖの比率であるアスペクト比Ｄｈ：Ｄｖもまた、既知であり、例えば４：３である。 Arranging the positional relationships of the main parts shown in FIG. 17 and FIG. 19 results in FIG. 21 and FIG. FIG. 21A is a view of the relevant parts viewed from the front end side of the Zw axis, and FIG. 21B is a view of the relevant parts viewed from the front end side of the Xw axis. FIG. 22A is a view of the relevant parts as viewed from the above-described intersection Ph ′ side (the tip side of the Yi axis), and FIG. 22B is the same as FIG. 21B. In FIGS. 21 and 22, the distance f ′ from the lens principal point Oc to the equivalent imaging surface Cs ′ is equivalent to the focal length f. The effective horizontal dimension Dh of the equivalent imaging surface Cs ′ is equivalent to that of the actual imaging surface Cs, and the unit is [pixel (pixel)]. The effective vertical dimension Dv of the equivalent imaging surface Cs ′ is also equivalent to that of the actual imaging surface Cs, and its unit is [pixel]. Furthermore, at least one of the effective horizontal dimension Dh and the effective vertical dimension Dv, for example, the effective horizontal dimension Dh is known. The aspect ratio Dh: Dv, which is the ratio of both Dh and Dv, is also known, for example, 4: 3.
これら図２１および図２２に示される位置関係によれば、距離βおよびγは、それぞれ次の数１および数２によって表されることが分かる。
According to the positional relationship shown in FIGS. 21 and 22, it can be seen that the distances β and γ are expressed by the following
そして、これら数１および数２のそれぞれを、ｔａｎρについての式に変形すると、次の数３が導き出される。
Then, when each of these
さらに、この数３を、焦点距離ｆについての式に変形すると、当該焦点距離ｆを求めるための次の数４が導き出される。なお、この数４によって表される焦点距離ｆの単位は、［画素］である。 Further, when the formula 3 is transformed into an expression for the focal length f, the following formula 4 for obtaining the focal length f is derived. Note that the unit of the focal length f represented by this equation 4 is [pixel].
そして、上述の数１によって数２を除すると、次の数５が導き出され、この数５を、俯角ρについての式に変形すると、当該俯角ρを求めるための数６が導き出される。
Then, by dividing the number 2 by the
また、特に図２２（ａ）に示される位置関係から、水平画角θｈは、次の数７によって表されることが分かる。 In particular, from the positional relationship shown in FIG. 22A, it can be seen that the horizontal angle of view θh is expressed by the following equation (7).
そして、撮像面Ｃｓ（等価撮像面Ｃｓ’）のアスペクト比Ｄｈ：Ｄｖを用いた次の数８によって、垂直画角θｖが表される。
Then, the vertical angle of view θv is expressed by the following
つまり、本実施形態によれば、数４に基づいて、カメラ１４の焦点距離ｆが求められ、数６に基づいて、俯角ρが求められる。このために、図４に示した撮影画像上において、各指標ＡおよびＢの頂点ＰｕａおよびＰｕｂと底点ＰｄａおよびＰｄｂとが、例えば図１に示したマウス２０の操作によって、特定される。そして、この特定された各点Ｐｕａ，Ｐｕｂ，ＰｄａおよびＰｄｂそれぞれの画像座標値（Ｘｉ，Ｙｉ）、例えば点Ｐｕａについては（ｘｉｕａ，ｙｉｕａ）、点Ｐｄａについては（ｘｉｄａ，ｙｉｄａ）、点Ｐｕｂについては（ｘｉｕｂ，ｙｉｕｂ）、および点Ｐｄｂについては（ｘｉｄｂ，ｙｉｄｂ）、に基づいて、各消失点ＰｖおよびＰｈが特定され、要するに当該各消失点ＰｖおよびＰｈの画像座標値（０，−β）および（Ｐｈｉ，γ）（または（０，γ））が求められる。さらに、これら各消失点ＰｖおよびＰｈの画像座標値（０，−β）および（Ｐｈｉ，γ）に基づいて、各距離βおよびγが求められ、これら各距離βおよびγが上述の数４および数６に代入されることによって、焦点距離ｆおよび俯角ρが求められる。そして、数７に基づいて、カメラ１４の水平画角θｈが求められ、数８に基づいて、垂直画角θｖが求められる。さらに、カメラ１４の設置高さηについては、次のようにして求められる。
That is, according to the present embodiment, the focal length f of the
図２３を参照して、世界座標系において、カメラ１４のレンズ主点Ｏｃから各指標ＡおよびＢの一方、例えば指標Ａ、の頂点Ｐｕａに向かうベクトルＶｕａ（ｘｖｕａ，ｙｖｕａ，ｚｖｕａ）が、求められる。具体的には、レンズ主点Ｏｃから世界座標系における任意の点に向かうベクトルＶｅ（ｘｅ，ｙｅ，ｚｅ）は、当該任意の点に対応する画像座標値（Ｘｉ，Ｙｉ）を用いた次の数９によって求められる。
Referring to FIG. 23, in the world coordinate system, a vector Vua (xvua, yvua, zvua) from the lens principal point Oc of the
従って、この数９における画像座標値（Ｘｉ，Ｙｉ）に、指標Ａの頂点Ｐｕａの画像座標値（ｘｉｕａ，ｙｉｕａ）が代入されることによって求められるベクトルＶｅ（ｘｅ，ｙｅ，ｚｅ）が、レンズ主点Ｏｃから当該指標Ａの頂点Ｐｕａに向かうベクトルＶｕａ（ｘｖｕａ，ｙｖｕａ，ｚｖｕａ）になる。
Accordingly, the vector Ve (xe, ye, ze) obtained by substituting the image coordinate value (xiua, iuua) of the vertex Pua of the index A into the image coordinate value (Xi, Yi) in the
これと同様に、レンズ主点Ｏｃから指標Ａの底点Ｐｄａに向かうベクトルＶｄａ（ｘｖｄａ，ｙｖｄａ，ｚｖｄａ）が、求められる。即ち、数９における画像座標値（Ｘｉ，Ｙｉ）に、指標Ａの底点Ｐｄａの画像座標値（ｘｉｄａ，ｙｉｄａ）が代入されることによって求められるベクトルＶｅ（ｘｅ，ｙｅ，ｚｅ）が、レンズ主点Ｏｃから当該指標Ａの底点Ｐｄａに向かうベクトルＶｄａ（ｘｖｄａ，ｙｖｄａ，ｚｖｄａ）になる。
Similarly, a vector Vda (xvda, yvda, zvda) from the lens principal point Oc toward the bottom point Pda of the index A is obtained. That is, the vector Ve (xe, ye, ze) obtained by substituting the image coordinate value (xida, yida) of the bottom point Pda of the index A into the image coordinate value (Xi, Yi) in
ここで、世界座標系の原点Ｏｗから指標ＡまでのＹｗ軸方向における距離（要素値Ｙｗ）がδである、と仮定する。併せて、原点Ｏｗから指標ＡまでのＸｗ軸方向における距離（要素値Ｘｗ）は無視する（Ｘｗ＝０とする）。すると、距離δと設置高さηと指標Ａの長さ寸法Ｄａとレンズ主点Ｏｃから当該指標Ａの頂点Ｐｕａに向かうベクトルＶｕａ（ｘｖｕａ，ｙｖｕａ，ｚｖｕａ）とに基づいて、次の数１０が導き出される。 Here, it is assumed that the distance (element value Yw) in the Yw-axis direction from the origin Ow of the world coordinate system to the index A is δ. At the same time, the distance (element value Xw) in the Xw-axis direction from the origin Ow to the index A is ignored (Xw = 0). Then, based on the distance δ, the installation height η, the length dimension Da of the index A, and the vector Vua (xvua, yvua, zvaa) from the lens principal point Oc toward the vertex Pua of the index A, Derived.
そして、この数１０において、距離δに注目すると、次の数１１が導き出される。
Then, in this
これと同様に、距離δと設置高さηとレンズ主点Ｏｃから指標Ａの底点Ｐｄａに向かうベクトルＶｄａ（ｘｖｄａ，ｙｖｄａ，ｚｖｄａ）とに基づいて、次の数１２が導き出される。
Similarly, the following
そして、この数１２において、距離δに注目すると、次の数１３が導き出される。 In the equation (12), when attention is paid to the distance δ, the following equation (13) is derived.
さらに、数１１と数１３とは互いに等価であることから、次の数１４で表される関係が成り立つ。
Further, since the equations 11 and 13 are equivalent to each other, the relationship represented by the following
そして、この数１４を、設置高さηについての式に変形すると、当該設置高さηを求めるための次の数１５が導き出される。
Then, by transforming this
つまり、この数１５によれば、レンズ主点Ｏｃから一方の指標Ａの頂点Ｐｕａに向かうベクトルＶｕａ（ｘｖｕａ，ｙｖｕａ，ｚｖｕａ）と、当該指標Ａの底点Ｐｄａに向かうベクトルＶｄａ（ｘｖｄａ，ｙｖｄａ，ｚｖｄａ）と、当該指標Ａの長さ寸法Ｄａと、に基づいて、設置高さηが求められる。そして、頂点Ｐｕａに向かうベクトルＶｕａ（ｘｖｕａ，ｙｖｕａ，ｚｖｕａ）については、当該頂点Ｐｕａの画像座標値（ｘｉｕａ，ｙｉｕａ）から求められ、底点Ｐｄａに向かうベクトルＶｄａ（ｘｖｄａ，ｙｖｄａ，ｚｖｄａ）については、当該底点Ｐｄａの画像座標値（ｘｉｄａ，ｙｉｄａ）から求められることは、上述した通りである。 That is, according to this equation 15, the vector Vua (xvua, yvaa, zvaa) from the lens principal point Oc toward the vertex Pua of one index A and the vector Vda (xvda, yvda, The installation height η is determined based on zvda) and the length dimension Da of the index A. The vector Vua (xvaa, yvua, zvua) toward the vertex Pua is obtained from the image coordinate values (xiua, yuua) of the vertex Pua, and the vector Vda (xvda, yvda, zvda) toward the base point Pda is obtained. As described above, it is obtained from the image coordinate values (xida, yida) of the bottom point Pda.
なお、一方の指標Ａに代えて、他方の指標Ｂに注目して、設置高さηを求めてもよい。つまり、他方の指標Ｂの頂点Ｐｕｂおよび底点Ｐｄｂの画像座標値（ｘｉｕｂ，ｙｉｕｂ）および（ｘｉｄｂ，ｙｉｄｂ）に基づいて、それぞれのベクトルＶｕｂ（ｘｖｕｂ，ｙｖｕｂ，ｚｖｕｂ）およびＶｄｂ（ｘｖｄｂ，ｙｖｄｂ，ｚｖｄｂ）を求め、これらのベクトルＶｕｂ（ｘｖｕｂ，ｙｖｕｂ，ｚｖｕｂ）およびＶｄｂ（ｘｖｄｂ，ｙｖｄｂ，ｚｖｄｂ）と、当該指標Ｂの長さ寸法Ｄｂと、に基づいて、設置高さηを求めてもよい。 Note that the installation height η may be obtained by paying attention to the other index B instead of one index A. That is, based on the image coordinate values (xib, yib) and (xidb, yidb) of the vertex Pub and the bottom point Pdb of the other index B, the respective vectors Vub (xvub, yvub, zvub) and Vdb (xvdb, yvdb, zvdb) may be obtained, and the installation height η may be obtained based on these vectors Vub (xvub, yvub, zvub) and Vdb (xvdb, yvdb, zvdb) and the length dimension Db of the index B. .
この一連のカメラキャリブレーションを実現するべく、図１に示したＰＣ１２（厳密にはＰＣ１２内の図示しないＣＰＵ）は、カメラキャリブレーションプログラムに従って、次のように動作する。 In order to realize this series of camera calibration, the PC 12 (strictly, a CPU (not shown) in the PC 12) shown in FIG. 1 operates as follows according to the camera calibration program.
即ち、図２４を参照して、ＰＣ１２は、まず、ステップＳ１において、図３に示したようなキャリブレーション用の撮影画像、具体的には１フレーム分の静止画像、を取得する。なお、この画像の取得は、命令入力装置１８から与えられる命令に従い、つまりマウス２０およびキーボード２２を用いた手動操作に従う。
That is, with reference to FIG. 24, first, in step S1, the
そして、ＰＣ１２は、ステップＳ３に進み、一方の指標Ａの頂点Ｐｕａおよび底点Ｐｄａを特定し、つまりそれぞれの画像座標値（ｘｉｕａ，ｙｉｕａ）および（ｘｉｄａ，ｙｉｄａ）を求める。なお、この特定もまた、命令入力装置１８から与えられる命令に従い、例えばマウス２０のクリック操作に従う。
Then, the
さらに、ＰＣ１２は、ステップＳ５に進み、当該一方の指標Ａの長さ寸法Ｄａを取得する。なお、この長さ寸法Ｄａは、命令入力装置１８から与えられ、例えばキーボード２２から与えられる。
Further, the
そして、ＰＣ１２は、ステップＳ７に進み、上述のステップＳ３と同じ要領で、他方の指標Ｂの頂点Ｐｕｂおよび底点Ｐｄｂを特定し、つまりそれぞれの画像座標値（ｘｉｕｂ，ｙｉｕｂ）および（ｘｉｄｂ，ｙｉｄｂ）を求める。そして、ステップＳ９に進み、上述のステップＳ５と同じ要領で、当該他方の指標Ｂの長さ寸法Ｄｂを取得する。
Then, the
ステップＳ９の実行後、ＰＣ１２は、ステップＳ１１に進み、各消失点ＰｖおよびＰｈを特定し、つまりそれぞれの画像座標値（０，−β）および（Ｐｈｉ，γ）を求める。そして、ステップＳ１３に進み、これらの画像座標値（０，−β）および（Ｐｈｉ，γ）に基づいて、各距離βおよびγを求める。
After executing step S9, the
さらに、ＰＣ１２は、ステップＳ１５に進み、上述した数４に基づいて、カメラ１４の焦点距離ｆを求めた後、ステップＳ１７に進み、上述した数６に基づいて、俯角ρを求める。そして、ステップＳ１９に進み、上述した数７に基づいて、水平画角θｈを求めた後、ステップＳ２１に進み、上述した数８に基づいて、垂直画角θｖを求める。
Further, the
ステップＳ２１の実行後、ＰＣ１２は、ステップＳ２３に進む。そして、このステップＳ２３において、上述した数９および数１５を含む手順で、カメラ１４の設置高さηを求める。このステップＳ２３の実行をもって、ＰＣ１２は、一連のカメラキャリブレーションを終了する。
After executing step S21, the
この一連のカメラキャリブレーションによって求められたカメラパラメータを用いると、画像座標系の座標値（Ｘｉ，Ｙｉ）と世界座標系の座標値（Ｘｗ，Ｙｗ，Ｚｗ）との相互変換が可能となる。 By using the camera parameters obtained by this series of camera calibrations, mutual conversion between the coordinate values (Xi, Yi) of the image coordinate system and the coordinate values (Xw, Yw, Zw) of the world coordinate system becomes possible.
具体的には、任意の画像座標値（Ｘｉ，Ｙｉ）に対応する世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）は、上述の数９で表されるベクトルＶｅ（ｘｅ，ｙｅ，ｚｅ）を用いた次の数１６によって求められる。
Specifically, for the world coordinate values (Xw, Yw, Zw) corresponding to the arbitrary image coordinate values (Xi, Yi), the vector Ve (xe, ye, ze) represented by the
この数１６において、εは、係数であり、この係数εは、世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）を構成する３つの要素値Ｘｗ，ＹｗおよびＺｗのいずれか１つが決まれば、一意に決まる。本実施形態では、Ｘｗ−Ｙｗ平面が地面３０に設定されており、つまりＺｗ＝０であるので、地面３０上の任意点の世界座標値（Ｘｗ，Ｙｗ，０）に関する係数εは、次の数１７によって一意に決まる。
In
従って、この数１７を数１６に代入することによって、Ｚｗ＝０という条件下での画像座標値（Ｘｉ，Ｙｉ）と世界座標値（Ｘｗ，Ｙｗ，０）との相互変換が可能となる。
Therefore, by substituting
また、Ｚｗ＝０という条件下での画像座標値（Ｘｉ，Ｙｉ）と世界座標値（Ｘｗ，Ｙｗ，０）との対応関係に基づいて、この世界座標値（Ｘｗ，Ｙｗ，０）を通りかつ地面３０に対して垂直な方向に延伸する任意の点の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ’）と、これに対応する画像座標値（Ｘｉ’，Ｙｉ’）と、の相互変換も可能である。
Further, based on the correspondence relationship between the image coordinate value (Xi, Yi) and the world coordinate value (Xw, Yw, 0) under the condition of Zw = 0, the world coordinate value (Xw, Yw, 0) is passed. In addition, mutual conversion between world coordinate values (Xw, Yw, Zw ′) of arbitrary points extending in a direction perpendicular to the
このようなカメラキャリブレーションは、監視用途に好適であり、例えば撮影画像に映し出された移動物体等の実空間における絶対位置や大きさ，移動距離等を当該撮影画像から認識するのに好適である。また、この認識結果に基づいて、例えば当該移動物体を旋回型カメラで追尾する等の制御も可能となる。 Such camera calibration is suitable for monitoring applications, for example, for recognizing an absolute position, size, moving distance, etc. in a real space such as a moving object projected on a captured image from the captured image. . Further, based on the recognition result, for example, it is possible to perform control such as tracking the moving object with a turning camera.
以上のように、本実施形態によれば、図１５に示したように世界座標系が設定されると共に、図１６（図４）に示したように画像座標系が設定される。そして、カメラ１４による撮影範囲内に２つの指標ＡおよびＢが設置され、撮影画像上に映し出されたこれら２つの指標ＡおよびＢが３点透視歪を生じることによって特定される２つの消失点ＰｖおよびＰｈの画像座標値（０，−β）および（Ｐｈｉ，γ）を利用して、カメラ１４の焦点距離ｆ，俯角ρおよび設置高さηを含むカメラパラメータが求められ、つまりカメラキャリブレーションが実現される。従って、カメラの撮影画像から歩行者の着地部および頭部の座標データを複数収集すると共に、これら複数の座標データが代入された複数の関係式に統計的処理を施す必要のある上述した従来技術とは異なり、そのような処理（作業）を必要としない。また、当該従来技術とは異なり、カメラパラメータを求めるための式に推定値が代入されることもない。ゆえに、従来よりも簡単かつ正確にカメラパラメータを求めることができる。このことは、キャリブレーションの対象となるカメラ１４の台数が多いほど、顕著になる。
As described above, according to the present embodiment, the world coordinate system is set as shown in FIG. 15, and the image coordinate system is set as shown in FIG. 16 (FIG. 4). Then, two indicators A and B are set within the shooting range by the
なお、本実施形態においては、各指標ＡおよびＢの長さ寸法ＤａおよびＤｂが互いに同じであるとしたが、これに限らない。例えば、一方の指標Ａの長さ寸法Ｄａが、他方の指標Ｂの長さ寸法Ｄｂよりも小さい（Ｄａ＜Ｄｂ）、とする。そして、撮影画像上で、各指標ＡおよびＢが、図２５に示すように、それぞれの長さ寸法ＤａおよびＤｂに応じた大きさＤａ’およびＤｂ’で表示される、とする。この場合、各指標ＡおよびＢの長さ寸法ＤａおよびＤｂが互いに同じであると仮定したときに撮影画像上に映し出されるであろう仮の指標、例えば大きい方の指標Ｂの長さ寸法Ｄｂを小さい方の指標Ａの長さ寸法Ｄａに合わせた仮指標Ｂ’を、想定する。この仮指標Ｂ’の長さ寸法Ｄｂ”は、次の数１８によって求められる。 In the present embodiment, the lengths Da and Db of the indices A and B are the same as each other, but the present invention is not limited to this. For example, it is assumed that the length dimension Da of one index A is smaller than the length dimension Db of the other index B (Da <Db). Then, it is assumed that the indices A and B are displayed on the captured image with the sizes Da ′ and Db ′ corresponding to the respective length dimensions Da and Db, as shown in FIG. In this case, when it is assumed that the length dimensions Da and Db of the indices A and B are the same, a temporary index that will be displayed on the captured image, for example, the length dimension Db of the larger index B is set. A provisional index B ′ that matches the length dimension Da of the smaller index A is assumed. The length dimension Db ″ of the temporary index B ′ is obtained by the following equation (18).
そして、この数１８によって言わば補正された長さ寸法Ｄｂ”を持つ仮指標Ｂ’と、長さ寸法Ｄａが不変である指標Ａと、に基づいて、各消失点ＰｖおよびＰｈが特定されるようにすればよい。このようにすれば、各指標ＡおよびＢの長さ寸法ＤａおよびＤｂが互いに異なる（Ｄａ≠Ｄｂ）条件下でも、正確なカメラキャリブレーションが実現される。なお、上述とは反対に、小さい方の指標Ａの長さ寸法Ｄａを大きい方の指標Ｂの長さ寸法Ｄｂに合わせてもよいが、精度的には、大きい方の指標Ｂの長さ寸法Ｄｂを小さい方の指標Ａの長さ寸法Ｄａに合わせるのが、望ましい。 Then, the vanishing points Pv and Ph are identified based on the provisional index B ′ having the corrected length dimension Db ″ and the index A in which the length dimension Da is unchanged. In this way, accurate camera calibration is realized even under conditions where the lengths Da and Db of the indices A and B are different from each other (Da ≠ Db). Conversely, the length dimension Da of the smaller index A may be matched with the length dimension Db of the larger index B. However, in terms of accuracy, the length dimension Db of the larger index B is smaller. It is desirable to match the length A of the index A.
また、本実施形態では、カメラ１４の撮像面Ｃｓ（等価撮像面Ｃｓ’）の上端縁および下端縁が世界座標系のＸｗ軸と平行を成すように、つまり撮影画像の水平方向が実空間の水平方向と平行を成すように、カメラ１４が設置されることとしたが、これに限らない。即ち、撮影画像の水平方向が実空間の水平方向と平行でないとき、要するにカメラ１４が視線３２を中心として回転（言わばロール）しているときには、図２６に示すように、垂直消失点Ｐｖが画像座標系のＹｉ軸から離れた位置に存在するようになる。そうなると、当然に、水平消失点Ｐｈもまた、不適当な位置に存在するようになり、この状態のままでは、正確なカメラキャリブレーションを実現することができない。ただし、カメラ１４がロールしているときは、上述した等価撮像面Ｃｓ’が、本来ならば図２７に点線５０で示すような状態にあるべきところ、その中心Ｏｓを軸として、同図に１点鎖線５２で示すように回転している状態にある。つまり、等価撮像面Ｃｓ’の中心Ｏｓとそれぞれの指標ＡおよびＢとの位置関係は、カメラ１４がロールしているか否かに関係なく、不変である。そこで、カメラ１４がロールしているときには、次のように対処すればよい。
In the present embodiment, the upper and lower edges of the imaging surface Cs (equivalent imaging surface Cs ′) of the
まず、図２８に示すように、画像座標系の原点Ｏｉと垂直消失点Ｐｖとを通る直線５４を、想定する。そして、この直線５４と画像座標系のＹｉ軸との成す角度αを、求める。この角度αは、実空間の水平方向に対する撮影画像の水平方向の偏角に相当する。そして、この偏角αを用いた次の数１９で表される回転行列式によって、垂直消失点Ｐｖを当該偏角α分だけ回転移動させる。つまり、偏角αがα＝０であると仮定したときの垂直消失点Ｐｖ”の画像座標値（Ｘｉ”，Ｙｉ”）を仮想する。 First, as shown in FIG. 28, a straight line 54 passing through the origin Oi of the image coordinate system and the vertical vanishing point Pv is assumed. Then, an angle α formed by the straight line 54 and the Yi axis of the image coordinate system is obtained. This angle α corresponds to the deviation angle in the horizontal direction of the captured image with respect to the horizontal direction of the real space. Then, the vertical vanishing point Pv is rotated by the declination α by the rotation determinant expressed by the following equation 19 using the declination α. That is, the image coordinate value (Xi ″, Yi ″) of the vertical vanishing point Pv ″ when the argument α is assumed to be α = 0 is assumed.
これと同様に、水平消失点Ｐｈについても、この数１９によって、偏角α分だけ回転移動させる。つまり、偏角αがα＝０であると仮定したときの水平消失点Ｐｈ”の画像座標値（Ｘｉ”，Ｙｉ”）を仮想する。そして、図２９に示すように、これら仮想された各消失点Ｐｖ”およびＰｈ”の画像座標値（Ｘｉ”，Ｙｉ”）に基づいて、各距離βおよびγを求め、ひいてはカメラキャリブレーションを実現すればよい。このようにすれば、カメラ１４がロールしている状況下でも、正確なカメラキャリブレーションが実現される。
Similarly, the horizontal vanishing point Ph is also rotationally moved by the deviation angle α according to this equation 19. In other words, the image coordinate value (Xi ″, Yi ″) of the horizontal vanishing point Ph ″ when the argument α is assumed to be α = 0 is virtualized. As shown in FIG. Based on the image coordinate values (Xi ″, Yi ″) of the vanishing points Pv ″ and Ph ″, the distances β and γ can be obtained, and thus camera calibration can be realized. In this way, the
さらに、各指標ＡおよびＢについては、それぞれ別々の物体（人間）を用いるのではなく、互いに共通の１つの物体を当該各指標ＡおよびＢとして用いてもよい。具体的には、図３０（ａ）に示すように、或る物体が或る場所に存在するとき（時刻ｔａ）の撮影画像における当該物体（の像）を指標Ａとし、同じ物体が移動して別の場所に存在するとき（時刻ｔｂ）の撮影画像における当該物体を指標Ｂとする。そして、これら互いに異なる時刻ｔａおよびｔｂに撮影された同一物体に基づく２つの指標ＡおよびＢを用いて、カメラキャリブレーションを行ってもよい。 Furthermore, for each index A and B, separate objects (human beings) may not be used, but one common object may be used as each index A and B. Specifically, as shown in FIG. 30A, when a certain object is present at a certain place (time ta), the object (the image thereof) in the captured image is used as an index A, and the same object moves. The object in the captured image when it exists in another place (time tb) is defined as an index B. Then, camera calibration may be performed using two indexes A and B based on the same object photographed at different times ta and tb.
また、各指標ＡおよびＢとしては、上述の如く人間が好適であるが、これに限らない。例えば、互いに同じ長さ寸法ＤａおよびＤｂの２本の棒状体を、当該各指標ＡおよびＢとして採用してもよい。勿論、互いの長さ寸法ＤａおよびＤｂが同じでなくても、図２５を参照しながら説明した要領によれば、正確なカメラキャリブレーションを実現することができる。さらに、電柱やビル等のように直線部分を有する既存の構造物をも、各指標ＡおよびＢとして採用してもよい。また、２つの指標ＡおよびＢに代えて、図３１に示すような矩形状の１つの枠体（または板状体）６０を採用してもよい。具体的には、この枠体６０の４辺のうち互いに対向する２辺が同図には示さない地面３０に対して垂直を成し、他の２辺が地面３０に平行を成す（または地面３０に沿う）ように、当該枠体６０が設置されればよい。要するに、上述した各消失点ＰｖおよびＰｈが形成されればよく、そのための１つの手段として、本実施形態では、２つの指標ＡおよびＢが採用されている。
Further, as the indicators A and B, humans are preferable as described above, but are not limited thereto. For example, two rod-like bodies having the same lengths Da and Db may be adopted as the respective indexes A and B. Of course, even if the lengths Da and Db are not the same, according to the procedure described with reference to FIG. 25, accurate camera calibration can be realized. Furthermore, an existing structure having a straight portion such as a utility pole or a building may be adopted as each of the indicators A and B. Further, instead of the two indexes A and B, one rectangular frame (or plate) 60 as shown in FIG. 31 may be adopted. Specifically, two opposite sides of the four sides of the
さらに、本実施形態においては、図２４を参照しながら説明したように、各消失点ＰｖおよびＰｈを特定するべく、各指標ＡおよびＢの頂点ＰｕａおよびＰｕｂ，ならびに底点ＰｄａおよびＰｄｂを手動操作で特定することとしたが、これに限らない。例えば、ハフ変換法等の直線部分を抽出するための適宜の特徴抽出法を用いて、当該各指標ＡおよびＢ等の直線部分を自動的に抽出し、ひいては各消失点ＰｖおよびＰｈを自動的に特定するようにしてもよい。また、各指標ＡおよびＢが人間等の移動体である場合には、背景差分法等の適宜の移動体検出法を用いて、当該各指標ＡおよびＢとしての移動体を自動的に検出し、ひいては各消失点ＰｖおよびＰｈを自動的に特定してもよい。 Further, in the present embodiment, as described with reference to FIG. 24, the vertices Pua and Pub and the bottom points Pda and Pdb of each index A and B are manually operated to specify the vanishing points Pv and Ph. However, it is not limited to this. For example, by using an appropriate feature extraction method such as the Hough transform method for extracting a straight line portion, the straight line portions such as the indices A and B are automatically extracted, and the vanishing points Pv and Ph are automatically extracted. You may make it specify. In addition, when each of the indicators A and B is a moving body such as a human, the moving body as each of the indicators A and B is automatically detected using an appropriate moving body detection method such as a background difference method. As a result, the vanishing points Pv and Ph may be automatically specified.
そして、カメラパラメータのうち、水平画角θｈおよび垂直画角θｖについては、特段な必要性がなければ、求めなくてもよい。また、極端には、カメラ１４の設置高さηについても、これを正確に求めなくてもよい場合がある。
Of the camera parameters, the horizontal field angle θh and the vertical field angle θv do not need to be obtained unless there is a special need. In extreme cases, the installation height η of the
即ち、数１６に示した変換式において、Ｚｗ＝０であるとき、当該数１６は、上述の数１７を用いて、次の数２０のように表される。
That is, in the conversion equation shown in
この数２０によれば、正確な設置高さηが不明であっても、これを１つの定数とみなすことで、スケールを持たない、言わば任意単位の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が得られる。つまり、この世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）そのものがどのようなスケール（単位）に基づくのかは不明であるものの、当該スケールを持たない世界座標系においても任意の２点間の距離（例えば線分の長さ）の比は分かる。従って、この距離の比が分かりさえすれば足りる、という用途においては、設置高さηの正確な値は不要である。例えば、撮影画像中の或る建物と別の建物との高さの比を求めたり、建物の高さに比べて人間の身長がどの程度であるのかを推定したり、さらには人間が移動した距離を任意の２点間の距離と比較して求めたりすることができる。
According to this
また、設置高さηとして、たとえ正確な値でなくとも、比較的に近似的な値が設定されれば、比較的に正確な世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が得られる。さらに、当該設置高さηを求めるための上述した数１５において、指標Ａの長さ寸法Ｄａとして、正確な値ではなく、近似的な値が設定された場合でも、比較的に正確な設置高さηが求められ、ひいては比較的に正確な世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が得られる。このことは、指標Ｂの長さ寸法Ｄｂに基づいて設置高さηが求められる場合にも、同様である。 Further, even if the installation height η is not an accurate value, if a relatively approximate value is set, a relatively accurate world coordinate value (Xw, Yw, Zw) can be obtained. Further, in the above-described equation 15 for obtaining the installation height η, even if an approximate value is set instead of an accurate value as the length dimension Da of the index A, a relatively accurate installation height is obtained. Then, η is obtained, and as a result, relatively accurate world coordinate values (Xw, Yw, Zw) are obtained. The same applies to the case where the installation height η is obtained based on the length dimension Db of the index B.
さらに、数１６においては、Ｚｗ＝０であるときに限らず、世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）の各要素値Ｘｗ，ＹｗおよびＺｗのいずれか１つが既知であれば、当該世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）と画像座標値（Ｘｉ，Ｙｉ）との間での相互変換が可能である。例えば、Ｘｗが既知であるとき、当該数１６は、次の数２１のように表される。つまり、この数２１によって、相互変換が可能となる。
Furthermore, in
そして、Ｙｗが既知であるときは、次の数２２によって、相互変換が可能となり、Ｚｗが既知であるときは、数２３によって、相互変換が可能となる。
When Yw is known, mutual conversion is possible by the following
また、これら数２１〜数２３を利用すれば、世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）を構成する３つの要素値Ｘｗ，ＹｗおよびＺｗのうち少なくとも１つが既知である任意の２点ＰａおよびＰｂ間の距離λを、求めることができる。 Further, if these formulas 21 to 23 are used, any two points Pa and Pb in which at least one of the three element values Xw, Yw, and Zw constituting the world coordinate values (Xw, Yw, Zw) is known are known. The distance λ between them can be determined.
具体的には、一方の点Ｐａの世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が（Ｘｗａ，Ｙｗａ，Ｚｗａ）であり、他方の点Ｐｂの世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）である、とする。すると、これら２点ＰａおよびＰｂ間の距離λは、次の数２４によって表される。 Specifically, the world coordinate value (Xw, Yw, Zw) of one point Pa is (Xwa, Ywa, Zwa), and the world coordinate value (Xw, Yw, Zw) of the other point Pb is (Xwb, Ywb, Zwb). Then, the distance λ between these two points Pa and Pb is expressed by the following equation (24).
ここで、例えば、一方の点Ｐａについては、Ｘｗ軸の要素値Ｘｗａが既知であり、他方の点Ｐｂについても、Ｘｗ軸の要素値Ｘｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２１の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）もまた、当該数２１の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、さらにこれらが数２４に代入されることによって、つまり次の数２５によって、２点ＰａおよびＰｂ間の距離λが求められる。 Here, for example, it is assumed that the element value Xwa of the Xw axis is known for one point Pa, and the element value Xwb of the Xw axis is also known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of Equation 21, and the world coordinate value (Xwb, Ywb, Zwb) is also substituted as the world coordinate value (Xw, Yw, Zw) of the equation 21 and further substituted into the equation 24, that is, the distance between the two points Pa and Pb by the following equation 25 λ is determined.
次に、一方の点Ｐａについては、Ｘｗ軸の要素値Ｘｗａが既知であり、他方の点Ｐｂについては、Ｙｗ軸の要素値Ｙｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２１の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）が、数２２の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、さらにこれらが数２４に代入されることによって、つまり次の数２６によって、２点ＰａおよびＰｂ間の距離λが求められる。 Next, it is assumed that the element value Xwa of the Xw axis is known for one point Pa, and the element value Ywb of the Yw axis is known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of Equation 21, and the world coordinate value (Xwb, Ywb, Zwb) is substituted as the world coordinate value (Xw, Yw, Zw) of the equation (22) and further substituted into the equation (24), that is, according to the following equation (26), the distance λ between the two points Pa and Pb becomes Desired.
さらに、一方の点Ｐａについては、Ｘｗ軸の要素値Ｘｗａが既知であり、他方の点Ｐｂについては、Ｚｗ軸の要素値Ｚｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２１の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）が、数２３の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、これらが数２４に代入されることによって、つまり次の数２７によって、２点ＰａおよびＰｂ間の距離λが求められる。 Further, it is assumed that the element value Xwa of the Xw axis is known for one point Pa, and the element value Zwb of the Zw axis is known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of Equation 21, and the world coordinate value (Xwb, Ywb, Zwb) is substituted as the world coordinate value (Xw, Yw, Zw) of Equation 23, and these are substituted into Equation 24, that is, the following Equation 27 obtains the distance λ between the two points Pa and Pb. It is done.
続いて、一方の点Ｐａについては、Ｙｗ軸の要素値Ｙｗａが既知であり、他方の点Ｐｂについても、Ｙｗ軸の要素値Ｙｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２２の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）もまた、数２２の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、これらが数２４に代入されることによって、つまり次の数２８によって、２点ＰａおよびＰｂ間の距離λが求められる。
Subsequently, it is assumed that the element value Ywa of the Yw axis is known for one point Pa, and the element value Ywb of the Yw axis is also known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of
そして、一方の点Ｐａについて、Ｙｗ軸の要素値Ｙｗａが既知であり、他方の点Ｐｂについては、Ｚｗ軸の要素値Ｚｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２２の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）が、数２３の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、これらが数２４に代入されることによって、つまり次の数２９によって、２点ＰａおよびＰｂ間の距離λが求められる。
It is assumed that the element value Ywa on the Yw axis is known for one point Pa, and the element value Zwb on the Zw axis is known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of
さらに、一方の点Ｐａについて、Ｚｗ軸の要素値Ｚｗａが既知であり、他方の点Ｐｂについても、Ｚｗ軸の要素値Ｚｗｂが既知である、と仮定する。この場合、一方の点Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、数２３の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、他方の点Ｐｂの世界座標値（Ｘｗｂ，Ｙｗｂ，Ｚｗｂ）もまた、数２３の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入され、これらが数２４に代入されることによって、つまり次の数３０によって、２点ＰａおよびＰｂ間の距離λが求められる。
Further, it is assumed that the element value Zwa of the Zw axis is known for one point Pa, and the element value Zwb of the Zw axis is also known for the other point Pb. In this case, the world coordinate value (Xwa, Ywa, Zwa) of one point Pa is substituted as the world coordinate value (Xw, Yw, Zw) of Equation 23, and the world coordinate value (Xwb, Ywb, Zwb) is also substituted as the world coordinate value (Xw, Yw, Zw) of Equation 23, and by substituting these into Equation 24, that is, by the following
なお、これら数２５〜数３０を参照して分かるように、数２５，数２６および数２８については、設置高さηが含まれていない。つまり、これら数２５，数２６および数２８によれば、当該設置高さηが不明であっても、２点ＰａおよびＰｂ間の距離λが求められる。これに対して、数２７，数２９および数３０については、設置高さηが含まれている。つまり、これら数２７，数２９および数３０によれば、当該設置高さηが判明することで、２点ＰａおよびＰｂ間の距離λが一意に求められる。
As can be seen with reference to these formulas 25 to 30, the installation height η is not included in formulas 25, 26, and 28. That is, according to these formulas 25, 26, and 28, the distance λ between the two points Pa and Pb is obtained even if the installation height η is unknown. On the other hand, for the
ここで、１つの応用例として、上述した地面３０上に細長い物体が垂直方向に延伸するように配置されている、と仮定し、この物体の長さ寸法λを求める場合について、説明する。この場合、当該物体の一端が点Ｐａとして取り扱われ、他端が点Ｐｂとして取り扱われる。
Here, as one application example, a case will be described in which it is assumed that an elongated object is arranged on the
例えば、今、物体の一端Ｐａについて、Ｘｗ軸の要素値Ｘｗａが既知である、とする。すると、当該物体が垂直方向に延伸していることから、当然に、他端Ｐｂについても、Ｘｗ軸の要素値Ｘｗｂが既知となり、つまりＸｗａ＝Ｘｗｂとなる。この場合、上述の数２５に基づいて、より詳しくは当該数２５においてＸｗａ＝Ｘｗｂとされた次の数３１に基づいて、物体の長さ寸法λが求められる。 For example, it is assumed that the element value Xwa of the Xw axis is already known for one end Pa of the object. Then, since the object extends in the vertical direction, naturally, the element value Xwb of the Xw axis is also known for the other end Pb, that is, Xwa = Xwb. In this case, the length dimension λ of the object is obtained based on the above-described equation 25, more specifically, based on the following equation 31 in which Xwa = Xwb in the equation 25.
これとは異なり、例えば、物体の一端Ｐａについて、Ｙｗ軸の要素値Ｙｗａが既知である、とすると、当該物体が垂直方向に延伸していることから、当然に、他端Ｐｂについても、Ｙｗ軸の要素値Ｙｗｂが既知となり、つまりＹｗａ＝Ｙｗｂとなる。この場合、上述の数２８に基づいて、より詳しくは当該数２８においてＹｗａ＝Ｙｗｂとされた次の数３２に基づいて、物体の長さ寸法λが求められる。
On the other hand, for example, if the element value Ywa of the Yw axis is known for one end Pa of the object, since the object extends in the vertical direction, naturally, the other end Pb also has Yw. The axis element value Ywb is known, that is, Ywa = Ywb. In this case, the length dimension λ of the object is obtained based on the above equation 28, more specifically, based on the following
さらに、物体の一端Ｐａについて、Ｚｗ軸の要素値Ｚｗａが既知である、とする。この場合は、次の要領による。即ち、この物体の一端Ｐａの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、上述した数２３の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入されることで、次の数３３が得られる。また、他端Ｐｂの世界座標値（Ｘｗａ，Ｙｗａ，Ｚｗａ）が、上述した数１６の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）として代入されることで、数３４が得られる。
Furthermore, it is assumed that the element value Zwa of the Zw axis is known for one end Pa of the object. In this case, follow the procedure below. That is, the following equation 33 is obtained by substituting the world coordinate value (Xwa, Ywa, Zwa) of one end Pa of this object as the above-described equation 23 (Xw, Yw, Zw). Further, the world coordinate value (Xwa, Ywa, Zwa) of the other end Pb is substituted as the world coordinate value (Xw, Yw, Zw) of the above-described
これら数３３および数３４に注目すると、Ｘｗａ＝Ｘｗｂであることから、次の数３５が成立する。同様に、Ｙｗａ＝Ｙｗｂであることから、数３６が成立する。
When attention is paid to these
そして、これら数３５および数３６の一方、例えば数３５が、上述の数２４に代入されることで、次の数３７が得られる。同様に、数３６が、数２４に代入されることで、数３８が得られる。
Then, by substituting one of these
つまり、これら数３７および数３８のいずれかに基づいて、物体の長さ寸法λが求められる。なお、これら数３７および数３８においては、上述の数３１および数３２とは異なり、カメラ１４の設置高さηが必要となる。
In other words, the length dimension λ of the object is obtained based on either of these
さらにまた、上述の数３０に注目すると、この数３０において、例えばＺｗａ＝Ｚｗｂ＝０であるとき、当該数３０は、次の数３９のように表される。
Further, paying attention to the above-described
この数３９において、平方根に含まれるベクトルＶｅ（ｘｅ，ｙｅ，ｚｅ）の各要素値ｘｅ，ｙｅおよびｚｅは、上述した数９によって求められることから、この平方根全体をＮという係数として一括すると、当該数３９は、次の数４０のように表される。
In the equation (39), the element values xe, ye and ze of the vector Ve (xe, ye, ze) included in the square root are obtained by the above equation (9). The number 39 is expressed as the following
さらに、この数４０において、λ＝１とすると共に、当該数４０を、高さ寸法ηについての式に変形し直すと、次の数４１が導き出される。
Further, in this
即ち、この数４１は、２点ＰａおよびＰｂ間の距離λを単位として、設置高さηを表したものである。従って、この数４１で表される高さηを用いれば、世界座標系に対して、当該２点ＰａおよびＰｂ間の距離λを単位とするスケールを与えることができる。例えば、当該距離λを単位として、他の任意の２点間の距離等を求めることができる。 That is, the number 41 represents the installation height η with the distance λ between the two points Pa and Pb as a unit. Therefore, if the height η represented by this equation 41 is used, a scale in units of the distance λ between the two points Pa and Pb can be given to the world coordinate system. For example, the distance between any other two points can be obtained using the distance λ as a unit.
なお、上述の数４０は、Ｚｗａ＝Ｚｗｂ＝０であることを条件とするが、Ｚｗａ＝Ｚｗｂ＝Ｚｗ’≠０であるときは、次の数４２が成立する。
The above-mentioned
そして、この数４２において、λ＝１とすると共に、当該数４２を、高さ寸法ηについての式に変形し直すと、次の数４３が導き出される。
Then, in this
つまり、Ｚｗａ＝Ｚｗｂ＝Ｚｗ’≠０であるときにも、２点ＰａおよびＰｂ間の距離λを単位とするスケールを世界座標系に与えることができる。 That is, even when Zwa = Zwb = Zw ′ ≠ 0, a scale having the unit of the distance λ between the two points Pa and Pb can be given to the world coordinate system.
以上の実施形態で説明した内容は、飽くまでも本発明を実現するための一部の具体例であり、本発明を限定するものではない。例えば、上述の数３０に注目するのに代えて、数２７および数２９に注目することで、２点ＰａおよびＰｂ間の距離λを単位として設置高さηを表す式を求めてもよい。
The contents described in the above embodiments are merely specific examples for realizing the present invention, and are not intended to limit the present invention. For example, instead of paying attention to the above-described
そして、カメラキャリブレーションプログラムについては、適当な記録媒体１６によって供給されることとしたが、インターネット等の電気通信回線を通じて供給されることとしてもよい。
The camera calibration program is supplied by an
また、このカメラキャリブレーションプログラムをいわゆる汎用のＰＣ１２に実行させることでカメラキャリブレーション装置を実現するのではなく、カメラキャリブレーションに特化した専用のカメラキャリブレーション装置を実現してもよい。
Further, instead of realizing the camera calibration device by causing the so-called general-
さらに、カメラキャリブレーションというものではなく、単にカメラ１４の焦点距離ｆ，俯角ρおよび設置高さηのいずれかを求めるのに、本発明を適用してもよい。これらの焦点距離ｆ，俯角ρおよび設置高さηについては、カメラ１４の設置時に或る程度の精度で定めることはできるが、その正確さは、作業者（人間）の力量による。従って、これら焦点距離ｆ，俯角ρおよび設置高さηをより正確に求めるには、本発明が極めて有効である。
Further, the present invention may be applied not only to the camera calibration but simply to determine one of the focal length f, the depression angle ρ, and the installation height η of the
１０ カメラキャリブレーションシステム
１２ ＰＣ
１４ カメラ
１６ ＣＰＵ
１８ 命令入力装置
２４ ディスプレイ
３０ 地面
Ａ，Ｂ 指標
Ｏｃ レンズ主点
ｆ 焦点距離
ρ 俯角
10
14
18 Command input device 24
Claims (7)
上記カメラによる撮影画像上で上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内に存在する該撮影画像を該カメラから取得する画像取得手段と、
上記画像取得手段によって取得された上記撮影画像に基づいて該撮影画像を含む２次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定手段と、
上記位置特定手段によって特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算手段と、
を具備する、カメラパラメータ特定装置。 A camera parameter specifying device that obtains camera parameters including a focal length of a camera that is installed obliquely with respect to a reference plane and whose shooting range is fixed, and an angle of a line of sight of the camera with respect to the reference plane,
An image acquisition means for acquiring, from the camera, an image capable of specifying a vertical vanishing point and a horizontal vanishing point with respect to the reference plane on the image captured by the camera within the imaging range;
Position specifying means for specifying the positions of the vertical vanishing point and the horizontal vanishing point in a two-dimensional region including the photographed image based on the photographed image obtained by the image obtaining means;
Parameter computing means for obtaining the camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point identified by the position identifying means;
A camera parameter specifying device.
請求項１に記載のカメラパラメータ特定装置。 The camera was installed so that the horizontal direction of the captured image was parallel to the reference plane,
The camera parameter specifying device according to claim 1.
上記撮影画像の水平方向の上記基準平面に対する偏角を求める偏角演算手段と、
上記偏角に基づいて該偏角がゼロであると仮定したときの上記垂直消失点および上記水平消失点それぞれの上記２次元領域における位置を仮想する位置仮想手段と、
をさらに具備し、
上記パラメータ演算手段は上記位置仮想手段によって仮想された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求める、
請求項１に記載のカメラパラメータ特定装置。 The camera is installed so that the horizontal direction of the captured image is not parallel to the reference plane, and under these conditions,
A declination calculating means for obtaining a declination with respect to the reference plane in the horizontal direction of the captured image;
Position virtual means for virtualizing the positions of the vertical vanishing point and the horizontal vanishing point in the two-dimensional region when the declination is assumed to be zero based on the declination;
Further comprising
The parameter calculation means obtains the camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point virtualized by the position virtual means,
The camera parameter specifying device according to claim 1.
上記位置特定手段は上記垂直消失点および上記水平消失点それぞれの位置を上記画像座標系における座標値で特定する、
請求項１ないし３のいずれかに記載のカメラパラメータ特定装置。 A two-dimensional image coordinate system is set in the two-dimensional region,
The position specifying means specifies the position of each of the vertical vanishing point and the horizontal vanishing point by a coordinate value in the image coordinate system;
The camera parameter specifying device according to claim 1.
上記世界座標系における座標値を構成する３つの要素値のうち少なくとも１つが既知である上記３次元空間における任意の２点間の距離を基準距離として設定する基準距離設定手段と、
上記基準距離に基づいて上記基準平面から上記カメラまでの距離を含む上記３次元空間における該カメラの位置を求めるカメラ位置演算手段と、
上記カメラの位置を含む上記カメラパラメータに基づいて上記画像座標系および上記世界座標系の一方における任意の座標値に対応する他方における座標値を求める座標変換手段と、をさらに備える、
請求項４に記載のカメラパラメータ特定装置。 A three-dimensional world coordinate system is set in the three-dimensional space including the shooting range,
Reference distance setting means for setting, as a reference distance, a distance between any two points in the three-dimensional space in which at least one of three element values constituting coordinate values in the world coordinate system is known;
Camera position calculation means for determining the position of the camera in the three-dimensional space including the distance from the reference plane to the camera based on the reference distance;
Coordinate conversion means for obtaining a coordinate value in the other corresponding to an arbitrary coordinate value in one of the image coordinate system and the world coordinate system based on the camera parameters including the position of the camera;
The camera parameter specifying device according to claim 4.
上記カメラによる撮影画像上で上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内に存在する該撮影画像を該カメラから取得する画像取得過程と、
上記画像取得過程で取得された上記撮影画像に基づいて該撮影画像を含む２次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定過程と、
上記位置特定過程で特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算過程と、
を具備する、カメラパラメータ特定方法。 A camera parameter specifying method for obtaining a camera parameter including a focal length of a camera installed to be inclined with respect to a reference plane and having a fixed shooting range and an angle of a line of sight of the camera with respect to the reference plane,
An image acquisition process for acquiring, from the camera, an image capable of specifying a vertical vanishing point and a horizontal vanishing point with respect to the reference plane on the image captured by the camera within the imaging range;
A position specifying process for specifying the positions of the vertical vanishing point and the horizontal vanishing point in a two-dimensional region including the photographed image based on the photographed image obtained in the image obtaining process;
A parameter calculation process for obtaining the camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point identified in the position identifying process;
A camera parameter specifying method comprising:
上記カメラによる撮影画像上で上記基準平面に対する垂直消失点および水平消失点を特定することが可能な指標が上記撮影範囲内に存在する該撮影画像を該カメラから取得する画像取得手順と、
上記画像取得手順で取得された上記撮影画像に基づいて該撮影画像を含む２次元領域における上記垂直消失点および上記水平消失点それぞれの位置を特定する位置特定手順と、
上記位置特定手順で特定された上記垂直消失点および上記水平消失点それぞれの位置に基づいて上記カメラパラメータを求めるパラメータ演算手順と、
をコンピュータに実行させる、カメラパラメータ特定プログラム。 A camera parameter specifying program for obtaining camera parameters including a focal length of a camera that is installed obliquely with respect to a reference plane and a shooting range is fixed, and an angle of a line of sight of the camera with respect to the reference plane,
An image acquisition procedure for acquiring, from the camera, the captured image having an index capable of specifying a vertical vanishing point and a horizontal vanishing point with respect to the reference plane on the captured image by the camera;
A position specifying procedure for specifying the position of each of the vertical vanishing point and the horizontal vanishing point in a two-dimensional region including the photographed image based on the photographed image obtained in the image obtaining procedure;
A parameter calculation procedure for obtaining the camera parameters based on the positions of the vertical vanishing point and the horizontal vanishing point identified by the position identifying procedure;
Is a camera parameter specifying program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008183589A JP5079614B2 (en) | 2008-07-15 | 2008-07-15 | Camera parameter specifying apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008183589A JP5079614B2 (en) | 2008-07-15 | 2008-07-15 | Camera parameter specifying apparatus and method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010025569A true JP2010025569A (en) | 2010-02-04 |
| JP5079614B2 JP5079614B2 (en) | 2012-11-21 |
Family
ID=41731561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008183589A Active JP5079614B2 (en) | 2008-07-15 | 2008-07-15 | Camera parameter specifying apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5079614B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012181063A (en) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | Calculation device, calculation method and calculation program |
| JP2015070437A (en) * | 2013-09-27 | 2015-04-13 | サクサ株式会社 | Image processing device |
| CN109685855A (en) * | 2018-12-05 | 2019-04-26 | 长安大学 | A kind of camera calibration optimization method under road cloud monitor supervision platform |
| CN109916341A (en) * | 2019-04-22 | 2019-06-21 | 苏州华兴源创科技股份有限公司 | A kind of measurement method and system of product surface horizontal tilt angle |
| US10348961B2 (en) | 2014-04-03 | 2019-07-09 | Hanwha Precision Machinery Co., Ltd. | Camera modeling system |
| CN110211176A (en) * | 2019-05-31 | 2019-09-06 | 驭势科技（北京）有限公司 | A kind of Camera extrinsic number correction System and method for |
| CN111508027A (en) * | 2019-01-31 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | Method and device for calibrating external parameters of camera |
| JP2020173211A (en) * | 2019-04-12 | 2020-10-22 | 俊雄 川口 | Angle measuring device, distance measuring device, speed measuring device, altitude measuring device, coordinate measuring device, angle measuring method, and program |
| WO2021079456A1 (en) * | 2019-10-24 | 2021-04-29 | 日本電気株式会社 | Camera calibration device, camera calibration method, and non-transitory computer-readable medium |
| CN113421307A (en) * | 2021-06-22 | 2021-09-21 | 恒睿(重庆)人工智能技术研究院有限公司 | Target positioning method and device, computer equipment and storage medium |
| CN113628238A (en) * | 2021-07-22 | 2021-11-09 | 中汽创智科技有限公司 | Target object positioning method, device and medium |
| CN114446088A (en) * | 2022-02-16 | 2022-05-06 | 成都宜泊信息科技有限公司 | Parking space management method, management system, storage medium and electronic equipment |
| WO2023249126A1 (en) * | 2022-06-24 | 2023-12-28 | 日立Astemo株式会社 | Image processing device and image processing method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105987683B (en) * | 2015-04-16 | 2018-03-27 | 北京蚁视科技有限公司 | A kind of vision positioning system and method based on high reflective infrared mark |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0798214A (en) * | 1993-09-29 | 1995-04-11 | Nippondenso Co Ltd | Method and device for three dimensional position and attitude recognition method based on sense of sight |
| JPH09319896A (en) * | 1996-03-25 | 1997-12-12 | Hitachi Ltd | Three-dimensional image generating device |
-
2008
- 2008-07-15 JP JP2008183589A patent/JP5079614B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0798214A (en) * | 1993-09-29 | 1995-04-11 | Nippondenso Co Ltd | Method and device for three dimensional position and attitude recognition method based on sense of sight |
| JPH09319896A (en) * | 1996-03-25 | 1997-12-12 | Hitachi Ltd | Three-dimensional image generating device |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012181063A (en) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | Calculation device, calculation method and calculation program |
| JP2015070437A (en) * | 2013-09-27 | 2015-04-13 | サクサ株式会社 | Image processing device |
| US10348961B2 (en) | 2014-04-03 | 2019-07-09 | Hanwha Precision Machinery Co., Ltd. | Camera modeling system |
| CN109685855B (en) * | 2018-12-05 | 2022-10-14 | 长安大学 | Camera calibration optimization method under road cloud monitoring platform |
| CN109685855A (en) * | 2018-12-05 | 2019-04-26 | 长安大学 | A kind of camera calibration optimization method under road cloud monitor supervision platform |
| CN111508027A (en) * | 2019-01-31 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | Method and device for calibrating external parameters of camera |
| CN111508027B (en) * | 2019-01-31 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | Method and device for calibrating external parameters of camera |
| JP2020173211A (en) * | 2019-04-12 | 2020-10-22 | 俊雄 川口 | Angle measuring device, distance measuring device, speed measuring device, altitude measuring device, coordinate measuring device, angle measuring method, and program |
| JP7282578B2 (en) | 2019-04-12 | 2023-05-29 | 俊雄 川口 | Angle measuring device, distance measuring device, speed measuring device, altitude measuring device, coordinate measuring device, angle measuring method, and program |
| CN109916341A (en) * | 2019-04-22 | 2019-06-21 | 苏州华兴源创科技股份有限公司 | A kind of measurement method and system of product surface horizontal tilt angle |
| CN109916341B (en) * | 2019-04-22 | 2020-08-25 | 苏州华兴源创科技股份有限公司 | Method and system for measuring horizontal inclination angle of product surface |
| CN110211176A (en) * | 2019-05-31 | 2019-09-06 | 驭势科技（北京）有限公司 | A kind of Camera extrinsic number correction System and method for |
| JPWO2021079456A1 (en) * | 2019-10-24 | 2021-04-29 | ||
| WO2021079456A1 (en) * | 2019-10-24 | 2021-04-29 | 日本電気株式会社 | Camera calibration device, camera calibration method, and non-transitory computer-readable medium |
| CN113421307B (en) * | 2021-06-22 | 2022-11-22 | 恒睿(重庆)人工智能技术研究院有限公司 | Target positioning method and device, computer equipment and storage medium |
| CN113421307A (en) * | 2021-06-22 | 2021-09-21 | 恒睿(重庆)人工智能技术研究院有限公司 | Target positioning method and device, computer equipment and storage medium |
| CN113628238A (en) * | 2021-07-22 | 2021-11-09 | 中汽创智科技有限公司 | Target object positioning method, device and medium |
| CN113628238B (en) * | 2021-07-22 | 2023-09-22 | 中汽创智科技有限公司 | Target object positioning method, device and medium |
| CN114446088A (en) * | 2022-02-16 | 2022-05-06 | 成都宜泊信息科技有限公司 | Parking space management method, management system, storage medium and electronic equipment |
| WO2023249126A1 (en) * | 2022-06-24 | 2023-12-28 | 日立Astemo株式会社 | Image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5079614B2 (en) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5079614B2 (en) | Camera parameter specifying apparatus and method, and program | |
| JP6011548B2 (en) | Camera calibration apparatus, camera calibration method, and camera calibration program | |
| JP6573354B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2020098316A1 (en) | Visual point cloud-based semantic vector map building method, device, and electronic apparatus | |
| US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
| Scaramuzza et al. | Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes | |
| EP2615580B1 (en) | Automatic scene calibration | |
| JP4886560B2 (en) | Information processing apparatus and information processing method | |
| US8520931B2 (en) | Position and orientation measurement apparatus and method thereof | |
| JP5746477B2 (en) | Model generation device, three-dimensional measurement device, control method thereof, and program | |
| JP3977776B2 (en) | Stereo calibration device and stereo image monitoring device using the same | |
| JP5586765B2 (en) | Camera calibration result verification apparatus and method | |
| CN108052103B (en) | Underground space simultaneous positioning and map construction method of inspection robot based on depth inertia odometer | |
| WO2012043045A1 (en) | Image processing device and image capturing device using same | |
| JP2015532077A (en) | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image | |
| JP6479296B2 (en) | Position / orientation estimation apparatus and position / orientation estimation method | |
| EP3300025B1 (en) | Image processing device and image processing method | |
| JP5079547B2 (en) | Camera calibration apparatus and camera calibration method | |
| George et al. | Towards drone-sourced live video analytics for the construction industry | |
| JP5019478B2 (en) | Marker automatic registration method and system | |
| CN114536292A (en) | Error detection method based on composite identification and robot system | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| CN114536399B (en) | Error detection method based on multiple pose identifications and robot system | |
| KR20140114594A (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
| JPWO2008032375A1 (en) | Image correction apparatus and method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100803 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120814 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120829 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5079614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |