JP5079547B2 - Camera calibration apparatus and camera calibration method - Google Patents
Camera calibration apparatus and camera calibration method Download PDFInfo
- Publication number
- JP5079547B2 JP5079547B2 JP2008052169A JP2008052169A JP5079547B2 JP 5079547 B2 JP5079547 B2 JP 5079547B2 JP 2008052169 A JP2008052169 A JP 2008052169A JP 2008052169 A JP2008052169 A JP 2008052169A JP 5079547 B2 JP5079547 B2 JP 5079547B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- world coordinate
- camera
- coordinate value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000009434 installation Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
本発明は、カメラキャリブレーション装置およびカメラキャリブレーション方法に関し、特に、撮影領域が固定されたカメラによる撮影画像上に設定された2次元の画像座標と当該撮影領域を含む実空間に設定された3次元の世界座標とを対応付けるカメラパラメータを求める、カメラキャリブレーション装置およびカメラキャリブレーション方法に関する。 The present invention relates to a camera calibration device and a camera calibration method, and in particular, two-dimensional image coordinates set on a captured image by a camera with a fixed shooting area and 3 set in a real space including the shooting area. The present invention relates to a camera calibration device and a camera calibration method for obtaining a camera parameter that associates a world coordinate of a dimension.
この種のカメラキャリブレーション装置およびカメラキャリブレーション方法として、従来、例えば特許文献1に開示されたものがある。この従来技術によれば、次の数1で表される公知の射影変換行列に基づいて、カメラキャリブレーションが行われる。 As this type of camera calibration device and camera calibration method, there is a conventional one disclosed in Patent Document 1, for example. According to this prior art, camera calibration is performed based on a known projective transformation matrix expressed by the following equation (1).
ここで、sは、スケールファクタであり、uおよびvは、画像座標の座標値である。そして、Xw,YwおよびZwは、世界座標の座標値であり、C11〜C14,C21〜C24およびC31〜C34は、カメラパラメータである。
Here, s is a scale factor, and u and v are coordinate values of image coordinates. Then, Xw, Yw and Zw is the coordinates of the world coordinate, C 11 ~C 14, C 21 ~
即ち、この数1によれば、画像座標値(u,v)と世界座標値(Xw,Yw,Zw)との組合せが少なくとも6組構成されれば、これら6組の組合せから成る連立方程式によって、C11〜C14,C21〜C24およびC31〜C34という合計12個のカメラパラメータが求められる、つまりカメラキャリブレーションが実現される。この実現のために、従来技術では、カメラによる撮影領域に指標点が設置される。そして、この指標点の世界座標値(Xw,Yw,Zw)が、三角測量等によって測定される。併せて、モニタの画面に映し出されたカメラによる撮影画像上で指標点が指定されることによって、この指標点の画像座標値(u,v)が特定される。そして、この作業が異なる指標点について合計6回行われることで、画像座標値(u,v)と世界座標値(Xw,Yw,Zw)との組合せが6組構成される。 That is, according to Equation 1, if at least six combinations of the image coordinate values (u, v) and the world coordinate values (Xw, Yw, Zw) are configured, the simultaneous equations composed of these six combinations are used. , C 11 to C 14 , C 21 to C 24 and C 31 to C 34 in total, 12 camera parameters are obtained, that is, camera calibration is realized. In order to realize this, in the conventional technique, an index point is set in an imaging region by a camera. Then, the world coordinate values (Xw, Yw, Zw) of this index point are measured by triangulation or the like. At the same time, by specifying an index point on the image captured by the camera displayed on the monitor screen, the image coordinate value (u, v) of the index point is specified. Then, this operation is performed a total of six times for different index points, so that six combinations of image coordinate values (u, v) and world coordinate values (Xw, Yw, Zw) are configured.
なお、従来技術では、この射影変換行列の他に、カメラキャリブレーションを実現するための代表的な手法として、非特許文献1に開示されている手法がある旨も、紹介されている。 In addition, in the prior art, in addition to the projective transformation matrix, it is also introduced that there is a technique disclosed in Non-Patent Document 1 as a representative technique for realizing camera calibration.
しかし、上述の如く撮影領域に設置された指標点の世界座標値(Xw,Yw,Zw)を三角測量等によって測定するのは、非常に面倒であり、それ相応の労力や時間,コストが掛かる。このことは、撮影領域が広いほど、顕著になる。また、例えば監視カメラシステムのように複数台のカメラを備える場合、これら複数台のカメラのそれぞれについて同様の作業を行う必要があるので、面倒さがさらに増大する。 However, it is very troublesome to measure the world coordinate values (Xw, Yw, Zw) of the index points set in the imaging region as described above by triangulation or the like, and it takes corresponding labor, time and cost. . This becomes more prominent as the shooting area is larger. In addition, when a plurality of cameras are provided as in a surveillance camera system, for example, it is necessary to perform the same operation for each of the plurality of cameras, so that troublesomeness further increases.
そこで、本発明は、従来よりも極めて簡単にカメラキャリブレーションを行うことができる装置および方法を提供することを、目的とする。 Accordingly, an object of the present invention is to provide an apparatus and method that can perform camera calibration much more easily than in the past.
この目的を達成するために、本発明のうちの第1発明は、撮影領域が固定されたカメラによる撮影画像上に設定された2次元の画像座標と当該撮影領域を含む実空間に設定された3次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション装置において、世界座標を構成する3つの座標軸のうち1つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定手段と、この模擬画像上指標位置指定手段による指定位置の2次元座標における2次元座標値と当該2次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算手段と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定手段と、この撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と世界座標値演算手段によって求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算手段と、を具備するものである。 In order to achieve this object, the first invention of the present invention is set to a real space including a two-dimensional image coordinate set on a photographed image by a camera having a photographing area fixed and the photographing area. In a camera calibration device for obtaining a camera parameter that associates a three-dimensional world coordinate, a real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and the plane is represented Simulated image display means for displaying a simulated image in which two-dimensional coordinates correlated with world coordinates are set is provided. Then, the on-simulated image index position specifying means for specifying the position of the index set in the imaging area on the simulated image, the two-dimensional coordinate value in the two-dimensional coordinates of the specified position by the on-simulated image index position specifying means, and the 2 World coordinate value calculation means for obtaining a world coordinate value in the world coordinate of the position of the index based on the correlation between the dimensional coordinate and the world coordinate is also provided. Further, the captured image index position specifying means for specifying the position of the index on the captured image, and the image coordinate value at the image coordinates of the specified position by the captured image index position specifying means and the world obtained by the world coordinate value calculating means. Parameter calculating means for obtaining camera parameters based on the coordinate values.
即ち、本第1発明では、模擬画像表示手段によって、模擬画像が表示される。この模擬画像は、世界座標を構成する3つの座標軸のうち1つの座標軸の値が一定とされた平面、言い換えれば当該1つの座標軸に直交する平面、における実空間を模擬したものであり、この模擬画像には、当該平面を表す世界座標と相関する2次元座標が設定されている。ここで、カメラによる撮影領域の適宜の位置に指標が設置されると、この指標を含む撮影領域が、カメラによって撮影される。そして、このカメラによる撮影画像上で、指標の位置が、撮影画像上指標位置指定手段によって指定される。併せて、模擬画像上において、指標の位置が、模擬画像上指標位置指定手段によって指定される。そして、この模擬画像上指標位置指定手段による指定位置の2次元座標における2次元座標値と、当該2次元座標および世界座標間の相関関係と、に基づいて、指標の位置の世界座標における世界座標値が、世界座標値演算手段によって求められる。つまり、模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。そして、この指標の世界座標値と、撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と、に基づいて、カメラパラメータが、パラメータ演算手段によって求められる。 That is, in the first invention, the simulated image is displayed by the simulated image display means. This simulated image simulates a real space in a plane in which the value of one coordinate axis among the three coordinate axes constituting the world coordinate is constant, in other words, a plane orthogonal to the one coordinate axis. Two-dimensional coordinates that correlate with world coordinates representing the plane are set in the image. Here, when an index is set at an appropriate position in the imaging area by the camera, the imaging area including the index is captured by the camera. Then, the position of the index is designated by the index position designation means on the photographed image on the photographed image by the camera. At the same time, the position of the index on the simulated image is specified by the index position specifying means on the simulated image. Then, based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position by the index position designation means on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate in the world coordinate of the index position The value is obtained by the world coordinate value calculation means. That is, the world coordinate value of the index is obtained from the position of the index specified on the simulated image. Then, based on the world coordinate value of the index and the image coordinate value at the image coordinate of the specified position by the index position specifying unit on the captured image, the camera parameter is obtained by the parameter calculating unit.
なお、本第1発明において、世界座標を構成する3つの座標軸のうち上述した1つの座標軸、つまり模擬画像によって模擬された平面が直交する座標軸は、実空間の垂直方向における位置、言わば高さ、を規定するものとする。この場合、模擬画像は、この高さがゼロの平面を模擬したものとするのが、望ましい。 In the first invention, of the three coordinate axes constituting the world coordinate, the above-described one coordinate axis, that is, the coordinate axis where the plane simulated by the simulated image is orthogonal, is the position in the vertical direction of the real space, that is, the height, Shall be defined. In this case, it is desirable for the simulated image to simulate a plane having a height of zero.
また、模擬画像上に設定された2次元座標と、実空間に設定された世界座標と、の間の相関関係は、当該模擬画像上における任意の2点間の距離と、この模擬画像によって模擬された平面における当該2点間に対応する部分の距離と、の比率を含むものであってもよい。 The correlation between the two-dimensional coordinates set on the simulated image and the world coordinates set on the real space is simulated by the distance between any two points on the simulated image and the simulated image. The ratio of the distance of the part corresponding between the two points in the formed plane may be included.
さらに、本第1発明においては、複数台のカメラについてカメラキャリブレーションを行うことができる。この場合、模擬画像として、各カメラに共通の画像を用いることができる。そして、上述の撮影画像上指標位置指定手段は、各カメラのそれぞれによる撮影画像上で指標の位置を指定し、パラメータ演算手段は、各カメラのそれぞれについてカメラパラメータを求めるものとする。 Furthermore, in the first invention, camera calibration can be performed for a plurality of cameras. In this case, an image common to each camera can be used as a simulated image. Then, the above-mentioned index position designation unit on the photographed image designates the position of the index on the photographed image by each camera, and the parameter calculation means obtains the camera parameter for each camera.
第2発明は、第1発明に対応する方法発明であり、撮影領域が固定されたカメラによる撮影画像上に設定された2次元の画像座標と当該撮影領域を含む実空間に設定された3次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション方法において、世界座標を構成する3つの座標軸のうち1つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示過程を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定過程と、この模擬画像上指標位置指定過程による指定位置の2次元座標における2次元座標値と当該2次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算過程と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定過程と、この撮影画像上指標位置指定過程による指定位置の画像座標における画像座標値と世界座標値演算過程において求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算過程と、を具備するものである。 The second invention is a method invention corresponding to the first invention, and a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region and a three-dimensional set in a real space including the photographing region. In a camera calibration method for obtaining a camera parameter that associates a world coordinate with a world coordinate that simulates a real space in a plane in which the value of one coordinate axis of the three coordinate axes constituting the world coordinate is constant and represents the plane A simulated image display process for displaying a simulated image in which two-dimensional coordinates correlated with the image are set. Then, the index position designation process on the simulated image for designating the position of the index set in the imaging region on the simulated image, the two-dimensional coordinate value in the two-dimensional coordinates of the designated position in the index position designation process on the simulated image, and the 2 And a world coordinate value calculation process for obtaining a world coordinate value in the world coordinate of the position of the index based on the correlation between the dimension coordinate and the world coordinate. In addition, the index position on the captured image that specifies the position of the index on the captured image, and the image coordinate value and the world coordinate value calculated in the process of calculating the world coordinate value in the image coordinates of the specified position in the index position on the captured image. And a parameter calculation process for obtaining a camera parameter based on the coordinate value.
上述したように、本発明によれば、実空間の一平面を模擬すると共に当該一平面を表す世界座標と相関する2次元座標が設定された模擬画像が用意されており、この模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。従って、実空間において指標点の世界座標(Xw,Yw,Zw)を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、カメラによる撮影領域が広いほど、また当該カメラの台数が多いほど、顕著である。 As described above, according to the present invention, a simulated image is prepared in which two-dimensional coordinates correlating with the world coordinates representing one plane are set while simulating one plane in real space. From the position of the designated index, the world coordinate value of the index is obtained. Therefore, compared to the conventional technique of measuring the world coordinates (Xw, Yw, Zw) of the index point in the real space by triangulation or the like, the world coordinate value of the index can be obtained very easily, and hence the camera calibration. It can be performed. This is more conspicuous as the imaging area of the camera is wider and the number of cameras is larger.
本発明の一実施形態について、図1に示す監視カメラシステム10を例に挙げて説明する。
An embodiment of the present invention will be described by taking the
同図に示すように、本実施形態に係る監視カメラシステム10は、撮影領域が固定された複数台の固定カメラ12,12,…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ14,14,…と、を具備する。そして、これらの固定カメラ12,12,…および旋回型カメラ14,14,…は、パーソナルコンピュータ(以下、PCと言う。)16に接続されている。
As shown in the figure, the
PC16は、自身にインストールされた制御プログラムを実行することで、各固定カメラ12,12,…による撮影画像に基づいて各旋回型カメラ14,14,…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ12について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ14について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このPC16には、これに各種命令を入力するための入力手段、例えばマウス18およびキーボード20を含む操作装置22と、当該PC16による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ24と、が接続されている。
The PC 16 functions as a camera control device that controls the revolving
この監視カメラシステム10は、例えば図2に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の4隅A,B,CおよびDに、1台ずつ、つまり合計4台、の固定カメラ12,12,…が設置されている。そして、これら4台の固定カメラ12,12,…の近傍a,b,cおよびdに、1台ずつ、つまり合計4台、の旋回型カメラ14,14,…が設置されている。なお、各固定カメラ12,12,…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅(同図において左下隅)Aに設置されている固定カメラ12は、同図に矢印12aで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅(同図において右下隅)Bに設置されている固定カメラ12は、同図に矢印12bで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅(同図において右上隅)Cに設置されている固定カメラ12は、同図に矢印12cで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅(同図において左上隅)Dに設置されている固定カメラ12は、同図に矢印12dで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。
The
各固定カメラ12,12,…による撮影画像は、所定の順番に従って1つずつ、または分割画面によって同時に、ディスプレイ24に表示される。例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影画像は、図3のように表示される。併せて、ディスプレイ24には、図4に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図(建物等の各箇所の形状や寸法等)を忠実に表現したものであり、ビットマップファイルやJPEG(Joint Photographic Experts Group)ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用(画像ファイル化)することによって、新たにマップ画像を作成する手間を省くことができる。
Images taken by the fixed
ここで、例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影領域(つまり南側領域)に、人間等の移動体が侵入したとする。すると、この固定カメラ12による撮影画像は、図5のようになる。即ち、当該撮影画像に、移動体(厳密には移動体の像)30が表示される。そして、この移動体30が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体30を囲む(内接させる)ように、矩形状の枠32が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク34が表示される。これらの矩形枠32および注意マーク34の表示を受けて、オペレータ(監視者)は、移動体30が侵入したことを認識することができる。なお、これらの矩形枠32および注意マーク34の表示は、PC16によって制御される。
Here, for example, it is assumed that a moving body such as a human has entered the shooting area (that is, the south area) of the fixed
併せて、図4に示したマップ画像上に、図6に示すように、移動体30の現在位置を示す移動体マーク36と、当該移動体30の移動径路を示す軌跡線38が表示される。この表示を受けて、オペレータは、敷地内における移動体30の現在位置および移動径路を認識することができる。なお、これらの移動体マーク36および軌跡線38の表示もまた、PC16によって制御される。
In addition, as shown in FIG. 6, a moving body mark 36 indicating the current position of the moving
さらに、移動体30の現在位置に応じて、適宜の旋回型カメラ14、例えば南西隅aの旋回型カメラ14が、当該移動体30の方向を向くように旋回すると共に、当該移動体30を拡大して撮影するようにズームアップする。そして、この旋回型カメラ14による撮影画像が、図7に示すように、ディスプレイ24に表示される。そして、この移動体30を自動追尾するように、旋回型カメラ14の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ14の旋回動作およびズーム動作、ならびに当該旋回型カメラ14による撮影画像のディスプレイ24への表示も、PC16によって制御される。また、この南西隅aの旋回型カメラ14のみならず、当該移動体30を捕捉可能な別の旋回型カメラ14、例えば南東隅bの旋回型カメラ14についても、自動追尾させると共に、その撮影画像をディスプレイ24に表示させてもよい。
Further, according to the current position of the moving
以上のことは、他のそれぞれの固定カメラ12による撮影領域に移動体30が侵入したときも、同様である。
The above is the same when the moving
このように、マップ画像上における移動体マーク36および軌跡線38の表示、ならびに適宜の旋回型カメラ14による自動追尾および当該自動追尾している旋回型カメラ14による撮影画像の表示によって、移動体30の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。
In this manner, the moving
ところで、このような統合的な監視を実現するには、それぞれの固定カメラ12による撮影画像において、移動体30が現れたときにこれを検知すると共に、この移動体30の実空間における位置を当該固定カメラ12による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ12による撮影画像から実空間における移動体30の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。
By the way, in order to realize such integrated monitoring, when the moving
即ち、図4に示したマップ画像において、図8に示すように、直線状のスケーラ40が設定される。具体的には、実空間において実寸が判明している部分、例えば図8においては矩形状の建物の北西角部Qaから南西角部Qbまでの部分に、上述したマウス18の操作(ドラッグ&ドロップ操作)によって当該スケーラ40が設定される。そして、実空間においてこのスケーラ40に対応する部分の実際の寸法(実寸)Lwが、例えば上述したキーボード20の操作によって入力される。なお、実寸Lwの単位は、例えば[mm](ミリメートル)であり、マップ画像上におけるスケーラ40の長さ寸法Lmは、当該マップ画像を構成する画素の単位、いわゆる[pixel](ピクセル)である。そして、実空間における実際の寸法Lwをマップ画像上におけるスケーラ40の長さ寸法Lmで除することによって、つまり次の数2によって、当該マップ画像上における1[pixel]が実空間においてどれくらいの長さ寸法に対応するのかを表す係数kが求められる。
That is, in the map image shown in FIG. 4, a
さらに、図9(a)に示すように、マップ画像における左下角部が、当該マップ画像における原点Omとされる。そして、この原点Omを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線が、α軸とされ、当該原点Omを通りかつ垂直方向に沿う(同図において上側に向かって延伸する)直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る2次元の直交座標が設定される。なお、このマップ画像上の2次元座標の単位は、上述した[pixel]である。 Further, as shown in FIG. 9A, the lower left corner of the map image is set as the origin Om in the map image. A straight line passing through the origin Om and extending along the horizontal direction (extending toward the right side in the figure) is the α axis, passing through the origin Om and extending along the vertical direction (extending toward the upper side in the figure). The straight line is the β axis. As a result, two-dimensional orthogonal coordinates composed of an α axis and a β axis are set on the map image. The unit of two-dimensional coordinates on this map image is [pixel] described above.
併せて、図9(b)に示すように、実空間において、マップ画像における原点Omに対応する位置が、原点Owとされ、当該マップ画像におけるα軸およびβ軸に対応するように、x軸およびy軸が設定される。そして、原点Owを通り、かつx軸およびy軸のそれぞれに直交するように(同図において上側に向かって延伸するように)、高さ方向を規定するz軸が設定される。これによって、実空間に、x軸,y軸およびz軸から成る3次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の[mm]である。 In addition, as shown in FIG. 9B, in the real space, the position corresponding to the origin Om in the map image is set as the origin Ow, and the x axis is set so as to correspond to the α axis and the β axis in the map image. And the y-axis is set. Then, a z-axis that defines the height direction is set so as to pass through the origin Ow and to be orthogonal to each of the x-axis and the y-axis (so as to extend upward in the figure). As a result, three-dimensional world coordinates including the x-axis, y-axis, and z-axis are set in the real space. The unit of world coordinates set in this real space is the above-mentioned [mm].
つまり、図9(a)のマップ画面は、図9(b)の実空間における高さzがゼロ(z=0)の平面を模擬したものである。従って、これら両者の座標値(α,β)および(x,y,0)の関係は、上述した係数kを言わば変換係数とする次の数3で表される。 That is, the map screen of FIG. 9A simulates a plane having a height z of zero (z = 0) in the real space of FIG. 9B. Therefore, the relationship between these coordinate values (α, β) and (x, y, 0) is expressed by the following equation (3) where the coefficient k is a conversion coefficient.
ゆえに、例えば、図9(a)のマップ画像における任意の位置Qcにおける2次元座標値を(α’,β’)とすると、図9(b)の実空間において当該位置Qcに対応する位置Qdの世界座標値(x’、y’,z’)は、この数3の関係から、(x’、y’,z’)=(k・α’,k・β’,0)となる。 Therefore, for example, if the two-dimensional coordinate value at an arbitrary position Qc in the map image of FIG. 9A is (α ′, β ′), the position Qd corresponding to the position Qc in the real space of FIG. The world coordinate values (x ′, y ′, z ′) of (x ′, y ′, z ′) = (k · α ′, k · β ′, 0) from the relationship of Equation 3.
そして、このようにスケーラ40が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。
Then, camera calibration is performed in the following procedure using the map image calibrated by setting the
即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に11変数の射影変換行列、が用いられる。この11変数の射影変換行列では、固定カメラ12による2次元の撮影画像の座標値が(u,v)で表されるとすると、この画像座標値(u,v)と実空間の絶対座標値(x,y,z)との関係は、次の数4のようになる。
That is, as a conversion algorithm for the camera calibration, a known projective transformation matrix, particularly an eleven-variable projective transformation matrix is used. In this 11-variable projective transformation matrix, assuming that the coordinate value of the two-dimensional captured image by the fixed
なお、この数4において、sは、スケールファクタである。そして、p1〜p11が、カメラパラメータである。また、固定カメラ12による撮影画像の座標値(u,v)は、後述する図12に示すように、当該撮影画像の左上角を原点Oiとし、この原点Oiを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線がu軸とされ、当該原点Oiを通りかつ垂直方向に沿う(同図において下側に向かって延伸する)直線がv軸とされた、2次元の画像座標上の値である。
In Equation 4, s is a scale factor. Then, p 1 ~p 11 is a camera parameter. Further, as shown in FIG. 12 described later, the coordinate value (u, v) of the captured image by the fixed
この数4において、スケールファクタsが消去されると、次の数5および数6から成る連立方程式が導き出される。
In this equation 4, when the scale factor s is eliminated, the following simultaneous equations consisting of the following
これら数5および数6によれば、画像座標値(u,v)と世界座標値(x,y,z)との組合せが少なくとも6組構成されれば、これら6組の組合せから成る連立方程式によって、p1〜p11という合計11個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばz=0という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも2つの異なる平面上にあることが、必要とされる。
According to these
この実現のために、本実施形態では、まず、図10に示すように、カメラキャリブレーションの対象となる固定カメラ12による撮影領域の適当な位置Qeに、指標としての人間42が立つ。なお、この人間42の身長は既知であるとする。また、人間42の立ち位置Qeとしては、マップ画像上においても分かり易いところが、好ましい。
In order to realize this, in the present embodiment, first, as shown in FIG. 10, a
次に、図11に示すように、マップ画像上において、図10における人間42の立ち位置Qeに対応する位置Qfが、例えばマウス18の操作(クリック操作)によって指定される。これによって、この指定された位置Qfの2次元座標値(α,β)が特定される。さらに、この2次元座標値(α,β)が、上述した数3によって世界座標値(x,y,0)に変換される。この世界座標値(x,y,0)は、図10における人間42の足元の位置Qeに対応する。
Next, as shown in FIG. 11, on the map image, a position Qf corresponding to the standing position Qe of the
続いて、人間42の身長(単位[mm])が、例えばキーボード20の操作によって入力される。入力された身長は、実空間における人間42の頭部の位置zに相当する。つまり、この人間42の身長が、上述の数3によって変換された世界座標値(x,y,0)に加えられることで、実空間における当該人間42の頭部の世界座標値(x,y,z)が求められる。
Subsequently, the height (unit [mm]) of the human 42 is input by operating the
さらに、図12に示すように、固定カメラ12による撮影画像上において、人間(厳密には人間の像)42の足元Qgが、例えばマウス18の操作によって指定される。これによって、撮影画像における当該足元Qgの画像座標値(u,v)が特定される。
Further, as shown in FIG. 12, the foot Qg of a human (strictly speaking, a human image) 42 is designated by, for example, an operation of the
これと同様に、図13に示すように、固定カメラ12による撮影画像上において、人間42の頭部Qhが、マウス18の操作によって指定される。これによって、撮影画像における当該頭部Qhの画像座標値(u,v)が特定される。
Similarly, as shown in FIG. 13, the head Qh of the human 42 is designated by the operation of the
この一連の作業によって、互いに異なる平面上に存在する世界座標値(x,y,0)および(x,y,z)と、それぞれに対応する画像座標値(u,v)と、の組合せが2組得られる。従って、図10に示した実空間において人間42が別の位置Qeに移動した上で同様の作業が行われ、この作業が合計で3回行われることによって、画像座標値(u,v)と世界座標値(x,y,z)((x,y,0)を含む。)との組合せが合計6組得られる。そして、これら6組の組合せから成る連立方程式に基づいて、カメラパラメータp1〜p11が求められ、つまりカメラキャリブレーションが実現される。 Through this series of operations, combinations of world coordinate values (x, y, 0) and (x, y, z) existing on different planes and image coordinate values (u, v) corresponding to the respective coordinate values are obtained. Two sets are obtained. Accordingly, the same work is performed after the human 42 moves to another position Qe in the real space shown in FIG. 10, and this work is performed three times in total, thereby obtaining the image coordinate values (u, v) and A total of six combinations with world coordinate values (x, y, z) (including (x, y, 0)) are obtained. Then, camera parameters p 1 to p 11 are obtained based on simultaneous equations composed of these six combinations, that is, camera calibration is realized.
このように、本実施形態によれば、実空間におけるz=0の平面を模擬したマップ画像上で、図11に示したように指標としての人間42の足元の位置Qfが指定され、この指定された足元の位置Qfの2次元座標値(α,β)が、上述した数3によって実空間における世界座標値(x,y,0)に変換される。これによって、図10に示した実空間における当該人間42の足元の位置Qeの世界座標値(x,y,0)が求められる。さらに、この足元の位置Qeの世界座標値(x,y,0)に人間42の身長が加えられることで、当該人間42の頭部の世界座標値(x,y,z)が得られる。従って、実空間において指標点の世界座標(Xw,Yw,Zw)を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値(x,y,z)((x,y,0)を含む。)を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ12による撮影領域が広いほど、顕著である。
As described above, according to the present embodiment, the position Qf of the foot of the human 42 as an index is designated as shown in FIG. 11 on the map image simulating the z = 0 plane in the real space. The two-dimensional coordinate value (α, β) of the foot position Qf thus obtained is converted into the world coordinate value (x, y, 0) in the real space by the above-described Expression 3. Thereby, the world coordinate value (x, y, 0) of the foot position Qe of the
なお、他のそれぞれの固定カメラ12についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。
Note that the camera calibration can be performed using the same map image for each of the other
さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ12による撮影画像上における2次元の画像座標値(u,v)から実空間における3次元の世界座標値(x,y,z)への変換が、可能となる。例えば、図5に示した人間30の足元の画像座標値(u,v)は、次のようにして世界座標値(x,y,z)に変換される。
Now, by performing the camera calibration in this way, a two-dimensional image coordinate value (u, v) on an image captured by an arbitrary fixed
即ち、まず、上述した数5を変形すると、次の数7が導き出される。同様に、数6を変形すると、数8が導き出される。
That is, first, when the above equation 5 is transformed, the following equation 7 is derived. Similarly, when
ここで、実空間における人間30の足元は地面に接しており、この地面の世界座標における高さ寸法zはz=0である、とみなすことができるので、このz=0という条件が数7および数8に当てはめられることによって、次の数9および数10が導き出される。
Here, since the foot of the human 30 in the real space is in contact with the ground, and the height dimension z in the world coordinates of the ground can be regarded as z = 0, the condition that z = 0 is expressed by the following equation (7). And the following Equation 9 and
即ち、数9によって、世界座標のx軸における足元の座標値が求められ、数10によって、y軸における当該足元の座標値が求められる。そして、これらの座標値(x,y)が、上述した数3の変形式である次の数11に代入されることで、マップ画像上における人間30の足元の2次元座標値(α,β)が求められる。
That is, the coordinate value of the foot on the x-axis of the world coordinates is obtained by Equation 9, and the coordinate value of the foot on the y-axis is obtained by
このようにしてマップ画像上における人間30の足元の2次元座標値(α,β)が求められることで、図6に示したような移動体マーク36や軌跡線38の表示が可能となる。
Thus, by obtaining the two-dimensional coordinate values (α, β) of the foot of the
さらに、数9によって求められたx軸における座標値と、数10によって求められたy軸における座標値とが、数7に代入されることで、実空間における人間30の頭部の高さzを求めるための次の数12が導き出される。
Further, the coordinate value on the x-axis obtained by Equation 9 and the coordinate value on the y-axis obtained by
同様に、数9によって求められたx軸における座標値と、数10によって求められたy軸における座標値とが、数8に代入されることによっても、実空間における人間30の頭部の高さzを求めるための次の数13が導き出される。
Similarly, by substituting the coordinate value on the x-axis obtained by Equation 9 and the coordinate value on the y-axis obtained by
なお、このように人間30の頭部の高さzが求められることによって、当該人間30の身長も分かる。また、当該高さ寸法zを半分にすることで、人間30の略中心位置を求めることもできる。
It should be noted that the height z of the human 30 can be determined by obtaining the height z of the head of the human 30 in this way. Moreover, the approximate center position of the
そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。 Further, whether or not the camera calibration is accurately performed can be verified as follows.
即ち、図14(a)に示すように、カメラ画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い(言わば目印となる)位置Qiが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qiとして指定された状態を示す。すると、この指定位置Qiのカメラ座標上における画像座標値(u,v)が特定される。そして、特定された画像座標値(u,v)が、上述の数9に代入されることで、世界座標のx軸における座標値が求められる。併せて、当該画像座標(u,v)が、上述の数10に代入されることで、世界座標のy軸における座標値が求められる。
That is, as shown in FIG. 14A, an arbitrary position satisfying the condition of zero height on the camera image, preferably a position Qi that is easy to understand (to be a mark) on the real space and the map image is provided. For example, it is designated by the operation of the
そして、このようにして求められた世界座標のx軸およびy軸のそれぞれにおける座標値が、上述した数11に代入されることで、マップ画像における2次元座標値(α,β)が求められる。そして、図14(b)に示すように、マップ画像上において、当該2次元座標値(α,β)に従う位置Qjにマーカ46が表示される。このマーカ46の位置Qjが、図14(a)の撮影画像における指定位置Qiに対応すれば、カメラキャリブレーションが精確に行われたことになる。
Then, the two-dimensional coordinate values (α, β) in the map image are obtained by substituting the coordinate values on the x-axis and y-axis of the world coordinates obtained in this way into the above-described equation 11. . And as shown in FIG.14 (b), the
一方、例えば図15に示すように、マップ画像上におけるマーカ46の位置Qjが、図14(a)の撮影画像における位置Qiと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス18の操作によって、マップ画像上で、図14(b)に示した本来の位置Qjが改めて指定される。すると、この位置Qjにおける2次元座標値(α,β)が、上述した数3によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)と図14(a)の撮影座標における位置Qiの画像座標値(u,v)との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数5および数6の連立方程式が解かれる。このとき、各カメラパラメータp1〜p11のそれぞれについて、複数個の解が求められるので、例えば最小2乗法等の回帰分析によって、当該各カメラパラメータp1〜p11として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。
On the other hand, for example, as shown in FIG. 15, when the position Qj of the
また、カメラキャリブレーションの精度を検証するのに、例えば図16に示すように、固定カメラ12による撮影画像上において、適宜の目盛、例えば格子状のグリッド48、を表示させることもできる。即ち、世界座標上における当該固定カメラ12による撮影領域において、z=0という条件で複数個の世界座標値(x,y,0)が一定の間隔で設定される。そして、それぞれの世界座標値(x,y,0)が上述した数5および数6に代入されることで、それぞれに対応する画像座標値(u,v)が求められる。そして、これらの画像座標値(u,v)に従う各位置(座標点)が互いに直線50,50,…で結ばれることによって、これらの直線50,50,…から成るグリッド48が撮影画像上に表示される。なお、図16においては、グリッド48が、実空間においてx軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。
In order to verify the accuracy of the camera calibration, for example, as shown in FIG. 16, an appropriate scale, for example, a
さらに、本実施形態においては、それぞれの旋回型カメラ14の設置条件、詳しくは実空間における設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eについても、上述したマップ画像を用いることで、簡単に特定(推定)することができる。即ち、旋回型カメラ14は、ポール上や建物の壁面等に設置されるが、その設置位置Qk、特に世界座標値(x’,y’,z’)、に何ら配慮されないまま設置されることがある。また、旋回型カメラ14においては、所定の基準方向Eが決められており、この基準方向Eに対するパン角θおよびチルト角ρによって、当該旋回型カメラ14の向きが制御される。ところが、この基準方向Eについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標(x,y,z)を用いて、上述した自動追尾を行うには、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知である必要がある。言い換えれば、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知であれば、当該世界座標(x,y,z)を用いた自動追尾を行うことができる。なお、当該世界座標(x,y,z)を用いた自動追尾の実現例は、例えば特開2005−3377号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eを簡単に特定することのできる手法についても、説明する。
Further, in the present embodiment, the above-described map is also provided for the installation conditions of each of the
例えば、今、図17に示す実空間において、旋回型カメラ14が、世界座標におけるz軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のx軸−y軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。そして、基準方向Eが、世界座標のx軸−y軸平面に平行であり、かつ、当該x軸−y軸平面においてx軸に沿う方向に対して或る角度、言わばオフセット角θ0、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、[rad](ラジアン)である。また、パン角θについては、旋回型カメラ14を上方から見たときに反時計回りの方向がプラス(+)であり、チルト角ρについては、水平よりも下方の方向がプラス(+)である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ14から取得することができる、とする。
For example, now, in the real space shown in FIG. 17, the turning
このような状態において、旋回型カメラ14が実空間における或る位置Qmを注視しており、この注視点Qmの世界座標値が(x”,y”,z”)である、とする。すると、次の数14および数15が成立する。
In such a state, it is assumed that the turning
これらの数14および数15によれば、注視点Qmの世界座標値(x”,y”,z”)と、この注視点Qmに旋回型カメラ14が向いているとき、詳しくは注視点Qmが旋回型カメラ14の光軸上に存在するときの、当該旋回型カメラ14のパン角θおよびチルト角ρが与えられると、この旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)と上述のオフセット角θ0とを未知数とした、2つの方程式が成立する。従って、これら注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが少なくとも2組以上得られると、当該4つの未知数x’,y’,z’およびθ0を求めることができる。
According to these
そこで、まず、図18に示すように、上述したマップ画像上で、例えばマウス18の操作によって任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上でも分かり易い位置Qn、が注視点として指定される。そして、この注視点Qnにおける当該マップ画像上の2次元座標値(α,β)が特定されると共に、この2次元座標値(α,β)が上述した数3に代入されることで、図17に示した実空間における注視点Qmの世界座標値(x”,y”,z”)が求められる。なお、この実空間における注視点Qmの高さz’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード20の操作によって当該高さz’の実測値が設定される。
Therefore, first, as shown in FIG. 18, an arbitrary position on the above-described map image, for example, a position Qn that is easy to understand on the real space and the captured image by the turning
続いて、旋回型カメラ14が、手動制御によって、実空間における注視点Qmに向けられる。そして、このときの当該旋回型カメラ14のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Qmについて、同じ作業が合計2回行われることによって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが合計2組得られる。そして、この2組の組合せから成る連立方程式に基づいて、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められる。
Subsequently, the turning
このようにして旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められることで、実空間において任意の世界座標値(x,y,z)が与えられると、この世界座標値(x,y,z)に対応する位置に旋回型カメラ14を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数14の変形式である次の数16によって求められ、チルト角ρは、数15の変形式である数17によって求められる。
Thus, by obtaining the world coordinate value (x ′, y ′, z ′) of the installation position Qk of the turning
なお、この旋回型カメラ14の設置条件の特定が精確に成されたか否かは、次のようにして検証することができる。
In addition, it can be verified as follows whether or not the installation conditions of the revolving
即ち、図19(a)に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上でも分かり易い位置Qoが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qoとして指定された状態を示す。すると、この指定位置Qoのマップ画像上における2次元座標値(α,β)が特定され、さらに、この特定された2次元座標値(α,β)が、上述した数3によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)が図17に示した注視点Qmの世界座標値(x”,y”,z”)として上述の数16および数17のそれぞれに代入されることで、当該注視点Qmに旋回型カメラ14を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ14が旋回することで、図19(b)に示すように、注視点Qmに対応する位置Qpが撮影画像の略中央に映し出される。このように、位置Qpが撮影画像の略中央に映し出されることで、旋回型カメラ14の設置条件の特定が精確に行われたことが、確認される。
That is, as shown in FIG. 19 (a), an arbitrary position on the map image, preferably a position Qo that is easy to understand even on the real space and the image taken by the turning
一方、旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されない場合には、当該旋回型カメラ14の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されるように、当該旋回型カメラ14の向きが手動制御で変更される。そして、この変更後の旋回型カメラ14のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小2乗法等の回帰分析を用いてもよい。
On the other hand, when the position Qp is not projected at the approximate center on the image captured by the revolving
なお、本実施形態においては、複数台の固定カメラ12,12,…が設けられるものとしたが、当該固定カメラ12は1台であってもよい。また、旋回型カメラ14についても、1台であってもよい。さらに、図6に示したように移動体マーク36および軌跡線38を表示させる機能があれば足り、自動追尾機能については不要である場合には、旋回型カメラ14はなくてもよい。
In the present embodiment, a plurality of fixed
そして、カメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、上述の非特許文献1に開示されている手法を採用してもよい。 In the camera calibration, the projective transformation matrix is used, but the present invention is not limited to this. For example, you may employ | adopt the method currently disclosed by the above-mentioned nonpatent literature 1.
さらに、カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの(部分)を、当該指標として利用してもよい。勿論、指標の寸法(特に高さ寸法)は、既知であることが、必要とされる。 Furthermore, in the camera calibration, a person with a known height is used as an index, but an index other than a person, for example, a rod-shaped object or a cone-shaped object may be used. Further, without preparing a special index, an existing one (part) having an appearance characteristic such as a corner or a gate of a building may be used as the index. Of course, it is necessary that the dimension of the index (particularly the height dimension) is known.
また、図8に示したスケーラ40は、1つの設定例であり、これに限定されない。即ち、当該図8において、スケーラ40は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ40に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ40は、直線に限らず、曲線であってもよい。要するに、スケーラ40と実空間における当該スケーラ40に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法LmおよびLwが正確に分かればよい。
Moreover, the
そして、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。 And in this embodiment, although this invention was applied to the monitoring use in the site including a building, it is not restricted to this. For example, the present invention may be applied to monitoring in a building, or the present invention may be applied to a purpose other than monitoring.
また、上述のカメラキャリブレーションおよび旋回型カメラ14の設置条件の特定は、PC16によって実現されるが、例えば専用の装置によって実現してもよい。
Moreover, although the above-mentioned camera calibration and specification of the installation conditions of the turning
さらに、例えば、図6に示したように移動体マーク36および軌跡線38を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ24のみについて、移動体マーク36および軌跡線38を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ14による撮影画像を表示させるものと、固定カメラ12による撮影画像を表示させるものとを、別々にしてもよい。
Further, for example, as shown in FIG. 6, the function of displaying the moving object mark 36 and the locus line 38 and the automatic tracking function may be realized by separate devices. Further, even if not all devices are separate, for example, only the
10 監視カメラシステム
12 固定カメラ
14 旋回型カメラ
16 CPU
18 マウス
20 キーボード
22 操作装置
24 ディスプレイ
40 スケーラ
10
18
Claims (3)
上記世界座標を構成する3つの座標軸のうち1つの該座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段と、
上記撮影領域に設置された指標の位置を上記模擬画像上で指定する模擬画像上指標位置指定手段と、
上記模擬画像上指標位置指定手段による指定位置の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて上記指標の位置の該世界座標における世界座標値を求める世界座標値演算手段と、
上記撮影画像上で上記指標の位置を指定する撮影画像上指標位置指定手段と、
上記撮影画像上指標位置指定手段による指定位置の上記画像座標における画像座標値と上記世界座標値演算手段によって求められた上記世界座標値とに基づいて上記カメラパラメータを求めるパラメータ演算手段と、
を具備し、
上記相関関係は上記2次元座標における長さの単位と上記世界座標における長さの単位との比率を含み、
上記1つの座標軸は上記実空間の垂直方向における位置を規定し、
上記模擬画像は上記垂直方向における位置がゼロの上記平面を模擬した画像であり、
上記指標は高さ寸法が既知でありかつ上記平面上に設置され、
上記世界座標値演算手段は上記2次元座標値と上記相関関係と上記指標の高さ寸法とに基づいて該指標の下方側端部および上方側端部のそれぞれの上記世界座標値を求め、
上記撮影画像上指標位置指定手段は上記撮影画像上で上記指標の下方側端部および上方側端部のそれぞれを指定し、
上記パラメータ演算手段は上記撮影画像上指標位置指定手段によって指定された上記指標の下方側端部および上方側端部のそれぞれの上記画像座標値と上記世界座標演算手段によって求められた該指標の下方側端部および上方側端部のそれぞれの上記世界座標値とに基づいて上記パラメータを求めること、
を特徴とする、カメラキャリブレーション装置。 In a camera calibration device for obtaining a camera parameter for associating a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region with a three-dimensional world coordinate set in a real space including the photographing region,
A simulated image in which the real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and two-dimensional coordinates that correlate with the world coordinate representing the plane are set Simulated image display means for displaying,
An index position designation means on the simulated image for designating the position of the index installed in the imaging area on the simulated image;
Based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position by the index position designation means on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate value in the world coordinate of the index position World coordinate value calculation means for obtaining
An index position specifying means on the captured image for specifying the position of the index on the captured image;
Parameter computing means for obtaining the camera parameter based on the image coordinate value at the image coordinate at the designated position by the index position designation means on the captured image and the world coordinate value obtained by the world coordinate value computing means;
Comprising
The correlation seen contains a ratio of a unit of length in the unit and the world coordinates of length in the two-dimensional coordinates,
The one coordinate axis defines a position in the vertical direction of the real space,
The simulated image is an image simulating the plane with zero position in the vertical direction,
The indicator has a known height dimension and is installed on the plane,
The world coordinate value calculation means obtains the world coordinate values of the lower end and the upper end of the index based on the two-dimensional coordinate value, the correlation, and the height of the index,
The index position specifying means on the captured image specifies each of the lower end and the upper end of the index on the captured image,
The parameter calculation means includes the image coordinate values of the lower end and the upper end of the index designated by the index position designation means on the photographed image, and the index calculated by the world coordinate calculation means. Obtaining the parameter based on the world coordinate values of the side edge and the upper edge, respectively,
A camera calibration device.
上記撮影画像上指標位置指定手段は上記複数台のカメラのそれぞれによる上記撮影画像上で上記指標の位置を指定し、
上記パラメータ演算手段は上記複数台のカメラのそれぞれについて上記カメラパラメータを求める、
請求項1に記載のカメラキャリブレーション装置。 The simulated image is common to a plurality of the cameras,
The captured image index position specifying means specifies the position of the index on the captured image by each of the plurality of cameras,
The parameter calculation means obtains the camera parameters for each of the plurality of cameras.
The camera calibration device according to claim 1 .
上記世界座標を構成する3つの座標軸のうち1つの該座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示過程と、
上記撮影領域に設置された指標の位置を上記模擬画像上で指定する模擬画像上指標位置指定過程と、
上記模擬画像上指標位置指定過程による指定位置の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて上記指標の位置の該世界座標における世界座標値を求める世界座標値演算過程と、
上記撮影画像上で上記指標の位置を指定する撮影画像上指標位置指定過程と、
上記撮影画像上指標位置指定過程による指定位置の上記画像座標における画像座標値と上記世界座標値演算過程において求められた上記世界座標値とに基づいて上記カメラパラメータを求めるパラメータ演算過程と、
を具備し、
上記相関関係は上記2次元座標における長さの単位と上記世界座標における長さの単位との比率を含み、
上記1つの座標軸は上記実空間の垂直方向における位置を規定し、
上記模擬画像は上記垂直方向における位置がゼロの上記平面を模擬した画像であり、
上記指標は高さ寸法が既知でありかつ上記平面上に設置され、
上記世界座標値演算過程では上記2次元座標値と上記相関関係と上記指標の高さ寸法とに基づいて該指標の下方側端部および上方側端部のそれぞれの上記世界座標値を求め、
上記撮影画像上指標位置指定過程では上記撮影画像上で上記指標の下方側端部および上方側端部のそれぞれを指定し、
上記パラメータ演算過程では上記撮影画像上指標位置指定過程において指定された上記指標の下方側端部および上方側端部のそれぞれの上記画像座標値と上記世界座標演算過程において求められた該指標の下方側端部および上方側端部のそれぞれの上記世界座標値とに基づいて上記パラメータを求めること、
を特徴とする、カメラキャリブレーション方法。 In a camera calibration method for obtaining a camera parameter for associating a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region with a three-dimensional world coordinate set in a real space including the photographing region,
A simulated image in which the real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and two-dimensional coordinates that correlate with the world coordinate representing the plane are set A simulated image display process for displaying
An index position designation process on the simulated image for designating the position of the index installed in the shooting area on the simulated image;
Based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position in the indicator position designation process on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate value in the world coordinate of the index position World coordinate value calculation process to find
An index position designation process on the photographed image for designating the position of the index on the photographed image;
A parameter calculation process for obtaining the camera parameter based on the image coordinate value at the image coordinate at the designated position by the index position designation process on the captured image and the world coordinate value obtained in the world coordinate value computation process;
Comprising
The correlation seen contains a ratio of a unit of length in the unit and the world coordinates of length in the two-dimensional coordinates,
The one coordinate axis defines a position in the vertical direction of the real space,
The simulated image is an image simulating the plane with zero position in the vertical direction,
The indicator has a known height dimension and is installed on the plane,
In the world coordinate value calculation process, based on the two-dimensional coordinate value, the correlation, and the height dimension of the index, the world coordinate values of the lower end and the upper end of the index are obtained,
In the captured image index position designation process, each of the lower end and the upper end of the index is specified on the captured image,
In the parameter calculation process, the image coordinate values of the lower end and the upper end of the index designated in the index position designation process on the captured image and the index obtained in the world coordinate calculation process are below Obtaining the parameter based on the world coordinate values of the side edge and the upper edge, respectively,
A camera calibration method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008052169A JP5079547B2 (en) | 2008-03-03 | 2008-03-03 | Camera calibration apparatus and camera calibration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008052169A JP5079547B2 (en) | 2008-03-03 | 2008-03-03 | Camera calibration apparatus and camera calibration method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009210331A JP2009210331A (en) | 2009-09-17 |
JP5079547B2 true JP5079547B2 (en) | 2012-11-21 |
Family
ID=41183649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008052169A Active JP5079547B2 (en) | 2008-03-03 | 2008-03-03 | Camera calibration apparatus and camera calibration method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5079547B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011153737A (en) | 2010-01-26 | 2011-08-11 | Sanyo Electric Co Ltd | Calibrating apparatus |
JP5331047B2 (en) * | 2010-04-01 | 2013-10-30 | 日本電信電話株式会社 | Imaging parameter determination method, imaging parameter determination device, imaging parameter determination program |
JP5525495B2 (en) * | 2011-08-30 | 2014-06-18 | 株式会社日立製作所 | Image monitoring apparatus, image monitoring method and program |
JP5613147B2 (en) * | 2011-12-27 | 2014-10-22 | 住友電気工業株式会社 | Camera parameter measuring device, camera parameter measuring method, and program |
EP2615580B1 (en) * | 2012-01-13 | 2016-08-17 | Softkinetic Software | Automatic scene calibration |
US9802539B2 (en) * | 2015-04-01 | 2017-10-31 | Robert Bosch Gmbh | Distance and direction estimation of a target point from a vehicle using monocular video camera |
SG11201708697UA (en) * | 2015-09-15 | 2018-03-28 | Mitsubishi Electric Corp | Image processing apparatus, image processing system, and image processing method |
KR101634283B1 (en) * | 2015-12-18 | 2016-06-30 | 주식회사 싸인텔레콤 | The apparatus and method of 3d modeling by 3d camera calibration |
CN109389642A (en) * | 2017-08-04 | 2019-02-26 | 惠州市阿图达机电有限公司 | Vision system is to the scaling method of robot, system and has store function device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08240421A (en) * | 1995-03-06 | 1996-09-17 | Meidensha Corp | Estimating method for camera parameter and object recognizing method utilizing the parameter |
JP2000241120A (en) * | 1999-02-23 | 2000-09-08 | Fanuc Ltd | Measuring apparatus |
JP2001319218A (en) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | Image monitoring device |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
-
2008
- 2008-03-03 JP JP2008052169A patent/JP5079547B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009210331A (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5586765B2 (en) | Camera calibration result verification apparatus and method | |
JP5079547B2 (en) | Camera calibration apparatus and camera calibration method | |
CN110142785A (en) | A kind of crusing robot visual servo method based on target detection | |
JP5097765B2 (en) | Measuring method, measuring program and measuring device | |
US9292922B2 (en) | Point cloud assisted photogrammetric rendering method and apparatus | |
JP4537557B2 (en) | Information presentation system | |
JP6516558B2 (en) | Position information processing method | |
WO2021129305A1 (en) | Calibration rod testing method for optical motion capture system, device, apparatus, and storage medium | |
CN103700140B (en) | Spatial modeling method used for linkage of single gun camera and multiple dome cameras | |
JP2020182251A (en) | Image processing device, image processing method, and program | |
TW201418662A (en) | Remote crack measurement method and device thereof | |
CN110910459B (en) | Camera device calibration method and device and calibration equipment | |
CN108195472B (en) | Heat conduction panoramic imaging method based on track mobile robot | |
JP2017129567A (en) | Information processing apparatus, information processing method, and program | |
JP6174968B2 (en) | Imaging simulation device | |
US20130113897A1 (en) | Process and arrangement for determining the position of a measuring point in geometrical space | |
CN113409285A (en) | Method and system for monitoring three-dimensional deformation of immersed tunnel joint | |
CN102970514A (en) | Apparatus, method, and program for video surveillance system | |
CN102136140A (en) | Rectangular pattern-based video image distance detecting method | |
JP2018036769A (en) | Image processing apparatus, image processing method, and program for image processing | |
CN102012213B (en) | New method for measuring foreground height through single image | |
CN109099889A (en) | Close range photogrammetric system and method | |
JP2006234703A (en) | Image processing device, three-dimensional measuring device, and program for image processing device | |
KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
WO2022257794A1 (en) | Method and apparatus for processing visible light image and infrared image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5079547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |