JP4536428B2 - Zoom lens calibration apparatus, calibration method, and imaging apparatus - Google Patents
Zoom lens calibration apparatus, calibration method, and imaging apparatus Download PDFInfo
- Publication number
- JP4536428B2 JP4536428B2 JP2004165543A JP2004165543A JP4536428B2 JP 4536428 B2 JP4536428 B2 JP 4536428B2 JP 2004165543 A JP2004165543 A JP 2004165543A JP 2004165543 A JP2004165543 A JP 2004165543A JP 4536428 B2 JP4536428 B2 JP 4536428B2
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- image
- mark
- focal length
- reference mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000003384 imaging method Methods 0.000 title claims description 20
- 238000012937 correction Methods 0.000 claims description 72
- 238000000605 extraction Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 30
- 238000003702 image correction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 40
- 230000004075 alteration Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000014509 gene expression Effects 0.000 description 15
- 230000005484 gravity Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 229920000535 Tan II Polymers 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
本発明は、カメラの画像歪曲を修正するのに必要とされる内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を測定するためのキャリブレーションチャート装置及び方法に関し、特にカメラがズームレンズの場合に用いて好適なキャリブレーション装置及び方法に関する。また、本発明はズームレンズのキャリブレーション装置により得られたカメラの画像歪曲を用いて撮影画像を補正する撮影装置に関する。 The present invention relates to a calibration chart apparatus and method for measuring internal parameters {for example, lens principal point position, screen distance (focal length), distortion parameters, etc.) required for correcting camera image distortion. In particular, the present invention relates to a calibration apparatus and method suitable for use when the camera is a zoom lens. The present invention also relates to a photographing apparatus that corrects a photographed image using image distortion of a camera obtained by a zoom lens calibration apparatus.
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、例えば特許文献１に示すように、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。 Conventionally, in the field of photogrammetry and photo measurement, it is important to obtain an image with less aberration. Therefore, in the field of photogrammetry and photo measurement, a high-precision lens with little aberration is used as a lens for a photographing camera. Furthermore, in the photogrammetry field, as shown in Patent Document 1, for example, by measuring a large number of precisely arranged three-dimensional points from a plurality of directions, internal parameters of the camera (main point position, screen) Distance, distortion parameters) are obtained analytically. In the case of a measurement camera used in the field of photo measurement, the internal parameters of the camera are obtained by precisely measuring the manufactured camera.
上述したカメラ内部パラメータを求める方法は、固定焦点距離式カメラのキャリブレーションとして適している。しかし、計測対象物の大きさは、様々であり、障害物などにより撮影距離に制限が生じる場合に、十分なアングルがとれずに、固定焦点距離式カメラの場合には、計測精度を犠牲にしている場合もあった。他方、近年のデジタルカメラやビデオカメラのようにズーム機能を搭載しているカメラの場合には、焦点距離を可変に調整できる。すると、障害物などにより撮影距離に制限が生じる場合でも、ズームレンズの焦点距離を適切な値に選択することによって、計測対象物の適切な画像が撮影可能である。 The above-described method for obtaining camera internal parameters is suitable for calibration of a fixed focal length camera. However, the size of the measurement object varies, and when the shooting distance is limited due to obstacles etc., a sufficient angle cannot be taken, and in the case of a fixed focal length camera, measurement accuracy is sacrificed. There was also a case. On the other hand, in the case of a camera equipped with a zoom function such as a recent digital camera or video camera, the focal length can be variably adjusted. Then, even when the shooting distance is limited due to an obstacle or the like, an appropriate image of the measurement object can be taken by selecting an appropriate value for the focal length of the zoom lens.
しかし、ズームレンズの場合は、焦点距離が広角から望遠まで可変である為に、各焦点距離に応じたキャリブレーション作業が必要となる。そこで、上述した固定焦点距離式カメラに適したカメラ内部パラメータを求める方法を、ズームレンズに直接適用したのではキャリブレーション作業が煩雑になるという課題があった。即ち、ズームレンズは広角側と望遠側に焦点距離を調整可能であるが、この焦点距離を変更するたびに撮影位置を変更せねばならず、キャリブレーション作業が煩雑になる。また、ズームレンズの焦点距離を望遠側に設定すると、精密に計測された３次元上に配置された多数の点を有する校正用三次元フィールドとカメラとの間隔を充分確保する必要があり、キャリブレーション作業に必要とされる空間として広大なスペースが必要になるという課題もあった。更に、ズームレンズの焦点距離を広角側に設定すると、校正用三次元フィールドとして幅広の構造体が必要となり、校正用三次元フィールドの建造コストが増大するという課題があった。 However, in the case of a zoom lens, since the focal length is variable from wide angle to telephoto, calibration work corresponding to each focal length is required. Therefore, if the method for obtaining the camera internal parameters suitable for the fixed focal length camera described above is directly applied to the zoom lens, there is a problem that the calibration work becomes complicated. That is, the focal length of the zoom lens can be adjusted to the wide-angle side and the telephoto side, but the photographing position must be changed every time the focal length is changed, and the calibration work becomes complicated. In addition, when the focal length of the zoom lens is set to the telephoto side, it is necessary to secure a sufficient interval between the camera and the calibration three-dimensional field having a large number of precisely arranged three-dimensional points. There was also a problem that a vast space was required as a space required for the work. Furthermore, when the focal length of the zoom lens is set on the wide angle side, a wide structure is required as the calibration three-dimensional field, which increases the construction cost of the calibration three-dimensional field.
本発明は、上述する課題を解決したもので、焦点距離が可変なズームレンズの場合に用いて好適なキャリブレーション装置及び方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention solves the above-described problems, and an object thereof is to provide a calibration apparatus and method suitable for use in the case of a zoom lens having a variable focal length.
本発明のズームレンズのキャリブレーション装置は、上記目的を達成するもので、図１に示すように、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部６０と、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部６２と、前記第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の前記第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部６４と、前記第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する基準マーク推論部６６とを備える。
The zoom lens calibration apparatus according to the present invention achieves the above-described object. As shown in FIG. 1, a calibration reference mark is calibrated by a calibrated photographing
このように構成された装置においては、第１画像取得部６０が、第１の焦点距離に設定された被校正撮影装置１９により撮影された第１の校正用画像を取得する。第２画像取得部６２が、第２の焦点距離に設定された被校正撮影装置１９により撮影された第２の校正用画像を取得する。補正係数算出部６４は、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する。基準マーク推論部６６によって、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係が推論されるので、補正係数算出部６４による第２の焦点距離に対するキャリブレーション補正係数の算出が容易に行える。
In the apparatus configured as described above, the first
本発明のズームレンズのキャリブレーション装置において、好ましくは、被校正撮影装置１９は、前記第１及び第２の焦点距離を含む焦点距離で連続的に設定された焦点距離にて、前記校正用の基準マークが配置された領域を撮影する構成とすると、校正用の基準マーク位置が順次変化していくことから、基準マーク位置の探索が容易になる。
In the zoom lens calibration apparatus of the present invention, it is preferable that the
本発明のズームレンズのキャリブレーション装置において、好ましくは、前記校正用の基準マークが配置された領域における、当該基準マークの三次元位置情報が記憶された基準マーク位置情報データベース部６５を備えると共に、基準マーク推論部６６は、前記第１の校正用画像で撮影された校正用の基準マークと、前記第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する重複基準マーク抽出部６７と、前記第２の校正用画像の基準マーク画像中から、前記第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、当該追加基準マークに関する三次元位置情報を読み出す追加基準マーク位置情報抽出部６８と備える構成とすると、被校正撮影装置１９で撮影された第１の校正用画像に写っている校正用の基準マークを基準として、第２の校正用画像で撮影された固有の校正用の基準マークが容易に識別できる。
The zoom lens calibration apparatus according to the present invention preferably includes a reference mark position
本発明のズームレンズのキャリブレーション装置において、好ましくは、基準マーク推論部６６は、前記第１の校正用画像で撮影された校正用の基準マークの位置情報、及び前記第１及び第２の焦点距離情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する構成とすると、第１及び第２の焦点距離情報によって被校正撮影装置１９で撮影された第１及び第２の校正用画像の縮尺が推定できるため、第１の校正用画像で撮影された校正用の基準マークと第２の校正用画像で撮影された校正用の基準マークの位置関係の推論が容易にできる。
In the zoom lens calibration apparatus of the present invention, it is preferable that the reference mark inference unit 66 includes the positional information of the calibration reference mark photographed in the first calibration image, and the first and second focal points. When the distance information is used to infer the positional relationship between the calibration reference marks photographed in the second calibration image, the photographed image is taken by the photographing
本発明のズームレンズのキャリブレーション方法は、第１の目的を達成するもので、図２に示すように、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する工程（Ｓ３０２、Ｓ３０４）と、第１の校正用画像で撮影された校正用の基準マークを用いて、前記第１の焦点距離に対するキャリブレーション補正係数を算出する工程（Ｓ３０６）と、焦点距離が前記第１の焦点距離と近接した第２の焦点距離に設定された被校正撮影装置１９により、前記校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する工程（Ｓ３０８、Ｓ３１０）と、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、前記第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する工程（Ｓ３１２）と、第２の校正用画像で撮影された校正用の基準マークを用いて、前記第２の焦点距離に対するキャリブレーション補正係数を算出する工程（Ｓ３１４）とを有する。
The zoom lens calibration method of the present invention achieves the first object. As shown in FIG. 2, a calibration reference is made by the
好ましくは、被校正撮影装置１９のキャリブレーション補正係数を算出すべき焦点距離が３以上存在する場合には、Ｓ３１４の後に全ての焦点距離について処理が完了したか問う工程（Ｓ３１６）を設け、Ｓ３１６で未了であれば従前の第２の焦点距離を更改して新規な第２の焦点距離を設定して（Ｓ３１８）、Ｓ３０８に戻すとよい。この場合、Ｓ３１８で従前の第１の焦点距離を、Ｓ３１８で従前の第２の焦点距離とされた値で置換えても良い。Ｓ３１６で完了していれば、被校正撮影装置１９のキャリブレーション補正係数を焦点距離の関数として表現する近似式を求める工程（Ｓ３２０）を有するとよい。S３２０の処理により、実際に撮影された校正用画像に基づき、得られたキャリブレーション補正係数に基づき、他の焦点距離、即ち、ズームレンズであれば、キャリブレーションのために撮影されなかった焦点距離のキャリブレーション補正係数を求めることができる。
Preferably, when there are three or more focal lengths for which the calibration correction coefficient of the
本発明のズームレンズのキャリブレーション装置は、上記目的を達成するもので、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第１の校正用画像を取得する第１画像取得部と、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域を撮影して、第２の校正用画像を取得する第２画像取得部と、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、第１の焦点距離、第２の焦点距離及びその他の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部とを備えている。本発明のズームレンズのキャリブレーション装置において、好ましくは、前記その他の焦点距離は、第１及び第２の画像取得部においては、校正用の画像が撮影されていない焦点距離であることを特徴としている。
The zoom lens calibration apparatus of the present invention achieves the above-described object, and captures an area in which a calibration reference mark is arranged by a calibrated photographing
本発明の撮影装置４００は、図１６に示すように、可変焦点距離のレンズを含む撮影部４２０と、撮影部４２０で画像が撮影された際の可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正する画像補正部４３０とを備えるものである。キャリブレーション補正係数は、例えば記憶部４１０に記憶される。
As shown in FIG. 16, the photographing
本発明のズームレンズのキャリブレーション装置によれば、被校正撮影装置の焦点距離を変更しても、第１画像取得部と第２画像取得部により焦点距離毎に校正用画像が取得される。基準マーク推論部によって、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係が推論されるので、補正係数算出部による第２の焦点距離に対するキャリブレーション補正係数の算出が容易に行える。 According to the zoom lens calibration device of the present invention, even if the focal length of the photographic device to be calibrated is changed, the calibration image is acquired for each focal length by the first image acquisition unit and the second image acquisition unit. The positional relationship of the calibration reference marks photographed in the second calibration image is inferred by the fiducial mark inference section using the position information of the calibration reference marks photographed in the first calibration image. Therefore, the calibration correction coefficient for the second focal length can be easily calculated by the correction coefficient calculation unit.
本発明の撮影装置によれば、可変焦点距離のレンズを含む撮影部を用いて撮影を行った場合に、画像補正部により撮影部が撮影された際における可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正するので、任意の可変焦点距離でもレンズ収差の少ない画像が得られる。 According to the photographing apparatus of the present invention, when photographing is performed using a photographing unit including a lens having a variable focal length, the focal length of the photographing lens having a variable focal length when the photographing unit is photographed by the image correcting unit. Since the captured image is corrected by the corresponding calibration correction coefficient, an image with little lens aberration can be obtained even at an arbitrary variable focal length.
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明のズームレンズのキャリブレーション装置は、第１画像取得部６０、第２画像取得部６２、補正係数算出部６４、基準マーク位置情報データベース部６５、基準マーク推論部６６を備えている。基準マーク推論部６６は、重複基準マーク抽出部６７と追加基準マーク位置情報抽出部６８を備えている。被校正撮影装置１９としては、例えば可動焦点距離式のズームレンズを有するデジタルカメラやビデオカメラが用いられる。被校正撮影装置１９では、ズーム機能を利用して連続的に焦点距離を調整して画像を取得する。
The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a first embodiment of the present invention. In the figure, the zoom lens calibration apparatus of the present invention includes a first
第１画像取得部６０は、焦点距離が第１の焦点距離に設定された被校正撮影装置１９により、校正用の基準マークが配置された領域（以下、『校正用三次元フィールド１００』という）を撮影して、第１の校正用画像を取得する。第２画像取得部６２は、焦点距離が第２の焦点距離に設定された被校正撮影装置１９により、校正用三次元フィールド１００を撮影して、第２の校正用画像を取得する。ここで、被校正撮影装置１９の第１の焦点距離と第２の焦点距離が近接していると、第１の校正用画像と第２の校正用画像に撮影されている校正用の基準マークの画像が似たものとなり、キャリブレーション作業が円滑に行なえる。被校正撮影装置１９のズーム比が大きい場合には、第１の焦点距離と第２の焦点距離との比を小さく保持したまま（例えば１．２〜１．５倍）、焦点距離を多段に変更して設定する。そして、第１の焦点距離と第２の焦点距離は、多段に設定された焦点距離について、隣接する焦点距離の組を用いて逐次読替えて行くと良い。ズーム機能を利用して連続的に焦点距離を調整することで、被校正撮影装置１９のキャリブレーション補正係数が焦点距離に依存している関係を正確に表すことができると共に、第１の焦点距離と第２の焦点距離との比を小さく保持することで、徒に測定する焦点距離の数を増大させることなく、効率的にキャリブレーション補正係数を求めることができる。
The first
補正係数算出部６４は、第１及び第２の校正用画像で撮影された校正用の基準マークを用いて、被校正撮影装置１９の第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する。詳細は後で説明する。基準マーク位置情報データベース部６５は、校正用三次元フィールド１００における、基準マークの三次元位置情報が記憶されている。基準マーク推論部６６は、第１の校正用画像で撮影された校正用の基準マークの位置情報を用いて、第２の校正用画像で撮影された校正用の基準マークの位置関係を推論する。被校正撮影装置１９の焦点距離は、連続的に変えることが可能であることから、焦点距離から定まるズーム比の情報を用いて、補正係数算出部６４で用いる探索エリア、テンプレートサイズを自動的に可変させることが可能できる。
The correction
重複基準マーク抽出部６７は、第１の校正用画像で撮影された校正用の基準マークと、第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する。追加基準マーク位置情報抽出部６８は、第２の校正用画像の基準マーク画像中から、第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、追加基準マークに関する三次元位置情報を読み出す。
The overlapping reference mark extraction unit 67 extracts a reference mark group in which a calibration reference mark photographed with the first calibration image and a calibration reference mark image photographed with the second calibration image match. To do. The additional reference mark position information extraction unit 68 extracts an additional reference mark that does not have a reference mark corresponding to the first calibration image from the reference mark image of the second calibration image, and generates a reference mark position information database. The three-dimensional position information related to the additional reference mark is read with reference to the
図３は校正用三次元フィールドを説明する全体図で、明暗の二値画像にて示してある。図４は図３の校正用三次元フィールドのうち、望遠用領域を拡大した要部説明図で、明暗の二値画像にて示してある。図において、校正用三次元フィールド１００は、広角用領域１１０と、広角用領域１１０と重複する領域中に設けられた望遠用領域１２０とを有している。
FIG. 3 is an overall view for explaining the three-dimensional field for calibration, and is shown as a light and dark binary image. FIG. 4 is an explanatory view of a main part in which the telephoto area of the three-dimensional field for calibration in FIG. 3 is enlarged, and is shown as a light and dark binary image. In the figure, the calibration three-
広角用領域１１０は、ズームレンズの広角側のキャリブレーション画像の撮影に使用されるもので、撮影されたキャリブレーション画像において概括的な位置合わせに利用される広角用の粗位置合わせ基準マーク１１２と、撮影されたキャリブレーション画像において詳細な位置合わせに利用される広角用の精密位置合わせ基準マーク１１４が設けられている。広角用の粗位置合わせ基準マーク１１２は、望遠用領域１２０の近傍に７ヶ所設けられており、撮影するズームレンズの画角が小さい場合でも、確実に撮影されるように配慮してある。広角用の精密位置合わせ基準マーク１１４は、例えば１００個乃至２００個設けられたもので、撮影されたキャリブレーション画像において満遍なく写るように、均等な密度で配置されている。広角用の粗位置合わせ基準マーク１１２は、広角用の精密位置合わせ基準マーク１１４と同一形状（例えば円形『○』であるが、星型『★』や三角印『△』でもよい）の中心点と、この中心点を囲う矩形の枠線にて構成されている。枠線は、矩形に代えて丸型や三角形以上の多角形であればよく、要するに広角用の粗位置合わせ基準マーク１１２として識別できるものであれば良い。
The wide-
望遠用領域１２０は、ズームレンズの望遠側のキャリブレーション画像の撮影に使用されるもので、撮影されたキャリブレーション画像において概括的な位置合わせに利用される望遠用の粗位置合わせ基準マーク１２２と、撮影されたキャリブレーション画像において詳細な位置合わせに利用される望遠用の精密位置合わせ基準マーク１２４が設けられている。望遠用領域１２０は、広角用領域１１０と重複する領域の中側の狭い領域に設けられているので、撮影を行うカメラと校正用三次元フィールドとの間隔を充分確保できない場合でも、画角の小さな望遠側の焦点距離に設定されたズムーレンズによりキャリブレーション画像が撮影できる。
The
望遠用の粗位置合わせ基準マーク１２２は、望遠用領域１２０の中心近傍に７ヶ所設けられており、撮影するズームレンズの画角が小さい場合でも、確実に撮影されるように配慮してある。望遠用の精密位置合わせ基準マーク１２４は、例えば１００個乃至２００個設けられたもので、撮影されたキャリブレーション画像において満遍なく写るように、均等な密度で配置されている。望遠用の粗位置合わせ基準マーク１２２は、望遠用の精密位置合わせ基準マーク１２４と同一形状の中心点と、この中心点を囲う矩形の枠線にて構成されている。枠線は、矩形に代えて丸型や三角形以上の多角形であればよく、要するに望遠用の粗位置合わせ基準マーク１２２として識別できるものであれば良い。
Seven telephoto coarse alignment reference marks 122 are provided near the center of the
広角用の粗位置合わせ基準マーク１１２は、望遠用の粗位置合わせ基準マーク１２２よりも大きな外形を有し、広角用の精密位置合わせ基準マーク１１４は、望遠用の精密位置合わせ基準マーク１２４よりも大きな外形を有している。カメラで撮影されたキャリブレーション画像において、ズームレンズの広角側で撮影すると望遠用の基準マーク１２２、１２４が小さく撮影されるので、広角用の基準マーク１１２、１１４が識別容易となる。また、ズームレンズの望遠側で撮影すると、望遠用の基準マーク１２２、１２４は適切な大きさで写り、カメラで撮影されたキャリブレーション画像における望遠用の基準マーク１２２、１２４が識別容易となる。
The wide-angle coarse
次に、校正用三次元フィールド１００が設置される現場を、図面を用いて説明する。図５は校正用三次元フィールドが設置される現場を説明する全体図であり、図６は図５の校正用三次元フィールド全体図のうち、望遠用領域を拡大した要部説明図である。校正用三次元フィールド１００は、例えば地下室のように温度変化の少ない環境に設置されて、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４の相対的な位置関係が変動しないように配慮されている。広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４は、例えばコンクリート壁のような壁面に、基準マークを示すターゲット板を固定してある。
Next, the site where the calibration three-
基準マーク１１２、１１４、１２２、１２４には、高い反射率を有する反射ターゲットを用いると、明暗の二値画像でキャリブレーション画像を撮影することが容易にできる。反射ターゲットには、例えばアルミ蒸着したガラス板のような反射率の高い基準マークを用いると、カメラで撮影されたキャリブレーション画像に基準マークが高輝度で写り、校正用三次元フィールドの背景面と基準マークとのコントラストが容易に確保できる。基準マークの高さは、例えばコンクリート壁面からのターゲット板の高さを違えることで、調整される。多様な高さの基準マークを、キャリブレーション画像に満遍なく均等に配置することによって、キャリブレーション対象となるズームレンズの内部パラメータが正確に算出できる。 When a reflective target having a high reflectance is used for the reference marks 112, 114, 122, and 124, a calibration image can be easily captured with a light and dark binary image. For example, if a high-reflectance reference mark such as an aluminum-deposited glass plate is used as the reflection target, the reference mark appears in the calibration image captured by the camera with high brightness, and the background surface of the calibration three-dimensional field Contrast with the reference mark can be easily secured. The height of the reference mark is adjusted, for example, by changing the height of the target plate from the concrete wall surface. By arranging reference marks of various heights uniformly in the calibration image, the internal parameters of the zoom lens to be calibrated can be accurately calculated.
図７は、キャリブレーション対象となるズームレンズにて校正用三次元フィールドを撮影する手順を説明するフローチャートである。まず最初に、被校正撮影装置１９を校正用三次元フィールド１００を撮影する位置に設置する（Ｓ２００）。そして、被校正撮影装置１９について、キャリブレーションしたい焦点距離に設定する（Ｓ２０２）。焦点距離は、例えば広角側と望遠側のうち、ズームレンズの広角側に設定するのが良いが、望遠側でも差し支えない。次に、被校正撮影装置１９の画面に、校正用三次元フィールド１００の基準マークがいっぱいに映るようにカメラの設置位置を調整する（Ｓ２０４）。被校正撮影装置１９が広角側の焦点距離であるときは、広角用の基準マーク１１２、１１４が写るように設定する。被校正撮影装置１９が望遠側であるときは、望遠用の基準マーク１２２、１２４が写るように設定する。
FIG. 7 is a flowchart illustrating a procedure for photographing a calibration three-dimensional field with a zoom lens to be calibrated. First, the calibrated photographing
まず、キャリブレーションチャート撮影用カメラの露出設定を、校正用三次元フィールド１００の基準マークを除く背景領域に対して露出不足であって、校正用三次元フィールド１００の基準マークに対して露出オーバーに設定する（Ｓ２０６）。次に、キャリブレーションチャート撮影用カメラのストロボ撮影により、校正用三次元フィールド１００を撮影する（Ｓ２０８）。ズームレンズは絞りを最大限に絞って撮影できるため、被写界深度が深くなり、仮にピントが合っていなくても鮮明な解析画像が得られやすくなる。
First, the exposure setting of the calibration chart photographing camera is underexposed with respect to the background area excluding the reference mark of the calibration three-
続いて、撮影されたキャリブレーションチャート画像に対して、コントラストが強調されるように現像する（Ｓ２１０）。このように撮影されたキャリブレーションチャート画像では、コンクリートの壁面のような校正用三次元フィールドの背景画を暗くして、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４を明るくした２値画像が得られる（Ｓ２１２）。 Subsequently, the photographed calibration chart image is developed so as to enhance the contrast (S210). In the calibration chart image photographed in this way, the background image of the calibration three-dimensional field such as a concrete wall is darkened, and the wide-angle reference marks 112 and 114 and the telephoto reference marks 122 and 124 are brightened. A binary image is obtained (S212).
そして、被校正撮影装置１９がキャリブレーションに必要な画像をすべて撮影したか判断する（Ｓ２１４）。被校正撮影装置１９について、一つの焦点距離で必要枚数の撮影が終了したのち、被校正撮影装置１９がズームレンズの場合には、必要とする全ての焦点距離で撮影が終了したか判定する（Ｓ２１６）。Ｓ２１６にて未了と判断されると、必要とされる次の焦点距離に対する撮影処理をＳ２０２に戻って繰り返す。例えば、被校正撮影装置１９の焦点距離として、補間したい必要焦点数についてズームレンズを調整して、Ｓ２０２〜Ｓ２１６の処理を繰り返す。ここで、被校正撮影装置１９のキャリブレーション画像の対象となる焦点距離数はキャリブレーションの必要精度に変えるのが良く、またズームレンズのレンジに応じて変えてもよい。この焦点距離数は、最低値として２焦点距離であるが、３以上の焦点距離でもよい。例えば、被校正撮影装置１９が広角から望遠まで５焦点の場合は５回行う。従って、被校正撮影装置１９について焦点距離変更した場合、キャリブレーション画像を被校正撮影装置１９の画面いっぱいに撮影できるよう、カメラ位置を変更して繰り返す。
Then, it is determined whether the calibrated photographing
被校正撮影装置１９によるキャリブレーション画像の撮影が終了したら、撮影されたキャリブレーション画像を第１画像取得部６０や第２画像取得部６２に格納する（Ｓ２１８）。キャリブレーション画像の格納は、フレキシブルディスクのような電磁気的記憶媒体でも良く、またインターネット経由にて通信によりキャリブレーション装置に画像データを転送してもよい。そして、Ｓ２１８の処理が完了すると戻しとなる。
When the calibration
このように撮影されたキャリブレーションチャート画像は、現像された２値画像の三次元計測位置と、予め測定された広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４の三次元座標とを比較演算して、ズームレンズの焦点距離毎にカメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めるのに使用される。校正用三次元フィールド１００の基準マークを除く背景領域は、均一な暗い領域画像となるので、後工程で行なわれるキャリブレーションチャート画像を用いたキャリブレーション作業において、広角用の基準マーク１１２、１１４及び望遠用の基準マーク１２２、１２４が正確に検出できる。例えば、本発明者の実験によると、基準マーク（ターゲット）の重心位置検出の精度が、２値画像では１／１０画素程度であるのに対して、背景の壁面が写し込まれていると１／４画素程度と２倍〜３倍程度粗くなる。
The calibration chart image photographed in this way includes the three-dimensional measurement position of the developed binary image and the three-dimensional coordinates of the reference marks 112 and 114 for wide angle and the reference marks 122 and 124 for telephoto that have been measured in advance. Are used for analytically determining camera internal parameters (main point position, screen distance, distortion parameter) for each focal length of the zoom lens. Since the background area excluding the reference mark of the calibration three-
なお、上記の実施の形態においては、広角用の基準マーク及び望遠用の基準マークは共通の壁面に固定して設置されている場合を示したが、校正用の基準マークが配置された領域としての校正用三次元フィールドはこれに限定されない。例えば、広角用の基準マークは壁面に固定して設置されるが、望遠用の基準マークは移動式のパネルに固定すると共に、壁面に対して移動式のパネルを適切に位置決めすることにより、広角用の基準マーク及び望遠用の基準マークの位置決めを行なうように構成しても良い。 In the above-described embodiment, the wide-angle reference mark and the telephoto reference mark are fixedly installed on a common wall. However, the calibration reference mark is arranged as an area. The three-dimensional field for calibration is not limited to this. For example, a wide-angle reference mark is fixedly installed on a wall surface, while a telephoto reference mark is fixed to a movable panel and the movable panel is appropriately positioned with respect to the wall surface. The reference mark for telescope and the reference mark for telephoto may be positioned.
図８は、本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。校正用三次元フィールド１００は、例えば前述の図３〜図６で説明したような広角用の基準マーク及び望遠用の基準マークを有するものである。被校正撮影装置１９は、既に説明したように、典型的にはキャリブレーションの対象となるズームレンズを有するカメラである。
FIG. 8 is an overall configuration block diagram illustrating a calibration apparatus to which the present invention is applied. The calibration three-
画像データ記憶部３は、前述した第１画像取得部６０や第２画像取得部６２に対応するもので、ここでは被校正撮影装置１９によって撮影されたキャリブレーション画像データを記憶する記憶装置、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３では、第１画像取得部６０や第２画像取得部６２に格納されたキャリブレーション画像が、撮影時の焦点距離が判別できる態様で記憶されているとよい。キャリブレーション画像データには、前述の第１の校正用画像や第２の校正用画像が対応している。
The image
キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。前述の補正係数算出部６４は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８の機能を用いて実現される。さらに、被校正撮影装置１９の焦点距離情報を用いて迅速に校正用三次元フィールド１００の基準マーク位置を検出する為に、基準マーク推論部６６としての機能を、抽出部４や概略マーク位置測定部５で用いている。
The calibration apparatus includes an extraction unit 4, an approximate mark
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行うもので、基準マーク推論部６６を用いて、従前の焦点距離で求めた校正用三次元フィールド１００の基準マーク位置情報を利用して、今回の焦点距離における第２の校正用画像に撮影された基準マークの位置関係を利用する。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。ここで、第１マークとは、広角用の粗位置合わせ基準マーク１１２や望遠用の粗位置合わせ基準マーク１２２をいう。また、第２マークは、広角用の精密位置合わせ基準マーク１１４や望遠用の精密位置合わせ基準マーク１２４をいう。抽出部４による基準マーク推論部６６を用いた第１マーク抽出処理の詳細は、後で説明する。
The extraction unit 4 extracts a first mark from image data stored in the image
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理では、基準マーク推論部６６を用いて、各焦点距離毎に効率的に第２マークが抽出される。
The approximate mark
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、校正用三次元フィールド１００の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、被校正撮影装置１９の内部パラメータを演算する。演算された被校正撮影装置１９の内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。被校正撮影装置１９の内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。
The precision mark position measurement unit 6 recognizes the second mark with respect to the image of the calibration photo set, and precisely calculates the position of the second mark by the center-of-gravity position detection method or the like. The
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、被校正撮影装置１９によって撮影された画像（特に、校正用三次元フィールド１００以外の画像）のデータ画像を再配列する。すると、被校正撮影装置１９によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。
The
マーク座標記憶部１０には、各焦点距離毎に撮影されたキャリブレーション画像における第１マークの画像座標値が記憶されていると共に、第２マークの画像座標値が記憶されているもので、好ましくは前述の基準マーク位置情報データベース部６５に記憶された校正用三次元フィールド１００における、基準マークの三次元位置情報も記憶していると良い。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算された被校正撮影装置１９の内部パラメータとしてのキャリブレーション補正係数が、被校正撮影装置１９の焦点距離と共に記憶されている。
The mark coordinate
次に、図９を参照して、本発明のキャリブレーション装置を用いたキャリブレーション処理の流れ全体について説明する。図９は、キャリブレーション処理の流れ全体を説明するフローチャートである。まず、レンズ収差の補償対象となる被校正撮影装置１９を所定の焦点距離に設定して、校正用三次元フィールド１００を撮影する（Ｓ１０）。この撮影の詳細は、例えば図７のフローチャートにおけるＳ２０２〜Ｓ２１４にて詳細に説明されている。
Next, the entire flow of calibration processing using the calibration apparatus of the present invention will be described with reference to FIG. FIG. 9 is a flowchart for explaining the entire flow of the calibration process. First, the to-be-calibrated photographing
続いて、画像データ記憶部３に格納されたキャリブレーション画像に関して、画像上に記録されている焦点位置を読み込む（Ｓ２０）。次に、キャリブレーション画像に関して、被校正撮影装置１９の同一焦点距離の画像を一グループとして、各焦点距離ごとのキャリブレーション画像グループを作成する（Ｓ２５）。
Subsequently, with respect to the calibration image stored in the image
続いて、各焦点距離ごとに形成されたキャリブレーション画像グループから今回の処理対象となる画像が選択される（Ｓ３０）。即ち、キャリブレーション装置は、選択されたキャリブレーション画像グループの画像データを画像データ記憶部３から読込んで、表示部９に表示する。そして、操作者は表示部９に表示された画像から、基準マークとしてのターゲットの対応付け及び計測を行う画像を選択する。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
Subsequently, an image to be processed this time is selected from the calibration image group formed for each focal length (S30). That is, the calibration apparatus reads the image data of the selected calibration image group from the image
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、校正用三次元フィールド１００とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−1からＩ−4までの処理を第１マークの点数分繰り返す。即ち、前述の図３、図４で説明したような広角用の基準マーク及び望遠用の基準マークにおいて、各広角用の粗位置合わせ基準マーク１１２の中に、広角用の精密位置合わせ基準マーク１１４が形成されている。また、各望遠用の粗位置合わせ基準マーク１２２の中に、望遠用の精密位置合わせ基準マーク１２４が形成されている。
(I): First mark extraction process In the first mark extraction process, the secondary projection transformation formula between the calibration three-
Ｉ−1…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−2…Ｉ−1で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−3…Ｉ−2で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−3での位置あわせは厳密でなくともよい。
Ｉ−4…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−3で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−3で計測された第１マークの重心位置が基準点座標として記憶される。
I-1... The operator aligns the mouse cursor position with the second mark of the first mark to be detected on the entire image displayed on the
I-2 ... A local image including the second mark is cut out from the enlarged image with the image coordinates obtained by I-1 as the center, and is displayed. At this time, an image including the second mark can be used as a template for the second mark precision position measurement.
I-3... With respect to the enlarged image displayed at I-2, the mouse cursor position is clicked on the center of gravity of the second mark, and this image coordinate is set as the center of gravity of the first mark. Note that the alignment in I-3 does not have to be exact in order to perform the approximate position association in the subsequent processing.
I-4 ... Next, in order to correspond to the management number of the second mark stored in the mark coordinate
なお、第１マーク抽出処理では、例えば校正用三次元フィールド１００上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図３、図４のような全体画像、もう一方側に単一の広角用の粗位置合わせ基準マーク１１２や望遠用の粗位置合わせ基準マーク１２２の拡大画像を表示するようにすれば、位置計測がしやすくなる。
In the first mark extraction process, for example, if the measurement order of the first mark on the calibration three-
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図３、図４のような全体画像だけで計測する方式がある。この場合、Ｉ−1の処理を行うと共に、Ｉ−4においてＩ−1で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−2、Ｉ−3の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。 Next, as another processing procedure of the first mark extraction process, there is a method of measuring only the entire image as shown in FIGS. 3 and 4 without using an enlarged image. In this case, the process of I-1 is performed and the management number of the second mark corresponding to the barycentric position of the first mark measured at I-1 is input in I-4. In this way, since the enlarged image is not used, the processing of I-2 and I-3 can be omitted. However, since the entire image is displayed, the first mark is displayed in a small size. Therefore, it may be determined whether or not to use the enlarged image according to the preference of the operator.
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図３、図４の第１マーク配置であれば、その検出座標から各第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。 Next, a case where the first mark extraction process is automatically performed by the extraction unit 4 will be described. First, an outer frame portion that does not include the second mark among the first marks is registered as a template. For this registration, for example, the first first mark in the first mark extraction process described above may be registered as a template image. Then, the remaining first marks can be automatically measured in the template matching process. In addition, the position association in the case of the first mark can be easily performed because the position of the first mark is clear from the image. For example, in the case of the first mark arrangement shown in FIGS. 3 and 4, it is easy to associate each first mark from the detected coordinates. Note that the template matching process is the same as the target recognition process (S62) in the second mark precision position measurement described later, and thus the description thereof is omitted.
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−1の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。 Next, a case where the first mark extraction process is further automatically performed by the extraction unit 4 will be described. A template image of the first mark in the first mark extraction process is registered in the extraction unit 4 in advance. Then, since the first mark is individually extracted by the template matching process using the template image of the first mark, it is possible to omit all operations for designating the first mark of I-1. That is, if the first mark is a mark that is clearly different from the second mark, automatic processing can be performed even if the extraction unit 4 has a virtual template image.
続いて、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。第２マークとは、前述したように、広角用の精密位置合わせ基準マーク１１４や望遠用の精密位置合わせ基準マーク１２４である。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
Subsequently, the approximate mark
(II-1): Step of obtaining external orientation element In the approximate mark
X = (b1 · x + b2 · y + b3) / (b7 · x + b8 · y + 1)
Y = (b4 * x + b5 * y + b6) / (b7 * x + b8 * y + 1) (2)
Here, X and Y indicate reference point coordinates, and x and y indicate image coordinates.
次に、基準点座標と画像座標の関係を説明する。図１１（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にして校正用三次元フィールド１００の置かれる基準点座標系としての対象座標系５２と、被校正撮影装置１９のフィルム又はＣＣＤが置かれる画像座標系５０が図１１（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
Next, the relationship between the reference point coordinates and the image coordinates will be described. FIG. 11A is an explanatory diagram of an image coordinate system and a target coordinate system in central projection. In the case of central projection, an object coordinate system 52 as a reference point coordinate system in which the calibration three-
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
Then, using the parameters b1 to b8 of the equation (2), the next external orientation element is obtained from the equation (3).
ω = tan −1 (C ・ b8)
φ = tan −1 (−C · b7 · cos ω)
κ = tan −1 (−b4 / b1) (when φ = 0)
κ = tan −1 (−b2 / b5) (when φ ≠ 0, ω = 0)
κ = tan −1 {− (A1, A3-A2, A4) / (A1, A2-A3, A4)} (when φ ≠ 0, ω ≠ 0)
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝1/２＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／(ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マークの平均標高とするから、例えば広角用の粗位置合わせ基準マーク１１２を用いる場合は図２に示す７点、望遠用の粗位置合わせ基準マーク１２２を用いる場合は図３に示す７点の平均をとる。Ｃは焦点距離で、前述の画面距離に相当している。
Z0 = C.cos.omega. {(A22 + A32) / (A12 + A42)} 1/2 + Zm
X0 = b3− (tan ω · sin κ / cos φ−tan φ · cos κ) × (Zm−Z0)
Y0 = b6- (tan [omega] .cos [kappa] / cos [phi] -tan [phi] .sin [kappa]) * (Zm-Z0) (3)
However, A1 = 1 + tan 2 φ , A2 = B1 + B2 · tanφ / sinω, A3 = B4 + B5 · tanφ / sinω, and A4 = tanφ / (cosφ · tanω ). Also, since Zm is the average elevation of the first mark, for example, when using the wide-angle coarse
（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。 Here, the tilt (ω, φ, κ) of the camera obtained by Equation (3) is substituted into Equation (4), and the rotation matrix is calculated to obtain the rotation matrix elements a11 to a33.
次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実の被校正撮影装置１９で撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｘ−Ｘ0）＋ａ13（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｘ−Ｘ0）＋ａ23（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝ （５）
Next, the elements a11 to a33 of the obtained rotation matrix, the camera position (X0, Y0, Z0) obtained by the equation (3), and the reference point coordinates (X, Y, Z) of the target are collinear conditions. Substituting into the expression {expression (5)}, the image coordinates (x, y) of the target are obtained. Here, the collinear conditional expression is a relational expression that is established when the projection center, the photographic image, and the ground object are on a straight line. As a result, the position of the second mark when there is no lens aberration is calculated, so that the approximate image coordinates of the target in the image captured by the actual calibrated
x = -C. {a11 (X-X0) + a12 (X-X0) + a13 (Z-Z0)} /
{A31 (X-X0) + a32 (X-X0) + a33 (Z-Z0)}
y = -C. {a21 (X-X0) + a22 (X-X0) + a23 (Z-Z0)} /
{A31 (X-X0) + a32 (X-X0) + a33 (Z-Z0)} (5)
ところで、式（３）中のｔａｎ-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マークの画像座標と、式（５）で求めた対応する画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
By the way, since the calculation of tan −1 in equation (3) obtains two solutions, the camera tilt (ω, φ, κ) has two solutions, and the entire calculation is performed. Then, ω, φ, and κ that are correct answers are calculated by comparing residuals between the image coordinates of the first mark measured in the first mark extraction process and the corresponding image coordinates obtained by Expression (5).
In addition, although it demonstrated using the secondary projection transformation formula here as a projection transformation formula, this invention is not limited to this, Even if other projection transformation formulas, such as a tertiary projection transformation formula, are utilized. good. Further, the approximate mark
図９に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図１０を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。 Returning to FIG. 9, the precision mark position measurement unit 6 performs the precision position measurement of the second mark (S60). Hereinafter, the processing procedure of the precise position measurement of the second mark will be described in detail with reference to FIG. First, the precision mark position measurement unit 6 recognizes the target as the second mark (S62). For this target recognition, for example, template matching using normalized correlation is used. Details of target recognition will be described below.
（III）ターゲット認識
図１１（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マークの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
(III) Target Recognition FIG. 11B is an explanatory diagram of a normalized correlation template image and target image used for target recognition. First, an arbitrary target is selected from the barycentric positions of the first marks measured in the first mark extraction process (S40). The template image of the normalized correlation is an M × M pixel image centered on the center of gravity (image coordinates) of the selected target. Further, an image of N × N pixels is set as the target image with the approximate position (image coordinates) of the target calculated in the second mark approximate position measurement (S50) as the center.
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ) ２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ) ２｝］ （６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
Next, the template matching by the normalized correlation shown in Expression (6) is performed on the target image, and the position where the correlation value is maximized is obtained. It is assumed that superposition is achieved at a position where the correlation value becomes the maximum value, and the target is recognized at the position where the correlation value becomes the maximum value. Here, the center coordinates of the template image are converted into image coordinates on the same-size image and set as detection points.
A = {M 2 × Σ (Xi × Ti) −ΣXi × ΣTi} /
[{M 2 × ΣXi 2 − (ΣXi) 2 } × {M 2 × ΣTi 2 − (ΣTi) 2 }] (6)
Here, A is the correlation value, M is the square size of the template image, Xi is the target image, and Ti is the template image. Although the square sizes N and M of the image are variable, it is preferable to make N and M as small as possible on the assumption that the target can be sufficiently stored in order to speed up the processing time.
次に、基準マーク推論部６６を用いた第１マーク抽出処理と第２マークの概略位置演算処理の詳細を説明する。図１２は、被校正撮影装置の焦点距離を調整した場合のターゲット認識とテンプレート画像の関係を説明する図で、校正用三次元フィールド１００に従前の焦点距離による校正画像と今回の焦点距離による校正画像の撮影領域を示してある。被校正撮影装置１９の焦点距離が順次変更される場合には、従前の焦点距離による校正画像のターゲット位置情報を用いて、今回の焦点距離による校正画像のターゲット位置とターゲット画像の大きさが推定できる。ここで、ターゲットとは、第１マークとしての広角用の粗位置合わせ基準マーク１１２と第２マークとしての広角用の精密位置合わせ基準マーク１１４、或いは第１マークとしての望遠用の粗位置合わせ基準マーク１２２と第２マークとしての望遠用の精密位置合わせ基準マーク１２４をいう。そこで、第１マークの場合には抽出部４が第１マークの画像座標値を抽出し、第２マークの場合には概略マーク位置測定部５が第２マークの概略位置を演算するが、その際に基準マーク推論部６６によってターゲット位置の抽出を迅速にする。
Next, details of the first mark extraction process and the second mark approximate position calculation process using the reference mark inference unit 66 will be described. FIG. 12 is a diagram for explaining the relationship between the target recognition and the template image when the focal length of the apparatus to be calibrated is adjusted. The calibration image based on the previous focal length according to the calibration three-
即ち、重複基準マーク抽出部６７によって、従前の焦点距離による校正画像としての第１の校正用画像で撮影された校正用の基準マークと、今回の焦点距離による校正画像としての第２の校正用画像で撮影された校正用の基準マーク画像とが一致する基準マーク群を抽出する。そして、追加基準マーク位置情報抽出部６８によって、第２の校正用画像の基準マーク画像中から、第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、基準マーク位置情報データベース部６５を参照して、追加基準マークに関する三次元位置情報を読み出す。
That is, the duplication reference mark extraction unit 67 uses the first calibration image as the calibration image based on the previous focal length and the second calibration mark as the calibration image based on the current focal length. A reference mark group that matches the calibration reference mark image captured in the image is extracted. Then, the additional reference mark position information extraction unit 68 extracts an additional reference mark that does not have a reference mark corresponding to the first calibration image from the reference mark image of the second calibration image. With reference to the
図１３は、相互相関係数法による重複基準マーク抽出の一例を説明する図で、（Ａ）は従前の焦点距離による校正画像、（Ｂ）は今回の焦点距離による校正画像の場合を示している。相互相関係数による方法では、次式を用いた以下の手順による。
３−2：テンプレート画像より大きい今回の焦点距離による校正画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）２として、探索範囲上でテンプレート画像を動かす。
３−3：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に従前の焦点距離による校正画像と今回の焦点距離による校正画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
３−4：今回の焦点距離による校正画像において、従前の焦点距離による校正画像に撮影されていない基準マークが存在するときは、追加基準マーク位置情報抽出部６８により処理する。
FIGS. 13A and 13B are diagrams for explaining an example of overlapping reference mark extraction by the cross-correlation coefficient method. FIG. 13A shows a calibration image based on the previous focal length, and FIG. 13B shows a calibration image based on the current focal length. Yes. In the method using the cross-correlation coefficient, the following procedure using the following equation is used.
3-2: The M1 × M1 pixel in the calibration image with the current focal length larger than the template image is set as the search range (M1-N1 + 1) 2 and the template image is moved on the search range.
3-3: An image position that maximizes the cross-correlation coefficient C (a, b) in the above equation is obtained, and it is considered that the template image has been searched. If the calibration image based on the previous focal length completely matches the calibration image based on the current focal length, the cross-correlation coefficient value C (a, b) is 1.0.
3-4: In the calibration image based on the current focal length, when there is a reference mark that has not been photographed in the calibration image based on the previous focal length, the additional reference mark position information extraction unit 68 performs processing.
図１０に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２） （１２）
ここで、σはガウス関数のパラメ−タ−である。
Returning to FIG. 10, in order to perform the precise position measurement of the second mark, sub-pixel edge detection of the second mark is performed (S64). The target image on which the sub-pixel edge detection of the second mark is performed is an N × N pixel image centered on the detection point recognized as the target in S62. Laplacian-Gaussian filter (LOG filter), which is the second derivative of the Gaussian function shown in Equation (7), is applied to the grayscale waveform existing in the target image, and two zero crossing points, that is, edges of the calculation result curve are sub Detect by pixel. Here, the sub-pixel means that position detection is performed with an accuracy finer than one pixel.
∇ 2 · G (x) = {(x 2 −2σ 2 ) / 2πσ 6 } · exp (−x 2 / 2σ 2 ) (12)
Here, σ is a parameter of the Gaussian function.
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（１２）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。 Next, the position of the center of gravity of the target is detected (S66) and returned (S68). Here, based on the edge positions in the x and y directions obtained using Expression (12), the intersection is set as the center of gravity of the target. Note that the precise position measurement of the second mark is not limited to the processing disclosed in S62 to S66, and any other center-of-gravity position detection method such as a moment method or a template matching method may be used. You may ask for this.
図９に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
Returning to FIG. 9, all target center-of-gravity positions are confirmed, and it is confirmed that there is no apparent error (S70). That is, it is confirmed whether or not the position detection of the target recognized is appropriate. For the convenience of confirmation by the operator, the position of the detected target is displayed on the
そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。 And the process of S30-S75 is repeated for the image required for the measurement of a lens aberration (S80). For example, if there are five captured images, all five images may be repeated, and if the images necessary for the measurement of lens aberration have been reached, all the captured images are processed repeatedly. You don't have to.
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション補正係数を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション補正係数の演算対象として、校正用三次元フィールド１００上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
When the measurement process for the image necessary for measuring the lens aberration is completed, the process proceeds to a process for obtaining a lens aberration calibration correction coefficient using the camera internal parameter calculation process of the calculation processing unit 7 (S90). Here, as a calculation target of the calibration correction coefficient, the second mark on the three-dimensional field for
（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション補正係数、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の式（１３）と式（１４）である。
(IV): Camera internal parameter calculation processing (bundle adjustment method with self-calibration)
As the camera internal parameter calculation processing of the
この式（１３）と式（１４）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、式（１３）と式（１４）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション補正係数を求めることが可能となる。 Expressions (13) and (14) are based on the collinear conditional expression (5) for single photo orientation described in the first mark extraction process. In other words, the bundle adjustment method is a method of calculating various solutions by approximating the least squares from a plurality of images using the equations (13) and (14), and simultaneously obtaining the external orientation elements of the cameras at the respective photographing positions. Is possible. That is, it is possible to obtain a camera calibration correction coefficient.
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の式（１５）に示す。
図９に戻り、演算処理部７によるキャリブレーション補正係数を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション補正係数が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
Returning to FIG. 9, the calculation processing result for obtaining the calibration correction coefficient by the
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション補正係数演算に戻り、キャリブレーション補正係数を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。 Then, the operator corrects the erroneous second mark by manual operation (S120). That is, the coordinates of the center of gravity of the second mark with an error are displayed with a shift, and the correction is made by moving the mark displayed as the second mark with an error to the center of gravity displayed as aptitude. Is done. Then, it is determined whether the correction of the position of the erroneous second mark has been completed (S130), and if completed, the process returns to the calibration correction coefficient calculation of S90, and the calibration correction coefficient is calculated again. On the other hand, if there are other correction points, the process returns to S110 and repeats the operation of correcting the position of the erroneous second mark.
キャリブレーション補正係数を求める演算処理結果が適性であれば、他の焦点距離のキャリブレーション画像グループが存在するか判断する（Ｓ１３５）。もし、他の焦点距離のキャリブレーション画像グループが存在していれば、Ｓ３０に戻る。全ての焦点距離のキャリブレーション画像グループに関して、キャリブレーション補正係数を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。 If the calculation processing result for obtaining the calibration correction coefficient is appropriate, it is determined whether there is a calibration image group of another focal length (S135). If calibration image groups with other focal lengths exist, the process returns to S30. If the calculation processing result for obtaining the calibration correction coefficient is appropriate for all the focal length calibration image groups, the result is displayed on the display unit 9 (S140).
図１４は、キャリブレーション補正係数の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション補正係数である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合の理想曲線１０６についてグラフィック表示するとわかりやすい。
FIG. 14 is an explanatory diagram illustrating an example of the calculation processing result of the calibration correction coefficient. For example, the focal length, the principal point position, and the distortion parameter, which are calibration correction coefficients, are displayed on the
次に、演算処理部７で算出された内部パラメータを用いて、焦点距離を変数とするキャリブレーション補正係数関数の説明する。図１５は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、（Ａ）は式（１５）の係数ｋ１、（Ｂ）は式（１５）の係数ｋ２、（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０、（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０を表している。ここでは、被校正撮影装置１９の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。
Next, the calibration correction coefficient function using the focal length as a variable will be described using the internal parameters calculated by the
式（１５）の係数ｋ１は、最広角側で最大値をとり、最望遠側では絶対値が小さくなっている。式（１５）の係数ｋ２は、最広角側で絶対値として最大値をとるが符号は負であり、最望遠側では絶対値が小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０は、被校正撮影装置１９の焦点距離が５２．２ｍｍで最小値４．４３をとり、３９．０ｍｍ付近で最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０は、被校正撮影装置１９の焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、被校正撮影装置１９の焦点距離ｆと、投影中心点Ｏｃから画像座標系５０までの画面距離Ｃとは、等しくなっている。
The coefficient k1 in the equation (15) has a maximum value on the widest angle side and a small absolute value on the maximum telephoto side. The coefficient k2 in the equation (15) takes a maximum value as an absolute value on the widest angle side, but has a negative sign, and has a small absolute value on the maximum telephoto side. X-axis position deviation coefficients x 0 of the camera principal point and the image center of the image coordinate system x is the focal length of the
演算処理部７では、焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ０、ｙ０が得られる構成とするとよい。そして、内部パラメータ関数としての式（１３）、式（１４）、式（１５）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。
In the
なお、上記の実施の形態においては、基準マーク推論部としての機能を抽出部や概略マーク位置測定部に格納している場合を示したが、本発明はこれに限定されるものではなく、例えば基準マーク推論部としての機能はキャリブレーション装置の共通機能として独立して構成しても良く、各種の変形実施例が存在する。 In the above embodiment, the case where the function as the reference mark inference unit is stored in the extraction unit or the approximate mark position measurement unit is shown, but the present invention is not limited to this, for example, The function as the reference mark inference unit may be configured independently as a common function of the calibration apparatus, and various modified embodiments exist.
以上説明したキャリブレーション装置で求められた各焦点距離に対するキャリブレーション補正係数（実際に撮影された画像に基づき、求めた撮影された際の焦点距離のキャリブレーション補正係数と、この補正係数から所定の演算により求められた実際には撮影されていない焦点距離のキャリブレーション補正係数との両方を含む）、を利用して、実際に撮影された際の焦点距離に応じたキャリブレーション補正係数を用いた画像補正を行う画像補正機能を備えた撮影装置を形成することができる。 Calibration correction coefficient for each focal length obtained by the calibration apparatus described above (based on the actually taken image, the calibration correction coefficient for the focal length at the time of shooting, and a predetermined correction value based on this correction coefficient) Using the calibration correction coefficient corresponding to the focal length when the image was actually taken. An imaging device having an image correction function for performing image correction can be formed.
この撮影装置４００は、例えば図１６に示すように、各焦点距離に対するキャリブレーション補正係数を記憶する記憶部４１０と、焦点距離が可変に調整可能である撮影部４２０と、撮影部で撮影された画像の焦点距離に応じた記憶されているキャリブレーション補正係数に基づき、撮影部で撮影された画像に画像補正を施す画像補正部４３０から構成される。
For example, as illustrated in FIG. 16, the
ここで、キャリブレーション補正係数を記憶する記憶部４１０が記憶するキャリブレーション補正係数は、実際にキャリブレーションのため撮影された画像の焦点距離のキャリブレーション補正係数でもよいし、それのほか、図２のＳ３２０において求められた撮影された焦点距離以外の演算されたキャリブレーション補正係数が含まれてもよい。さらに、画像補正部において、図２のＳ３２０のような処理を行い、撮影された焦点距離以外の演算されたキャリブレーション補正係数を求めて、撮影画像が撮影された際の焦点距離の補正に対応したキャリブレーション補正係数による画像補正がなされるように構成することもできる。
Here, the calibration correction coefficient stored in the
３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
１０ マーク座標記憶部
１１ レンズ収差補償パラメータ記憶部
１９ 被校正撮影装置
６０ 第１画像取得部
６２ 第２画像取得部
６４ 補正係数算出部
６５ 基準マーク位置情報データベース部
６６ 基準マーク推論部
６７ 重複基準マーク抽出部
６８ 追加基準マーク位置情報抽出部
１００ 校正用三次元フィールド
１１０ 広角用領域
１１２ 粗位置合わせ基準マーク
１１４ 精密位置合わせ基準マーク
１２０ 望遠用領域
１２２ 粗位置合わせ基準マーク
１２４ 精密位置合わせ基準マーク
3 Image data storage unit 4
Claims (7)
前記第１の校正用画像に撮影された前記第１マークの位置情報と、前記第１マークと前記第２マークの三次元位置情報に基づき、射影変換により、前記第２マークの概略位置を求め、前記第１の校正用画像に撮影された校正用の基準マークの位置情報と、前記第１の焦点距離と前記第２の焦点距離のズーム比に基づいて、前記第２の校正用画像の基準マークの位置と画像の大きさを推定する概略マーク位置測定部と；
前記第１の校正用画像に撮影された校正用の基準マークの位置情報に基づき、前記第１の校正用画像から切出し、寸法を変更したテンプレート画像を用いた相関処理により、前記第２の校正用画像に撮影された前記第２マークの位置を求める精密マーク位置測定部と；
前記第１及び第２の校正用画像に撮影された校正用の基準マークの座標値に基づき、セルフキャリブレーション付きバンドル調整法を用いて、前記被校正撮影装置の前記第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する補正係数算出部とを備え；
前記第１マークの中には、前記第２マークが形成されている、
ズームレンズのキャリブレーション装置。 An area in which a reference mark including a first mark for calibration used for coarse alignment and a second mark for calibration used for finer alignment than the first mark is arranged as a first focal length and the first The first calibration image captured at the first focal length and the second image captured at the second focal length by the calibrated imaging apparatus that can be set to a second focal length different from the focal length of An image acquisition unit for acquiring a calibration image;
An approximate position of the second mark is obtained by projective transformation based on position information of the first mark photographed in the first calibration image and three-dimensional position information of the first mark and the second mark. Based on the position information of the calibration reference mark photographed in the first calibration image and the zoom ratio of the first focal length and the second focal length, the second calibration image An approximate mark position measuring unit for estimating the position of the reference mark and the size of the image ;
Based on the first position information of the reference mark for calibration is photographed calibration image, cut out from the first calibration image, the correlation process using the template image to change the size, the second calibration A precision mark position measuring unit for obtaining the position of the second mark photographed in the image for use ;
Based on said first and coordinate values of the reference marks for photographed calibration to the second calibration image, using a bundle adjustment method with self-calibration, the first and second of the to be calibrated imaging apparatus A correction coefficient calculation unit for calculating a calibration correction coefficient for the focal length ;
The second mark is formed in the first mark,
Zoom lens calibration device.
前記基準マーク推論部は；
前記第１の校正用画像に撮影された校正用の基準マークと、前記第２の校正用画像に撮影された校正用の基準マークとが一致する基準マーク群を抽出する重複基準マーク抽出部と；
前記第２の校正用画像の基準マーク画像中から、前記第１の校正用画像に対応する基準マークの存在しない追加基準マークを抽出して、前記基準マーク位置情報データベース部を参照して、当該追加基準マークに関する三次元位置情報を読み出す追加基準マーク位置情報抽出部と；
を備える請求項１又は請求項２に記載のズームレンズのキャリブレーション装置。 The zoom lens calibration apparatus includes a reference mark position information database unit and a reference mark inference unit in which three-dimensional position information of the reference mark is stored in an area where the reference mark for calibration is arranged;
The fiducial mark reasoning unit is;
A reference mark for calibration is photographed in the first calibration image, and overlaps the reference mark extracting part for extracting a reference mark group and the reference mark coincide for the second calibration taken in the calibration image ;
An additional reference mark that does not have a reference mark corresponding to the first calibration image is extracted from the reference mark image of the second calibration image, and the reference mark position information database unit is referred to. An additional reference mark position information extraction unit that reads out three-dimensional position information related to the additional reference mark;
The zoom lens calibration apparatus according to claim 1, further comprising:
前記撮影部で画像が撮影された際の可変焦点距離の撮影レンズの焦点距離に対応した、キャリブレーション補正係数によって、撮影画像を画像補正する画像補正部と；
を備えることを特徴とする請求項１乃至請求項５の何れか１項に記載のズームレンズのキャリブレーション装置。 And an imaging unit including a variable focal length lens;
An image correction unit that corrects a captured image with a calibration correction coefficient corresponding to a focal length of a photographic lens having a variable focal length when the image is captured by the imaging unit;
The zoom lens calibration apparatus according to claim 1, comprising: a zoom lens calibration apparatus according to claim 1.
前記第１の校正用画像に撮影された前記第１マークの位置情報と、前記第１マークと前記第２マークの三次元位置情報に基づき、射影変換により、前記第２マークの概略位置を求め、前記第１の校正用画像に撮影された校正用の基準マークの位置情報と、前記第１の焦点距離と前記第２の焦点距離のズーム比に基づいて、前記第２の校正用画像の基準マークの位置と画像の大きさを推定する工程と；
前記第１の校正用画像に撮影された校正用の基準マークの位置情報に基づき、前記第１の校正用画像から切出し、寸法を変更したテンプレート画像を用いた相関処理により、前記第２の校正用画像に撮影された前記第２マークの位置を求める工程と；
前記第１及び第２の校正用画像に撮影された校正用の基準マークの座標値に基づき、セルフキャリブレーション付きバンドル調整法を用いて、前記被校正撮影装置の前記第１及び第２の焦点距離に対するキャリブレーション補正係数を算出する工程とを備え；
前記第１マークの中には、前記第２マークが形成されている、
ズームレンズのキャリブレーション方法。 An area in which a reference mark including a first mark for calibration used for coarse alignment and a second mark for calibration used for finer alignment than the first mark is arranged as a first focal length and the first The first calibration image captured at the first focal length and the second image captured at the second focal length by the calibrated imaging apparatus that can be set to a second focal length different from the focal length of Obtaining a calibration image;
An approximate position of the second mark is obtained by projective transformation based on position information of the first mark photographed in the first calibration image and three-dimensional position information of the first mark and the second mark. Based on the position information of the calibration reference mark photographed in the first calibration image and the zoom ratio of the first focal length and the second focal length, the second calibration image Estimating the position of the reference mark and the size of the image ;
Based on the first position information of the reference mark for calibration is photographed calibration image, cut out from the first calibration image, the correlation process using the template image to change the size, the second calibration Obtaining a position of the second mark photographed in the image for use ;
Based on said first and coordinate values of the reference marks for photographed calibration to the second calibration image, using a bundle adjustment method with self-calibration, the first and second of the to be calibrated imaging apparatus Calculating a calibration correction factor for the focal length ;
The second mark is formed in the first mark,
Zoom lens calibration method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004165543A JP4536428B2 (en) | 2003-06-03 | 2004-06-03 | Zoom lens calibration apparatus, calibration method, and imaging apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003158393 | 2003-06-03 | ||
| JP2004165543A JP4536428B2 (en) | 2003-06-03 | 2004-06-03 | Zoom lens calibration apparatus, calibration method, and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005017288A JP2005017288A (en) | 2005-01-20 |
| JP4536428B2 true JP4536428B2 (en) | 2010-09-01 |
Family
ID=34196696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004165543A Expired - Fee Related JP4536428B2 (en) | 2003-06-03 | 2004-06-03 | Zoom lens calibration apparatus, calibration method, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4536428B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019236208A1 (en) * | 2018-06-04 | 2019-12-12 | Waymo Llc | Multistage camera calibration |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8052598B2 (en) * | 2006-10-12 | 2011-11-08 | General Electric Company | Systems and methods for calibrating an endoscope |
| JP2008203214A (en) * | 2007-02-22 | 2008-09-04 | Taiko Denki Co Ltd | Work deformation/distortion detecting method |
| JP5527710B2 (en) * | 2009-10-19 | 2014-06-25 | 東京電力株式会社 | Calibration data acquisition apparatus and computer program |
| WO2016076400A1 (en) | 2014-11-13 | 2016-05-19 | オリンパス株式会社 | Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10320558A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium |
| JPH11307567A (en) * | 1998-02-20 | 1999-11-05 | Fujitsu Ltd | Manufacture of semiconductor device containing bump inspection process |
| JP2000020696A (en) * | 1998-07-03 | 2000-01-21 | Toshiba Iyo System Engineering Kk | Medical image compositing apparatus |
| JP2001264037A (en) * | 2000-03-22 | 2001-09-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for calibrating camera, and storage medium stored with camera calibration program |
-
2004
- 2004-06-03 JP JP2004165543A patent/JP4536428B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10320558A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium |
| JPH11307567A (en) * | 1998-02-20 | 1999-11-05 | Fujitsu Ltd | Manufacture of semiconductor device containing bump inspection process |
| JP2000020696A (en) * | 1998-07-03 | 2000-01-21 | Toshiba Iyo System Engineering Kk | Medical image compositing apparatus |
| JP2001264037A (en) * | 2000-03-22 | 2001-09-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for calibrating camera, and storage medium stored with camera calibration program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019236208A1 (en) * | 2018-06-04 | 2019-12-12 | Waymo Llc | Multistage camera calibration |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005017288A (en) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4307934B2 (en) | Imaging apparatus and method with image correction function, and imaging apparatus and method | |
| JP4224260B2 (en) | Calibration apparatus, method, result diagnosis apparatus, and calibration chart | |
| JP4147059B2 (en) | Calibration data measuring device, measuring method and measuring program, computer-readable recording medium, and image data processing device | |
| JP4270949B2 (en) | Calibration chart image display device, calibration device, and calibration method | |
| JP4979928B2 (en) | Three-dimensional shape calculation device and three-dimensional shape calculation method | |
| US7349580B2 (en) | Apparatus and method for calibrating zoom lens | |
| JP2004110479A (en) | Picture calibration method, picture calibration processor, and picture calibration processing terminal | |
| US7177013B2 (en) | Ranging apparatus, ranging method, and ranging program | |
| CN113920206B (en) | Calibration method of perspective tilt-shift camera | |
| CN110736447B (en) | Vertical-direction horizontal position calibration method for integrated image acquisition equipment | |
| JP4764896B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| JP3696336B2 (en) | How to calibrate the camera | |
| JP4536428B2 (en) | Zoom lens calibration apparatus, calibration method, and imaging apparatus | |
| JP4166988B2 (en) | Stereo image processing apparatus and method | |
| KR100808536B1 (en) | Method for calibration using by pattern image | |
| JPH04172213A (en) | Calibrating method for three-dimensional shape measuring apparatus | |
| JP3696335B2 (en) | Method for associating each measurement point of multiple images | |
| JPH09210649A (en) | Three dimensional measurement device | |
| JP2006010613A (en) | Correcting method of image distortion | |
| JP2004340753A (en) | Calibration chart image display device | |
| JPH10318715A (en) | Image measuring apparatus | |
| CN112964189B (en) | Measurement method for quasi-static stress deformation in large view field plane | |
| JP2006059270A (en) | Method for correcting distortion of image | |
| RU2808083C1 (en) | Photogrammetric calibration method for estimating the ratios of radial and tangential lens distortion and the matrix of internal parameters of the camera | |
| JP4166451B2 (en) | Two image matching device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4536428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |