JP2003307466A - Apparatus, method and chart for calibration as well as result diagnostic device - Google Patents
Apparatus, method and chart for calibration as well as result diagnostic deviceInfo
- Publication number
- JP2003307466A JP2003307466A JP2002195059A JP2002195059A JP2003307466A JP 2003307466 A JP2003307466 A JP 2003307466A JP 2002195059 A JP2002195059 A JP 2002195059A JP 2002195059 A JP2002195059 A JP 2002195059A JP 2003307466 A JP2003307466 A JP 2003307466A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- calibration
- image
- chart
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、カメラやデジタルカメ
ラ等で撮影された画像のレンズ収差を補正する場合や画
像により計測を行うのに用いられるキャリブレーション
装置及び方法に関し、特にカメラの内部パラメータ｛例
えば、レンズの主点位置、画面距離（焦点距離）、歪曲
パラメータ等｝を簡易に測定できるキャリブレーション
装置及び方法に関する。また、本発明は、カメラの内部
パラメータを簡易に測定するためのキャリブレーション
装置やキャリブレーション方法に用いて好適な、平面的
なキャリブレーション用チャートに関する。また、本発
明は、平面的なキャリブレーション用チャートを用いて
カメラの内部パラメータを簡易に測定した場合に、測定
された内部パラメータが適切な値か判断するキャリブレ
ーション結果診断装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a calibration device and method used for correcting lens aberration of an image taken by a camera, a digital camera or the like, or for making a measurement with the image, and more particularly to an internal parameter of the camera. The present invention relates to a calibration device and method capable of easily measuring {principal point position of lens, screen distance (focal length), distortion parameter, etc.}. The present invention also relates to a planar calibration chart suitable for use in a calibration device and a calibration method for easily measuring internal parameters of a camera. Further, the present invention relates to a calibration result diagnosis device that determines whether the measured internal parameter is an appropriate value when the internal parameter of the camera is simply measured using a planar calibration chart.
【０００２】[0002]
【従来の技術】従来から、写真測量や写真計測の分野で
は、収差の少ない画像を得ることが重要である。そこ
で、写真測量や写真計測の分野では、撮影用カメラのレ
ンズとして収差が少ない高精度のレンズを使用してい
る。さらに、写真測量分野では、精密に計測された３次
元上に配置された多数の点を複数方向から計測すること
により、カメラの内部パラメータ（主点位置、画面距
離、歪曲パラメータ）を解析的に求めている。また、写
真計測の分野で用いられる計測用カメラの場合は、製作
されたカメラを精密に計測することにより、カメラの内
部パラメータを求めている。2. Description of the Related Art Conventionally, in the field of photogrammetry and photometry, it is important to obtain an image with little aberration. Therefore, in the field of photogrammetry and photo measurement, high-precision lenses with few aberrations are used as lenses for photographing cameras. Furthermore, in the field of photogrammetry, by measuring a large number of precisely arranged three-dimensional points from multiple directions, the internal parameters of the camera (principal point position, screen distance, distortion parameters) can be analyzed analytically. Looking for. Further, in the case of a measurement camera used in the field of photo measurement, the manufactured camera is precisely measured to obtain the internal parameter of the camera.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、写真測
量分野のように精密に計測された３次元上の測定点を撮
影計測して、カメラ内部パラメータを求める方法では、
以下の課題がある。３次元上に測定点（ターゲット）
が配置されている。そこで、複数方向から撮影すると死
角が生じて、画像間でみえないターゲットが生じる。
撮影された画像において、３次元上の測定点相互の位置
関係に逆転が生じる場合があり、測定点の計測や各画像
間の対応付けが困難で、自動化できない。そこで、相
当の熟練をした作業員により、測定点の計測や各画像間
の対応付けを行っている。すると、カメラの内部パラメ
ータを得るために、高額のコストと長時間の作業が必要
となってくる。また、製作された計測用カメラを精密に
計測する方法も、専用の冶工具が必要なだけでなく、熟
練を要し特殊な設備のある機関でしか計測できず、計測
専用カメラとして高価になるという課題がある。However, in the method of photographing and measuring the three-dimensionally precisely measured points as in the field of photogrammetry to obtain the internal parameters of the camera,
There are the following issues. Measurement points (target) on three dimensions
Are arranged. Therefore, when shooting from a plurality of directions, a blind spot occurs, and a target that cannot be seen between the images occurs.
In the photographed image, the positional relationship between the three-dimensional measurement points may be reversed, and it is difficult to measure the measurement points and associate each image, and automation cannot be performed. Therefore, a highly skilled worker measures the measurement points and associates the images. Then, in order to obtain the internal parameters of the camera, a high cost and a long working time are required. In addition, the method of precisely measuring the manufactured measurement camera not only requires special jigs and tools, but it can be measured only by an organization that requires skill and has special equipment, which makes it expensive as a dedicated measurement camera. There is a problem.
【０００４】そこで、近年では、３次元上の測定点に代
わるものとして、シートに印刷された２次元の測定点を
計ることにより、レンズ収差を計測するキャリブレーシ
ョン方式が提案されている。しかし、シートに印刷され
た測定点を計測することによりレンズ収差を求める方法
は、測定点が２次元状に配置されているために、計測で
きるパラメータがレンズ収差に限られている為、レンズ
の焦点距離が測定できないという課題がある。レンズの
焦点距離は、立体視できる画像の組を用いて３次元計測
を行う場合に必要なパラメータである。また、２次元の
測定点を用いてレンズの焦点距離を算出する計算式も存
在しているが、精度が不安定で、レンズの焦点距離を安
定して正確に計測することが困難であるという課題があ
った。Therefore, in recent years, as an alternative to three-dimensional measurement points, a calibration method has been proposed which measures lens aberrations by measuring two-dimensional measurement points printed on a sheet. However, in the method of obtaining the lens aberration by measuring the measurement points printed on the sheet, since the measurement points are arranged two-dimensionally, the measurable parameter is limited to the lens aberration. There is a problem that the focal length cannot be measured. The focal length of the lens is a parameter required when performing three-dimensional measurement using a set of images that can be viewed stereoscopically. There is also a calculation formula for calculating the focal length of a lens by using a two-dimensional measurement point, but the accuracy is unstable, and it is difficult to measure the focal length of the lens stably and accurately. There were challenges.
【０００５】さらに、シートに印刷された２次元の測定
点を撮影して、立体視できる画像の組を撮影するレンズ
のレンズ収差を計測した場合に、測定された各種パラメ
ータにキャリブレーションに過誤が発生している場合が
ある。しかし、キャリブレーションの過誤を発見するこ
とは、２次元の測定点を印刷したシートを用いたのでは
困難であるという課題があった。Further, when the lens aberration of the lens for photographing the set of images that can be viewed stereoscopically is measured by photographing the two-dimensional measurement points printed on the sheet, the measured various parameters are erroneous in calibration. It may have occurred. However, there is a problem in that it is difficult to find a calibration error by using a sheet on which two-dimensional measurement points are printed.
【０００６】本発明の第１の目的は、上述する課題を解
決したもので、汎用のカメラやデジタルカメラにおい
て、レンズ収差を補正するのに必要な内部パラメータを
簡便に測定できるキャリブレーション装置及びキャリブ
レーション方法を提供することである。また、本発明の
第２の目的は、カメラの内部パラメータを簡易に測定す
るためのキャリブレーション装置やキャリブレーション
方法に用いて好適な、平面的なキャリブレーション用チ
ャートを提供することである。また、本発明の第３の目
的は、平面的なキャリブレーション用チャートを用いて
カメラの内部パラメータを簡易に測定した場合に、測定
された内部パラメータに過誤があるか判断するキャリブ
レーション結果診断装置を提供することである。A first object of the present invention is to solve the above-mentioned problems, and in a general-purpose camera or digital camera, a calibration device and a calibration device which can easily measure internal parameters necessary for correcting lens aberrations. It is to provide a method of application. A second object of the present invention is to provide a planar calibration chart suitable for use in a calibration device and a calibration method for easily measuring internal parameters of a camera. A third object of the present invention is to provide a calibration result diagnosing device for determining whether or not there is an error in the measured internal parameter when the internal parameter of the camera is simply measured using a planar calibration chart. Is to provide.
【０００７】[0007]
【課題を解決するための手段】本発明のキャリブレーシ
ョン装置は、第１の目的を達成するもので、図１及び図
２に示すように、少なくとも３箇所以上設けられた第１
マークと、該第１マークに対して外観上識別可能に設け
られた第２マークを有するキャリブレーション用チャー
ト１を、キャリブレーションを行うカメラ２で、少なく
とも２方向から撮影したキャリブレーション用画像から
第１マークを抽出する抽出部４と、抽出部４にて抽出さ
れた第１マークを用いた射影変換により、前記キャリブ
レーション用画像における前記第２マークの概略位置を
もとめる概略マーク位置測定部５と、前記キャリブレー
ション用画像に対して、前記第２マークの概略位置近傍
で前記第２マーク位置の撮影されている位置を求める精
密マーク位置測定部６と、キャリブレーション用チャー
ト１における第２マークの位置と、この第２マークに対
応する前記キャリブレーション用画像における第２マー
クの位置から、前記レンズのキャリブレーション要素を
算出する演算処理部７とを備えている。The calibration device of the present invention achieves the first object, and as shown in FIGS. 1 and 2, the first calibration device is provided in at least three locations.
A calibration chart 1 having a mark and a second mark that is provided so as to be visually distinguishable from the first mark is used to measure a calibration chart 1 taken from at least two directions by a camera 2 for performing calibration. An extraction unit 4 for extracting one mark; and a rough mark position measurement unit 5 for obtaining a rough position of the second mark in the calibration image by projective transformation using the first mark extracted by the extraction unit 4. , A precision mark position measuring unit 6 for obtaining a photographed position of the second mark position in the vicinity of the approximate position of the second mark with respect to the calibration image, and a second mark of the second mark in the calibration chart 1. From the position and the position of the second mark in the calibration image corresponding to the second mark, And a processing unit 7 that calculates the calibration elements of the lens.
【０００８】このように構成された装置においては、キ
ャリブレーションを行うカメラ２で、少なくとも３箇所
以上設けられた第１マークと、該第１マークに対して外
観上識別可能に設けられた第２マークを有するキャリブ
レーション用チャート１を少なくとも２方向から撮影し
たキャリブレーション用画像を用意する。抽出部４は、
キャリブレーション用画像から第１マークを抽出する。
概略マーク位置測定部５は、第１マークを用いた射影変
換により、キャリブレーション用画像における前記第２
マークの概略位置を求める。精密マーク位置測定部６
は、第２マークの概略位置近傍で第２マーク位置の撮影
されている位置を求める。レンズ収差の影響は第２マー
ク位置毎に違うため、概略マーク位置測定部５で概算さ
れた位置と現実のキャリブレーション用画像上の位置と
に違いを生じるためである。演算処理部７は、キャリブ
レーション用チャート１における第２マークの位置と、
この第２マークに対応するキャリブレーション用画像に
おける第２マークの位置から、レンズのキャリブレーシ
ョン要素を算出する。このキャリブレーション要素を用
いるとカメラ２に対するレンズ収差補償を含んだキャリ
ブレーションが行える。In the apparatus configured as described above, in the camera 2 for calibrating, at least three first marks are provided, and a second mark provided so as to be visually distinguishable from the first marks. A calibration image obtained by photographing the calibration chart 1 having marks from at least two directions is prepared. The extraction unit 4
The first mark is extracted from the calibration image.
The rough mark position measuring unit 5 uses the first mark to perform the second transformation in the calibration image by projective transformation.
Find the approximate position of the mark. Precision mark position measurement unit 6
Determines the position where the second mark position is photographed in the vicinity of the approximate position of the second mark. This is because the influence of the lens aberration is different for each second mark position, and thus the position estimated by the rough mark position measuring unit 5 and the actual position on the calibration image are different. The arithmetic processing unit 7 determines the position of the second mark in the calibration chart 1,
The calibration element of the lens is calculated from the position of the second mark in the calibration image corresponding to this second mark. By using this calibration element, calibration including lens aberration compensation for the camera 2 can be performed.
【０００９】好ましくは、本発明の概略マーク位置測定
部２は、射影変換により第２マークの概略位置を求める
ように構成されていると、第２マークの概略位置が射影
変換によって簡単に求められる。なお、カメラ２のレン
ズ収差は、概略マーク位置測定部５で概算された位置と
現実のキャリブレーション用画像上の位置との違いとし
て現れる。Preferably, when the rough mark position measuring unit 2 of the present invention is configured to obtain the rough position of the second mark by projective transformation, the rough position of the second mark can be easily obtained by projective transformation. . The lens aberration of the camera 2 appears as a difference between the position estimated by the approximate mark position measuring unit 5 and the actual position on the calibration image.
【００１０】好ましくは、本発明の精密マーク位置測定
部６は、テンプレートマッチング又は重心位置検出の少
なくとも一方を用いて、第２マーク位置を決定するよう
に構成されているとよい。第２マークが不定形の形状で
あったり、キャリブレーション用画像上で不鮮明に写っ
ている場合には、第２マークの重心位置を用いること
で、第２マーク位置が安定して正確に得られる。Preferably, the precision mark position measuring unit 6 of the present invention is configured to determine the second mark position by using at least one of template matching and barycentric position detection. When the second mark has an irregular shape or is unclearly shown in the calibration image, the position of the center of gravity of the second mark is used to stably and accurately obtain the second mark position. .
【００１１】好ましくは、本発明の演算処理部７は、キ
ャリブレーション用チャート１における第２マークの位
置と、この第２マークに対応する前記キャリブレーショ
ン用画像における第２マークの位置から、当該第２マー
クにおけるディストーションを演算するように構成され
ているとよい。ここで、ディストーションとは結像位置
の偏差、レンズに現れるザイデルの５収差等による歪で
ある。Preferably, the arithmetic processing unit 7 of the present invention determines the position of the second mark in the calibration chart 1 and the position of the second mark in the calibration image corresponding to the second mark from the position of the second mark. It may be configured to calculate the distortion at the two marks. Here, the distortion is a distortion due to a deviation of an image forming position, Seidel's 5 aberrations appearing in a lens, and the like.
【００１２】好ましくは、本発明の演算処理部７は、前
記レンズのキャリブレーション要素を算出する際に、精
密マーク位置測定部によって位置が算出された第２マー
クのうち適切な第２マークを選択するように選択するよ
うに構成されているとよい。この第２マークの選択に
は、例えばバンドル調整法を用いるのが良い。バンドル
調整法によれば、各撮影位置のカメラの外部標定要素を
求めることと、第２マークの位置が適切なものと不適切
なものとの分別を同時に行うことが可能となる。Preferably, the arithmetic processing unit 7 of the present invention selects an appropriate second mark from the second marks whose positions have been calculated by the precision mark position measuring unit when calculating the calibration element of the lens. And may be configured to choose to do so. For selecting the second mark, for example, a bundle adjustment method may be used. According to the bundle adjustment method, it is possible to obtain the external orientation element of the camera at each photographing position and to distinguish between the appropriate second mark position and the inappropriate second mark position.
【００１３】好ましくは、本発明のキャリブレーション
要素は、前記レンズの焦点距離、主点位置、前記レンズ
の歪曲パラメータの少なくとも一つを含むように構成さ
れているとよい。当該第２マークにおけるディストーシ
ョンに寄与するのは、レンズの焦点距離、主点位置、或
いはレンズの歪曲パラメータであるためである。Preferably, the calibration element of the present invention is configured to include at least one of a focal length of the lens, a principal point position, and a distortion parameter of the lens. It is the focal length of the lens, the position of the principal point, or the distortion parameter of the lens that contributes to the distortion at the second mark.
【００１４】好ましくは、本発明のキャリブレーション
装置は、さらに演算処理部７で求めたキャリブレーショ
ン要素に基づき、キャリブレーションを行うカメラで撮
影された画像を前記レンズ収差を補償した画像に修正す
る画像処理部８を有するように構成されているとよい。
画像処理部８を設けると、カメラで撮影する画像から、
レンズ収差の影響を除去でき、特に立体視用写真のよう
に僅かの像位置の歪みが大きな標高誤差として現れる分
野に用いて好適である。Preferably, the calibration device of the present invention further corrects an image captured by a camera for calibration into an image in which the lens aberration is compensated, based on the calibration element obtained by the arithmetic processing unit 7. It may be configured to include the processing unit 8.
When the image processing unit 8 is provided, from the image taken by the camera,
It is suitable for use in a field where the influence of lens aberration can be removed, and in particular, in a field where a slight distortion of the image position appears as a large elevation error, such as in a stereoscopic photograph.
【００１５】好ましくは、本発明のキャリブレーション
装置は、さらにキャリブレーション要素又は前記第２マ
ークにおけるディストーションを表示する表示部９を有
するように構成されているとよい。表示部９を設ける
と、操作者にとって演算結果の良否が直感的に判断で
き、便利である。Preferably, the calibration device of the present invention may further be configured to have a display unit 9 for displaying the calibration element or the distortion at the second mark. Providing the display unit 9 is convenient because the operator can intuitively judge the quality of the calculation result.
【００１６】本発明のキャリブレーション方法は、第１
の目的を達成するもので、図７に示すように、少なくと
も３箇所以上設けられた第１マークと、該第１マークに
対して外観上識別可能に設けられた第２マークを有する
キャリブレーション用チャート１を、キャリブレーショ
ンを行うカメラで、少なくとも２方向から撮影したキャ
リブレーション用画像から第１マークを抽出する第１ス
テップ（Ｓ４０）と、前記抽出された第１マークから射
影変換により、前記キャリブレーション用画像における
前記第２マークの概略位置を求める第２ステップ（Ｓ５
０）と、前記キャリブレーション用画像に対して、第２
マークの概略位置近傍で第２マーク位置を正確に求める
第３ステップ（Ｓ６０）と、キャリブレーション用チャ
ート１における第２マークの位置と、この第２マークに
対応する前記キャリブレーション用画像における第２マ
ークの位置から、前記レンズのキャリブレーション要素
を算出する第４ステップ（Ｓ９０）とを有する。The calibration method of the present invention is the first
As shown in FIG. 7, a calibration mark having at least three or more first marks and a second mark visually distinguishable from the first marks. The chart 1 is calibrated by a first step (S40) of extracting a first mark from a calibration image captured from at least two directions by a camera that performs calibration, and a projective transformation from the extracted first mark. Second step (S5) of obtaining the approximate position of the second mark in the image for operation.
0) and the second for the calibration image.
The third step (S60) of accurately determining the position of the second mark near the approximate position of the mark, the position of the second mark in the calibration chart 1, and the second position in the calibration image corresponding to this second mark. A fourth step (S90) of calculating the calibration element of the lens from the position of the mark.
【００１７】好ましくは、本発明のキャリブレーション
方法において、例えば図５に示すように、レンズは各種
レンズ（広角レンズ、標準レンズ、望遠レンズ）であ
り、キャリブレーション用チャート１には、相互に所定
距離だけ離れた前記第１マークが設けられており、前記
レンズによりキャリブレーション用チャート１を撮影す
る際の撮影方向が、前記レンズの焦点距離を正確に算出
できる角度として選定されるとよい。Preferably, in the calibration method of the present invention, the lenses are various lenses (wide-angle lens, standard lens, telephoto lens) as shown in, for example, FIG. It is preferable that the first mark that is separated by a distance is provided, and the shooting direction when shooting the calibration chart 1 by the lens is selected as an angle at which the focal length of the lens can be accurately calculated.
【００１８】好ましくは、本発明のキャリブレーション
方法において、例えば図５（Ａ）、図６に示すように、
さらに各種レンズの撮影方向は、前記第１マークの一つ
（Ｉ）を正面として撮影する第１の撮影方向と、前記第
１マークと前記所定距離ｄだけ離れた他の第１マーク
（II,III,IV,V）を正面にカメラ位置を設けて、且つ前
記レンズの撮影方向を前記第１マーク（Ｉ）に前記レン
ズの光軸が向くようにする第２の撮影方向とを含むと、
カメラ２に所望の角度を正確に付することができ、高さ
（奥行き）方向の変化を確実にし、焦点距離を正確に算
出できる。Preferably, in the calibration method of the present invention, as shown in, for example, FIG.
Further, the shooting directions of the various lenses include a first shooting direction in which one of the first marks (I) is taken in front and another first mark (II, II, which is separated from the first mark by the predetermined distance d). III, IV, V) is provided with a camera position in the front, and a second photographing direction in which the optical axis of the lens is oriented to the first mark (I) with respect to the photographing direction of the lens,
It is possible to accurately attach a desired angle to the camera 2, ensure changes in the height (depth) direction, and accurately calculate the focal length.
【００１９】好ましくは、本発明のキャリブレーション
方法において、例えば図５（Ｂ）に示すように、前記レ
ンズは標準レンズ又は望遠レンズであり、キャリブレー
ション用チャート１には、相互に所定距離だけ離れた前
記第１マークが設けられており、前記レンズによるキャ
リブレーション用チャート１を撮影する位置として、前
記第１マークの一つとしての正面（Ｉ）の位置を基準と
して、前記レンズとキャリブレーション用チャート１と
の撮影距離（Ｈ）の略１／３程度の間隔（Ｈ／３）があ
る、他の第１マークに対向する位置（II,III,IV,V）を
選定する。そして、前記第１マークの一つとしての正面
（Ｉ）を第１の撮影方向とし、他の第１マークの撮影位
置（II,III,IV,V）において、それぞれ第１マーク（１
ｅ）を向いた方向を第２乃至第５の撮影方向として撮影
するとよい。In the calibration method of the present invention, preferably, the lens is a standard lens or a telephoto lens, as shown in FIG. 5B, and the calibration chart 1 is separated from each other by a predetermined distance. The first mark is provided, and the calibration chart 1 for the lens is photographed with the lens and the calibration chart with reference to the front (I) position as one of the first marks. The positions (II, III, IV, V) facing the other first marks, which have an interval (H / 3) of about 1/3 of the photographing distance (H) with the chart 1, are selected. Then, the front surface (I) as one of the first marks is set as the first shooting direction, and the first marks (1) are set at the shooting positions (II, III, IV, V) of the other first marks, respectively.
It is advisable to shoot with the direction facing e) as the second to fifth shooting directions.
【００２０】本発明のキャリブレーション用チャート１
は、第２の目的を達成するもので、図２に示すように、
少なくとも３箇所以上設けられた第１マークと、該第１
マークに対して外観上識別可能に設けられた第２マーク
を有するキャリブレーション用チャートであって、カメ
ラのキャリブレーションに使用される。カメラのキャリ
ブレーションとしては、例えば請求項１ないし請求項８
の何れか１項に記載のキャリブレーション装置や、請求
項９ないし請求項１２の何れか１項に記載のキャリブレ
ーション方法がある。好ましくは、第１マーク及び第２
マークは、略平面上に形成されると、キャリブレーショ
ン用チャートの取扱いが容易になる。好ましくは、第１
マークと第２マークは、平面型ディスプレイ（例えば液
晶ディスプレイ）に表示される画像に表示される構成と
すると、平面型ディスプレイはシートに比較して伸縮性
が極めて小さいため、第１マークと第２マークが平面型
ディスプレイに正確に表示される。Calibration chart 1 of the present invention
Achieves the second purpose, and as shown in FIG.
A first mark provided at least at three or more places, and the first mark
It is a calibration chart having a second mark provided so as to be visually distinguishable from the mark, and is used for camera calibration. As the calibration of the camera, for example, claims 1 to 8
There is a calibration device according to any one of claims 1 to 9 and a calibration method according to any one of claims 9 to 12. Preferably, the first mark and the second mark
When the mark is formed on a substantially flat surface, the calibration chart can be easily handled. Preferably the first
If the mark and the second mark are configured to be displayed on an image displayed on a flat panel display (for example, a liquid crystal display), since the flat panel display has extremely small elasticity compared to a sheet, the first mark and the second mark The mark is accurately displayed on the flat panel display.
【００２１】本発明のキャリブレーション結果診断装置
は、第３の目的を達成するもので、例えば図１１に示す
ように、キャリブレーション要素の測定時に用いたカメ
ラ２２により、立体的に基準点が配置された立体基準チ
ャート２０をステレオ撮影した基準ステレオ画像座標デ
ータを読込むターゲット位置測定手段２６と、前記キャ
リブレーション要素を用いて前記基準ステレオ画像座標
データの標定演算を行い、前記基準点のモデル座標値又
は三次元座標値を求める演算処理手段３０と、前記基準
点のモデル座標値又は三次元座標値と、立体基準チャー
ト２０における基準点の座標値とを比較して、前記キャ
リブレーション要素の適否判断を行うキャリブレーショ
ン判定部３４とを備える。The calibration result diagnosing device of the present invention achieves the third object. For example, as shown in FIG. 11, a camera 22 used at the time of measuring a calibration element allows three-dimensional reference points to be arranged. The target position measuring means 26 for reading the reference stereo image coordinate data obtained by stereo-photographing the stereoscopic reference chart 20 thus obtained, and the orientation calculation of the reference stereo image coordinate data using the calibration element, and the model coordinate of the reference point. Whether or not the calibration element is suitable by comparing the arithmetic processing unit 30 for obtaining the value or the three-dimensional coordinate value, the model coordinate value or the three-dimensional coordinate value of the reference point, and the coordinate value of the reference point in the three-dimensional reference chart 20. And a calibration determination unit 34 that makes a determination.
【００２２】このように構成された装置においては、タ
ーゲット位置測定手段２６により基準ステレオ画像座標
データを読込む。基準ステレオ画像座標データは、キャ
リブレーション要素の測定時に用いたカメラ２２によ
り、立体的に基準点が配置された立体基準チャート２０
をステレオ撮影した基準ステレオ画像データから、基準
点の座標位置データを取得したものである。演算処理手
段３０は、キャリブレーション要素を用いて前記基準ス
テレオ画像座標データの標定演算を行い、前記基準点の
モデル座標値又は三次元座標値を求める。モデル座標値
とは、立体基準チャート２０を基準とする座標系の座標
値である。三次元座標値とは、絶対標定が行われた場合
の基準座標系での座標値である。キャリブレーション判
定部３４は、基準点のモデル座標値又は三次元座標値
と、立体基準チャート２０における基準点の座標値とを
比較して、キャリブレーション要素の適否判断を行う。
立体基準チャート２０における基準点の座標値は、立体
基準チャート２０を基準とする座標系、又は三次元座標
値に適合させる。立体基準チャート２０における基準点
の座標値は、例えば立体基準チャートターゲット記憶部
３２に記憶されている。In the apparatus thus constructed, the reference stereo image coordinate data is read by the target position measuring means 26. The reference stereo image coordinate data is the stereo reference chart 20 in which the reference points are three-dimensionally arranged by the camera 22 used when measuring the calibration element.
The coordinate position data of the reference point is acquired from the reference stereo image data obtained by performing the stereo photography of. The arithmetic processing means 30 performs the orientation calculation of the reference stereo image coordinate data using the calibration element to obtain the model coordinate value or the three-dimensional coordinate value of the reference point. The model coordinate value is a coordinate value of a coordinate system based on the stereoscopic reference chart 20. The three-dimensional coordinate value is a coordinate value in the reference coordinate system when absolute orientation is performed. The calibration determination unit 34 compares the model coordinate value or the three-dimensional coordinate value of the reference point with the coordinate value of the reference point in the three-dimensional reference chart 20 to determine the suitability of the calibration element.
The coordinate value of the reference point on the three-dimensional reference chart 20 is adapted to the coordinate system based on the three-dimensional reference chart 20 or a three-dimensional coordinate value. The coordinate value of the reference point in the stereoscopic reference chart 20 is stored in, for example, the stereoscopic reference chart target storage unit 32.
【００２３】本発明のキャリブレーション結果診断装置
は、第３の目的を達成するもので、例えば図１４に示す
ように、キャリブレーション要素の測定時に用いたカメ
ラ２２により、立体的に基準点が配置された立体基準チ
ャート２０をステレオ撮影した基準ステレオ画像データ
を読込んで、基準ステレオ画像データ中の前記基準点の
画像位置を測定するターゲット位置測定手段２６と、前
記キャリブレーション要素を用いて前記基準ステレオ画
像データの標定演算を行い、前記基準点のモデル座標値
又は三次元座標値を求める演算処理手段３０と、前記基
準ステレオ画像データと共に用意された基準キャリブレ
ーション要素を用いて、前記基準ステレオ画像データの
標定演算を行い、前記基準点のモデル座標値又は三次元
座標値を求める基準演算処理手段３１と、演算処理手段
３０で演算された基準点のモデル座標値又は三次元座標
値と、基準演算処理手段３１で演算された基準点のモデ
ル座標値又は三次元座標値とを比較して、前記キャリブ
レーション要素の適否判断を行うキャリブレーション判
定部３４とを備えている。The calibration result diagnosing apparatus of the present invention achieves the third object. For example, as shown in FIG. 14, the camera 22 used at the time of measuring the calibration element arranges the reference points in three dimensions. The reference stereo image data obtained by stereo-photographing the stereoscopic reference chart 20 is read, and the target position measuring means 26 for measuring the image position of the reference point in the reference stereo image data, and the reference stereo using the calibration element. The reference stereo image data is obtained by using an arithmetic processing unit 30 that performs the orientation calculation of the image data and obtains the model coordinate value or the three-dimensional coordinate value of the reference point, and the reference calibration element prepared together with the reference stereo image data. Is used to calculate the model coordinate value or three-dimensional coordinate value of the reference point. The calculation processing means 31 and the model coordinate value or three-dimensional coordinate value of the reference point calculated by the calculation processing means 30 are compared with the model coordinate value or three-dimensional coordinate value of the reference point calculated by the reference calculation processing means 31. In addition, a calibration determination unit 34 that determines the suitability of the calibration element is provided.
【００２４】このように構成された装置においては、カ
メラ２２のレンズに対する基準キャリブレーション要素
が予め用意されている。そして、キャリブレーション判
定部３４に用いる立体基準チャート２０における基準点
の座標値が、基準演算処理手段３１で演算された基準点
のモデル座標値又は三次元座標値として与えられる。そ
こで、例えば多量にレンズを取扱う場合の個別レンズの
キャリブレーション要素のバラツキを管理するのに適し
ている。In the apparatus thus constructed, the reference calibration element for the lens of the camera 22 is prepared in advance. Then, the coordinate value of the reference point in the stereoscopic reference chart 20 used in the calibration determination unit 34 is given as the model coordinate value or the three-dimensional coordinate value of the reference point calculated by the reference calculation processing means 31. Therefore, it is suitable for managing the variation of the calibration elements of the individual lenses when handling a large number of lenses, for example.
【００２５】本発明のキャリブレーション結果診断装置
は、第３の目的を達成するもので、例えば図１１に示す
ように、キャリブレーション要素の測定時に用いたカメ
ラ２２により、立体的に基準点が配置された立体基準チ
ャート２０をステレオ撮影した基準ステレオ画像データ
を読込んで、基準ステレオ画像データ中の前記基準点の
画像位置を測定するターゲット位置測定手段２６と、前
記キャリブレーション要素を用いて前記基準ステレオ画
像データの標定演算を行なう演算処理手段３０と、前記
標定演算により、前記基準ステレオ画像データの立体画
像を形成するステレオ画像生成手段３６とを備えてい
る。The calibration result diagnosing device of the present invention achieves the third object. For example, as shown in FIG. 11, a camera 22 used at the time of measuring a calibration element allows three-dimensional reference points to be arranged. The reference stereo image data obtained by stereo-photographing the stereoscopic reference chart 20 is read, and the target position measuring means 26 for measuring the image position of the reference point in the reference stereo image data, and the reference stereo using the calibration element. It is provided with an arithmetic processing means 30 for performing orientation calculation of image data, and a stereo image generating means 36 for forming a stereoscopic image of the reference stereo image data by the orientation calculation.
【００２６】好ましくは、本発明のキャリブレーション
結果診断装置は、さらに、ステレオ画像生成手段３６に
より形成された立体画像を立体表示する立体画像表示部
３８とを備えるとよい。立体画像表示部にて立体視する
ことで、キャリブレーション結果診断が容易に行える。Preferably, the calibration result diagnosing device of the present invention may further include a stereoscopic image display section 38 for stereoscopically displaying the stereoscopic image formed by the stereo image generating means 36. By performing stereoscopic viewing on the stereoscopic image display unit, the calibration result diagnosis can be easily performed.
【００２７】[0027]
【発明の実施の形態】以下図面を用いて本発明を説明す
る。図１は本発明の第１の実施の形態を説明する全体構
成ブロック図である。図において、キャリブレーション
用チャートとしてのチャート１は、平面上のシートに第
１マークと第２マークが印刷されている。第１マーク
は、概略マーク位置測定及び校正用写真組の画像相互の
対応付けに利用されると共に、カメラ２がチャート１を
撮影した撮影角度を決めるために利用される。第１マー
クは、チャート１の少なくとも３箇所に設けられるもの
で、好ましくはチャート１を４区分に等分したときの各
象限に設けると良い。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings. FIG. 1 is an overall configuration block diagram for explaining the first embodiment of the present invention. In the figure, a chart 1 as a calibration chart has a first mark and a second mark printed on a sheet on a plane. The first mark is used for measuring the rough mark position and associating the images of the calibration photograph set with each other, and is also used for determining the photographing angle at which the camera 2 photographs the chart 1. The first marks are provided at at least three places on the chart 1, and preferably, they are provided on each quadrant when the chart 1 is divided into four sections.
【００２８】第２マークは、カメラ２によって撮影され
たチャート１の画像データの位置を指定するもので、タ
ーゲットとも呼ばれており、好ましくは均等の密度で満
遍なくチャート１に配置する。第２マークは、チャート
１の３０箇所以上に設けられるのが好ましく、さらに好
ましくは１００〜２００箇所程度にするとよい。しか
し、第２マークを徒に多く設けると、第２マーク自体が
小さくなって見難くなると共に、レンズ収差の測定演算
時間も長くなるため、実際上の上限は存在しており、例
えば１０００個である。The second mark designates the position of the image data of the chart 1 photographed by the camera 2, is also called a target, and is preferably arranged on the chart 1 evenly and uniformly. The second marks are preferably provided at 30 or more places on the chart 1, and more preferably at about 100 to 200 places. However, if a large number of second marks are provided, the second mark itself becomes small and becomes difficult to see, and the measurement calculation time of the lens aberration also becomes long. is there.
【００２９】なお、チャート１は、平面シートに代え
て、例えばノートパソコンのような平面的な表示画面を
有する機器に、第１マークと第２マークが表示された平
面シートの画像表示を用いてもよい。液晶表示画面のよ
うにガラスを用いた画面は、紙やプラスチックに比較し
て湿度や温度による平面の伸縮が極めて少ないため、チ
ャート１の表示装置として適している。また、液晶表示
画面として携帯型パソコンの表示画面を用いると、表示
精度がよい点に加えて、可搬性に優れているので、作業
現場であっても防水や衝撃に注意すれば、通常の使用に
耐える。チャート１の詳細については、後で説明する。The chart 1 uses the image display of the flat sheet on which the first mark and the second mark are displayed in a device having a flat display screen such as a notebook computer, instead of the flat sheet. Good. A screen using glass, such as a liquid crystal display screen, is suitable as a display device for the chart 1 because the flatness of the plane due to humidity and temperature is extremely small compared to paper and plastic. In addition, when the display screen of a portable personal computer is used as the liquid crystal display screen, it is excellent in portability in addition to good display accuracy. Endure. Details of the chart 1 will be described later.
【００３０】カメラ２は、キャリブレーションの対象と
なるカメラで、典型的には汎用の光学式カメラやデジタ
ルカメラのように、レンズ収差が写真測量や写真計測用
の撮影用カメラに比較して、大きいものである。カメラ
２は、広角レンズや標準レンズでもよく、また望遠レン
ズを備えていても良い。画像データ記憶部３は、カメラ
２によって撮影されたチャート１の画像データを記憶す
る記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのよ
うな電磁気的記憶媒体が用いられる。画像データ記憶部
３に記憶される画像データは、チャート１をカメラ２に
てステレオ視できるように撮影したステレオ画像データ
であることが好ましく、典型的には左撮影位置２Ｌと右
撮影位置２Ｒの一組の撮影位置によって撮影されてい
る。好ましくは、画像データ記憶部３では、カメラ２が
チャート１を撮影した撮影角度が判別できる態様で校正
用写真組の画像が記憶されているとよい。The camera 2 is a camera to be calibrated. Typically, like a general-purpose optical camera or a digital camera, the lens aberration is larger than that of a photographing camera for photogrammetry or photo measurement. It's a big one. The camera 2 may be a wide-angle lens, a standard lens, or a telephoto lens. The image data storage unit 3 is a storage device that stores the image data of the chart 1 captured by the camera 2, and an electromagnetic storage medium such as a magnetic disk or a CD-ROM is used. The image data stored in the image data storage unit 3 is preferably stereo image data obtained by photographing the chart 1 so that the camera 2 can view it in stereo. Typically, the image data storage unit 3 typically captures the left photographing position 2L and the right photographing position 2R. The picture is taken at a set of shooting positions. It is preferable that the image data storage unit 3 stores the images of the calibration photograph set in such a manner that the photographing angle at which the camera 2 photographs the chart 1 can be determined.
【００３１】キャリブレーション装置は、抽出部４、概
略マーク位置測定部５、精密マーク位置測定部６、演算
処理部７、画像処理部８、マーク座標記憶部１０並びに
レンズ収差補償パラメータ記憶部１１を備えると共に、
外部機器として画像データ記憶部３や表示部９を備えて
いる。キャリブレーション装置には、例えばＣＰＵとし
てインテル社製のペンティアム（登録商標）やセレロン
（登録商標）を搭載したコンピュータを用いるとよい。The calibration device includes an extracting unit 4, a rough mark position measuring unit 5, a precision mark position measuring unit 6, a calculation processing unit 7, an image processing unit 8, a mark coordinate storage unit 10 and a lens aberration compensation parameter storage unit 11. Be prepared
The image data storage unit 3 and the display unit 9 are provided as external devices. For the calibration device, for example, a computer equipped with Pentium (registered trademark) or Celeron (registered trademark) manufactured by Intel Corporation as a CPU may be used.
【００３２】抽出部４は、画像データ記憶部３に格納さ
れる画像データから第１マークを抽出して、第１マーク
の画像座標値を求める第１マーク抽出処理を行う。第１
マーク抽出処理は、概略マーク位置測定部５による第２
マークの概略位置算出と対応付けの前処理として行われ
る。この第１マークの画像座標値は、マーク座標記憶部
１０に記憶される。なお、第１マークが第２マークと共
通の図柄を含んでいる場合には、第１マーク内の第２マ
ーク位置によって第１マークの画像座標値とするとよ
い。抽出部４による第１マーク抽出処理の詳細は、後で
説明する。The extraction unit 4 extracts the first mark from the image data stored in the image data storage unit 3 and performs the first mark extraction processing for obtaining the image coordinate value of the first mark. First
The mark extracting process is performed by the second step performed by the rough mark position measuring unit 5.
This is performed as a pre-process for calculating the approximate position of the mark and associating it. The image coordinate value of the first mark is stored in the mark coordinate storage unit 10. When the first mark includes a symbol that is common to the second mark, the image coordinate value of the first mark may be set according to the position of the second mark in the first mark. Details of the first mark extraction processing by the extraction unit 4 will be described later.
【００３３】概略マーク位置測定部５は、抽出部４にて
抽出された第１マークの画像座標値から射影変換を行っ
て外部標定要素を求め、単写真標定の定理、並びに共線
条件式を用いて、第２マークの概略位置を演算して、校
正用写真組の画像相互の対応付けを行う。概略マーク位
置測定部５による第２マークの概略位置演算処理の詳細
は、後で説明する。The rough mark position measuring unit 5 performs projective transformation from the image coordinate values of the first mark extracted by the extracting unit 4 to obtain the external orientation element, and the single photograph orientation theorem and the collinear conditional expression. The approximate position of the second mark is calculated by using the images, and the images of the proof set are associated with each other. Details of the second mark rough position calculation processing by the rough mark position measurement unit 5 will be described later.
【００３４】精密マーク位置測定部６は、校正用写真組
の画像に対して第２マークの認識を行い、重心位置検出
法等によって第２マークの位置を精密に演算する。演算
処理部７は、精密マーク位置測定部６にて演算された第
２マークの位置が、チャート１の画像データにおける他
の第２マークの位置と著しい齟齬が生じていた場合に
は、齟齬の生じた第２マークの位置を除外する機能を有
する。また、演算処理部７は、精密マーク位置測定部６
にて演算された第２マークのうち、キャリブレーション
に適切な第２マークを抽出して、外部標定要素と対象点
座標を同時調整すると共に、カメラの内部パラメータを
演算する。演算されたカメラの内部パラメータは、レン
ズ収差補償パラメータ記憶部１１に格納すると良い。カ
メラの内部パラメータには、主点位置、画面距離、歪曲
パラメータがある。なお、ここでは歪曲パラメータのみ
を求めているが、ザイデルの５収差を構成する球面収
差、コマ、非点収差、像面のそりについても、求めても
良い。演算処理部７にて求められた内部パラメータは、
表示部９にてグラフィック表示される。なお、精密マー
ク位置測定部６、並びに演算処理部７のカメラの内部パ
ラメータ演算処理に関しての詳細は、後で説明する。The precision mark position measuring unit 6 recognizes the second mark in the image of the photo set for calibration, and precisely calculates the position of the second mark by the gravity center position detection method or the like. When the position of the second mark calculated by the precision mark position measuring unit 6 is significantly different from the positions of the other second marks in the image data of the chart 1, the calculation processing unit 7 causes a discrepancy. It has a function of excluding the position of the generated second mark. Further, the arithmetic processing unit 7 includes a precision mark position measuring unit 6
The second mark suitable for calibration is extracted from the second marks calculated in step 1, the external orientation element and the coordinates of the target point are simultaneously adjusted, and the internal parameters of the camera are calculated. The calculated internal parameters of the camera may be stored in the lens aberration compensation parameter storage unit 11. The internal parameters of the camera include principal point position, screen distance, and distortion parameter. Although only the distortion parameter is obtained here, spherical aberration, coma, astigmatism, and image plane warp that constitute Seidel's 5 aberrations may also be obtained. The internal parameters obtained by the arithmetic processing unit 7 are
It is displayed graphically on the display unit 9. The details of the precision mark position measuring unit 6 and the camera internal parameter calculation processing of the calculation processing unit 7 will be described later.
【００３５】画像処理部８は、演算処理部７にて求めら
れた内部パラメータを用いて、カメラ２によって撮影さ
れた画像（特に、チャート１以外の画像）のデータ画像
を再配列する。すると、カメラ２によって撮影された画
像が、レンズ収差の大部分が除去された歪の著しく少な
い画像として、表示部９に表示される。表示部９は、Ｃ
ＲＴや液晶ディスプレイのような画像表示装置である。
マーク座標記憶部１０には、第１マークの画像座標値が
記憶されていると共に、第２マークの管理番号並びにそ
の画像座標値が記憶されている。レンズ収差補償パラメ
ータ記憶部１１には、演算処理部７にて演算されたカメ
ラ２の内部パラメータが記憶されている。The image processing unit 8 rearranges the data image of the image photographed by the camera 2 (in particular, the image other than the chart 1) by using the internal parameters obtained by the arithmetic processing unit 7. Then, the image captured by the camera 2 is displayed on the display unit 9 as an image in which most of the lens aberration is removed and the distortion is extremely small. The display unit 9 is C
An image display device such as an RT or a liquid crystal display.
The mark coordinate storage unit 10 stores the image coordinate value of the first mark, the management number of the second mark, and the image coordinate value thereof. The lens aberration compensation parameter storage unit 11 stores the internal parameters of the camera 2 calculated by the calculation processing unit 7.
【００３６】次に、キャリブレーション用チャートとし
てのチャート１について説明する。ここでは、チャート
１として紙やプラスチックシートに所定のマークを印刷
してある場合を例に説明するが、平面画面に所定のマー
クを配列した画像を表示するものでもよい。図２は、キ
ャリブレーション用チャートの一例を示す平面図であ
る。チャート１は、平面的なシート形状であって、表側
に視認容易な第１マークと多数の点から構成される第２
マークが印刷されている。ここでは、第１マークはチャ
ート１に総計５個配置されるもので、外形菱形で、中心
部分に第２マークと共通の図柄が描かれている。第１マ
ーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に
区分したとき、各象限に設けられるもので、第１マーク
１ａは左上象限、第１マーク１ｂは右上象限、第１マー
ク１ｃは左下象限、第１マーク１ｄは右下象限に位置し
ている。第１マーク１ｅは、各象限と共通となる原点位
置に設けられている。例えば第１マーク１ａ、１ｂ、１
ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に
設けられている。チャート１が矩形であるとして、第１
マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔を
ｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向
の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、
１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係
を充足する。
ｄ＝（ｈ２＋ｌ２）１／２ （１）Next, the chart 1 as a calibration chart will be described. Here, the case where predetermined marks are printed on paper or a plastic sheet as the chart 1 will be described as an example, but an image in which predetermined marks are arranged may be displayed on a flat screen. FIG. 2 is a plan view showing an example of the calibration chart. The chart 1 has a flat sheet shape, and includes a first mark on the front side, which is easily visible, and a second mark composed of a number of dots.
The mark is printed. Here, a total of five first marks are arranged on the chart 1, and the outline is a rhombus, and a pattern common to the second mark is drawn in the central portion. The first marks 1a, 1b, 1c, and 1d are provided in each quadrant when the chart 1 is divided into four quadrants. The first mark 1a is the upper left quadrant, the first mark 1b is the upper right quadrant, and the first mark 1c. Is located in the lower left quadrant, and the first mark 1d is located in the lower right quadrant. The first mark 1e is provided at the origin position common to each quadrant. For example, the first marks 1a, 1b, 1
c and 1d are provided at positions equidistant from the first mark 1e. Assuming that Chart 1 is rectangular,
The vertical interval between the marks 1a and 1b and the first mark 1e is h, and the vertical interval between the first marks 1c and 1d and the first mark 1e is l. At this time, the first marks 1a, 1b,
The distance d between 1c and 1d and the first mark 1e satisfies the following relationship. d = (h 2 + l 2 ) 1/2 (1)
【００３７】第１マークと第２マークは、予め所望の寸
法で印刷するか、もしくは寸法を計測しておく。第１マ
ークと第２マークの印刷位置の数値は、キャリブレーシ
ョン装置のマーク座標記憶部１０に読込んで、概略マー
ク位置測定部５において概略位置測定と対応づけのため
に利用される。なお、チャート１は、コンピュータの記
憶装置に画像データとして記憶させておき、キャリブレ
ーションする場所において印刷して使用しても良い。第
１マークと第２マークの位置は、予めキャリブレーショ
ン装置の中に記憶してあるものを使い、その記憶された
座標にてシートに印刷すれば、計測作業は不要になるの
で作業は簡単なものになる。あるいは、チャート１を精
密に計測して、第１マークと第２マークの座標位置を測
定し、その座標値をマーク座標記憶部１０に格納して利
用する構成としてもよい。The first mark and the second mark are printed with desired dimensions or the dimensions are measured in advance. The numerical values of the print positions of the first mark and the second mark are read into the mark coordinate storage unit 10 of the calibration device, and are used by the rough mark position measuring unit 5 for rough position measurement and correspondence. The chart 1 may be stored as image data in a storage device of a computer, and may be printed and used at a place for calibration. The positions of the first mark and the second mark are stored in the calibration device in advance, and if printing is performed on the sheet at the stored coordinates, the measurement work becomes unnecessary and the work is simple. It becomes a thing. Alternatively, the chart 1 may be precisely measured to measure the coordinate positions of the first mark and the second mark, and the coordinate values may be stored in the mark coordinate storage unit 10 and used.
【００３８】第１マークは、概略マーク位置測定及び対
応付けに利用されるだけでなく、撮影方向を決める視標
としても利用される。さらに、第１マークの外形菱形の
中心部分は第２マークと共通の図柄とすることにより、
精密マーク位置測定部６で精密測定する際のテンプレー
トとして使用される。The first mark is used not only for measuring and associating the rough mark position, but also as a visual target for determining the shooting direction. Furthermore, by making the central part of the outer shape rhombus of the first mark the same pattern as the second mark,
It is used as a template for precision measurement by the precision mark position measuring unit 6.
【００３９】図３は第１マークの一例を示す説明図で、
（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩
形を示している。図３（Ａ）、（Ｂ）では、第１マーク
は第２マークと共通の図柄を囲むように菱形又は４本の
矢印を配置し、作業者にとって視認容易になるように配
慮してある。このように視認容易な図柄とすることで、
第１マークの抽出が容易なものとなると共に、カメラ２
の撮影方向として広い撮影角度の中から一つの撮影角度
を選択しても、撮影された画像から第１マークを見逃す
ことがない。図３（Ｃ）では、第１マークは黒塗り矩形
とし、中心部の図柄は第２マークとは反転した色彩にな
っているが、このようにしても検出は容易である。ま
た、精密マーク位置測定部５にて測定する際にも、図３
（Ｃ）の図柄に対しては、第１マークの階調を反転する
ことにより、第２マークのテンプレートとすることがで
きる。FIG. 3 is an explanatory view showing an example of the first mark.
(A) shows a diamond, (B) shows four arrows, and (C) shows a black rectangle. In FIGS. 3 (A) and 3 (B), the first mark is arranged so as to have a diamond shape or four arrows so as to surround a common pattern with the second mark so that the operator can easily recognize it. By making the design easy to see,
The first mark can be easily extracted and the camera 2
Even if one shooting angle is selected from a wide shooting angle as the shooting direction, the first mark will not be missed in the shot image. In FIG. 3C, the first mark is a black-painted rectangle, and the design of the central portion has a color that is the reverse of that of the second mark, but even in this case, detection is easy. Also, when measuring with the precision mark position measuring unit 5, FIG.
With respect to the pattern (C), the tone of the first mark can be reversed to form the template of the second mark.
【００４０】図４は第２マークの一例を示す説明図で、
（Ａ）は黒丸『●』、（Ｂ）はプラス『＋』、（Ｃ）は
二重丸『◎』、（Ｄ）は英文字『Ｘ』、（Ｅ）は星印
『★』、（Ｆ）は黒塗り四角『■』、（Ｇ）黒塗り三角
形『▲』、（Ｈ）は黒塗り菱形『◆』を示している。第
２マークは、チャート１に満遍なく多数配置されるの
で、精密位置計測のしやすいものであれば、各種の図柄
を採択して良い。FIG. 4 is an explanatory view showing an example of the second mark.
(A) black circle "●", (B) plus "+", (C) double circle "◎", (D) English letter "X", (E) star "★", ( F) indicates a black-painted square “■”, (G) a black-painted triangle “▲”, and (H) a black-painted rhombus “◆”. Since many second marks are evenly arranged on the chart 1, various designs may be adopted as long as they can facilitate precise position measurement.
【００４１】続いて、キャリブレーション対象となるカ
メラ２によって、チャート１を撮影する手順について説
明する。図５はレンズ収差を計測する場合のカメラ配置
を説明する図で、（Ａ）はカメラ配置を示した立体図で
あり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使
用したときのカメラ間隔を示した図である。チャート１
を異なる撮影角度から撮影した画像として、２枚以上の
画像があれば、キャリブレーションが可能となる。好ま
しくは、チャート１としてシートに印刷された平面チャ
ートを用いる場合には、３以上の撮影角度方向から撮影
することによって、各キャリブレーション要素、特に焦
点距離、の測定値が安定し、かつ信頼性の高いものにな
る。Next, a procedure for photographing the chart 1 with the camera 2 to be calibrated will be described. FIG. 5 is a diagram for explaining the camera arrangement when measuring the lens aberration, (A) is a stereoscopic view showing the camera arrangement, and (B) is a camera when a standard lens and a telephoto lens are generally used. It is the figure which showed the space | interval. Chart 1
If two or more images are taken as images taken from different shooting angles, calibration is possible. Preferably, when a plane chart printed on a sheet is used as the chart 1, the measurement values of each calibration element, particularly the focal length, are stable and reliable by photographing from three or more photographing angle directions. Will be high.
【００４２】各種レンズのレンズ収差を計測する場合
は、図５（Ａ）に示すような５方向、即ち正面（Ｉ）、
左上（II）、右上（III）、左下（IV）、右下（Ｖ）か
ら撮影する。カメラ２の光軸と平面チャートとの撮影入
射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に
設定すると、１０度〜３０度の範囲が好ましく、他方レ
ンズの焦点深度との関係でピントの合う距離も限られて
いることも考慮すると、１２度〜２０度の範囲がさらに
好ましい。典型的には、カメラ２の光軸と平面チャート
との撮影入射角として１５度を採用するとよい。When measuring the lens aberrations of various lenses, there are five directions as shown in FIG. 5A, that is, the front (I),
Shoot from top left (II), top right (III), bottom left (IV), bottom right (V). The shooting angle of incidence between the optical axis of the camera 2 and the plane chart is preferably in the range of 10 degrees to 30 degrees when the depth accuracy at the actual shooting site is set to about 1 cm, while the focus angle is related to the depth of focus of the lens. Considering that the matching distance is also limited, the range of 12 to 20 degrees is more preferable. Typically, it is advisable to adopt a shooting incident angle of 15 degrees between the optical axis of the camera 2 and the plane chart.
【００４３】以下、図６を参照して各種レンズのカメラ
によるチャート１の撮影手順を説明する。図６は、（Ａ
１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像
を示し、カメラ画像に対応するチャート１とカメラ２の
位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）に
て示している。なお、番号（Ｉ）〜（Ｖ）は図５（Ａ）
のカメラ位置に対応している。The procedure of photographing the chart 1 by the camera having various lenses will be described below with reference to FIG. FIG. 6 shows (A
1), (A2), (A3), and (A4) show camera images, and the positional relationships between the chart 1 and the camera 2 corresponding to the camera images are (B1), (B2), (B3), and (B4). ). The numbers (I) to (V) are shown in FIG.
It corresponds to the camera position of.
【００４４】（Ｉ）：正面から、チャート１の第１マー
クと第２マーク全てが一杯に入るよう撮影する（図６
（Ａ１）、（Ｂ１））。第１マークと第２マークをなる
べく一杯に、撮影画像のすみまでいれることにより、レ
ンズ周辺部までのディストーション補正が確実になる。
そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化
する。
（II）：次に、一般的に標準レンズ及び望遠レンズを使
用した場合、正面のカメラ位置を中心として、撮影距離
Ｈの１／３程度離れた位置にカメラを移動させて、例え
ば左上象限の第１マーク１ａが撮影中心となるようにカ
メラ位置を変える（図６（Ａ２）、（Ｂ２））。但し、
一般的に広角レンズを使用した際に、撮影距離Ｈが約１
ｍ以内の場合は、カメラ位置は目的とする第１マークが
正面に来るようにカメラ２を移動させればよい。そし
て、カメラ２のカメラ位置をそのままにして、中央にあ
る第１マーク１ｅが中心となるようにカメラ２の方向を
向ける（図６（Ａ３）、（Ｂ３））。次に、カメラ２を
チャート１に近づけるように移動して、カメラ２の撮影
画像に対して第１マークと第２マークが一杯に入るよう
にして撮影する（図６（Ａ４）、（Ｂ４））。(I): A picture is taken from the front so that all of the first mark and the second mark of the chart 1 are fully filled (FIG. 6).
(A1), (B1)). By putting the first mark and the second mark as close as possible to the edge of the captured image, the distortion correction up to the peripheral portion of the lens is ensured.
Therefore, the shooting distance H changes according to the focal length of the camera. (II): Next, generally, when a standard lens and a telephoto lens are used, the camera is moved to a position about 1/3 of the shooting distance H around the front camera position, for example, in the upper left quadrant. The camera position is changed so that the first mark 1a becomes the center of photographing (FIGS. 6A2 and 6B2). However,
Generally, when using a wide-angle lens, the shooting distance H is about 1
When the distance is within m, the camera 2 may be moved so that the intended first mark comes to the front. Then, with the camera position of the camera 2 unchanged, the direction of the camera 2 is oriented so that the first mark 1e at the center becomes the center (FIGS. 6A3 and 6B3). Next, the camera 2 is moved so as to approach the chart 1, and the image captured by the camera 2 is photographed so that the first mark and the second mark are fully filled (FIG. 6 (A4), (B4)). ).
【００４５】（III）：右上象限の第１マーク１ｂが撮
影中心となるようにカメラ位置を変える。そして、カメ
ラをそのまま中央にある第１マーク１ｅが中心となるよ
うにカメラの方向を向け、第１マークと第２マークが一
杯に入るようにして撮影する。
（IV）：左下象限の第１マーク１ｃが撮影中心となるよ
うにカメラ位置を変える。そして、カメラをそのまま中
央にある第１マーク１ｅが中心となるようにカメラの方
向を向け、第１マークと第２マークが一杯に入るように
して撮影する。
（Ｖ）：右下象限の第１マーク１ａが撮影中心となるよ
うにカメラ位置を変える。そして、カメラをそのまま中
央にある第１マーク１ｅが中心となるようにカメラの方
向を向け、第１マークと第２マークが一杯に入るように
して撮影する。このような手順によって、カメラ２の角
度が必要な撮影角度の差として確保できるので、焦点距
離が確実に測定できるようになる。(III): The camera position is changed so that the first mark 1b in the upper right quadrant becomes the center of photography. Then, the camera is directed so that the first mark 1e at the center is centered as it is, and the first mark and the second mark are filled so as to shoot. (IV): The camera position is changed so that the first mark 1c in the lower left quadrant becomes the center of photography. Then, the camera is directed so that the first mark 1e at the center is centered as it is, and the first mark and the second mark are filled so as to shoot. (V): The camera position is changed so that the first mark 1a in the lower right quadrant becomes the center of photography. Then, the camera is directed so that the first mark 1e at the center is centered as it is, and the first mark and the second mark are filled so as to shoot. By such a procedure, the angle of the camera 2 can be ensured as a required difference in photographing angle, so that the focal length can be measured reliably.
【００４６】次に、チャート１としてシートに印刷され
た平面チャート、又は表示した平面的画面を用いる場合
における、第１マークを利用した撮影手順の利点につい
て説明する。通常、平面のシートに印刷されたマークを
撮影する場合、カメラ２に所望の角度がつけられないた
め、結果として画面距離（焦点距離）を正確に求めるこ
とができない。即ち、焦点距離方向（高さ、奥行き方
向）に変化がないと、カメラの内部パラメータの計算値
には拘束するものがないので、カメラの内部パラメータ
が算出されても著しく信頼性のないものとなる。そこ
で、三次元状に配置されたターゲットを計測して焦点距
離を求めるのであるが、三次元状に配置されたターゲッ
トは『発明が解決すべき課題』の欄で述べたように、計
測が困難で自動化ができないだけでなく、作成するのも
容易ではない。Next, the advantages of the photographing procedure using the first mark in the case of using a flat chart printed on a sheet or a flat screen displayed as the chart 1 will be described. Normally, when photographing a mark printed on a flat sheet, a desired angle cannot be attached to the camera 2, and as a result, the screen distance (focal length) cannot be accurately obtained. That is, if there is no change in the focal length direction (height, depth direction), there is no constraint on the calculated values of the internal parameters of the camera, and it is extremely unreliable even if the internal parameters of the camera are calculated. Become. Therefore, it is necessary to measure the focal length by measuring the targets arranged in three dimensions, but it is difficult to measure the targets arranged in three dimensions as described in the section of "Problems to be solved by the invention". Not only can it not be automated, but it's also not easy to create.
【００４７】これに対して平面チャート１では、第１マ
ークと第２マークを印刷したシート又は表示した平面的
画面を用いているので、三次元状に配置されたターゲッ
トの場合に発生していた各ターゲット間の関連付けの困
難性という問題は解消される。次に、第１マークを利用
して撮影すると、カメラ２に所望の角度を付することが
でき、高さ（奥行き）方向の変化を確実にし、焦点距離
を正確に算出できる。例えば、カメラ２の角度をチャー
ト１に対して１０度以上傾けることができれば、本発明
のキャリブレーション装置においては、焦点距離を確実
に求めることができる。On the other hand, in the plane chart 1, since the sheet or the plane screen on which the first mark and the second mark are printed is used, it occurs in the case of the targets arranged three-dimensionally. The problem of difficulty in associating each target is solved. Next, when shooting is performed using the first mark, the camera 2 can be provided with a desired angle, the change in the height (depth) direction can be ensured, and the focal length can be accurately calculated. For example, if the angle of the camera 2 can be tilted by 10 degrees or more with respect to the chart 1, the calibration device of the present invention can reliably obtain the focal length.
【００４８】ここで、カメラ２とチャート１の間隔Ｈ
は、標準レンズや広角レンズの焦点距離ｆから定められ
る。例えば、焦点距離が３５ｍｍの標準レンズでは、撮
影距離Ｈは９０ｃｍ程度になる。チャート１に設けられ
た第１マークの相互間隔ｄは、例えば２０ｃｍであるか
ら、正面（Ｉ）から左上（II）等に撮影方向を傾けると
き、撮影角度として約１０度が確保される。なお、撮影
方向の傾斜角度の上限は焦点深度などによって定まる。
即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マ
ーク間の距離が各第１マークによって相違し、画像に写
る第１マークの像がボケてしまう。そこで、撮影方向の
傾斜角度の上限は、例えば３０度となる。実際の撮影手
順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面
一杯に第１マークと第２マークが入るように撮影すれ
ば、自ずと上記条件になるので、撮影距離と位置の条件
が満足される。Here, the distance H between the camera 2 and the chart 1
Is determined from the focal length f of the standard lens or the wide-angle lens. For example, with a standard lens having a focal length of 35 mm, the shooting distance H is about 90 cm. Since the mutual distance d of the first marks provided on the chart 1 is, for example, 20 cm, when the photographing direction is tilted from the front (I) to the upper left (II), a photographing angle of about 10 degrees is secured. The upper limit of the tilt angle in the shooting direction is determined by the depth of focus and the like.
That is, when the tilt angle in the shooting direction is large, the distance between the camera 2 and the first mark differs for each first mark, and the image of the first mark in the image is blurred. Therefore, the upper limit of the tilt angle in the shooting direction is, for example, 30 degrees. The actual shooting procedure is as shown in (I) to (V) above, and if the shooting is performed so that the first mark and the second mark are included in the full screen of the camera, the above conditions are automatically satisfied. The condition of is satisfied.
【００４９】望遠レンズや標準レンズのレンズ収差を計
測する場合は、撮影レンズの画角が狭くなり、角度がつ
かなくなるため、正面（Ｉ）から左上（II）等に撮影方
向を傾けるとき、撮影角度としての１０度が確保されな
くなる。即ち、焦点距離が長い場合にはカメラ２とチャ
ート１の撮影距離Ｈが１ｍ以上であって、第１マークの
相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこ
で、図５（Ｂ）に示すように、正面のカメラ位置を中心
として、左側のカメラ位置（II）、（IV）と、右側のカ
メラ位置（III）、（Ｖ）を定める。この際に、左右の
カメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影
距離Ｈの１／３程度とった位置にカメラを設置して、上
述の左上（II）、左下（IV）及び右上（III）、右下
（Ｖ）での撮影を行えばよい。カメラの光軸は、チャー
ト１の法線方向と一致させればよいが、チャート１方向
を向けても良い。When measuring the lens aberration of a telephoto lens or a standard lens, the angle of view of the taking lens becomes narrow and the angle cannot be adjusted. Therefore, when tilting the taking direction from the front (I) to the upper left (II), An angle of 10 degrees cannot be secured. That is, when the focal length is long, the shooting distance H between the camera 2 and the chart 1 is 1 m or more, and the mutual distance d between the first marks is only about 20 cm. Therefore, as shown in FIG. 5B, the left camera positions (II) and (IV) and the right camera positions (III) and (V) are determined around the front camera position. At this time, the cameras are installed at positions where the distance between the left and right camera positions is about 1/3 of the shooting distance H from the front (I) position, and the above-mentioned upper left (II), lower left (IV) and upper right (III) and the lower right (V) may be taken. The optical axis of the camera may be aligned with the normal direction of the chart 1, but the chart 1 direction may be oriented.
【００５０】なお、上記の実施の形態においては、撮影
位置として正面（Ｉ）、左上（II）、右上（III）、左
下（IV）、右下（Ｖ）の５方向の場合を示したが、撮影
位置は最低の場合には左右２方向あればよく、また３方
向以上でもよい。左右２方向の場合も、撮影角度として
約１０度が確保されるようにしてチャート１の撮影を行
う。In the above embodiment, the photographing positions are the front (I), the upper left (II), the upper right (III), the lower left (IV) and the lower right (V). In the case of the lowest photographing position, the left and right directions may be two, or three or more directions. Also in the case of two left and right directions, the chart 1 is photographed so that a photographing angle of about 10 degrees is secured.
【００５１】次に、本発明のキャリブレーション装置に
おける全体処理の流れについて説明する。図７はキャリ
ブレーション装置を用いたキャリブレーション方法を説
明するフローチャートである。まず、レンズ収差の補償
対象となるカメラ２によって、チャート１を撮影する
（Ｓ１０）。撮影手法は、標準レンズや広角レンズの場
合には図５（Ｂ）で説明した撮影手順、望遠レンズの場
合には図６で説明した撮影手順による。カメラ２によっ
て撮影された各撮影方向の画像データは、一旦画像デー
タ記憶部３に格納される。次に、キャリブレーション装
置は、画像データ記憶部３に格納された画像データを読
込んで、表示部９に表示する（Ｓ２０）。そして、操作
者は表示部９に表示された画像から、ターゲットの対応
付け及び計測を行う画像を選択する（Ｓ３０）。そし
て、抽出部４により、選択された画像につき第１マーク
抽出処理を行う（Ｓ４０）。Next, the flow of the entire processing in the calibration device of the present invention will be described. FIG. 7 is a flowchart illustrating a calibration method using the calibration device. First, the chart 1 is photographed by the camera 2 that is the target of lens aberration compensation (S10). The photographing method is the photographing procedure described in FIG. 5B for the standard lens or the wide-angle lens, and the photographing procedure described in FIG. 6 for the telephoto lens. The image data of each shooting direction shot by the camera 2 is temporarily stored in the image data storage unit 3. Next, the calibration device reads the image data stored in the image data storage unit 3 and displays it on the display unit 9 (S20). Then, the operator selects an image for which target association and measurement are to be performed, from the images displayed on the display unit 9 (S30). Then, the extraction unit 4 performs the first mark extraction processing on the selected image (S40).
【００５２】（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャ
ート１の平面座標とその画像座標（カメラ側）との二次
射影変換式を決定するため、平面座標上の第１マークの
うち、最低３点以上を画像データ上で計測する。ここで
は、第１マークの中に第２マークを含んでいるので、含
まれた第２マークの位置を指定することで、正確に第１
マークの位置を指定する。第１マーク抽出処理は、次の
Ｉ−からＩ−までの処理を第１マークの点数分繰り
返す。例えば、図２に示すチャート１では、左右各２点
の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。(I): First Mark Extraction Processing In the first mark extraction processing, the secondary projective transformation formula between the plane coordinates of the chart 1 set on the surface to be measured and its image coordinates (on the camera side) is determined. , At least three points or more of the first marks on the plane coordinates are measured on the image data. Here, since the second mark is included in the first mark, it is possible to accurately specify the first mark by specifying the position of the included second mark.
Specify the position of the mark. In the first mark extraction processing, the following processing from I- to I- is repeated for the number of points of the first mark. For example, in the chart 1 shown in FIG. 2, the process is performed for each of the first marks 1a, 1b, 1c, 1d on each of the left and right points.
【００５３】Ｉ−…操作者は表示部９に表示された全
体画像上で、検出したい第１マーク中の第２マークにマ
ウスのカーソル位置を合わせクリックし、第１マークの
概略位置を求める。
Ｉ−…Ｉ−で求められた画像座標を中心として、拡
大画像より第２マークを含んだ、局所となる画像を切り
出して、表示する。このとき、第２マークを含む画像を
第２マーク精密位置測定のテンプレートとして使うこと
ができる。
Ｉ−…Ｉ−で表示した拡大画像に対して、第２マー
クの重心位置にマウスのカ−ソル位置を合わせクリック
し、この画像座標を第１マークの重心位置とする。な
お、後続の処理で概略位置対応付けを行うために、Ｉ−
での位置あわせは厳密でなくともよい。
Ｉ−…次に、マーク座標記憶部１０に記憶された第２
マークの管理番号と対応させるために、Ｉ−で計測さ
れた第１マークの重心位置に対応する第２マークの管理
番号を入力する。このとき、入力された第２マークの管
理番号には、Ｉ−で計測された第１マークの重心位置
が基準点座標として記憶される。I -... The operator aligns the cursor position of the mouse with the second mark in the first mark to be detected on the entire image displayed on the display unit 9 and clicks the mouse to obtain the approximate position of the first mark. I -... A local image including the second mark is cut out from the enlarged image centering on the image coordinates obtained by I-, and is displayed. At this time, the image including the second mark can be used as a template for the second mark precise position measurement. With respect to the enlarged image indicated by I -... I-, the cursor position of the mouse is aligned with the barycentric position of the second mark and clicked, and the image coordinates are set as the barycentric position of the first mark. It should be noted that I-
The alignment at does not have to be exact. I -... Next, the second stored in the mark coordinate storage unit 10.
In order to correspond with the management number of the mark, the management number of the second mark corresponding to the barycentric position of the first mark measured by I- is input. At this time, the barycentric position of the first mark measured by I- is stored as the reference point coordinate in the input management number of the second mark.
【００５４】なお、第１マーク抽出処理では、例えばチ
ャート１上の第１マークの計測順序を予め決めておけ
ば、第２マークの管理番号を入力せずとも、抽出部４側
で自動採番処理が可能である。また、第１マーク抽出処
理では、操作者が作業しやすいように、例えば、表示部
９に表示されている選択画像を二つに分割し、片側に図
２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）
のような拡大画像を表示するようにすれば、位置計測が
しやすくなる。In the first mark extraction process, for example, if the measurement order of the first marks on the chart 1 is predetermined, the extraction unit 4 side automatically assigns numbers without inputting the management numbers of the second marks. It can be processed. Further, in the first mark extraction processing, for example, the selection image displayed on the display unit 9 is divided into two so that the operator can easily work, and the whole image as shown in FIG. Figure 3 (A), (B)
If an enlarged image like this is displayed, position measurement becomes easier.
【００５５】次に、第１マーク抽出処理の他の処理手順
として、拡大画像を用いないで図２のような全体画像だ
けで計測する方式がある。この場合、Ｉ−の処理を行
うと共に、Ｉ−においてＩ−で計測された第１マー
クの重心位置に対応する第２マークの管理番号を入力す
る。このようにすると、拡大画像を用いないため、Ｉ−
、Ｉ−の処理が省略できる。ただし全体画像表示な
ので、第１マークが小さく表示されるため、操作者の好
みで拡大画像を利用するかしないか判断すればよい。Next, as another processing procedure of the first mark extraction processing, there is a method of measuring only the whole image as shown in FIG. 2 without using the enlarged image. In this case, the process of I- is performed, and the management number of the second mark corresponding to the barycentric position of the first mark measured in I- is input in I-. In this way, since the enlarged image is not used, I-
, I- can be omitted. However, since the entire image is displayed, the first mark is displayed in a small size, and therefore it may be determined whether the enlarged image is used or not according to the operator's preference.
【００５６】次に、第１マーク抽出処理を抽出部４によ
り自動処理する場合を説明する。まず、第１マークのう
ち第２マークを含まない外枠部分をテンプレートとして
登録する。この登録は、例えば先に説明した、第１マー
ク抽出処理における最初の第１マークをテンプレート画
像として登録すればよい。すると、テンプレートマッチ
ング処理にて、残りの第１マークを自動で計測すること
ができる。また、第１マークの場合の位置対応付けは、
第１マークの位置が画像上から明確であるため容易に行
える。例えば図２の第１マーク配置であれば、その検出
座標から５点の第１マークの対応付けを行うのは容易で
ある。なお、テンプレートマッチングの処理について
は、後で説明する第２マーク精密位置測定におけるター
ゲットの認識処理（Ｓ６２）と同様なので、説明を省略
する。Next, the case where the extraction unit 4 automatically performs the first mark extraction processing will be described. First, the outer frame portion that does not include the second mark of the first mark is registered as a template. For this registration, for example, the first first mark in the first mark extraction processing described above may be registered as a template image. Then, the remaining first marks can be automatically measured by the template matching process. Also, the position correspondence for the first mark is
Since the position of the first mark is clear from the image, it can be easily performed. For example, in the case of the first mark arrangement in FIG. 2, it is easy to associate the five first marks from the detected coordinates. Note that the template matching process is the same as the target recognition process (S62) in the second mark precise position measurement, which will be described later, and a description thereof will be omitted.
【００５７】続いて、第１マーク抽出処理を抽出部４に
よりさらに自動処理する場合を説明する。第１マーク抽
出処理における第１マークのテンプレート画像を、予め
抽出部４に登録しておく。すると、第１マークのテンプ
レート画像を用いて、テンプレートマッチングの処理に
より第１マークが個別に抽出されるので、Ｉ−の第１
マークを指定する作業は全て省略することも可能であ
る。即ち第１マークが第２マークに対して明確に異なる
マークであれば、仮想のテンプレート画像を抽出部４が
持つことによっても、自動処理が可能となる。しかしな
がら、第１マークは最低３点以上計測すればよいので、
マニュアルによる作業でも、簡単な作業である。Next, a case where the extraction unit 4 further automatically processes the first mark extraction process will be described. The template image of the first mark in the first mark extraction processing is registered in the extraction unit 4 in advance. Then, since the first mark is individually extracted by the template matching process using the template image of the first mark, the first image of I-
It is possible to omit all the work of designating the mark. That is, if the first mark is a mark that is clearly different from the second mark, the automatic processing can be performed even if the extraction unit 4 has a virtual template image. However, since it is sufficient to measure at least 3 points for the first mark,
Even manual work is a simple task.
【００５８】図７に戻り、概略マーク位置測定部５によ
り第２マーク概略位置測定と対応付けを行う（Ｓ５
０）。第２マーク概略位置測定と対応付けは、外部標定
要素を求める工程（II−１）と、第２マークの概算位置
を演算する工程（II−２）を含んでいる。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マー
クの画像座標と対応する基準点座標を式（２）に示す二
次の射影変換式に代入し、観測方程式をたてパラメ−タ
−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示し
ている。次に、基準点座標と画像座標の関係を説明す
る。図９（Ａ）は中心投影における画像座標系と対象座
標系の説明図である。中心投影の場合、投影中心点Ｏｃ
を基準にしてチャート１の置かれる基準点座標系として
の対象座標系５２と、カメラ２のフィルム又はＣＣＤが
置かれる画像座標系５０が図９（Ａ）のような位置関係
にある。対象座標系５２における基準マークのような対
象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を
（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座
標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０ま
での画面距離をＣとする。ω、φ、κは、画像座標系５
０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対する
カメラ撮影時の傾きを表すもので、外部標定要素と呼ば
れる。Returning to FIG. 7, the rough mark position measuring unit 5 associates the rough mark position with the second mark (S5).
0). The second mark approximate position measurement and association includes a step (II-1) of obtaining an external orientation element and a step (II-2) of calculating an approximate position of the second mark. (II-1): In the process outline mark position measuring unit 5 for obtaining the external orientation element, the reference point coordinates corresponding to the image coordinates of the first mark obtained in S40 are converted into a quadratic projective transformation formula shown in Formula (2). Substituting and establishing an observation equation, the parameters b1 to b8 are obtained. X = (b1 * x + b2 * y + b3) / (b7 * x + b8 * y + 1) Y = (b4 * x + b5 * y + b6) / (b7 * x + b8 * y + 1) (2) where X and Y are reference point coordinates and x and y indicates the image coordinates. Next, the relationship between the reference point coordinates and the image coordinates will be described. FIG. 9A is an explanatory diagram of the image coordinate system and the target coordinate system in the central projection. In the case of central projection, the projection center point Oc
9A, the target coordinate system 52 as a reference point coordinate system on which the chart 1 is placed and the image coordinate system 50 on which the film or CCD of the camera 2 is placed have a positional relationship as shown in FIG. 9A. The coordinates of an object such as a reference mark in the object coordinate system 52 are (X, Y, Z), and the coordinates of the projection center point Oc are (X0, Y0, Z0). The coordinates in the image coordinate system 50 are (x, y), and the screen distance from the projection center point Oc to the image coordinate system 50 is C. ω, φ, κ are the image coordinate system 5
It represents the tilt at the time of photographing by the camera with respect to the three axes X, Y, and Z that configure the target coordinate system 52 of 0, and is called an external orientation element.
【００５９】そして、式（２）のパラメ−タ−ｂ１〜ｂ
８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５） （φ≠０、ω＝０のと
き）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１
・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）Then, the parameters b1 to b of the formula (2)
8 is used to obtain the next external orientation element from the equation (3). ω = tan −1 (C · b8) φ = tan −1 (−C · b7 · cos ω) κ = tan −1 (−b4 / b1) (when φ = 0) κ = tan −1 (−b2 / b5) (when φ ≠ 0 and ω = 0) κ = tan −1 {− (A1 · A3−A2 · A4) / (A1
・ A2-A3 ・ A4)} (when φ ≠ 0 and ω ≠ 0)
【００６０】
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝1/２＋Ｚ
ｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−
Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−
Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔ
ａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉ
ｎω、Ａ４＝ｔａｎφ／(ｃｏｓφ・ｔａｎω）とす
る。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４
点の基準点の平均標高とする。ここでは、第１マーク１
ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なの
で、標高一定の面と仮定できる。Ｃは焦点距離で、前述
の画面距離に相当している。Z0 = C · cosω · {(A22 + A32) / (A12 + A42)} 1/2 + Z m X0 = b3− (tan ω · sin κ / cos φ−tan φ · cos κ) × (Zm−Z0) Y0 = b6− (tan ω · cos κ / cos φ-tan φ · sin κ) × (Zm−Z0) (3) where A1 = 1 + tan 2 φ, A2 = B1 + B2 · t
anφ / sinω, A3 = B4 + B5 · tanφ / si
Let nω and A4 = tanφ / (cosφ · tanω). Zm is the first mark 1a, 1b, 1c, 1d4
The average elevation of the reference points. Here, the first mark 1
Since the reference points of points a, 1b, 1c, and 1d are on the plane coordinates, it can be assumed that they are planes with a constant altitude. C is the focal length, which corresponds to the screen distance described above.
【００６１】（II−２）：第２マークの概算位置を演算
する工程
次に、単写真標定の原理から、対象座標系５２で表され
る地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５
０で表される傾いたカメラ座標系におけるカメラ座標
（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。(II-2): Step of calculating approximate position of second mark Next, from the principle of single-photo orientation, with respect to the ground object (X, Y, Z) represented by the object coordinate system 52, Image coordinate system 5
The camera coordinates (xp, yp, zp) in the tilted camera coordinate system represented by 0 are given by Expression (4).
【数１】
ここで、Ｘ0、Ｙ0、Ｚ0は、前述したように、図９
（Ａ）に示すような投影中心点Ｏｃの地上座標とする。[Equation 1] Here, X0, Y0, and Z0 are as shown in FIG.
The ground coordinates of the projection center point Oc as shown in FIG.
【００６２】ここで、式（３）で求めたカメラの傾き
（ω、φ、κ）を、式（４）中に代入し、回転行列の計
算をして、回転行列の要素ａ11〜ａ33を求める。Here, the camera inclination (ω, φ, κ) obtained by the equation (3) is substituted into the equation (4), the rotation matrix is calculated, and the elements a11 to a33 of the rotation matrix are calculated. Ask.
【００６３】次に、求めた回転行列の要素ａ11〜ａ33と
式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及
びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式
｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、
ｙ）を求める。ここで、共線条件式とは、投影中心、写
真像及び地上の対象物が一直線上にある場合に成立する
関係式である。これにより、レンズ収差がない場合の第
２マークの位置が算出されるので、レンズ収差のある現
実のカメラ２で撮影した画像におけるタ−ゲットの概略
の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｘ−Ｘ0）＋ａ13（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｘ−Ｘ0）＋ａ23（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝ （５）Next, the elements a11 to a33 of the obtained rotation matrix, the camera position (X0, Y0, Z0) obtained by the equation (3), and the reference point coordinates (X, Y, Z) of the target are calculated. Substituting in collinear conditional expression {expression (5)}, image coordinates of target (x,
y) is calculated. Here, the collinear conditional expression is a relational expression that holds when the projection center, the photographic image, and the object on the ground are on a straight line. As a result, the position of the second mark in the case where there is no lens aberration is calculated, so the approximate image coordinates of the target in the image captured by the actual camera 2 having lens aberration are obtained. x = −C · {a11 (X−X0) + a12 (X−X0) + a13 (Z−Z0)} / {a31 (X−X0) + a32 (X−X0) + a33 (Z−Z0)} y = −C * {A21 (X-X0) + a22 (X-X0) + a23 (Z-Z0)} / {a31 (X-X0) + a32 (X-X0) + a33 (Z-Z0)} (5)
【００６４】ところで、式（３）中のｔａｎ-1の演算で
は解が二つ求めるため、カメラの傾き（ω、φ、κ）は
それぞれ２つ解をもち全通りの計算を行う。そして、第
１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１
ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する
４点の画像座標との残差の比較により、正解となるω、
φ、κを算出する。なお、ここでは射影変換式として二
次の射影変換式を用いて説明したが、本発明はこれに限
定されるものではなく、三次の射影変換式等の他の射影
変換式を利用しても良い。By the way, since two solutions are obtained in the calculation of tan -1 in the equation (3), the camera inclinations (ω, φ, κ) each have two solutions, and the entire calculation is performed. Then, the first marks 1a, 1b, 1 measured in the first mark extraction process
c, 1d The correct answer ω is obtained by comparing the residuals between the image coordinates of the four points and the corresponding image coordinates of the four points obtained by the equation (5),
Calculate φ and κ. Although the quadratic projection transformation equation is used as the projection transformation equation here, the present invention is not limited to this, and other projection transformation equations such as a cubic projection transformation equation may be used. good.
【００６５】また、概略マーク位置測定部５では、例え
ばマーク座標記憶部１０に格納されている基準点座標フ
ァイルに付加してある第２マークの管理番号を、各第１
マークのタ−ゲット（第２マーク）に割り振ることによ
り、第２マークの対応づけを行う。Further, in the rough mark position measuring unit 5, for example, the management number of the second mark added to the reference point coordinate file stored in the mark coordinate storage unit 10 is assigned to each first mark.
The second marks are associated with each other by allocating the marks to the targets (second marks).
【００６６】図７に戻り、精密マーク位置測定部６によ
って第２マークの精密位置測定を行う（Ｓ６０）。以
下、図８を用いて第２マークの精密位置測定の処理手順
を詳細に説明する。まず、精密マーク位置測定部６は、
第２マークとしてのタ−ゲットを認識する（Ｓ６２）。
このターゲット認識には、例えば正規化相関を用いたテ
ンプレ−トマッチングを用いる。以下、ターゲット認識
の詳細について説明する。Returning to FIG. 7, the precision mark position measuring unit 6 measures the precision position of the second mark (S60). Hereinafter, the processing procedure of the precise position measurement of the second mark will be described in detail with reference to FIG. First, the precision mark position measuring unit 6
The target as the second mark is recognized (S62).
For this target recognition, for example, template matching using normalized correlation is used. The details of target recognition will be described below.
【００６７】（III）ターゲット認識
図９（Ｂ）はターゲット認識に用いられる正規化相関の
テンプレ−ト画像と対象画像の説明図である。まず、第
１マーク抽出処理（Ｓ４０）で計測した第１マーク、例
えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲッ
トの重心位置の中から、任意のタ−ゲットを選ぶ。正規
化相関のテンプレ−ト画像は、選ばれたターゲットの重
心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像と
する。また、第２マーク概略位置測定（Ｓ５０）で算出
したタ−ゲットの概略位置（画像座標）を中心として、
Ｎ×Ｎ画素の画像を対象画像とする。(III) Target Recognition FIG. 9B is an explanatory diagram of a template image of the normalized correlation used for target recognition and a target image. First, an arbitrary target is selected from the barycentric positions of the first marks measured in the first mark extraction processing (S40), for example, the first marks 1a, 1b, 1c, and 1d4 points. The template image of the normalized correlation is an image of M × M pixels centered on the barycentric position (image coordinate) of the selected target. Further, with the approximate position (image coordinates) of the target calculated in the second mark approximate position measurement (S50) as the center,
An image of N × N pixels is set as a target image.
【００６８】次に、対象画像に対して、式（６）に示す
正規化相関によるテンプレ−トマッチングを施し、相関
値が最大となる位置を求める。この相関値が最大値とな
る位置にて重ね合わせが達成され、最大値となる位置に
てタ−ゲットが認識されたとみなす。ここでのテンプレ
−ト画像の中心座標を等倍画像上の画像座標に換算し、
検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ)２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ)２｝］
（６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイ
ズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。
また、画像の正方サイズＮ、Ｍは可変であるが、処理時
間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格
納できるのを前提にできるだけ小さくするのがよい。Next, the target image is subjected to template matching by the normalized correlation shown in the equation (6) to find the position where the correlation value is maximum. It is considered that the superposition is achieved at the position where the correlation value becomes the maximum value and the target is recognized at the position where the correlation value becomes the maximum value. Convert the center coordinates of the template image here to the image coordinates on the normal size image,
Use as the detection point. A = {M 2 × Σ (Xi × Ti) −ΣXi × ΣTi} / [{M 2 × ΣXi 2 − (ΣXi) 2 } × {M 2 × ΣTi 2 − (ΣTi) 2 }] (6) where , A is the correlation value, M is the square size of the template image, Xi is the target image, and Ti is the template image.
Further, although the square sizes N and M of the image are variable, it is preferable to make N and M as small as possible on the assumption that the target can be sufficiently stored in order to speed up the processing time.
【００６９】図８に戻り、第２マークの精密位置測定を
行うために、第２マークのサブピクセルエッジ検出を行
う（Ｓ６４）。第２マークのサブピクセルエッジ検出を
行う対象画像は、Ｓ６２でタ−ゲットと認識された検出
点を中心としてＮ×Ｎ画素の画像とする。対象画像に存
在する濃淡波形に、式（７）に示すガウス関数の二次微
分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧ
フィルタ）を施し、演算結果の曲線の２箇所のゼロ交差
点、つまりエッジをサブピクセルで検出する。ここで、
サブピクセルとは一画素よりも細かい精度で位置検出を
行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２
） （７）
ここで、σはガウス関数のパラメ−タ−である。Returning to FIG. 8, in order to measure the precise position of the second mark, subpixel edge detection of the second mark is performed (S64). The target image for which the sub-pixel edge detection of the second mark is performed is an image of N × N pixels centered on the detection point recognized as the target in S62. For the grayscale waveform existing in the target image, the Laplacian-Gaussian filter (LOG), which is the second derivative of the Gaussian function shown in Expression (7), is used.
Filtering is performed, and two zero crossing points, that is, edges of the curve of the calculation result are detected by subpixels. here,
The sub-pixel means that the position detection is performed with a finer precision than one pixel. ∇ 2 · G (x) = {(x 2 -2σ 2) / 2πσ 6} · exp (-x 2 / 2σ 2) (7) where, sigma is the Gaussian function parameters - data - a.
【００７０】次に、ターゲットの重心位置を検出し（Ｓ
６６）、戻しとする（Ｓ６８）。ここでは、式（７）を
用いて求めたｘ、ｙ方向のエッジ位置より、その交点を
タ−ゲットの重心位置とする。なお、第２マークの精密
位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定され
るものではなく、他の重心位置検出法、例えばモーメン
ト法やテンプレートマッチング法をさらに改良して利用
するなど、どのような求め方をしても良い。Next, the center of gravity of the target is detected (S
66) and return (S68). Here, the intersection of the edge positions in the x and y directions obtained by using equation (7) is taken as the center of gravity of the target. The precise position measurement of the second mark is not limited to the process disclosed in S62 to S66, and any other method of detecting the position of the center of gravity, for example, the moment method or the template matching method may be further improved and used. You may make such a request.
【００７１】図７に戻り、全タ−ゲット重心位置の確認
をし、一見明白な過誤のないことを確認する（Ｓ７
０）。即ち、ターゲット認識されたターゲットの位置検
出が適切であるか確認する。操作者による確認の便宜の
ために、検出されたターゲットの位置を表示部９に表示
する。過誤がない場合には、Ｓ８０に行く。過誤があれ
ば、不適切なターゲットの位置を修正する（Ｓ７５）。
例えば、Ｓ６２で演算された相関値が低いターゲット
や、重心検出位置が概略検出位置とあまりにかけ離れて
しまったターゲットは、表示部９上にそのターゲット表
示を赤くするなど、操作者に明確にわかるように表示す
る。すると、過誤のあったターゲットに関しては、操作
者によるマニュアルにて計測しなおす（マウスで重心位
置を指定する）。なお、ここで過誤のあったターゲット
位置を無理に修正しなくとも、あとのキャリブレーショ
ンパラメータを求めるためのＳ９０の処理過程によって
も、異常点として検出されるので、取り除くことが可能
である。Returning to FIG. 7, the positions of the centers of gravity of all targets are confirmed, and it is confirmed that there is no apparent error (S7).
0). That is, it is confirmed whether the position of the target recognized is appropriate. The position of the detected target is displayed on the display unit 9 for the convenience of confirmation by the operator. If there is no error, go to S80. If there is an error, the inappropriate target position is corrected (S75).
For example, a target with a low correlation value calculated in S62 or a target whose center-of-gravity detection position is too far from the approximate detection position is displayed in red on the display unit 9 so that the operator can clearly recognize it. To display. Then, with respect to the target with the error, the operator manually re-measures (the position of the center of gravity is designated by the mouse). It should be noted that, even if the target position in which the error has occurred is not forcibly corrected, it can be removed because it is also detected as an abnormal point in the subsequent process step of S90 for obtaining the calibration parameter.
【００７２】そして、Ｓ３０〜Ｓ７５の処理を、レンズ
収差の測定に必要な画像分繰り返す（Ｓ８０）。例え
ば、撮影された画像が５枚であれば、全ての５枚につい
て繰り返しても良く、またレンズ収差の測定に必要な画
像分に到達していれば、撮影された画像の全部を繰り返
して処理しなくてもよい。Then, the processing of S30 to S75 is repeated for the image necessary for measuring the lens aberration (S80). For example, if the number of captured images is 5, all 5 images may be repeated, and if the number of images required to measure the lens aberration has been reached, all of the captured images are repeatedly processed. You don't have to.
【００７３】レンズ収差の測定に必要な画像分の計測処
理を終了したら、次に演算処理部７のカメラの内部パラ
メータ演算処理を用いて、レンズ収差のキャリブレーシ
ョン要素を求める処理に移る（Ｓ９０）。ここでは、キ
ャリブレーション要素の演算対象として、チャート１上
の第２マークについて、概略マーク位置測定部５と精密
マーク位置測定部の処理により対応づけがなされ重心位
置が求められている全ての第２マークについて行う。When the measurement processing for the images necessary for measuring the lens aberration is completed, the processing for calculating the calibration element of the lens aberration is performed by using the internal parameter calculation processing of the camera of the calculation processing unit 7 (S90). . Here, as the calculation target of the calibration element, for the second mark on the chart 1, all the second marks for which the positions of the centers of gravity have been obtained by associating them with each other by the processing of the rough mark position measuring unit 5 and the precision mark position measuring unit. Do about the mark.
【００７４】（IV）：カメラの内部パラメータ演算処理
（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理として
は、例えば写真測量分野で使用されている「セルフキャ
リブレーション付きバンドル調整法」を用いる。ここ
で、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面
を結ぶ光束（バンドル）は同一直線上になければならな
いという共線条件に基づき、各画像の光束１本毎に観測
方程式をたて、最小２乗法によりカメラの位置と傾き
（外部標定要素）と第２マークの座標位置を同時調整す
る方法である。「セルフキャリブレーション付き」とは
さらに、キャリブレーション要素、即ちカメラの内部定
位（レンズ収差、主点、焦点距離）を求めることができ
る方法である。セルフキャリブレーション付きバンドル
調整法（以下単に「バンドル調整法」という）の共線条
件基本式は、次の（式８）と（式９）である。(IV): Internal Parameter Calculation Process of Camera (Bundle Adjustment Method with Self-Calibration) The internal parameter calculation process of the camera of the calculation processing unit 7 is, for example, “with self-calibration” used in the field of photogrammetry. Bundle adjustment method "is used. Here, the “bundle adjustment” is based on the collinear condition that the light flux (bundle) connecting the subject, the lens, and the CCD surface must be on the same straight line, and an observation equation is prepared for each light flux of each image. , The method of simultaneously adjusting the position and inclination of the camera (external orientation element) and the coordinate position of the second mark by the least squares method. “With self-calibration” is a method in which a calibration factor, that is, an internal localization (lens aberration, principal point, focal length) of the camera can be obtained. The collinear condition basic equations of the bundle adjustment method with self-calibration (hereinafter simply referred to as “bundle adjustment method”) are the following (Expression 8) and (Expression 9).
【００７５】[0075]
【数２】 [Equation 2]
【数３】 [Equation 3]
【００７６】この（式８）と（式９）は、第１マーク抽
出処理で説明した単写真標定の共線条件式（５）を基本
式とするものである。即ちバンドル調整法は、（式８）
と（式９）を用いて、複数画像から最小二乗近似して、
各種解を算出する手法であり、各撮影位置のカメラの外
部標定要素を同時に求めることが可能となる。即ち、カ
メラのキャリブレーション要素を求めることが可能とな
る。These (formula 8) and (formula 9) are based on the collinear condition formula (5) of the single photograph orientation described in the first mark extraction processing. That is, the bundle adjustment method is (Equation 8)
Using (Equation 9) and least squares approximation from multiple images,
This is a method of calculating various solutions, and it becomes possible to simultaneously obtain the external orientation elements of the camera at each photographing position. That is, it becomes possible to obtain the calibration element of the camera.
【００７７】次に、内部定位の補正モデル（レンズ収
差）として、放射方向レンズ歪を有する場合の一例を次
の（式１０）に示す。Next, as an internal localization correction model (lens aberration), an example in the case of having radial lens distortion is shown in the following (Equation 10).
【数４】
補正モデルはこれに限らず、使用レンズにあてはまるも
のを選択すればよい。これら計算は、基準点を地上座標
と画像座標で６点以上あれば、逐次近似解法によって算
出される。なお、演算処理部７では、逐次近似解法の閾
値によって、閾値以上となった場合の誤差の大きいチャ
ート１上の第２マークを省くことによって、正確なキャ
リブレーション要素を求めることが可能となる。そこ
で、ターゲット位置重心位置確認（Ｓ７０）において、
誤差の大きい第２マークとして検出されなかった場合で
も、Ｓ９０にて過誤のある第２マークを検出して、除去
することが可能である。[Equation 4] The correction model is not limited to this, and a model applicable to the lens used may be selected. These calculations are performed by the iterative solution if there are 6 or more reference points in ground coordinates and image coordinates. Note that the arithmetic processing unit 7 can obtain an accurate calibration element by omitting the second mark on the chart 1 that has a large error when the threshold value is equal to or greater than the threshold value of the iterative solution method. Therefore, in the target position center of gravity position confirmation (S70),
Even if the second mark having a large error is not detected, it is possible to detect and remove the erroneous second mark in S90.
【００７８】図７に戻り、演算処理部７によるキャリブ
レーション要素を求める演算処理結果を判断し（Ｓ１０
０）、演算処理が収束しなかったり、或いは得られたキ
ャリブレーション要素が適正と思われないものであった
場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のあ
る第２マークを含む画像を選択する。Ｓ９０におけるキ
ャリブレーション終了時点で、演算処理部７によりどの
画像のどの第２マークに過誤があるか判明しているの
で、その各画像における該当ターゲット検出点を表示し
て、確認する。Returning to FIG. 7, the calculation processing result for obtaining the calibration element by the calculation processing unit 7 is determined (S10).
0), if the calculation process does not converge, or if the obtained calibration element is not considered to be appropriate, then a countermeasure is taken in S110. In S110, the image including the erroneous second mark is selected. At the time of completion of the calibration in S90, the arithmetic processing unit 7 has determined which second mark of which image is erroneous. Therefore, the corresponding target detection point in each image is displayed and confirmed.
【００７９】そして、操作者はマニュアル操作にて過誤
のある第２マークを修正する（Ｓ１２０）。即ち、過誤
のある第２マークの重心位置座標がずれて表示されてい
るので、過誤のある第２マークとして表示されているマ
ークを、適性として表示されている重心位置に移動させ
ることで、修正が行われる。そして、過誤のある第２マ
ークの位置修正が完了したか判断し（Ｓ１３０）、完了
していればＳ９０のキャリブレーション要素演算に戻
り、キャリブレーション要素を演算しなおす。他方、他
に修正箇所があれば、Ｓ１１０に戻って、過誤のある第
２マークの位置修正操作を繰り返す。Then, the operator manually corrects the erroneous second mark (S120). That is, since the barycentric position coordinates of the erroneous second mark are displayed in a displaced manner, the mark displayed as the erroneous second mark is moved to the barycentric position displayed as aptitude, and the correction is performed. Is done. Then, it is judged whether or not the position correction of the erroneous second mark is completed (S130), and if completed, the process returns to the calibration element calculation of S90 to recalculate the calibration element. On the other hand, if there are other correction points, the process returns to S110 and the position correction operation of the erroneous second mark is repeated.
【００８０】キャリブレーション要素を求める演算処理
結果が適性であれば、結果を表示部９に表示する（Ｓ１
４０）。図１０は、キャリブレーション要素の演算処理
結果の一例を示す説明図である。例えば、表示部９への
表示には、キャリブレーション要素である焦点距離、主
点位置、歪曲パラメータを表示する。レンズ収差を示す
ディストーションについては、補正前曲線１０２、補正
後曲線１０４、理想に補正された場合１０６、について
グラフィック表示するとわかりやすい。If the calculation processing result for obtaining the calibration element is appropriate, the result is displayed on the display unit 9 (S1).
40). FIG. 10 is an explanatory diagram illustrating an example of the calculation processing result of the calibration element. For example, the display unit 9 displays the focal length, principal point position, and distortion parameter that are calibration elements. It is easy to understand the distortion indicating the lens aberration by graphically displaying the pre-correction curve 102, the post-correction curve 104, and the ideal correction 106.
【００８１】さらに、キャリブレーションした結果に基
づいて、ディストーション補正した画像を、画像処理部
８にて作成して表示部９に表示することもできる。こう
すれば、ディストーションの大きいカメラにて撮影した
画像も、ディストーション補正されて表示する画像表示
装置を提供することが可能となる。Further, based on the result of calibration, an image whose distortion has been corrected can be created by the image processing unit 8 and displayed on the display unit 9. By doing so, it is possible to provide an image display device that displays an image captured by a camera with large distortion after distortion correction.
【００８２】次に、本発明のキャリブレーション結果診
断装置について説明する。キャリブレーション結果診断
装置は、キャリブレーション装置により計測されたレン
ズに対するキャリブレーション要素を利用して、当該レ
ンズで撮影した立体視可能な画像データにより三次元計
測する場合の精度を確認する場合に好適である。即ち、
キャリブレーション結果診断装置は、厳密にキャリブレ
ーションを行い、精度よく三次元計測を行いたい場合
や、平面チャートを用いて計測したレンズに対するキャ
リブレーション要素に過誤がないかさらに検証したい場
合に利用する。Next, the calibration result diagnosis device of the present invention will be described. The calibration result diagnosis device is suitable for confirming the accuracy in three-dimensional measurement by the stereoscopically visible image data captured by the lens using the calibration element for the lens measured by the calibration device. is there. That is,
The calibration result diagnosis device is used when strict calibration is required and accurate three-dimensional measurement is performed, or when it is desired to further verify whether or not there is an error in the calibration element for the lens measured using the plane chart.
【００８３】図１１は本発明のキャリブレーション結果
診断装置の一実施の形態を説明する構成ブロック図であ
る。図において、立体基準チャート２０は、ターゲット
２０ａ〜２０ｈの位置が三次元的に正確に測定されてい
るもので、ターゲットの数、高さ、並びに平面的な座標
は三次元計測に適するように適宜に定められている。カ
メラ２２は、立体基準チャート２０をステレオ撮影する
もので、レンズ収差の補償対象となるカメラ２と同種の
カメラを用いて、且つカメラ２と同じ焦点距離で撮影す
るのが良い。基準ステレオ画像データ２４は、立体基準
チャート２０をカメラ２２にてステレオ視できるように
撮影した画像データで、典型的には左撮影位置２２Ｌと
右撮影位置２２Ｒの一組の撮影位置によって撮影されて
いる。FIG. 11 is a block diagram showing the configuration of an embodiment of the calibration result diagnosis device of the present invention. In the figure, the three-dimensional reference chart 20 is such that the positions of the targets 20a to 20h are accurately measured three-dimensionally, and the number, height, and planar coordinates of the targets are appropriately set so as to be suitable for three-dimensional measurement. Stipulated in. The camera 22 stereoscopically captures the stereoscopic reference chart 20, and it is preferable to use the same type of camera as the camera 2 that is the compensation target of the lens aberration and to capture the same focal length as the camera 2. The reference stereo image data 24 is image data obtained by photographing the stereoscopic reference chart 20 so that it can be viewed stereoscopically by the camera 22, and is typically photographed at a pair of photographing positions of the left photographing position 22L and the right photographing position 22R. There is.
【００８４】ターゲット位置測定部２６では、基準ステ
レオ画像データ２４に撮影されているターゲット２０ａ
〜２０ｈを抽出して、このターゲット２０ａ〜２０ｈの
画像座標系での位置を測定する。表示部２８は、ＣＲＴ
や液晶等の表示装置で、例えば基準ステレオ画像データ
２４やターゲット位置測定部２６で測定された立体基準
チャート２０のターゲット位置を表示する。演算処理部
３０は、ターゲット位置測定部２６で測定されたターゲ
ット２０ａ〜２０ｈの画像座標系での位置情報から、相
互標定や絶対標定に必要なパラメータを演算するもの
で、レンズ収差補償パラメータ記憶部１１に記憶された
キャリブレーション要素が用いられる。キャリブレーシ
ョン要素は、キャリブレーション装置により計測された
レンズに対するものである。演算処理部３０での標定用
演算には、航空写真測量等で使用されるステレオ画像に
よる表面形状の凸凹測定に必要な演算手法が用いられ
る。In the target position measuring unit 26, the target 20a photographed in the reference stereo image data 24 is recorded.
.About.20h are extracted, and the positions of the targets 20a to 20h in the image coordinate system are measured. The display unit 28 is a CRT.
The target position of the stereo reference chart 20 measured by the reference stereo image data 24 or the target position measuring unit 26 is displayed on a display device such as a liquid crystal display. The arithmetic processing unit 30 calculates parameters necessary for mutual orientation and absolute orientation from the position information of the targets 20a to 20h in the image coordinate system measured by the target position measuring unit 26, and the lens aberration compensation parameter storage unit. The calibration elements stored in 11 are used. The calibration element is for the lens measured by the calibration device. In the calculation for orientation in the calculation processing unit 30, a calculation method necessary for measuring the unevenness of the surface shape by a stereo image used in aerial photogrammetry or the like is used.
【００８５】立体基準チャートターゲット記憶部３２に
は、立体基準チャート２０の全ターゲット２０ａ〜２０
ｈの位置が記憶されている。キャリブレーション判定部
としての収差補償パラメータ適性度判定部３４は、演算
処理部３０で演算された立体基準チャート２０のターゲ
ット位置と、立体基準チャートターゲット記憶部３２に
記憶されたターゲット２０ａ〜２０ｈの位置とを比較し
て、レンズ収差補償パラメータ記憶部１１に記憶された
キャリブレーション要素によるレンズ収差の補償が適切
であるか判定する。The three-dimensional reference chart target storage unit 32 stores all the targets 20a-20 of the three-dimensional reference chart 20.
The position of h is stored. The aberration compensation parameter suitability determination unit 34 as a calibration determination unit includes a target position of the stereoscopic reference chart 20 calculated by the arithmetic processing unit 30 and positions of the targets 20a to 20h stored in the stereoscopic reference chart target storage unit 32. And are compared to determine whether the compensation of the lens aberration by the calibration element stored in the lens aberration compensation parameter storage unit 11 is appropriate.
【００８６】ステレオ画像生成手段３６は、演算処理部
３０にて相互標定された基準ステレオ画像データ２４を
読込んで、基準ステレオ画像データ２４のステレオ画像
を生成するもので、例えば画像演算処理を高速に行うプ
ロセッサが使用される。ここでステレオ画像とは、カメ
ラ２２で撮影された右撮影方向と左撮影方向の一組のス
テレオ撮影された画像を偏位修正して、立体視できるよ
うに調整したものをいう。立体画像表示部３８は、ステ
レオ画像生成手段３６により形成された立体画像を立体
表示する画像装置である。なお、ターゲット位置測定部
２６、演算処理部３０、収差補償パラメータ適性度判定
部３４並びにステレオ画像生成手段３６は、デジタル図
化機あるいはパソコンの中に構成することもできる。The stereo image generating means 36 reads the reference stereo image data 24 which are mutually orientated by the arithmetic processing section 30 and generates a stereo image of the reference stereo image data 24. For example, the image arithmetic processing can be performed at high speed. The processor to do is used. Here, the stereo image refers to a set of stereo-images captured by the camera 22, which are stereo-photographed in the right and left photographing directions, and are adjusted for stereoscopic viewing. The stereoscopic image display unit 38 is an image device that stereoscopically displays the stereoscopic image formed by the stereo image generation unit 36. The target position measurement unit 26, the arithmetic processing unit 30, the aberration compensation parameter suitability determination unit 34, and the stereo image generation unit 36 can be configured in a digital plotter or a personal computer.
【００８７】図１２は本発明のキャリブレーション結果
診断装置を用いたキャリブレーション結果診断を説明す
るフローチャートである。まず、キャリブレーション結
果診断装置に基準ステレオ画像データ２４を読込ませる
（Ｓ２００）。このとき、立体基準チャートターゲット
記憶部３２に対して、基準ステレオ画像データ２４に表
示されたターゲット２０ａ〜２０ｈの正確な位置を入力
しておくとよい。FIG. 12 is a flow chart for explaining the calibration result diagnosis using the calibration result diagnosis apparatus of the present invention. First, the reference stereo image data 24 is read by the calibration result diagnosis device (S200). At this time, it is preferable to input the accurate positions of the targets 20a to 20h displayed in the reference stereo image data 24 to the stereo reference chart target storage unit 32.
【００８８】次に、ターゲット位置測定部２６によっ
て、基準ステレオ画像データ２４を表示部２８に表示す
る（Ｓ２１０）。この際に、ターゲット位置測定部２６
は基準ステレオ画像データ２４にターゲットとして認識
された画素を操作者が識別しやすいように画像処理して
もよい。Next, the target position measuring unit 26 displays the reference stereo image data 24 on the display unit 28 (S210). At this time, the target position measuring unit 26
May perform image processing so that the operator can easily identify the pixel recognized as the target in the reference stereo image data 24.
【００８９】次に、ターゲット位置測定部２６によっ
て、基準ステレオ画像データ２４の左右（ステレオ）画
像の各画像における対応するターゲット座標をそれぞれ
計測する（Ｓ２２０）。典型的には、操作者が表示部２
８に表示された画像上で、マウスを用いてターゲットを
指示すると、ターゲット位置測定部２６によってターゲ
ットの画像座標値が読み取られる。なお、ターゲット座
標の画像座標値は、予め基準ステレオ画像データ２４の
段階で、各画像毎に読込んで、ターゲット座標値として
キャリブレーション結果診断装置に入力してもよい。Next, the target position measuring unit 26 measures the corresponding target coordinates in each of the left and right (stereo) images of the reference stereo image data 24 (S220). Typically, the operator operates the display unit 2
When the target is pointed by using the mouse on the image displayed in 8, the target position measuring unit 26 reads the image coordinate value of the target. The image coordinate value of the target coordinate may be read in advance for each image at the stage of the reference stereo image data 24 and input to the calibration result diagnosis device as the target coordinate value.
【００９０】次に、演算処理部３０によって、読込まれ
たターゲットの画像座標値により相互標定の演算処理を
行う（Ｓ２３０）。この際に、読込まれたターゲットの
画像座標値に対して演算処理部３０によって、レンズ収
差補償パラメータ記憶部１１に記憶されたキャリブレー
ション要素によるレンズ収差の補償がなされる。また、
立体基準チャートターゲット記憶部３２に記憶されたタ
ーゲット２０ａ〜２０ｈの正確な位置を用いると、演算
処理部３０によって、絶対標定が可能となる。相互標定
であればモデル座標値が、絶対標定であれば三次元座標
値での比較が可能となる。なお、キャリブレーション装
置により計測されたレンズに対するキャリブレーション
要素が劣悪であれば、立体視自体が行えない状態である
ため、標定ができないという事実によっても確認可能と
なる。Next, the arithmetic processing unit 30 performs the mutual orientation arithmetic processing based on the read image coordinate values of the target (S230). At this time, the arithmetic processing unit 30 compensates the lens aberration by the calibration element stored in the lens aberration compensation parameter storage unit 11 with respect to the read image coordinate value of the target. Also,
By using the accurate positions of the targets 20a to 20h stored in the three-dimensional reference chart target storage unit 32, the arithmetic processing unit 30 enables absolute orientation. If the relative orientation is used, model coordinate values can be compared, and if the absolute orientation is used, three-dimensional coordinate values can be used for comparison. If the calibration element for the lens measured by the calibration device is inferior, stereoscopic vision itself cannot be performed, and the fact that orientation cannot be performed can be confirmed.
【００９１】（Ｖ）：相互標定
ここで、相互標定の詳細について説明する。標定計算は
航空写真測量等で用いられているもので、相互標定と絶
対標定の２段階計算により、左右それぞれの撮像装置の
位置等が求められる。相互標定では、以下の共面条件式
によりステレオ撮影パラメータを求める。(V): Mutual Orientation Here, the details of the mutual orientation will be described. The orientation calculation is used in aerial photogrammetry, etc., and the positions of the left and right imaging devices are obtained by two-step calculation of mutual orientation and absolute orientation. In the mutual orientation, the stereo photographing parameters are calculated by the following coplanar conditional expressions.
【００９２】図１３はモデル座標系ＸＹＺと左右のカメ
ラ座標系ｘｙｚを用いて標定計算を説明する図である。
モデル座標系ＸＹＺの原点Ｏを左側の投影中心にとり、
右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺
は、基線長ｌを単位長さにとる。このとき求めるパラメ
ータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転
角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転
角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この
場合左側のカメラのＸ軸の回転角ω１は０なので、考慮
する必要ない。FIG. 13 is a diagram for explaining the orientation calculation using the model coordinate system XYZ and the left and right camera coordinate systems xyz.
Taking the origin O of the model coordinate system XYZ as the projection center on the left side,
The line connecting the projection centers on the right side is taken as the X axis. The scale is based on the unit length of the baseline length l. The parameters to be obtained at this time are the rotation angle κ1 of the left camera, the rotation angle φ1 of the Y axis, the rotation angle κ2 of the Z axis of the right camera, the rotation angle φ2 of the Y axis, and the rotation angle ω2 of the X axis. There are two rotation angles. In this case, the rotation angle ω1 of the X-axis of the left camera is 0, so it need not be considered.
【００９３】[0093]
【数５】
このような条件にすると、（式１１）の共面条件式は
（式１２）のようになり、この式を解けば各パラメータ
が求める。[Equation 5] Under such conditions, the coplanar conditional expression of (Expression 11) becomes as shown in (Expression 12), and each parameter is obtained by solving this expression.
【数６】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間
には、次に示すような座標変換の関係式が成り立つ。[Equation 6] Here, the following relational expression of coordinate conversion holds between the model coordinate system XYZ and the camera coordinate system xyz.
【数７】 [Equation 7]
【００９４】（式１１）〜（式１３）の式を用いて、次
の手順により、未知パラメータを求める。
Ｖ−１…初期近似値は通常０とする。
Ｖ−２…共面条件式（式１２）を近似値のまわりにテー
ラー展開し、線形化したときの微分係数の値を（式１
３）中の２つの式により求め、観測方程式をたてる。
Ｖ−３…最小二乗法をあてはめ、近似値に対する補正量
を求める。
Ｖ−４…近似値を補正する。
Ｖ−５…補正された近似値を用いて、Ｖ−２〜Ｖ−５ま
での操作を収束するまで繰り返す。Using the equations (11) to (13), the unknown parameter is obtained by the following procedure. V-1 ... The initial approximation value is usually 0. V-2 ... The value of the differential coefficient when the coplanar conditional expression (Equation 12) is linearly expanded around the approximate value and linearized is (Equation 1
3) Obtain the two equations in, and make an observation equation. V-3: The least squares method is applied to obtain the correction amount for the approximate value. V-4 ... Corrects the approximate value. V-5 ... Using the corrected approximate value, the operations from V-2 to V-5 are repeated until convergence.
【００９５】以上の相互標定計算において、レンズ収差
補償パラメータ記憶部１１に記憶されたキャリブレーシ
ョン要素、即ちチャート１により求められたキャリブレ
ーション要素を利用して計算する。具体的には、主点位
置及びレンズ収差値Δｘ、Δｙはキャリブレーション要
素により補正して計算する。また、画面距離（焦点距
離）ｃもそのキャリブレーション値を利用して計算す
る。In the above-mentioned mutual orientation calculation, the calibration element stored in the lens aberration compensation parameter storage unit 11, that is, the calibration element obtained from the chart 1 is used for the calculation. Specifically, the principal point position and the lens aberration values Δx and Δy are corrected and calculated by the calibration element. The screen distance (focal length) c is also calculated using the calibration value.
【００９６】さらに、絶対標定を行う場合には、立体基
準チャートターゲット記憶部３２に記憶されたターゲッ
ト２０ａ〜２０ｈの位置を用いる。すると、縮尺が分る
ので、ターゲットの実座標上の三次元値を用いての比較
が可能となる。Furthermore, when absolute orientation is performed, the positions of the targets 20a to 20h stored in the three-dimensional reference chart target storage unit 32 are used. Then, since the scale is known, it is possible to perform comparison using the three-dimensional value of the target on the actual coordinates.
【００９７】図１２に戻り、収差補償パラメータ適性度
判定部３４により、レンズ収差補償パラメータ記憶部１
１に記憶されたキャリブレーション要素によるレンズ収
差の補償が適切であるか判定する（Ｓ２４０）。即ち、
収差補償パラメータ適性度判定部３４は、演算処理部３
０で演算された立体基準チャート２０のターゲット位置
と、立体基準チャートターゲット記憶部３２に記憶され
たターゲット２０ａ〜２０ｈの位置とを比較して、許容
される誤差の範囲内であれば「適性」とする。許容され
る誤差の範囲は、計測条件から求めることができるが、
好ましくはレンズ収差を補償した撮影データを利用する
者の許容誤差範囲によって判定する。なお、チャート１
によるキャリブレーション要素が誤差を含んでいれば、
上述した相互標定演算が収束しない場合がありうる。そ
の際は、収差補償パラメータ適性度判定部３４により、
「不適性」として判定する。Returning to FIG. 12, the aberration compensation parameter suitability determination unit 34 causes the lens aberration compensation parameter storage unit 1 to operate.
It is determined whether the compensation of the lens aberration by the calibration element stored in 1 is appropriate (S240). That is,
The aberration compensation parameter suitability determination unit 34 includes an arithmetic processing unit 3
If the target position of the three-dimensional reference chart 20 calculated by 0 is compared with the positions of the targets 20a to 20h stored in the three-dimensional reference chart target storage unit 32, and if it is within the allowable error range, "appropriate" And The allowable error range can be calculated from the measurement conditions,
Preferably, it is determined by the allowable error range of the person who uses the captured data in which the lens aberration is compensated. Chart 1
If the calibration element due to contains an error,
The above-described mutual orientation calculation may not converge. In that case, the aberration compensation parameter suitability determination unit 34
Judge as "inappropriate".
【００９８】ここでキャリブレーション要素の判定を終
了してもよいが、以上の相互標定データと立体基準チャ
ートターゲット記憶部３２に記憶されたターゲット２０
ａ〜２０ｈの位置を利用して、ステレオ画像を作成し、
確認することも可能となる。ステレオ画像を作成する場
合は、さらに以下の処理を行う。Here, the determination of the calibration element may be ended, but the target 20 stored in the above-mentioned mutual orientation data and the stereo reference chart target storage unit 32.
Create a stereo image using the positions from a to 20h,
It is also possible to confirm. When creating a stereo image, the following processing is further performed.
【００９９】ステレオ画像生成手段３６により、基準ス
テレオ画像データ２４のステレオ画像を作成する（Ｓ２
５０）。相互標定による外部標定要素演算によって、ス
テレオ画像の位置と傾きがわかるので、さらにキャリブ
レーション要素を加味して、ステレオ画像生成手段３６
により最終的なステレオ画像を作成する。The stereo image generation means 36 creates a stereo image of the reference stereo image data 24 (S2).
50). Since the position and the inclination of the stereo image can be known by the external orientation element calculation based on the mutual orientation, the stereo image generating means 36 is further added with the calibration element added.
To create the final stereo image.
【０１００】そして、表示部２８に作成したステレオ画
像を表示させる（Ｓ２６０）。あるいは画像データを出
力させる。表示部２８に立体画像モニタがあれば、ここ
にステレオ画像を表示して視覚的に確認することができ
る。この場合、チャート１によるキャリブレーション要
素が悪ければ、立体視のできない（例えば縦視差の除去
できていない）画像が表示されるので確認できる。ある
いは、基準座標位置と計算した測定座標位置を表示する
ことによっても、立体的な位置の違いを表示部２８上で
確認可能となる。仮に、ステレオモニタが無ければ、ス
テレオ画像データを出力して、他の表示装置にて表示確
認も可能となる。Then, the created stereo image is displayed on the display unit 28 (S260). Alternatively, the image data is output. If the display unit 28 has a stereoscopic image monitor, a stereoscopic image can be displayed here for visual confirmation. In this case, if the calibration element according to the chart 1 is bad, an image that cannot be stereoscopically viewed (for example, the vertical parallax cannot be removed) is displayed and can be confirmed. Alternatively, by displaying the reference coordinate position and the calculated measurement coordinate position, it is possible to confirm the difference in three-dimensional position on the display unit 28. If there is no stereo monitor, stereo image data can be output and the display can be confirmed on another display device.
【０１０１】表示されたステレオ画像をみて、気に入ら
ない精度であれば、チャート１とカメラ２を利用したキ
ャリブレーション作業全体をやり直して、レンズ収差の
キャリブレーション要素を求める。Looking at the displayed stereo image, if the accuracy is unfavorable, the entire calibration work using the chart 1 and the camera 2 is redone to find the calibration element of the lens aberration.
【０１０２】図１４は本発明のキャリブレーション結果
診断装置の第２の実施の形態を説明する構成ブロック図
である。なお、図１４において前記図１１と同一作用を
するものには同一符号を付して、説明を省略する。図に
おいて、基準演算処理部３１は、基準ステレオ画像デー
タと共に用意された基準キャリブレーション要素を用い
て、基準ステレオ画像データの標定演算を行い、基準点
のモデル座標値又は三次元座標値を求める。収差補償パ
ラメータ適性度判定部３４は、演算処理部３０で演算さ
れた基準点のモデル座標値又は三次元座標値と、基準演
算処理部３１で演算された基準点のモデル座標値又は三
次元座標値とを比較して、キャリブレーション要素の適
否判断を行う。FIG. 14 is a block diagram showing the configuration of a second embodiment of the calibration result diagnosis device of the present invention. Note that in FIG. 14, those having the same operations as those in FIG. 11 are designated by the same reference numerals, and description thereof will be omitted. In the figure, the reference calculation processing unit 31 uses the reference calibration element prepared together with the reference stereo image data to perform the orientation calculation of the reference stereo image data to obtain the model coordinate value or the three-dimensional coordinate value of the reference point. The aberration compensation parameter suitability determination unit 34 determines the model coordinate value or three-dimensional coordinate value of the reference point calculated by the calculation processing unit 30 and the model coordinate value or three-dimensional coordinate value of the reference point calculated by the reference calculation processing unit 31. The suitability of the calibration element is judged by comparing it with the value.
【０１０３】このように構成された装置においては、カ
メラ２２のレンズに対する基準キャリブレーション要素
が予め用意されている。そして、収差補償パラメータ適
性度判定部３４に用いる立体基準チャート２０における
基準点の座標値が、基準演算処理手段３１で演算された
基準点のモデル座標値又は三次元座標値として与えられ
る。そこで、例えばレンズ製造の分野の品質管理のよう
に、多量にレンズを取扱う場合の個別レンズのキャリブ
レーション要素のバラツキを管理するのに適している。In the apparatus thus constructed, the reference calibration element for the lens of the camera 22 is prepared in advance. Then, the coordinate value of the reference point in the stereoscopic reference chart 20 used in the aberration compensation parameter suitability determination unit 34 is given as the model coordinate value or the three-dimensional coordinate value of the reference point calculated by the reference calculation processing means 31. Therefore, it is suitable for managing the variations in the calibration elements of individual lenses when a large number of lenses are handled, such as quality control in the field of lens manufacturing.
【０１０４】なお、本発明のキャリブレーション結果診
断装置に用いられる基準ステレオ画像データ２４とし
て、カメラ２と同じタイプのカメラによって、カメラ２
と同じ焦点距離で予め撮影した２枚の基準ステレオ画像
データを用いる場合を説明したが、本発明はこれに限定
されるものではなく、例えば立体基準チャート２０の基
準ステレオ画像座標データでもよい。また、立体基準チ
ャートターゲット記憶部３２に立体基準チャート２０の
全ターゲットの位置を記憶させて、レンズ収差のキャリ
ブレーション要素によりレンズ収差を補償して観測した
ターゲットの位置と比較する場合を説明したが、本発明
はこれに限定されるものではなく、例えば立体視できる
程度にレンズ収差が補償されていればよい用途では、立
体基準チャート２０の全ターゲットの位置情報を用いな
くても良い。As the reference stereo image data 24 used in the calibration result diagnosing device of the present invention, a camera of the same type as the camera 2 is used.
The case where two pieces of reference stereo image data captured in advance with the same focal length is used has been described, but the present invention is not limited to this, and may be reference stereo image coordinate data of the stereo reference chart 20, for example. Further, the case has been described in which the positions of all the targets of the stereoscopic reference chart 20 are stored in the stereoscopic reference chart target storage unit 32 and the lens aberrations are compensated by the calibration element of the lens aberrations and compared with the observed target positions. However, the present invention is not limited to this, and for example, in the application where the lens aberration is compensated to the extent that stereoscopic vision is possible, the position information of all the targets of the stereoscopic reference chart 20 may not be used.
【０１０５】また、基準ステレオ画像データ、基準ステ
レオ画像座標データ、基準キャリブレーション要素等の
基準データは、立体基準チャート２０を所持しない需要
者に対しては、使用するカメラにあわせてフレキシブル
ディスク、ＣＤ−ＲＯＭ、Ｗｅｂサイトからのインター
ネットによるダウンロード等で供給するとよい。The standard stereo image data, the standard stereo image coordinate data, the standard data such as the standard calibration elements, etc. are used for a customer who does not have the three-dimensional standard chart 20 by selecting a flexible disk or a CD according to the camera to be used. -It may be supplied by ROM, Internet download from a website, or the like.
【０１０６】[0106]
【発明の効果】以上説明したように、本発明のキャリブ
レーション装置によれば、キャリブレーション用チャー
トを、キャリブレーションを行うカメラで、少なくとも
２方向から撮影したキャリブレーション用画像から第１
マークを抽出する抽出部と、前記抽出部にて抽出された
第１マークを用いた射影変換により、前記キャリブレー
ション用画像における前記第２マークの概略位置をもと
める概略マーク位置測定部と、前記キャリブレーション
用画像に対して、前記第２マークの概略位置近傍で前記
第２マーク位置の撮影されている位置を求める精密マー
ク位置測定部と、前記キャリブレーション用チャートに
おける第２マークの位置と、この第２マークに対応する
前記キャリブレーション用画像における第２マークの位
置から、前記レンズのキャリブレーション要素を算出す
る演算処理部と備える構成としているので、レンズ収差
を補正するのに必要なキャリブレーション要素が簡便に
測定できる。そこで、特に立体視のように僅かなレンズ
収差でも問題となる用途において、レンズ収差の大きな
安価なレンズでステレオ撮影した画像であっても、キャ
リブレーション要素を用いてレンズ収差の影響の少ない
画像として作成することができ、容易に立体視できる。As described above, according to the calibration apparatus of the present invention, the calibration chart is displayed first from the calibration images photographed from at least two directions by the camera that performs the calibration.
An extraction unit that extracts the mark, a general mark position measurement unit that obtains a general position of the second mark in the calibration image by projective transformation using the first mark extracted by the extraction unit, and the calibration A precision mark position measuring unit that obtains a photographed position of the second mark position in the vicinity of the approximate position of the second mark with respect to the calibration image; and a position of the second mark in the calibration chart. Since the configuration includes the arithmetic processing unit that calculates the calibration element of the lens from the position of the second mark in the calibration image corresponding to the second mark, the calibration element required to correct the lens aberration. Can be easily measured. Therefore, especially in applications where even slight lens aberrations are problematic, such as stereoscopic vision, even images taken in stereo with an inexpensive lens with large lens aberrations can be converted into images that are less affected by lens aberrations using a calibration element. It can be created and can be easily viewed stereoscopically.
【０１０７】また、キャリブレーション用チャートは、
少なくとも３箇所以上設けられた第１マークと、該第１
マークに対して外観上識別可能に設けられた第２マーク
を有するという簡易な形態であるため、立体的に基準点
が配置された立体基準チャートを用いてレンズ収差を測
定する場合に比較して、キャリブレーションが簡便に行
える。Also, the calibration chart is
A first mark provided at least at three or more places, and the first mark
Since this is a simple form having a second mark that is visually distinguishable from the mark, compared to the case where the lens aberration is measured using a three-dimensional reference chart in which three-dimensional reference points are arranged. , Calibration can be done easily.
【０１０８】また、キャリブレーション結果診断装置に
よれば、キャリブレーション要素の測定時に用いたカメ
ラにより、立体的に基準点が配置された立体基準チャー
トをステレオ撮影した基準ステレオ画像座標データを読
込むターゲット位置測定手段と、前記キャリブレーショ
ン要素を用いて前記基準ステレオ画像座標データの標定
演算を行い、前記基準点のモデル座標値又は三次元座標
値を求める演算処理手段と、前記基準点のモデル座標値
又は三次元座標値と、前記立体基準チャートにおける基
準点の座標値とを比較して、前記キャリブレーション要
素の適否判断を行うキャリブレーション判定部を備える
構造であるため、キャリブレーション用チャートによる
レンズ収差の補償を行うキャリブレーション要素が適正
な値であるか、容易に判断できる。Further, according to the calibration result diagnosing device, the target used to read the reference stereo image coordinate data obtained by stereo-photographing the stereoscopic reference chart in which the reference points are three-dimensionally arranged by the camera used for measuring the calibration element. Position measuring means, orientation processing of the reference stereo image coordinate data using the calibration element, arithmetic processing means for obtaining model coordinate values or three-dimensional coordinate values of the reference point, and model coordinate value of the reference point Alternatively, since the three-dimensional coordinate value and the coordinate value of the reference point in the three-dimensional reference chart are compared to each other to provide a calibration determination unit that determines the suitability of the calibration element, the lens aberration due to the calibration chart is used. The calibration element that compensates for the It can be judged on.
【図１】 本発明の第１の実施の形態を説明する全体構
成ブロック図である。FIG. 1 is an overall configuration block diagram illustrating a first embodiment of the present invention.
【図２】 キャリブレーション用チャートの一例を示す
平面図である。FIG. 2 is a plan view showing an example of a calibration chart.
【図３】 第１マークの一例を示す説明図である。FIG. 3 is an explanatory diagram showing an example of a first mark.
【図４】 第２マークの一例を示す説明図である。FIG. 4 is an explanatory diagram showing an example of a second mark.
【図５】 レンズ収差を計測する場合のカメラ配置を説
明する図で、（Ａ）はカメラ配置を示した立体図であ
り、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用
したときのカメラ間隔を示した図である。5A and 5B are views for explaining the camera arrangement when measuring lens aberrations, FIG. 5A is a stereoscopic view showing the camera arrangement, and FIG. 5B is a view when a standard lens and a telephoto lens are generally used. It is a figure showing a camera interval.
【図６】 標準レンズや広角レンズのカメラによるチャ
ートの撮影手順の説明図で、（Ａ１）〜（Ａ４）はカメ
ラの画像、（Ｂ１）〜（Ｂ４）はカメラ画像に対応する
チャートとカメラの位置関係を示している。6A and 6B are explanatory diagrams of a chart photographing procedure by a camera having a standard lens or a wide-angle lens. FIGS. The positional relationship is shown.
【図７】 キャリブレーション装置を用いたキャリブレ
ーション方法を説明するフローチャートである。FIG. 7 is a flowchart illustrating a calibration method using a calibration device.
【図８】 第２マークの精密位置測定の処理手順を説明
する詳細フロー図である。FIG. 8 is a detailed flowchart illustrating a processing procedure for precise position measurement of a second mark.
【図９】 （Ａ）は中心投影における画像座標系と対象
座標系の説明図、（Ｂ）はターゲット認識に用いられる
正規化相関のテンプレ−ト画像と対象画像の説明図であ
る。9A is an explanatory diagram of an image coordinate system and a target coordinate system in central projection, and FIG. 9B is an explanatory diagram of a template image of a normalized correlation used for target recognition and a target image.
【図１０】 キャリブレーション要素の演算処理結果の
一例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of a calculation processing result of a calibration element.
【図１１】 本発明のキャリブレーション結果診断装置
の一実施の形態を説明する構成ブロック図である。FIG. 11 is a configuration block diagram illustrating an embodiment of a calibration result diagnosis device of the present invention.
【図１２】 本発明のキャリブレーション結果診断装置
を用いたキャリブレーション結果診断を説明するフロー
チャートである。FIG. 12 is a flowchart illustrating a calibration result diagnosis using the calibration result diagnosis device of the present invention.
【図１３】 モデル座標系ＸＹＺと左右のカメラ座標系
ｘｙｚを用いて標定計算を説明する図である。FIG. 13 is a diagram illustrating orientation calculation using a model coordinate system XYZ and left and right camera coordinate systems xyz.
【図１４】 本発明のキャリブレーション結果診断装置
の第２の実施の形態を説明する構成ブロック図である。FIG. 14 is a configuration block diagram for explaining a second embodiment of the calibration result diagnosis device of the present invention.
１ チャート（キャリブレーション用チャート）
２ カメラ
３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
９ 表示部
２０ 立体基準チャート
２２ カメラ
２６ ターゲット位置測定手段
３０ 演算処理手段
３２ 立体基準チャートターゲット記憶部
３４ 収差補償パラメータ適性度判定部（キャリブレー
ション判定部）1 chart (calibration chart) 2 camera 3 image data storage unit 4 extraction unit 5 rough mark position measuring unit 6 precision mark position measuring unit 7 arithmetic processing unit 8 image processing unit 9 display unit 20 stereoscopic reference chart 22 camera 26 target position Measuring unit 30 Calculation processing unit 32 Stereoscopic reference chart target storage unit 34 Aberration compensation parameter suitability determination unit (calibration determination unit)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 101:00 (72)発明者 大谷 仁志 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 (72)発明者 大友 文夫 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 Ｆターム(参考） 2F065 AA01 AA04 AA14 AA20 BB02 BB05 BB27 DD06 EE08 FF05 FF61 JJ03 JJ05 JJ26 QQ18 QQ21 QQ24 QQ25 QQ31 QQ38 RR09 2G086 HH01 HH06 2H105 EE11 EE14 5C022 AA13 AB43 AC42 AC69 5L096 BA03 CA02 FA69 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification code FI theme code (reference) // H04N 101: 00 H04N 101: 00 (72) Inventor Hitoshi Otani 75-1 Hasunuma-cho, Itabashi-ku, Tokyo (72) Inventor Fumio Otomo 75-1 Hasunuma-cho, Itabashi-ku, Tokyo F-term in Topcon Co., Ltd. (reference) 2F065 AA01 AA04 AA14 AA20 BB02 BB05 BB27 DD06 EE08 FF05 FF61 JJ03 JJ05 JJ26 QQ18 QQ21 QQ24 QQ25 QQ31 QQ38 RR09 2G086 HH01 HH06 2H105 EE11 EE14 5C022 AA13 AB43 AC42 AC69 5L096 BA03 CA02 FA69
Claims (18)
ークと、該第１マークに対して外観上識別可能に設けら
れた第２マークを有するキャリブレーション用チャート
を、キャリブレーションを行うカメラで、少なくとも２
方向から撮影したキャリブレーション用画像から第１マ
ークを抽出する抽出部と；前記抽出部にて抽出された第
１マークを用いた射影変換により、前記キャリブレーシ
ョン用画像における前記第２マークの概略位置をもとめ
る概略マーク位置測定部と；前記キャリブレーション用
画像に対して、前記第２マークの概略位置近傍で前記第
２マーク位置の撮影されている位置を求める精密マーク
位置測定部と；前記キャリブレーション用チャートにお
ける第２マークの位置と、この第２マークに対応する前
記キャリブレーション用画像における第２マークの位置
から、前記レンズのキャリブレーション要素を算出する
演算処理部と；を備えるキャリブレーション装置。1. A camera for calibrating a calibration chart having a first mark provided at least at three or more places and a second mark provided so as to be visually distinguishable from the first mark, At least 2
An extracting unit that extracts the first mark from the calibration image captured from the direction; and a rough position of the second mark in the calibration image by projective transformation using the first mark extracted by the extracting unit. A precise mark position measuring unit for obtaining a photographed position of the second mark position in the vicinity of the rough position of the second mark with respect to the calibration image; A calibration device, comprising: a position of a second mark in the use chart; and an arithmetic processing unit that calculates a calibration element of the lens from the position of the second mark in the calibration image corresponding to the second mark.
により前記第２マークの概略位置を求めるように構成し
た請求項１記載のキャリブレーション装置。2. The calibration device according to claim 1, wherein the rough mark position measuring unit is configured to obtain a rough position of the second mark by projective transformation.
ートマッチング又は重心位置検出の少なくとも一方を用
いて、前記第２マーク位置を決定するように構成した請
求項１又は請求項２に記載のキャリブレーション装置。3. The calibration according to claim 1, wherein the precision mark position measuring unit is configured to determine the second mark position by using at least one of template matching and barycentric position detection. apparatus.
ョン用チャートにおける第２マークの位置と、この第２
マークに対応する前記キャリブレーション用画像におけ
る第２マークの位置から、当該第２マークにおけるディ
ストーションを演算する請求項１ないし請求項３の何れ
か１項に記載のキャリブレーション装置。4. The calculation processing unit is configured to detect the position of the second mark in the calibration chart and the second mark position.
The calibration device according to any one of claims 1 to 3, wherein the distortion of the second mark is calculated from the position of the second mark in the calibration image corresponding to the mark.
ブレーション要素を算出する際に、精密マーク位置測定
部によって位置が算出された第２マークのうち適切な第
２マークを選択するように構成した請求項１ないし請求
項４の何れか１項に記載のキャリブレーション装置。5. The arithmetic processing unit is configured to select an appropriate second mark from the second marks of which positions have been calculated by the precision mark position measuring unit when calculating the calibration element of the lens. The calibration device according to any one of claims 1 to 4, which is described above.
ンズの焦点距離、主点位置、前記レンズの歪曲パラメー
タの少なくとも一つを含む請求項１ないし請求項５の何
れか１項に記載のキャリブレーション装置。6. The calibration device according to claim 1, wherein the calibration element includes at least one of a focal length of the lens, a principal point position, and a distortion parameter of the lens. .
レーション要素に基づき、前記キャリブレーションを行
うカメラで撮影された画像を前記レンズ収差が補償され
た画像に修正する画像処理部を有する請求項１ないし請
求項６の何れか１項に記載のキャリブレーション装置。7. The image processing unit, further comprising an image processing unit that corrects an image captured by a camera that performs the calibration into an image in which the lens aberration is compensated, based on a calibration element obtained by the arithmetic processing unit. 7. The calibration device according to claim 6.
第２マークにおけるディストーションを表示する表示部
を有する請求項１ないし請求項７の何れか１項に記載の
キャリブレーション装置。8. The calibration device according to claim 1, further comprising a calibration element or a display unit that displays a distortion at the second mark.
ークと、該第１マークに対して外観上識別可能に設けら
れた第２マークを有するキャリブレーション用チャート
を、キャリブレーションを行うカメラで、少なくとも２
方向から撮影したキャリブレーション用画像から第１マ
ークを抽出する第１ステップと；前記抽出された第１マ
ークから射影変換により、前記キャリブレーション用画
像における前記第２マークの概略位置を求める第２ステ
ップと；前記キャリブレーション用画像に対して、第２
マークの概略位置近傍で第２マーク位置を正確に求める
第３ステップと；前記キャリブレーション用チャートに
おける第２マークの位置と、この第２マークに対応する
前記キャリブレーション用画像における第２マークの位
置から、前記レンズのキャリブレーション要素を算出す
る第４ステップと；を有するキャリブレーション方法。9. A camera for calibrating a calibration chart having a first mark provided at least at three or more places and a second mark provided so as to be visually distinguishable from the first mark, At least 2
A first step of extracting a first mark from a calibration image photographed from a direction; and a second step of obtaining a rough position of the second mark in the calibration image by projective transformation from the extracted first mark. And; for the calibration image, the second
A third step of accurately obtaining the position of the second mark in the vicinity of the approximate position of the mark; the position of the second mark in the calibration chart, and the position of the second mark in the calibration image corresponding to the second mark And a fourth step of calculating the calibration element of the lens from
ズであり；前記キャリブレーション用チャートには、相
互に所定距離だけ離れた前記第１マークが設けられてお
り；前記レンズにより前記キャリブレーション用チャー
トを撮影する際の撮影方向が、前記レンズの焦点距離を
正確に算出できる角度として選定される；請求項９に記
載のキャリブレーション方法。10. The lens is a standard lens or a wide-angle lens; the calibration chart is provided with the first marks separated from each other by a predetermined distance; and the calibration chart is provided by the lens. 10. The calibration method according to claim 9, wherein a shooting direction at the time of shooting is selected as an angle at which the focal length of the lens can be accurately calculated.
ークの一つを正面として撮影する第１の撮影方向と；前
記第１マークと前記所定距離だけ離れた他の第１マーク
を正面にカメラ位置を設けて、且つ前記レンズの撮影方
向を前記第１マークに前記レンズの光軸が向くようにす
る第２の撮影方向と；を含む請求項１０に記載のキャリ
ブレーション方法。11. The photographing direction of the lens is; a first photographing direction in which one of the first marks is photographed in front, and another first mark separated from the first mark by the predetermined distance is in front. 11. The calibration method according to claim 10, further comprising: a second photographing direction in which a camera position is provided and the optical axis of the lens is oriented toward the first mark.
キャリブレーション用チャートには、相互に所定距離だ
け離れた前記第１マークが設けられており；前記レンズ
による前記キャリブレーション用チャートを撮影する位
置として、前記レンズと前記キャリブレーション用チャ
ートとの撮影距離を基準として略１／３程度の距離相当
の間隔を前記レンズの光軸と直角方向に確保し；一方の
撮影位置を第１の撮影方向とし、他方の撮影位置を第２
の撮影方向として撮影する；請求項９に記載のキャリブ
レーション方法。12. The lens is a telephoto lens; the calibration chart is provided with the first marks that are separated from each other by a predetermined distance; a position at which the lens captures the calibration chart. As a reference, an interval corresponding to a distance of about 1/3 with respect to the shooting distance between the lens and the calibration chart is secured in the direction perpendicular to the optical axis of the lens; one shooting position is in the first shooting direction. And the other shooting position is the second
10. The calibration method according to claim 9, wherein shooting is performed in the shooting direction.
マークと、該第１マークに対して外観上識別可能に設け
られた第２マークを有するキャリブレーション用チャー
トであって；カメラのキャリブレーションに使用される
キャリブレーション用チャート。13. A first device provided at least at three or more locations.
A calibration chart having a mark and a second mark provided so as to be visually distinguishable from the first mark; a calibration chart used for camera calibration.
型ディスプレイに表示される画像に表示される請求項１
３に記載のキャリブレーション用チャート。14. The first mark and the second mark are displayed in an image displayed on a flat panel display.
The calibration chart described in 3.
いたカメラにより、立体的に基準点が配置された立体基
準チャートをステレオ撮影した基準ステレオ画像座標デ
ータを読込むターゲット位置測定手段と；前記キャリブ
レーション要素を用いて前記基準ステレオ画像座標デー
タの標定演算を行い、前記基準点のモデル座標値又は三
次元座標値を求める演算処理手段と；前記基準点のモデ
ル座標値又は三次元座標値と、前記立体基準チャートに
おける基準点の座標値とを比較して、前記キャリブレー
ション要素の適否判断を行うキャリブレーション判定部
と；を備えるキャリブレーション結果診断装置。15. A target position measuring means for reading reference stereo image coordinate data obtained by stereo-shooting a stereoscopic reference chart having stereoscopically arranged reference points by a camera used when measuring the calibration element; and the calibration element. Arithmetic processing means for carrying out an orientation operation of the reference stereo image coordinate data by using to obtain a model coordinate value or a three-dimensional coordinate value of the reference point; a model coordinate value or a three-dimensional coordinate value of the reference point; A calibration result diagnosing device, comprising: a calibration determining unit that compares the coordinate values of reference points on a reference chart to determine the suitability of the calibration element.
いたカメラにより、立体的に基準点が配置された立体基
準チャートをステレオ撮影した基準ステレオ画像データ
を読込んで、基準ステレオ画像データ中の前記基準点の
画像位置を測定するターゲット位置測定手段と；前記キ
ャリブレーション要素を用いて前記基準ステレオ画像デ
ータの標定演算を行い、前記基準点のモデル座標値又は
三次元座標値を求める演算処理手段と；前記基準ステレ
オ画像データと共に用意された基準キャリブレーション
要素を用いて、前記基準ステレオ画像データの標定演算
を行い、前記基準点のモデル座標値又は三次元座標値を
求める基準演算処理手段と；前記演算処理手段で演算さ
れた基準点のモデル座標値又は三次元座標値と、前記基
準演算処理手段で演算された基準点のモデル座標値又は
三次元座標値とを比較して、前記キャリブレーション要
素の適否判断を行うキャリブレーション判定部と；を備
えるキャリブレーション結果診断装置。16. A standard stereo image data obtained by stereo-photographing a stereoscopic standard chart in which standard points are three-dimensionally arranged is read by a camera used at the time of measuring the calibration element, and the standard point of the standard point in the standard stereo image data is read. Target position measuring means for measuring an image position; arithmetic processing means for carrying out orientation calculation of the reference stereo image data using the calibration element to obtain model coordinate values or three-dimensional coordinate values of the reference point; A standard calculation processing means for performing a standardization calculation of the standard stereo image data using a standard calibration element prepared together with the stereo image data to obtain a model coordinate value or a three-dimensional coordinate value of the standard point; The model coordinate value or the three-dimensional coordinate value of the reference point calculated by A calibration result diagnosing device comprising: a calibration determining unit that compares the calculated model coordinate value or three-dimensional coordinate value of a reference point to determine suitability of the calibration element.
いたカメラにより、立体的に基準点が配置された立体基
準チャートをステレオ撮影した基準ステレオ画像データ
を読込んで、基準ステレオ画像データ中の前記基準点の
画像位置を測定するターゲット位置測定手段と；前記キ
ャリブレーション要素を用いて前記基準ステレオ画像デ
ータの標定演算を行なう演算処理手段と；前記標定演算
により、前記基準ステレオ画像データの立体画像を形成
するステレオ画像生成手段と；を備えるキャリブレーシ
ョン結果診断装置。17. The reference stereo image data obtained by stereo-photographing a stereoscopic reference chart in which the reference points are three-dimensionally arranged is read by the camera used for measuring the calibration element, and the reference stereo image data in the reference stereo image data is read. Target position measuring means for measuring an image position; arithmetic processing means for performing orientation calculation of the reference stereo image data using the calibration element; stereo for forming a stereoscopic image of the reference stereo image data by the orientation calculation A calibration result diagnosis device comprising: an image generation unit;
より形成された立体画像を立体表示する立体画像表示部
を備える請求項１７記載のキャリブレーション結果診断
装置。18. The calibration result diagnosis apparatus according to claim 17, further comprising a stereoscopic image display unit for stereoscopically displaying a stereoscopic image formed by the stereo image generating means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002195059A JP4224260B2 (en) | 2002-02-18 | 2002-07-03 | Calibration apparatus, method, result diagnosis apparatus, and calibration chart |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002-39934 | 2002-02-18 | ||
| JP2002039934 | 2002-02-18 | ||
| JP2002195059A JP4224260B2 (en) | 2002-02-18 | 2002-07-03 | Calibration apparatus, method, result diagnosis apparatus, and calibration chart |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003307466A true JP2003307466A (en) | 2003-10-31 |
| JP4224260B2 JP4224260B2 (en) | 2009-02-12 |
Family
ID=29405247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002195059A Expired - Fee Related JP4224260B2 (en) | 2002-02-18 | 2002-07-03 | Calibration apparatus, method, result diagnosis apparatus, and calibration chart |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4224260B2 (en) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005140630A (en) * | 2003-11-06 | 2005-06-02 | National Maritime Research Institute | Calibration facility for three-dimensional image measuring camera |
| JP2007034985A (en) * | 2005-07-29 | 2007-02-08 | Canon Inc | Information processing method and device |
| US7226173B2 (en) | 2004-02-13 | 2007-06-05 | Nec Viewtechnology, Ltd. | Projector with a plurality of cameras |
| JP2008177742A (en) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
| JP2008292407A (en) * | 2007-05-28 | 2008-12-04 | Canon Inc | Information processing method and information processing device |
| JP2008309680A (en) * | 2007-06-15 | 2008-12-25 | Cosmo Planning:Kk | Track displacement measuring system |
| WO2009141998A1 (en) * | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | Calibration method, calibration device, and calibration system having the device |
| JP2010237193A (en) * | 2009-03-12 | 2010-10-21 | Omron Corp | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
| JP2011112401A (en) * | 2009-11-24 | 2011-06-09 | Omron Corp | Calibration method for three-dimensional measurement and three-dimensional visual sensor |
| CN102265112A (en) * | 2009-09-04 | 2011-11-30 | 松下电器产业株式会社 | Device for collecting position calibration information, method for collecting position calibration information, and program for collecting position calibration information |
| JP2012215855A (en) * | 2011-03-31 | 2012-11-08 | Mitsubishi Electric Research Laboratories Inc | Method and system for determining projections in non-central catadioptric optical systems |
| CN103353663A (en) * | 2013-06-28 | 2013-10-16 | 北京智谷睿拓技术服务有限公司 | Imaging adjustment apparatus and method |
| JP2013257349A (en) * | 2008-03-03 | 2013-12-26 | Toa Corp | Camera calibration result verification device and method |
| KR20170026588A (en) * | 2014-09-05 | 2017-03-08 | 인텔 코포레이션 | Multi-target camera calibration |
| JP2017138109A (en) * | 2016-02-01 | 2017-08-10 | 三菱マテリアルテクノ株式会社 | Aerial photogrammetry, three-dimensional solid model generation indicator, and aerial photogrammetry method |
| US9867756B2 (en) | 2013-08-22 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Eyesight-protection imaging system and eyesight-protection imaging method |
| US9870050B2 (en) | 2013-10-10 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interactive projection display |
| US9867532B2 (en) | 2013-07-31 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | System for detecting optical parameter of eye, and method for detecting optical parameter of eye |
| US10048750B2 (en) | 2013-08-30 | 2018-08-14 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Content projection system and content projection method |
| KR20180103657A (en) * | 2017-03-10 | 2018-09-19 | 삼성전자주식회사 | Calibration method and apparatus of stereo camera module, computer readable storage medium |
| JP2018160825A (en) * | 2017-03-23 | 2018-10-11 | コニカミノルタ株式会社 | Image formation device and calibration method |
| WO2018229812A1 (en) * | 2017-06-12 | 2018-12-20 | 株式会社日立製作所 | Three-dimensional measurement device and method |
| CN109556510A (en) * | 2017-09-27 | 2019-04-02 | 欧姆龙株式会社 | Position detecting device and computer readable storage medium |
| US10261345B2 (en) | 2013-06-28 | 2019-04-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Imaging adjustment device and imaging adjustment method |
| US10395510B2 (en) | 2013-08-30 | 2019-08-27 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Reminding method and reminding device |
| US10481396B2 (en) | 2013-06-28 | 2019-11-19 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Imaging device and imaging method |
| US10551638B2 (en) | 2013-07-31 | 2020-02-04 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Imaging apparatus and imaging method |
| US10583068B2 (en) | 2013-08-22 | 2020-03-10 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Eyesight-protection imaging apparatus and eyesight-protection imaging method |
| CN112326202A (en) * | 2020-10-23 | 2021-02-05 | 歌尔光学科技有限公司 | Binocular parallax testing method, device and tool of virtual reality equipment |
| KR20220094792A (en) * | 2020-12-29 | 2022-07-06 | 주식회사 와이즈오토모티브 | Apparatus for testing camera image distortion and method thereof |
| CN114902647A (en) * | 2020-01-20 | 2022-08-12 | 日立安斯泰莫株式会社 | Image correction device and image correction method |
| WO2023095635A1 (en) * | 2021-11-25 | 2023-06-01 | 住友重機械工業株式会社 | Distortion aberration rate calculation method, and position detecting device |
-
2002
- 2002-07-03 JP JP2002195059A patent/JP4224260B2/en not_active Expired - Fee Related
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005140630A (en) * | 2003-11-06 | 2005-06-02 | National Maritime Research Institute | Calibration facility for three-dimensional image measuring camera |
| US7226173B2 (en) | 2004-02-13 | 2007-06-05 | Nec Viewtechnology, Ltd. | Projector with a plurality of cameras |
| US7821535B2 (en) | 2005-07-29 | 2010-10-26 | Canon Kabushiki Kaisha | Information processing method and apparatus |
| JP2007034985A (en) * | 2005-07-29 | 2007-02-08 | Canon Inc | Information processing method and device |
| JP2008177742A (en) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | Camera parameter acquisition device |
| JP2008292407A (en) * | 2007-05-28 | 2008-12-04 | Canon Inc | Information processing method and information processing device |
| JP2008309680A (en) * | 2007-06-15 | 2008-12-25 | Cosmo Planning:Kk | Track displacement measuring system |
| JP2013257349A (en) * | 2008-03-03 | 2013-12-26 | Toa Corp | Camera calibration result verification device and method |
| WO2009141998A1 (en) * | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | Calibration method, calibration device, and calibration system having the device |
| JP4440341B2 (en) * | 2008-05-19 | 2010-03-24 | パナソニック株式会社 | Calibration method, calibration apparatus, and calibration system including the apparatus |
| CN101755190B (en) * | 2008-05-19 | 2012-02-22 | 松下电器产业株式会社 | Calibration method, calibration device, and calibration system having the device |
| JPWO2009141998A1 (en) * | 2008-05-19 | 2011-09-29 | パナソニック株式会社 | Calibration method, calibration apparatus, and calibration system including the apparatus |
| US8400505B2 (en) | 2008-05-19 | 2013-03-19 | Panasonic Corporation | Calibration method, calibration device, and calibration system including the device |
| JP2010237193A (en) * | 2009-03-12 | 2010-10-21 | Omron Corp | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
| CN102265112A (en) * | 2009-09-04 | 2011-11-30 | 松下电器产业株式会社 | Device for collecting position calibration information, method for collecting position calibration information, and program for collecting position calibration information |
| JP2011112401A (en) * | 2009-11-24 | 2011-06-09 | Omron Corp | Calibration method for three-dimensional measurement and three-dimensional visual sensor |
| JP2012215855A (en) * | 2011-03-31 | 2012-11-08 | Mitsubishi Electric Research Laboratories Inc | Method and system for determining projections in non-central catadioptric optical systems |
| US10481396B2 (en) | 2013-06-28 | 2019-11-19 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Imaging device and imaging method |
| US10191276B2 (en) | 2013-06-28 | 2019-01-29 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Imaging adjustment device and imaging adjustment method |
| CN103353663A (en) * | 2013-06-28 | 2013-10-16 | 北京智谷睿拓技术服务有限公司 | Imaging adjustment apparatus and method |
| CN103353663B (en) * | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | Imaging adjusting apparatus and method |
| US10261345B2 (en) | 2013-06-28 | 2019-04-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Imaging adjustment device and imaging adjustment method |
| US10551638B2 (en) | 2013-07-31 | 2020-02-04 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Imaging apparatus and imaging method |
| US9867532B2 (en) | 2013-07-31 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | System for detecting optical parameter of eye, and method for detecting optical parameter of eye |
| US10583068B2 (en) | 2013-08-22 | 2020-03-10 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Eyesight-protection imaging apparatus and eyesight-protection imaging method |
| US9867756B2 (en) | 2013-08-22 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Eyesight-protection imaging system and eyesight-protection imaging method |
| US10395510B2 (en) | 2013-08-30 | 2019-08-27 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Reminding method and reminding device |
| US10048750B2 (en) | 2013-08-30 | 2018-08-14 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Content projection system and content projection method |
| US9870050B2 (en) | 2013-10-10 | 2018-01-16 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interactive projection display |
| KR20170026588A (en) * | 2014-09-05 | 2017-03-08 | 인텔 코포레이션 | Multi-target camera calibration |
| KR102271596B1 (en) * | 2014-09-05 | 2021-07-01 | 인텔 코포레이션 | Multi-target camera calibration |
| JP2017536711A (en) * | 2014-09-05 | 2017-12-07 | インテル・コーポレーション | Multi-target camera calibration |
| JP2017138109A (en) * | 2016-02-01 | 2017-08-10 | 三菱マテリアルテクノ株式会社 | Aerial photogrammetry, three-dimensional solid model generation indicator, and aerial photogrammetry method |
| KR102295987B1 (en) * | 2017-03-10 | 2021-09-01 | 삼성전자주식회사 | Calibration method and apparatus of stereo camera module, computer readable storage medium |
| KR20180103657A (en) * | 2017-03-10 | 2018-09-19 | 삼성전자주식회사 | Calibration method and apparatus of stereo camera module, computer readable storage medium |
| US10567605B2 (en) | 2017-03-23 | 2020-02-18 | Konica Minolta, Inc. | Image forming apparatus and calibration method |
| JP2018160825A (en) * | 2017-03-23 | 2018-10-11 | コニカミノルタ株式会社 | Image formation device and calibration method |
| JPWO2018229812A1 (en) * | 2017-06-12 | 2020-02-27 | 株式会社日立製作所 | Three-dimensional measuring device and method |
| WO2018229812A1 (en) * | 2017-06-12 | 2018-12-20 | 株式会社日立製作所 | Three-dimensional measurement device and method |
| US10825193B2 (en) | 2017-09-27 | 2020-11-03 | Omron Corporation | Position detecting apparatus and computer-readable recording medium |
| CN109556510A (en) * | 2017-09-27 | 2019-04-02 | 欧姆龙株式会社 | Position detecting device and computer readable storage medium |
| CN114902647A (en) * | 2020-01-20 | 2022-08-12 | 日立安斯泰莫株式会社 | Image correction device and image correction method |
| CN112326202A (en) * | 2020-10-23 | 2021-02-05 | 歌尔光学科技有限公司 | Binocular parallax testing method, device and tool of virtual reality equipment |
| KR20220094792A (en) * | 2020-12-29 | 2022-07-06 | 주식회사 와이즈오토모티브 | Apparatus for testing camera image distortion and method thereof |
| KR102585556B1 (en) * | 2020-12-29 | 2023-10-06 | 주식회사 와이즈오토모티브 | Apparatus for testing camera image distortion and method thereof |
| WO2023095635A1 (en) * | 2021-11-25 | 2023-06-01 | 住友重機械工業株式会社 | Distortion aberration rate calculation method, and position detecting device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4224260B2 (en) | 2009-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224260B2 (en) | Calibration apparatus, method, result diagnosis apparatus, and calibration chart | |
| JP4147059B2 (en) | Calibration data measuring device, measuring method and measuring program, computer-readable recording medium, and image data processing device | |
| JP4270949B2 (en) | Calibration chart image display device, calibration device, and calibration method | |
| JP4307934B2 (en) | Imaging apparatus and method with image correction function, and imaging apparatus and method | |
| CN111872544B (en) | Calibration method and device for laser light-emitting indication point and galvanometer coaxial vision system | |
| JP2020516883A (en) | High precision calibration system and method | |
| US10552984B2 (en) | Capture device calibration methods and systems | |
| CN109272555B (en) | External parameter obtaining and calibrating method for RGB-D camera | |
| EP1484576A2 (en) | Apparatus and method for calibrating zoom lens | |
| CN115830103A (en) | Monocular color-based transparent object positioning method and device and storage medium | |
| CN114299156A (en) | Method for calibrating and unifying coordinates of multiple cameras in non-overlapping area | |
| CN109118525A (en) | A kind of dual-band infrared image airspace method for registering | |
| JP4764896B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| CN113962853B (en) | Automatic precise resolving method for rotary linear array scanning image pose | |
| KR20190130407A (en) | Apparatus and method for omni-directional camera calibration | |
| JP4166988B2 (en) | Stereo image processing apparatus and method | |
| JP3696336B2 (en) | How to calibrate the camera | |
| JP4112077B2 (en) | Image measurement processing method and apparatus, and recording medium recording image measurement processing program | |
| JP3696335B2 (en) | Method for associating each measurement point of multiple images | |
| JPH09210649A (en) | Three dimensional measurement device | |
| US20240159621A1 (en) | Calibration method of a portable electronic device | |
| JP4166993B2 (en) | Stereoscopic image display apparatus and method | |
| Jarron et al. | Automatic detection and labelling of photogrammetric control points in a calibration test field | |
| JP4536428B2 (en) | Zoom lens calibration apparatus, calibration method, and imaging apparatus | |
| JP2004340753A (en) | Calibration chart image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050628 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4224260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |