JP6852525B2 - Calibration equipment, calibration method, calibration program - Google Patents
Calibration equipment, calibration method, calibration program Download PDFInfo
- Publication number
- JP6852525B2 JP6852525B2 JP2017075219A JP2017075219A JP6852525B2 JP 6852525 B2 JP6852525 B2 JP 6852525B2 JP 2017075219 A JP2017075219 A JP 2017075219A JP 2017075219 A JP2017075219 A JP 2017075219A JP 6852525 B2 JP6852525 B2 JP 6852525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- reference point
- calculation unit
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本開示は、校正装置、校正方法、及び校正プログラムに関する。 The present disclosure relates to calibration devices, calibration methods, and calibration programs.
チェッカーパターンのような校正パターンを光学系で撮像して得られる画像に基づいて、光学系に係る校正を行う技術が知られている。 A technique for calibrating an optical system is known based on an image obtained by imaging a calibration pattern such as a checker pattern with an optical system.
しかしながら、上述のような従来技術では、撮像された際の校正パターンと光学系との位置関係がそれぞれ異なる複数の画像を用いて校正を行う場合、画像ごとに、共通の校正用の基準点(例えばチェッカーパターンの交点)を精度良く特定することが難しい。例えば、チェッカーパターンの交点が校正用の基準点である場合、チェッカーパターンの交点は多数ある。従って、撮像された際の校正パターンと光学系との位置関係が異なる画像間では、多数の交点のうちから、共通の基準点に係る交点を特定することが困難となる場合がある。共通の基準点に係る交点を誤って特定してしまうと、校正用の基準点の位置を精度良く算出できなくなり、精度の高い校正を実現できなくなる。 However, in the conventional technique as described above, when proofreading is performed using a plurality of images having different positional relationships between the proofreading pattern at the time of imaging and the optical system, a common reference point for proofreading is used for each image. For example, it is difficult to accurately identify the intersection of checker patterns). For example, when the intersection of checker patterns is a reference point for calibration, there are many intersections of checker patterns. Therefore, it may be difficult to identify an intersection related to a common reference point from among a large number of intersections between images having different positional relationships between the calibration pattern at the time of imaging and the optical system. If the intersection of the common reference points is erroneously specified, the position of the reference point for calibration cannot be calculated accurately, and highly accurate calibration cannot be realized.
そこで、1つの側面では、本発明は、撮像された際の校正パターンと光学系との位置関係がそれぞれ異なる複数の画像を用いて、精度の高い校正を実現することを目的とする。 Therefore, on one aspect, it is an object of the present invention to realize highly accurate calibration by using a plurality of images in which the positional relationship between the calibration pattern and the optical system at the time of imaging is different from each other.
1つの側面では、規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得する画像取得部と、
前記画像ごとに、前記画像内における前記2点以上のマークを認識するマーク認識部と、
前記マーク認識部による認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出する基準概略位置算出部と、
前記画像ごとに、前記基準概略位置算出部により算出された前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出する基準点算出部と、
前記基準点算出部により算出された前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する校正パラメータ値導出部とを含む、校正装置が提供される。
On one side, it is an image obtained by imaging a calibration pattern extending in a plane with two or more marks added to a regular pattern with an optical system, and the image obtained by imaging the calibration pattern when the image is taken. An image acquisition unit that acquires a plurality of images having different positional relationships with the optical system, and an image acquisition unit.
For each image, a mark recognition unit that recognizes the two or more marks in the image, and a mark recognition unit.
Based on the recognition result by the mark recognition unit, the reference approximate position calculation unit that calculates the approximate position of the reference point of the regular pattern in the image, and the reference approximate position calculation unit.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position calculated by the reference approximate position calculation unit and the feature amount in the predetermined region of the image. Reference point calculation unit and
Provided is a calibration apparatus including a calibration parameter value deriving unit that derives a calibration parameter value of the optical system based on the position of the reference point for each image calculated by the reference point calculation unit.
1つの側面では、本発明によれば、撮像された際の校正パターンと光学系との位置関係がそれぞれ異なる複数の画像を用いて、精度の高い校正を実現することが可能となる。 On one aspect, according to the present invention, it is possible to realize highly accurate calibration by using a plurality of images in which the positional relationship between the calibration pattern and the optical system at the time of imaging is different from each other.
以下、添付図面を参照しながら各実施例について詳細に説明する。 Hereinafter, each embodiment will be described in detail with reference to the accompanying drawings.
図1は、制御装置10を含むシステム1の構成を概略的に示す図である。図1には、直交する3軸としてX,Y,Z軸が示される。
FIG. 1 is a diagram schematically showing a configuration of a
システム1は、サンプルステージ装置2と、撮像装置3(光学系の一例)と、照明装置4と、出力装置5と、ステージコントローラ6Aと、照明コントローラ6Bと、撮像コントローラ6Cと、制御装置10(校正装置の一例)とを含む。尚、撮像装置3及び制御装置10は、校正システムの一例を形成する。
The
システム1は、例えばロボットによる電子部品の実装用のシステムであってよい。この場合、サンプルステージ装置2のステージ23には、サンプルとして基板等のような、電子部品が実装される対象物が載置される。システム1は、その他、部品検査用のシステムであってもよいし、用途は任意である。
The
サンプルステージ装置2は、駆動機構20と、固定部22と、ステージ23とを含む。
The
駆動機構20は、ステージ23に対する撮像装置3及び照明装置4の位置を、X,Y,Z軸方向で可変とする。駆動機構20は、ステージ23に対する撮像装置3及び照明装置4の位置をX軸方向(第2方向の一例)で可変とする機構20Xと、Y軸方向の機構20Yと、Z軸方向(第1方向の一例)の機構20Zとを含む。固定部22には、機構20Yを介してステージ23が設けられる。従って、ステージ23は、機構20Yを介して固定部22に対してY軸方向に可動に支持される。図1に示す例では、撮像装置3及び照明装置4は、機構20Y,20Zを介して固定部22に対してY軸方向に可動に支持されている。尚、ステージ23と撮像装置3との位置関係が3軸方向で可変となる態様であれば、駆動機構20の各機構の配置は任意であり、例えば、機構20Zは、固定部22側に設けられてもよいし、機構20Yは、撮像装置3側に設けられてもよい。ステージ23は、上述のように、サンプルが載置される台である。ステージ23には、校正時には、後述の校正用ボードが、サンプルの代わりに載置される。
The
撮像装置3は、単眼のカメラであり、パースペクティブな特性を持つレンズ(図示せず)と、撮像素子とを含む。パースペクティブな特性を持つレンズとは、一般的なレンズであり、いわゆるテレセントリックレンズのような特殊なレンズではないことを意味する。撮像素子は、任意であり、CCD(Charge Coupled Device)やCMOS(Complementary MOS:metal-oxide-semiconductor)などである。
The
照明装置4は、ステージ23を照明する。照明装置4は、例えばLED(light emitting diode)を含んでよい。
The
出力装置5は、例えば、液晶ディスプレイや有機EL(ElectroLuminescence)ディスプレイ等である。ステージコントローラ6Aは、駆動機構20を制御するコントローラである。照明コントローラ6Bは、照明装置4を制御するコントローラである。撮像コントローラ6Cは、撮像装置3を制御するコントローラである。出力装置5、ステージコントローラ6A、照明コントローラ6B、及び撮像コントローラ6Cは、制御装置10に接続される。
The output device 5 is, for example, a liquid crystal display, an organic EL (ElectroLuminescence) display, or the like. The
制御装置10は、システム1の制御を行う装置である。また、制御装置10は、校正装置の一例としても機能する。但し、変形例では、制御装置10は、校正装置としてのみ機能し、他の制御を行う制御装置が別に設けられてもよい。以下では、主に、制御装置10の機能については、校正装置に関連する機能について説明する。
The
制御装置10は、撮像装置3に対し、視差を利用して校正を行う。具体的には、制御装置10は、校正パターン(図2参照)に対する撮像装置3の位置を変化させることで校正パターン上の同一の基準点に対して生じる視差を利用して校正を行う。本実施例では、一例として、撮像装置3の校正パラメータは、f値である。
The
図2は、校正パターン(キャリブレーションパターン)の説明図である。校正パターンは、校正用ボード(平面を形成する板材)に付与される画像認識可能なパターンであり、校正用に用いられる。校正用ボードは、例えばガラス基板により形成される。ステージ23上に校正用ボードが載置されると、校正パターンは、ステージ23の平面(XY平面)内に延在することになる。
FIG. 2 is an explanatory diagram of a calibration pattern (calibration pattern). The calibration pattern is an image-recognizable pattern applied to a calibration board (a plate material forming a flat surface) and is used for calibration. The calibration board is formed of, for example, a glass substrate. When the calibration board is placed on the
図2には、直交する2軸としてX1,Y1軸が示される。X1及びY1軸は、校正用ボードにより規定される軸であり、例えばX1軸は、校正用ボードの長手方向に平行であり、Y1軸は、校正用ボードの短手方向に平行である。校正パターンは、X1Y1平面は、XY平面と同じ平面を形成するが、ステージ23に対する校正用ボードの載置態様によっては、X1軸はX軸に対して傾斜する場合がある。
In FIG. 2, the X1 and Y1 axes are shown as two orthogonal axes. The X1 and Y1 axes are axes defined by the calibration board, for example, the X1 axis is parallel to the longitudinal direction of the calibration board, and the Y1 axis is parallel to the lateral direction of the calibration board. As for the calibration pattern, the X1Y1 plane forms the same plane as the XY plane, but the X1 axis may be inclined with respect to the X axis depending on the mounting mode of the calibration board on the
図2に示す例では、校正パターンは、チェッカーパターン(規則的なパターンの一例)を含む。チェッカーパターンは、色(濃淡)の異なる2種類の矩形部が直交する2方向(X1方向及びY1方向)のそれぞれで交互に連続して並ぶ規則的なパターンである。色の異なる2種類の矩形部は、典型的には、白色の正方形の矩形部と、黒色の正方形の矩形部である。従って、チェッカーパターンでは、正方形を形成する4つの矩形部は、2つの白色の正方形の矩形部と、2つの黒色の正方形の矩形部とを含み、正方形を形成する4つの矩形部の中心は、チェッカーパターンの交点を形成する。換言すると、対角方向で隣接する同一色の2つの矩形部の交わる位置が、チェッカーパターンの交点を形成する。 In the example shown in FIG. 2, the calibration pattern includes a checker pattern (an example of a regular pattern). The checker pattern is a regular pattern in which two types of rectangular portions having different colors (shades) are arranged alternately and continuously in two orthogonal directions (X1 direction and Y1 direction). The two types of rectangular portions having different colors are typically a white square rectangular portion and a black square rectangular portion. Therefore, in the checker pattern, the four rectangular portions forming the square include two white square rectangular portions and two black square rectangular portions, and the center of the four rectangular portions forming the square is. Form the intersection of checkered patterns. In other words, the intersections of two diagonally adjacent rectangular portions of the same color form the intersection of the checkered patterns.
尚、校正パターンのサイズは、チェッカーパターンのサイズに対応するが、チェッカーパターンのサイズは、任意である。例えば、図2に示すチェッカーパターンは、校正用ボード上の校正パターンの一部であってもよい。 The size of the calibration pattern corresponds to the size of the checker pattern, but the size of the checker pattern is arbitrary. For example, the checker pattern shown in FIG. 2 may be a part of the calibration pattern on the calibration board.
本実施例では、校正パターンは、チェッカーパターンに3点のマークM1,M2、及びM3が付与される。尚、マークの点数は、2点であってもよいし、4点以上であってよい。 In this embodiment, the checker pattern is given three marks M1, M2, and M3 as the calibration pattern. The score of the mark may be 2 points or 4 points or more.
マークM1,M2、及びM3は、同じ形、同じ色、かつ同じサイズであるが、異なってもよい。但し、マークM1,M2、及びM3は、チェッカーパターンの1つの矩形部内に収まるサイズであり、好ましくは、矩形部の中心に配置される。マークM1,M2、及びM3は、校正用ボードが回転しても見え方が変化しない形状であり、図2に示す例では、円形である。 The marks M1, M2, and M3 have the same shape, the same color, and the same size, but may be different. However, the marks M1, M2, and M3 have a size that fits within one rectangular portion of the checker pattern, and are preferably arranged at the center of the rectangular portion. The marks M1, M2, and M3 have shapes that do not change their appearance even when the calibration board is rotated, and are circular in the example shown in FIG.
尚、図2に示す例では、マークM1,M2、及びM3は、白色の矩形部内にそれぞれ配置され、黒色であるが、逆であってもよい。即ち、マークM1,M2、及びM3は、黒色の矩形部内にそれぞれ配置され、白色であってもよい。 In the example shown in FIG. 2, the marks M1, M2, and M3 are arranged in the white rectangular portion and are black, but may be reversed. That is, the marks M1, M2, and M3 are arranged in the black rectangular portion, respectively, and may be white.
マークM1,M2、及びM3の配置位置は、任意であるが、後述の傾斜角θを精度良く算出できるように、比較的距離をおいて配置される。例えば、図2に示す例では、マークM1及びM2は、格子ピッチの2ピッチ分だけX1方向でオフセットしている。格子ピッチとは、チェッカーパターンのピッチであり、矩形部の1辺の長さの2倍である。 The positions of the marks M1, M2, and M3 are arbitrary, but they are arranged at a relatively long distance so that the inclination angle θ described later can be calculated accurately. For example, in the example shown in FIG. 2, the marks M1 and M2 are offset in the X1 direction by two pitches of the grid pitch. The grid pitch is the pitch of the checker pattern, which is twice the length of one side of the rectangular portion.
また、マークM1,M2、及びM3(第1マーク、第2マーク、及び第3マークの一例)のように、3点以上のマークを付与する場合、3点以上のマークは、各マークを外接する態様で結んで形成される外形が回転対称とならないように配置される。これは、後述のように、マークM1,M2、及びM3の認識結果に基づいて、傾斜角θを算出できるようにするためである。図2に示す例では、マークM1及びM3は、格子ピッチの1ピッチ分だけY1方向でオフセットしている。従って、マークM1及びM2を結ぶ線分の長さ(第1距離の一例)は、マークM1及びM3を結ぶ線分の長さ(第2距離の一例)よりも大きい。また、マークM1及びM2を結ぶ線分とマークM1及びM3を結ぶ線分とのなす角度は、90度である。 Further, when three or more marks are given as marks M1, M2, and M3 (an example of the first mark, the second mark, and the third mark), the marks of three points or more circumscribe each mark. The outer shapes formed by connecting them in this manner are arranged so as not to be rotationally symmetric. This is because, as will be described later, the inclination angle θ can be calculated based on the recognition results of the marks M1, M2, and M3. In the example shown in FIG. 2, the marks M1 and M3 are offset in the Y1 direction by one pitch of the grid pitch. Therefore, the length of the line segment connecting the marks M1 and M2 (an example of the first distance) is larger than the length of the line segment connecting the marks M1 and M3 (an example of the second distance). The angle between the line segment connecting the marks M1 and M2 and the line segment connecting the marks M1 and M3 is 90 degrees.
チェッカーパターンには、校正用に用いられる基準点が設定される。基準点は、任意に設定されてよいが、典型的には、チェッカーパターンの交点に設定される。この場合、基準点は、4つの矩形部により形成される(即ち4つの矩形部の中心である)。基準点の個数は、1個で足りるが、2個以上設定されてもよい。基準点は、好ましくは、校正用ボードのX1方向の端部付近に設定される。これは、例えばステージ23の中心に校正用ボードの中心を合わせて校正用ボードをステージ23上に載置した場合に、撮像装置3をX軸方向に動かした際に生じる基準点に係る視差を大きくできるためである。図2に示す例では、基準点Refは、校正用ボードのX1方向の端部付近のチェッカーパターンの交点に設定されている。
A reference point used for calibration is set in the checker pattern. The reference point may be set arbitrarily, but is typically set at the intersection of checker patterns. In this case, the reference point is formed by the four rectangular portions (that is, the centers of the four rectangular portions). The number of reference points may be one, but two or more may be set. The reference point is preferably set near the end of the calibration board in the X1 direction. This is, for example, the parallax related to the reference point generated when the
また、本実施例では、一例として、基準点Refは、図2に示すように、マークM1,M2、及びM3が付与されていない矩形部によって形成される。即ち、本実施例では、一例として、基準点Refを形成する矩形部内には、マークM1,M2、及びM3が付与されない。この点の技術的な意義は後述する。 Further, in this embodiment, as an example, the reference point Ref is formed by the rectangular portions to which the marks M1, M2, and M3 are not assigned, as shown in FIG. That is, in this embodiment, as an example, the marks M1, M2, and M3 are not given in the rectangular portion forming the reference point Ref. The technical significance of this point will be described later.
以下では、一例として、図2に示すように、各矩形部の1辺の長さが“1”であり、従って、格子ピッチが“2”であるものとする。また、X1軸及びY1軸の座標系に係る原点は、基準点Refに対して格子ピッチの1ピッチ分だけY1方向でオフセットしているものとする。この場合、 マークM1,M2、及びM3の中心位置の座標は、以下の通りとなる。
マークM1の中心位置=(1.5,3.5)
マークM2の中心位置=(5.5,3.5)
マークM3の中心位置=(1.5,1.5)
In the following, as an example, as shown in FIG. 2, it is assumed that the length of one side of each rectangular portion is “1”, and therefore the lattice pitch is “2”. Further, it is assumed that the origins related to the coordinate systems of the X1 axis and the Y1 axis are offset in the Y1 direction by one pitch of the lattice pitch with respect to the reference point Ref. In this case, the coordinates of the center positions of the marks M1, M2, and M3 are as follows.
Center position of mark M1 = (1.5,3.5)
Center position of mark M2 = (5.5,3.5)
Center position of mark M3 = (1.5,1.5)
図3は、制御装置10で用いる校正方法の原理の説明図である。図3には、X軸方向に異なる位置P1,P2に撮像装置3が位置するときの状態が示される。また、図3には、各位置P1,P2での撮像装置3の視野の拡がりの一部がハッチング範囲SL,SRで示される。即ち、位置P1と位置P2とでは、撮像装置3に対する校正用ボードのX軸方向の位置が“b”だけ変化している。距離bは、視野に応じて予め決められており、例えば5mm程度である。図3において、点Ref1、Ref2は、撮像装置3に対する校正用ボードのZ軸方向の位置が異なるときの基準点Refの各位置を表す。即ち、点Ref1と点Ref2とでは、撮像装置3に対する校正用ボードのZ軸方向の位置がΔZだけ変化している。ΔZは、機構20Zによる移動量に対応し、既知となる。ΔZは、任意であるが、本実施例では、一例として20mmである。また、図3には、撮像装置3の校正パラメータであるf値が“f”で示される。
FIG. 3 is an explanatory diagram of the principle of the calibration method used in the
図3では、平行ステレオ法による校正方法が示される。平行ステレオ法では、図3中に示される4つのパラメータxL1、xL2、xR1、及びxR2が算出される。パラメータxL1は、図3に模式的に示すように、撮像装置3が位置P2にあり且つ点Ref1に基準点Refが位置する状態において、撮像装置3で得られる画像内における基準点Refの位置(画像左端からの距離)に対応する。パラメータxL2は、図3に模式的に示すように、撮像装置3が位置P2にあり且つ点Ref2に基準点Refが位置する状態において、撮像装置3で得られる画像内における基準点Refの位置(画像左端からの距離)に対応する。同様に、パラメータxR1は、図3に模式的に示すように、撮像装置3が位置P1にあり且つ点Ref1に基準点Refが位置する状態において、撮像装置3で得られる画像内における基準点Refの位置(画像左端からの距離)に対応する。パラメータxR2は、図3に模式的に示すように、撮像装置3が位置P1にあり且つ点Ref2に基準点Refが位置する状態において、撮像装置3で得られる画像内における基準点Refの位置(画像左端からの距離)に対応する。
FIG. 3 shows a calibration method by the parallel stereo method. In the parallel stereo method, the four parameters xL 1 , xL 2 , xR 1 and xR 2 shown in FIG. 3 are calculated. The parameter xL 1 is the position of the reference point Ref in the image obtained by the
このとき、各パラメータは、以下の関係式を満たす。
Zn=bf/|xLn-xRn| 式(1)
ここで、Zn、xLn、及びxRnにおける下付きの“n”は、図3では、“1”又は“2”であり、具体的には、以下のとおりである。
Z1=bf/|xL1-xR1| 式(2)
Z2=bf/|xL2-xR2| 式(3)
Z1は、図3に示すように、点Ref1と撮像装置3との間のZ軸方向の距離(第3距離の一例)であり、Z2は、点Ref2と撮像装置3との間のZ軸方向の距離(第4距離の一例)であり、以下の関係を有する。
Z1=Z2+ΔZ 式(4)
ここで、b、ΔZは既知であるので、未知数は、f、Z1、及びZ2の3つである。従って、パラメータxL1、xL2、xR1、及びxR2の各値を算出すれば、式(2)〜式(4)を用いて、f値が求まる。パラメータxL1、xL2、xR1、及びxR2の各値を精度良く算出できれば、精度の高い校正を実現できる(即ち精度の高いf値を求めることができる)。
At this time, each parameter satisfies the following relational expression.
Z n = bf / | xL n -xR n | Equation (1)
Here, Z n, xL n, and the subscript in xR n "n" is, in FIG. 3, a "1" or "2", specifically, as follows.
Z 1 = bf / | xL 1 -xR 1 | Equation (2)
Z 2 = bf / | xL 2 -xR 2 | Equation (3)
As shown in FIG. 3, Z 1 is the distance in the Z-axis direction between the
Z 1 = Z 2 + ΔZ equation (4)
Here, since b and ΔZ are known, there are three unknowns, f, Z 1 , and Z 2. Therefore, if the values of the parameters xL 1 , xL 2 , xR 1 , and xR 2 are calculated, the f-number can be obtained using the equations (2) to (4). If each value of the parameters xL 1 , xL 2 , xR 1 , and xR 2 can be calculated with high accuracy, highly accurate calibration can be realized (that is, a highly accurate f value can be obtained).
図4は、制御装置10のハードウェア構成の一例を示す図である。制御装置10のハードウェア構成に関連付けて、周辺機器8が模式的に図示されている。周辺機器8は、出力装置5、ステージコントローラ6A、照明コントローラ6B、及び撮像コントローラ6Cを含む。
FIG. 4 is a diagram showing an example of the hardware configuration of the
制御装置10は、バス19で接続されたCPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、補助記憶装置14、ドライブ装置15、及び通信インターフェース17、並びに、通信インターフェース17に接続された有線送受信部25及び無線送受信部26を含む。
The
補助記憶装置14は、例えばHDD(Hard Disk Drive)や、SSD(Solid State Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
The
有線送受信部25は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部25には、周辺機器8が接続される。但し、周辺機器8の一部又は全部は、バス19に接続されてもよい。
The wired transmission /
無線送受信部26は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網、インターネット、World Wide Web、VPN(virtual private network)、WAN(Wide Area Network)等を含んでよい。また、無線送受信部26は、近距離無線通信(NFC:Near Field Communication)部、ブルーツース(Bluetooth、登録商標)通信部、Wi−Fi(Wireless-Fidelity)送受信部、赤外線送受信部などを含んでもよい。尚、変形例では、無線送受信部26は省略されてもよい。
The wireless transmission /
尚、制御装置10は、記録媒体16と接続可能であってもよい。記録媒体16は、所定のプログラムを格納する。この記録媒体16に格納されたプログラムは、ドライブ装置15を介して制御装置10の補助記憶装置14等にインストールされる。インストールされた所定のプログラムは、制御装置10のCPU11により実行可能となる。例えば、記録媒体16は、CD(Compact Disc)−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体16には、搬送波は含まれない。
The
図5は、制御装置10の機能構成の一例を示す図である。
FIG. 5 is a diagram showing an example of the functional configuration of the
制御装置10は、画像取得部100と、マーク認識部101と、傾斜算出部102と、比算出部103と、基準概略位置算出部104と、基準点算出部105と、校正パラメータ値導出部106とを含む。また、制御装置10は、注目点位置導出部107と、距離算出部108と、校正パラメータ値記憶部110とを含む。画像取得部100、マーク認識部101、傾斜算出部102、比算出部103、基準概略位置算出部104、基準点算出部105、及び校正パラメータ値導出部106は、CPU11がROM13に記憶された1つ以上のプログラムを実行することで実現できる。また、注目点位置導出部107及び距離算出部108は、CPU11がROM13に記憶された1つ以上のプログラムを実行することで実現できる。尚、1つ以上のプログラムは、ROM13以外の記憶装置(例えば補助記憶装置14)に記憶されていてもよい。校正パラメータ値記憶部110は、例えば補助記憶装置14により実現できる。
The
制御装置10は、校正フェーズと、実働(稼働)フェーズとでそれぞれ異なる動作を行う。校正フェーズは、実働フェーズの前のフェーズであり、校正フェーズを経て実働フェーズへと移行する。画像取得部100、マーク認識部101、傾斜算出部102、比算出部103、基準概略位置算出部104、基準点算出部105、及び校正パラメータ値導出部106は、校正フェーズで機能する。画像取得部100、注目点位置導出部107、及び距離算出部108は、実働フェーズで機能する。尚、変形例では、制御装置10は、校正フェーズのみで機能し、実働フェーズで機能する別の制御装置が設けられてもよい。
The
画像取得部100は、校正フェーズにおいて、ステージ23に載置された校正用ボードを撮像装置3で撮像して得られる画像を取得する。尚、校正フェーズでは、校正用ボードは、校正パターンが描画された側の表面が撮像装置3側に向くようにステージ23に載置される。また、画像取得部100は、実働フェーズにおいて、ステージ23に載置されたサンプルを撮像装置3で撮像して得られる画像を取得する。
In the calibration phase, the
マーク認識部101は、校正フェーズにおいて、画像取得部100が取得した画像に基づいて、画像内におけるマークM1,M2、及びM3を認識する。尚、マークM1,M2、及びM3の認識には、パターンマッチングのような通常の認識方法が用いられてよい。この際、マーク認識部101は、マークM1,M2、及びM3を識別した上で、マークM1,M2、及びM3の各位置を検出してもよい。マークM1,M2、及びM3は、認識できた3つのマークの位置の幾何的な関係に基づいて識別できる。本実施例では、一例として、マーク認識部101は、マークM1,M2、及びM3を識別した上で、画像内におけるマークM1,M2、及びM3の各位置A〜Cを算出する。以下では、画像内におけるマークM1,M2、及びM3の各位置A〜Cは、画像のxy座標系で、以下の通り算出されたものとする。尚、画像のxy座標系でx軸方向は、画像の水平方向である。画像の水平方向はX軸方向(図1参照)に一致するものとする。即ち、撮像装置3は、画像の水平方向がX軸方向に一致するように配置されているものとする。従って、画像の垂直方向は、Y軸方向(図1参照)と一致する。
マークM1の位置A=(xa,ya)
マークM2の位置B=(xb,yb)
マークM3の位置C=(xc,yc)
In the calibration phase, the
Mark M1 position A = (xa, ya)
Mark M2 position B = (xb, yb)
Mark M3 position C = (xc, yc)
傾斜算出部102は、校正フェーズにおいて、基準ラインに対する校正パターンの傾きである傾斜角θを算出する。基準ラインは、校正用ボードが載置される平面(即ちXY平面)内の任意の方向であってよいが、一例として、画像の水平方向であるとする。図6は、傾斜角θの算出方法の説明図である。図6は、基準ラインに対する校正パターンが傾斜している状態で得られる画像を示す。図6において、ベクトルxは、画像の水平方向に沿ったベクトルである。傾斜角θは、図6に示すように、マークM1の位置AとマークM2の位置Bとを結ぶベクトル(以下、「ベクトルAB」と称する)と、ベクトルxとのなす角度である。従って、傾斜角θは、以下のとおりである。
The
尚、傾斜算出部102は、ベクトルABに代えて、マークM1の位置AとマークM3の位置Cとを結ぶベクトル(以下、「ベクトルAC」と称する)を用いて、同様の傾斜角θを算出してもよい。但し、ベクトルABの方がベクトルACよりも大きいので、ベクトルABを用いる方が算出精度が高くなることが期待できる。
The
比算出部103は、校正フェーズにおいて、実際の2つのマークM1及びM2間の距離D0ABと、画像内における同2つのマークM1及びM2間の距離D1ABとの比であるスケールsを算出する。本実施例では、一例として、スケールsは、距離D0ABに対する距離D1ABの比(=D1AB/D0AB)として表現されるが、逆の比(=D0AB/D1AB)であってもよい。距離D0ABは、校正用ボードにマークM1及びM2を付与した段階で決まる既知の値である。例えば、図2に示す例では、距離D0AB=4である。距離D1ABは、ベクトルABの長さを導出することで得られる。従って、スケールsは、以下のとおりである。
In the calibration phase, the
基準概略位置算出部104は、校正フェーズにおいて、傾斜角θとスケールsとに基づいて、基準点Refの概略位置qを算出する。概略位置q(x1、y1)は、マークM3の位置C(=(xc,yc))を用いて、幾何的に以下のとおり算出される。尚、“概略”位置としているのは、マークM3の位置Cの算出値等の精度に起因して、後述の基準点算出部105により算出される位置よりも相対的に精密性が劣るためである。
In the calibration phase, the reference approximate
基準点算出部105は、校正フェーズにおいて、画像内における基準点Refの位置の精密な算出を行う。具体的には、基準点算出部105は、概略位置qと、概略位置qを含む所定領域内の特徴量とに基づいて、画像内における基準点Refの位置の精密な算出を行う。本実施例では、一例として、所定領域を画成する探索範囲が設定される。図7は、探索範囲の説明図である。図7は、前出の図6と同様、基準ラインに対する校正パターンが傾斜している状態で得られる画像を示す。図7には、画像との位置関係を示すために、探索範囲70の外枠が点線にて示される。
The reference
探索範囲70は、好ましくは、チェッカーパターンの4つ分の矩形部よりも小さい。即ち、探索範囲70の外枠が正方形であるとき、探索範囲70の外枠の一辺の長さは、格子ピッチよりも小さく、例えば0.5倍以上かつ0.7倍以下の範囲である。本実施例では、一例として、探索範囲70の外枠の一辺の長さは、格子ピッチの0.6倍である。
The
基準点算出部105は、探索範囲を、概略位置qに該探索範囲の中心が位置する態様で設定する。基準点算出部105は、探索範囲70の外枠の中心が概略位置qに一致するように、画像に対して探索範囲70を位置付ける。この際、探索範囲70は、横方向と縦方向とがそれぞれ画像の水平方向と垂直方向に合う向きで、画像に対して設定されてよい。そして、基準点算出部105は、探索範囲70内の特徴量を導出することで、画像内における基準点Refの位置の精密な算出を行う。画像内における基準点Refの位置の精密な算出には、例えば図8A及び図8Bに示す方法が用いられる。
The reference
図8A及び図8Bは、探索範囲70内の特徴量の導出方法の具体例の説明図である。図8A及び図8Bは、チェッカーパターンの4つ分の矩形部(探索範囲70を包含する4つの矩形部)を示す。
8A and 8B are explanatory views of a specific example of a method for deriving a feature amount within the
図8A及び図8Bに示す例では、特徴量として、探索範囲内における第1位置r1と第2位置r2とを結ぶベクトル(以下、「ベクトルr1r2」と称する)と、第2位置r2での勾配ベクトル∇I(r2)との内積(以下、「内積<∇I(r2)、r1−r2>」と称する)が用いられる。第1位置r1の初期値は、概略位置qに設定される。第2位置r2は、探索範囲内における任意の位置であり、複数の位置を取るように動かされる。第2位置r2は、例えば探索範囲内における各画素位置である。第2位置r2での勾配ベクトルの方向は、第2位置r2での濃淡の変化勾配が最大となる方向に対応する。ここで、第2位置r2が図8Aに示すように、矩形部内に位置するとき、勾配ベクトル∇I(r2)は0である。これは、矩形部内では、濃淡変化が均一であるためである。従って、この場合、∇I(r2)=0のため、内積<∇I(r2)、r1−r2>=0である。また、ベクトルr1r2が図8Bに示すように、矩形部のエッジに沿っている場合、勾配ベクトル∇I(r2)はベクトルr1r2に直角となる。従って、この場合も、内積<∇I(r2)、r1−r2>=0である。この点を利用して、基準点算出部105は、各第2位置r2に対して内積<∇I(r2)、r1−r2>=0となる第1位置r1を求め、この値を第1位置r1の新たな初期値として設定し上述の演算を行う。この操作を、所定の精度基準に到達するまで反復的に繰り返して第1位置r1を探索する。そして、基準点算出部105は、所定の精度基準に到達した第1位置r1を、基準点Refの位置(精密な解)とする。尚、図8A及び図8Bで説明した精密な解の探索方法には、「Gary Bradski,Adrian Kaeblerによる“詳解 OpenCV”,O'Reilly,pp.325-326,2011」が参考文献となる。尚、基準点算出部105により算出される基準点の位置の精密さは、例えば一画素に対して例えば1/10〜1/30のオーダであってよい。
In the examples shown in FIGS. 8A and 8B, as feature quantities, a vector connecting the first position r1 and the second position r2 in the search range (hereinafter referred to as “vector r1r2”) and a gradient at the second position r2. An inner product with the vector ∇I (r2) (hereinafter, referred to as “inner product <∇I (r2), r1-r2>”) is used. The initial value of the first position r1 is set to the approximate position q. The second position r2 is an arbitrary position within the search range, and is moved to take a plurality of positions. The second position r2 is, for example, each pixel position within the search range. The direction of the gradient vector at the second position r2 corresponds to the direction in which the change gradient of the shade at the second position r2 is maximized. Here, as shown in FIG. 8A, when the second position r2 is located in the rectangular portion, the gradient vector ∇I (r2) is 0. This is because the shading change is uniform in the rectangular portion. Therefore, in this case, since ∇I (r2) = 0, the inner product <∇I (r2), r1-r2> = 0. Further, when the vector r1r2 is along the edge of the rectangular portion as shown in FIG. 8B, the gradient vector ∇I (r2) is perpendicular to the vector r1r2. Therefore, also in this case, the inner product <∇I (r2), r1-r2> = 0. Using this point, the reference
校正パラメータ値導出部106は、校正フェーズにおいて、基準点算出部105により算出された基準点の位置に基づいて、撮像装置3の校正パラメータの値(即ち、f値)を導出する。f値の導出方法は、図3を参照して上述した通りである。尚、パラメータxL1、xL2、xR1、及びxR2の各値は、基準点算出部105により算出された基準点の各位置(例えば、画像のxy座標系でのx座標の値)に対応する。校正パラメータ値導出部106は、f値を導出すると、導出したf値を校正パラメータ値記憶部110に記憶する。
In the calibration phase, the calibration parameter
注目点位置導出部107は、実働フェーズにおいて、画像取得部100からの画像に基づいて、ステージ23上に載置されたサンプルの注目点の位置(画像内における位置)を導出する。サンプルの注目点は、画像認識可能な態様で予め規定される。サンプルの注目点は、サンプル自体が持つ特徴部分であってもよいし、サンプルに付与されたマーカー等であってもよい。注目点位置導出部107は、撮像装置3が位置P2にあるときに得られた画像と、撮像装置3が位置P1にあるときに得られた画像とに対して、それぞれ、サンプルの注目点の位置を導出する。
In the actual operation phase, the attention point
距離算出部108は、実働フェーズにおいて、注目点位置導出部107により算出されたサンプルの注目点の位置と、校正パラメータ値記憶部110に記憶されたf値とに基づいて、撮像装置3からサンプルの注目点までの距離(Z軸方向の距離)を算出する。撮像装置3からサンプルの注目点までの距離は、式(1)を用いて算出できる。
In the actual working phase, the
ところで、校正フェーズにおいては、撮像装置3の正確な光学倍率が不明である。校正パターンは、チェッカーパターン(規則的なパターン)を有するため、撮像装置3の正確な光学倍率が不明な状況下では、校正用の基準点Refの概略位置でさえも算出することが困難となる場合がある。
By the way, in the calibration phase, the exact optical magnification of the
また、校正フェーズにおいては、基準ライン(画像の水平方向)に対して校正パターンが傾斜する場合がある。即ち、画像の水平方向に対して、画像中の校正パターンのX1軸(図2参照)の方向が傾斜する場合がある。かかる傾斜が発生すると、校正用の基準点Refの概略位置でさえも算出することが困難となる場合がある。校正用ボードを、基準ラインに対して校正パターンが傾斜しないように、配置することは難しい場合がある。 Further, in the calibration phase, the calibration pattern may be inclined with respect to the reference line (horizontal direction of the image). That is, the direction of the X1 axis (see FIG. 2) of the calibration pattern in the image may be inclined with respect to the horizontal direction of the image. When such an inclination occurs, it may be difficult to calculate even the approximate position of the reference point Ref for calibration. It can be difficult to arrange the calibration board so that the calibration pattern does not tilt with respect to the reference line.
図9A及び図9Bは、チェッカーパターンにマークM1,M2、及びM3が付与されない校正パターンの画像を示す図である。図9Aは、ΔZ=0のとき、即ち基準点Refが点Ref1(図3参照)に位置するときの画像を示し、図9Bは、ΔZ=20のとき、即ち基準点Refが点Ref2(図3参照)に位置するときの画像を示す。 9A and 9B are diagrams showing images of a calibration pattern in which the marks M1, M2, and M3 are not added to the checker pattern. FIG. 9A shows an image when ΔZ = 0, that is, when the reference point Ref is located at the point Ref1 (see FIG. 3), and FIG. 9B shows an image when ΔZ = 20, that is, the reference point Ref is the point Ref2 (FIG. 3). 3) shows the image when it is located.
図9A及び図9Bには、基準点Refの概略位置が矢印R1,R2でそれぞれ示される。図9A及び図9Bからは、チェッカーパターンの交点に校正用の基準点Refを設定した場合、画像内におけるチェッカーパターンの多数の交点のうちから、基準点に係る交点を特定することが困難であることが分かる。 In FIGS. 9A and 9B, the approximate positions of the reference points Ref are indicated by arrows R1 and R2, respectively. From FIGS. 9A and 9B, when the reference point Ref for calibration is set at the intersection of the checker patterns, it is difficult to specify the intersection related to the reference point from among the many intersections of the checker patterns in the image. You can see that.
この点、本実施例によれば、上述のように、マーク認識部101、傾斜算出部102、比算出部103、及び基準概略位置算出部104を備える。これにより、チェッカーパターンの交点に校正用の基準点Refを設定した場合に、画像内におけるチェッカーパターンの多数の交点のうちから、基準点Refに係る交点を精度良く特定できる。
In this regard, according to the present embodiment, as described above, the
図10A及び図10Bは、チェッカーパターンにマークM1,M2、及びM3が付与された校正パターンの画像を示す図である。図10Aは、ΔZ=0のとき、即ち基準点Refが点Ref1(図3参照)に位置するときの画像を示し、図10Bは、ΔZ=20のとき、即ち基準点Refが点Ref2(図3参照)に位置するときの画像を示す。 10A and 10B are diagrams showing images of calibration patterns in which marks M1, M2, and M3 are added to checker patterns. FIG. 10A shows an image when ΔZ = 0, that is, when the reference point Ref is located at the point Ref1 (see FIG. 3), and FIG. 10B shows an image when ΔZ = 20, that is, the reference point Ref is the point Ref2 (FIG. 3). 3) shows the image when it is located.
図10A及び図10Bには、基準点Refの概略位置が矢印R3,R4でそれぞれ示される。図10A及び図10Bから分かるように、チェッカーパターンにマークM1,M2、及びM3を付与することで、画像内におけるチェッカーパターンの多数の交点のうちから、基準点Refに係る交点を精度良く特定できる。即ち、基準概略位置算出部104により算出された基準点Refの概略位置qが基準点Refに係る交点よりも他の交点の近くなるという不都合(即ち基準点Refとは異なる誤った交点に係る概略位置qが算出されてしまう不都合)を、低減できる。この結果、本実施例によれば、精度の高い校正を実現できる。
In FIGS. 10A and 10B, the approximate positions of the reference points Ref are indicated by arrows R3 and R4, respectively. As can be seen from FIGS. 10A and 10B, by adding marks M1, M2, and M3 to the checker pattern, it is possible to accurately identify the intersection related to the reference point Ref from among the many intersections of the checker pattern in the image. .. That is, the inconvenience that the approximate position q of the reference point Ref calculated by the reference approximate
また、本実施例によれば、上述のように、基準点Refは、図2に示すように、マークM1,M2、及びM3が付与されていない矩形部によって形成される。即ち、基準点Refを形成する矩形部内には、マークM1,M2、及びM3が付与されていない。これにより、基準点算出部105による画像内における基準点Refの位置の精密な算出に、マークM1,M2、及びM3が影響してしまうことを、防止できる。具体的には、探索範囲70内にマークM1のようなマークが存在すると、該マークに係る画素値が、基準点算出部105が算出する特徴量に影響する場合がある。かかる場合、マークに係る画素値に起因して、基準点算出部105による画像内における基準点Refの位置の精密な算出が阻害される。この点、本実施例によれば、探索範囲70内にマークM1等に係る画素が含まれないので、マークM1等に係る画素値に起因して基準点算出部105による画像内における基準点Refの位置の精密な算出が阻害されるという不都合を、無くすことができる。この結果、本実施例によれば、精度の高い校正を実現できる。
Further, according to the present embodiment, as described above, the reference point Ref is formed by the rectangular portions to which the marks M1, M2, and M3 are not assigned, as shown in FIG. That is, the marks M1, M2, and M3 are not given in the rectangular portion forming the reference point Ref. As a result, it is possible to prevent the marks M1, M2, and M3 from affecting the precise calculation of the position of the reference point Ref in the image by the reference
但し、図11に示す変形例のように、基準点Refは、マークM1,M2、及びM3が付与された矩形部によって形成されてもよい。図11に示す例では、マークM3は、基準点Refを形成する矩形部(基準点Refに対して右下の白い正方形の矩形部)に付与されている。この場合、基準概略位置算出部104による基準点Refの概略位置qの算出後であって、基準点算出部105による画像内における基準点Refの位置の精密な算出に先立って、画像処理により画像中のマークM1,M2、及びM3を除去する処理を行えばよい。
However, as in the modified example shown in FIG. 11, the reference point Ref may be formed by the rectangular portions to which the marks M1, M2, and M3 are given. In the example shown in FIG. 11, the mark M3 is attached to the rectangular portion forming the reference point Ref (the rectangular portion of the white square at the lower right with respect to the reference point Ref). In this case, after the approximate position q of the reference point Ref is calculated by the reference approximate
具体的には、図12A、図12B、図13A、及び図13Bは、マークM3が基準点Refを形成する矩形部に付与された場合の校正パターンの画像を示す図である。図12A及び図12Bは、画像処理により画像中のマークM1,M2、及びM3を除去する処理を行う前の状態を示し、図13A及び図13Bは、画像処理により画像中のマークM1,M2、及びM3を除去する処理を行った後の状態を示す。また、図12A及び図13Aは、ΔZ=0のとき、即ち基準点Refが点Ref1(図3参照)に位置するときの画像を示し、図12B及び図13Bは、ΔZ=20のとき、即ち基準点Refが点Ref2(図3参照)に位置するときの画像を示す。図12A、図12B、図13A、及び図13Bには、探索範囲70が模式的に示されている。
Specifically, FIGS. 12A, 12B, 13A, and 13B are diagrams showing images of a calibration pattern when the mark M3 is applied to the rectangular portion forming the reference point Ref. 12A and 12B show the states before the processing for removing the marks M1, M2 and M3 in the image by the image processing, and FIGS. 13A and 13B show the marks M1, M2 in the image by the image processing. And the state after performing the process of removing M3 are shown. 12A and 13A show images when ΔZ = 0, that is, when the reference point Ref is located at the point Ref1 (see FIG. 3), and FIGS. 12B and 13B show images when ΔZ = 20, that is, The image when the reference point Ref is located at the point Ref2 (see FIG. 3) is shown. The
図12A及び図12Bに示すように、マークM3が基準点Refを形成する矩形部に付与された場合、探索範囲70内にマークM3に係る画素が含まれる。この結果、上述のように、マークに係る画素値に起因して、基準点算出部105による画像内における基準点Refの位置の精密な算出が阻害される。これに対して、画像処理により画像中のマークM1,M2、及びM3を除去する処理を行うと、図13A及び図13Bにて範囲1301〜1303に示すように、マークM1,M2、及びM3に係る画素値が周辺の画素値で置換される。即ち、マークM1,M2、及びM3に係る画素値が、白い矩形部の“白”に係る画素値で置換される。これにより、マークM1等に係る画素値に起因して基準点算出部105による画像内における基準点Refの位置の精密な算出が阻害されるという不都合を、無くし、精度の高い校正を実現できる。
As shown in FIGS. 12A and 12B, when the mark M3 is attached to the rectangular portion forming the reference point Ref, the pixel related to the mark M3 is included in the
尚、図12A及び図12Bに示す例では、画像処理により画像中のマークM1,M2、及びM3が除去されているが、探索範囲70内に入り得るマークM3だけが除去されてもよい。
In the examples shown in FIGS. 12A and 12B, the marks M1, M2, and M3 in the image are removed by the image processing, but only the marks M3 that can be within the
次に、図14及び図15を参照して、制御装置10の動作例について、校正フェーズと実働フェーズとでそれぞれ説明する。
Next, with reference to FIGS. 14 and 15, operation examples of the
図14は、校正フェーズにおける制御装置10の動作例を示す概略フローチャートである。図14に示す処理は、例えば、ユーザが校正用ボードを、ステージ23上に載置し、制御装置10に対して校正開始指令を入力した場合に、起動される。図14では、図2に示す校正パターンを有する校正用ボードが用いられるものとする。尚、校正用ボードは、マークM1,M2、及びM3が撮像装置3の視野に入るようにステージ23上に載置される。
FIG. 14 is a schematic flowchart showing an operation example of the
ステップS1400では、画像取得部100は、照明装置4及び撮像装置3を起動し、照明装置4によりステージ23上を照明させる。
In step S1400, the
ステップS1402では、画像取得部100は、変数“n”をn=1にセットする。
In step S1402, the
ステップS1404では、画像取得部100は、駆動機構20を駆動して、撮像装置3とステージ23との位置関係を、初回の位置関係に調整する。図14では、一例として、初回の位置関係では、Z軸方向で基準点Refが点Ref1(図3参照)に位置し、かつ、X軸方向で撮像装置3が位置P1(図3参照)に位置する。尚、この初回の位置関係への調整(位置付け)は、必ずしも精密である必要はない。
In step S1404, the
ステップS1406では、画像取得部100は、撮像装置3による撮像を実行させ、n番目の画像を取得する。
In step S1406, the
ステップS1408では、マーク認識部101は、ステップS1406で得たn番目の画像に基づいて、n番目の画像内における3つのマーク(マークM1,M2、及びM3に係る画素集合)を認識する。マークM1,M2、及びM3に係る画素集合は、例えばパターンマッチングにより認識される。
In step S1408, the
ステップS1410では、マーク認識部101は、ステップS1408で得た3つのマークの認識結果に基づいて、3つのマークを結んで形成される三角形のうちの、直角を挟む2辺を特定する。即ち、マーク認識部101は、ベクトルAB及びベクトルACに係る2辺とを特定する。
In step S1410, the
ステップS1412では、マーク認識部101は、ステップS1410で特定した直角を挟む2辺のうちの、長い方を、ベクトルABに係る辺として認識する。尚、ベクトルABは、図2に示すように、直角を挟む2辺のうちの、長い方の辺に係るベクトルである。この結果、n番目の画像内における3つのマークが、マークM1,M2、及びM3のうちのどれであるかが確定し、画像内におけるマークM1,M2、及びM3の各位置A〜Cが確定される。
In step S1412, the
ステップS1414では、傾斜算出部102は、ステップS1412で得たベクトルABと、ベクトルx(画像の水平方向に沿ったベクトル)とのなす角度を、傾斜角θとして算出する。傾斜角θの算出方法は、上述したとおりである。
In step S1414, the
ステップS1416では、比算出部103は、ステップS1412で得たベクトルABの長さ(=D1AB)を算出し、実際の2つのマークM1及びM2間の距離D0ABに対する比(スケールs=D1AB/D0AB)を算出する。
In step S1416, the
ステップS1418では、基準概略位置算出部104は、ステップS1412で得たマークM3の位置と、ステップS1414で得た傾斜角θと、ステップS1416で得たスケールsとに基づいて、基準点Refの概略位置qを算出する。基準点Refの概略位置qの算出方法は、上述したとおりである(数3参照)。
In step S1418, the reference approximate
ステップS1420では、基準点算出部105は、ステップS1418で得た基準点Refの概略位置qに基づいて、基準点Refの概略位置qを中心とした探索範囲70を設定する。探索範囲70は、図7を参照して上述した通りである。
In step S1420, the reference
ステップS1422では、基準点算出部105は、ステップS1420で設定した探索範囲70に基づいて、ステップS1406で得たn番目の画像内における基準点Refの位置の精密な算出を行う。基準点Refの位置の精密な算出方法は、上述した通りである。この結果、n=1のときは、パラメータxR1(図3参照)が得られ、n=3のときは、パラメータxR2(図3参照)が得られる。
In step S1422, the reference
ステップS1424では、画像取得部100は、変数nを“1”だけインクリメントする。
In step S1424, the
ステップS1426では、画像取得部100は、駆動機構20を駆動して、X軸方向で撮像装置3が位置P2(図3参照)に位置するように、機構20Xにより撮像装置3を距離b(図3参照)だけX軸負方向に移動させる。尚、このX軸方向の距離bの移動は、機構20Xにより精密に実現できる。
In step S1426, the
ステップS1428では、画像取得部100は、撮像装置3による撮像を実行させ、n番目の画像を取得する。
In step S1428, the
ステップS1430では、マーク認識部101は、ステップS1406で得たn番目の画像に基づいて、n番目の画像内における3つのマーク(マークM1,M2、及びM3に係る画素集合)を認識する。そして、マーク認識部101は、画像内におけるマークM1,M2、及びM3の各位置A〜Cを導出する。
In step S1430, the
ステップS1432では、基準概略位置算出部104は、ステップS1430で得たマークM3の位置と、ステップS1414で得た傾斜角θと、ステップS1416で得たスケールsとに基づいて、基準点Refの概略位置qを算出する。基準点Refの概略位置qの算出方法は、上述したとおりである(数3参照)。但し、変形例では、基準概略位置算出部104は、ステップS1418で得た基準点Refの概略位置q(距離b移動前の画像に基づく概略位置q)に基づいて、次の通り、基準点Refの概略位置q=(x2n,y2n)を算出してもよい。
In step S1432, the reference approximate
ステップS1434では、基準点算出部105は、ステップS1432で得た基準点Refの概略位置qに基づいて、基準点Refの概略位置qを中心とした探索範囲70を設定する。探索範囲70は、図7を参照して上述した通りである。
In step S1434, the reference
ステップS1436では、基準点算出部105は、ステップS1434で設定した探索範囲70に基づいて、ステップS1428で得たn番目の画像内における基準点Refの位置の精密な算出を行う。基準点Refの位置の精密な算出方法は、上述した通りである。この結果、n=2のときは、パラメータxL1(図3参照)が得られ、n=4のときは、パラメータxL2(図3参照)が得られる。
In step S1436, the reference
ステップS1438では、画像取得部100は、変数“n”が“4”であるか否か、即ちn=4であるか否かを判定する。n=4である場合は、ステップS1446に進み、それ以外の場合(n=2の場合)、ステップS1440に進む。
In step S1438, the
ステップS1440では、画像取得部100は、駆動機構20を駆動して、X軸方向で撮像装置3が位置P1(図3参照)に位置するように、機構20Xにより撮像装置3を距離b(図3参照)だけX軸正方向に移動させる。尚、このX軸方向の距離bの移動は、機構20Xにより精密に実現できる。
In step S1440, the
ステップS1442では、画像取得部100は、駆動機構20を駆動して、Z軸方向で基準点Refが点Ref2に位置するように、機構20Zにより撮像装置3を距離ΔZ(図3参照)だけZ軸負方向に移動させる。尚、このZ軸方向の距離ΔZの移動は、機構20Zにより精密に実現できる。
In step S1442, the
ステップS1444では、画像取得部100は、変数nを“1”だけインクリメントする。ステップS1444が終了すると、ステップS1406からの処理を繰り返す。但し、この場合、ステップS1414及びステップS1416は省略されてもよい。これは、n=1のときに得られた傾斜角θ及びスケールsはn=3のときも有効に機能できるためである。
In step S1444, the
ステップS1446では、校正パラメータ値導出部106は、ステップS1422及びステップS1436で得たパラメータxL1、xL2、xR1、及びxR2の各値に基づいて、f値を導出する。f値の導出方法は、図3を参照して上述した通りであり、具体的には、以下のとおりである。
In step S1446, the calibration parameter
図14に示す処理によれば、校正パターンと撮像装置3との位置関係を変化させて、4つの位置関係で得られる画像に基づいて、精度の高いf値を導出できる。これにより、精度の高い校正を実現できる。
According to the process shown in FIG. 14, the positional relationship between the calibration pattern and the
図15は、実働フェーズにおける制御装置10の動作例を示す概略フローチャートである。図15に示す処理は、例えばロボットがサンプルをステージ23上に載置することで制御装置10に距離算出指令が入力された場合に、起動される。尚、サンプルは、注目点が撮像装置3の視野に入るようにステージ23上に載置される。
FIG. 15 is a schematic flowchart showing an operation example of the
ステップS1500では、画像取得部100は、照明装置4及び撮像装置3を起動し、照明装置4によりステージ23上を照明させる。尚、既に照明装置4及び撮像装置3が起動している場合は、ステップS1500は省略される。
In step S1500, the
ステップS1502では、画像取得部100は、撮像装置3による撮像を実行させ、撮像装置3をX軸方向に移動させる前の画像(サンプルを撮像して得られる画像)を取得する。
In step S1502, the
ステップS1504では、注目点位置導出部107は、ステップS1502で得た画像に基づいて、サンプルの注目点の位置(画像内における位置)を導出する。例えば、サンプルの注目点は、パターンマッチングのような方法で認識されてよい。この結果、サンプルの注目点の位置に対応するパラメータxR(例えばx座標の値)が得られる。
In step S1504, the point of interest
ステップS1506では、画像取得部100は、駆動機構20を駆動して、機構20Xにより撮像装置3を距離b1だけX軸負方向に移動させる。距離b1は、上述した距離b(図3参照)と同じであってもよいし、異なってもよい。
In step S1506, the
ステップS1508では、画像取得部100は、撮像装置3による撮像を実行させ、撮像装置3をX軸方向に移動させた後の画像(サンプルを撮像して得られる画像)を取得する。
In step S1508, the
ステップS1510では、注目点位置導出部107は、ステップS1508で得た画像に基づいて、サンプルの注目点の位置(画像内における位置)を導出する。この結果、サンプルの注目点の位置に対応するパラメータxL(例えばx座標の値)が得られる。
In step S1510, the point of interest
ステップS1512では、距離算出部108は、ステップS1504で得たパラメータxRと、ステップS1510で得たパラメータxLと、校正パラメータ値記憶部110内のf値とに基づいて、撮像装置3からサンプルの注目点までの距離dsを算出する。撮像装置3からサンプルの注目点までの距離dsは、Z軸方向の距離であり、上述した通りであるが、以下の通り算出できる。
In step S1512, the
図14に示す処理によれば、上述のようにして精度良く算出したf値を用いて、サンプルの注目点までの距離を精度良く算出できる。 According to the process shown in FIG. 14, the distance to the point of interest of the sample can be calculated accurately using the f value calculated accurately as described above.
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。 Although each embodiment has been described in detail above, the present invention is not limited to a specific embodiment, and various modifications and changes can be made within the scope of the claims. It is also possible to combine all or a plurality of the components of the above-described embodiment.
例えば、上述した実施例では、f値の導出には、パラメータxL1、xL2、xR1、及びxR2の各値が用いられるが、これに限られない。例えば、パラメータxL1及びxR1に係るZ1が既知とできる場合は、パラメータxL1及びxR1を用いて上記の式(2)からf値を導出することも可能である。 For example, in the above-described embodiment, the values of the parameters xL 1 , xL 2 , xR 1 , and xR 2 are used for deriving the f value, but the derivation of the f value is not limited to this. For example, when Z 1 related to the parameters xL 1 and xR 1 can be known, it is also possible to derive the f value from the above equation (2) using the parameters xL 1 and xR 1.
また、上述した実施例では、校正フェーズにおいて、校正パターンと撮像装置3との位置関係がそれぞれ異なる複数の画像を得るために、画像の水平方向に対応するX軸方向で、校正パターンと撮像装置3との間の位置関係を変化させているが、これに限られない。例えば、校正フェーズにおいて、校正パターンと撮像装置3との位置関係がそれぞれ異なる複数の画像を得るために、画像の垂直方向に対応するY軸方向で、校正パターンと撮像装置3との間の位置関係が変化されてもよい。
Further, in the above-described embodiment, in order to obtain a plurality of images in which the positional relationship between the calibration pattern and the
なお、以上の実施例に関し、さらに以下の付記を開示する。
[付記1]
規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得する画像取得部と、
前記画像ごとに、前記画像内における前記2点以上のマークを認識するマーク認識部と、
前記マーク認識部による認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出する基準概略位置算出部と、
前記画像ごとに、前記基準概略位置算出部により算出された前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出する基準点算出部と、
前記基準点算出部により算出された前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する校正パラメータ値導出部とを含む、校正装置。
[付記2]
前記マーク認識部による認識結果に基づいて、前記平面内における基準ラインに対する前記校正パターンの傾きを算出する傾斜算出部を更に含み、
前記基準概略位置算出部は、前記傾きに更に基づいて、前記概略位置を算出する、付記1に記載の校正装置。
[付記3]
前記傾斜算出部は、前記画像における水平方向と、前記画像における2つの前記マークを結ぶベクトルの方向とに基づいて、前記傾きを算出する、付記2に記載の校正装置。
[付記4]
前記2点以上のマークは、第1マークと、第2マークと、第3マークとを含み、前記第1マーク及び前記第2マークは、前記基準ラインに平行な方向で第1距離だけ離れており、かつ、前記第1マークと前記第3マークは、前記平面内における前記基準ラインに垂直な方向で、前記第1距離よりも短い第2距離だけ離れており、
前記傾斜算出部は、前記画像における水平方向と、前記画像における前記第1マーク及び前記第2マークを結ぶベクトルの方向とに基づいて、前記傾きを算出する、付記3に記載の校正装置。
[付記5]
前記マーク認識部による認識結果に基づいて、実際の2つの前記マーク間の距離と、前記画像内における同2つの前記マーク間の距離との比を算出する比算出部を更に含み、
前記基準概略位置算出部は、前記比に更に基づいて、前記概略位置を算出する、付記1〜4のうちのいずれか1項に記載の校正装置。
[付記6]
前記規則的なパターンは、色の異なる2種類の矩形部が前記平面内における直交する2方向のそれぞれで交互に連続して並ぶチェッカーパターンであり、
前記基準点は、前記チェッカーパターンの交点であり、
前記基準点算出部は、前記チェッカーパターンの4つ分の矩形部よりも小さい探索範囲を、前記概略位置に該探索範囲の中心が位置する態様で設定し、前記探索範囲内において前記基準点の位置を算出する、付記1〜5のうちのいずれか1項に記載の校正装置。
[付記7]
前記2点以上のマークは、前記基準点を形成する矩形部とは異なる矩形部内に付与される、付記6に記載の校正装置。
[付記8]
前記2点以上のマークのうちの少なくとも1つは、前記基準点を形成する矩形部内に付与され、
前記基準点算出部は、前記基準点を形成する矩形部内に付与された前記マークに係る画素値を除去して得られる前記画像に基づいて、前記特徴量を導出する、付記6に記載の校正装置。
[付記9]
前記特徴量は、前記探索範囲内における第1位置と第2位置とを結ぶベクトルと、前記第2位置での勾配ベクトルとの内積であり、
前記基準点算出部は、前記概略位置を前記第1位置の初期位置として前記第1位置を変化させながら、複数の位置を前記第2位置としても前記内積が0となる前記第1位置を、前記基準点の位置として算出する、付記6〜8のうちのいずれか1項に記載の校正装置。
[付記10]
前記複数の画像は、前記校正パターンと前記光学系との位置関係が第1ないし第4位置関係であるときに得られる第1ないし第4画像を含み、
第1位置関係と第2位置関係とは、前記平面に対して垂直な第1方向での前記校正パターンと前記光学系との距離が第3距離で同じであるが、前記平面に対して平行な第2方向での前記校正パターンと前記光学系との距離が異なり、
第3位置関係と第4位置関係とは、前記第1方向での前記校正パターンと前記光学系との距離が、前記第3距離とは異なる第4距離で同じであるが、前記第2方向での前記校正パターンと前記光学系との距離が異なる、付記1〜9のうちのいずれか1項に記載の校正装置。
[付記11]
前記校正パラメータは、f値である、付記1〜10のうちのいずれか1項に記載の校正装置。
[付記12]
前記マークは、円形の形態である、付記1〜11のうちのいずれか1項に記載の校正装置。
[付記13]
規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得し、
前記画像ごとに、前記画像内における前記2点以上のマークを認識し、
前記マークの認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出し、
前記画像ごとに、前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出し、
前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出することを含む、
コンピュータにより実行される校正方法。
[付記14]
規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得し、
前記画像ごとに、前記画像内における前記2点以上のマークを認識し、
前記マークの認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出し、
前記画像ごとに、前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出し、
前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する、
処理をコンピュータに実行させる校正プログラム。
[付記15]
光学系と、
規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを前記光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得する画像取得部と、
前記画像ごとに、前記画像内における前記2点以上のマークを認識するマーク認識部と、
前記マーク認識部による認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出する基準概略位置算出部と、
前記画像ごとに、前記基準概略位置算出部により算出された前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出する基準点算出部と、
前記基準点算出部により算出された前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する校正パラメータ値導出部とを含む、校正システム。
The following additional notes will be further disclosed with respect to the above examples.
[Appendix 1]
An image obtained by imaging a calibration pattern extending in a plane with two or more marks added to a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system at the time of imaging. An image acquisition unit that acquires multiple images with different positional relationships,
For each image, a mark recognition unit that recognizes the two or more marks in the image, and a mark recognition unit.
Based on the recognition result by the mark recognition unit, the reference approximate position calculation unit that calculates the approximate position of the reference point of the regular pattern in the image, and the reference approximate position calculation unit.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position calculated by the reference approximate position calculation unit and the feature amount in the predetermined region of the image. Reference point calculation unit and
A calibration device including a calibration parameter value derivation unit that derives a calibration parameter value of the optical system based on the position of the reference point for each image calculated by the reference point calculation unit.
[Appendix 2]
It further includes an inclination calculation unit that calculates the inclination of the calibration pattern with respect to the reference line in the plane based on the recognition result by the mark recognition unit.
The calibration device according to
[Appendix 3]
The calibration device according to
[Appendix 4]
The two or more marks include a first mark, a second mark, and a third mark, and the first mark and the second mark are separated by a first distance in a direction parallel to the reference line. The first mark and the third mark are separated by a second distance shorter than the first distance in the direction perpendicular to the reference line in the plane.
The calibration device according to
[Appendix 5]
A ratio calculation unit for calculating the ratio between the actual distance between the two marks and the distance between the two marks in the image based on the recognition result by the mark recognition unit is further included.
The calibration device according to any one of
[Appendix 6]
The regular pattern is a checker pattern in which two types of rectangular portions having different colors are arranged alternately and continuously in each of two orthogonal directions in the plane.
The reference point is an intersection of the checker patterns.
The reference point calculation unit sets a search range smaller than the four rectangular portions of the checker pattern in such a manner that the center of the search range is located at the approximate position, and the reference point is set within the search range. The calibration device according to any one of
[Appendix 7]
The calibration device according to Appendix 6, wherein the two or more marks are given in a rectangular portion different from the rectangular portion forming the reference point.
[Appendix 8]
At least one of the two or more marks is given in the rectangular portion forming the reference point.
The calibration according to Appendix 6, wherein the reference point calculation unit derives the feature amount based on the image obtained by removing the pixel value related to the mark given in the rectangular portion forming the reference point. apparatus.
[Appendix 9]
The feature amount is an inner product of a vector connecting the first position and the second position in the search range and a gradient vector at the second position.
The reference point calculation unit changes the first position with the approximate position as the initial position of the first position, and sets the first position where the inner product becomes 0 even if a plurality of positions are set as the second position. The calibration device according to any one of Appendix 6 to 8, which is calculated as the position of the reference point.
[Appendix 10]
The plurality of images include first to fourth images obtained when the positional relationship between the calibration pattern and the optical system is the first to fourth positional relationships.
The first positional relationship and the second positional relationship are such that the distance between the calibration pattern and the optical system in the first direction perpendicular to the plane is the same at the third distance, but is parallel to the plane. The distance between the calibration pattern and the optical system in the second direction is different.
The third positional relationship and the fourth positional relationship are the same as the distance between the calibration pattern and the optical system in the first direction at a fourth distance different from the third distance, but in the second direction. The calibration apparatus according to any one of
[Appendix 11]
The calibration device according to any one of
[Appendix 12]
The calibration device according to any one of
[Appendix 13]
An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system. Acquire multiple images with different positional relationships,
For each image, the two or more marks in the image are recognized,
Based on the recognition result of the mark, the approximate position of the reference point of the regular pattern in the image is calculated.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position and the feature amount in the predetermined region of the image.
Including deriving the values of the calibration parameters of the optical system based on the position of the reference point for each image.
A calibration method performed by a computer.
[Appendix 14]
An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system. Acquire multiple images with different positional relationships,
For each image, the two or more marks in the image are recognized,
Based on the recognition result of the mark, the approximate position of the reference point of the regular pattern in the image is calculated.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position and the feature amount in the predetermined region of the image.
Based on the position of the reference point for each image, the value of the calibration parameter of the optical system is derived.
A proofreading program that lets a computer perform processing.
[Appendix 15]
Optical system and
An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with the optical system, and the calibration pattern and the optical system at the time of imaging. An image acquisition unit that acquires multiple images with different positional relationships,
For each image, a mark recognition unit that recognizes the two or more marks in the image, and a mark recognition unit.
Based on the recognition result by the mark recognition unit, the reference approximate position calculation unit that calculates the approximate position of the reference point of the regular pattern in the image, and the reference approximate position calculation unit.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position calculated by the reference approximate position calculation unit and the feature amount in the predetermined region of the image. Reference point calculation unit and
A calibration system including a calibration parameter value derivation unit that derives a calibration parameter value of the optical system based on the position of the reference point for each image calculated by the reference point calculation unit.
1 システム
2 サンプルステージ装置
3 撮像装置
4 照明装置
5 出力装置
6A ステージコントローラ
6B 照明コントローラ
6C 撮像コントローラ
8 周辺機器
10 制御装置
14 補助記憶装置
15 ドライブ装置
16 記録媒体
17 通信インターフェース
19 バス
20 駆動機構
20X 機構
20Y 機構
20Z 機構
22 固定部
23 ステージ
25 有線送受信部
26 無線送受信部
70 探索範囲
100 画像取得部
101 マーク認識部
102 傾斜算出部
103 比算出部
104 基準概略位置算出部
105 基準点算出部
106 校正パラメータ値導出部
107 注目点位置導出部
108 距離算出部
110 校正パラメータ値記憶部
1
Claims (9)
前記画像ごとに、前記画像内における前記2点以上のマークを認識するマーク認識部と、
前記マーク認識部による認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出する基準概略位置算出部と、
前記画像ごとに、前記基準概略位置算出部により算出された前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出する基準点算出部と、
前記基準点算出部により算出された前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する校正パラメータ値導出部と、
前記マーク認識部による認識結果に基づいて、前記平面内における基準ラインに対する前記校正パターンの傾きを算出する傾斜算出部と、
を含み、
前記基準概略位置算出部は、前記傾きに更に基づいて、前記概略位置を算出する、
校正装置。 An image obtained by imaging a calibration pattern extending in a plane with two or more marks added to a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system at the time of imaging. An image acquisition unit that acquires multiple images with different positional relationships,
For each image, a mark recognition unit that recognizes the two or more marks in the image, and a mark recognition unit.
Based on the recognition result by the mark recognition unit, the reference approximate position calculation unit that calculates the approximate position of the reference point of the regular pattern in the image, and the reference approximate position calculation unit.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position calculated by the reference approximate position calculation unit and the feature amount in the predetermined region of the image. Reference point calculation unit and
A calibration parameter value deriving unit that derives a calibration parameter value of the optical system based on the position of the reference point for each image calculated by the reference point calculation unit .
An inclination calculation unit that calculates the inclination of the calibration pattern with respect to the reference line in the plane based on the recognition result by the mark recognition unit.
Only including,
The reference approximate position calculation unit further calculates the approximate position based on the inclination .
Calibration device.
前記基準概略位置算出部は、前記比に更に基づいて、前記概略位置を算出する、請求項1または2に記載の校正装置。 A ratio calculation unit for calculating the ratio between the actual distance between the two marks and the distance between the two marks in the image based on the recognition result by the mark recognition unit is further included.
The calibration device according to claim 1 or 2 , wherein the reference approximate position calculation unit further calculates the approximate position based on the ratio.
前記基準点は、前記チェッカーパターンの交点であり、
前記基準点算出部は、前記チェッカーパターンの4つ分の矩形部よりも小さい探索範囲を、前記概略位置に該探索範囲の中心が位置する態様で設定し、前記探索範囲内において前記基準点の位置を算出する、請求項1〜3のうちのいずれか1項に記載の校正装置。 The regular pattern is a checker pattern in which two types of rectangular portions having different colors are arranged alternately and continuously in each of two orthogonal directions in the plane.
The reference point is an intersection of the checker patterns.
The reference point calculation unit sets a search range smaller than the four rectangular portions of the checker pattern in such a manner that the center of the search range is located at the approximate position, and the reference point is set within the search range. The calibration device according to any one of claims 1 to 3, which calculates a position.
前記基準点算出部は、前記基準点を形成する矩形部内に付与された前記マークに係る画素値を除去して得られる前記画像に基づいて、前記特徴量を導出する、請求項4に記載の校正装置。 At least one of the two or more marks is given in the rectangular portion forming the reference point.
The fourth aspect of the present invention, wherein the reference point calculation unit derives the feature amount based on the image obtained by removing the pixel value related to the mark given in the rectangular portion forming the reference point. Calibration device.
前記画像ごとに、前記画像内における前記2点以上のマークを認識し、
前記マークの認識結果に基づいて、前記平面内における基準ラインに対する前記校正パターンの傾きを算出し、
前記傾きに基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出し、
前記画像ごとに、前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出し、
前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出することを含む、
コンピュータにより実行される校正方法。 An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system. Acquire multiple images with different positional relationships,
For each image, the two or more marks in the image are recognized,
Based on the recognition result of the mark, the inclination of the calibration pattern with respect to the reference line in the plane is calculated.
Based on the inclination, the approximate position of the reference point of the regular pattern in the image is calculated.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position and the feature amount in the predetermined region of the image.
Including deriving the values of the calibration parameters of the optical system based on the position of the reference point for each image.
A calibration method performed by a computer.
前記画像ごとに、前記画像内における前記2点以上のマークを認識し、
前記マークの認識結果に基づいて、前記平面内における基準ラインに対する前記校正パターンの傾きを算出し、
前記傾きに基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出し、
前記画像ごとに、前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出し、
前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する、
処理をコンピュータに実行させる校正プログラム。 An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with an optical system, and the image obtained by imaging the calibration pattern and the optical system. Acquire multiple images with different positional relationships,
For each image, the two or more marks in the image are recognized,
Based on the recognition result of the mark, the inclination of the calibration pattern with respect to the reference line in the plane is calculated.
Based on the inclination, the approximate position of the reference point of the regular pattern in the image is calculated.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position and the feature amount in the predetermined region of the image.
Based on the position of the reference point for each image, the value of the calibration parameter of the optical system is derived.
A proofreading program that lets a computer perform processing.
規則的なパターンに2点以上のマークが付与されかつ平面内に延在する校正パターンを前記光学系で撮像して得られる画像であって、撮像された際の前記校正パターンと前記光学系との位置関係がそれぞれ異なる複数の画像を、取得する画像取得部と、
前記画像ごとに、前記画像内における前記2点以上のマークを認識するマーク認識部と、
前記マーク認識部による認識結果に基づいて、前記画像内における前記規則的なパターンの基準点の概略位置を算出する基準概略位置算出部と、
前記画像ごとに、前記基準概略位置算出部により算出された前記概略位置と、前記画像の所定領域内の特徴量とに基づいて、前記画像内における前記規則的なパターンの基準点の位置を算出する基準点算出部と、
前記基準点算出部により算出された前記画像ごとの前記基準点の位置に基づいて、前記光学系の校正パラメータの値を導出する校正パラメータ値導出部と、
前記マーク認識部による認識結果に基づいて、前記平面内における基準ラインに対する前記校正パターンの傾きを算出する傾斜算出部と、
を含み、
前記基準概略位置算出部は、前記傾きに更に基づいて、前記概略位置を算出する、
校正システム。 Optical system and
An image obtained by imaging a calibration pattern extending in a plane with two or more marks on a regular pattern with the optical system, and the calibration pattern and the optical system at the time of imaging. An image acquisition unit that acquires multiple images with different positional relationships,
For each image, a mark recognition unit that recognizes the two or more marks in the image, and a mark recognition unit.
Based on the recognition result by the mark recognition unit, the reference approximate position calculation unit that calculates the approximate position of the reference point of the regular pattern in the image, and the reference approximate position calculation unit.
For each image, the position of the reference point of the regular pattern in the image is calculated based on the approximate position calculated by the reference approximate position calculation unit and the feature amount in the predetermined region of the image. Reference point calculation unit and
A calibration parameter value deriving unit that derives a calibration parameter value of the optical system based on the position of the reference point for each image calculated by the reference point calculation unit .
An inclination calculation unit that calculates the inclination of the calibration pattern with respect to the reference line in the plane based on the recognition result by the mark recognition unit.
Only including,
The reference approximate position calculation unit further calculates the approximate position based on the inclination .
Calibration system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017075219A JP6852525B2 (en) | 2017-04-05 | 2017-04-05 | Calibration equipment, calibration method, calibration program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017075219A JP6852525B2 (en) | 2017-04-05 | 2017-04-05 | Calibration equipment, calibration method, calibration program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018179584A JP2018179584A (en) | 2018-11-15 |
JP6852525B2 true JP6852525B2 (en) | 2021-03-31 |
Family
ID=64274995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017075219A Active JP6852525B2 (en) | 2017-04-05 | 2017-04-05 | Calibration equipment, calibration method, calibration program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6852525B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802110A (en) * | 2021-02-09 | 2021-05-14 | 联想(北京)有限公司 | Method and device for determining display offset information and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012002612A (en) * | 2010-06-16 | 2012-01-05 | Nikon Corp | Calibration board and calibration apparatus equipped with this calibration board |
JP5432835B2 (en) * | 2010-06-24 | 2014-03-05 | アズビル株式会社 | How to calibrate the camera |
US9230326B1 (en) * | 2012-12-31 | 2016-01-05 | Cognex Corporation | System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials |
JP6576655B2 (en) * | 2015-03-10 | 2019-09-18 | ローランドディー.ジー.株式会社 | Stage mechanism |
CN107645925B (en) * | 2015-05-29 | 2021-06-25 | 荷兰联合利华有限公司 | System and method for measuring hair diameter |
-
2017
- 2017-04-05 JP JP2017075219A patent/JP6852525B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018179584A (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717715B (en) | Automatic calibration method for linear structured light vision system of arc welding robot | |
US9970745B2 (en) | Measurement target measuring program, measurement target measuring method, and magnifying observation device | |
CN106560297B (en) | Has the robot system of the camera of photographic subjects label | |
CN107942949B (en) | A kind of lathe vision positioning method and system, lathe | |
KR20160079756A (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
CN203084734U (en) | System for regenerating virtual object | |
CN104819707B (en) | A kind of polyhedron active light target | |
CN101097599B (en) | Biometrics device | |
US10477154B2 (en) | System and method for aligning two work pieces with a vision system in the presence of occlusion | |
DE112012001254T5 (en) | Automatic measurement of dimension data with a laser tracker | |
CN110298888B (en) | Camera calibration method based on single-axis high-precision displacement platform | |
JP6740288B2 (en) | Object inspection apparatus, object inspection system, and method for adjusting inspection position | |
CN110276799A (en) | Coordinate calibration method, calibration system and mechanical arm | |
JP6973444B2 (en) | Control system, information processing device and control method | |
CN112734640B (en) | Image acquisition device, processing system and panoramic image stitching method for hole drilling and explosion | |
US20180275073A1 (en) | Device and method for calculating area to be out of inspection target of inspection system | |
CN106155359A (en) | Tool height follows the trail of the optical navigator of speed | |
JP6852525B2 (en) | Calibration equipment, calibration method, calibration program | |
TW200422754A (en) | Method for determining the optical parameters of a camera | |
CN204854653U (en) | Quick three -dimensional scanning apparatus | |
CN208384634U (en) | The equipment of multiplexing bit interleaving calibration RGBD camera intrinsic parameter | |
CN111369632A (en) | Method and device for acquiring internal parameters in camera calibration | |
CN100461048C (en) | Method of calibrating an ophthalmic-lens-piercing machine, device used to implement one such method and ophthalmic-lens-machining apparatus comprising one such device | |
CN102615665B (en) | Automatic positioning system and method | |
Seo et al. | 3D Hole center and surface normal estimation in robot vision systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6852525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |