JP2011238097A - Calibration method of positioning device, positioning device and computer program therefor - Google Patents
Calibration method of positioning device, positioning device and computer program therefor Download PDFInfo
- Publication number
- JP2011238097A JP2011238097A JP2010110119A JP2010110119A JP2011238097A JP 2011238097 A JP2011238097 A JP 2011238097A JP 2010110119 A JP2010110119 A JP 2010110119A JP 2010110119 A JP2010110119 A JP 2010110119A JP 2011238097 A JP2011238097 A JP 2011238097A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- relationship
- posture
- camera
- error correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Numerical Control (AREA)
Abstract
Description
本発明は、カメラを使って平行移動と回転移動が可能なテーブル上の位置決め対象物を所定の位置に高精度に位置決めするための位置決め装置において、カメラとテーブルの位置・姿勢関係を高精度且つ自動的に求めるキャリブレーションを行う方法、当該方法により求められたキャリブレーション結果を用いて位置決めを行う位置決め装置に関する。 The present invention relates to a positioning apparatus for positioning a positioning object on a table, which can be translated and rotated using a camera, at a predetermined position with high accuracy. The present invention relates to a calibration method that is automatically obtained, and a positioning device that performs positioning using a calibration result obtained by the method.
平行移動と回転移動が可能なテーブルとテーブルに搭載される位置決め対象物（アライメント対象物または単に対象物ともいう）又はテーブルの動きを撮像するカメラとを持つ位置決め装置（アライメント装置ともいう）において、位置決め（アライメントともいう）を実行するためには、テーブルの座標系におけるテーブルの所定の目標位置・姿勢と計測される現在位置・姿勢との差に対応する位置補正量（テーブル移動量）を計算してテーブルの移動を行う必要がある。
このテーブル移動量の計算は、カメラとテーブルの位置・姿勢関係（因みに、位置とは座標値で、姿勢とは角度をいう）を予め求める位置決め装置（アライメント装置）のキャリブレーションを行っておき、テーブルの現在のある位置・姿勢（現在位置・姿勢）から目標とするある位置・姿勢（目標位置・姿勢）への位置決め（アライメント）の際に、このキャリブレーション結果をカメラで計測したテーブルの現在位置・姿勢と所定の目標位置・姿勢に適用して、テーブル移動の座標系におけるテーブルの現在位置・姿勢と所定の目標位置・姿勢との差を計算することによってなされる。
In a positioning device (also referred to as an alignment device) having a table that can be translated and rotated and a positioning object (also referred to as an alignment object or simply an object) mounted on the table or a camera that images the movement of the table, In order to execute positioning (also called alignment), a position correction amount (table movement amount) corresponding to the difference between a predetermined target position / posture of the table and the measured current position / posture in the table coordinate system is calculated. It is necessary to move the table.
This table movement amount is calculated by calibrating a positioning device (alignment device) that obtains in advance the position / posture relationship between the camera and the table (the position is the coordinate value and the posture is the angle) When positioning (alignment) from the current position / posture of the table (current position / posture) to the target position / posture (target position / posture), the calibration result is measured by the camera. This is performed by calculating the difference between the current position / posture of the table and the predetermined target position / posture in the coordinate system for table movement by applying the position / posture to the predetermined target position / posture.
カメラとテーブルの位置・姿勢関係をあらかじめ求めるキャリブレーションに関しては、多くの場合において数値を直接入力しているのが現状である。その場合、設定が試行錯誤的となり、非常に手間が掛かることになる。例え設定を終えても、誤ってカメラに接触する等でカメラとｘｙθテーブルの位置・姿勢関係が変わるようなことがあった場合、再度、同じ事を繰り返さねばならないため、非常に非生産的なものとなっている。 With regard to calibration for obtaining the positional relationship between the camera and the table in advance, in many cases, numerical values are directly input in many cases. In that case, the setting becomes trial and error, which is very time-consuming. Even if the setting is completed, if the position / posture relationship between the camera and the xyθ table changes due to accidental contact with the camera, the same thing must be repeated again, which is very unproductive. It has become a thing.
カメラとテーブルの位置・姿勢関係を予め求めるキャリブレーションを自動的に行っている例として特許文献１がある。この例のキャリブレーション方法は、テーブルに所定の移動をさせて、カメラでその移動量を計測することによってカメラとテーブルの位置・姿勢関係を求め、その位置・姿勢関係を利用して同様な手順でカメラとテーブルの更に新たな位置・姿勢関係を求めることを繰返し、求められた位置・姿勢関係が所定の範囲に収束したときに当該繰返し処理を終了して最終の位置・姿勢関係を求める方法でキャリブレーションを行うものである。そのため、この方法は、実際に求められた当該位置・姿勢関係が所定の精度を確保しているかを検証できていないことにより、所定の精度が出ず大きな誤差を含む可能性があるという問題点を抱えている。
この例によるキャリブレーション結果を使ったアライメントに関しては、ある程度のキャリブレーション誤差があってもその誤差分に対する再度のアライメントを行う繰り返しアライメント法を使っているため、位置決め対象物のアライメント精度をある程度の高精度にすることはその繰り返し回数を増やせば理論的には可能であろうと考えられる。しかし、その場合はアライメントに要する処理時間が長くなり、アライメントを含む作業のスループットが落ちる問題点がある。また、繰り返し回数に制限を加えてスループットを上げようとすればアライメント精度が出ないという問題点が残る。
Japanese Patent Application Laid-Open No. 2004-133867 discloses an example in which calibration for obtaining the positional / posture relationship between a camera and a table in advance is automatically performed. The calibration method of this example is to move the table to a predetermined position, measure the amount of movement with the camera, determine the position / posture relationship between the camera and the table, and use the position / posture relationship to perform the same procedure. Repeat the process of finding a new position / posture relationship between the camera and the table, and when the obtained position / posture relationship converges to a predetermined range, end the repetitive process and obtain the final position / posture relationship. Is used for calibration. For this reason, this method has a problem that the predetermined accuracy cannot be obtained and a large error may be included because it has not been verified whether the actually obtained positional / posture relationship has a predetermined accuracy. Have
Regarding the alignment using the calibration result in this example, the alignment accuracy of the positioning object is increased to some extent because the repetitive alignment method is used to perform the alignment again even if there is a certain amount of calibration error. It can be theoretically possible to increase the accuracy by increasing the number of repetitions. However, in this case, the processing time required for alignment becomes long, and there is a problem that throughput of work including alignment is lowered. Further, if the number of repetitions is limited to increase the throughput, there remains a problem that the alignment accuracy cannot be obtained.
このように、従来の技術においては、市場の本来的な要求であるほぼ１回のテーブル移動でアライメントを可能とするような精度を持つキャリブレーション結果が得られるキャリブレーション方法は存在しない。
As described above, in the conventional technique, there is no calibration method capable of obtaining a calibration result having such an accuracy that alignment can be performed by almost one table movement, which is an essential requirement of the market.
本発明が解決しようとする第１の課題は、カメラとテーブルの位置・姿勢関係を自動的に求めるキャリブレーション方法において、キャリブレーションの精度が十分に出ないことにより、そのキャリブレーション結果を使ったアライメントに要する時間が長くなる又はアライメントの精度が上がらない等の従来の問題点を解決し、キャリブレーション結果を使って計算するテーブル移動量によるほぼ一回のテーブル移動によって所定の高精度のアライメントを可能とし、結果として短い所要時間でアライメントを可能とする高い精度のキャリブレーション結果が得られる自動キャリブレーション方法を提供することにある。
本発明が解決しようとする第２の課題は、実際にアライメントが必要な現場においてアライメント装置を含む一連の装置の調整作業工程を利用することによって、キャリブレーション工程のための特別な時間を設けることなく、またキャリブレーション工程に対する特別な意識を持つことなく、第１の課題と第２の課題を解決できるキャリブレーション方法を提供することである。
The first problem to be solved by the present invention is that a calibration method for automatically obtaining the positional / posture relationship between the camera and the table uses the calibration result because the calibration accuracy is not sufficient. Solves the conventional problems such as long alignment time or does not improve alignment accuracy, and achieves a predetermined high-precision alignment by almost one table movement based on the table movement amount calculated using the calibration result. It is an object of the present invention to provide an automatic calibration method capable of obtaining a highly accurate calibration result that enables alignment in a short time as a result.
The second problem to be solved by the present invention is to provide a special time for the calibration process by utilizing a series of adjustment process steps of the apparatus including the alignment apparatus in the field where alignment is actually required. It is another object of the present invention to provide a calibration method that can solve the first problem and the second problem without having a special awareness of the calibration process.
本発明の課題を解決するための第１の手段は、
対象物を搭載するテーブルと、対象物上又は対象物の等価物上にテーブルの位置・姿勢を計測するための基準として配置される少なくとも２個の位置決め基準点を撮像するカメラを具備し、テーブルとカメラが相対的に移動可能な位置決め装置（以下、アライメント装置ともいう）において、
所定の方法によって取得した、カメラの撮像画像の座標系（以下、カメラ座標系ともいう）とテーブル移動の基準となる座標系（以下、テーブル基準座標系ともいう）の位置・姿勢関係（以下、位置・姿勢関係Ａｋともいい、ｋは位置決め基準点に対応して付された番号）を仮想的な誤差補正座標系とテーブル基準座標系の位置・姿勢関係とみなし、カメラ座標系において任意に決めたテーブルの２つの位置・姿勢を表す諸元と、位置・姿勢関係Ａｋを用いて当該位置・姿勢を変換して得られるテーブル基準座標系の位置・姿勢の一方から他方にテーブルを移動させたときの当該移動の前後における当該位置・姿勢の諸元の実測値とにより、カメラ座標系と当該誤差補正座標系の位置・姿勢関係（以下、位置・姿勢関係Ｂｋともいう）を位置・姿勢関係Ａｋの誤差補正手段として取得するステップＳ１と、
位置・姿勢関係Ａｋと当該取得した位置・姿勢関係Ｂｋを使って、位置・姿勢関係Ａｋの誤差が補正された形の、カメラ座標系とテーブル基準座標系の新たな位置・姿勢関係（以下、位置・姿勢関係Ｃｋともいう）を取得するステップＳ２とを、
位置決め基準点に対応するカメラごとに実行することによって位置決め装置のキャリブレーションを行う方法である。
The first means for solving the problems of the present invention is as follows:
A table on which an object is mounted, and a camera for imaging at least two positioning reference points arranged as a reference for measuring the position and orientation of the table on the object or on the object equivalent; In a positioning device (hereinafter also referred to as an alignment device) in which the camera can move relatively,
Position / posture relationship (hereinafter, referred to as a table reference coordinate system) of a coordinate system (hereinafter also referred to as a camera coordinate system) of a captured image of a camera and a coordinate system (hereinafter also referred to as a table reference coordinate system) used as a table movement reference acquired by a predetermined method Position / attitude relationship Ak , also referred to as k, where k is a number assigned to the positioning reference point) is regarded as the position / posture relationship between the virtual error correction coordinate system and the table reference coordinate system, and can be arbitrarily set in the camera coordinate system. moving and specifications representing the two position and orientation of the determined table, a table from one to the other of the position and orientation of the table reference coordinate system obtained by converting the position and orientation by using the position and orientation relationship a k by the specifications of the actual measurement values of the position and orientation before and after the movement of the time obtained by the position and orientation relationship between the camera coordinate system and the error correction coordinate system (hereinafter, the position and orientation relationship between B k also called) the position Of-posture relationship A k steps S1 to obtain as error correction means,
Position and orientation using the relationship A k and the acquired position and orientation relationship B k, the position and orientation of the form of the error has been corrected in the relationship A k, the new position and orientation relationship between the camera coordinate system and the table reference coordinate system (Hereinafter also referred to as a position / posture relationship C k ) Step S2
This is a method for calibrating the positioning device by executing for each camera corresponding to the positioning reference point.
ステップＳ１を、
所定の方法によって取得した、カメラの撮像画像の座標系（以下、カメラ座標系ともいう）とテーブル移動の基準となる座標系（以下、テーブル基準座標系ともいう）の位置・姿勢関係（位置・姿勢関係Ａｋともいい、ｋは位置決め基準点に対応して付された番号）を仮想的な誤差補正座標系とテーブル基準座標系の位置・姿勢関係とみなし、カメラ座標系上の位置決め基準点の任意に決めた現在位置と目標位置における位置ベクトル（以下、任意位置ベクトルともいう）を位置・姿勢関係Ａｋを用いてテーブル基準座標系上の位置ベクトルに変換するステップＳ１１と、
当該現在位置に対応する当該変換された位置ベクトルが当該目標位置に対応する変換された位置ベクトルに一致するようにテーブルのアライメント動作（以下、任意試行アライメント動作ともいう）を行い、当該任意試行アライメント動作の前後において、位置決め基準点ｍｋのカメラ座標系における位置ベクトルを計測することによって、当該計測された当該位置ベクトルの諸元と既知である当該任意位置ベクトルの諸元から、位置・姿勢関係Ａｋの誤差補正手段を取得するためのデータ（以下、誤差補正用データセットともいう）を取得するステップＳ１２と、
ステップＳ１１およびステップＳ１２を複数回繰り返すことによって、複数セットの当該誤差補正用データセットを取得し、当該取得した誤差補正用データセットに基づいてカメラ座標系と当該誤差補正座標系の位置・姿勢関係（位置・姿勢関係Ｂｋともいう）を取得し、これを位置・姿勢関係Ａｋの誤差補正手段とするステップＳ１３とからなるようにすることができる。
Step S1
Position / posture relationship (position / position) of a coordinate system (hereinafter also referred to as a camera coordinate system) of a captured image of a camera and a coordinate system (hereinafter also referred to as a table reference coordinate system) used as a table movement reference obtained by a predetermined method. also referred to as orientation relationship a k, k is regarded as the position and orientation relationship of the virtual error correction coordinate system and the table reference coordinate system number), labeled to correspond to the positioning reference point, locating a reference point on the camera coordinate system position vector at arbitrarily determined current position and the target position (hereinafter, also referred to as an arbitrary position vector) and step S11 to convert the position vector on a table reference coordinate system using the position and orientation relationship a k a,
The table alignment operation (hereinafter also referred to as an arbitrary trial alignment operation) is performed so that the converted position vector corresponding to the current position matches the converted position vector corresponding to the target position, and the arbitrary trial alignment is performed. By measuring the position vector in the camera coordinate system of the positioning reference point m k before and after the operation, the position / posture relationship can be obtained from the measured position vector and the known arbitrary position vector. a k data for obtaining the error correction means (hereinafter, also referred to as error correction data set) and step S12 of acquiring,
By repeating Step S11 and Step S12 a plurality of times, a plurality of sets of the error correction data sets are acquired, and the position / posture relationship between the camera coordinate system and the error correction coordinate system based on the acquired error correction data sets. (position and posture also called relationship B k) acquires, which can be made to be at the step S13 Metropolitan to error correcting unit position and orientation relationship a k.
ステップＳ１２における誤差補正用データセットを、当該位置・姿勢関係Ｂｋを決定するために必要な誤差補正座標系から見たカメラ座標系の位置ベクトルの複数の諸元を変数としてもつ方程式の当該変数の係数および定数項の数値の組合せとし、
ステップＳ１３における位置・姿勢関係Ｂｋを取得する方法を、取得された当該複数セットの誤差補正用データセットのそれぞれによって当該複数の方程式を取得し、当該取得した複数の方程式の全部または一部を使って当該複数の変数を持つ連立方程式を作り、これを解くことによって当該複数の変数の最適値を求める方法とすることができる。
この最適値を求めるには、最小二乗法により連立方程式を解く方法によることが好ましい。
The data set for error correction in step S12, the variable equations with multiple specifications of the position vector of the camera coordinate system as viewed from the error correction coordinates necessary to determine the position and orientation relationship between B k as variables And the numerical value of the coefficient and constant term
In the method of acquiring the position / attitude relationship B k in step S13, the plurality of equations are acquired by each of the acquired plurality of error correction data sets, and all or some of the acquired plurality of equations are obtained. It is possible to create a simultaneous equation having the plurality of variables and solve it to obtain the optimum values of the plurality of variables.
In order to obtain the optimum value, it is preferable to use a method of solving simultaneous equations by the method of least squares.
いま、
位置・姿勢関係Ａｋを、誤差補正座標系の位置ベクトルをテーブル基準座標系の位置ベクトルへ変換する変換行列Ａｋとし、
位置・姿勢関係Ｂｋを、カメラ座標系の位置ベクトルを誤差補正座標系の位置ベクトルへ変換する変換行列Ｂｋとし、
位置・姿勢関係Ｃｋを、変換行列Ａｋと変換行列Ｂｋの積によって得られる変換行列Ｃｋとすることができる。
Now
The position / posture relationship A k is defined as a conversion matrix A k for converting a position vector in the error correction coordinate system into a position vector in the table reference coordinate system,
The position / posture relationship B k is defined as a transformation matrix B k for converting a position vector in the camera coordinate system into a position vector in the error correction coordinate system,
The position / posture relationship C k can be a transformation matrix C k obtained by the product of the transformation matrix A k and the transformation matrix B k .
そして、上記方程式は、カメラ座標系上の位置決め基準点ｍｋ（ｋ＝０，１）の位置ベクトルを、誤差補正座標系を含むいかなる二次元座標系への変換を経てテーブルと共に動くテーブル位置・姿勢座標系の位置ベクトルに変換したとしても、当該テーブル位置・姿勢座標系から見た当該位置ベクトルの位置・姿勢は不変であることを利用して導き出すことができる。 The above equation is obtained by converting the position vector of the positioning reference point m k (k = 0, 1) on the camera coordinate system to any two-dimensional coordinate system including the error correction coordinate system and the table position that moves with the table. Even if the position vector is converted into the position vector of the posture coordinate system, it can be derived using the fact that the position / posture of the position vector viewed from the table position / posture coordinate system is unchanged.
そして、ステップＳ１３において得られた複数セットの誤差補正用データセットのそれぞれに基づく複数の前記方程式の中のＮ個の方程式の各々に対する番号をｎとしたとき、上記連立方程式を、
以上の課題解決の手段において、位置・姿勢関係Ａｋを取得する所定の方法は、テーブル基準座標系（便宜的に世界座標系とする）に基づいてテーブルに所定の移動を行わせ、テーブル位置・姿勢を計測するための位置決め基準点の位置・姿勢をカメラの撮像画像により計測することに基づくいかなる方法であってもよい。テーブル基準座標系を便宜的に世界座標系としたが、このようにすることは、基準とする座標系の選択の問題であって一般性を失わない。
また、位置・姿勢関係Ａｋを取得する所定の方法は、熟練と経験等に基づいて直接位置・姿勢関係Ａｋに相当する数値を決定する方法でも構わない。
そして、テーブル位置・姿勢を計測するための基準点（位置決め基準点）は、例えば、位置決め基準マーク（アライメントマークともいう）の代表点又は二次元図形として撮像画像上で容易に認識できる任意の図形等の特徴点であれば何でもよく、容易に認識可能な特徴点であることが位置・姿勢の計測の容易さの観点から好ましい。
また、位置決め装置（アライメント装置）のテーブルの平行移動および回転移動の自由度の数は基本的に制限しないし、カメラの数も基本的に制限しない。
また、任意に選択するテーブルの現在位置・姿勢と任意に選択するテーブルの目標位置・姿勢は、当該複数回の繰返しの各回間で異なる位置・姿勢を採ることがキャリブレーション精度上好ましい。
In means the above problem solving, given a method for acquiring the position and orientation relationship A k is to perform a predetermined movement in a table based on the table reference coordinate system (conveniently a world coordinate system), table position Any method based on measuring the position / posture of the positioning reference point for measuring the posture from the captured image of the camera may be used. Although the table reference coordinate system is referred to as the world coordinate system for the sake of convenience, this is a problem of selection of the reference coordinate system and does not lose generality.
The predetermined method for acquiring the position and orientation relationship A k is may be a method of determining a value corresponding to the direct position and orientation relationship A k based on the skill and experience, and the like.
The reference point (positioning reference point) for measuring the table position / posture is, for example, an arbitrary figure that can be easily recognized on the captured image as a representative point of a positioning reference mark (also referred to as an alignment mark) or a two-dimensional figure. Any feature point may be used as long as it is a feature point that can be easily recognized from the viewpoint of easy measurement of the position and orientation.
Further, the number of degrees of freedom of parallel movement and rotational movement of the table of the positioning device (alignment device) is not basically limited, and the number of cameras is not basically limited.
Further, it is preferable in terms of calibration accuracy that the current position / posture of the arbitrarily selected table and the target position / posture of the arbitrarily selected table take different positions / postures in each of the plurality of repetitions.
以上の第１の手段により、従来のキャリブレーション方法によるキャリブレーション誤差が補正される結果、キャリブレーションの精度が十分に上がり、そのキャリブレーション結果を使って計算するテーブル移動量の精度が十分に上がる。結果的に当該テーブル移動量に基づくほぼ一回のテーブル移動によって、所定の高精度のアライメントが可能となり、結果として短時間のアライメントが実現し、本発明が解決しようとする主たる第１の課題が達成される。 As a result of correcting the calibration error by the conventional calibration method by the first means described above, the accuracy of the calibration is sufficiently increased, and the accuracy of the table movement amount calculated using the calibration result is sufficiently increased. . As a result, a predetermined high-precision alignment becomes possible by almost one table movement based on the table movement amount, and as a result, a short-time alignment is realized, and the main first problem to be solved by the present invention is Achieved.
次に、本発明の課題を解決するための第２の手段について説明する。
以下の手段は、現実に位置決め装置のキャリブレーションとこのキャリブレーション結果を使ってアライメントを行う量産工場現場等においては、位置決め装置に実ワークを供給しアライメント作業を含む試運転を行うことが本番の運転の前に不可欠であることが多く、その試運転においては所定の複数の実ワークが量産において現実に起こる供給位置・姿勢のばらつきを持ってテーブル上に供給されることになることから、この試運転の時間と環境を有効に使うことによって、キャリブレーションを行う方法を示すものである。
Next, a second means for solving the problem of the present invention will be described.
The following means are the actual operation in the mass production factory site where the calibration of the positioning device is actually performed and the alignment is performed using the calibration result, and the actual operation is performed by supplying the actual work to the positioning device and performing the alignment operation. In this trial operation, a predetermined number of actual workpieces are supplied on the table with variations in supply position and posture that actually occur in mass production. It shows how to perform calibration by effectively using time and environment.
その方法は、上述した本発明の課題を解決する第１の手段およびその応用手段のステップＳ１において、任意に選択した位置決め基準点の現在位置から任意に選択した位置決め基準点の目標位置へのアライメント動作を複数回行う代わりに、位置決め装置の試運転等の環境において実ワークがテーブル上に供給されたときのありのままの、アトランダムな位置・姿勢のばらつきを持つ位置決め基準点の位置を現在位置として、所定の既知であるアライメントの目標位置へのアライメント動作を実ワークが供給されるたびに実行することによって、当該アライメント動作を複数回行うことによってステップＳ１におけると同様な方法で位置・姿勢補正手段（位置・姿勢関係Ｂｋ）を求め、求められた位置・姿勢関係Ｂｋと位置・姿勢関係Ａｋとから位置・姿勢関係Ｃｋを取得することによってキャリブレーションを行う方法である。 The method includes the first means for solving the problems of the present invention described above and the alignment of the positioning reference point arbitrarily selected from the current position of the positioning reference point arbitrarily selected in step S1 of the application means thereof to the target position. Instead of performing the operation multiple times, the current position is the position of the positioning reference point that has the random position / posture variation as it is when the actual workpiece is supplied on the table in an environment such as a trial run of the positioning device. By performing an alignment operation to a predetermined target position of alignment, which is performed every time an actual workpiece is supplied, by performing the alignment operation a plurality of times, the position / posture correction means ( The position / posture relationship B k ) is obtained, and the obtained position / posture relationship B k and the position / posture relationship A k are obtained. Is obtained by obtaining a position / posture relationship C k from the above.
この方法によれば、実ワークがテーブル上に供給されるときの位置・姿勢が最も現実に近いバラツキを持っていることと、本発明の課題を解決する第１の手段およびその応用手段において任意に選択する現在位置のばらつきよりランダム性が満たされることのメリットにより、上述した本発明の課題を解決する第１の手段およびその応用手段を採用した場合よりキャリブレーション精度が改善する効果がある。この効果により本発明の第３の課題が解決されることになる。また、上記試運転等の際にキャリブレーションを行うようにコンピュータシステムを設定しておけば、自動的にキャリブレーションが行われることから、殊更、アライメント装置のキャリブレーションを行うという手間とそのための意識をしなくて済むメリットがある。 According to this method, the position / posture when the actual workpiece is supplied onto the table has the most realistic variation, and the first means for solving the problem of the present invention and its application means are optional. Because of the merit that the randomness is satisfied by the variation in the current position to be selected, there is an effect that the calibration accuracy is improved as compared with the case where the first means and the application means for solving the above-described problems of the present invention are adopted. This effect solves the third problem of the present invention. In addition, if the computer system is set so that calibration is performed during the above-described test operation, the calibration is automatically performed. There is an advantage that you do not have to.
上述のアライメント装置のキャリブレーション方法は、いずれも、それを実施するためのコンピュータプログラムが、外部のＲＯＭ等のコンピュータ読み取り可能なプログラム記憶媒体からアライメント装置のコンピュータに読み込まれ、アライメント装置の各部との協調動作をすることにより、本発明によるキャリブレーションとアライメント対象物のアライメントを実行する形で実施されることがベストである。
In any of the above alignment apparatus calibration methods, a computer program for executing the alignment apparatus is read into a computer of the alignment apparatus from a computer-readable program storage medium such as an external ROM and It is best to carry out the calibration according to the present invention and the alignment of the alignment object by performing a cooperative operation.
本発明によって、対象物を搭載し平行移動および回転移動が可能なテーブルとカメラの位置・姿勢関係を自動で求める際に、何らかの従来の方法で求められたキャリブレーション結果を使って実際に位置決め動作を行って、そのキャリブレーション結果の誤差を補正するためのデータを収集し、その結果を利用して最終のキャリブレーション結果を導き出すことによって、キャリブレーション結果の精度が上がり、結果として、キャリブレーション結果を使ったアライメントに要する時間が短くなることにより、従来の、アライメントに要する時間が長くなる又はアライメントの精度が上がらない等の問題点を解決できた。そして、このキャリブレーション結果を使って計算するテーブル移動量に従ってアライメントを行えば、ほぼ一回のテーブル移動によって、結果として短時間に、所定の高精度のアライメントを可能とする高精度且つ自動的なキャリブレーション方法が提供できた。
また、量産工場の工程等において、試運転の時間と位置決め基準点を持つ実ワークがテーブルに対して適度の位置・姿勢のばらつきをもってテーブル上に供給される環境を有効に使うことによって、キャリブレーションの時間を殊更用意する必要もなく、また任意試行アライメント動作における現在位置殊更選択する必要もなく、位置・姿勢のばらつきをもって供給されたありのままの位置決め基準点のアトランダムな位置を現在位置として使用することによって、実際のアライメント動作範囲に近い環境で実情に合った高精度のキャリブレーションを行う方法を提供できた。
また、本発明によるキャリブレーション方法は、キャリブレーション結果の精度を検証するための手段を持っていることにより、アライメントに先だってその精度の予測が可能となる効果がある。
本発明によって、市場おける従来の自動キャリブレーション機能付きのアライメント装置の性能をはるかに凌駕し、市場に真に受け入れられる新規な自動キャリブレーション方法をもつアライメント装置の実現に寄与することができた。
According to the present invention, when automatically determining the position / posture relationship between a camera and a table on which an object is mounted and which can be translated and rotated, the positioning operation is actually performed using a calibration result obtained by some conventional method. To collect the data to correct the error of the calibration result, and use the result to derive the final calibration result, so that the accuracy of the calibration result increases, and as a result, the calibration result By shortening the time required for the alignment using, it was possible to solve the conventional problems such as a longer time required for the alignment or an increase in alignment accuracy. Then, if alignment is performed according to the table movement amount calculated using the calibration result, it is possible to perform predetermined high-precision alignment in a short time as a result of almost one table movement. A calibration method could be provided.
Also, in the process of a mass production factory, etc., calibration can be performed by effectively using an environment in which actual workpieces with test run times and positioning reference points are supplied onto the table with appropriate position / posture variations. There is no need to prepare time, and there is no need to select the current position in the arbitrary trial alignment operation, and the at random position of the positioning reference point supplied with the position / posture variation is used as the current position. As a result, a high-accuracy calibration method suitable for the actual situation was provided in an environment close to the actual alignment operation range.
In addition, the calibration method according to the present invention has a means for verifying the accuracy of the calibration result, so that the accuracy can be predicted prior to the alignment.
The present invention far surpassed the performance of conventional alignment apparatuses with an automatic calibration function in the market, and contributed to the realization of an alignment apparatus having a novel automatic calibration method that is truly accepted by the market.
以下、発明を実施するための形態について、実施例と共に説明する。
発明を実施するための形態の説明に先立って、その前提となる事項について説明する。
Hereinafter, modes for carrying out the invention will be described together with examples.
Prior to the description of the mode for carrying out the invention, the preconditions will be described.
最初に、数学的記載の仕方に係る基本的なルールについて説明する。
また、左右に添え字のついたθは、左上の添え字で示す記号の座標系から見た右下の添え字で示す記号の座標系の姿勢（角度）を表記するものである。
座標系間の位置・姿勢、座標系間の座標または位置ベクトルの変換行列は、Ｔの左右に添え字をつけて表記する。左上は変換先の座標系の記号を表し、右下は変換元の座標系の記号を表す。
各表記（位置ベクトル、座標系、座標、変換行列等）の右下の添え字の中の「ｋ」は、当該添え字が番号「ｋ」の位置決め基準点又はその元となる図形に対応するものであることを示す。
また、ある文字の添え字で複数の文字・記号から成る添え字が、通常の添え字（添え字ａとする）と添え字ａの添え字（添え字ｂとする）の２文字の並びからなる表記については、添え字ｂのサイズが添え字ａのサイズより小さい正規の表記となっているものと双方が同一で正規の表記となっていないものの２種類が存在する。また、複数の添え字がつけられている文字を含めた全体の文字の並びの表記についても、双方のフォントが異なる表記となっている場合が存在する。いずれにしても、双方の表記の意味は同一である。
First, the basic rules related to the mathematical description method will be described.
Further, θ with a subscript on the left and right represents the attitude (angle) of the coordinate system of the symbol indicated by the subscript on the lower right viewed from the coordinate system of the symbol indicated by the upper left subscript.
The conversion matrix of the position / posture between coordinate systems and the coordinates or position vector between coordinate systems is expressed by adding subscripts to the left and right of T. The upper left represents the symbol of the coordinate system of the conversion destination, and the lower right represents the symbol of the coordinate system of the conversion source.
“K” in the lower right subscript of each notation (position vector, coordinate system, coordinate, transformation matrix, etc.) corresponds to the positioning reference point with the subscript number “k” or the figure that is the basis thereof. Indicates that it is a thing.
Also, a subscript consisting of a plurality of characters / symbols in a subscript of a character is a sequence of two characters, a normal subscript (subscript a) and a subscript a subscript (subscript b). There are two types of notations, one in which the size of the subscript b is a regular notation smaller than the size of the subscript a and the other in which both are the same and are not in a regular notation. In addition, regarding the notation of the entire character sequence including characters with a plurality of subscripts, there is a case where both fonts have different notations. In any case, the meanings of both notations are the same.
図１は、本発明の実施の形態を説明するために用いる位置決め装置（アライメント装置）の実施例の１つである。１０は位置決め対象物２０（図示なし）を搭載するテーブル（ＸＹθテーブル）である。１１はテーブル１０にＸ方向およびＹ方向の平行移動とθ方向の回転移動を行わせるテーブル駆動機構で、これに連結される３個のモータ（１２ｍ、１３ｍおよび１４ｍ）によって駆動される。１２ｅ、１３ｅおよび１４ｅは３個のモータ（１２ｍ、１３ｍおよび１４ｍ）のそれぞれの回転量を計測するためのエンコーダである。
テーブル１０に対向してカメラ３０（３１および３２）が配置されている。それぞれのカメラは、撮像制御部４０の撮像指令により、位置決め対象物上の２個のアライメントマークのうちの対応する１つの位置決めマークを撮像する。それぞれのカメラで撮像された画像（撮像画像）は撮像制御部４０に送られる。計算制御部５０は、それぞれの撮像画像の画像処理と位置決め装置のキャリブレーションおよび位置決めのための計算制御を行う。計算制御部５０はまた、その計算制御の過程で撮像制御部４０に撮像リクエストを出し、撮像制御部４０からの撮像画像準備完了信号を受け取り、移動制御部６０にテーブル駆動リクエストを出し、移動制御部６０からテーブル駆動完了信号を受け取る。移動制御部６０は、テーブル駆動リクエストによって３個のモータ（１２ｍ、１３ｍおよび１４ｍ）を駆動する。それぞれのモータの回転量は対応するエンコーダ（１２ｅ、１３ｅおよび１４ｅ）の信号により計測する。移動制御部６０は、テーブル駆動が完了した段階で計算制御部５０に対してテーブル駆動完了信号を出す。
以上説明してきた撮像制御部４０、計算制御部５０、移動制御部６０は記憶部を持つコンピュータにより成り立つ制御部である。従って位置決め装置のキャリブレーションおよびキャリブレーション結果を用いて行う位置決め動作等の制御は、このコンピュータを通じて行われる。当該制御に使われるプログラムはコンピュータの記憶部に格納されて使用される。当該プログラムは、それがあらかじめ格納されているＣＤＲＯＭ、ＵＳＢメモリ、ＨＤＤ等の記憶媒体から当該コンピュータに読まれ、インストールされることによって、実行可能な形で記憶部に格納される。
FIG. 1 is one example of a positioning device (alignment device) used to describe an embodiment of the present invention.
A camera 30 (31 and 32) is arranged facing the table 10. Each camera images one corresponding positioning mark of the two alignment marks on the positioning object in accordance with an imaging command from the
The
図２は、図1に示すアライメント装置の実施例におけるｘｙθテーブル１０と位置決め対象物（対象物）との配置関係、位置決め対象物上の２個のアライメントマークとそれぞれのアライメントマークを撮像するカメラ（３１、３２）の視野との配置関係、およびｘｙθテーブル１０と位置決め対象物とアライメントマークの組合せについてのアライメント前とアライメント後における位置関係の１例を平面的に且つ概念的に示した図である。２台のカメラの視野はそれぞれ、２個のアライメントマークのそれぞれの動きを計測可能な配置となっている。アライメントマークは、対象物（位置決め対象物）の上に存在する。対象物はテーブル（ｘｙθテーブル）の上に搭載されており、テーブルと一体的に移動する。テーブルと対象物の移動の状況をアライメント前は破線で、アライメント後は実線で示している。
アライメントマークの位置を代表する点で位置決めの際の計測の基準となる点を「位置決め基準点」ともいう。そして、アライメント前の位置決め基準点の位置を、位置決め基準点の現在位置ともいい、また、アライメント動作の目標とする位置決め基準点の位置を、位置決め基準点の目標位置ともいう。
2 shows an arrangement relationship between the xyθ table 10 and the positioning object (object) in the embodiment of the alignment apparatus shown in FIG. 1, two alignment marks on the positioning object, and a camera that images each alignment mark ( 31 and 32) is a diagram conceptually and planarly showing an example of the positional relationship with the visual field of (31, 32) and the positional relationship before and after alignment for the combination of the xyθ table 10, the positioning object, and the alignment mark. . The fields of view of the two cameras are arranged so that the movements of the two alignment marks can be measured. The alignment mark exists on the object (positioning object). The object is mounted on a table (xyθ table) and moves integrally with the table. The movement of the table and the object is indicated by a broken line before alignment and by a solid line after alignment.
A point representing the position of the alignment mark and serving as a measurement reference in positioning is also referred to as a “positioning reference point”. The position of the positioning reference point before alignment is also referred to as the current position of the positioning reference point, and the position of the positioning reference point targeted for the alignment operation is also referred to as the target position of the positioning reference point.
図３は、テーブル１０の位置・姿勢を測るための基準となる座標系（テーブル基準座標系）Σｗｃと、カメラ（３１、３２）の撮像画像の座標系（カメラ座標系）Σｖｋ（ｋ＝０，１）の配置関係と、
以下、本発明の技術の理論面に関係する基本事項を、一般的な従来技術も含めて、説明する。
アライメント装置のキャリブレーションは、一般的に、カメラｋ（ｋ＝０，１）の座標系Σｖｋ（カメラｋの撮像画像の座標系）とテーブル基準座標系（世界座標系）Σｗｃの位置・姿勢関係を求めることで、換言すれば、カメラｋの座標系Σｖｋ上で観測された任意の点の位置ベクトルをテーブル基準座標系（世界座標系）Σｗｃ上の位置ベクトルに変換する計算手段を求めることである。
In general, the alignment apparatus is calibrated by using the coordinate system Σv k (coordinate system of the captured image of the camera k) and the table reference coordinate system (world coordinate system) Σw c of the camera k (k = 0, 1). by determining the orientation relationship, in other words, calculation means for converting the position vector of any point observed on coordinates [sigma] v k of the camera k table reference coordinate system (world coordinate system) to the position vector on? w c Is to seek.
ｗｃＴｖｋはカメラｋの座標系で観測された任意の点の位置ベクトル（位置・姿勢）をテーブル基準座標系（世界座標系）の位置ベクトル（位置・姿勢）へ変換する計算手段（変換行列）であり、（２）式のように表すことができる。
カメラｋの座標系で観測された任意の点の位置ベクトル（位置・姿勢）をテーブル基準座標系（世界座標系）の位置ベクトル（位置・姿勢）へ変換する計算手段（カメラｋの座標系とテーブル基準座標系（世界座標系）の位置・姿勢関係を表すもの）の表現は、（２）式のように「変換行列」という表現形態だけではなく、等価な他の「数学的計算手順」の表現形態を採ることも可能である。
また、図４は、上記任意の点を位置決め基準点ｍｋとした場合の、当該任意の点のΣｖｋとΣｗｃ上の位置ベクトルを示した図となっている。
Calculation means for converting a position vector (position / posture) of an arbitrary point observed in the coordinate system of camera k into a position vector (position / posture) of a table reference coordinate system (world coordinate system) The representation of the table reference coordinate system (world coordinate system position / posture relationship) is not only expressed as a “transformation matrix” as shown in equation (2), but also other equivalent “mathematical calculation procedures”. It is also possible to adopt the expression form.
FIG. 4 is a diagram showing position vectors on the Σvk and Σwc of the arbitrary point when the arbitrary point is set as the positioning reference point m k .
従来行われているアライメント装置の自動キャリブレーションで（２）式のｗｃＴｖｋを求める方法は、一般的には、特許文献１にもあるように、テーブルに所定の移動を行わせてカメラｋの撮像画像の座標系Σｖｋ上の位置決め基準点ｍｋの動きをカメラで計測することによる方法が一つの例であり、その方法の詳細は基本的に特許文献１とは異なるいかなる方法であってもよい。以下、この方法を従来型キャリブレーション方法とも呼ぶ。
The conventional method for obtaining wc T vk of the expression (2) by automatic calibration of the alignment apparatus is generally as described in
本発明によるキャリブレーション方法は、上述のカメラｋの座標系Σｖｋからテーブル基準座標系（世界座標系）Σｗｃへの位置ベクトルの変換を行うための計算手段（変換行列ｗｃＴｖｋ）を、従来技術の問題点として挙げたようなレベルの精度ではなく、高精度に求める方法である。即ち、カメラｋの座標系Σｖｋの位置・姿勢とテーブル基準座標系（世界座標系）Σｗｃの位置・姿勢の関係を高精度に求める方法である。 The calibration method according to the present invention includes a calculation means (conversion matrix wc T vk ) for converting a position vector from the coordinate system Σv k of the camera k to the table reference coordinate system (world coordinate system) Σw c . This is a method for obtaining with high accuracy instead of the level of accuracy mentioned as the problem of the prior art. That is a method for determining the position of the coordinate system [sigma] v k of the camera k · posture and table reference coordinate system the relationship between the position and orientation of the (world coordinate system)? W c with high precision.
次に、本発明によるキャリブレーション方法に関する理論的な考え方について、図１の実施例と関係する座標系の例である図４に基づいて説明する。
図４の例は、カメラの台数を２台とし、図３に示すように、カメラｋのそれぞれのカメラは、２個の円形で示すアライメントマークを代表する位置決め基準点ｍ０とｍ１（図４では、位置決め動作前の位置決め基準点ｍ０およびｍ１をそれぞれｇ０およびｇ１とし、位置決め動作後の位置決め基準点ｍ０およびｍ１をそれぞれｆ０およびｆ１とする）のそれぞれを撮像するように配置されていることを前提としている。
Σｕｋ（ｋ＝０，１）は、カメラｋの座標系Σｖｋ（ｋ＝０，１）の各軸の単位をテーブル基準座標系（世界座標系）Σｗｃの単位と同じにしたカメラｋの座標系である。
カメラｋの座標系としてΣｕｋを使用した場合は、（２）式に対応するカメラｋの座標系Σｕｋとテーブル基準座標系（世界座標系）Σｗｃの位置・姿勢関係を表すｗｃＴｕｋは、（３）式となる。
In the example of FIG. 4, the number of cameras is two. As shown in FIG. 3, each camera of the camera k has positioning reference points m 0 and m 1 that represent two circular alignment marks (see FIG. 4, the positioning reference points m 0 and m 1 before the positioning operation are set to g 0 and g 1, and the positioning reference points m 0 and m 1 after the positioning operation are set to f 0 and f 1 , respectively. It is assumed that they are arranged in such a way.
Σu k (k = 0, 1) is the camera k in which the unit of each axis of the coordinate system Σv k (k = 0, 1) of the camera k is the same as the unit of the table reference coordinate system (world coordinate system) Σw c Is the coordinate system.
If you used? Uj k as the coordinate system of the camera k, wc T uk representing the position and orientation relationship between the coordinate system? Uj k and table reference coordinate system (world coordinate system)? W c of the camera k corresponding to (2) Is the equation (3).
本発明によるキャリブレーション方法は、従来型キャリブレーションで求めたカメラｋの座標系Σｕｋとテーブル基準座標系（世界座標系）Σｗｃの位置・姿勢関係（計算手段Ａｋ又は位置・姿勢関係Ａｋともいう）である（３）式に示す変換行列ｗｃＴｕｋのパラメータｗｃｘｕｋ、ｗｃｙｕｋ、ｗｃθｕｋには、カメラの狭い視野の中のアライメントマークの移動軌跡を分解能的に必ずしも十分でない状態で計測することに起因して発生する画像処理上の誤差要因、当該位置・姿勢関係Ａｋを求める方法に起因して発生する誤差要因等に基づく誤差が内在することを前提としている。
即ち、従来型キャリブレーションによるカメラｋの座標系Σｕｋとテーブル基準座標系（世界座標系）Σｗｃとの位置・姿勢関係Ａｋは上記誤差を含んでいることから、真値であるカメラ座標系Σｕｋから位置・姿勢関係Ａｋによって求めた世界座標系Σｗｃの位置・姿勢を基準にして、位置・姿勢関係Ａｋに代わる誤差のない位置・姿勢関係を逆に使ってカメラ座標系Σｕｋの位置・姿勢を求めたとすれば、それは真値であるカメラ座標系Σｕｋの位置・姿勢からずれているはずである。図４のΣｅｋ（ｋ＝０，１）は、このずれている位置・姿勢にある仮想的なカメラ座標系Σｕｋを示している。
本発明のキャリブレーション方法においては、このΣｅｋ（ｋ＝０，１）を誤差補正座標系とし、位置・姿勢関係ＡｋはΣｅｋ（ｋ＝０，１）とテーブル基準座標系（世界座標系）Σｗｃとの位置・姿勢関係とみなすとの前提から出発する。
Calibration method according to the present invention, conventional calibration coordinate system of the camera k determined in calibration? Uj k and table reference coordinate system (world coordinates)? W position and orientation relationship between c (calculation means A k or position and orientation relationship A (also referred to as k ), the parameters wc x uk , wc y uk , and wc θ uk of the transformation matrix wc T uk shown in the equation (3) are not necessarily in terms of resolution with respect to the movement path of the alignment mark in the narrow field of view of the camera error factors on the image processing that occurs due to be measured in a state not sufficient, an error based on the error factor or the like generated due to the method of determining the position and orientation relationship a k is assumed that the underlying .
That is, the coordinate system? Uj k and table reference coordinate system position and orientation relationship between A k and (world coordinate system)? W c of the camera k by conventional calibration because it contains the above error, the camera coordinate true value and the position and orientation of the world coordinate system Σw c which is determined by the position and orientation relationship between a k from the system Σu k to the reference, the camera coordinate system using the error-free position and orientation relationship to replace the position and orientation relationship a k to reverse if determined the position and orientation of the? uj k, it should deviates from the position and orientation of the camera coordinate system? uj k is the true value. Sigma] e k in FIG. 4 (k = 0,1) indicates the virtual camera coordinate system? Uj k in the position and posture that this deviation.
In the calibration method of the present invention, this Σe k (k = 0, 1) is used as an error correction coordinate system, and the positional / posture relationship A k is Σe k (k = 0, 1) and the table reference coordinate system (world coordinates). System) Start from the premise that it is regarded as a positional / posture relationship with Σw c .
そのため、本発明のキャリブレーション方法は、カメラ座標系Σｕｋ上で観測される座標値を誤差座標系Σｅｋ上で観測される座標値と考え、ΣｕｋをΣｅｋに置き換えることによって、位置・姿勢関係Ａｋを誤差補正座標系Σｅｋとテーブル基準座標系（世界座標系）Σｗｃとの間の上記誤差を含んだ位置・姿勢関係とし、更に位置・姿勢関係Ａｋの誤差を補正するために真値であるカメラ座標系Σｕｋと誤差補正座標系Σｅｋとの位置・姿勢関係（位置・姿勢関係Ｂｋ）を位置・姿勢関係Ａｋの補正手段として求め、位置・姿勢関係Ａｋと位置・姿勢関係Ｂｋによって、カメラ座標系Σｕｋとテーブル基準座標系（世界座標系）Σｗｃとの真に求めたい高精度化された位置・姿勢関係（位置・姿勢関係Ｃｋ）を求める方法を採るものである。 Therefore, calibration method of the present invention, a coordinate value observed on the camera coordinate system? Uj k considered coordinate value observed on the error coordinates Sigma] e k, by replacing the? Uj k in Sigma] e k, position and The posture relationship A k is set to a position / posture relationship including the above error between the error correction coordinate system Σe k and the table reference coordinate system (world coordinate system) Σw c, and further, the error of the position / posture relationship A k is corrected. calculated as the camera coordinate system? uj k and the error correction coordinate system position and orientation relationship between the Sigma] e k (position and orientation relationship between B k) means for correcting the position and orientation relationship a k which is the true value for the position and posture relationship a By k and the position / posture relationship B k , a highly accurate position / posture relationship (position / posture relationship C k ) to be truly obtained between the camera coordinate system Σu k and the table reference coordinate system (world coordinate system) Σw c Take the method of seeking It is.
以下、位置姿勢補正手段を求める方法と共に位置・姿勢関係Ｃｋを求める方法について説明する。
位置・姿勢関係Ａｋを従来型キャリブレーションで求めた誤差を有するキャリブレーション結果であって、カメラ座標系Σｕｋ上の位置ベクトルをテーブル基準座標系（世界座標系）Σｗｃ上の位置ベクトルに変換する変換行列のｕｋをｅｋに置き換えたｗｃＴｅｋとし、位置・姿勢関係Ｂｋをカメラ座標系Σｕｋ上の位置ベクトルを誤差補正座標系Σｅｋ上の座標ベクトルに変換する変換行列ｅｋＴｕｋ（以下、誤差補正行列ともいい、位置・姿勢関係Ａｋの補正手段に相当するものである）とし、位置・姿勢関係Ｃｋをカメラ座標系Σｕｋ上の位置ベクトルをテーブル基準座標系（世界座標系）Σｗｃ上の位置ベクトルに変換する高精度な変換行列ｗｃＴｕｋとすると、これらの関係は、
ｗｃＴｕｋ＝ｗｃＴｅｋ・ｅｋＴｕｋ ―――――（４）
となる。
ｗｃＴｅｋは求められているから、ｅｋＴｕｋを求めればｗｃＴｕｋは求まる。
Hereinafter, a method for obtaining the position / posture relationship C k will be described together with a method for obtaining the position / posture correction means.
A calibration result with error obtained position and orientation relationship A k in the conventional calibration, a position vector on the camera coordinate system? Uj k table reference coordinate system (world coordinate system) to the position vector on? W c transformation matrix of u k of the transform matrix for transforming a wc T ek replaced with e k, converts the position and orientation relationship between B k a position vector on the camera coordinate system? uj k to the coordinate vector on the error correction coordinate system Sigma] e k ek T uk (hereinafter, referred to as error correction matrix, in which corresponding to the correction means position and orientation relationship a k) and the position and orientation relationship between C k the camera coordinate system? uj k position vector table reference coordinate on Assuming a high-precision transformation matrix wc T uk that transforms into a position vector on the system (world coordinate system) Σw c , these relationships are
wc T uk = wc T ek · ek T uk ――――― (4)
It becomes.
Since wc T ek is obtained, wc T uk can be obtained by obtaining ek T uk .
以下、図４を参照しながら、誤差補正行列ｅｋＴｕｋを求める方法について説明する。
誤差補正行列ｅｋＴｕｋを求めるために、任意に選んだテーブル位置（現在位置とする）から任意に選んだ目標位置へテーブルを移動させるアライメント動作（任意試行アライメントともいう）をさせることによって誤差補正行列を決定するためのデータを取得することを試みる。
まず、使用する記号について説明する。
Σｗｉは、テーブルが現在位置にあるときのテーブルの位置・姿勢を代表する座標系（テーブル位置・姿勢座標系ともいい、テーブルと共に移動する座標系）Σｗを指すものである。Σｗの座標軸の単位は世界座標系Σｗｃと同じである。
Σｗｊは、目標位置へのアライメント動作後におけるテーブル位置・姿勢座標系Σｗを指すものである。
ｇｋ（ｋ＝０，１）は、現在位置における位置決め基準点ｍｋである。
ｆｋ（ｋ＝０，１）は、目標位置における位置決め基準点ｍｋである。
To determine the error correction matrix ek T uk, error correction by the alignment operation of moving the table from the table position arbitrarily selected (a current position) to the selected target position optionally (also referred to as any attempt alignment) Attempt to obtain data to determine the matrix.
First, symbols used will be described.
Σw i indicates a coordinate system (also referred to as a table position / posture coordinate system, which moves together with the table) Σw that represents the position / posture of the table when the table is at the current position. Units of the coordinate axes of Σw is the same as the world coordinate system Σw c.
Σw j indicates the table position / posture coordinate system Σw after the alignment operation to the target position.
g k (k = 0, 1) is the positioning reference point m k at the current position.
f k (k = 0, 1) is a positioning reference point m k at the target position.
Σｗｊ上のｆｋの位置ベクトルは、Σｕｋ上の位置ベクトルをΣｅｋ上の位置ベクトルに変換する座標変換行列をｅｋＴｕｋ、Σｅｋ上の位置ベクトルをΣｗｃ上の位置ベクトルに変換する変換行列をｗｃＴｅｋ、Σｗｃ上の位置ベクトルをΣｗｊ上の位置ベクトルに変換する変換行列をｗｊＴｗｃとすると、
（１３）式は、少なくともｋ＝１および２に対して得られることから、ｋ＝１および２に対して、上記変数の最適値が求まり、カメラ座標系Σｕｋ上の位置ベクトルを誤差補正座標系Σｅｋ上の位置ベクトルに変換する誤差補正行列ｅｋＴｕｋ（位置・姿勢関係Ａｋの補正手段、換言すれば、位置・姿勢関係Ｂｋ）が求まり、カメラ座標系Σｕｋ上の位置ベクトルをテーブル基準座標系（世界座標系）Σｗｃ上の位置ベクトルに変換する高精度な変換行列ｗｃＴｕｋ（位置・姿勢関係Ｃｋ）が求まる。 Since the equation (13) is obtained for at least k = 1 and 2, the optimum value of the above variable is obtained for k = 1 and 2, and the position vector on the camera coordinate system Σu k is expressed as error correction coordinates. error correction matrix ek T uk to convert the position vector on a system Sigma] e k (position and orientation relationship a k of the correction means, in other words, the position and orientation relationship between B k) is Motomari, position vector on the camera coordinate system? uj k Is converted to a position vector on the table reference coordinate system (world coordinate system) Σw c with a high accuracy conversion matrix wc T uk (position / attitude relationship C k ).
次に、以上述べてきた本発明のキャリブレーション方法に関する理論的な説明および図１に示した位置決め装置の実施例および図４に示した関係する座標系の実施例に基づいて、本発明のキャリブレーション方法の基本的な方法（発明の課題解決の手段の第１の手段に相当）の詳細について説明する。
位置決め装置（アライメント装置）は、対象物を搭載するテーブル１０と、対象物上又は対象物の等価物上にテーブル１０の位置・姿勢を計測するための基準として配置される２個の位置決め基準点のペア（ｇ１、ｇ２）または（ｆ１、ｆ２）に対応してそれぞれの位置決め基準点を撮像するように固定された２台のカメラ３１および３２を備えている。
図５は、ステップＳ１およびステップＳ２による本発明のキャリブレーション方法の基本的な方法（課題を解決するための手段の、第１の手段）を示すフローチャートである。
Next, based on the theoretical description of the calibration method of the present invention described above, the embodiment of the positioning device shown in FIG. 1, and the embodiment of the related coordinate system shown in FIG. The details of the basic method (corresponding to the first means of the means for solving the problems of the invention) will be described.
The positioning device (alignment device) includes a table 10 on which an object is mounted, and two positioning reference points arranged as a reference for measuring the position and orientation of the table 10 on the object or an equivalent of the object. Corresponding to the pair (g 1 , g 2 ) or (f 1 , f 2 ), and two cameras 31 and 32 fixed so as to image respective positioning reference points.
FIG. 5 is a flowchart showing a basic method (first means of means for solving the problems) of the calibration method of the present invention according to steps S1 and S2.
＜ステップＳ１＞
いかなる方法であろうが、所定の方法によって取得した、カメラ座標系Σｕｋとテーブル移動の基準となる座標系（テーブル基準座標系Σｗｃ）の位置・姿勢関係（位置・姿勢関係Ａｋ、ｋは位置決め基準点に対応して付された番号）を仮想的な誤差補正座標系Σｅｋとテーブル基準座標系Σｗｃの位置・姿勢関係とみなし、カメラ座標系Σｕｋにおいて任意に決めたテーブルの２つの位置・姿勢を表す諸元と、位置・姿勢関係Ａｋを用いて当該位置・姿勢を変換して得られたテーブル基準座標系の２つの位置・姿勢の一方から他方にテーブルを移動させたときの当該移動の前後における当該位置・姿勢の諸元の実測値により、カメラ座標系と当該誤差補正座標系の位置・姿勢関係（以下、位置・姿勢関係Ｂｋともいう）を位置・姿勢関係Ａｋの誤差補正手段として取得する。
<Step S1>
It will in any way, were obtained by a predetermined method, the camera coordinate system? Uj k and serving as a reference coordinate system of the table moving position and orientation relationship (table reference coordinate system? W c) (position and orientation relationship A k, k arbitrarily-determined table in position and orientation relationship between regarded, the camera coordinate system? uj k of virtual error correction coordinate system Sigma] e k and table reference coordinate system? w c a number) that is attached to correspond to the positioning reference point The table is moved from one of the two positions / postures of the table reference coordinate system obtained by converting the position / posture using the specifications representing the two positions / postures and the position / posture relationship Ak. the by specifications of the actual measurement values of the position and orientation before and after the movement, the camera coordinate system and the position and orientation relationship between the error correction coordinate system (hereinafter, also referred to as position and orientation relationship between B k) · the position and orientation when the Seki It is obtained as the error correction means A k.
以下、これをより具体的に説明する。
テーブルの２つの位置・姿勢は、テーブル上の位置決め対象物上に設けられテーブルの位置・姿勢を計測するために設けられた位置決め基準点ｍｋ（ｋ＝０，１の２つ）の位置ベクトルによって決まる。いま、カメラ座標系Σｕｋにおいて、テーブルの２つの位置・姿勢を位置決め基準点ｍｋ（ｋ＝０，１）の２つの位置ベクトルの組を２つ任意に決め、一方の組に対応するテーブルの位置・姿勢（テーブルの現在位置・姿勢ともいう）から他方の組に対応するテーブルの位置・姿勢（テーブルの目標位置・姿勢ともいう）にテーブルを位置決めすることを考える。そのときの一方の組に対応する位置決め基準点ｍｋ（ｋ＝０，１）の組をｇｋ（ｋ＝０、１）とし、他方の組に対応する位置決め基準点ｍｋ（ｋ＝０，１）の組をｆｋ（ｋ＝０、１）とする。そして、ｇｋ（ｋ＝０、１）の２つの位置を当該位置決め前の現在位置とし、ｆｋ（ｋ＝０、１）の２つの位置を当該位置決めの目標位置と呼ぶ。
そうすると、カメラ座標系Σｕｋにおけるテーブルの２つの位置・姿勢を表す諸元は、それぞれ、ｇｋ（ｋ＝０、１）の２つの位置ベクトルを表す諸元とｆｋ（ｋ＝０、１）の２つの位置ベクトルを表す諸元であり、それぞれの２つの位置ベクトルの座標位置と姿勢（角度）と考えてよい。従って、それぞれの２つの位置ベクトルを表す諸元は任意に決めたものであるから既知である。
位置・姿勢関係Ａｋを用いて、この既知であるｇｋ（ｋ＝０、１）およびｆｋ（ｋ＝０、１）のそれぞれの２つの位置ベクトルをテーブル基準座標系上の位置ベクトルに変換して、当該変換されたｇｋ（ｋ＝０、１）およびｆｋ（ｋ＝０、１）の位置ベクトルの諸元を取得する。そして、これらの諸元を用いて、２個の位置決め基準点の組が現在位置にあるときのテーブル位置・姿勢から目標位置にあるときのテーブル位置・姿勢へテーブル１０を移動させるための移動量を計算する。
当該計算されたテーブル移動量に従って３個のモータ（１２ｍ、１３ｍ、１４ｍ）の回転量を計算制御部５０で計算し、移動制御部６０に対してモータ駆動指令を出すことによって各モータを回転させ、テーブル１０を移動させる。このテーブル移動の前後においてテーブルの位置・姿勢に関係する位置決め基準点のそれぞれの位置ベクトルの諸元の計算および計測を行い、得られた計算値および計測値によって、位置・姿勢関係Ａｋの誤差補正手段を取得するためのデータ（誤差補正用データセットともいう）を取得することにより、カメラ座標系と当該誤差補正座標系の位置・姿勢関係（位置・姿勢関係Ｂｋともいう）を取得する。
Hereinafter, this will be described more specifically.
The two positions / postures of the table are the position vectors of positioning reference points m k (k = 0, 1) provided on the positioning object on the table and provided for measuring the position / posture of the table. It depends on. Now, the camera coordinate system? Uj k, determine the two position and orientation of the table a set of two position vectors of positioning reference point m k (k = 0,1) to two optionally, corresponds to one set table Consider positioning the table from the current position / posture (also referred to as the current position / posture of the table) to the position / posture of the table corresponding to the other set (also referred to as the target position / posture of the table). A set of positioning reference point m k (k = 0,1) corresponding to one of the set of time and g k (k = 0,1), positioning the reference point corresponding to the other set m k (k = 0 , 1) is set to f k (k = 0, 1). The two positions g k (k = 0, 1) are the current positions before the positioning, and the two positions f k (k = 0, 1) are called the positioning target positions.
Then, the specifications representing the two positions and orientations of the table in the camera coordinate system Σu k are the specifications representing the two position vectors of g k (k = 0, 1) and f k (k = 0, 1), respectively. ), And may be considered as the coordinate position and orientation (angle) of each of the two position vectors. Therefore, the specifications representing the two position vectors are known because they are arbitrarily determined.
Using the position / posture relationship A k , the two known position vectors g k (k = 0, 1) and f k (k = 0, 1) are converted into position vectors on the table reference coordinate system. Transform to obtain the specifications of the position vectors of the transformed g k (k = 0, 1) and f k (k = 0, 1). Then, using these specifications, a movement amount for moving the table 10 from the table position / posture when the set of two positioning reference points is at the current position to the table position / posture when the set is at the target position. Calculate
The calculation control unit 50 calculates the rotation amount of the three motors (12m, 13m, 14m) according to the calculated table movement amount, and issues a motor drive command to the
＜ステップＳ２＞
位置・姿勢関係Ａｋと当該取得した位置・姿勢補正手段Ｂｋを使って、当該位置・姿勢関係Ａｋの誤差が補正された、カメラ座標系とテーブル基準座標系の新たな位置・姿勢関係（以下、位置・姿勢関係Ｃｋともいう）を取得する。
<Step S2>
Position and orientation using the relationship A k and the acquired position and posture correcting means B k, the error of the position and orientation relationship A k is corrected, the new position and orientation relationship between the camera coordinate system and the table reference coordinate system (hereinafter also referred to as the position and orientation relationship between C k) to get.
以上の２つのステップを位置決め基準点に対応するカメラごとに実行することにより、位置決め装置のカメラ座標系Σｕｋとテーブル基準座標系Σｗｃの位置・姿勢関係を求める高精度なキャリブレーションを終了する。 By executing each camera corresponding to the positioning reference point two processes above, and ends the precise calibration to determine the position and orientation relationship between the camera coordinate system? Uj k and table reference coordinate system? W c of the positioning device .
図５のステップＳ１をより具体的に記述した図６に従って更に具体的に説明すれば、ステップＳ１は、以下の３つのステップを実行するステップということができる。
＜ステップＳ１１＞
所定の方法によって取得した、カメラ座標系とテーブル移動の基準となる座標系（テーブル基準座標系）の位置・姿勢関係Ａｋを仮想的な誤差補正座標系とテーブル基準座標系の位置・姿勢関係とみなし、カメラ座標系上の位置決め基準点の任意に決めた現在位置と目標位置における位置ベクトル（以下、任意位置ベクトルともいう）を位置・姿勢関係Ａｋを用いてテーブル基準座標系上の位置ベクトルに変換する。
If step S1 in FIG. 5 is described more specifically with reference to FIG. 6 which more specifically describes, step S1 can be said to be a step of executing the following three steps.
<Step S11>
Was obtained by a predetermined method, the camera coordinate system and serving as a reference coordinate system of the table moving position and orientation relationship between the position and orientation relationship A k of (table reference coordinate system) virtual error correction coordinate system and the table reference coordinate system The position on the table reference coordinate system using the position / posture relationship Ak for the position vector (hereinafter also referred to as the arbitrary position vector) at the current position and the target position arbitrarily determined on the positioning reference point on the camera coordinate system Convert to vector.
＜ステップＳ１２＞
現在位置に対応する変換された位置ベクトルが目標位置に対応する変換された位置ベクトルに一致するようにテーブルのアライメント動作（任意試行アライメント動作ともいう）を行い、任意試行アライメント動作の前後において、位置決め基準点ｍｋのカメラ座標系における位置ベクトルを計測することによって、当該計測された当該位置ベクトルの諸元と既知である当該任意位置ベクトルの諸元から、位置・姿勢関係Ａｋの誤差補正手段を取得するためのデータ（誤差補正用データセットともいう）を取得する。
<Step S12>
Table alignment operation (also called arbitrary trial alignment operation) is performed so that the converted position vector corresponding to the current position matches the converted position vector corresponding to the target position, and positioning is performed before and after the arbitrary trial alignment operation. by measuring the position vector in the camera coordinate system of the reference point mk, the specifications of specifications and known the arbitrary position vector of the measured the position vector, the error correcting unit position and orientation relationship a k Data for acquisition (also referred to as an error correction data set) is acquired.
誤差補正用データセットは、位置・姿勢関係Ｂｋを決定するために必要な誤差補正座標系から見たカメラ座標系の位置ベクトルの複数の諸元を変数としてもつ方程式（１１）の変数の係数および定数項の数値の組合せである。
以下、上記既知である任意位置ベクトルの諸元を取得する方法について、説明をする。
位置決め装置のテーブルの移動はテーブル基準座標系(世界座標系)Σｗｃ上で行われ、移動量の指令と把握はΣｗｃの単位に関連付けてなされていることから、テーブルと共に移動する座標系Σｗ（テーブル位置・姿勢座標系ともいい、その単位はΣｗｃと同じ）の基準位置をΣｗｃとの所定の位置・姿勢関係と定めてテーブルの駆動を行うモータの制御を行い、テーブル位置・姿勢座標系のテーブル基準座標系（世界座標系）に対する位置・姿勢関係を把握しておけることから使用すれば、２個の位置決め基準点が（ｇ０、ｇ１）および（ｆ０、ｆ１）のときのテーブル位置・姿勢座標系ΣｗをΣｗｉおよびΣｗｊとしたとき、ΣｗｉとΣｗｃの位置・姿勢関係およびΣｗｊとΣｗｃの位置・姿勢関係は容易に知ることができる。従って、
The table of the positioning device is moved on the table reference coordinate system (world coordinate system) Σw c , and the movement amount is commanded and grasped in association with the unit of Σw c . Therefore, the coordinate system Σw that moves with the table is used. (also called table position and orientation coordinate system, the unit is the same as? w c) and controls the motor for driving the stipulates that a predetermined position and orientation relationship table between? w c a reference position of the table position and orientation Since the position / posture relationship of the coordinate system with respect to the table reference coordinate system (world coordinate system) can be grasped, two positioning reference points (g 0 , g 1 ) and (f 0 , f 1 ) are used. When the table position / posture coordinate system Σw at Σ is Σw i and Σw j , the positional / posture relationship between Σw i and Σw c and the positional / posture relationship between Σw j and Σw c can be easily known. Therefore,
＜ステップＳ１３＞
ステップＳ１１およびステップＳ１２を複数回繰り返すことによって、複数セットの誤差補正用データセットを取得し、取得した誤差補正用データセットに基づいてカメラ座標系と誤差補正座標系の位置・姿勢関係（以下、位置・姿勢関係Ｂｋともいう）を取得し、これを位置・姿勢関係Ａｋの誤差補正手段とする。
位置・姿勢関係Ｂｋを取得する方法は、取得された複数セットの誤差補正用データセットのそれぞれによって複数の方程式（１１）を取得し、その全部または一部を使って複数の変数を持つ連立方程式（１３）を作り、これを解くことによって当該複数の変数の最適値を求める方法である
ここに、当該連立方程式は、位置決め基準点ごとに取得される。これらの連立方程式を最小二乗法等により解くことにより、誤差補正手段（位置・姿勢補正手段Ｂｋ）が位置決め基準点に対応するカメラごとに得られる。
<Step S13>
By repeating Step S11 and Step S12 a plurality of times, a plurality of sets of error correction data sets are acquired, and the position / posture relationship between the camera coordinate system and the error correction coordinate system (hereinafter, referred to as “error correction data set”). position and posture also called relationship B k) acquires, and error correction means position and orientation relationship a k this.
The method for obtaining the position / posture relationship Bk is to obtain a plurality of equations (11) from each of the obtained plurality of error correction data sets, and use a whole or a part of the equations to have a plurality of variables. The equation (13) is a method for obtaining the optimum values of the plurality of variables by solving the equation (13). Here, the simultaneous equations are obtained for each positioning reference point. By solving these simultaneous equations by the least square method or the like, error correction means (position / attitude correction means B k ) can be obtained for each camera corresponding to the positioning reference point.
以上説明したステップにおいて、位置・姿勢関係Ａｋを誤差補正座標系Σｅｋ上の位置決め基準点の位置ベクトルをテーブル基準座標系Σｗｃ上の位置ベクトルに変換する変換行列（計算手段Ａｋともいう）とし、位置・姿勢関係Ｂｋをカメラ座標系Σｕｋ上の位置決め基準点の位置ベクトルを誤差補正座標系Σｅｋ上の位置ベクトルに変換する変換行列（計算手段Ｂｋともいう）とすることができることから、最終的に取得したい位置・姿勢関係Ｃｋ、即ち、カメラ座標系Σｕｋ上の位置決め基準点の位置ベクトルをテーブル基準座標系Σｗｃ上の位置ベクトルに変換する変換行列（計算手段Ｃｋともいう）を計算手段Ａｋと計算手段Ｂｋの積として取得することができる。 In the steps described above, also referred to as a transformation matrix (calculation means A k for converting the position and orientation relationship A k the position vector of the positioning reference point on the error correction coordinate system Sigma] e k a position vector on a table reference coordinate system? W c ) And the position / posture relationship B k is a conversion matrix (also referred to as calculation means B k ) that converts the position vector of the positioning reference point on the camera coordinate system Σu k to the position vector on the error correction coordinate system Σe k. since it is ultimately the position and orientation relationship C k to be obtained, i.e., the transformation matrix (calculation means for converting the position vector of the positioning reference points on the camera coordinate system? uj k a position vector on a table reference coordinate system? w c C k also called) can be obtained as the product of the calculation means a k and calculation means B k.
次に、以上説明してきた基本的な方法と類似しているが、量産工場等でより現実的な位置決め装置のキャリブレーションを行うためのキャリブレーション方法（発明の課題解決の手段の第２の手段に相当）について説明する。
位置決め装置によりアライメントを行う工程を持つ量産工場現場等においては、工程の本格稼働に先だって実ワークを使って試運転を行うことが本番の運転の前に不可欠であることが多い。当然、位置決め装置の実ワークを使用したアライメント作業もその試運転の対象となる。工程の何らかの小調整があり工程の稼働が止まった後の再開時には、少なくとも実ワークを使用したキャリブレーションのやり直しをする場合が非常に多い。
その場合には、所定の複数の実ワークが量産において現実に起こる供給位置・姿勢のばらつき等を持ってテーブル上に供給されることになることから、この試運転の時間と実ワーク供給等の環境を有効に使うことによって、キャリブレーションを行う方法に関するものである。
Next, although it is similar to the basic method described above, a calibration method for calibrating a more realistic positioning device in a mass production factory or the like (second means of means for solving the problems of the invention) Will be described.
In a mass production factory site having a process of performing alignment by a positioning device, it is often essential to perform a trial operation using an actual work prior to the actual operation before the full operation of the process. Of course, the alignment operation using the actual workpiece of the positioning device is also a target of the trial operation. At the time of resumption after the operation of the process is stopped due to some minor adjustment of the process, calibration using at least the actual work is often re-executed.
In such a case, a predetermined number of actual workpieces are supplied onto the table with variations in supply position / posture that actually occur in mass production. The present invention relates to a method for performing calibration by effectively using.
その方法は、上述した本発明のキャリブレーション方法に係る基本的な方法のステップＳ１において、任意に選択した位置決め基準点の現在位置から任意に選択した位置決め基準点の目標位置への任意試行アライメント動作を複数回行う代わりに、位置決め装置の試運転等の環境において、位置・姿勢のばらつきをもってテーブル上に供給されたときのありのままの実ワークの位置決め基準点の現在位置から所定の既知であるアライメントの目標位置へのアライメント動作を、実ワークが供給されるたびに実行することを複数回繰り返すことによって、ステップＳ１におけると同様な方法で位置・姿勢補正手段（位置・姿勢関係Ｂｋ）を求め、求められた位置・姿勢関係（計算手段）Ｂｋと位置・姿勢関係（計算手段）Ａｋとから位置・姿勢関係（計算手段）Ｃｋを取得することによってキャリブレーションを行う方法である。
この方法の場合には、位置・姿勢関係（計算手段）Ａｋは、当該アライメント装置で実ワークと同一と見做すことができるワークを使って、本発明の基本的な方法を含む何らかのキャリブレーション方法により得られたキャリブレーション結果とすることが好ましい。
The method is an arbitrary trial alignment operation from the current position of the positioning reference point arbitrarily selected to the target position of the positioning reference point arbitrarily selected in step S1 of the basic method according to the calibration method of the present invention described above. Instead of performing multiple times, a predetermined known alignment target from the current position of the actual workpiece positioning reference point when supplied on the table with position / posture variations in an environment such as a trial run of the positioning device The position / orientation correcting means (position / orientation relationship B k ) is obtained and obtained in the same manner as in
In the case of this method, the position / posture relationship (calculation means) Ak is a calibration that includes the basic method of the present invention using a workpiece that can be regarded as the same as the actual workpiece by the alignment apparatus. The calibration result obtained by the calibration method is preferable.
この方法によれば、実ワークがテーブル上に供給されるときの位置・姿勢が最も現実に近いバラツキを持っていることと、任意に選択する現在位置の場合より選択のランダム性が満たされることおよび現実に起こるアライメント動作のテーブル移動の範囲に近い範囲でキャリブレーションが行われる等のメリットにより、上述の基本的な方法の場合よりキャリブレーション精度が改善する効果がある。また、上記試運転等の際にキャリブレーションを行うようにコンピュータシステムを設定しておけば、自動的にキャリブレーションが行われることから、殊更、アライメント装置のキャリブレーションを行うという手間とそのための意識をしなくて済むメリットがある。 According to this method, the position / posture when the actual work is supplied on the table has the most realistic variation, and the randomness of the selection is satisfied compared to the case of the current position arbitrarily selected. Further, due to the merit that calibration is performed in a range close to the range of table movement of the alignment operation that actually occurs, there is an effect that the calibration accuracy is improved as compared with the case of the basic method described above. In addition, if the computer system is set so that calibration is performed during the above-described test operation, the calibration is automatically performed. There is an advantage that you do not have to.
次に、キャリブレーションを終了する前にキャリブレーション結果の精度の検証をしたいとの要望に沿うための方法について説明する。本発明のキャリブレーション方法においては、キャリブレーションの過程で、（６）式に示すようなカメラ座標系から誤差補正座標系への位置ベクトルの変換行列ｅｋＴｕｋを取得することになる。この変換行列がある一定のばらつき範囲に収束することが確認できれば、最終のキャリブレーション結果は所定の精度を保っていると考えることができる。
この確認をするための方法の一例は、以下のようなものである。
（ａ）一旦、以上述べてきた本発明のキャリブレーション方法を使って、所定の回数だけ任意試行アライメント動作を行い、変換行列Ｂｋを求めるための所定の数の方程式からなる連立方程式を得て、この連立方程式の最適解を求めて変換行列Ｂｋを求める。
（ｂ）当該任意試行アライメント動作を所定の回数だけ追加で行うことによって当該方程式を追加し、追加された所定の個数の方程式を含めた数の方程式で連立方程式を構成し、連立方程式の変数の最適解を求めることによって、より精度の高いと考えられる変換行列Ｂｋを取得する。取得した変換行列Ｂｋと前回求めた変換行列Ｂｋを比較する。
（ｃ）取得した変換行列Ｂｋとそれまでに求めた変換行列Ｂｋを比較して、その差が所定の範囲にならなければ（ｂ）以降を繰り返し、所定の範囲に入ればそのときの最適解により求められた変換行列Ｂｋを最終の結果として、変換行列Ｃｋを求めてキャリブレーションを終了する。
以上の方法で求められた変換行列Ｃｋは、変換行列Ａｋの誤差を補正するための変換行列Ｂｋが所定の範囲に収束した一定値と見做すことができる値であることから、当該誤差補正は所定の精度で正しいと判断できるとするものである。
An example of a method for confirming this is as follows.
(A) Once using the calibration method of the present invention described above, an arbitrary trial alignment operation is performed a predetermined number of times, and a simultaneous equation consisting of a predetermined number of equations for obtaining the transformation matrix B k is obtained. obtains a transformation matrix B k seeking optimal solutions of the simultaneous equations.
(B) The equation is added by performing the arbitrary trial alignment operation by a predetermined number of times, and a simultaneous equation is constituted by a number of equations including the added predetermined number of equations, and the variables of the simultaneous equations are changed. By obtaining an optimal solution, a transformation matrix B k that is considered to be more accurate is acquired. Comparing the obtained transformation matrix B k and transformation matrix B k previously obtained.
(C) comparing the obtained transformation matrix B k and transformation matrix B k obtained so far, if the difference does not become the predetermined range Repeat (b) and later, at the time when placed in a predetermined range The conversion matrix B k obtained by the optimal solution is used as a final result, and the conversion matrix C k is obtained to complete the calibration.
The transformation matrix C k obtained by the above method is a value that can be regarded as a constant value in which the transformation matrix B k for correcting the error of the transformation matrix A k converges in a predetermined range. The error correction can be determined to be correct with a predetermined accuracy.
そして、所望の精度の変換行列Ｃｋを得ることができなかった場合は、当該変換行列Ｃｋを変換行列Ａｋに置き換えて、所定の性能レベルに達するまで新たな変換行列Ｃｋを取得することを繰り返すことによりキャリブレーションを行うこともできる。 If the conversion matrix C k having a desired accuracy cannot be obtained, the conversion matrix C k is replaced with the conversion matrix A k and a new conversion matrix C k is acquired until a predetermined performance level is reached. Calibration can also be performed by repeating the above.
以上述べた本発明によるキャリブレーション方法の説明において留意すべきことは、位置・姿勢関係Ａｋを取得する所定の方法は、テーブルに所定の移動を行わせて位置決め基準点をカメラの撮像画像によって計測することに基づいて自動的に取得する方法を採ることが好ましい方法であるが、経験と熟練に基づく数値入力によるトライアルで取得する方法等、いかなる方法であっても構わないということである。 It should be noted in the above description of the calibration method according to the present invention that the predetermined method for obtaining the position / posture relationship Ak is that the table is moved in a predetermined manner so that the positioning reference point is determined by the captured image of the camera. It is preferable to adopt a method of obtaining automatically based on measurement, but any method such as a method of obtaining by a trial based on numerical input based on experience and skill can be used.
座標系の位置・姿勢関係の便宜的な表現方法の一つが、位置ベクトルの座標系間の変換行列であるとしてきたが、その表現方法は他の数学的表現方法であっても構わない。従って、座標系の位置・姿勢関係間の数学的演算については、選択する数学的表現に合わせて、座標系間の位置ベクトルの変換に関する適切な取り扱いをすればよい。 One convenient method of expressing the position / posture relationship of the coordinate system is a conversion matrix between coordinate systems of position vectors, but the expression method may be another mathematical expression method. Therefore, mathematical operations between the position / posture relationships of the coordinate system may be appropriately handled in accordance with the conversion of the position vector between the coordinate systems in accordance with the selected mathematical expression.
以上説明してきた本発明によるキャリブレーション方法による高精度なキャリブレーション結果を用いることによって、高精度且つ短時間の位置決め（アライメント）が可能となる効果がある。
具体的には、従来のキャリブレーション方法によるキャリブレーション結果を使って達成可能であった位置決め（アライメント）精度が、例えば目標位置への収束の状況を見ながら所定の収束レベルへ到達するまでの繰返し位置決め動作の回数が複数回となり且つその際の位置決め精度が最高でも数ミクロン程度であった位置決め（アライメント）装置の場合でも、ほぼ１回の位置決め動作でサブミクロンから数ミクロン程度の位置決め精度を達成できる効果が生まれている。
By using a highly accurate calibration result by the calibration method according to the present invention described above, there is an effect that positioning (alignment) can be performed with high accuracy and in a short time.
Specifically, the positioning accuracy that can be achieved by using the calibration result by the conventional calibration method is repeated until reaching a predetermined convergence level while observing the convergence state to the target position, for example. Even in the case of a positioning device where the number of positioning operations is multiple and the positioning accuracy at that time is at most several microns, positioning accuracy of sub-micron to several microns is achieved with almost one positioning operation. A possible effect is born.
以上、発明を実施するための形態の説明における実施例においては、２個のアライメントマークのそれぞれに対してカメラ１台を割り当てる形でキャリブレーション並びにアライメントを行う形態で説明してきたが、必ずしもこの形態に限定する必要はない。カメラの精度と目的とする位置決め精度さえ許せば、２個のアライメントマークに１台のカメラを割り当て、双方のアライメントマークの基準点を計測するためのそれぞれの基準点に対応するカメラ座標系は同一として扱えば問題はない。
As described above, in the embodiments in the description of the mode for carrying out the invention, the description has been given in the form of performing calibration and alignment by assigning one camera to each of the two alignment marks. It is not necessary to limit to. As long as the accuracy of the camera and the desired positioning accuracy are allowed, one camera is assigned to two alignment marks, and the camera coordinate system corresponding to each reference point for measuring the reference point of both alignment marks is the same. There is no problem if treated as.
１０ テーブル（ＸＹθテーブル）
１１ テーブル駆動機構
１２ｍ モータ
１２ｅ エンコーダ
１３ｍ モータ
１３ｅ エンコーダ
１４ｍ モータ
１４ｅ エンコーダ
３０ 撮像部
３１ カメラ０（カメラｋ（ｋ＝０））
３２ カメラ１（カメラｋ（ｋ＝１））
４０ 撮像制御部
５０ 計算制御部
６０ テーブル制御部
10 tables (XYθ table)
11 Table drive mechanism 12m Motor 12e Encoder 13m Motor 13e Encoder 14m
32 Camera 1 (Camera k (k = 1))
40 Imaging control unit 50
Claims (10)
所定の方法によって取得した、カメラの撮像画像の座標系（以下、カメラ座標系ともいう）とテーブル移動の基準となる座標系（以下、テーブル基準座標系ともいう）の位置・姿勢関係（以下、位置・姿勢関係Ａｋともいい、ｋは位置決め基準点に対応して付された番号）を仮想的な誤差補正座標系と前記テーブル基準座標系の位置・姿勢関係とみなし、前記カメラ座標系において任意に決めた前記テーブルの２つの位置・姿勢を表す諸元と、前記位置・姿勢関係Ａｋを用いて前記２つの位置・姿勢を変換して得られた前記テーブル基準座標系の位置・姿勢の一方から他方に前記テーブルを移動させたときの当該移動の前後における前記２つの位置・姿勢の諸元の実測値とにより、前記カメラ座標系と前記誤差補正座標系の位置・姿勢関係（以下、位置・姿勢関係Ｂｋともいう）を前記位置・姿勢関係Ａｋの誤差補正手段として取得するステップＳ１と、
前記位置・姿勢関係Ａｋと当該取得した位置・姿勢関係Ｂｋを使って、前記位置・姿勢関係Ａｋの誤差が補正された形の、前記カメラ座標系と前記テーブル基準座標系の新たな位置・姿勢関係（以下、位置・姿勢関係Ｃｋともいう）を取得するステップＳ２とを、
前記位置決め基準点に対応するカメラごとに実行する位置決め装置のキャリブレーション方法。 A table on which an object is mounted, and a camera for imaging at least two positioning reference points arranged as a reference for measuring the position and orientation of the table on the object or on the object equivalent; In a positioning device (hereinafter also referred to as an alignment device) in which the camera can move relatively,
Position / posture relationship (hereinafter, referred to as a table reference coordinate system) of a coordinate system (hereinafter also referred to as a camera coordinate system) of a captured image of a camera and a coordinate system (hereinafter also referred to as a table reference coordinate system) used as a table movement reference acquired by a predetermined method also referred to as position and posture relationship a k, k is regarded as a virtual error correction coordinate system and the position and orientation relationship between the table reference frame number) that is attached in correspondence with the positioning reference point, in the camera coordinate system specifications and the position and posture of said table reference coordinate system obtained by converting the two position and orientation using said position and orientation relationship a k representing the two position and posture of said table decided arbitrarily The position / posture relationship between the camera coordinate system and the error correction coordinate system based on the measured values of the two positions / postures before and after the movement of the table from one to the other. Hereinafter, steps S1 to acquire also referred) and the position and orientation relationship between B k as the error correction means of the position and orientation relationship A k,
Using said position and orientation relationship between A k and the acquired position and orientation relationship B k, the form of the error of the position and orientation relationship A k is corrected, new of the table reference coordinate system and the camera coordinate system position and orientation relationship (hereinafter also referred to as position and orientation relationship between C k) and step S2 of acquiring,
A positioning apparatus calibration method executed for each camera corresponding to the positioning reference point.
前記位置・姿勢関係Ａｋを仮想的な前記誤差補正座標系と前記テーブル基準座標系の位置・姿勢関係とみなし、前記カメラ座標系上の前記位置決め基準点の任意に決めた現在位置と目標位置における位置ベクトル（以下、任意位置ベクトルともいう）を前記位置・姿勢関係Ａｋを用いて前記テーブル基準座標系上の位置ベクトルに変換するステップＳ１１と、
前記現在位置に対応する当該変換された位置ベクトルが前記目標位置に対応する当該変換された位置ベクトルに一致するように前記テーブルのアライメント動作（以下、任意試行アライメント動作ともいう）を行い、当該任意試行アライメント動作の前後において、前記位置決め基準点ｍｋの前記カメラ座標系における位置ベクトルを計測することによって、当該計測された当該位置ベクトルの諸元と既知である前記任意位置ベクトルの諸元から、前記位置・姿勢関係Ａｋの誤差補正手段を取得するためのデータ（以下、誤差補正用データセットともいう）を取得するステップＳ１２と、
ステップＳ１１およびステップＳ１２を複数回繰り返すことによって、複数セットの前記誤差補正用データセットを取得し、当該取得した誤差補正用データセットに基づいて前記カメラ座標系と前記誤差補正座標系の位置・姿勢関係（以下、位置・姿勢関係Ｂｋともいう）を取得し、これを前記位置・姿勢関係Ａｋの誤差補正手段とするステップＳ１３とを具備する請求項１に記載する位置決め装置のキャリブレーション方法。 Step S1
The position / posture relationship Ak is regarded as a virtual position / posture relationship between the error correction coordinate system and the table reference coordinate system, and an arbitrarily determined current position and target position of the positioning reference point on the camera coordinate system position vector (hereinafter, also referred to as an arbitrary position vector) at a step S11 to convert the position vector on said table reference coordinate system using the position and orientation relationship a k a,
An alignment operation of the table (hereinafter also referred to as an arbitrary trial alignment operation) is performed so that the converted position vector corresponding to the current position matches the converted position vector corresponding to the target position, and the arbitrary position Before and after the trial alignment operation, by measuring the position vector in the camera coordinate system of the positioning reference point m k , from the specifications of the measured position vector and the known arbitrary position vector, the position and orientation relationship a k data for obtaining the error correction means (hereinafter, also referred to as error correction data set) and step S12 of acquiring,
By repeating Step S11 and Step S12 a plurality of times, a plurality of sets of error correction data sets are acquired, and the positions and orientations of the camera coordinate system and the error correction coordinate system based on the acquired error correction data sets. relationship (hereinafter, the position and posture also called relationship B k) obtains the calibration method of the positioning device according to claim 1, and a step S13 of this as error correction means of the position and orientation relationship a k .
ステップＳ１３における位置・姿勢関係Ｂｋを取得する方法が、取得された前記複数セットの誤差補正用データセットのそれぞれによって当該複数の方程式を取得し、その全部または一部を使って当該複数の変数を持つ連立方程式を作り、これを解くことによって当該複数の変数の最適値を求める方法である請求項２に記載の位置決め装置のキャリブレーション方法。 Data sets for error correction in step S12, the equation having a plurality of specifications as a variable of the position vector of the camera coordinate system as viewed from the error correction coordinate system required for determining the position and orientation relationship B k A combination of the coefficient of the variable and the numerical value of the constant term,
The method of acquiring the position / posture relationship B k in step S13 acquires the plurality of equations by each of the acquired plurality of error correction data sets, and uses the whole or part of the plurality of variables. The positioning apparatus calibration method according to claim 2, wherein a simultaneous equation having the following equation is created and an optimum value of the plurality of variables is obtained by solving the equation.
前記位置・姿勢関係Ｂｋが、前記カメラ座標系の位置ベクトルを前記誤差補正座標系の位置ベクトルへ変換する前記変換行列Ｂｋであり、
前記位置・姿勢関係Ｃｋが、前記変換行列Ａｋと、前記変換行列Ｂｋとの積によって得られる前記変換行列Ｃｋであることを特徴とする請求項１乃至３のいずれかに記載の位置決め装置のキャリブレーション方法。 The position / attitude relationship A k is the conversion matrix A k for converting the position vector of the error correction coordinate system into the position vector of the table reference coordinate system,
The position / posture relationship B k is the conversion matrix B k that converts the position vector of the camera coordinate system into the position vector of the error correction coordinate system,
The position / posture relationship C k is the transformation matrix C k obtained by a product of the transformation matrix A k and the transformation matrix B k . 5. Calibration method for positioning device.
A computer-readable storage medium storing the computer program according to claim 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110119A JP5531182B2 (en) | 2010-05-12 | 2010-05-12 | Calibration method for positioning apparatus, positioning apparatus, and computer program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110119A JP5531182B2 (en) | 2010-05-12 | 2010-05-12 | Calibration method for positioning apparatus, positioning apparatus, and computer program therefor |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011238097A true JP2011238097A (en) | 2011-11-24 |
| JP2011238097A5 JP2011238097A5 (en) | 2013-07-25 |
| JP5531182B2 JP5531182B2 (en) | 2014-06-25 |
Family
ID=45325993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010110119A Expired - Fee Related JP5531182B2 (en) | 2010-05-12 | 2010-05-12 | Calibration method for positioning apparatus, positioning apparatus, and computer program therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5531182B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017074647A (en) * | 2015-10-15 | 2017-04-20 | ファナック株式会社 | Robot system comprising function for calculating position and orientation of sensor |
| WO2019208074A1 (en) * | 2018-04-25 | 2019-10-31 | オムロン株式会社 | Control system, control method, and program |
| CN112991296A (en) * | 2021-03-12 | 2021-06-18 | 深圳中科飞测科技股份有限公司 | Positioning method, detection system and computer readable storage medium |
| CN115241110A (en) * | 2022-08-15 | 2022-10-25 | 魅杰光电科技(上海)有限公司 | Wafer motion control method and wafer motion control system |
| CN116499457A (en) * | 2023-06-28 | 2023-07-28 | 中国人民解放军32035部队 | Optical telescope and laser range finder combined target positioning method based on single equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62277504A (en) * | 1986-05-27 | 1987-12-02 | Canon Inc | Positioning device |
| JPH02194302A (en) * | 1989-01-23 | 1990-07-31 | Omron Tateisi Electron Co | Method for calibrating coordinate system of visual robot and displacement measuring instrument for coordinate calibration used for the method |
| JPH06160022A (en) * | 1992-11-17 | 1994-06-07 | Shinko Electric Ind Co Ltd | Image position correcting device |
| JP2006337873A (en) * | 2005-06-03 | 2006-12-14 | Fujifilm Holdings Corp | Exposure device and exposure method |
-
2010
- 2010-05-12 JP JP2010110119A patent/JP5531182B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62277504A (en) * | 1986-05-27 | 1987-12-02 | Canon Inc | Positioning device |
| JPH02194302A (en) * | 1989-01-23 | 1990-07-31 | Omron Tateisi Electron Co | Method for calibrating coordinate system of visual robot and displacement measuring instrument for coordinate calibration used for the method |
| JPH06160022A (en) * | 1992-11-17 | 1994-06-07 | Shinko Electric Ind Co Ltd | Image position correcting device |
| JP2006337873A (en) * | 2005-06-03 | 2006-12-14 | Fujifilm Holdings Corp | Exposure device and exposure method |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017074647A (en) * | 2015-10-15 | 2017-04-20 | ファナック株式会社 | Robot system comprising function for calculating position and orientation of sensor |
| US9937620B2 (en) | 2015-10-15 | 2018-04-10 | Fanuc Corporation | Robot system having function to calculate position and orientation of sensor |
| WO2019208074A1 (en) * | 2018-04-25 | 2019-10-31 | オムロン株式会社 | Control system, control method, and program |
| JP2019191003A (en) * | 2018-04-25 | 2019-10-31 | オムロン株式会社 | Control system, control method, and program |
| CN112991296A (en) * | 2021-03-12 | 2021-06-18 | 深圳中科飞测科技股份有限公司 | Positioning method, detection system and computer readable storage medium |
| CN115241110A (en) * | 2022-08-15 | 2022-10-25 | 魅杰光电科技(上海)有限公司 | Wafer motion control method and wafer motion control system |
| CN115241110B (en) * | 2022-08-15 | 2023-12-08 | 魅杰光电科技(上海)有限公司 | Wafer motion control method and wafer motion control system |
| CN116499457A (en) * | 2023-06-28 | 2023-07-28 | 中国人民解放军32035部队 | Optical telescope and laser range finder combined target positioning method based on single equipment |
| CN116499457B (en) * | 2023-06-28 | 2023-11-10 | 中国人民解放军32035部队 | Optical telescope and laser range finder combined target positioning method based on single equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5531182B2 (en) | 2014-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9669545B2 (en) | Robot calibrating apparatus and robot calibrating method, and robot apparatus and method of controlling robot apparatus | |
| JP2014151427A (en) | Robot system and control method therefor | |
| JP5670416B2 (en) | Robot system display device | |
| JP5531182B2 (en) | Calibration method for positioning apparatus, positioning apparatus, and computer program therefor | |
| JP2018088250A (en) | Kinematic calibration | |
| CN108789404A (en) | A kind of serial manipulator kinematic calibration method of view-based access control model | |
| CN100489449C (en) | Workpieces coordinate system calibration method based on relative measurement | |
| JP6466661B2 (en) | Robot teaching point conversion method, apparatus, and robot cell | |
| CN105073348A (en) | A robot system and method for calibration | |
| JP2013218684A (en) | Device for correcting error for cnc (computer numerical control) machine tool | |
| JP2018202559A (en) | Teaching position correction device and teaching position correction method | |
| JP2011011321A (en) | Robot system and calibration method for the same | |
| CN109623822B (en) | Robot hand-eye calibration method | |
| CN110757504A (en) | Positioning error compensation method of high-precision movable robot | |
| CN110480642A (en) | Industrial robot and its method for utilizing vision calibration user coordinate system | |
| JP2012101306A (en) | Apparatus and method for calibration of robot | |
| JP2018001393A (en) | Robot device, robot control method, program and recording medium | |
| JP2011224672A (en) | Deriving method and calibration method for tool vector of robot | |
| CN111251189B (en) | Visual positioning method for casting polishing | |
| CN109773589B (en) | Method, device and equipment for online measurement and machining guidance of workpiece surface | |
| Li et al. | End Position Detection of Industrial Robots Based on Laser Tracker. | |
| JP5343609B2 (en) | Motion trajectory generation device, motion trajectory generation method, robot control device, and robot control method | |
| JP5565503B2 (en) | Motion trajectory generation device, motion trajectory generation method, robot control device, and robot control method | |
| WO2022025059A1 (en) | Robot system | |
| JP2005271103A (en) | Working robot and calibration method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130511 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130511 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130511 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131016 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20131021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5531182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |