JP4491687B2 - Coordinate transformation function correction method - Google Patents
Coordinate transformation function correction method Download PDFInfo
- Publication number
- JP4491687B2 JP4491687B2 JP2005123197A JP2005123197A JP4491687B2 JP 4491687 B2 JP4491687 B2 JP 4491687B2 JP 2005123197 A JP2005123197 A JP 2005123197A JP 2005123197 A JP2005123197 A JP 2005123197A JP 4491687 B2 JP4491687 B2 JP 4491687B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- coordinate system
- dimensional
- dimensional shape
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、３次元形状測定装置により複数の異なる位置で測定した物体の各座標系における３次元画像データを、１つの基準座標系における３次元形状データ群に変換する座標変換関数の補正方法に関する。 The present invention relates to a method for correcting a coordinate conversion function for converting three-dimensional image data in each coordinate system of an object measured at a plurality of different positions by a three-dimensional shape measuring apparatus into a three-dimensional shape data group in one reference coordinate system. .
従来から、測定対象の物体に対し測定位置が移動される３次元形状測定装置により、測定対象物の３次元形状を複数の異なる位置から測定して各測定位置ごとの３次元画像データを合成し、測定対象物の立体形状を任意の方向から見て表示できるようにした３次元形状の測定方法はよく知られている。この測定においては、測定対象物の３次元形状を測定する前に、３次元形状測定装置による各測定位置ごとの座標値を基準座標系における座標値に変換するための座標変換関数の計算が行われる。具体的には、予め決められた形状の基準物体を測定対象空間内に配置して、この３次元形状を測定し、同測定した３次元形状を表す３次元画像データを用いて予め基準物体内に設定してある定点の座標値を各測定位置ごとに計算し、この計算した座標値を用いて座標変換関数を計算する。そして、この座標変換関数により各測定位置における測定対象物の３次元形状を表す３次元画像データを基準座標系における３次元画像データに変換することが行われている（特許文献１参照）。
しかしながら、本発明の発明者らは、上記のように計算した座標変換関数を用いて、同一の測定対象物を複数の異なる位置で測定した場合、同測定対象物を表す基準座標系における３次元画像データが、各測定位置ごとに僅かに異なる値になっていることを発見した。これは、基準物体の３次元形状を測定する際、基準物体を表す３次元画像データに測定誤差が生じているため計算した座標変換関数に誤差があることによると考えられる。このため、表示装置に表示される測定対象物の立体形状の位置が同測定対象物を見る方向によって僅かにずれ、正確な３次元形状測定ができないという問題があった。 However, when the same measurement object is measured at a plurality of different positions using the coordinate transformation function calculated as described above, the inventors of the present invention can obtain a three-dimensional reference coordinate system representing the measurement object. It was found that the image data had slightly different values for each measurement position. This is considered to be due to the fact that there is an error in the calculated coordinate conversion function because a measurement error occurs in the three-dimensional image data representing the reference object when measuring the three-dimensional shape of the reference object. For this reason, there is a problem that the position of the three-dimensional shape of the measurement object displayed on the display device is slightly shifted depending on the direction of viewing the measurement object, and accurate three-dimensional shape measurement cannot be performed.
本発明は上記問題に対処するためなされたもので、その目的は、測定対象物の正確な３次元形状測定を行うために、精度のよい座標変換関数を計算することが可能な座標変換関数の補正方法を提供することにある。 The present invention has been made to cope with the above-described problem, and an object of the present invention is to provide a coordinate conversion function capable of calculating a coordinate conversion function with high accuracy in order to perform accurate three-dimensional shape measurement of a measurement object. It is to provide a correction method.
前記目的を達成するために、第１の発明は、変形可能な支持機構（２０）によって支持された３次元形状測定装置（３０）に測定対象物の３次元形状を測定させ、コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させたうえで、前記支持機構を変形させて前記３次元形状測定装置を前記予め決めた所定の座標系の座標軸と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、前記３次元画像処理装置に、前記予め決めた所定の座標系の座標軸に対する前記定点の３次元データを用いて定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させる（Ｓ５２，Ｓ５４）ことにある。 To achieve the above object, the first inventions, is measured three-dimensional shape of the measuring object in the three-dimensional shape measurement device which is supported by a deformable support mechanism (20) (30), by a computer system The measurement information of the measurement object by the three-dimensional shape measurement device is input to the configured three-dimensional image processing device (42) (S72), and the coordinates relating to the three-dimensional shape measurement device are used using the input measurement information. 3D image data representing the 3D shape of the measured measurement object in the system is generated (S74) , and the generated 3D image data is converted into a coordinate rotation function and a coordinate transfer function by the 3D image processing apparatus. Using the first coordinate transformation function consisting of the following, the three-dimensional image data in the coordinate system relating to the deformable support mechanism, and the transformed three-dimensional image data is converted into the support data. Using the second coordinate transformation function that varies according to the deformation state of the lifting mechanism is converted into 3-dimensional image data of a predetermined coordinate system determined in advance in (S76), the display look the measurement object from any direction In a correction method of a coordinate conversion function for correcting a first coordinate conversion function applied to a possible three-dimensional image generation system, a direction of a coordinate axis in a coordinate system related to the three-dimensional shape measuring apparatus, and the predetermined predetermined coordinate system after having matched the direction of the coordinate axis of the support mechanism to deform in the three-dimensional shape measuring apparatus is moved parallel to the axes of the predetermined coordinate system said predetermined, said at least two positions 3D The shape measuring device measures the three-dimensional shape of the reference object arranged in the measurement target space of the three-dimensional shape measuring device, and the three-dimensional image processing device measures at the at least two positions. The three-dimensional shape measuring apparatus is inputted measurement information of the reference object by, and to generate three-dimensional image data representing a three-dimensional shape of the reference object in a coordinate system related to the three-dimensional shape measuring apparatus wherein each measurement position ( S42) using the first coordinate transformation function , the second coordinate transformation function, and the generated three-dimensional image data for each measurement position in the three- dimensional image processing device, and measuring at the at least two positions. wherein the fixed point of the reference object to calculate the three-dimensional data represented by the predetermined given coordinate system (S44, S46, S48, S50 ), the three-dimensional image processing apparatus, the coordinate axes of a predetermined coordinate system said pre-determined make correct coordinate rotation function in the first coordinate transformation function according to the inclination of the line defined by using the three-dimensional data of the fixed point relative to (S52, S54) In the door.
また、第２の発明は、変形可能な支持機構（２０）によって支持された３次元形状測定装置（３０）に測定対象物の３次元形状を測定させ、コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させたうえで、前記支持機構を変形させて前記３次元形状測定装置を前記予め決めた所定の座標系の座標軸と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、前記３次元画像処理装置に、前記基準物体の３次元形状を測定させた位置間における前記３次元形状測定装置の移動量を前記支持機構の変形状態に応じて計算させ、かつ前記計算させた移動量と、前記予め決めた所定の座標系の座標軸方向のうちで前記３次元形状測定装置の移動方向と異なる座標軸方向の前記基準物体の定点の座標値の変化量とによって定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させることにある。The second invention is a three-dimensional image processing apparatus configured by a computer device by causing a three-dimensional shape measuring device (30) supported by a deformable support mechanism (20) to measure a three-dimensional shape of a measurement object. (42), the measurement information of the measurement object by the three-dimensional shape measurement apparatus is input (S72), and the measurement object in the coordinate system related to the three-dimensional shape measurement apparatus is input using the input measurement information. Three-dimensional image data representing a three-dimensional shape of an object is generated (S74), and the three-dimensional image processing apparatus causes the generated three-dimensional image data to be converted into a first coordinate transformation function comprising a coordinate rotation function and a coordinate movement function. Is converted into three-dimensional image data in a coordinate system relating to the deformable support mechanism, and the converted three-dimensional image data is adapted to the deformation state of the support mechanism. A three-dimensional image generation system capable of converting the measurement object into three-dimensional image data in a predetermined coordinate system using a second coordinate conversion function that changes in advance (S76) and displaying the measurement object as viewed from an arbitrary direction. In the correction method of the coordinate transformation function for correcting the first coordinate transformation function applied to the coordinate system, the direction of the coordinate axis in the coordinate system related to the three-dimensional shape measuring apparatus matches the direction of the coordinate axis of the predetermined coordinate system Then, the support mechanism is deformed to move the three-dimensional shape measuring apparatus in parallel with the coordinate axis of the predetermined coordinate system, and the three-dimensional shape measuring apparatus is moved to the three-dimensional shape measuring apparatus at at least two positions. The three-dimensional shape measuring device which measures the three-dimensional shape of a reference object arranged in the measurement target space of the shape measuring device and causes the three-dimensional image processing device to measure at the at least two positions. The measurement information of the reference object is input, and three-dimensional image data representing the three-dimensional shape of the reference object in the coordinate system related to the three-dimensional shape measuring apparatus is generated for each measurement position (S42). Using the first coordinate transformation function, the second coordinate transformation function, and the generated three-dimensional image data for each measurement position, the fixed point of the reference object measured at the at least two positions is stored in an image processing apparatus. The three-dimensional data represented by the predetermined coordinate system is calculated (S44, S46, S48, S50), and the three-dimensional image processing apparatus measures the three-dimensional shape between the positions where the three-dimensional shape of the reference object is measured. The movement amount of the three-dimensional shape measuring apparatus is calculated according to the deformation state of the support mechanism, and the calculated movement amount and the coordinate axis direction of the predetermined coordinate system determined in advance The coordinate rotation function in the first coordinate transformation function is corrected according to the slope of a straight line defined by the amount of change in the coordinate value of the fixed point of the reference object in the coordinate axis direction different from the moving direction of the three-dimensional shape measuring apparatus. There is.
また、第３の発明は、変形可能な支持機構（２０）によって支持された３次元形状測定装置（３０）に測定対象物の３次元形状を測定させ、コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させない状態で、前記支持機構を変形させて前記３次元形状測定装置を前記３次元形状測定装置に関する座標系における座標軸の方向と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、前記３次元画像処理装置に、前記支持機構の変形状態に応じて前記予め決めた所定の座標系の３次元データを前記移動させた３次元形状測定装置の座標系の３次元データに変換するための座標変換補正関数を計算させ（Ｓ４２，Ｓ４５）、前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ、かつ前記計算させた予め決めた所定の座標系で表す３次元データを前記座標変換補正関数を用いて前記移動させた３次元形状測定装置の座標系の３次元データに変換させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、前記３次元画像処理装置に、前記移動させた３次元形状測定装置の座標系の座標軸に対する前記変換された定点の３次元データを用いて定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させる（Ｓ５２，Ｓ５４）ことにある。A third invention is a three-dimensional image processing apparatus configured by a computer device by causing a three-dimensional shape measuring device (30) supported by a deformable support mechanism (20) to measure a three-dimensional shape of a measurement object. (42), the measurement information of the measurement object by the three-dimensional shape measurement apparatus is input (S72), and the measurement object in the coordinate system related to the three-dimensional shape measurement apparatus is input using the input measurement information. Three-dimensional image data representing a three-dimensional shape of an object is generated (S74), and the three-dimensional image processing apparatus causes the generated three-dimensional image data to be converted into a first coordinate transformation function comprising a coordinate rotation function and a coordinate movement function. Is converted into three-dimensional image data in a coordinate system relating to the deformable support mechanism, and the converted three-dimensional image data is adapted to the deformation state of the support mechanism. A three-dimensional image generation system capable of converting the measurement object into three-dimensional image data in a predetermined coordinate system using a second coordinate conversion function that changes in advance (S76) and displaying the measurement object as viewed from an arbitrary direction. In the correction method of the coordinate transformation function for correcting the first coordinate transformation function applied to the coordinate system, the direction of the coordinate axis in the coordinate system related to the three-dimensional shape measuring apparatus matches the direction of the coordinate axis of the predetermined coordinate system In such a state, the support mechanism is deformed to move the three-dimensional shape measuring apparatus parallel to the direction of the coordinate axis in the coordinate system related to the three-dimensional shape measuring apparatus, and the three-dimensional shape measuring apparatus is moved to the three-dimensional shape measuring apparatus at at least two positions. A three-dimensional shape of a reference object placed in a measurement target space of the three-dimensional shape measuring apparatus is measured, and the three-dimensional image processing apparatus measures at the at least two positions. Further, measurement information of the reference object by the three-dimensional shape measurement apparatus is input, and three-dimensional image data representing the three-dimensional shape of the reference object in the coordinate system related to the three-dimensional shape measurement apparatus is generated for each measurement position. (S42) The three-dimensional data of the coordinate system of the three-dimensional shape measuring apparatus in which the three-dimensional image processing apparatus has moved the three-dimensional data of the predetermined coordinate system determined in advance according to the deformation state of the support mechanism. A coordinate transformation correction function for transforming into the first coordinate transformation function is calculated (S42, S45), and the three-dimensional image processing apparatus causes the first coordinate transformation function, the second coordinate transformation function, and 3 for each of the generated measurement positions. Using the three-dimensional image data, three-dimensional data representing the fixed point of the reference object measured at the at least two positions in the predetermined coordinate system is calculated, and the calculation is performed. The three-dimensional data represented by a predetermined coordinate system determined in advance is converted into the three-dimensional data of the coordinate system of the moved three-dimensional shape measuring apparatus using the coordinate conversion correction function (S44, S46, S48, S50). The first coordinate transformation is performed on the three-dimensional image processing device according to the slope of the straight line defined using the transformed three-dimensional data of the fixed point with respect to the coordinate axis of the coordinate system of the moved three-dimensional shape measuring device. The coordinate rotation function in the function is corrected (S52, S54).
また、この場合、例えば、前記基準物体を、球、角柱、角錐、円柱および円錐のうちのいずれか一つの形状を有するものとするとよい。 In this case, for example, the reference object may have any one shape of a sphere, a prism, a pyramid, a cylinder, and a cone.
これらの第１ないし第３の発明によれば、第１座標変換関数における座標回転関数が補正される。したがって、第１座標変換関数における座標回転関数に誤差が生じている場合であっても、第１座標変換関数を補正することができ、精度のよい第１座標変換関数を計算することができる。この結果、測定対象物の正確な３次元形状測定を行うことができる。 According to these first to third inventions, the coordinate rotation function in the first coordinate conversion function is corrected. Therefore, even when an error in the coordinate rotation function is occurring in the first coordinate transformation function, it is possible to correct the first coordinate transformation function, it is possible to calculate a good first coordinate transformation function accuracy. As a result, accurate three-dimensional shape measurement of the measurement object can be performed.
また、第４の発明は、上記第１ないし第３の発明の構成に、さらに、前記支持機構に固定した触診を前記基準物体の複数個所に接触させ、前記３次元画像処理装置に、前記触針を接触させた複数個所ごとの前記支持機構の変形状態に応じて前記基準物体の定点を前記予め決めた所定の座標系で表わす３次元データを、特定の定点を表わす３次元データとして計算させ（Ｓ１２〜Ｓ１６）、前記３次元画像処理装置に、前記３次元形状測定装置によって測定した３次元画像データに基づいて前記基準物体の定点を前記３次元形状測定装置に関する座標系で表わす３次元データを計算させ、かつ前記計算させた３次元形状測定装置に関する座標系で表わす３次元データを、前記座標回転関数を補正した第１座標変換関数と、前記３次元形状測定装置による３次元画像データの測定時における前記支持機構の変形状態に応じた第２座標変換関数とを用いて、前記予め決めた所定の座標系で表す３次元データに変換させ（Ｓ５６〜Ｓ６０）、前記３次元画像処理装置に、前記変換させて前記予め決めた所定の座標系で表された定点の３次元データと、前記計算させた特定の定点の３次元データとの差に応じて、前記第１座標変換関数の座標移動関数を補正させる（Ｓ６２，Ｓ６４）ようにしたことにある。According to a fourth aspect of the present invention, in addition to the configurations of the first to third aspects of the present invention, a palpation fixed to the support mechanism is brought into contact with a plurality of locations of the reference object, and the three-dimensional image processing apparatus has the touch. Three-dimensional data representing a fixed point of the reference object in the predetermined coordinate system in accordance with the deformed state of the support mechanism at each of a plurality of locations in contact with the needle is calculated as three-dimensional data representing a specific fixed point. (S12 to S16), in the three-dimensional image processing apparatus, three-dimensional data representing a fixed point of the reference object in a coordinate system related to the three-dimensional shape measuring apparatus based on the three-dimensional image data measured by the three-dimensional shape measuring apparatus. And the three-dimensional data represented in the coordinate system related to the calculated three-dimensional shape measuring apparatus, the first coordinate transformation function in which the coordinate rotation function is corrected, and the three-dimensional shape measuring device Using the second coordinate conversion function according to the deformation state of the support mechanism at the time of measurement of the three-dimensional image data by means of conversion into three-dimensional data represented in the predetermined coordinate system (S56 to S60), In accordance with the difference between the three-dimensional data of the fixed point expressed in the predetermined coordinate system that is converted and determined in advance, and the calculated three-dimensional data of the specific fixed point. This is because the coordinate movement function of the first coordinate conversion function is corrected (S62, S64).
これによれば、第１座標変換関数の座標移動関数を精度よく補正することができて、精度のよい第１座標変換関数を計算することができる。この結果、測定対象物のより正確な３次元形状測定を行うことができる。 According to this, the coordinate movement function of the first coordinate conversion function can be corrected with high accuracy , and the accurate first coordinate conversion function can be calculated. As a result, more accurate three-dimensional shape measurement of the measurement object can be performed.
以下、本発明の一実施形態について図面を用いて説明する。図１は、本発明の座標変換関数の補正方法に利用される３次元画像生成システムの基本構成を示す概略図である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing the basic configuration of a three-dimensional image generation system used in the coordinate transformation function correction method of the present invention.
この３次元画像生成システムは、基台１０上に固定して先端部を測定対象空間内で自由に変位させる支持機構２０と、支持機構２０の先端部に取り付けた３次元形状測定装置３０とを備えている。支持機構２０は、固定ポール２１、回転ロッド２２、第１アーム２３、第２アーム２４および第３アーム２５からなる。
This three-dimensional image generation system includes a
固定ポール２１は、円筒状に形成され、その下端にて基台１０上に垂直に立設固定されている。回転ロッド２２は、円柱状に形成され、その下端部にて固定ポール２１に軸線回りに回転可能に支持されて、固定ポール２１から上方に突出している。第１アーム２３は、その基端に設けた連結部２３ａにて、回転ロッド２２の先端に設けた連結部２２ａに、回転ロッド２２の軸線方向に直交する軸線回りに回転可能に組み付けられている。第２アーム２４は、その基端に設けた連結部２４ａにて、第１アーム２３の先端に設けた連結部２３ｂに、第１アーム２３の軸線方向に直交する軸線回りに回転可能に組み付けられている。第３アーム２５は、その基端に設けた連結部２５ａにて、第２アーム２４の先端に設けた連結部２４ｂに、第２アーム２４の軸線方向に直交する軸線回りに回転可能に組み付けられている。第３アーム２５の先端部には、固定部材２６を介して３次元形状測定装置３０が、第３アーム２５の軸線回りに回転可能、かつ着脱自在に取り付けられている。固定部材２６は、３次元形状測定装置３０の方形状のハウジングの底面または側面に固定されている。
The
また、支持機構２０内には、回転角センサ２７ａ，２７ｂ，２７ｃ，２７ｄ，２７ｅがそれぞれ設けられている。回転角センサ２７ａは、固定ポール２１内に組み込まれて、固定ポール２１に対する回転ロッド２２の軸線回りの回転角を検出する。回転角センサ２７ｂは、第１アーム２３の連結部２３ａ内に組み込まれて、回転ロッド２２の連結部２２ａに対する第１アーム２３の連結部２３ａにおける一軸線回りの回転角を検出する。回転角センサ２７ｃは、第２アーム２４の連結部２４ａ内に組み込まれて、第１アーム２３の連結部２３ａに対する第２アーム２４の連結部２４ａにおける一軸線回りの回転角を検出する。回転角センサ２７ｄは、第３アーム２５の連結部２５ａ内に組み込まれて、第２アーム２４の連結部２４ｂに対する第３アーム２５の連結部２５ａにおける一軸線回りの回転角を検出する。回転角センサ２７ｅは、第３アーム２５の先端部内に組み込まれて、第３アーム２５に対する３次元形状測定装置３０の第３アーム２５における一軸線回りの回転角、すなわち３次元形状測定装置３０の第３アーム２５の先端部に対する回転角を検出する。
Further,
３次元形状測定装置３０は、その正面側に位置する物体の３次元形状を測定するとともに同測定した３次元形状を表す情報を出力するものであり、本実施形態においては、レーザ光を用いて３角測量法に従って物体の３次元形状を測定するものである。なお、本実施形態では、レーザ光を用いるようにしているが、３次元物体の表面形状を測定し、反射率および色などを識別することが可能であれば他の光を用いてもよい。
The three-dimensional
この３次元形状測定装置３０においては、レーザ光源から物体に向けて出射されるレーザ光の進行方向にほぼ垂直な仮想平面を想定するとともに、同仮想平面上にて互いに直交するＸ軸方向およびＹ軸方向に沿って分割した多数の微小エリアを想定する。そして、３次元形状測定装置３０は、前記多数の微小エリアにレーザ光を順次照射し、物体からの反射光によって前記微小エリアが規定する物体表面までの距離をＺ軸方向距離として順次検出して、物体の表面を微小エリアずつに分割した各分割エリア位置を表すＸ，Ｙ，Ｚ座標に関する情報を得て、同３次元形状測定装置３０に面した物体表面の形状を測定するものである。
In this three-dimensional
したがって、この３次元形状測定装置３０は、出射レーザ光の向きをＸ軸方向に変化させるＸ軸方向走査器と、出射レーザ光の向きをＹ軸方向に変化させるＹ軸方向走査器と、物体表面にて反射された反射レーザ光を受光して物体表面までの距離を検出する距離検出器とを備えている。Ｘ軸方向走査器およびＹ軸方向走査器としては、レーザ光源からの出射レーザ光の光路をＸ軸方向およびＹ軸方向に独立に変化させ得る機構であればよく、例えばレーザ光源自体をＸ軸方向およびＹ軸方向の軸線回りに電動モータによって回転させたり、出射レーザ光の光路に設けられてその方向を変更するガルバノミラーをＸ軸方向およびＹ軸方向の軸線回りに電動モータによって回転させる機構を利用できる。距離検出器としては、前記出射レーザ光の光路に追従して回転し、物体表面にて反射された反射レーザ光を集光する結像レンズおよび同集光したレーザ光を受光するＣＣＤなどの複数の受光素子を一列に配置させたラインセンサからなり、ラインセンサによる反射レーザ光の受光位置によって物体表面までの距離を検出する機構を利用できる。
Therefore, the three-dimensional
したがって、このような３次元形状測定装置３０は、物体の表面を微小エリアずつに分割した各分割エリア位置を表すＸ，Ｙ，Ｚ座標に関する情報として、Ｘ軸方向走査器による出射レーザ光の基準方向に対するＸ軸方向への傾きθx、Ｙ軸方向走査器による出射レーザ光の基準方向に対するＹ軸方向への傾きθy、および距離検出器による物体表面までの距離Ｌzとが、前記仮想したＸ軸方向およびＹ軸方向に沿って分割した多数の微小エリアごとに出力される。より具体的には、Ｘ軸およびＹ軸方向への傾きθx，θyは、電動モータの基準位置からの回転角である。また、物体表面までの距離Ｌzは、ラインセンサにおける反射レーザ光の受光位置である。なお、前述した３次元形状測定装置３０はその一例を示すもので、レーザ光に代えてミリ波、超音波などを使用したものなど、いかなる３次元形状測定装置をも利用できる。
Therefore, such a three-dimensional
この３次元形状測定装置３０には、コントローラ４１および３次元画像処理装置４２が接続されている。コントローラ４１は、複数の操作子を含むキーボードなどからなる入力装置４３からの指示にしたがって、３次元形状測定装置３０の作動を制御する。また、コントローラ４１は、入力装置４３からの指示にしたがって３次元画像処理装置４２の作動を制御するとともに、同入力装置４３にて入力されたデータを３次元画像処理装置４２に供給する。
A
３次元画像処理装置４２は、コンピュータ装置によって構成されて図３，４，６，９のプログラムの実行により、回転角センサ２７ａ〜２７ｅによって検出された回転角および３次元形状測定装置３０からの３次元形状を表す情報、具体的には、Ｘ軸方向への傾きθｘ、Ｙ軸方向への傾きθｙ、物体表面までの距離Ｌｚを入力して、測定対象空間内に位置する物体の立体形状を任意の方向から見て表示可能な３次元画像データを生成する。この３次元画像処理装置４２には、表示装置４４が接続されている。表示装置４４は、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイなどを備えており、３次元画像処理装置４２から出力する３次元画像データに基づいて測定対象空間内に位置する物体の立体形状を表示する。
The three-dimensional
以下、上記のように構成した３次元画像生成システムの作動について説明する。まず、作業者は、３次元形状測定装置３０に関する座標系（以下、カメラ座標系という）によって表された３次元画像データを、支持機構２０に関する座標系（以下、アーム座標系という）によって表された３次元画像データに変換するための第１座標変換関数を計算する。ここで、カメラ座標系は、３次元形状測定装置３０に関する座標系であり、互いに直交する３つの座標軸（Ｘ軸，Ｙ軸，Ｚ軸）からなり３次元形状測定装置３０の特定点を原点とする３次元座標系である。また、アーム座標系は、３次元形状測定装置３０の取り付け部に関する座標系であり、カメラ座標系に対応する３つの座標軸（Ｘ軸，Ｙ軸，Ｚ軸）からなり、３次元形状測定装置３０を支持機構２０に取り付けるための取り付け部である第３アーム２５の先端部の予め決められた位置を原点とする３次元座標系である。この第３アーム２５の先端部の予め決められた位置とは、詳しくは第３アーム２５に対して軸線回りに回転する点である。
Hereinafter, the operation of the three-dimensional image generation system configured as described above will be described. First, the worker expresses three-dimensional image data represented by a coordinate system (hereinafter referred to as a camera coordinate system) related to the three-dimensional
まず、作業者は、図２に示すように、第３アーム２５の先端部に、先端を尖らせて形成した触針５０の基部５１を固定する。次に、作業者は、基台１０上における適当な位置に基準球６０を配置する。この場合、基準球６０は、円柱状の支持部６１を介して設置され、基台１０の上面から適当な高さに配置される。基準球６０は、真球体に形成され測定対象空間内の定点を定めるための基準物体として機能する。なお、この触針５０においては、基部５１の所定位置に対する先端の位置は作業者により認識されており、３次元画像処理装置４２のメモリ装置に予め記憶される。また、固定ポール２１、回転ロッド２２および第１〜第３アーム２３〜２５の長さも作業者に認識されており、３次元画像処理装置４２のメモリ装置に予め記憶される。また、本実施形態においては、基準球６０を支持部６１を介して基台１０上に配置したが、基準球６０を直接基台１０上に配置するようにしてもよい。さらに、触針５０の先端を球状に形成し、基部５１の所定位置に対する球の中心位置を認識するようにしてもよい。
First, as shown in FIG. 2, the operator fixes a
次に、作業者は、前記準備の終了後、入力装置４３を操作して、図３に示す触針測定プログラムを３次元画像処理装置４２に実行させる。そして、作業者は、触針５０を変位させて基準球６０の外表面の異なる４点に触針５０の先端を接触させるとともに、各接触ごとに入力装置４３を操作することにより触針５０の基準球６０に対する接触を入力する。３次元画像処理装置４２は、触針測定プログラムをステップＳ１０にて開始しており、前記接触の入力により、ステップＳ１２にて、触針５０の基準球６０への接触時に、回転角センサ２７ａ〜２７ｄから検出回転角をそれぞれ入力する。
Next, after the preparation is completed, the operator operates the
そして、これらの入力した検出回転角のセットに加えて、固定ポール２１、回転ロッド２２、第１〜第３アーム２３〜２５および触針５０の長さを用いて、触針５０の基準球６０への接触点を表す座標であって基台１０に関する座標系である基準座標系の座標を計算する。基準座標系は、カメラ座標系に対応する３つの座標軸（Ｘ軸，Ｙ軸，Ｚ軸）からなり固定ポール２１の基台１０への固定部における予め定められた点を原点とする３次元座標系である。このような基準座標系の座標の計算を各接触点ごとに行って、４つの接触点にそれぞれ対応した４組の座標データを一時的に記憶しておく。３次元画像処理装置４２は、ステップＳ１２の処理後、ステップＳ１４にて基準球６０の中心位置を表す座標であって基準座標系の座標（以下、中心座標(ｘ”,ｙ”,ｚ”)という）を、前記計算した４組の座標データを用いて計算する。この計算においては、球体の外表面を表す下記数１の方程式のＸ，Ｙ，Ｚに、前記４組の座標データを代入し、ａ，ｂ，ｃの各値を計算することにより、基準球６０の中心位置を表す座標(ｘ”,ｙ”,ｚ”)を計算する。なお、ａ，ｂ，ｃは球体の中心位置を表すＸ，Ｙ，Ｚ座標であり、ｄは球体の半径である。
In addition to the set of detected rotation angles, the
次に、３次元画像処理装置４２は、ステップＳ１６にて、前記計算した中心座標(ｘ”,ｙ”,ｚ”)を基準球６０の定点を表す座標として記憶しておく。そして、ステップＳ１８にて、この触針測定プログラムの実行を終了する。なお、本実施形態では、基準球６０に対して触針５０を４箇所接触させるようにしたが、５箇所以上の接触を行って、補正を含む高精度の中心座標の計算を行うようにしてもよい。また、基準球６０の半径ｄが既知である場合には、接触点を３点にしても、基準球６０の中心座標を求めることができる。
Next, in step S16, the three-dimensional
次に、作業者は、図１に示すように、第３アーム２５の先端部に３次元形状測定装置３０を第３アーム２５の軸線回りに回転可能に組み付けるとともに、図４に示す座標変換関数計算プログラムを３次元画像処理装置４２に実行させる。そして、作業者は、入力装置４３を操作することによりコントローラ４１を介して、３次元形状測定装置３０に対して基準球６０の３次元形状の測定開始を指示する。これに応答して、３次元形状測定装置３０は、基準球６０の３次元形状の測定を開始する。この場合、作業者は、３次元形状測定装置３０を手で持って、回転ロッド２２、第１〜第３アーム２５および３次元形状測定装置３０の各連結部における回転変位を伴いながら、基準球６０に対して３次元形状測定装置３０を移動させて基準球６０の３次元形状を測定する。この場合、基準球６０の測定は、それぞれ異なる３つの測定位置からそれぞれ行われる。
Next, as shown in FIG. 1, the operator assembles the three-dimensional
一方、３次元画像処理装置４２は、３次元形状測定装置３０による基準球６０の３次元形状の測定中、前記座標変換関数計算プログラムの実行をステップＳ２０にて開始して、ステップＳ２２にて支持機構２０内の回転角センサ２７ａ〜２７ｅから検出回転角をそれぞれ入力する。そして、前記ステップＳ２２の処理後、ステップＳ２４にて、３次元形状測定装置３０による測定終了を待って、基準球６０の３次元形状を表す情報を入力する。すなわち、基準球６０の表面を微小エリアずつに分割した各分割エリア位置を表すＸ−Ｙ−Ｚ座標に関する情報（具体的には、傾きθx，θyおよび距離Ｌz）をそれぞれ入力する。そして、同ステップＳ２４にて、前記入力した３次元形状測定装置３０からのＸ−Ｙ−Ｚ座標に関する情報に基づいて、各測定位置ごとにおける基準球６０の３次元形状を表す立体形状データ群からなる３次元画像データをそれぞれ計算する。この場合、３次元画像データは、３次元形状測定装置３０に関する座標系、すなわちカメラ座標系によって表されている。なお、前記３次元画像データ中に基準球６０以外の物体（例えば、基台１０など）に関する不要な３次元画像データが含まれている場合には、３次元画像処理装置４２は、３次元形状測定装置３０からＸ−Ｙ−Ｚ座標に関する情報とともに、ラインセンサの受光光量のデータまたは同受光光量の出射光量に対する比のデータを入力し、同ステップＳ２４にて、この受光光量または受光光量の出射光量に対する比のデータにより同不要な３次元画像データを除去する処理を併せて実行する。
Meanwhile, during the measurement of the three-dimensional shape of the
次に、３次元画像処理装置４２は、ステップＳ２６にて、前記計算した各測定位置ごとの３次元画像データを、上記数１の方程式のＸ，Ｙ，Ｚに適用して、最小２乗法により基準球６０の各測定位置ごとに中心座標(ｘ1,ｙ1,ｚ1)，(ｘ2,ｙ2,ｚ2)，(ｘ3,ｙ3,ｚ3)を計算する。なお、各測定位置ごとの基準球６０の３次元画像データの区別は、前記入力した回転角センサ２７ａ〜２７ｅによる検出回転角を用いる。
Next, in step S26, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ２８にて、前記入力した回転角センサ２７ａ〜２７ｅによる検出回転角に加えて、固定ポール２１、回転ロッド２２および第１〜第３アーム２３〜２５の長さを用いて、第３アーム２５の先端部の予め決められた位置を表す座標、すなわちアーム座標系の原点を表す座標であって基準座標系に関する座標(ｘd1,ｙd1,ｚd1)，(ｘd2,ｙd2,ｚd2)，(ｘd３,ｙd3,ｚd3)を各測定位置ごとにそれぞれ計算する。また、このステップＳ２８においては、前記入力した回転角センサ２７ａ〜２７ｅによる検出回転角を用いて、アーム座標系のＸ軸、Ｙ軸およびＺ軸回りの回転角（α1，β1，γ1），（α2，β2，γ2），（α3，β3，γ3）も各測定位置ごとにそれぞれ計算する。
Next, in step S28, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ３０にて、前記図３の触針測定プログラムの実行によってメモリ装置に記憶した基準球６０の基準座標系における中心座標(ｘ”,ｙ”,ｚ”)と、前記ステップＳ２８の処理によって計算した基準座標系におけるアーム座標系の原点座標(ｘd1,ｙd1,ｚd1)，(ｘd2,ｙd2,ｚd2)，(ｘd3,ｙd3,ｚd3)と、同ステップＳ２８の処理によって計算した基準座標系に対するアーム座標系の各座標軸Ｘ，Ｙ，Ｚの回転角（α1，β1，γ1），（α2，β2，γ2），（α3，β3，γ3）とを下記数２及び数３に代入して、基準球６０の中心座標であってアーム座標系での中心座標(ｘ’1,ｙ’1,ｚ’1)，(ｘ’2,ｙ’2,ｚ’2)，(ｘ’3,ｙ’3,ｚ’3)を計算する。
Next, in step S30, the three-dimensional
上記数２および数３は、Ｘ−Ｙ−Ｚ座標からなる第１座標系における一点の座標(ｘ,ｙ,ｚ)を、同第１座標系をＸ軸、Ｙ軸およびＺ軸回りにそれぞれｘθ，ｙθ，ｚθだけ回転させるとともに、同第１座標系の原点をＸ軸方向、Ｙ軸方向およびＺ軸方向にそれぞれａ，ｂ，ｃだけ移動させた第２座標系における同一点の座標(ｘ’,ｙ’,ｚ’)との関係を示している。そして、このステップＳ３０の計算においては、数２中の座標値ｘ，ｙ，ｚが、基準球６０の中心座標であって基準座標系の中心座標(ｘ”,ｙ”,ｚ”)の各Ｘ，Ｙ，Ｚ座標値にそれぞれ対応する。また、数２中の座標値ｘ’，ｙ’，ｚ’が、基準球６０の中心座標であってアーム座標系の中心座標(ｘ’,ｙ’,ｚ’)の各Ｘ，Ｙ，Ｚ座標値に対応する。なお、前記数２中の値ａ，ｂ，ｃは前記ステップＳ２８にて計算したアーム座標系の原点座標(ｘd1,ｙd1,ｚd1)，(ｘd2,ｙd2,ｚd2)，(ｘd3,ｙd3,ｚd3)に対応し、かつ前記数２中のα，β，γは同ステップＳ２８にて計算した回転角（α1，β1，γ1），（α2，β2，γ2），（α3，β3，γ3）に相当する。
Equations (2) and (3) above represent the coordinates (x, y, z) of one point in the first coordinate system composed of XYZ coordinates, and the first coordinate system around the X, Y, and Z axes, respectively. The coordinates of the same point in the second coordinate system are rotated by xθ, yθ, zθ and the origin of the first coordinate system is moved by a, b, c in the X-axis direction, Y-axis direction and Z-axis direction, respectively ( x ′, y ′, z ′). In the calculation in step S30, the coordinate values x, y, and z in Equation 2 are the center coordinates of the
前記ステップＳ３０の処理後、ステップＳ３２にて、ステップＳ２６の処理によって計算したカメラ座標系の基準球６０の各測定位置ごとの中心座標(ｘ1,ｙ1,ｚ1)，(ｘ2,ｙ2,ｚ2)，(ｘ3,ｙ3,ｚ3)と、ステップＳ３０の処理によって計算したアーム座標系の基準球６０の中心座標(ｘ’1,ｙ’1,ｚ’1)，(ｘ’2,ｙ’2,ｚ’2)，(ｘ’3,ｙ’3,ｚ’3)とを用いて、カメラ座標系からアーム座標系への第１座標変換関数を計算する。
After the process of step S30, in step S32, the center coordinates (x1, y1, z1), (x2, y2, z2), for each measurement position of the
この第１座標変換関数の計算の前に、この種の座標変換について簡単に説明しておく。まず、Ｘ−Ｙ−Ｚ座標からなる第１座標系と、同第１座標系をＸ軸、Ｙ軸およびＺ軸回りにそれぞれｘθ，ｙθ，ｚθだけ回転させるとともに、同第１座標系の原点をＸ軸方向、Ｙ軸方向およびＺ軸方向にそれぞれａ，ｂ，ｃだけ移動させた第２座標系を想定する。この場合も、第１座標系における一点の座標を(ｘ,ｙ,ｚ)とし、第２座標系における同一点の座標を(ｘ’,ｙ’,ｚ’)すると、前記数２，３の場合と同様に、下記数４が成立するとともに、同数４中の行列Ｍは下記数５によって表される。 Before calculating the first coordinate conversion function, this type of coordinate conversion will be briefly described. First, the first coordinate system composed of XYZ coordinates and the first coordinate system are rotated by xθ, yθ, zθ around the X, Y, and Z axes, respectively, and the origin of the first coordinate system Is assumed to be a second coordinate system that is moved by a, b, and c in the X-axis direction, the Y-axis direction, and the Z-axis direction, respectively. Also in this case, if the coordinates of one point in the first coordinate system are (x, y, z) and the coordinates of the same point in the second coordinate system are (x ', y', z '), Similarly to the case, the following equation 4 is established, and the matrix M in the equation 4 is represented by the following equation 5.
このステップＳ３２の第１座標変換関数の計算は、前記数４および数５中の行列値ｇ１１，ｇ１２，ｇ１３，ｇ２１，ｇ２２，ｇ２３，ｇ３１，ｇ３２，ｇ３３および行列値ａ，ｂ，ｃを計算することを意味する。この場合、本実施形態のカメラ座標系が第１座標系に対応するとともに、アーム座標系が第２座標系に対応する。したがって、各測定位置ごとのカメラ座標系の基準球６０の各中心座標(ｘ1,ｙ1,ｚ1)，(ｘ2,ｙ2,ｚ2)，(ｘ3,ｙ3,ｚ3)と、アーム座標系の基準球６０の中心座標(ｘ’1,ｙ’1,ｚ’1)，(ｘ’2,ｙ’2,ｚ’2)，(ｘ’3,ｙ’3,ｚ’3)とを前記数４に適用すると、下記数６〜８の関係が成立する。
The calculation of the first coordinate transformation function in step S32 is performed by calculating the matrix values g 11 , g 12 , g 13 , g 21 , g 22 , g 23 , g 31 , g 32 , g 33 in the equations 4 and 5. This means that matrix values a, b, and c are calculated. In this case, the camera coordinate system of the present embodiment corresponds to the first coordinate system, and the arm coordinate system corresponds to the second coordinate system. Accordingly, the center coordinates (x1, y1, z1), (x2, y2, z2), (x3, y3, z3) of the
前記数６を変形すると、下記数９の連立方程式が成立する。 When Equation 6 is transformed, the following Equation 9 is established.
ここで、定点座標(ｘ1,ｙ1,ｚ1)，(ｘ2,ｙ2,ｚ2)，(ｘ3,ｙ3,ｚ3)を含む平面の法線ベクトルを（α，β，γ）とし、定点座標(ｘ’1,ｙ’1,ｚ’1)，(ｘ’2,ｙ’2,ｚ’2)，(ｘ’3,ｙ’3,ｚ’3)を含む平面の法線ベクトルを（α’，β’，γ’）とすると、２つの法線ベクトルの大きさが同じであれば下記数１０が成立する。同数１０中の行列Ｍは、前記数５によって表される。
定点座標(ｘ1,ｙ1,ｚ1)，(ｘ2,ｙ2,ｚ2)，(ｘ3,ｙ3,ｚ3)を含む平面の法線ベクトルを(ｘ2,ｙ2,ｚ2)から(ｘ1,ｙ1,ｚ1)に向かうベクトルと、(ｘ3,ｙ3,ｚ3)から(ｘ2,ｙ2,ｚ2)に向かうベクトルの外積により成立するベクトルとすると、前記法線ベクトル（α，β，γ）は下記数１１によって表される。
同様に、前記ベクトル（α’，β’，γ’）は下記数１２によって表される。
前記数１１および前記数１２を前記数１０に代入すると、下記数１３が成立する。
前記数１３の１番目の式を前記数９に加えれば、下記数１４の連立方程式となる。
この数１４の連立方程式を解くことにより、行列値ｇ１１，ｇ１２，ｇ１３を計算することができる。また、前記数７および数８に関しても、前記数９の連立方程式のように変形し、前記数１３の２番目の式および３番目の式をそれぞれ加えた連立方程式を解くことにより行列値ｇ２１，ｇ２２，ｇ２３および行列値ｇ３１，ｇ３２，ｇ３３を計算できる。そして、これらの計算した行列値を前記数６〜８に代入すれば、行列値ａ，ｂ，ｃを計算できる。これにより、カメラ座標系における座標値（ｘ，ｙ，ｚ）を、アーム座標系における座標値（ｘ’，ｙ’，ｚ’）に変換するための第１座標変換関数が計算される。 The matrix values g 11 , g 12 , and g 13 can be calculated by solving the simultaneous equations of Equation 14. Further, the equations 7 and 8 are also transformed into the simultaneous equations of the equation 9, and the matrix value g 21 is obtained by solving the simultaneous equations obtained by adding the second equation and the third equation of the equation 13, respectively. , G 22 , g 23 and matrix values g 31 , g 32 , g 33 can be calculated. Then, by substituting these calculated matrix values into the equations 6 to 8, matrix values a, b, and c can be calculated. Thereby, the first coordinate conversion function for converting the coordinate value (x, y, z) in the camera coordinate system into the coordinate value (x ′, y ′, z ′) in the arm coordinate system is calculated.
次に、ステップＳ３４にて、前記計算した第１座標変換関数の行列値ｇ１１，ｇ１２，ｇ１３，ｇ２１，ｇ２２，ｇ２３，ｇ３１，ｇ３２，ｇ３３，ａ，ｂ，ｃを３次元画像処理装置４２のメモリ装置内に記憶する。そして、３次元画像処理装置４２は、ステップＳ３６にて、この座標変換関数計算プログラムの実行を終了する。
Next, in step S34, the calculated matrix values g 11 , g 12 , g 13 , g 21 , g 22 , g 23 , g 31 , g 32 , g 33 , a, b, c is stored in the memory device of the three-dimensional
次に、作業者は、前記座標変換関数計算プログラムによって計算された第１座標変換関数を補正する。具体的には、作業者は、入力装置４３を操作して第１座標変換関数の補正を３次元画像処理装置４２に指示する。この指示に応答して、３次元画像処理装置４２は、図５に示す座標変換関数補正プログラムの実行をステップＳ４０にて開始して、ステップＳ４２にて基準球６０の３次元形状を表す測定情報の入力を待つ。
Next, the operator corrects the first coordinate conversion function calculated by the coordinate conversion function calculation program. Specifically, the operator operates the
次に、作業者は、３次元形状測定装置３０の向きを調整して３次元形状測定装置３０のカメラ座標系の各座標軸の向きを基準座標系の各座標軸の向きに略一致させる。そして、３次元形状測定装置３０を手で持って、回転ロッド２２、第１〜第３アーム２５および３次元形状測定装置３０の各連結部における回転変位を伴いながら、基準球６０に対して３次元形状測定装置３０を移動させて入力装置４３から測定開始を指示することにより基準球６０の３次元形状を測定する。この場合、作業者は、３次元形状測定装置３０をカメラ座標系および基準座標系の両座標系の３つの座標軸のうち互いに対応する２つの座標軸にそれぞれ平行に移動させながら、各移動方向ごとに３つの位置で基準球６０を測定する。本実施形態においては、図６に示すように、３次元形状測定装置３０をＹ軸方向に移動させて３つの位置（図においてａ，ｂ，ｃの位置）で測定した後、Ｚ軸方向に移動させて３つの位置（図においてｄ，ｂ，ｃ）で測定する。この場合、３次元形状測定装置３０を十字状に移動させ、十字状の交点の位置（図においてｂの位置）では１回測定すれば、同測定値を２つの移動方向における各測定値として用いることができ測定作業の効率がよい。
Next, the operator adjusts the direction of the three-dimensional
３次元形状測定装置３０は、各測定位置ごとに測定対象空間内に位置する基準球６０の３次元形状を表す情報を３次元画像処理装置４２に出力する。すなわち、基準球６０の表面を微小エリアずつに分割した各分割エリア位置を表すＸ−Ｙ−Ｚ座標に関する情報（具体的には、傾きθｘ，θｙおよび距離Ｌｚ）を３次元画像処理装置４２に出力する。３次元画像処理装置４２は、同ステップＳ４２にて、前記ステップＳ２４と同様にして、３次元形状測定装置３０から出力されたＸ−Ｙ−Ｚ座標に関する情報に基づいて、各測定位置ごとにおける基準球６０の３次元形状を表す立体形状データ群からなる３次元画像データをそれぞれ計算する。この場合、３次元画像データは、３次元形状測定装置３０に関する座標系、すなわちカメラ座標系によって表されている。なお、前記３次元画像データ中に基準球６０以外の物体（例えば、基台１０など）に関する不要な３次元画像データが含まれている場合には、３次元画像処理装置４２は、同ステップＳ４２にて、前記ステップＳ２４と同様にして同不要な３次元画像データを除去する処理を併せて実行する。これにより、カメラ座標系および基準座標系の各Ｙ軸方向およびＺ軸方向に沿ってそれぞれ３組の基準球６０の３次元形状を表す３次元画像データが得られる。
The three-dimensional
次に、３次元画像処理装置４２は、ステップＳ４４にて、前記３組の３次元画像データをアーム座標系によって表された３次元画像データに座標変換する。具体的には、図４に示す座標変換関数計算プログラムによって計算された第１座標変換関数を用いて、カメラ座標系によって表された３次元画像データをアーム座標系によって表された３次元画像データに座標変換する。
Next, in step S44, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ４６にて、アーム座標系の座標値を基準座標系の座標値に座標変換するための第２座標変換関数を計算する。３次元画像処理装置４２は、支持機構２０内に設けた回転角センサ２７ａ〜２７ｅによる検出回転角をそれぞれ入力して、固定ポール２１、回転ロッド２２および第１〜第３アーム２３〜２５の動きに対応した座標変換関数を計算する。具体的には、３次元画像処理装置４２は、入力した検出回転角と、固定ポール２１、回転ロッド２２および第１〜第３アーム２３〜２５のアームの長さとを用いて、アーム座標系から見た基準座標系の原点の座標、すなわちアーム座標系における基準座標系の原点の座標（ｘoa，ｙob，ｚoc）を前記数２における第２座標変換関数の行列値ａ，ｂ，ｃとして計算するとともに、アーム座標系の各座標軸を基準にした基準座標系の各座標軸の回転角を前記数３における第２座標変換関数の角度α，β，γとして計算する。この第２座標変換関数は、３次元形状測定装置３０による各測定位置ごとに計算される。なお、この第２座標変換関数と前記第１座標変換関数とにより、本発明に係る座標変換関数を構成する。
Next, in step S46, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ４８にて、前記３組の３次元画像データを基準座標系によって表された３次元画像データに座標変換する。具体的には、前記ステップＳ４４にてアーム座標系に座標変換された３次元画像データを、前記ステップＳ４６にて計算された第２座標変換関数のα，β，γ，ａ，ｂ，ｃを用いて基準座標系によって表された３次元画像データに座標変換する。これにより、各測定位置ごとの基準球６０の３次元形状を表す情報が基準座標系によって表された３次元画像データに座標変換される。そして、３次元画像処理装置４２は、座標変換した各測定位置ごとの３次元画像データをメモリ装置に記憶する。この場合、３次元画像処理装置４２は、各測定位置ごとの３次元画像データに対応させて、各測定位置ごとの第２座標変換関数のα，β，γ，ａ，ｂ，ｃもメモリ装置に記憶する。
Next, in step S48, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ５０にて、各測定位置ごとの基準球６０の中心座標を定点として計算する。具体的には、前記ステップＳ４８にて基準座標系によって表された３次元画像データ（Ｘ，Ｙ，Ｚ座標値）を、球体を表す式である前記数１の左辺のＸ，Ｙ，Ｚにそれぞれ代入し、最小２乗法を用いて未知数ａ，ｂ，ｃを計算する。この場合、ａ，ｂ，ｃは、３次元画像データにより表された球体中心のｘ，ｙ，ｚ座標値をそれぞれ表し、ｄは球体の半径を表す。そして、３次元画像処理装置４２は、計算した球体中心のｘ，ｙ，ｚ座標値を定点としてメモリ装置に記憶する。これにより、各移動方向（Ｙ軸，Ｚ軸）ごとに３つの位置から測定した基準球６０の基準座標系での各中心座標(ｘａ”,ｙａ”,ｚａ”)，(ｘｂ”,ｙｂ”,ｚｂ”)，(ｘｃ”,ｙｃ”,ｚｃ”)，(ｘｄ”,ｙｄ”,ｚｄ”)，(ｘｅ”,ｙｅ”,ｚｅ”)が定点を表す３次元データとしてそれぞれ計算される。
Next, in step S50, the three-dimensional
次に、３次元画像処理装置４２は、第１座標変換関数の補正関数を計算する。この第１座標変換関数の補正関数は、各座標軸の傾きに関し座標軸の回転を表す座標回転関数と、座標系の原点ずれに関し座標軸の直線移動を表す座標移動関数とからなる。３次元画像処理装置４２は、ステップＳ５２にて、各座標軸の座標回転関数Ｍ’を計算する。座標回転関数Ｍ’は、第１座標変換関数における各座標軸の角度に関する関数、すなわち、前記数４および数５に示す関数Ｍの行列値ｇ１１，ｇ１２，ｇ１３，ｇ２１，ｇ２２，ｇ２３，ｇ３１，ｇ３２，ｇ３３の各値を補正するための関数であり、下記数１５によって表される。すなわち、このステップＳ５２の処理は、下記数１５中のθｘ，θｙ，θｚを計算することを意味する。θｘ，θｙ，θｚは、各座標軸（Ｘ軸，Ｙ軸，Ｚ軸）の回転角度を表しており、カメラ座標系による座標軸のアーム座標系による座標軸への変換において、第１座標変換関数とアーム座標系による座標軸を基準に考えた場合のカメラ座標系の座標軸、換言すれば、アーム座標系による座標軸を第１座標変換関数の逆関数によりカメラ座標系の座標軸に変換した際のカメラ座標系（以下、仮のカメラ座標系という）の座標軸と、真のカメラ座標系の座標軸との角度のずれを表している。
Next, the three-dimensional
この回転角度θｘ，θｙ，θｚの計算について詳しく説明する。回転角度θｘ，θｙ，θｚは、仮のカメラ座標系の座標軸ｘ，ｙ，ｚと真のカメラ座標系の座標軸ｘ’’’，ｙ’’’，ｚ’’’の各座標軸ごとの角度のずれを表している。この角度のずれは小さいので、各座標軸の角度のずれは各座標軸に直交する２つの座標軸からなる平面で考えることができる。具体的には、Ｘ軸の角度のずれθｘをＹ−Ｚ軸平面、Ｙ軸の角度のずれθｙをＸ−Ｚ軸平面、Ｚ軸の角度のずれθｚをＸ−Ｙ軸平面でそれぞれ考える。 The calculation of the rotation angles θx, θy, θz will be described in detail. The rotation angles θx, θy, θz are the angles of the coordinate axes x, y, z of the temporary camera coordinate system and the coordinate axes x ′ ″, y ′ ″, z ′ ″ of the true camera coordinate system. It represents a gap. Since this angle deviation is small, the angle deviation of each coordinate axis can be considered on a plane composed of two coordinate axes orthogonal to each coordinate axis. Specifically, the X-axis angle shift θx is considered on the YZ-axis plane, the Y-axis angle shift θy on the X-Z-axis plane, and the Z-axis angle shift θz on the XY-axis plane.
そして、カメラ座標系の各座標軸の向きと、同各座標軸に対応する基準座標系の各座標軸の向きとを同一とすれば、第１座標変換関数および第２座標変換関数による各座標変換において各座標軸の角度に関する座標変換を無視することができ、アーム座標系の各座標軸の向きもカメラ座標系および基準座標系の座標軸と同一と考えることができる。この場合、例えば、Ｚ軸の角度のずれθｚを計算するために、Ｘ−Ｙ軸平面におけるカメラ座標系の座標値を（ｘ，ｙ）、アーム座標系の座標値を（ｘ’，ｙ’）、基準座標系の座標値を(ｘ”,ｙ”)、仮のカメラ座標系の座標値を（ｘ’’’，ｙ’’’）とすれば、各座標系間の座標変換は下記数１６に示すようになる。下記数１６中、（α１，β１）はアーム座標系の原点とカメラ座標系の原点とのずれ、（α２，β２）は基準座標系の原点とアーム座標系の原点とのずれ、（α３，β３）はアーム座標系の原点と仮のカメラ座標系の原点とのずれをそれぞれ表す。 If the direction of each coordinate axis of the camera coordinate system is the same as the direction of each coordinate axis of the reference coordinate system corresponding to each coordinate axis, each coordinate conversion by the first coordinate conversion function and the second coordinate conversion function Coordinate transformation relating to the angle of the coordinate axis can be ignored, and the orientation of each coordinate axis in the arm coordinate system can also be considered to be the same as the coordinate axes of the camera coordinate system and the reference coordinate system. In this case, for example, in order to calculate the angle deviation θz of the Z axis, the coordinate value of the camera coordinate system on the XY axis plane is (x, y), and the coordinate value of the arm coordinate system is (x ′, y ′). ) If the coordinate value of the reference coordinate system is (x ″, y ″) and the coordinate value of the temporary camera coordinate system is (x ′ ″, y ′ ″), the coordinate conversion between the coordinate systems is as follows: As shown in Equation 16. In the following equation 16, (α1, β1) is a deviation between the origin of the arm coordinate system and the origin of the camera coordinate system, (α2, β2) is a deviation between the origin of the reference coordinate system and the origin of the arm coordinate system, (α3, β3) represents the deviation between the origin of the arm coordinate system and the origin of the temporary camera coordinate system.
この場合、基準座標系における定点を表す座標を（ｘ”0，ｙ”0）とすると、各座標系では下記数１７に示すように表される。 In this case, if the coordinates representing the fixed point in the reference coordinate system are (x ″ 0, y ″ 0), each coordinate system is expressed as shown in the following Expression 17.
カメラ座標系の座標をアーム座標系の座標に変換し、このアーム座標系の座標を基準座標系の座標に変換する場合、真のカメラ座標系の座標は仮のカメラ座標系の座標を見なされてアーム座標系の座標に変換され、このアーム座標系の座標が基準座標系の座標に変換される。すなわち、前記数１７の２番目の座標が前記数１６の３番目の式で変換された後、２番目の式で変換される。このため、カメラ座標系における定点を表す座標をカメラ座標系で測定し、アーム座標系の座標に変換した後、さらに基準座標系の座標値に変換すると、同座標は下記数１８に示すように表される。
そして、前記カメラ座標系をＸ軸方向にａ、Ｙ軸方向にｂだけ移動させた場合、前記定点（ｘ”0，ｙ”0）の位置を各座標系ごとに表すと下記数１９に示すようになる。 When the camera coordinate system is moved by a in the X-axis direction and by b in the Y-axis direction, the position of the fixed point (x ″ 0, y ″ 0) is expressed for each coordinate system as shown in Equation 19 below. It becomes like this.
この場合、基準座標系における定点を表す座標（ｘ”0，ｙ”0）をカメラ座標系で測定し、アーム座標系の座標に変換した後、さらに基準座標系の座標に変換すると、すなわち前記数１９の２番目の座標が前記数１６の３番目の式で変換された後、さらに前記数１６の２番目の式の左辺に（ａ，ｂ）を加えた式で変換されると、この座標値は下記数２０に示すように表される。
そして、前記数１８に示した定点と前記数２０に示した定点とを通る直線の傾きＫｚは、下記数２１によって表される。下記数２１中、分母は基準座標系に変換した前記定点のＸ軸上の変化量を表し、分子は同定点のＹ軸上の変化量をそれぞれ表している。
The slope Kz of the straight line passing through the fixed point shown in the equation 18 and the fixed point shown in the
この場合、前記カメラ座標系の各移動量のうち、Ｘ軸方向の移動量ａがＹ軸方向の移動量ｂに比べて極めて大きい場合には、前記数２１は下記数２２に示すように表される。
In this case, when the movement amount “a” in the X-axis direction is extremely larger than the movement amount “b” in the Y-axis direction among the movement amounts of the camera coordinate system, the
この前記数２２に三角関数の公式（１−ＣＯＳθ＝２ＳＩＮ２θ／２）を適用すると下記数２３に示すように変形される。
When the formula of trigonometric function (1-COSθ = 2SIN 2 θ / 2) is applied to the
ここで、Ｚ軸の角度のずれθｚは極めて小さいことから前記数２３は下記数２４に示すように表される。
Here, since the angle deviation θz of the Z-axis is extremely small, the
そして、前記数２３において、移動方向をＹ軸方向とし移動方向に直交する方向をＸ軸方向とすれば、Ｚ軸の角度のずれθｚは下記数２５に示すように表される。
In
前記数２５によりＺ軸の角度のずれθｚは、Ｚ軸に直交するＸ軸方向にカメラ座標系を移動させた場合における移動前の定点と移動後の定点とを通る直線の基準座標系での傾き角度を２倍することによって計算することができる。この場合、Ｚ軸に直交するＹ軸方向にカメラ座標系を移動させた場合における前記２つの定点を通る直線の基準座標系での傾き角度を２倍しても同様にＺ軸の角度のずれθｚを計算することができる。すなわち、各座標軸の角度のずれθｘ，θｙ，θｚは、角度のずれの計算対象となる座標軸に直交する２つの座標軸のうち、一方の座標軸に対応するカメラ座標系および基準座標系の座標軸の方向に平行にカメラ座標系を移動したときの基準座標系に変換した各定点座標から求めた直線の基準座標系の座標軸に対する傾きから計算することができる。この基準座標系に変換した各定点座標とは、各測定位置で測定したカメラ座標系における定点座標を第１座標変換関数および第２座標変換関数によって座標変換した座標である。
According to
前記数２５を図７を用いて視覚的に説明する。カメラ座標系（Ｘ−Ｙ）の各座標軸の向きと基準座標系(Ｘ”−Ｙ”)の各座標軸の向きとを一致させた状態で、カメラ座標系を同カメラ座標系のＸ軸およびＹ軸方向にそれぞれ平行に移動させて測定位置ａ，ｂ，ｃ，ｄ，ｅの各位置で定点（ｘ”0，ｙ”0）をそれぞれ測定する。この場合、測定した各定点の位置を座標変換により基準座標系(Ｘ”−Ｙ”)の座標に変換した場合の定点の位置はａ’，ｂ’，ｃ’，ｄ’，ｅ’に示すようになる。すなわち、カメラ座標系の座標軸に対する仮のカメラ座標系の座標軸の角度のずれに対応して、カメラ座標系で測定した定点座標を基準座標系による定点座標に変換した場合の定点座標の位置もそれぞれずれて、同一の一点に定まらない。
そして、前記数２５は、定点ａ’，ｂ’，ｃ’を通る直線の基準座標系のＹ”座標軸に対する傾きＫｚの角度を２倍した値を、仮のカメラ座標系のＺ”座標軸の角度のずれθｚとして計算することを意味する。この場合、定点ｄ’，ｂ’，ｅ’を通る直線のＸ”座標軸に対する傾きＫｚの角度を２倍した値を、仮のカメラ座標系のＺ”座標軸の角度のずれθｚとして計算することもできる。なお、図７においては、仮のカメラ座標系の座標軸の基準座標系の座標軸に対する角度のずれを誇張して示しているので、同ずれが極めて小さいことを前提とする前記数２５とは完全には一致しない。また、カメラ座標系の各座標軸の向きと、同各座標軸に対応する基準座標系の各座標軸の向きとを一致させているため、アーム座標系（Ｘ’−Ｙ’）の各座標軸の向きもカメラ座標系および基準座標系と同一と考えることができる。
The above equation (25) is obtained by doubling the angle of the slope Kz with respect to the Y ″ coordinate axis of the straight reference coordinate system passing through the fixed points a ′, b ′, and c ′, and the angle of the Z ″ coordinate axis of the temporary camera coordinate system. It means that it calculates as deviation | shift (theta) z of. In this case, a value obtained by doubling the angle of the inclination Kz with respect to the X ″ coordinate axis of the straight line passing through the fixed points d ′, b ′, and e ′ may be calculated as the angle deviation θz of the Z ″ coordinate axis of the temporary camera coordinate system. it can. In FIG. 7, since the angle deviation of the coordinate axis of the temporary camera coordinate system with respect to the coordinate axis of the reference coordinate system is exaggerated, it is completely different from the
前記Ｚ軸の角度のずれθｚと同様にして、Ｘ軸およびＹ軸の各座標軸の角度のずれθｘ，θｙを表すと、下記数２６に示すようになる。したがって、３次元画像処理装置４２は、前記数２５に加えて下記数２６を用いて仮のカメラ座標系における各座標軸の角度のずれθｘ，θｙ，θｚをそれぞれ計算する。下記数２６中、Ｋｘ，Ｋｙは、Ｘ軸およびＹ軸の角度のずれθｘ，θｙをそれぞれ計算するための直線の傾きであり、各座標軸にそれぞれ直交する２つの座標軸のうち、一方の座標軸の方向に平行にカメラ座標系を移動したときのカメラ座標系の座標から基準座標系の座標に変換した各定点座標から定義される直線の基準座標系の座標軸に対する傾きである。
Similarly to the angle deviation θz of the Z axis, the angle deviations θx and θy of the coordinate axes of the X axis and the Y axis are expressed by the following equation (26). Therefore, the three-dimensional
なお、上記説明から分かるように、第１座標変換関数の補正関数は、仮のカメラ座標系の座標軸を真のカメラ座標系の座標軸に一致させるための関数である。 As can be seen from the above description, the correction function of the first coordinate transformation function is a function for making the coordinate axis of the temporary camera coordinate system coincide with the coordinate axis of the true camera coordinate system.
３次元画像処理装置４２は、ステップＳ５２にて、前記直線の傾きＫｘ，Ｋｙ，Ｋｚを基準球６０の基準座標系での各中心座標である定点(ｘａ”,ｙａ”,ｚａ”)，(ｘｂ”,ｙｂ”,ｚｂ”)，(ｘｃ”,ｙｃ”,ｚｃ”)，(ｘｄ”,ｙｄ”,ｚｄ”)，(ｘｅ”,ｙｅ”,ｚｅ”)を用いて計算する。例えば、傾きＫｘについては、定点(ｙａ”,ｚａ”)，(ｙｂ”,ｚｂ”)、(ｙｃ”,ｚｃ”)または(ｙｂ”,ｚｂ”)，(ｙｄ”,ｚｄ”)，(ｙｅ”,ｚｅ”)の各３次元データを用いて最小２乗法により直線を計算して同直線の傾きＫｚを計算する。なお、各座標軸の角度のずれの方向、すなわち回転方向は前記数２５および数２６の各座標軸の角度のずれθｘ，θｙ，θｚの符号により表される。本実施形態においては、各座標軸を原点方向から見て時計回りを「正」とする。
In step S52, the three-dimensional
３次元画像処理装置４２は、前記数２６を用いて計算された仮のカメラ座標系の各座標軸の角度のずれθｘ，θｙ，θｚを前記数１５に代入して座標回転関数Ｍ’の各行列値ｇ’１１，ｇ’１２，ｇ’１３，ｇ’２１，ｇ’２２，ｇ’２３，ｇ’３１，ｇ’３２，ｇ’３３を計算する。次に、３次元画像処理装置４２は、ステップＳ５４にて、前記座標回転関数Ｍ’を用いて第１座標変換関数を補正する。この座標回転関数Ｍ’を用いて補正した第１座標変換関数を下記数２７に示す。
The three-dimensional
前記数２７のｇ’11〜ｇ’33の各行列値の行列式による座標変換をカメラ座標系の座標軸に行うと、図８に示すように仮のカメラ座標系の座標軸とカメラ座標系の座標軸の方向は一致する。この場合、ａ，ｂ，ｃ，ｄ，ｅの各測定位置でカメラ座標系で測定した定点（ｘ”0，ｙ”0）の位置は、基準座標系における座標に変換するといずれも（ｘｃ0，ｙｃ0）の位置になる。すなわち、カメラ座標系の各測定位置ごとの定点座標を基準座標系における座標に変換した座標は、測定位置に関わらず一点に定まる。 When coordinate transformation by the determinant of the matrix values of g′11 to g′33 in Equation 27 is performed on the coordinate axes of the camera coordinate system, the coordinate axes of the temporary camera coordinate system and the coordinate axes of the camera coordinate system as shown in FIG. The direction of is the same. In this case, the positions of the fixed points (x ″ 0, y ″ 0) measured in the camera coordinate system at the respective measurement positions a, b, c, d, e are all converted to coordinates in the reference coordinate system (xc0, yc0). That is, the coordinate obtained by converting the fixed point coordinate for each measurement position in the camera coordinate system into the coordinate in the reference coordinate system is determined as one point regardless of the measurement position.
次に、３次元画像処理装置４２は、第１座標変換関数の補正関数のうち座標移動関数を計算する。まず、３次元画像処理装置４２は、ステップＳ５６にて、カメラ座標系によって表された定点の３次元データを計算する。具体的には、３次元画像処理装置４２は、メモリ装置内に記憶している基準球６０の基準座標系での各中心座標である定点(ｘａ”,ｙａ”,ｚａ”)，(ｘｂ”,ｙｂ”,ｚｂ”)，(ｘｃ”,ｙｃ”,ｚｃ”)，(ｘｄ”,ｙｄ”,ｚｄ”)，(ｘｅ”,ｙｅ”,ｚｅ”)を、同各定点に対応させてそれぞれ記憶している第２座標変換関数の逆の座標変換関数、および前記座標回転関数Ｍ’によって補正される前の第１座標変換関数の逆の座標変換関数を用いてカメラ座標系での座標値にそれぞれ座標変換する。
Next, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ５８にて、補正した第１座標変換関数および第２座標変換関数により座標変換を行った場合の基準座標系によって表された定点の座標値を計算する。具体的には、３次元画像処理装置４２は、前記ステップＳ５６によってそれぞれ座標変換されたカメラ座標系での各定点を表す３次元データを、前記座標回転関数Ｍ’によって補正された第１座標変換関数および各定点ごとの前記第２座標変換関数を用いて再び基準座標系での各定点にそれぞれ座標変換する。この場合、座標回転関数Ｍ’によって仮のカメラ座標系の各座標軸の角度のずれθｘ，θｙ，θｚが補正されているので、図８に示したように、座標変換された各定点の座標値はほぼ同じ値となる。
Next, in step S58, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ６０にて、基準座標系によって表された各定点の座標値を平均化して１つの定点の座標値を計算する。具体的には、前記ステップ５８にて座標変換された基準座標系での各定点の座標値を、各座標軸ごとに合算するとともに、同合算値を定点の数で除して１つの定点の座標値を計算する。
Next, in step S60, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ６２にて、座標移動関数を計算する。具体的には、前記ステップ５８にて計算した基準座標系における１つの定点の座標値と、前記触針測定プログラムによって測定した基準座標系における１つの定点の座標値との各座標軸ごとのずれ量を表す行列値（ａ’,ｂ’，ｃ’）を座標移動関数として計算する。次に、３次元画像処理装置４２は、ステップＳ６４にて、前記座標移動関数（ａ’,ｂ’，ｃ’）を用いて第１座標変換関数を補正する。この座標移動関数（ａ’,ｂ’，ｃ’）を用いて補正した第１座標変換関数を下記数２８に示す。
Next, in step S62, the three-dimensional
なお、このステップＳ５６〜６２においては、メモリ装置内に記憶している基準球６０の基準座標系での各中心座標である定点(ｘａ”,ｙａ”,ｚａ”)、(ｘｂ”,ｙｂ”,ｚｂ”)、(ｘｃ”,ｙｃ”,ｚｃ”)、(ｘｄ”,ｙｄ”,ｚｄ”)、(ｘｅ”,ｙｅ”,ｚｅ”)のすべての３次元データを用いて座標移動関数（ａ’,ｂ’，ｃ’）を計算したが、各定点(ｘａ”,ｙａ”,ｚａ”)、(ｘｂ”,ｙｂ”,ｚｂ”)、(ｘｃ”,ｙｃ”,ｚｃ”)、(ｘｄ”,ｙｄ”,ｚｄ”)、(ｘｅ”,ｙｅ”,ｚｅ”)のうちの１つ以上４つ以下の定点の３次元データを用いて同座標移動関数（ａ’,ｂ’，ｃ’）を計算するようにしてもよい。これによれば、座標移動関数（ａ’,ｂ’，ｃ’）を短時間に計算することができる。
In steps S56 to S62, fixed points (xa ″, ya ″, za ″), (xb ″, yb ″) which are the respective central coordinates in the reference coordinate system of the
なお、このステップＳ５６〜６２を省略して、第１座標変換関数の補正を座標回転関数Ｍ’による補正のみにしてもよい。この場合、カメラ座標系から基準座標系に変換された座標値は、基準座標系の座標値に対して座標移動関数分だけのずれがあるが、座標移動関数は一定の値であるので、座標値のずれはカメラ座標系の位置に関わらず常に一定である。したがって、測定対象物の立体形状を任意の方向から見て表示することに関して何ら支障はない。
Note that steps S56 to S62 may be omitted, and the correction of the first coordinate conversion function may be only the correction by the coordinate rotation function M ′. In this case, the coordinate value converted from the camera coordinate system to the reference coordinate system is shifted by the coordinate movement function with respect to the coordinate value of the reference coordinate system, but the coordinate movement function is a constant value. The value shift is always constant regardless of the position of the camera coordinate system. Therefore, there is no problem with displaying the three-dimensional shape of the measurement object when viewed from an arbitrary direction.
次に、３次元画像処理装置４２は、ステップＳ６６にて、この座標変換関数補正プログラムの実行を終了する。これにより、第１座標変換関数における各座標軸の角度のずれおよび座標系の原点のずれが補正されたことになる。すなわち、この補正された第１座標変換関数によって仮のカメラ座標系の座標軸は、真のカメラ座標系の座標軸に一致する。
Next, the three-dimensional
この座標変換関数補正プログラムの実行後、作業者は、基準球６０を基台１０から取り除いて、同基台１０上に測定対象物（図示せず）を配置する。そして、入力装置４３を操作して測定対象物の立体形状の表示を指示する。これに応答して、３次元画像処理装置４２は、図９に示す３次元形状表示プログラムの実行をステップＳ７０にて開始して、ステップＳ７２にて測定対象物の３次元形状を表す測定情報の入力を待つ。一方、３次元形状測定装置３０は、コントローラ４１によって制御され、測定対象物の３次元形状の測定を開始する。
After the execution of the coordinate conversion function correction program, the operator removes the
作業者は、３次元形状測定装置３０を手で持って、回転ロッド２２、第１〜第３アーム２５および３次元形状測定装置３０の各連結部における回転変位を伴いながら、測定対象物に対して３次元形状測定装置３０を移動させて３次元形状の測定を行う。この場合、作業者は、測定対象物に対して互いに異なる３つの位置から測定を行う。そして、３次元形状測定装置３０は、測定対象物の測定を終了すると各測定位置ごとの３次元形状を表す情報を３次元画像処理装置４２に出力する。なお、測定対象物の測定は、前記した３つの位置に限られず４つ以上の位置から測定を行うようにしてもよい。これによれば、より高精度の３次元形状の測定を行うことができる。
The operator holds the three-dimensional
３次元画像データ処理装置４２は、同ステップＳ７２にて、測定対象物の３次元形状を表す情報を入力する。すなわち、測定対象物の表面を微小エリアずつに分割した各分割エリア位置を表すＸ−Ｙ−Ｚ座標に関する情報（具体的には、傾きθx，θyおよび距離Ｌz）をそれぞれ入力する。次に、３次元画像処理装置４２は、ステップＳ７４にて、前述したステップＳ２４およびステップＳ４２の処理と同様にして前記入力した３次元形状測定装置３０からのＸ−Ｙ−Ｚ座標に関する情報に基づいて、各測定位置ごとにおける測定対象物の３次元形状を表す立体形状データ群からなる３次元画像データをそれぞれ計算する。この場合の３次元画像データは、３次元形状測定装置３０に関する座標系、すなわちカメラ座標系によって表されている。
In step S72, the three-dimensional image
次に、３次元画像処理装置４２は、ステップＳ７６にて、図５に示した座標変換関数補正プログラムの実行によって補正された第１座標変換関数（前記数２８）と、第２座標変換関数とを用いて、各測定位置ごとのカメラ座標系によって表された３次元画像データを、基準座標系によって表された３次元画像データにそれぞれ座標変換する。この場合、第２座標変換関数は、前記ステップＳ４６と同様にして各測定位置ごとに計算される。そして、３次元画像処理装置４２は、ステップＳ７８にて、各測定位置の基準座標系によって表された各３次元画像データを一組の３次元形状データ群に合成する。この合成においては、すべての測定位置における３次元画像データが同一座標系である基準座標系上の座標値で表されるので、各測定位置によって測定されない測定対象物の部分（各測定位置における３次元形状測定装置３０に対して裏側に位置する測定対象物の外表面）を表す３次元画像データが互いに補われ、一組のデータ群とされる。
Next, in step S76, the three-dimensional
次に、３次元画像処理装置４２は、ステップＳ８０にて、前記合成された３次元形状データ群を用いて測定対象物の３次元形状を表示装置４４に表示させる。そして、３次元画像処理装置４２は、ステップＳ８２にて、３次元形状表示プログラムの実行を終了する。この測定対象物の３次元形状の表示においては、作業者は入力装置４３を操作することにより測定対象物の表示方向を指示することができ、コントローラ４１および３次元画像処理装置４２は表示装置４４にて表示される測定対象物の表示方向を変更する。これにより、測定対象物を任意の方向から見た立体形状を表示させることができる。
Next, in step S80, the three-dimensional
また、新たな測定対象物を基台１０上に置いて、前述のように測定対象物の表示を指示すれば、前記３次元形状表示プログラムの実行により、前記と同一の第１座標変換関数および第２座標変換関数を用いて新たな測定対象物を任意の方向から見た立体形状を表示装置４４に表示させることができる。したがって、基準球６０を用いて基台１０上の測定対象空間に関する第１座標変換関数および第２座標変換関数を一度だけ計算するとともに、前記図５に示す座標変換関数補正プログラムにより第１座標変換関数を補正しておけば、測定対象物を次々に換えて表示装置４４にて立体形状を表示させることが可能である。
Further, when a new measurement object is placed on the
上記作動説明からも理解できるように、上記実施形態によれば、基準球６０の３次元画像データに基づいて計算された第１座標変換関数を、各座標軸の角度のずれに関する座標回転関数Ｍ’と座標系の原点ずれに関する座標移動関数（ａ’，ｂ’，ｃ’）とを用いて補正している。座標回転関数Ｍ’は、角度のずれの計算対象となる座標軸に直交する２つの座標軸のうちの一方の座標軸であって、同座標軸に対応するカメラ座標系および基準座標系の各座標軸に平行に３次元形状測定装置３０を移動させて測定し基準座標系の座標軸に変換した３つの定点の各座標値のうち、角度のずれの計算対象となる座標軸以外の２つの座標軸上の座標値を通る直線の基準座標系の座標軸に対する傾きに基づいて計算される。基準座標系における３つの定点の各座標値が異なるのは、第１座標変換関数の各座標軸の角度のずれによる。したがって、基準座標系における直線の傾き、すなわち第１座標変換関数によって座標変換された定点の座標値に基づいて計算された直線の傾きは、第1座標変換関数の各座標軸の角度のずれを表すことになる。
As can be understood from the above description of operation, according to the above embodiment, the first coordinate conversion function calculated based on the three-dimensional image data of the
また、座標移動関数（ａ’，ｂ’，ｃ’）は、前記座標回転関数Ｍ’により補正された第１座標変換関数と第２座標変換関数とによって座標変換された定点の各座標値と同定点の基準座標系での各座標値との差に基づいて計算される。この場合、座標回転関数Ｍ’により補正された第１座標変換関数と第２座標変換関数とによって座標変換された各測定位置ごとの定点は、基準座標系において同一の一点に定まっている。したがって、上記実施形態によれば、第１座標変換関数を計算するための３次元画像データに測定誤差が含まれている場合であっても、第１座標変換関数と第２座標変換関数とによって座標変換された座標値によって定義される直線の基準座標系の座標軸に対する角度に基づいて同第１座標変換関数が補正されるため、精度のよい座標変換関数を計算することができる。この結果、測定対象物の正確な３次元形状測定を行うことができる。 Further, the coordinate movement function (a ′, b ′, c ′) includes the coordinate values of the fixed points coordinate-transformed by the first coordinate transformation function and the second coordinate transformation function corrected by the coordinate rotation function M ′. It is calculated based on the difference between each coordinate value in the reference coordinate system of the identification point. In this case, the fixed point for each measurement position subjected to the coordinate conversion by the first coordinate conversion function and the second coordinate conversion function corrected by the coordinate rotation function M ′ is determined to be the same point in the reference coordinate system. Therefore, according to the above embodiment, even if the measurement error is included in the three-dimensional image data for calculating the first coordinate transformation function, the first coordinate transformation function and the second coordinate transformation function are used. Since the first coordinate conversion function is corrected based on the angle of the straight line defined by the coordinate values subjected to coordinate conversion with respect to the coordinate axis of the reference coordinate system, a highly accurate coordinate conversion function can be calculated. As a result, accurate three-dimensional shape measurement of the measurement object can be performed.
以上、本発明の一実施形態について説明したが、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変形が可能である。以下、変形例について説明する。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the object of the present invention. Hereinafter, modified examples will be described.
ａ．第１変形例
上記実施形態においては、各測定位置ごとの基準座標系での定点座標を用いて第１座標変換関数を補正する座標回転関数Ｍ’を計算したが、これに限定されるものではない。例えば、前記各測定位置ごとの基準座標系での定点座標に加えて、各測定位置間の距離、すなわち３次元形状測定装置３０（カメラ座標系）の各測定位置間の移動量を用いて各座標軸の角度のずれθｘ，θｙ，θｚを計算することも可能である。
a. First Modification In the above embodiment, the coordinate rotation function M ′ for correcting the first coordinate conversion function is calculated using the fixed point coordinates in the reference coordinate system for each measurement position. However, the present invention is not limited to this. Absent. For example, in addition to the fixed point coordinates in the reference coordinate system for each measurement position, the distance between the measurement positions, that is, the amount of movement between the measurement positions of the three-dimensional shape measuring apparatus 30 (camera coordinate system) is used. It is also possible to calculate the angle deviations θx, θy, θz of the coordinate axes.
具体的には、Ｘ軸方向およびＹ軸方向の２つの座標軸方向にそれぞれ３次元形状測定装置３０（カメラ座標系）を移動させた場合における基準座標系での定点座標のＹ軸方向の座標値の変化量（前記数２１の分子）と、基準座標系でのＸ軸方向の３次元形状測定装置３０（カメラ座標系）の移動量ａとによって定義される直線の傾きＫｚは、下記数２９に示すように表される。下記数２９中、ａ，ｂは、３次元形状測定装置３０（カメラ座標系）の基準座標系でのＸ軸方向およびＹ軸方向の各移動量を表している。 Specifically, the coordinate value in the Y-axis direction of the fixed point coordinate in the reference coordinate system when the three-dimensional shape measuring device 30 (camera coordinate system) is moved in each of the two coordinate axis directions of the X-axis direction and the Y-axis direction. The slope Kz of the straight line defined by the amount of change (numerator of Equation 21) and the amount of movement a of the three-dimensional shape measuring device 30 (camera coordinate system) in the X-axis direction in the reference coordinate system is It is expressed as shown in In the following equation 29, a and b represent the movement amounts in the X-axis direction and the Y-axis direction in the reference coordinate system of the three-dimensional shape measuring apparatus 30 (camera coordinate system).
この場合、３次元形状測定装置３０（カメラ座標系）の各移動量ａ，ｂのうち、Ｘ軸方向の移動量ａがＹ軸方向の移動量ｂに比べて極めて大きく、Ｚ軸の角度のずれθｚが極めて小さいことから前記式２９は、下記数３０に示すように変形される。 In this case, of the movement amounts a and b of the three-dimensional shape measuring apparatus 30 (camera coordinate system), the movement amount a in the X-axis direction is extremely larger than the movement amount b in the Y-axis direction, and the angle of the Z-axis is Since the deviation θz is extremely small, the equation 29 is modified as shown in the following equation (30).
この場合、前記３０に示すＺ軸の角度のずれθｚは、３次元形状測定装置３０（カメラ座標系）のＸ軸方向の移動量ａと、基準座標系に変換した定点座標のＹ軸方向の座標値の変化量とによって定義される直線の傾き角度である。この場合、Ｚ軸に直交するＹ軸方向にカメラ座標系を移動させた場合におけるカメラ座標系のＹ軸方向の移動量ｂと、基準座標系に変換した定点座標のＸ軸方向の座標値の変化量とを用いて前記直線の傾き角度を計算しても同様にＺ軸の角度のずれθｚを計算することができる。すなわち、各座標軸の角度のずれは、角度のずれの計算対象となる座標軸に直交する２つの座標軸のうち、一方の座標軸に対応するカメラ座標系および基準座標系の各座標軸の方向における３次元形状測定装置３０（カメラ座標系）の移動量と、他方の座標軸方向の基準座標系に変換した定点座標の座標値の変化量とによって定義される直線の傾き角度から計算することができる。 In this case, the Z-axis angle shift θz shown in 30 is the amount of movement a in the X-axis direction of the three-dimensional shape measuring apparatus 30 (camera coordinate system) and the fixed point coordinate converted to the reference coordinate system in the Y-axis direction. It is the inclination angle of a straight line defined by the amount of change in coordinate values. In this case, the movement amount b in the Y-axis direction of the camera coordinate system when the camera coordinate system is moved in the Y-axis direction orthogonal to the Z-axis, and the coordinate value in the X-axis direction of the fixed point coordinate converted into the reference coordinate system. Even if the inclination angle of the straight line is calculated using the amount of change, the Z axis angle deviation θz can be calculated in the same manner. That is, the deviation of the angle of each coordinate axis is a three-dimensional shape in the direction of each coordinate axis of the camera coordinate system and the reference coordinate system corresponding to one of the two coordinate axes orthogonal to the coordinate axis to be calculated for the angle deviation. It can be calculated from the inclination angle of a straight line defined by the amount of movement of the measuring device 30 (camera coordinate system) and the amount of change in the coordinate value of the fixed point coordinate converted into the reference coordinate system in the other coordinate axis direction.
前記Ｚ軸の角度のずれθｚと同様にして、Ｘ軸およびＹ軸の各座標軸の角度のずれθｘ，θｙをそれぞれ表すと、下記数３１に示すようになる。したがって、３次元画像処理装置４２は、前記数３０に加えて下記数３１を用いて仮のカメラ座標系の各座標軸の角度のずれθｘ，θｙ，θｚをそれぞれ計算することができる。下記数３０中、Ｋｘ，Ｋｙは、Ｘ軸およびＹ軸の角度のずれθｘ，θｙをそれぞれ計算するための前記Ｋｚに対応する直線の傾きであり、各座標軸にそれぞれ直交する２つの座標軸のうち、一方の座標軸に対応するカメラ座標系および基準座標系の各座標軸の方向における３次元形状測定装置３０（カメラ座標系）の移動量と、他方の座標軸方向の基準座標系に変換した定点座標の座標値の変化量とによって計算される直線の傾きである。
Similarly to the angle deviation θz of the Z axis, the angle deviations θx and θy of the coordinate axes of the X axis and the Y axis are respectively expressed by the following equation (31). Therefore, the three-dimensional
これらの傾きＫｘ，Ｋｙ，Ｋｚは、基準球６０の基準座標系での各中心座標である定点(ｘａ”,ｙａ”,ｚａ”)、(ｘｂ”,ｙｂ”,ｚｂ”)、(ｘｃ”,ｙｃ”,ｚｃ”)、(ｘｄ”,ｙｄ”,ｚｄ”)、(ｘｅ”,ｙｅ”,ｚｅ”)と、各測定位置間の３次元形状測定装置３０の移動量とを用いて計算する。この場合、図５に示す座標変換関数補正プログラムにおけるステップＳ４２の基準球の測定処理において、３次元形状測定装置３０による基準球６０の各測定位置ごとに、基準座標系によって表されたアーム座標系の原点位置をメモリ装置に記憶しておき、同記憶された各測定位置ごとのアーム座標系の原点位置に基づいて３次元形状測定装置３０の移動量を計算することができる。
These inclinations Kx, Ky, Kz are fixed points (xa ″, ya ″, za ″), (xb ″, yb ″, zb ″), (xc ″) that are the respective central coordinates in the reference coordinate system of the
例えば、直線の傾きＫｘについては、座標値ｙｄ”，ｙｅ”およびＺ軸方向の移動量ｂｚ、または座標値ｚａ”,ｚｃ”およびＹ軸方向の移動量ａｙを用いて計算する。ここで、Ｚ軸方向の移動量ｂｚは、図６に示すｄの位置とｅの位置との距離であり、Ｙ軸方向の移動量ａｙは、図６に示すａの位置とｃの位置との距離である。これにより、直線の傾きＫｘを計算することができるとともに、同直線の傾きＫｘを用いて座標軸の角度のずれθｘを計算することができる。また、直線の傾きＫｘと同様にして直線の傾きＫｙ，Ｋｚも計算することができるとともに、同直線の傾きＫｙ，Ｋｚを用いて座標軸の角度のずれθｙ，θｚも計算することができる。この結果、上記実施形態と同様に、座標回転関数Ｍ’を計算することができる。これにより、上記実施形態と同様の効果を期待できる。 For example, the straight line inclination Kx is calculated using the coordinate values yd ″, ye ″ and the movement amount bz in the Z-axis direction, or the coordinate values za ″, zc ″ and the movement amount ay in the Y-axis direction. Here, the movement amount bz in the Z-axis direction is the distance between the position d and the position e shown in FIG. 6, and the movement amount ay in the Y-axis direction is the position a and the position c shown in FIG. Is the distance. Thereby, the inclination Kx of the straight line can be calculated, and the angle deviation θx of the coordinate axes can be calculated using the inclination Kx of the straight line. Further, the straight line inclinations Ky and Kz can be calculated in the same manner as the straight line inclination Kx, and the angle deviations θy and θz of the coordinate axes can be calculated using the straight line inclinations Ky and Kz. As a result, the coordinate rotation function M ′ can be calculated as in the above embodiment. Thereby, the same effect as the above-mentioned embodiment can be expected.
ｂ．第２変形例
上記実施形態においては、カメラ座標系の各座標軸の向きと基準座標系の各座標軸の向きとを一致させた後、３次元形状測定装置３０を両座標系の２つの座標軸にそれぞれ平行に移動させて基準球６０の測定を行ったが、同２つの座標軸の平面内であって互いに直交する２つの方向に移動させて測定するようにしてもよい。すなわち、カメラ座標系および基準座標系の両座標系における２つの座標軸に対してそれぞれ同一の角度だけずれた２つの方向に３次元形状測定装置３０をそれぞれ移動させて基準球６０の測定を行うことも可能である。
b. Second Modification In the above embodiment, after the direction of each coordinate axis of the camera coordinate system and the direction of each coordinate axis of the reference coordinate system are matched, the three-dimensional
この場合、前記数２５および数２６に示される基準座標系での直線の傾きＫｘ，Ｋｙ，Ｋｚを、３次元形状測定装置３０（カメラ座標系）の移動方向に対応する直線の基準座標系での傾きＭｘ，Ｍｙ，Ｍｚにより補正する。前記数２５に示す直線の傾きＫｚについて具体的に説明すると、カメラ座標系の移動方向に対応する直線の傾きＭｚは、カメラ座標系のＸ軸方向の移動量ａに対するＹ軸方向の移動ｂの比（Ｍｚ＝ａ／ｂ）によって計算される。この直線の傾きＭｚを用いて前記数２１に示すＹ軸上の変化量およびＸ軸上の変化量を補正すると下記数３２に示すようになる。
In this case, the straight line inclinations Kx, Ky, and Kz in the reference coordinate system expressed by the
この直線の傾きＫｚと同様にして直線の傾きＫｘ，Ｋｙをそれぞれ補正すると下記数３３に示すようになる。 When the straight line inclinations Kx and Ky are corrected in the same manner as the straight line inclination Kz, the following equation 33 is obtained.
これらの傾きＫｘ，Ｋｙ，Ｋｚは、基準球６０の基準座標系での各中心座標である定点(ｘａ”,ｙａ”,ｚａ”)、(ｘｂ”,ｙｂ”,ｚｂ”)、(ｘｃ”,ｙｃ”,ｚｃ”)、(ｘｄ”,ｙｄ”,ｚｄ”)、(ｘｅ”,ｙｅ”,ｚｅ”)と、カメラ座標系の移動方向に対応する直線の基準座標系での傾きＭｘ，Ｍｙ，Ｍｚとを用いて計算する。この場合、図５に示す座標変換関数補正プログラムにおけるステップＳ４２の基準球の測定処理において、３次元形状測定装置３０による基準球６０の各測定位置ごとに、基準座標系によって表されたアーム座標系の原点位置をメモリ装置に記憶しておき、同記憶された各測定位置ごとのアーム座標系の原点位置に基づいて直線の傾きＭｘ，Ｍｙ，Ｍｚを計算することができる。
These inclinations Kx, Ky, Kz are fixed points (xa ″, ya ″, za ″), (xb ″, yb ″, zb ″), (xc ″) that are the respective central coordinates in the reference coordinate system of the
例えば、直線の傾きＫｘは、定点（ｙａ”，ｚａ”）、（ｙｂ”，ｚｂ”）、（ｙｃ”，ｙｃ”）を用いて最小２乗法により計算され、直線の傾きＭｘは、カメラ座標系のＹ軸方向の移動量ａｙに対するＺ軸方向の移動量ｂｚの比（Ｍｘ＝ａｙ／ｂｚ）によって計算される。ここで、Ｙ軸方向の移動量ａｙは、図６に示すａの位置とｃの位置との距離であり、Ｚ軸方向の移動量ｂｚは、図６に示すｄの位置とｅの位置との距離である。これにより、直線の傾きＫｘを計算することができるとともに、同直線の傾きＫｘを用いて座標軸の角度のずれθｘを計算することができる。また、直線の傾きＫｘと同様にして直線の傾きＫｙ，Ｋｚも計算することができるとともに、同直線の傾きＫｙ，Ｋｚを用いて座標軸の角度のずれθｙ，θｚも計算することができる。この結果、上記実施形態と同様に、座標回転関数Ｍ’を計算することができる。これにより、上記実施形態と同様の効果を期待できる。 For example, the straight line slope Kx is calculated by the least square method using the fixed points (ya ″, za ″), (yb ″, zb ″), (yc ″, yc ″), and the straight line slope Mx is the camera coordinate. It is calculated by the ratio of the movement amount bz in the Z-axis direction to the movement amount ay in the Y-axis direction of the system (Mx = ay / bz). Here, the movement amount ay in the Y-axis direction is the distance between the position a and the position c shown in FIG. 6, and the movement amount bz in the Z-axis direction is the position d and the position e shown in FIG. Is the distance. Thereby, the inclination Kx of the straight line can be calculated, and the angle deviation θx of the coordinate axes can be calculated using the inclination Kx of the straight line. Further, the straight line inclinations Ky and Kz can be calculated in the same manner as the straight line inclination Kx, and the angle deviations θy and θz of the coordinate axes can be calculated using the straight line inclinations Ky and Kz. As a result, the coordinate rotation function M ′ can be calculated as in the above embodiment. Thereby, the same effect as the above-mentioned embodiment can be expected.
また、前記メモリ装置に記憶された３次元形状測定装置３０による基準球６０の各測定位置ごとの基準座標系によって表されたアーム座標系の原点位置を用いて、上記数３２および上記数３３とは別の計算式によって各座標軸の傾き角度θｘ,θｙ,θｚを計算することもできる。具体的には、図６に示すｂの測定位置を原点（０，０）として他の測定位置ａ，ｃ，ｄ，ｅを前記アーム座標系の原点位置を用いて表す。例えば、ａの測定位置を（ａ１，ｂ１）、ｃの測定位置を（ａ３，ｂ３）、ｄの測定位置を（ａ４，ｂ４）、ｅの測定位置を（ａ５，ｂ５）とし、これらの座標値を前記数２９に代入して直線の傾きＫｘ，Ｋｙ，Ｋｚごとに表すと下記数２７に示すようになる。下記数３４中、直線の傾きＫｘは、（ａ１，ｚ１），（０，ｚ２），（ａ３，ｚ３）から最小２乗法により計算され、直線の傾きＫｙは、（ｘ４，ｂ４），（ｘ２，０），（ｘ５，ｂ５）から最小２乗法によりにより計算され、直線の傾きＫｚは、（ａ１，ｘ１），（０，ｘ２），（ａ３，ｘ３）から最小２乗法によりにより計算される。この下記数３４を用いても上記と同様に各座標軸の傾き角度θｘ,θｙ,θｚを計算することができ、座標回転関数Ｍ’を計算することができる。
Further, using the origin position of the arm coordinate system represented by the reference coordinate system for each measurement position of the
ｃ．第３変形例
上記実施形態においては、カメラ座標系の各座標軸の向きを基準座標系の各座標軸の向きに一致させた後、３次元形状測定装置３０を両座標軸の２つの座標軸にそれぞれ平行に移動させて基準球６０の測定を行ったが、カメラ座標系をカメラ座標系の各座標軸に対して平行に移動させた場合における各測定位置ごとの定点が計算できれば、カメラ座標系の各座標軸の向きと基準座標系の座標軸の向きとを一致させなくても第１座標変換関数を補正することができる。
c. Third Modification In the above embodiment, after the direction of each coordinate axis of the camera coordinate system is matched with the direction of each coordinate axis of the reference coordinate system, the three-dimensional
具体的には、作業者は、図３に示す触針測定プログラムおよび図４に示す座標変換関数計算プログラムの実行によって第１座標変換関数を計算した後、カメラ座標系の各座標軸の向きと基準座標系の各座標軸の向きとが一致していない状態で、基準球６０の３次元形状の測定を行う。この基準球６０の３次元形状の測定に際して作業者は、図５に示す座標変換関数補正プログラムを３次元画像処理装置４２に実行させる。この基準球６０の３次元形状の測定は、カメラ座標系の各座標軸の向きと基準座標系の各座標軸の向きとを一致させない状態で、３次元形状測定装置３０をカメラ座標系の２つの座標軸にそれぞれ平行に移動させて行う。このほかの測定作業については、前記実施形態と同様である。また、座標変換関数補正プログラムにおける各処理もステップＳ４２、ステップＳ４５およびステップＳ５０以外は、前記実施形態と同様であるので、前記実施形態と異なる処理内容について説明する。
Specifically, the operator calculates the first coordinate conversion function by executing the stylus measurement program shown in FIG. 3 and the coordinate conversion function calculation program shown in FIG. 4, and then the orientation and reference of each coordinate axis in the camera coordinate system. The three-dimensional shape of the
３次元画像処理装置４２は、ステップＳ４２にて、前記実施形態と同様にして各測定位置ごとの基準球６０の３次元形状を表す３次元画像データをメモリ装置に記憶する。この場合、３次元形状測定装置３０による基準球６０の各測定位置ごとに、基準座標系によって表されたアーム座標系の原点位置をメモリ装置に記憶する。そして、３次元画像処理装置４２は、図５において破線で示すステップＳ４５にて、座標変換補正関数を計算する。この座標変換補正関数は、カメラ座標系の各座標軸の向きが基準座標系の各座標軸の向きに一致していない状態で第１座標変換関数および第２座標変換関数により座標変換された各座標値を、カメラ座標系の各座標軸と基準座標系の各座標軸との角度のずれに応じて補正する関数である。この座標変換補正関数の計算は、次のサブステップ１〜３の処理からなる。
In step S42, the three-dimensional
サブステップ１：３次元画像処理装置４２は、３次元形状測定装置３０の２つの移動方向にそれぞれ対応する２つのベクトルを計算する。具体的には、メモリ装置に記憶した各測定位置ごとのアーム座標系の原点を用いて、３次元形状測定装置３０の各移動方向ごとの各原点を通る直線をベクトルとして計算する。すなわち、３次元形状測定装置３０の２つの移動方向にそれぞれ対応するカメラ座標系の２つの座標軸に対してそれぞれ平行なベクトルを計算する。
Substep 1: The 3D
サブステップ２：３次元画像処理装置４２は、前記サブステップ１によって計算した２つのベクトルの単位ベクトルを計算するとともに、同単位ベクトルの外積を計算する。これにより、３次元形状測定装置３０の各移動方向に対応する２つのベクトルの各単位ベクトルに直交する１つのベクトルが計算される。この２つの単位ベクトルおよび同２つの単位ベクトルの外積により計算された１つのベクトルは、互いに直交する３つの単位ベクトルであり、各ベクトルはそれぞれカメラ座標系の各座標軸に対して平行である。
Sub-step 2: The three-dimensional
サブステップ３：３次元画像処理装置４２は、前記サブステップ２にて計算された３つの単位ベクトルをそれぞれ基底ベクトル（１，０，０），（０，１，０），（０，０，１）に変換するための変換関数を計算し、同変換関数を座標補正変換関数としてメモリ装置に記憶する。この変換関数は、３つの各単位ベクトルを各基底ベクトルに変換するための各ベクトルの回転角度に基づいて計算される。すなわち、この変換関数は、基準座標系の各座標軸の向きをカメラ座標系の各座標軸の向きに一致させる座標変換関数に対応する。
Sub-step 3: The three-dimensional
次に、座標変換関数補正プログラムにおけるステップＳ５０の処理を以下のように変更する。３次元画像処理装置４２は、ステップＳ５０にて、基準球６０の球体中心として計算した各座標値を、前記ステップＳ４５のサブステップ１〜３によって計算した座標変換補正関数を用いて補正する。これにより、第１座標変換関数によって座標変換された座標値が、カメラ座標系の各座標軸と基準座標系の各座標軸との角度のずれ量に応じて補正される。すなわち、座標変換補正関数によって補正された座標値と前記実施形態におけるステップＳ５０によって計算された基準座標系における座標値とは等価である。そして、３次元画像処理装置４２は、同補正された座標値を定点としてメモリ装置に記憶する。これ以降の処理は、前記実施形態と同様である。このように構成した第３変形例によれば、カメラ座標系の各座標軸の向きと基準座標系の座標軸の向きとを一致させる必要がないため、基準球６０の測定作業を効率的に行うことができる。
Next, the process of step S50 in the coordinate conversion function correction program is changed as follows. In step S50, the three-dimensional
ｄ．その他の変形例
上記実施形態、第１変形例、第２変形例および第３変形例においては、第１座標変換関数を計算するために、互いに異なる３つの位置において基準球６０の３次元形状の測定を行うようにしたが、互いに異なる３つの位置における基準球６０の定点を計算できれば、これに限定されるものではない。例えば、前記図４に示す座標変換関数計算プログラムにおける基準球６０の測定作業と前記図５に示す座標変換関数補正プログラムにおける基準球６０の測定作業とを共通の作業としてもよい。
d. Other Modifications In the embodiment, the first modification, the second modification, and the third modification, the three-dimensional shape of the
具体的には、作業者は、前記触針測定プログラムの実行後、支持機構２０の第３アーム２５の先端部に３次元形状測定装置３０を第３アーム２５の軸線回りに回転可能に組み付けるとともに、基準球６０の３次元形状の測定を行う。この基準球６０の３次元形状の測定に際して作業者は、図４に示す座標変換関数計算プログラムを３次元画像処理装置４２に実行させる。この場合、基準球６０の３次元形状の測定は、前記座標変換関数補正プログラムにおける測定作業と同様に、３次元形状測定装置３０のカメラ座標系の各座標軸の向きと基準座標系の各座標軸の向きとを一致させた後、３次元形状測定装置３０を２つの座標軸に対してそれぞれ平行に移動させて互いに異なる５つの位置で測定を行う。そして、３次元画像処理装置４２は、ステップＳ３２による第１座標変換関数の計算処理において、各測定位置ごとの５つの定点うち、３つの定点を用いて第１座標変換関数を計算する。この場合、３つの定点は、すべての定点が同一直線上にない３つの定点を用いるようにする。これにより、第１座標変換関数が計算される。
Specifically, after the execution of the stylus measurement program, the operator assembles the three-dimensional
次に、作業者は、図５に示す座標変換関数補正プログラムを３次元画像処理装置４２に実行させる。この場合、座標変換関数補正プログラムは、前記座標変換関数計算プログラムにおいて測定した基準球６０の３次元画像データを用いて、各ステップを実行して第１座標変換関数を補正する。すなわち、座標変換関数プログラムにおけるステップＳ４２の基準球の測定処理はスキップされる。したがって、この変形例によれば、１回の基準球６０の測定作業により得られた３次元画像データに基づき、各測定位置ごとの基準球６０の中心座標を定点として計算し、同定点を第１座標変換関数および第１座標変換関数の補正関数の計算に用いている。このため、基準球６０の測定作業の回数が減り、第１座標変換関数の計算および同第１座標変換関数の補正を効率的に行うができる。
Next, the worker causes the three-dimensional
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、基準座標系によって表された複数の定点を計算するために、３次元形状測定装置３０によって各測定位置ごとに測定された基準球６０のカメラ座標系での３次元画像データを基準座標系での３次元画像データに座標変換した後、同３次元画像データを用いて定点を計算するように構成したが、これに限定されるものではない。例えば、３次元形状測定装置３０によって各測定位置ごとに測定した基準球６０を表す３次元画像データを用いて定点を計算した後、この計算された各測定位置ごとの定点を基準座標系に座標変換するようにしてもよい。これによっても、上記実施形態と同様の効果を期待できる。
In the embodiment, the first modification, the second modification, and the third modification, the three-dimensional
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、３次元形状測定装置３０の各移動方向ごとにそれぞれ３つの位置で基準球６０を測定し、各測定位置に対応する３つの定点を用いて各座標軸の角度のずれを計算するための直線を定義するようにしたが、同直線を定義できれば、これに限定されるものではない。すなわち、少なくとも２つの定点を得られればよく、例えば、各移動方向において４つ以上の定点を得るようにしてもよい。これによれば、より正確に直線を定義でき、高精度な座標回転関数Ｍ’を計算することができる。
In the embodiment, the first modified example, the second modified example, and the third modified example, the
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、３次元形状測定装置３０をＹ軸方向およびＺ軸方向に移動させて基準球６０を測定するようにしたが、３つの座標軸に対応する３つの角度のずれθｘ，θｙ，θｚが計算できれば、これに限定されるものではない。すなわち、前記Ｙ軸方向およびＺ軸方向のうちの一方をＸ軸方向に代えてもよい。これによっても、上記実施形態と同様の効果を期待できる。
In the embodiment, the first modified example, the second modified example, and the third modified example, the
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、３次元形状測定装置３０をＹ軸方向およびＺ軸方向の２つの座標軸方向に移動させて基準球６０を測定するようにしたが、３つの座標軸についてそれぞれ角度のずれθｘ，θｙ，θｚが計算できれば、これに限定されるものではない。すなわち、前記Ｙ軸方向およびＺ軸方向に加えてＸ軸方向に３次元形状測定装置３０を移動させて基準球６０を測定してもよい。この場合、３つの座標軸に対応する３つの角度のずれθｘ，θｙ，θｚが、それぞれ２つずつ計算されるが、同２つの計算値を平均化してそれぞれの角度のずれθｘ，θｙ，θｚとしてもよい。これによれば、より正確な座標回転関数Ｍ’を計算でき、高精度な第１座標変換関数を計算することができる。
In the embodiment, the first modified example, the second modified example, and the third modified example, the
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、基準球６０として球体を用いたが、触針５０の接触によって定点などの基準物体の情報が特定でき、かつ３次元形状測定装置３０による外形形状の測定によって物体が特定できるとともに同物体によって規定される定点の座標値が特定できるものであれば、球体の径および個数は限定されるものではない。また、球体以外の物体を基準物体として利用することもできる。例えば、立方体、直方体などの角柱、角錐、円柱または円錐体など、物体および定点を特定し易い物体を基準物体として利用できる。これによっても、上記実施形態と同様の効果を期待できる。
Moreover, in the said embodiment, the 1st modification, the 2nd modification, and the 3rd modification, although the spherical body was used as the reference |
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、第１座標変換関数および第２座標変換関数を計算するために基台１０上に１つの基準球６０を用いたが、これに限定されるものではない。例えば、３つの基準球を基台１０上に配置し、触針５０および３次元形状測定装置３０によってそれぞれ３つの基準球を測定して各中心座標を定点として第１座標変換関数および第２座標変換関数を計算するように構成してもよい。これによっても、上記実施形態と同様の効果を期待できる。
Moreover, in the said embodiment, a 1st modification, a 2nd modification, and a 3rd modification, in order to calculate a 1st coordinate transformation function and a 2nd coordinate transformation function, one
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、基準座標系における基準となる点を特定するために、基台１０上に基準球６０を配置して同基準球６０を支持機構２０の先端部に取り付けた触針５０を用いて測定したが、これに限定されるものではない。例えば、基準座標系における予め特定できる位置に基準球６０を配置すれば、同基準球６０を測定して基準となる点を特定する作業、すなわち図３に示す触針測定プログラムによる基準球６０の測定作業は不要である。これによっても、上記実施形態と同様の効果を期待できる。
In the embodiment, the first modification, the second modification, and the third modification, the
また、上記実施形態、第１変形例、第２変形例および第３変形例においては、変形可能な支持機構によって支持された３次元形状測定装置３０を用いてカメラ座標系の座標を基準座標系の座標に変換する座標変換関数の補正を行ったが、これに限定されるものではない。例えば、３次元形状測定装置３０の位置および向きを別の測定手段によって測定しながら３次元形状測定装置３０を独立して移動できる３次元画像生成システムにおいて、座標変換関数の補正を行ってもよい。この場合、３次元形状測定装置３０周りに任意に定めた一点がアーム座標系の原点に相当し、アーム座標系に相当する座標を基準座標系の座標に変換する第２座標変換関数が３次元形状測定装置３０の位置および向きのデータにより計算される。この他の構成については上記実施形態と同様の方法により座標変換関数の補正を行うことができる。
In the embodiment, the first modified example, the second modified example, and the third modified example, the coordinates of the camera coordinate system are converted into the reference coordinate system using the three-dimensional
１０…基台、２０…支持機構、２１…固定ポール、２２…回転ロッド、２３〜２５…アーム、２７ａ〜２７ｅ…回転角センサ、３０…３次元形状測定装置、４１…コントローラ、４２…画像処理装置、４３…入力装置、４４…表示装置、５０…触針、６０…基準球。
DESCRIPTION OF
Claims (4)
コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、
前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、
前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、
前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させたうえで、前記支持機構を変形させて前記３次元形状測定装置を前記予め決めた所定の座標系の座標軸と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、
前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、
前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、
前記３次元画像処理装置に、前記予め決めた所定の座標系の座標軸に対する前記定点の３次元データを用いて定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させる（Ｓ５２，Ｓ５４）
ことを特徴とする座標変換関数の補正方法。 The three-dimensional shape measurement device which is supported by a deformable support mechanism (20) (30) to measure the three-dimensional shape of the measurement object,
The measurement information of the measurement object by the three-dimensional shape measuring device is input to a three-dimensional image processing device (42) configured by a computer device (S72), and the three-dimensional shape measurement is performed using the input measurement information. Generating three-dimensional image data representing the three-dimensional shape of the measured object in the coordinate system relating to the apparatus (S74) ;
The three-dimensional image processing apparatus converts the generated three-dimensional image data into three-dimensional image data in a coordinate system related to the deformable support mechanism using a first coordinate transformation function including a coordinate rotation function and a coordinate movement function. The converted three-dimensional image data is converted into three-dimensional image data of a predetermined coordinate system using a second coordinate conversion function that changes according to the deformation state of the support mechanism (S76). ) ,
In the correction method of the coordinate transformation function for correcting the first coordinate transformation function applied to the three-dimensional image generation system capable of displaying the measurement object as viewed from an arbitrary direction,
Wherein the direction of the coordinate axis in the coordinate system relating to the three-dimensional shape measuring apparatus, wherein after having matched the direction of the coordinate axes of the predetermined prescribed coordinate system, the support mechanism is deformed by the three-dimensional shape measurement device predetermined by parallel movement and coordinate axes of a predetermined coordinate system, measuring the three-dimensional shape of the measurement object placed reference objects in the space of the three-dimensional shape measuring apparatus in the three-dimensional shape measuring device in at least two positions Let
The measurement information of the reference object by the three-dimensional shape measurement device measured at the at least two positions is input to the three-dimensional image processing device, and the coordinate system in the coordinate system related to the three-dimensional shape measurement device is set for each measurement position. Generating three-dimensional image data representing the three-dimensional shape of the reference object (S42) ;
The three-dimensional image processing apparatus, the first coordinate conversion function, using a 3-dimensional image data for each measurement position which is the second coordinate transformation function and said generating, said reference object measured at least two locations Calculating three-dimensional data representing the fixed point in the predetermined coordinate system (S44, S46, S48, S50) ;
The 3-dimensional image processing apparatus, causes correct coordinate rotation function in the first coordinate transformation function according to the inclination of a straight line the defined using three-dimensional data of the fixed point relative to the coordinate axes of the predetermined given coordinate system (S52, S54)
A method of correcting a coordinate transformation function characterized by the above.
コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、
前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、
前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、
前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させたうえで、前記支持機構を変形させて前記３次元形状測定装置を前記予め決めた所定の座標系の座標軸と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、
前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、
前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、
前記３次元画像処理装置に、前記基準物体の３次元形状を測定させた位置間における前記３次元形状測定装置の移動量を前記支持機構の変形状態に応じて計算させ、かつ前記計算させた移動量と、前記予め決めた所定の座標系の座標軸方向のうちで前記３次元形状測定装置の移動方向と異なる座標軸方向の前記基準物体の定点の座標値の変化量とによって定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させることを特徴とする座標変換関数の補正方法。 The three-dimensional shape measuring device (30) supported by the deformable support mechanism (20) measures the three-dimensional shape of the measurement object ,
The measurement information of the measurement object by the three-dimensional shape measuring device is input to a three-dimensional image processing device (42) configured by a computer device (S72), and the three-dimensional shape measurement is performed using the input measurement information. Generating three-dimensional image data representing the three-dimensional shape of the measured object in the coordinate system relating to the apparatus (S74) ;
The three-dimensional image processing apparatus converts the generated three-dimensional image data into three-dimensional image data in a coordinate system related to the deformable support mechanism using a first coordinate transformation function including a coordinate rotation function and a coordinate movement function. The converted three-dimensional image data is converted into three-dimensional image data of a predetermined coordinate system using a second coordinate conversion function that changes according to the deformation state of the support mechanism (S76). ),
In the correction method of the coordinate transformation function for correcting the first coordinate transformation function applied to the three-dimensional image generation system capable of displaying the measurement object as viewed from an arbitrary direction,
The direction of the coordinate axis in the coordinate system related to the three-dimensional shape measuring apparatus is matched with the direction of the coordinate axis of the predetermined coordinate system, and the support mechanism is deformed to change the three-dimensional shape measuring apparatus to the Move in parallel with the coordinate axis of a predetermined coordinate system determined in advance, and measure the three-dimensional shape of the reference object placed in the measurement target space of the three-dimensional shape measuring device in the three-dimensional shape measuring device at at least two positions. Let
The measurement information of the reference object by the three-dimensional shape measurement device measured at the at least two positions is input to the three-dimensional image processing device, and the coordinate system in the coordinate system related to the three-dimensional shape measurement device is set for each measurement position. Generating three-dimensional image data representing the three-dimensional shape of the reference object (S42);
The reference object measured at the at least two positions using the first coordinate transformation function, the second coordinate transformation function, and the generated three-dimensional image data for each measurement position in the three-dimensional image processing apparatus. The three-dimensional data representing the fixed point in the predetermined coordinate system is calculated (S44, S46, S48, S50),
The 3-dimensional image processing apparatus, an amount of movement of the three-dimensional shape measurement equipment between the three-dimensional shape was measured positions of the reference object is calculated according to the deformed state of the support mechanism, and was the calculated A straight line defined by the amount of movement and the amount of change in the coordinate value of the fixed point of the reference object in the coordinate axis direction different from the movement direction of the three-dimensional shape measuring device among the coordinate axis directions of the predetermined coordinate system. A method for correcting a coordinate transformation function, comprising correcting a coordinate rotation function in the first coordinate transformation function according to an inclination .
コンピュータ装置によって構成した３次元画像処理装置（４２）に、前記３次元形状測定装置による測定対象物の測定情報を入力させ（Ｓ７２）、かつ前記入力させた測定情報を用いて前記３次元形状測定装置に関する座標系における前記測定した測定対象物の３次元形状を表す３次元画像データを生成させ（Ｓ７４）、
前記３次元画像処理装置に、前記生成させた３次元画像データを座標回転関数と座標移動関数とからなる第１座標変換関数を用いて前記変形可能な支持機構に関する座標系における３次元画像データに変換させ、かつ前記変換させた３次元画像データを前記支持機構の変形状態に応じて変化する第２座標変換関数を用いて予め決めた所定の座標系の３次元画像データに変換させて（Ｓ７６）、
前記測定対象物を任意の方向から見て表示可能な３次元画像生成システムに適用される第１座標変換関数を補正する座標変換関数の補正方法において、
前記３次元形状測定装置に関する座標系における座標軸の方向と、前記予め決めた所定の座標系の座標軸の方向とを一致させない状態で、前記支持機構を変形させて前記３次元形状測定装置を前記３次元形状測定装置に関する座標系における座標軸の方向と平行に移動させ、少なくとも２つの位置で前記３次元形状測定装置に前記３次元形状測定装置の測定対象空間内に配置された基準物体の３次元形状を測定させ、
前記３次元画像処理装置に、前記少なくとも２つの位置で測定した前記３次元形状測定装置による基準物体の測定情報を入力させ、かつ前記各測定位置ごとに前記３次元形状測定装置に関する座標系における前記基準物体の３次元形状を表す３次元画像データを生成させ（Ｓ４２）、
前記３次元画像処理装置に、前記支持機構の変形状態に応じて前記予め決めた所定の座標系の３次元データを前記移動させた３次元形状測定装置の座標系の３次元データに変換するための座標変換補正関数を計算させ（Ｓ４２，Ｓ４５）、
前記３次元画像処理装置に、前記第１座標変換関数、前記第２座標変換関数および前記生成された各測定位置ごとの３次元画像データを用いて、前記少なくとも２つの位置で測定した前記基準物体の定点を前記予め決めた所定の座標系で表す３次元データを計算させ、かつ前記計算させた予め決めた所定の座標系で表す３次元データを前記座標変換補正関数を用いて前記移動させた３次元形状測定装置の座標系の３次元データに変換させ（Ｓ４４、Ｓ４６，Ｓ４８，Ｓ５０）、
前記３次元画像処理装置に、前記移動させた３次元形状測定装置の座標系の座標軸に対する前記変換された定点の３次元データを用いて定義される直線の傾きに応じて前記第１座標変換関数における座標回転関数を補正させる（Ｓ５２，Ｓ５４）
ことを特徴とする座標変換関数の補正方法。 The three-dimensional shape measuring device (30) supported by the deformable support mechanism (20) measures the three-dimensional shape of the measurement object,
The measurement information of the measurement object by the three-dimensional shape measuring device is input to a three-dimensional image processing device (42) configured by a computer device (S72), and the three-dimensional shape measurement is performed using the input measurement information. Generating three-dimensional image data representing the three-dimensional shape of the measured object in the coordinate system relating to the apparatus (S74) ;
The three-dimensional image processing apparatus converts the generated three-dimensional image data into three-dimensional image data in a coordinate system related to the deformable support mechanism using a first coordinate transformation function including a coordinate rotation function and a coordinate movement function. The converted three-dimensional image data is converted into three-dimensional image data of a predetermined coordinate system using a second coordinate conversion function that changes according to the deformation state of the support mechanism (S76). ),
In the correction method of the coordinate transformation function for correcting the first coordinate transformation function applied to the three-dimensional image generation system capable of displaying the measurement object as viewed from an arbitrary direction,
The support mechanism is deformed so that the three-dimensional shape measuring apparatus is the three-dimensional shape measuring apparatus in a state where the direction of the coordinate axes in the coordinate system related to the three-dimensional shape measuring apparatus does not coincide with the direction of the coordinate axes of the predetermined coordinate system. parallel to move the direction of the coordinate axes in the coordinate system relating to dimensional shape measuring device, at least two three-dimensional measurement target placed reference objects in the space of the three-dimensional shape measuring apparatus in the three-dimensional shape measuring device at the location Let me measure the shape,
The measurement information of the reference object by the three-dimensional shape measurement device measured at the at least two positions is input to the three-dimensional image processing device, and the coordinate system in the coordinate system related to the three-dimensional shape measurement device is set for each measurement position. Generating three-dimensional image data representing the three-dimensional shape of the reference object (S42);
To convert the three-dimensional data of the predetermined coordinate system determined in advance according to the deformation state of the support mechanism into the three-dimensional data of the coordinate system of the moved three-dimensional shape measuring apparatus. The coordinate conversion correction function is calculated (S42, S45),
The reference object measured at the at least two positions using the first coordinate transformation function, the second coordinate transformation function, and the generated three-dimensional image data for each measurement position in the three-dimensional image processing apparatus. The three-dimensional data representing the fixed point in the predetermined coordinate system is calculated , and the calculated three-dimensional data expressed in the predetermined coordinate system is moved using the coordinate transformation correction function. Converted into the three-dimensional data of the coordinate system of the three-dimensional shape measuring apparatus (S44, S46, S48, S50),
In the three-dimensional image processing apparatus, the first coordinate conversion function is set in accordance with the inclination of a straight line defined using the three-dimensional data of the converted fixed point with respect to the coordinate axis of the coordinate system of the moved three-dimensional shape measuring apparatus. The coordinate rotation function at is corrected (S52, S54).
A method of correcting a coordinate transformation function characterized by the above .
前記支持機構に固定した触診を前記基準物体の複数個所に接触させ、
前記３次元画像処理装置に、前記触針を接触させた複数個所ごとの前記支持機構の変形状態に応じて前記基準物体の定点を前記予め決めた所定の座標系で表わす３次元データを、特定の定点を表わす３次元データとして計算させ（Ｓ１２〜Ｓ１６）、
前記３次元画像処理装置に、前記３次元形状測定装置によって測定した３次元画像データに基づいて前記基準物体の定点を前記３次元形状測定装置に関する座標系で表わす３次元データを計算させ、かつ前記計算させた３次元形状測定装置に関する座標系で表わす３次元データを、前記座標回転関数を補正した第１座標変換関数と、前記３次元形状測定装置による３次元画像データの測定時における前記支持機構の変形状態に応じた第２座標変換関数とを用いて、前記予め決めた所定の座標系で表す３次元データに変換させ（Ｓ５６〜Ｓ６０）、
前記３次元画像処理装置に、前記変換させて前記予め決めた所定の座標系で表された定点の３次元データと、前記計算させた特定の定点の３次元データとの差に応じて、前記第１座標変換関数の座標移動関数を補正させる（Ｓ６２，Ｓ６４）
ことを特徴とする座標変換関数の補正方法。 The method for correcting a coordinate transformation function according to any one of claims 1 to 3, further comprising:
Touching palpation fixed to the support mechanism to a plurality of locations of the reference object,
Wherein the three-dimensional image processing apparatus, the three-dimensional data representing a fixed point of the reference object at the predetermined given coordinate system in accordance with the state of deformation of the support mechanism for each plurality of positions obtained by contacting the probe, the specific Calculated as three-dimensional data representing a fixed point (S12 to S16),
Causing the three-dimensional image processing device to calculate three-dimensional data representing a fixed point of the reference object in a coordinate system related to the three-dimensional shape measuring device based on the three-dimensional image data measured by the three-dimensional shape measuring device; and The three-dimensional data represented in the coordinate system relating to the calculated three-dimensional shape measuring apparatus, the first coordinate transformation function in which the coordinate rotation function is corrected, and the support mechanism when measuring the three-dimensional image data by the three-dimensional shape measuring apparatus Using the second coordinate conversion function according to the deformation state of the above, it is converted into three-dimensional data represented in the predetermined coordinate system (S56 to S60),
The 3-dimensional image processing apparatus, according to the difference between the previous SL advance and 3-dimensional data of the fixed point represented by a predetermined coordinate system decided, specific 3-dimensional data of a fixed point obtained by the calculation by the conversion, make correct coordinate movement function of the first coordinate transformation function number (S62, S64)
A method of correcting a coordinate transformation function characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123197A JP4491687B2 (en) | 2005-04-21 | 2005-04-21 | Coordinate transformation function correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123197A JP4491687B2 (en) | 2005-04-21 | 2005-04-21 | Coordinate transformation function correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006301991A JP2006301991A (en) | 2006-11-02 |
| JP4491687B2 true JP4491687B2 (en) | 2010-06-30 |
Family
ID=37470197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005123197A Active JP4491687B2 (en) | 2005-04-21 | 2005-04-21 | Coordinate transformation function correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4491687B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102692202A (en) * | 2012-01-11 | 2012-09-26 | 河南科技大学 | Reverse measurement method |
| CN103411574A (en) * | 2013-08-14 | 2013-11-27 | 西北工业大学 | Aviation engine blade profile three-coordinate measuring method |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006031580A1 (en) | 2006-07-03 | 2008-01-17 | Faro Technologies, Inc., Lake Mary | Method and device for the three-dimensional detection of a spatial area |
| JP4834524B2 (en) * | 2006-11-20 | 2011-12-14 | ローランドディー．ジー．株式会社 | Three-dimensional shape measuring method and apparatus |
| JP4863006B2 (en) * | 2006-12-28 | 2012-01-25 | パルステック工業株式会社 | 3D shape measurement method |
| ATE452379T1 (en) | 2007-10-11 | 2010-01-15 | Mvtec Software Gmbh | SYSTEM AND METHOD FOR 3D OBJECT RECOGNITION |
| JP5319271B2 (en) * | 2008-12-26 | 2013-10-16 | 川崎重工業株式会社 | ROBOT TOOL POSITION DETECTING METHOD, ROBOT AND OBJECT RELATIVE POSITION DETECTING METHOD AND DEVICE |
| US9551575B2 (en) | 2009-03-25 | 2017-01-24 | Faro Technologies, Inc. | Laser scanner having a multi-color light source and real-time color receiver |
| DE102009015920B4 (en) | 2009-03-25 | 2014-11-20 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
| KR101622659B1 (en) * | 2009-10-29 | 2016-05-20 | 대우조선해양 주식회사 | Calibration method of robot and laser vision system |
| US9113023B2 (en) | 2009-11-20 | 2015-08-18 | Faro Technologies, Inc. | Three-dimensional scanner with spectroscopic energy detector |
| US9529083B2 (en) | 2009-11-20 | 2016-12-27 | Faro Technologies, Inc. | Three-dimensional scanner with enhanced spectroscopic energy detector |
| DE102009057101A1 (en) | 2009-11-20 | 2011-05-26 | Faro Technologies, Inc., Lake Mary | Device for optically scanning and measuring an environment |
| US8630314B2 (en) | 2010-01-11 | 2014-01-14 | Faro Technologies, Inc. | Method and apparatus for synchronizing measurements taken by multiple metrology devices |
| US8615893B2 (en) | 2010-01-20 | 2013-12-31 | Faro Technologies, Inc. | Portable articulated arm coordinate measuring machine having integrated software controls |
| GB2490812A (en) | 2010-01-20 | 2012-11-14 | Faro Tech Inc | Use of inclinometers to improve relocation of a portable articulated arm coordinate measuring machine |
| GB2489370B (en) | 2010-01-20 | 2014-05-14 | Faro Tech Inc | Coordinate measuring machine having an illuminated probe end and method of operation |
| US8677643B2 (en) | 2010-01-20 | 2014-03-25 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| CN102713776B (en) | 2010-01-20 | 2015-04-22 | 法罗技术股份有限公司 | Portable articulated arm coordinate measuring machine with multi-bus arm technology |
| US8898919B2 (en) | 2010-01-20 | 2014-12-02 | Faro Technologies, Inc. | Coordinate measurement machine with distance meter used to establish frame of reference |
| US9607239B2 (en) | 2010-01-20 | 2017-03-28 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| US9879976B2 (en) | 2010-01-20 | 2018-01-30 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features |
| US8875409B2 (en) | 2010-01-20 | 2014-11-04 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| US8832954B2 (en) | 2010-01-20 | 2014-09-16 | Faro Technologies, Inc. | Coordinate measurement machines with removable accessories |
| US9628775B2 (en) | 2010-01-20 | 2017-04-18 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
| CN101852593A (en) * | 2010-05-06 | 2010-10-06 | 深南电路有限公司 | Automatic optical inspection equipment, light measuring tool plate and light adjusting method thereof |
| EP2385483B1 (en) | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
| DE102010020925B4 (en) | 2010-05-10 | 2014-02-27 | Faro Technologies, Inc. | Method for optically scanning and measuring an environment |
| JP2013539541A (en) | 2010-09-08 | 2013-10-24 | ファロ テクノロジーズ インコーポレーテッド | Laser scanner or laser tracking device having a projector |
| US9168654B2 (en) | 2010-11-16 | 2015-10-27 | Faro Technologies, Inc. | Coordinate measuring machines with dual layer arm |
| JP5693978B2 (en) * | 2011-01-11 | 2015-04-01 | 株式会社ミツトヨ | Image probe calibration method |
| DE102012100609A1 (en) | 2012-01-25 | 2013-07-25 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
| CN102645202B (en) * | 2012-05-11 | 2014-09-10 | 厦门大学 | Method for measuring contour of large-caliber aspheric-surface workpiece |
| US8997362B2 (en) | 2012-07-17 | 2015-04-07 | Faro Technologies, Inc. | Portable articulated arm coordinate measuring machine with optical communications bus |
| CN102749060A (en) * | 2012-07-23 | 2012-10-24 | 湘电集团有限公司 | Test control method and system for large-aperture disc type parabolic surface mirror |
| CN102853779A (en) * | 2012-08-24 | 2013-01-02 | 大连宏海新能源发展有限公司 | Shape surface error detection method for lens unit of solar-powered disc type light-gathering system |
| US9513107B2 (en) | 2012-10-05 | 2016-12-06 | Faro Technologies, Inc. | Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner |
| DE102012109481A1 (en) | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Device for optically scanning and measuring an environment |
| US10067231B2 (en) | 2012-10-05 | 2018-09-04 | Faro Technologies, Inc. | Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner |
| CN103486996B (en) * | 2013-08-14 | 2016-01-20 | 西北工业大学 | The blade of aviation engine profile measurement method of unknown cad model |
| CN104504197B (en) * | 2014-12-21 | 2017-09-08 | 浙江省计量科学研究院 | A kind of eccentric parameter modification method of spiral of Archimedes flat thread |
| DE102015122844A1 (en) | 2015-12-27 | 2017-06-29 | Faro Technologies, Inc. | 3D measuring device with battery pack |
| CN106017319B (en) * | 2016-05-24 | 2019-02-15 | 北京建筑大学 | A kind of laser scanning data coordinate crossover tool and method based on high-precision Point Measurement |
| CN106441147B (en) * | 2016-08-30 | 2019-02-12 | 中航动力股份有限公司 | A kind of method for building up for essence casting moving turbine blade three dimensional optical measuring benchmark |
| CN107993530A (en) * | 2018-01-19 | 2018-05-04 | 华北理工大学 | A kind of coordinate conversion presentation teaching aid |
| CN112595280B (en) * | 2020-12-21 | 2022-02-01 | 吉林大学 | Method for measuring angled complex surface shape |
| CN117129956B (en) * | 2023-10-27 | 2024-04-09 | 深圳绿米联创科技有限公司 | Positioning correction method, device, detection equipment, computer equipment and storage medium |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2520660B2 (en) * | 1987-09-22 | 1996-07-31 | 三菱電機株式会社 | Remotely operated manipulator device |
| JP2678002B2 (en) * | 1988-02-10 | 1997-11-17 | 株式会社日立製作所 | Coordinate system calibration method for a robot with vision |
| JP2932445B2 (en) * | 1990-07-11 | 1999-08-09 | 株式会社安川電機 | Camera coordinate system deviation correction method |
| JPH06120304A (en) * | 1992-10-02 | 1994-04-28 | Nikon Corp | Alignment method |
| JP2970835B2 (en) * | 1995-08-14 | 1999-11-02 | 日本電気株式会社 | 3D coordinate measuring device |
| JPH11271033A (en) * | 1998-03-25 | 1999-10-05 | Sumitomo Metal Mining Co Ltd | Imaging apparatus for three-dimensional shape object |
| JP2002328013A (en) * | 2001-04-27 | 2002-11-15 | Minolta Co Ltd | System for measuring three-dimensional shape, data calibrating method and program of system for measuring three-dimensional shape |
| JP4423811B2 (en) * | 2001-04-27 | 2010-03-03 | コニカミノルタセンシング株式会社 | Three-dimensional shape measurement system and three-dimensional shape measurement method |
| JP3944091B2 (en) * | 2003-02-06 | 2007-07-11 | パルステック工業株式会社 | 3D image data generation method |
| JP2004257927A (en) * | 2003-02-27 | 2004-09-16 | Pulstec Industrial Co Ltd | Three-dimensional profile measuring system and method for measuring the same |
-
2005
- 2005-04-21 JP JP2005123197A patent/JP4491687B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102692202A (en) * | 2012-01-11 | 2012-09-26 | 河南科技大学 | Reverse measurement method |
| CN103411574A (en) * | 2013-08-14 | 2013-11-27 | 西北工业大学 | Aviation engine blade profile three-coordinate measuring method |
| CN103411574B (en) * | 2013-08-14 | 2016-01-20 | 西北工业大学 | Blade of aviation engine profile three-coordinate measuring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006301991A (en) | 2006-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4491687B2 (en) | Coordinate transformation function correction method | |
| JP2004257927A (en) | Three-dimensional profile measuring system and method for measuring the same | |
| JP5599524B2 (en) | Automatic measurement of dimensional data by laser tracker | |
| US10107618B2 (en) | Coordinate measuring machine | |
| JP5378374B2 (en) | Method and system for grasping camera position and direction relative to real object | |
| JP4443497B2 (en) | Multi-degree-of-freedom robot positioning error correction apparatus and positioning error correction method | |
| JP4015161B2 (en) | Industrial robot controller | |
| WO2018204112A1 (en) | Triangulation scanner having flat geometry and projecting uncoded spots | |
| JP4691581B2 (en) | Underwater moving object position detection device | |
| WO2014128299A1 (en) | Projection system | |
| JP2013228326A (en) | Shape measuring method and shape measuring apparatus | |
| JP7287793B2 (en) | Target device and survey system | |
| JP6973233B2 (en) | Image processing system, image processing device and image processing program | |
| JP2009058503A (en) | Method and system for noncontact coordinate measurement on object surface | |
| JP2004239747A (en) | Three-dimensional image data generation method | |
| JP6503278B2 (en) | Shape measuring apparatus and shape measuring method | |
| JP2009222568A (en) | Method, device, and computer program of generating three-dimensional shape data | |
| JP4291178B2 (en) | 3D shape measuring system, measuring method, and 3D shape measuring stage device | |
| JP4375710B2 (en) | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method | |
| JP7439410B2 (en) | Image processing device, image processing method and program | |
| JP2000205821A (en) | Instrument and method for three-dimensional shape measurement | |
| JP4791568B2 (en) | 3D measuring device | |
| JP2010164532A (en) | Surface property measuring device, its contactor model forming method, and program | |
| JP2005172610A (en) | Three-dimensional measurement apparatus | |
| JP4443523B2 (en) | Coordinate conversion function acquisition method and coordinate conversion function acquisition program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100323 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |