JP2020197495A - Information processing apparatus, measuring device, information processing method, program, system, and method for manufacturing article - Google Patents

Abstract

To make it possible to measure the three-dimensional shape of an object with high accuracy.SOLUTION: An information processing apparatus calculates the distance to an object, and comprises processing means that determines an identification feature included in pattern light from an image obtained by imaging means picking up an image of the object on which the pattern light is projected and determines the position of the identification feature on the image as a detection position, acquires an epipolar line on the pattern light corresponding to the detection position based on a parameter for the imaging means, the parameter according to the distance to the object, acquires a corresponding position on the pattern light corresponding to the detection position based on the acquired epipolar line, and calculates the distance to the object based on the corresponding position.SELECTED DRAWING: Figure 2

Description

本発明は、情報処理装置等に関する。 The present invention relates to an information processing device and the like.

従来、物体の３次元形状の計測手法として、照明パターンをプロジェクタで物体に投影し、照明パターンと、カメラで撮影した画像上の照明パターンとの対応から三角測量の原理に基づき形状計測する方法が知られている（特許文献１）。
この手法では、照明パターンに特徴を付与し、画像上の特徴から照明パターン上にエピポーラ線を投影し、エピポーラ線上を探索することにより照明パターンと画像上のパターンを対応付け、三角測量に基づく３次元形状計測を可能にしている。 Conventionally, as a method for measuring the three-dimensional shape of an object, a method of projecting an illumination pattern on the object with a projector and measuring the shape based on the principle of triangulation from the correspondence between the illumination pattern and the illumination pattern on the image taken by the camera has been used. It is known (Patent Document 1).
In this method, features are added to the illumination pattern, epipolar lines are projected onto the illumination pattern from the features on the image, and the illumination pattern is associated with the pattern on the image by searching on the epipolar line, and 3 based on triangulation. It enables dimensional shape measurement.

特許文献１に記載の方法では、マルチスリットの計測線上にランダムに切欠きを加えたパターンを利用して３次元形状の計測をしている。この方法では、計測線が切欠きにより複数の線分に分割されており、計測線を識別するために、この線分上の切欠きの位置を手掛かりにして計算している。 In the method described in Patent Document 1, the three-dimensional shape is measured by using a pattern in which notches are randomly added on the measurement line of the multi-slit. In this method, the measurement line is divided into a plurality of line segments by a notch, and in order to identify the measurement line, the position of the notch on this line segment is used as a clue for calculation.

特開２０１５−１５５８８６号公報JP-A-2015-155886

一般に、ピンホールカメラモデルを用いてカメラ、プロジェクタをモデル化するが、歪みをもつレンズ系ではピンホールモデルと乖離があるため、前記エピポーラ線はカメラと被写体の距離に応じて変わる。そのため、高精度に３次元形状を計測するには歪みの少ない高価なレンズ系を使用する必要があった。 Generally, a camera and a projector are modeled using a pinhole camera model, but since there is a deviation from the pinhole model in a lens system having distortion, the epipolar line changes according to the distance between the camera and the subject. Therefore, in order to measure the three-dimensional shape with high accuracy, it is necessary to use an expensive lens system with less distortion.

本発明は前述の問題点に鑑み、歪みを有するレンズ系を有する投影系や撮像系を用いた場合にも、高精度に物体までの距離を求めることができる情報処理装置を提供することを目的としている。 In view of the above-mentioned problems, it is an object of the present invention to provide an information processing apparatus capable of obtaining a distance to an object with high accuracy even when a projection system or an imaging system having a lens system having distortion is used. It is supposed to be.

対象物までの距離を計算する情報処理装置であって、
パターン光が投影された対象物を撮像手段により撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求め、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、
取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得し、
前記対応位置に基づいて対象物までの距離を計算する処理手段、
を有することを特徴とする。 An information processing device that calculates the distance to an object.
The identification feature contained in the pattern light is detected from the image obtained by imaging the object on which the pattern light is projected by the imaging means, and the position of the identification feature on the image is obtained as the detection position.
The epipolar line on the pattern light corresponding to the detection position is acquired based on the parameter of the imaging means and corresponding to the distance to the object.
Based on the acquired epipolar line, the corresponding position on the pattern light corresponding to the detection position is acquired, and the corresponding position is acquired.
A processing means for calculating the distance to an object based on the corresponding position,
It is characterized by having.

本発明によれば、高精度に物体までの距離を求めることができる。 According to the present invention, the distance to an object can be obtained with high accuracy.

計測線上に特徴を加えたパターンの一例を示す図である。It is a figure which shows an example of the pattern which added the feature on the measurement line. 実施例の装置構成の一例を示す図である。It is a figure which shows an example of the apparatus configuration of an Example. 実施例の計測フローを示す図である。It is a figure which shows the measurement flow of an Example. 実施例１において、投影パターンの特徴を基にエピポーラ探索により対応する画像中の特徴点を探索する方法を示した図である。It is a figure which showed the method of searching the feature point in the corresponding image by epipolar search based on the feature of the projection pattern in Example 1. FIG. ランダムに特徴を配置したパターンの一例を示す図である。It is a figure which shows an example of the pattern which arranged the feature at random. 実施例２において、投影パターンの特徴を基にエピポーラ探索により対応する画像中の特徴点を探索する方法を示した図である。FIG. 2 is a diagram showing a method of searching for feature points in a corresponding image by epipolar search based on the features of a projection pattern in Example 2. 画像座標系からパターン座標系へのエピポーラ線の投影を示す図である。It is a figure which shows the projection of the epipolar line from the image coordinate system to the pattern coordinate system. 実施例１における変形例において画像上の各画素に対する識別コストのテーブルを示した図である。It is a figure which showed the table of the identification cost for each pixel on the image in the modification of Example 1. FIG. 校正データ格納部に格納された校正データの一例を示した図である。It is a figure which showed an example of the calibration data stored in the calibration data storage part. 本実施例のエピポーラ探索の詳細フローを示した図である。It is a figure which showed the detailed flow of the epipolar search of this Example. 実施例３の３次元計測装置とロボットアームを含む制御システムを示す図である。It is a figure which shows the control system including the 3D measuring apparatus and a robot arm of Example 3.

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In each figure, the same members or elements are given the same reference numbers, and duplicate explanations are omitted or simplified.

本実施例では、マルチスリットパターン投影に基づき高精度に物体の３次元形状を計測する手法について説明する。本実施例では、図１に示すように、マルチスリットパターンの計測線１０１上に各計測線を識別するための識別特徴１０２を加えたパターン（パターン光）１００を利用する。本実施例では、計測線の切欠きを識別特徴１０２として用いる。以下、本実施例の詳細について説明する。
図２に、本実施例における計測装置の機能構成例を示す。 In this embodiment, a method of measuring the three-dimensional shape of an object with high accuracy based on the projection of a multi-slit pattern will be described. In this embodiment, as shown in FIG. 1, a pattern (pattern light) 100 in which an identification feature 102 for identifying each measurement line is added on a measurement line 101 of a multi-slit pattern is used. In this embodiment, the notch of the measurement line is used as the identification feature 102. The details of this embodiment will be described below.
FIG. 2 shows an example of the functional configuration of the measuring device in this embodiment.

本実施例の３次元計測装置２５０は、情報処理装置２００、投影装置（投影手段）２１０、撮像装置（撮像手段）２２０から構成される。情報処理装置２００は、パターン出力部２０１、画像取得部２０２、パターン検出部２０３、パターン識別部２０４、３次元計測部２０５、校正データ格納部２０６を備えている。また、情報処理装置２００にはコンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。また、後述の対応位置取得手段及び計算手段（演算処理手段）としても機能する。情報処理装置２００は、３次元計測装置２５０以外の外部の装置に設けられていてもよい。あるいはＰＣに本実施例に対応したソフトウェアをインストールすることによって実現しても良い。 The three-dimensional measuring device 250 of this embodiment includes an information processing device 200, a projection device (projection means) 210, and an image pickup device (imaging means) 220. The information processing device 200 includes a pattern output unit 201, an image acquisition unit 202, a pattern detection unit 203, a pattern identification unit 204, a three-dimensional measurement unit 205, and a calibration data storage unit 206. Further, the information processing device 200 has a built-in CPU as a computer, and functions as a control means for executing various operations of the entire device based on a computer program stored in a memory (not shown). It also functions as a corresponding position acquisition means and a calculation means (calculation processing means) described later. The information processing device 200 may be provided in an external device other than the three-dimensional measuring device 250. Alternatively, it may be realized by installing software corresponding to this embodiment on a PC.

投影装置２１０は例えばプロジェクタであり、濃淡を有する所定のパターンを投影する装置である。なお、投影装置２１０の焦点距離や、主点位置、レンズ歪パラメータなどの内部パラメータ、及び撮像装置２２０に対する投影装置２１０の相対的な位置姿勢の情報は予め校正されているものとする。 The projection device 210 is, for example, a projector, which is a device that projects a predetermined pattern having shading. It is assumed that the focal length of the projection device 210, the position of the principal point, the internal parameters such as the lens distortion parameter, and the information on the relative position and orientation of the projection device 210 with respect to the image pickup device 220 are calibrated in advance.

撮像装置２２０は、濃淡画像を撮影するカメラである。同様に、撮像装置２２０の焦点距離や主点位置、レンズ歪パラメータなどの内部パラメータ情報も予め校正されているものとする。なお、校正方法については、例えば、Ｍ． Ｋｉｍｕｒａ， “Ｐｒｏｊｅｃｔｏｒ Ｃａｌｉｂｒａｔｉｏｎ ｕｓｉｎｇ Ａｒｂｉｔｒａｒｙ Ｐｌａｎｅｓ ａｎｄ Ｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａ” ２００７ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、に示表してされる方法を用いる。 The image pickup device 220 is a camera that captures a shade image. Similarly, it is assumed that the internal parameter information such as the focal length, the principal point position, and the lens distortion parameter of the image pickup apparatus 220 is calibrated in advance. Regarding the calibration method, for example, M.I. Kimura, “Projector Calibration Using Arbitrari Planes and Calibrated Camera” 2007 IEEE Computer Vision and Pattern Recognition, is used.

パターン出力部２０１は、計測対象物体２３０に投影するためのパターンの情報を投影装置２１０に出力する。画像取得部２０２は、パターン１００が投影された物体を撮像した画像を撮像装置２２０から取得する。パターン検出部２０３は、画像取得部２０２が取得した画像から、投影装置２１０によって投影されたパターン１００の計測線１０１と識別特徴１０２を検出する。パターン識別部２０４は、パターン検出部２０３により検出された識別特徴１点毎に計測線番号を識別する。つまり、画像から検出された識別特徴が、マルチスリットの何れの計測線上の識別特徴であるかを識別する。これによって、画像取得部２０２が取得した画像から検出された各計測線とパターン１００の計測線とが対応付けされる。 The pattern output unit 201 outputs pattern information for projecting onto the measurement target object 230 to the projection device 210. The image acquisition unit 202 acquires an image obtained by capturing an object on which the pattern 100 is projected from the image pickup device 220. The pattern detection unit 203 detects the measurement line 101 and the identification feature 102 of the pattern 100 projected by the projection device 210 from the image acquired by the image acquisition unit 202. The pattern identification unit 204 identifies the measurement line number for each identification feature detected by the pattern detection unit 203. That is, it identifies which of the measurement lines of the multi-slit the identification feature detected from the image is the identification feature. As a result, each measurement line detected from the image acquired by the image acquisition unit 202 is associated with the measurement line of the pattern 100.

３次元計測部２０５は、パターン識別部２０４の識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の３次元点の位置を算出する。校正データ格納部２０６は、投影装置２１０、撮像装置２２０の内部パラメータ、外部パラメータなどの校正データを格納する記憶手段としてのメモリを含む。校正データ格納部２０６は図９に示すような校正データを記憶している。前記校正データは距離に応じた各種内部パラメータと距離に応じない、基準として用いる各種パラメータを含む。
次に、本実施例の処理手順について説明する。図３は、本実施例により３次元形状を計測する処理手順の一例を示すフローチャートである。また以下の手順は不図示のメモリに記憶されたコンピュータプログラムに基づき情報処理装置２００がコンピュータとして機能することによって実行される。
（ステップＳ３０１） The three-dimensional measurement unit 205 calculates the position of the three-dimensional point on the surface of the measurement target object 230 on which the pattern is projected, based on the identification result of the pattern identification unit 204. The calibration data storage unit 206 includes a memory as a storage means for storing calibration data such as internal parameters and external parameters of the projection device 210 and the image pickup device 220. The calibration data storage unit 206 stores calibration data as shown in FIG. The calibration data includes various internal parameters depending on the distance and various parameters used as a reference not according to the distance.
Next, the processing procedure of this embodiment will be described. FIG. 3 is a flowchart showing an example of a processing procedure for measuring a three-dimensional shape according to the present embodiment. Further, the following procedure is executed by the information processing apparatus 200 functioning as a computer based on a computer program stored in a memory (not shown).
(Step S301)

パターン出力部２０１は、投影するパターンの情報を投影装置２１０に出力し、投影装置２１０が計測対象物体２３０にパターン１００を投影する。投影するパターンは、計測線部分とパターンの背景部分とにおいて画像上で異なる輝度値で観測されるように設定する。 The pattern output unit 201 outputs the information of the pattern to be projected to the projection device 210, and the projection device 210 projects the pattern 100 on the measurement target object 230. The pattern to be projected is set so that the measurement line portion and the background portion of the pattern are observed with different brightness values on the image.

また、投影するパターン１００は、計測線が粗密なく投影されるように等間隔に配置する。さらに識別特徴は、識別性能を上げるために、異なる線同士で識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置する。本実施例では、計測線上の識別特徴の間隔をＬ＋ΔＬとして設定する。ΔＬは所定の範囲［−ε〜ε］で発生させる一様乱数であり、Ｌとεはあらかじめ設定しておく。
（ステップＳ３０２）
撮像装置２２０は、パターンが投影された計測対象物体２３０の画像を撮影し、画像取得部２０２はその画像を撮像装置２２０から取得する。
（ステップＳ３０３） Further, the patterns 100 to be projected are arranged at equal intervals so that the measurement lines are projected without density. Further, in order to improve the identification performance, the identification features are arranged at different unequal intervals for each measurement line so that the correlation between the positions of the identification features is low among the different lines. In this embodiment, the interval between the identification features on the measurement line is set as L + ΔL. ΔL is a uniform random number generated in a predetermined range [−ε to ε], and L and ε are set in advance.
(Step S302)
The image pickup device 220 captures an image of the measurement target object 230 on which the pattern is projected, and the image acquisition unit 202 acquires the image from the image pickup device 220.
(Step S303)

パターン検出部２０３は、画像取得部２０２が取得した画像から、計測線１０１と識別特徴１０２とを検出する。まず、画像から計測線を検出する前に、画像上の計測線と識別特徴との画素値の差が影響して識別特徴を境に計測線が分割された状態で検出されないように、画像に平滑化フィルタをかけ、計測線と識別特徴との画素値の差を少なくする。 The pattern detection unit 203 detects the measurement line 101 and the identification feature 102 from the image acquired by the image acquisition unit 202. First, before detecting the measurement line from the image, the image is displayed so that the measurement line is not detected in a state where the measurement line is divided at the identification feature due to the influence of the difference in the pixel value between the measurement line on the image and the identification feature. A smoothing filter is applied to reduce the difference in pixel values between the measurement line and the identification feature.

そして、画像に平滑化フィルタをかけた後に、計測線を検出する。具体的には、平滑化後の画像に対して微分フィルタを適用して画像上の画素値の極値（以降、エッジと呼ぶ）を検出した後に、画素間で隣接するエッジをラベリングすることにより計測線を検出する。そして、識別特徴を検出する。識別特徴を検出する際には、検出した計測線上の画素値（平滑化前の画像の画素値）のうち、周囲の画素と異なる画素値を持つ画素を探索することによって識別特徴を検出する。具体的には、計測線上の画素値を参照し、極値になる画素を識別特徴として検出する。
（ステップＳ３０４） Then, after applying a smoothing filter to the image, the measurement line is detected. Specifically, by applying a differential filter to the smoothed image to detect the extreme value of the pixel value (hereinafter referred to as an edge) on the image, and then labeling the adjacent edges between the pixels. Detect the measurement line. Then, the discriminating feature is detected. When detecting the discriminating feature, the discriminating feature is detected by searching for a pixel having a pixel value different from that of the surrounding pixels among the pixel values (pixel values of the image before smoothing) on the detected measurement line. Specifically, the pixel value on the measurement line is referred to, and the pixel that becomes the extreme value is detected as an identification feature.
(Step S304)

パターン識別部２０４は、パターン検出部２０３で検出した識別特徴の画像上の位置を検出位置として検出し、その識別特徴の位置に基づいて、その識別特徴１点毎に計測線番号を識別する。パターン識別部２０４はそのための検出手段として機能している。以下、計測線番号の識別方法について、図４及び図１０を参照しながら説明する。図４（Ａ）に示す画像４００は、計測対象物体４０１を撮像した画像を表し、図４（Ｂ）に示すパターン１００は、計測対象物体４０１に投影したパターンを表す。４０２は計測対象物体４０１上に投影されたパターンを示す。
まず、図１０のステップＳ１００１において、画像４００から検出した識別特徴４０２を１つ選択する。 The pattern identification unit 204 detects the position on the image of the identification feature detected by the pattern detection unit 203 as a detection position, and identifies the measurement line number for each identification feature based on the position of the identification feature. The pattern identification unit 204 functions as a detection means for that purpose. Hereinafter, the method of identifying the measurement line number will be described with reference to FIGS. 4 and 10. The image 400 shown in FIG. 4A represents an image obtained by capturing an image of the measurement target object 401, and the pattern 100 shown in FIG. 4B represents a pattern projected onto the measurement target object 401. Reference numeral 402 denotes a pattern projected on the object to be measured 401.
First, in step S1001 of FIG. 10, one identification feature 402 detected from the image 400 is selected.

次に、ステップＳ１００２において、選択した識別特徴の画像４００上での位置と、撮像装置、投影装置の内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上（パターン光上）におけるエピポーラ線４１１を計算する。エピポーラ線４１１は、図７に示すように、選択した識別特徴の位置から視線方向に伸ばした直線を、パターンの座標系に投影することによって計算される。なお、パターンの座標系におけるエピポーラ線は以下の式（１）で表される。
ｌ＝Ｆｘ （１） Next, in step S1002, on the pattern 100 (pattern light) based on the position of the selected identification feature on the image 400, the internal parameters of the imaging device and the projection device, and the external parameters between the imaging device and the projection device. Calculate the epipolar line 411 in) above). The epipolar line 411 is calculated by projecting a straight line extending in the line-of-sight direction from the position of the selected discriminant feature onto the coordinate system of the pattern, as shown in FIG. The epipolar line in the coordinate system of the pattern is represented by the following equation (1).
l = Fx (1)

ここで、ｌはエピポーラ線（直線）の係数ベクトル、Ｆは内部パラメータおよび外部パラメータより求まる基礎行列、ｘは識別特徴の画像上での座標をそれぞれ表す。
次に、ステップＳ１００３において、パターン１００の複数の計測線から１つの計測線（計測線番号ｊとする）を選択する。
次に、ステップＳ１００４において、各識別特徴からパターンに投影したエピポーラ線と計測線（計測線番号ｊ）との交点位置を計算し、前記交点位置（対応位置候補）から三角測量の原理に基づき対応する距離値を算出する。 Here, l represents the coefficient vector of the epipolar line (straight line), F represents the basic matrix obtained from the internal parameter and the external parameter, and x represents the coordinates of the discriminating feature on the image.
Next, in step S1003, one measurement line (referred to as measurement line number j) is selected from the plurality of measurement lines of the pattern 100.
Next, in step S1004, the intersection position of the epipolar line projected on the pattern from each identification feature and the measurement line (measurement line number j) is calculated, and the intersection position (corresponding position candidate) is used based on the principle of triangulation. Calculate the distance value to be calculated.

次に、ステップＳ１００５において、前記距離値に基づき、前記校正データ格納部２０６から図９に示すような校正データを読み出し、距離に依存する内部パラメータを取得する。なお、上記校正データは事前に対象物と撮像装置の間の距離毎に内部パラメータを取得しておき、校正データ（関数乃至テーブル）として情報処理装置２００内の前記校正データ格納部２０６に保持しておく。なお、図９において、横軸は各種の内部パラメータを表しており、例えばｆｘ、ｆｙは焦点距離に関するパラメータ、ｃｘ、ｃｙは画像の中心に関するパラメータ、ｋ１〜ｋ３は収差等に関するパラメータである。ｐ１、ｐ２はプロジェクタの収差に関するパラメータである。 Next, in step S1005, based on the distance value, calibration data as shown in FIG. 9 is read from the calibration data storage unit 206, and internal parameters depending on the distance are acquired. For the calibration data, internal parameters are acquired in advance for each distance between the object and the imaging device, and the calibration data (function or table) is stored in the calibration data storage unit 206 in the information processing device 200. Keep it. In FIG. 9, the horizontal axis represents various internal parameters. For example, fx and fy are parameters related to the focal length, cx and cy are parameters related to the center of the image, and k1 to k3 are parameters related to aberration and the like. p1 and p2 are parameters related to the aberration of the projector.

そして、選択した識別特徴の画像４００上での位置と、撮像装置、投影装置の距離に依存する内部パラメータと、撮像装置と投影装置との間の外部パラメータを基に、パターン１００上におけるエピポーラ線４１１を再度計算（演算）する。なお、本実施例では撮像装置と投影装置両方について距離に応じた内部パラメータを記憶し、エピポーラ線４１１の再計算において両方を用いているが、撮像装置の内部パラメータだけを記憶し、エピポーラ線４１１の再計算に用いても良い。
更に、前記再計算したエピポーラ線と計測線（計測線番号ｊ）との交点位置を計算する。 Then, the epipolar line on the pattern 100 is based on the position of the selected identification feature on the image 400, the internal parameters depending on the distance between the imaging device and the projection device, and the external parameters between the imaging device and the projection device. 411 is calculated (calculated) again. In this embodiment, the internal parameters according to the distance are stored for both the imaging device and the projection device, and both are used in the recalculation of the epipolar line 411. However, only the internal parameters of the imaging device are stored and the epipolar line 411 is stored. It may be used for recalculation of.
Further, the intersection position between the recalculated epipolar line and the measurement line (measurement line number j) is calculated.

次に、ステップＳ１００６において、前記交点位置と、パターン上の各計測線上の最近傍の識別特徴までの距離Ｄ（ｉ，ｊ）を計算する。ｉは画像上で検出した識別特徴のＩＤを表し、ｊは計測線番号を表す。距離Ｄ（ｉ，ｊ）は、ＩＤ＝ｉの識別特徴に対して計測線番号ｊの計測線が識別される際のコスト（以上、識別コストと呼ぶ）とする。全ての計測線番号ｊの計測線について上記の手順により識別コスト＝距離Ｄ（ｉ，ｊ）を求める。なお、図４（Ｂ）において識別コスト＝距離Ｄ（ｉ，ｊ）は各計測線４１３について、矢印４１２として示されている。 Next, in step S1006, the distance D (i, j) between the intersection position and the nearest neighbor identification feature on each measurement line on the pattern is calculated. i represents the ID of the identification feature detected on the image, and j represents the measurement line number. The distance D (i, j) is a cost (hereinafter referred to as an identification cost) when the measurement line of the measurement line number j is identified with respect to the identification feature of ID = i. For all the measurement lines of the measurement line number j, the identification cost = distance D (i, j) is obtained by the above procedure. In FIG. 4B, the identification cost = distance D (i, j) is indicated by an arrow 412 for each measurement line 413.

最後に、ＩＤ＝ｉの識別特徴に関して、識別コスト＝距離Ｄ（ｉ，ｊ）を最小とする計測線番号ｊが尤もらしい識別結果であると推定する。以上のようにステップＳ３０４は検出位置に対応した前記投影パターン上のエピポーラ線を、前記記憶手段に記憶された計測対象までの距離に応じた前記パラメータに基づいて取得（修正）する。また、前記エピポーラ線に基づき前記検出位置に対応する前記パターン上の対応位置を取得する対応位置取得手段として機能している。
（ステップＳ３０５） Finally, with respect to the identification feature of ID = i, it is estimated that the measurement line number j that minimizes the identification cost = distance D (i, j) is a plausible identification result. As described above, step S304 acquires (corrects) the epipolar line on the projection pattern corresponding to the detection position based on the parameter corresponding to the distance to the measurement target stored in the storage means. Further, it functions as a corresponding position acquisition means for acquiring a corresponding position on the pattern corresponding to the detected position based on the epipolar line.
(Step S305)

３次元計測部２０５は、パターン識別部２０４が計算した識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の３次元点の位置を算出する。この処理では、まず、パターン検出部２０３が検出した計測線から画素を１つ選択する。次に、選択した計測線上の画素の位置と、その同一の計測線上で近傍にある識別特徴から識別した計測線番号の計測線から、三角測量の原理を用いて計測線が投影された先の３次元点の位置を計測する。以上の操作を画像から検出した計測線上の全ての画素について行うことにより、計測対象物体２３０表面の３次元点群を算出することができる。以上のように、ステップＳ３０５は検出位置と、前記対応位置とに基づいて、前記計測対象上の点の３次元位置を計算する計算手段として機能している。 The three-dimensional measurement unit 205 calculates the position of the three-dimensional point on the surface of the measurement target object 230 on which the pattern is projected, based on the identification result calculated by the pattern identification unit 204. In this process, first, one pixel is selected from the measurement lines detected by the pattern detection unit 203. Next, from the position of the pixel on the selected measurement line and the measurement line of the measurement line number identified from the identification feature in the vicinity on the same measurement line, the measurement line is projected using the principle of triangulation. Measure the position of the three-dimensional point. By performing the above operation for all the pixels on the measurement line detected from the image, the three-dimensional point cloud on the surface of the object to be measured 230 can be calculated. As described above, step S305 functions as a calculation means for calculating the three-dimensional position of the point on the measurement target based on the detection position and the corresponding position.

以上のように本実施例の方法によれば、画像において観測する計測線上の識別特徴とパターンの計測線を識別する際に、対象物体までの光軸方向の距離に依存した、撮像装置（及び投影装置）の内部パラメータを考慮するため、高精度の３次元計測を実現できる。 As described above, according to the method of this embodiment, the imaging device (and the imaging device (and) depending on the distance in the optical axis direction to the target object when identifying the identification feature on the measurement line to be observed in the image and the measurement line of the pattern. Since the internal parameters of the projection device) are taken into consideration, highly accurate three-dimensional measurement can be realized.

なお、本実施例において、計測線上に配置する識別特徴は、それが不等間隔に配置されていればどのような配置でも良い。計測線上の識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置しても良いし、同じ不等間隔で識別特徴が配置されている計測線があってもよい。同じ不等間隔で識別特徴が配置されている計測線を持つ場合は、その計測線の識別方法は、例えば同じ特徴配置を持つ計測線の色や太さを変化させ識別特徴以外に両者を識別できる情報を与えていることで、誤識別を起こすことなく識別ができる。なお、画像上で検出した識別特徴からエピポーラ線を引いて対応する計測線を探索する際、図４（Ｂ）のようにエピポーラ線と計測線が垂直にならないように投影装置と撮像装置を配置する。それにより、エピポーラ線の傾き分によってエピポーラ線と各計測線との交点の位置（計測線に水平方向の位置）にはズレが発生するので、パターン上に同じ不等間隔で識別特徴が配置される計測線があるとしても、誤識別されることはない。
（変形例１） In this embodiment, the identification features arranged on the measurement line may be arranged in any arrangement as long as they are arranged at unequal intervals. The measurement lines may be arranged at different unequal intervals so that the correlation between the positions of the identification features on the measurement lines is low, or there may be measurement lines in which the identification features are arranged at the same unequal intervals. If you have measurement lines with identification features arranged at the same unequal intervals, the method of identifying the measurement lines is, for example, to change the color and thickness of the measurement lines with the same feature arrangement to identify both in addition to the identification features. By giving the information that can be done, it is possible to identify without causing misidentification. When searching for the corresponding measurement line by drawing an epipolar line from the identification feature detected on the image, the projection device and the imaging device are arranged so that the epipolar line and the measurement line do not become vertical as shown in FIG. 4 (B). To do. As a result, the position of the intersection of the epipolar line and each measurement line (horizontal position to the measurement line) shifts due to the inclination of the epipolar line, so the identification features are arranged at the same unequal intervals on the pattern. Even if there is a measurement line, it will not be misidentified.
(Modification example 1)

なお、ステップＳ３０４のエピポーラ探索における識別コスト＝距離Ｄ（ｉ，ｊ）の計算を事前に実施して結果をテーブル化してメモリに保持しておき、計測時はテーブルの参照のみにすることで、処理を高速化することができる。
テーブルの作成方法は、まず、画像上の１つの画素ｉを選択する。 It should be noted that the identification cost = distance D (i, j) in the epipolar search in step S304 is calculated in advance, the results are tabulated and stored in the memory, and only the table is referenced at the time of measurement. The processing can be speeded up.
To create the table, first, one pixel i on the image is selected.

次に、選択した画素の位置と、撮像装置と投影装置の内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上におけるエピポーラ線４１１を基準距離のパラメータに基づき計算する。
次に、パターン１００の計測線から１つの計測線（計測線番号ｊとする）を選択する。
次に、各画素からパターンに投影したエピポーラ線と計測線（計測線番号ｊ）の交点位置（複数）を第１の対応候補位置として計算する。
次に、前記交点位置から三角測量の原理に基づき対応する距離値をそれぞれ算出する。
次に、それぞれの前記距離値から校正データを参照し、第１の対応候補位置毎にその距離に対応した内部パラメータを第２のパラメータとして取得する。 Next, the epipolar line 411 on the pattern 100 is calculated based on the parameter of the reference distance based on the positions of the selected pixels, the internal parameters of the imaging device and the projection device, and the external parameters between the imaging device and the projection device. ..
Next, one measurement line (referred to as measurement line number j) is selected from the measurement lines of the pattern 100.
Next, the intersection positions (plurality) of the epipolar line projected from each pixel onto the pattern and the measurement line (measurement line number j) are calculated as the first corresponding candidate positions.
Next, the corresponding distance values are calculated from the intersection positions based on the principle of triangulation.
Next, the calibration data is referred to from each of the distance values, and the internal parameter corresponding to the distance is acquired as the second parameter for each first correspondence candidate position.

次に、選択した識別特徴の画像４００上での位置と、距離に対応した内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上におけるエピポーラ線４１１を再度計算する。
次に、前記再計算したエピポーラ線と計測線（計測線番号ｊ）の交点位置を計算する。
次に、前記交点位置から計測線ｊの最近傍の識別特徴までの距離Ｄ（ｉ，ｊ）を計算する。ｉは画像上の画素位置を表し、ｊは計測線番号を表す。
全ての計測線ｊについて上記の手順により識別コスト＝距離Ｄ（ｉ，ｊ）を求める。 Next, the epipolar line 411 on the pattern 100 is recalculated based on the position of the selected identification feature on the image 400, the internal parameters corresponding to the distance, and the external parameters between the imaging device and the projection device.
Next, the intersection position of the recalculated epipolar line and the measurement line (measurement line number j) is calculated.
Next, the distance D (i, j) from the intersection position to the identification feature closest to the measurement line j is calculated. i represents the pixel position on the image and j represents the measurement line number.
Identification cost = distance D (i, j) is obtained for all measurement lines j by the above procedure.

画像上の全ての画素位置に対して上記処理を行うことで、図８に示すような画像上の各画素ｉに対する各計測線ｊの識別コストのテーブルを事前に作成することができる。
計測時には検出した識別特徴の位置の画素ｉに対応する識別コスト＝距離Ｄ（ｉ，ｊ）の値を図８のテーブルを参照して取得する。そして、識別コスト＝距離Ｄ（ｉ，ｊ）を最小とする計測線番号ｊが尤もらしい識別結果（第２の対応候補位置）であると推定し、最終的な対応位置を取得する。
以上のように変形例１では、記憶手段に、前記エピポーラ線に基づき前記計測線ごとに最近傍の識別特徴までの距離データを取得した結果を記憶しているので、処理を高速化することができる。 By performing the above processing for all the pixel positions on the image, a table of the identification cost of each measurement line j for each pixel i on the image as shown in FIG. 8 can be created in advance.
At the time of measurement, the value of the identification cost = distance D (i, j) corresponding to the pixel i at the position of the detected identification feature is acquired with reference to the table of FIG. Then, it is estimated that the measurement line number j that minimizes the identification cost = distance D (i, j) is a plausible identification result (second correspondence candidate position), and the final correspondence position is acquired.
As described above, in the modified example 1, since the storage means stores the result of acquiring the distance data to the nearest neighbor identification feature for each measurement line based on the epipolar line, the processing can be speeded up. it can.

実施例２では、投影するパターン、および、画像上のパターンと投影パターンの識別方法が実施例１とは異なる。投影パターンは図５に示すように、複数の特徴（ドット形状）で構成される。複数のドットの配置方法は、例えば、所定の確率（Ａ％）でランダムに配置する。投影パターンの光は、背景を低輝度、ドットを高輝度に投影するものとする。画像取得部２０２で取得する画像は、２次元の画像であればどのような画像でもよい。例えば、濃淡画像でもよく、カラー画像でもよい。パターン識別部２０４は、画像上の各画素の位置について投影パターン上で対応する位置を探索して対応付けを行う。本実施例では図３におけるステップＳ３０４のパターン識別処理の手順が異なるため以下に示す。
（ステップＳ３０４） In the second embodiment, the pattern to be projected and the method for discriminating between the pattern on the image and the projection pattern are different from those in the first embodiment. As shown in FIG. 5, the projection pattern is composed of a plurality of features (dot shapes). The method of arranging the plurality of dots is, for example, randomly arranging them with a predetermined probability (A%). The light of the projection pattern is assumed to project the background with low brightness and the dots with high brightness. The image acquired by the image acquisition unit 202 may be any image as long as it is a two-dimensional image. For example, it may be a shading image or a color image. The pattern recognition unit 204 searches for and associates the positions of each pixel on the image with the corresponding positions on the projection pattern. In this embodiment, the procedure of the pattern identification process in step S304 in FIG. 3 is different, and is therefore shown below.
(Step S304)

パターン識別部２０４は、図６に示すように画像６０３上で注目する画素ｋの位置を中心とするブロック６０４と、画素ｋから投影パターン６００に投影したエピポーラ線６０１上のブロック範囲内６０２で位置を変化させたブロックとの相関を計算する。そして、最も相関の高いブロックの中心位置を画素ｋに対応する画素の位置として決定する。ここで相関はブロックＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、または、ブロックＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などを計算する。 As shown in FIG. 6, the pattern identification unit 204 is located at the block 604 centered on the position of the pixel k of interest on the image 603 and within the block range 602 on the epipolar line 601 projected from the pixel k onto the projection pattern 600. Calculate the correlation with the block in which. Then, the center position of the block having the highest correlation is determined as the position of the pixel corresponding to the pixel k. Here, the correlation is calculated as a block SSD (Sum of Squaled Difference) or a block SAD (Sum of Absolute Difference).

実施例１でも述べたように、エピポーラ線６０１の位置および傾きは対象物体の光軸方向の位置（距離）に依存するため、その影響を考慮しないと上で計算したＳＳＤ乃至ＳＡＤが誤差を持ち、正しく対応付けができない。そこで、実施例１と同様に対象物と撮像装置との相対位置（距離）に依存する校正データを用いてエピポーラ線の位置を再計算する。 As described in the first embodiment, since the position and inclination of the epipolar line 601 depend on the position (distance) of the target object in the optical axis direction, the SSD to SAD calculated above have an error if the influence is not taken into consideration. , Cannot be associated correctly. Therefore, as in the first embodiment, the position of the epipolar line is recalculated using the calibration data depending on the relative position (distance) between the object and the imaging device.

具体的には、まず、エピポーラ線６０１上の点（ｕ０，ｖ０）をエピポーラ探索の初期位置として選択する。次に、この点において三角測量を行い対象物までの位置（距離）を計算する。次に、計算した位置（距離）を基に、対象物と装置との相対位置に依存する内部パラメータ（例えば図９のテーブル）を用いてエピポーラ線の位置を修正し、点（ｕ０，ｖ０）の座標を修正する（修正後の座標を点（ｕ０＋δｕ，ｖ０）とする）。点（ｕ０＋δｕ，ｖ０）を中心にブロックＳＳＤ乃至ＳＡＤを計算し、相関度を算出する。次に、エピポーラ線上をステップＮ×Δｖだけ移動した点（ｕ０，ｖ０＋Ｎ×Δｖ）において上記処理を繰り返し、各位置で相関度を算出し、最も相関度の高い位置を対応点とする。ここで、Ｎはパターンサイズにより決まる整数値である。 Specifically, first, the points (u0, v0) on the epipolar line 601 are selected as the initial positions of the epipolar search. Next, triangulation is performed at this point to calculate the position (distance) to the object. Next, based on the calculated position (distance), the position of the epipolar line is corrected using an internal parameter (for example, the table in FIG. 9) that depends on the relative position between the object and the device, and the point (u0, v0). (The corrected coordinates are points (u0 + δu, v0)). The blocks SSD to SAD are calculated around the point (u0 + δu, v0), and the degree of correlation is calculated. Next, the above process is repeated at a point (u0, v0 + N × Δv) moved on the epipolar line by step N × Δv, the degree of correlation is calculated at each position, and the position with the highest degree of correlation is set as the corresponding point. Here, N is an integer value determined by the pattern size.

上述の３次元計測装置は、例えば、ある支持部材に支持された状態で使用されうる。本実施例３では、一例として、図１１のようにロボットアーム３００（把持装置）に備え付けられて使用される制御システムについて説明する。３次元計測装置２５０は、支持台３５０に置かれた計測対象物体２３０にパターン光を投影して撮像し、画像を取得する。そして、３次元計測装置２５０の情報処理装置２００、又は、３次元計測装置２５０の外部に設けられた制御部３１０が、計測対象物体２３０の位置および姿勢を求め、求められた位置および姿勢の情報を取得する。更に制御部３１０は、その位置および姿勢の情報に基づいて、ロボットアーム３００に駆動指令を送ってロボットアーム３００を制御する。 The above-mentioned three-dimensional measuring device can be used, for example, in a state of being supported by a certain support member. In the third embodiment, as an example, a control system installed and used in the robot arm 300 (grip device) as shown in FIG. 11 will be described. The three-dimensional measuring device 250 projects a pattern light onto the measurement target object 230 placed on the support base 350 to take an image, and acquires an image. Then, the information processing device 200 of the three-dimensional measuring device 250 or the control unit 310 provided outside the three-dimensional measuring device 250 obtains the position and posture of the measurement target object 230, and the obtained position and posture information is obtained. To get. Further, the control unit 310 sends a drive command to the robot arm 300 based on the position and posture information to control the robot arm 300.

ロボットアーム３００は先端のロボットハンドなど（把持部）で計測対象物体２３０を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム３００によって計測対象物体２３０を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された計測対象物体２３０を加工することにより、物品を製造することができる。制御部３１０は、コンピュータとしてのＣＰＵなどの演算装置や制御部３１０を制御するためのコンピュータプログラムを記憶したメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部３１０の外部に設けても良い。また、３次元計測装置２５０により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。 The robot arm 300 holds the measurement target object 230 with a robot hand or the like (grip portion) at the tip, and moves the object to be measured, such as translation or rotation. Further, by assembling the measurement target object 230 to other parts by the robot arm 300, it is possible to manufacture an article composed of a plurality of parts, for example, an electronic circuit board or a machine. In addition, an article can be manufactured by processing the moved object to be measured 230. The control unit 310 includes an arithmetic unit such as a CPU as a computer and a storage device such as a memory that stores a computer program for controlling the control unit 310. A control unit that controls the robot may be provided outside the control unit 310. Further, the measurement data measured by the three-dimensional measuring device 250 and the obtained image may be displayed on a display unit 320 such as a display.

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して３次元計測装置に供給するようにしてもよい。そしてその３次元計測装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。 Although the present invention has been described in detail based on the preferred examples thereof, the present invention is not limited to the above examples, and various modifications can be made based on the gist of the present invention. It is not excluded from the scope of the invention.
Further, a computer program that realizes a part or all of the control in the present embodiment and realizes the functions of the above-described embodiment may be supplied to the three-dimensional measuring device via a network or various storage media. Then, the computer (or CPU, MPU, etc.) in the three-dimensional measuring device may read and execute the program. In that case, the program and the storage medium that stores the program constitute the present invention.

２０１ パターン出力部
２０２ 画像取得部
２０３ パターン検出部
２０４ パターン識別部
２０５ ３次元計測部

201 Pattern output unit 202 Image acquisition unit 203 Pattern detection unit 204 Pattern identification unit 205 3D measurement unit

Claims (11)

対象物までの距離を計算する情報処理装置であって、
パターン光が投影された対象物を撮像手段により撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求め、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、
取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得し、
前記対応位置に基づいて対象物までの距離を計算する処理手段、
を有することを特徴とする情報処理装置。 An information processing device that calculates the distance to an object.
The identification feature contained in the pattern light is detected from the image obtained by imaging the object on which the pattern light is projected by the imaging means, and the position of the identification feature on the image is obtained as the detection position.
The epipolar line on the pattern light corresponding to the detection position is acquired based on the parameter of the imaging means and corresponding to the distance to the object.
Based on the acquired epipolar line, the corresponding position on the pattern light corresponding to the detection position is acquired, and the corresponding position is acquired.
A processing means for calculating the distance to an object based on the corresponding position,
An information processing device characterized by having. 前記処理手段は、前記検出位置に対応した前記パターン光上のエピポーラ線を計算し、計算された前記エピポーラ線に基づき仮の距離を算出し、前記仮の距離と前記パラメータに基づいて前記エピポーラ線を修正し、修正されたエピポーラ線に基づき前記対応位置を取得することを特徴とする請求項１に記載の情報処理装置。 The processing means calculates an epipolar line on the pattern light corresponding to the detection position, calculates a temporary distance based on the calculated epipolar line, and calculates the epipolar line based on the temporary distance and the parameter. The information processing apparatus according to claim 1, wherein the corresponding position is acquired based on the corrected epipolar line. 前記パターン光は複数の計測線と複数の識別特徴を含み、
前記エピポーラ線に基づき前記計測線ごとに最近傍の識別特徴までの距離データを取得した結果を記憶する記憶手段を有することを特徴とする請求項１に記載の情報処理装置。 The pattern light includes a plurality of measurement lines and a plurality of distinguishing features.
The information processing apparatus according to claim 1, further comprising a storage means for storing the result of acquiring distance data to the nearest neighbor identification feature for each measurement line based on the epipolar line. 前記処理手段は、
前記検出位置に対応した前記パターン光上のエピポーラ線を基準距離のパラメータに基づいて決定し、
前記エピポーラ線に沿って前記対応位置の候補を第１の対応候補位置として検出し、
前記第１の対応候補位置毎に対応する距離に応じたパラメータを第２のパラメータとして取得し、
前記第２のパラメータと前記検出位置に基づいて第２の対応候補位置を決定し、前記第２の対応候補位置に基づいて、前記対応位置を取得する、
ことを特徴とする請求項１に記載の情報処理装置。 The processing means
The epipolar line on the pattern light corresponding to the detection position is determined based on the parameter of the reference distance.
A candidate for the corresponding position is detected as the first corresponding candidate position along the epipolar line, and the corresponding position is detected.
The parameters corresponding to the corresponding distances for each of the first corresponding candidate positions are acquired as the second parameters.
The second correspondence candidate position is determined based on the second parameter and the detection position, and the correspondence position is acquired based on the second correspondence candidate position.
The information processing apparatus according to claim 1. 前記パターン光は、複数の計測線と各計測線に少なくとも一部が不等間隔で配置された識別特徴を含むことを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the pattern light includes a plurality of measurement lines and identification features in which at least a part of each measurement line is arranged at uneven intervals. .. 前記パターン光は、ランダムに配置された識別特徴を含むことを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the pattern light includes randomly arranged identification features. パターン光が投影された対象物を撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求めるステップと、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得するステップと、
前記対応位置に基づいて対象物までの距離を計算するステップと、
を有することを特徴とする情報処理方法。 A step of detecting an identification feature contained in the pattern light from an image obtained by imaging an object on which the pattern light is projected, and determining the position of the identification feature on the image as a detection position.
The epipolar line on the pattern light corresponding to the detection position is acquired based on the parameter of the imaging means and corresponding to the distance to the object, and corresponds to the detection position based on the acquired epipolar line. The step of acquiring the corresponding position on the pattern light and
The step of calculating the distance to the object based on the corresponding position and
An information processing method characterized by having. 請求項１〜６のうちいずれか一項に記載の前記情報処理装置としてコンピュータを機能させるためのプログラム。 A program for operating a computer as the information processing device according to any one of claims 1 to 6. パターン光を対象物に投影する投影手段と、
前記パターン光が投影された対象物を撮像する撮像手段と、
請求項１〜６のいずれか一項に記載の情報処理装置と、を有することを特徴とする計測装置。 A projection means that projects pattern light onto an object,
An imaging means for imaging an object on which the pattern light is projected, and
A measuring device comprising the information processing device according to any one of claims 1 to 6. 対象物を計測する、請求項９に記載の計測装置と、
前記計測装置により計測した結果に基づいて前記対象物を保持して移動させるロボットと、を有することを特徴とするシステム。 The measuring device according to claim 9, which measures an object, and
A system characterized by having a robot that holds and moves the object based on the result measured by the measuring device. 請求項９に記載の計測装置を用いて対象物を計測する計測ステップと、
前記計測ステップにより計測した結果に基づいて対象物を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。

A measurement step for measuring an object using the measuring device according to claim 9,
A method for manufacturing an article, which comprises a step of manufacturing an article by processing an object based on the result measured by the measurement step.

Images