JP2022080188A - Recognition system - Google Patents
Recognition system Download PDFInfo
- Publication number
- JP2022080188A JP2022080188A JP2020191217A JP2020191217A JP2022080188A JP 2022080188 A JP2022080188 A JP 2022080188A JP 2020191217 A JP2020191217 A JP 2020191217A JP 2020191217 A JP2020191217 A JP 2020191217A JP 2022080188 A JP2022080188 A JP 2022080188A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- plane data
- offset
- data
- edge portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 265
- 239000000284 extract Substances 0.000 claims abstract description 32
- 238000013075 data extraction Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 210000000078 claw Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
この明細書における開示は、認識システムに関する。 The disclosure herein relates to a recognition system.
特許文献１は、撮像手段から計測対象物までの距離と三次元形状モデルとに基づいて計測対象物の位置および姿勢を算出する三次元計測装置を開示している。先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。
計測対象物のエッジ部分は光の反射が安定しない。このため、計測対象物の全体に光を照射して三次元形状を計測する場合、計測対象物のエッジ部分周辺での輝度がばらついてしまい、計測したデータの誤差が大きくなりやすい。先行技術文献の構成では、画面全体ではなく、マスク処理により決定された距離計測用の領域のみに照明パターンを照射し、三次元情報を算出している。また、距離計測用の領域は、撮像される画像内において濃淡変化が小さく、エッジが検出されにくい領域であることが開示されている。しかしながら、照明パターンを局所的に照射する必要があるため、三次元計測装置のハードウェア構成が複雑化しやすい。上述の観点において、または言及されていない他の観点において、認識システムにはさらなる改良が求められている。 Light reflection is not stable at the edge of the object to be measured. Therefore, when the entire object to be measured is irradiated with light to measure the three-dimensional shape, the brightness around the edge portion of the object to be measured varies, and the error of the measured data tends to be large. In the structure of the prior art document, the illumination pattern is applied only to the area for distance measurement determined by the mask processing, not the entire screen, and the three-dimensional information is calculated. Further, it is disclosed that the region for distance measurement is a region in which the change in shading is small in the captured image and the edge is difficult to detect. However, since it is necessary to locally irradiate the illumination pattern, the hardware configuration of the three-dimensional measuring device tends to be complicated. Further improvements are required in the recognition system in the above-mentioned viewpoints or in other viewpoints not mentioned.
開示される１つの目的は、精度の高い位置姿勢認識が可能な認識システムを提供することにある。 One object disclosed is to provide a recognition system capable of highly accurate position / orientation recognition.
ここに開示された認識システムは、計測対象物（４１、２４１）の形状を計測して計測対象物の位置姿勢を認識するための位置姿勢認識を行う認識システムであって、
計測対象物の表面画像を撮像し、表面画像と対応する三次元点群を算出する計測ユニット（２０）と、
計測対象物の三次元形状を示すモデルデータから平面部分のデータを抽出したモデル平面データを取得するモデル平面データ取得部（７２）と、
計測ユニットが撮像した表面画像および計測ユニットが算出した三次元点群を含む計測データを取得する計測データ取得部（７３）と、
計測データ取得部が取得した表面画像に基づいて、三次元点群の中から平面部分における三次元座標を計測平面データとして抽出する計測平面データ抽出部（７４）と、
モデル平面データと計測平面データとをマッチングして計測対象物の位置姿勢を認識するマッチング部（７９）とを備えている。
The recognition system disclosed here is a recognition system that performs position / orientation recognition for measuring the shape of a measurement object (41, 241) and recognizing the position / orientation of the measurement object.
A measurement unit (20) that captures a surface image of an object to be measured and calculates a three-dimensional point cloud corresponding to the surface image.
A model plane data acquisition unit (72) that acquires model plane data obtained by extracting data of a plane portion from model data showing a three-dimensional shape of an object to be measured, and a model plane data acquisition unit (72).
A measurement data acquisition unit (73) that acquires measurement data including a surface image captured by the measurement unit and a three-dimensional point cloud calculated by the measurement unit.
Based on the surface image acquired by the measurement data acquisition unit, the measurement plane data extraction unit (74) that extracts the three-dimensional coordinates in the plane portion from the three-dimensional point group as measurement plane data,
It is provided with a matching unit (79) that recognizes the position and orientation of the measurement object by matching the model plane data and the measurement plane data.
開示された認識システムによると、計測データ取得部が取得した表面画像に基づいて、三次元点群の中から計測対象物の平面部分における三次元座標を計測平面データとして抽出する計測平面データ抽出部と、モデル平面データと計測平面データとをマッチングして計測対象物の位置姿勢を認識するマッチング部とを備えている。このため、エッジ部分に比べて計測精度の高い部分である平面部分における三次元座標をマッチングに使用できる。したがって、精度の高い位置姿勢認識が可能な認識システムを提供できる。 According to the disclosed recognition system, the measurement plane data extraction unit extracts the three-dimensional coordinates of the plane portion of the measurement object from the three-dimensional point group as the measurement plane data based on the surface image acquired by the measurement data acquisition unit. And a matching unit that recognizes the position and orientation of the object to be measured by matching the model plane data and the measurement plane data. Therefore, the three-dimensional coordinates in the plane portion, which is a portion having higher measurement accuracy than the edge portion, can be used for matching. Therefore, it is possible to provide a recognition system capable of highly accurate position / orientation recognition.
この明細書における開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。この明細書に開示される目的、特徴、および効果は、後続の詳細な説明、および添付の図面を参照することによってより明確になる。 The disclosed embodiments herein employ different technical means to achieve their respective objectives. The claims and the reference numerals in parentheses described in this section exemplify the correspondence with the parts of the embodiments described later, and are not intended to limit the technical scope. The objectives, features, and effects disclosed herein will be further clarified by reference to the subsequent detailed description and accompanying drawings.
図面を参照しながら、複数の実施形態を説明する。複数の実施形態において、機能的におよび／または構造的に対応する部分および／または関連付けられる部分には同一の参照符号、または百以上の位が異なる参照符号が付される場合がある。対応する部分および／または関連付けられる部分については、他の実施形態の説明を参照することができる。以下において、互いに直交する３つの方向をＸ方向、Ｙ方向、Ｚ方向とする。また、Ｚ方向を上下方向と対応させて説明する場合がある。 A plurality of embodiments will be described with reference to the drawings. In a plurality of embodiments, functionally and / or structurally corresponding parts and / or related parts may be designated with the same reference code or reference numerals having different hundreds or more digits. For corresponding and / or associated parts, the description of other embodiments can be referred to. In the following, the three directions orthogonal to each other are referred to as the X direction, the Y direction, and the Z direction. Further, the Z direction may be described as corresponding to the vertical direction.
第１実施形態
図１において、認識システム１は、ロボット１０を用いた様々な作業に利用可能である。ロボット１０を用いた作業の例としては、部品を特定の箇所に組み付ける組み付け作業、部品をピッキングするピッキング作業、部品に傷や欠けがないかを検査する外観検査、部品を把持する把持作業が挙げられる。ただし、ロボット１０を用いることのない作業に認識システム１を用いてもよい。
First Embodiment In FIG. 1, the
ロボット１０は、ベース１１とロボットアーム１５とロボットハンド１６とを備えている。ロボット１０は、垂直多関節型ロボットである。ただし、ロボット１０として水平多関節型ロボット等を採用してもよい。ベース１１は、ロボット１０が設置されている設置面にボルト等を用いて固定されている。
The
ロボットアーム１５は、複数の軸部品を関節部品によって連結して構成されている。関節部品には、モータが含まれており、モータを制御することで関節部品の角度を自在に制御することができる。複数の軸部品は、関節部品を介して互いに相対回転可能に連結されている。ロボットアーム１５は、ベース１１に連結されている。
The
ロボットハンド１６は、ロボットアーム１５の先端部に取り付けられている。ロボットハンド１６には、モータが含まれている。ロボットハンド１６は、モータを制御することでロボットアーム１５が備えている軸部品の軸周りに相対回転可能に構成されている。
The
ロボットハンド１６は、爪部を備えている。この爪部は、ロボットハンド１６の回転軸を回転中心として回転する。ロボットハンド１６は、爪部同士の間隔を拡大および縮小する開閉動作を行うことで、作業台３１に載置された計測対象物４１を把持可能に構成されている。また、ロボット１０は、ロボットハンド１６が計測対象物４１を把持した状態でロボットアーム１５やロボットハンド１６を動かすことができる。これにより、計測対象物４１の位置や姿勢を変えることができる。ただし、計測対象物４１を把持するためには、計測対象物４１の位置姿勢を正確に認識する必要がある。計測対象物４１の位置姿勢は、計測対象物４１の位置および計測対象物４１の姿勢を意味する。この位置姿勢の認識には、後述する計測ユニット２０を用いた形状計測結果を用いる。
The
以下では、作業台３１に載置された計測対象物４１の位置姿勢を認識する作業に認識システム１を適用した場合を例に説明する。作業台３１は、四角形状の板部材である。ただし、作業台３１の種類や形状は、上述の例に限られない。作業台３１として箱型形状の部品箱を採用してもよい。また、作業台３１としてベルトコンベア等の可動する装置を採用してもよい。作業台３１に載置された計測対象物４１の数は、１つに限られない。例えば、複数の計測対象物４１が互いに重なった状態で作業台３１に載置されていてもよい。計測対象物４１は、作業台３１の略中央に設定されている標準位置に位置している。標準位置とは、計測対象物４１の載置される標準的な位置のことである。標準位置は、認識システム１において事前に設定されている。
In the following, a case where the
計測対象物４１は、任意の形状の物体を採用可能であるが、一例として、直径の異なる２つの円盤を同軸上に隣り合って並べた形状の物体を採用している。計測対象物４１は、直径の小さな円盤部分が上側に位置するように作業台３１に載置されている。計測対象物４１の位置姿勢を認識することで、ロボット１０は、必要に応じて計測対象物４１を作業台３１から持ち上げて移動させることができる。
As the object to be measured 41, an object having an arbitrary shape can be adopted, but as an example, an object having a shape in which two disks having different diameters are arranged side by side on the same axis is adopted. The object to be measured 41 is placed on the
計測ユニット２０は、計測対象物４１の形状を計測するためのシステムである。計測ユニット２０としては、計測対象物４１の表面画像を撮像する機能と、計測対象物４１の三次元点群を算出する機能とを備えている。三次元点群とは、計測対象物４１の計測点における三次元座標を複数の計測点について算出したデータのことである。言い換えると、計測点は計測対象物４１の座標を表現する各点である。三次元座標は、Ｘ座標とＹ座標とＺ座標とを座標成分として有している。三次元点群は、一例は、各計測点の輝度データである。計測ユニット２０としては、例えば距離画像センサを採用可能である。計測ユニット２０は、計測対象物４１とＺ方向に並んでいる。言い換えると、計測ユニット２０と計測対象物４１との並び方向は、Ｚ方向に沿う方向であり、上下方向に沿う方向であるともいえる。
The
計測ユニット２０は、計測対象物４１の上面における表面画像を撮像する。計測対象物４１の表面で反射する反射光の量は、計測対象物４１の形状によって変化する。このため、計測対象物４１の形状に応じて、表面画像における輝度が変化する。より詳細には、エッジ部分では、表面画像において輝度が周囲の輝度に比べて大きく変化する。また、平面部分では、表面画像において輝度が周囲の輝度と比べてほとんど変化しない。エッジ部分の一例は、計測対象物４１の外縁部分である。エッジ部分の一例は、リブや開口等の段差部分である。計測ユニット２０で計測した表面画像は、エッジ部分と平面部分との推定に利用可能なデータである。エッジ部分と平面部分との推定においては、表面画像における輝度の変化の大きさを利用する。ただし、表面画像から平面部分を推定せず、エッジ部分のみを推定してもよい。
The
計測ユニット２０は、計測対象物４１における三次元点群を算出する。計測対象物４１の三次元点群は、位相シフト法やステレオカメラを用いた方法等で取得することができる。位相シフト法を採用する場合、計測ユニット２０は、計測対象物４１にパターン光を投光する投光装置と、計測対象物４１で反射したパターン光を受光する受光装置とを備えることとなる。ステレオカメラを用いた方法を採用する場合、計測ユニット２０は、計測対象物４１を互いに異なる位置から撮像する複数のカメラを備えることとなる。計測ユニット２０は、計測対象物４１の上面全体における三次元座標を算出して三次元点群とする。このため、計測対象物４１のエッジ部分と平面部分とを含む複数の計測点について三次元座標を算出することとなる。
The
計測ユニット２０の計測方法として位相シフト法を採用した場合、計測対象物４１の表面で反射したパターン光を受光する。このため、反射したパターン光を正確に受光できない場合には、正確に三次元座標を算出できず、誤差が発生してしまう。反射したパターン光を正確に受光できない場合の一例は、投光したパターン光が計測対象物４１のエッジ部分で散乱されてしまう場合が挙げられる。言い換えると、計測対象物４１の平面部分においては、光が散乱されにくく、三次元座標を精度よく算出することができる。
When the phase shift method is adopted as the measurement method of the
計測ユニット２０の計測方法としてステレオカメラを用いた方法を採用した場合、計測対象物４１の表面を複数のカメラで同時に撮像する。このため、計測対象物４１の表面形状が撮像する表面画像に反映されにくい場合には、正確に三次元座標を算出できず、誤差が発生してしまう。計測対象物４１の表面形状が表面画像に反映されにくい場合の一例は、表面のエッジ部分が潰れて凹凸が確認できない場合が挙げられる。言い換えると、計測対象物４１の凹凸のない平面部分においては、三次元座標を高い精度で算出することができる。
When a method using a stereo camera is adopted as the measurement method of the
まとめると、位相シフト法とステレオカメラを用いた方法のどちらの方法を採用した場合であっても、エッジ部分に比べて平面部分の方が、三次元座標を精度よく算出しやすい。言い換えると、三次元座標の算出にエッジ部分が含まれることで、三次元形状計測の精度が低下しやすい。 In summary, regardless of whether the phase shift method or the method using a stereo camera is adopted, it is easier to calculate the three-dimensional coordinates more accurately in the plane portion than in the edge portion. In other words, since the edge portion is included in the calculation of the three-dimensional coordinates, the accuracy of the three-dimensional shape measurement tends to decrease.
計測ユニット２０で撮像した表面画像と算出した三次元座標とは、ピクセル単位の座標系で対応づけられている。このため、表面画像からエッジ部分であると推定した位置について、対応する位置の三次元座標を選択して抽出することができる。
The surface image captured by the
図２において、認識システム１の制御を行う制御部７０は、計測ユニット２０に接続している。制御部７０は、計測ユニット２０を制御して計測対象物４１の形状計測を行う。制御部７０は、計測ユニット２０で計測した計測データを取得する。
In FIG. 2, the
制御部７０は、モデル平面データ取得部７２と計測データ取得部７３と計測平面データ抽出部７４とマッチング部７９とを備えている。
The
モデル平面データ取得部７２は、計測対象物４１のモデルデータから平面部分のみを抽出したデータであるモデル平面データを取得する。ここで、モデルデータとは、計測対象物４１の三次元の設計図面をなすデータである。モデル平面データ取得部７２は、認識システム１の外部でモデルデータからあらかじめ抽出したモデル平面データを取得する構成に限られない。例えば、モデルデータを取得するモデルデータ取得部と、モデルデータからモデル平面データを抽出するモデル平面データ抽出部とを備える構成としてもよい。
The model plane
計測データ取得部７３は、計測ユニット２０で計測した計測データを取得する。取得する計測データには、表面画像のデータと三次元点群のデータとが含まれている。
The measurement
計測平面データ抽出部７４は、表面画像から決定したエッジ部分をもとに、エッジ部分から離れた平面部分と推定できる部分の三次元座標を三次元点群の中から計測平面データとして抽出する。エッジ部分から離れた平面部分は、表面画像の輝度変化の大きさから推定可能である。計測平面データの抽出方法は、後に詳述する。計測平面データ抽出部７４は、特徴点抽出部７５と中心点抽出部７６とオフセット位置設定部７７とを備えている。
The measurement plane
特徴点抽出部７５は、計測データから特徴点を抽出する。ここで、特徴点とは、計測対象物４１の形状の特徴を示す点のことである。特徴点は、例えば計測対象物４１の端部すなわちエッジ部分である。
The feature
中心点抽出部７６は、計測対象物４１の中心点を抽出する。オフセット位置設定部７７は、オフセット位置を設定する。ここで、オフセット位置とは、計測対象物４１における平面部分と推定できる部分のことである。オフセット位置は、例えば計測対象物４１のエッジ部分から離れた位置すなわちオフセットされた位置に設定される。オフセット位置は、全てのエッジ部分に対して対応する位置を設定する必要はない。例えば、エッジ部分の一部のみを対象にオフセット位置を設定してもよい。
The center
マッチング部７９は、モデル平面データと計測平面データとを比較して、モデル平面データが計測平面データに略一致する際の位置姿勢を取得する。マッチング部７９がマッチングを行うことで計測対象物４１の位置姿勢を認識することができる。
The matching
認識システム１を用いて計測対象物４１の位置姿勢を認識する作業である位置姿勢認識の流れについて、以下に説明する。ただし、位置姿勢認識の開始前に、認識システム１の計測ユニット２０のキャリブレーションを完了させておく。これにより、計測対象物４１の正確な計測データを算出することができるようになる。キャリブレーションは、ロボット１０を設置した最初に実行すればよいが、必要に応じて定期的にキャリブレーションを繰り返し実行してもよい。
The flow of position / orientation recognition, which is the work of recognizing the position / orientation of the
図３において、位置姿勢認識に関する制御を開始すると、ステップＳ１０１でモデル平面データ取得部７２がモデル平面データを取得する。モデル平面データは、計測対象物４１の三次元の設計図面をなすモデルデータから平面部分のみを抽出したデータである。モデルデータには、計測対象物４１の平面部分とエッジ部分とが含まれている。一方、モデル平面データには、計測対象物４１の平面部分のみが含まれ、エッジ部分は含まれていない。このため、モデル平面データは、モデルデータよりもデータサイズが小さいデータである。モデル平面データは、計測対象物４１の全ての平面部分を含んでいる必要はなく、平面部分の一部を含んでいればよい。モデル平面データは、後述する計測平面データに対応する平面部分のデータを含んでいる。
In FIG. 3, when the control related to the position / orientation recognition is started, the model plane
モデル平面データは、認識システム１の外部でモデルデータからあらかじめ抽出しておく。このため、認識システム１自身がモデルデータからモデル平面データを抽出する処理を行う必要がない。したがって、認識システム１における位置姿勢認識に関する処理を簡略化できる。モデル平面データを取得した後、ステップＳ１１１に進む。
The model plane data is extracted in advance from the model data outside the
ステップＳ１１１では、制御部７０が計測ユニット２０を用いて計測対象物４１の形状を計測する。計測ユニット２０による形状計測では、計測対象物４１の上面を撮像した表面画像を撮像する。さらに、計測ユニット２０による形状計測では、計測対象物４１の上面における各計測点について三次元座標を計測し、三次元点群を算出する。計測対象物４１を計測した後、ステップＳ１１２に進む。
In step S111, the
ステップＳ１１２では、計測データ取得部７３が計測データを取得する。計測データには、計測対象物４１の上面を撮像した表面画像のデータが含まれている。計測データには、計測対象物４１の上面における三次元点群が含まれている。このため、計測データ取得部７３は、計測データとして表面画像と三次元点群とを取得することとなる。計測データを取得した後、ステップＳ１２１に進む。
In step S112, the measurement
ステップＳ１２１では、特徴点抽出部７５が表面画像から特徴点としてエッジ部分を抽出する。エッジ部分は、表面画像における輝度の変化から抽出することができる。より詳細には、周囲に比べて輝度の変化が大きい部分をエッジ部分とみなして抽出することとなる。エッジ部分を抽出した後、ステップＳ１２２に進む。
In step S121, the feature
ステップＳ１２２では、中心点抽出部７６が表面画像から中心点を抽出する。計測対象物４１のエッジ部分の一部である外縁部分から計測対象物４１の外形を推定し、中心点はその外形から抽出することができる。表面画像は、計測対象物４１を上方向から撮像した画像であるため、計測対象物４１のＸＹ平面における中心点を抽出することとなる。中心点を抽出した後、ステップＳ１３１に進む。
In step S122, the center
ステップＳ１３１では、オフセット位置設定部７７がオフセット情報を取得する。オフセット情報とは、エッジ部分から中心点に近づく方向にオフセットした位置であるオフセット位置を設定するための情報である。オフセット情報の一例は、エッジ部分から平面部分と推定できる部分までの距離を示すオフセット量である。オフセット情報の一例は、エッジ部分から平面部分と推定できる部分までの倍率を示すオフセット倍率である。オフセット量やオフセット倍率は、モデルデータあるいはモデル平面データから決めることができる。オフセット情報に基づくオフセット位置の設定方法については、後に詳述する。オフセット情報を取得した後、ステップＳ１３２に進む。
In step S131, the offset
ステップＳ１３２では、オフセット位置設定部７７がオフセット位置を設定する。オフセット位置は、エッジ部分から離れた位置であるため、平面部分である可能性の高い位置である。オフセット位置を設定する処理は、計測対象物４１における平面部分を選択する処理ともいえる。
In step S132, the offset
オフセット情報としてオフセット量を取得している場合には、中心点に近づく向きに所定のオフセット量だけエッジ部分から近づくようにオフセットする。これにより、ＸＹ平面の画像である表面画像において、オフセット位置の座標がエッジ部分の座標に比べて、中心点に近づくこととなる。仮に、エッジ部分から中心点までの距離がオフセット量よりも短い場合には、中心点を越えてオフセットするのではなく、中心点をオフセット位置とする。オフセット量は、エッジ部分の座標によらず常に一定である。ここで、外側エッジ部分から中心点に向かって離れる方向にオフセットすると、計測対象物４１の外側にオフセット位置が設定されてしまう。言い換えると、平面部分をオフセット位置に設定できないこととなる。このため、エッジ部分から中心点に向かって近づく方向にオフセットすることが好ましい。
When the offset amount is acquired as the offset information, the offset is offset so as to approach the center point by a predetermined offset amount from the edge portion. As a result, in the surface image which is an image of the XY plane, the coordinates of the offset position are closer to the center point than the coordinates of the edge portion. If the distance from the edge portion to the center point is shorter than the offset amount, the center point is set as the offset position instead of offsetting beyond the center point. The offset amount is always constant regardless of the coordinates of the edge portion. Here, if the offset is made in a direction away from the outer edge portion toward the center point, the offset position is set outside the
図４において、中心点をＣＰ、オフセット量をＬＯとしてそれぞれ示している。計測対象物４１の下側の円盤部分におけるエッジ部分が外側エッジ部分である。また、計測対象物４１の上側の円盤部分におけるエッジ部分が内側エッジ部分である。図において、外側エッジ部分をＯＥ、内側エッジ部分をＩＥとしてそれぞれ示している。外側エッジ部分と内側エッジ部分とは、ともに円形である。内側エッジ部分は、外側エッジ部分よりも直径が小さい円形をなしている。
In FIG. 4, the center point is shown as CP and the offset amount is shown as LO. The edge portion in the lower disk portion of the
外側エッジ部分から中心点に向かってオフセット量だけ近づいた位置が外縁オフセット位置である。また、内側エッジ部分から中心点に向かってオフセット量だけ近づいた位置が内縁オフセット位置である。図において、外縁オフセット位置をＯＰ、内縁オフセット位置をＩＰとしてそれぞれ一点鎖線で示している。外縁オフセット位置と内縁オフセット位置とは、ともに円形である。内縁オフセット位置は、外縁オフセット位置よりも直径が小さい円形をなしている。外側エッジ部分、外縁オフセット位置、内側エッジ部分、内縁オフセット位置の順に直径が小さくなっている。計測対象物４１のオフセット位置は、外縁オフセット位置と内縁オフセット位置とによって構成されている。 The position where the offset amount approaches from the outer edge portion toward the center point is the outer edge offset position. Further, the position approached by the offset amount from the inner edge portion toward the center point is the inner edge offset position. In the figure, the outer edge offset position is shown as OP and the inner edge offset position is shown as IP, respectively, as a alternate long and short dash line. The outer edge offset position and the inner edge offset position are both circular. The inner edge offset position is a circle having a smaller diameter than the outer edge offset position. The diameter decreases in the order of the outer edge portion, the outer edge offset position, the inner edge portion, and the inner edge offset position. The offset position of the object to be measured 41 is composed of an outer edge offset position and an inner edge offset position.
外縁オフセット位置が含まれる平面部分は、内縁オフセット位置が含まれる平面部分とは、互いに異なる平面部分である。より詳細には、外縁オフセット位置が含まれる平面部分と内縁オフセット位置が含まれる平面部分とは、内側エッジ部分によって互いに離れた平面部分として区画されている。また、外縁オフセット位置が含まれる平面部分と内縁オフセット位置が含まれる平面部分とは、互いにＺ座標の異なる平面部分である。 The plane portion including the outer edge offset position is a plane portion different from the plane portion including the inner edge offset position. More specifically, the plane portion including the outer edge offset position and the plane portion including the inner edge offset position are partitioned as a plane portion separated from each other by the inner edge portion. Further, the plane portion including the outer edge offset position and the plane portion including the inner edge offset position are plane portions having different Z coordinates from each other.
オフセット情報としてオフセット倍率を取得している場合には、中心点に近づく向きに所定のオフセット倍率でエッジ部分から縮小するようにオフセットする。これにより、ＸＹ平面の画像である表面画像において、オフセット位置の座標がエッジ部分の座標に比べて、中心点の座標に近づくことになる。エッジ部分が中心点から離れているほど、エッジ部分からオフセット位置までの移動量が大きくなる。オフセット倍率は、エッジ部分の座標によらず常に一定である。 When the offset magnification is acquired as the offset information, it is offset so as to be reduced from the edge portion at a predetermined offset magnification in the direction approaching the center point. As a result, in the surface image which is an image of the XY plane, the coordinates of the offset position are closer to the coordinates of the center point than the coordinates of the edge portion. The farther the edge portion is from the center point, the larger the amount of movement from the edge portion to the offset position. The offset magnification is always constant regardless of the coordinates of the edge portion.
オフセット位置の設定方法は、オフセット量を用いた方法や、オフセット倍率を用いた方法に限られず、様々な方法を採用可能である。オフセット位置を設定した後、ステップＳ１４１に進む。 The method of setting the offset position is not limited to the method using the offset amount and the method using the offset magnification, and various methods can be adopted. After setting the offset position, the process proceeds to step S141.
ステップＳ１４１では、計測平面データ抽出部７４がオフセット位置の三次元座標を抽出する。より詳細には、表面画像に基づいて決定したオフセット位置に対応する位置の三次元座標を抽出して計測平面データとする。ここで、表面画像と三次元点群はピクセル単位の座標系で対応づけられている。このため、三次元点群の中から表面画像におけるオフセット位置に対応する三次元座標を抽出することができる。
In step S141, the measurement plane
表面画像に基づいて設定するオフセット位置には、外縁オフセット位置と内縁オフセット位置が含まれている。このため、計測平面データにも、外縁オフセット位置に対応する外縁オフセット点群と、内縁オフセット位置に対応する内縁オフセット点群とが含まれることとなる。外縁オフセット点群を構成する各点の座標は、互いにＺ座標が略等しい。また、内縁オフセット点群を構成する各点の座標は、互いにＺ座標が略等しい。ただし、外縁オフセット位置と内縁オフセット位置とは、Ｚ方向における位置が異なる。このため、内縁オフセット点群のＺ座標は、外縁オフセット点群のＺ座標とは異なる値となる。オフセット位置に対応する三次元座標を計測平面データとして抽出した後、ステップＳ１５１に進む。 The offset position set based on the surface image includes the outer edge offset position and the inner edge offset position. Therefore, the measurement plane data also includes the outer edge offset point group corresponding to the outer edge offset position and the inner edge offset point group corresponding to the inner edge offset position. The coordinates of the points constituting the outer edge offset point cloud are substantially equal to each other in Z coordinates. Further, the coordinates of the points constituting the inner edge offset point cloud are substantially equal to each other in Z coordinates. However, the outer edge offset position and the inner edge offset position are different in the Z direction. Therefore, the Z coordinate of the inner edge offset point cloud is different from the Z coordinate of the outer edge offset point cloud. After extracting the three-dimensional coordinates corresponding to the offset position as the measurement plane data, the process proceeds to step S151.
ステップＳ１５１では、マッチング部７９がモデル平面データと計測平面データとのマッチングを実行する。モデル平面データと計測平面データとは、ともに三次元座標のデータである。マッチングにおいては、計測平面データに含まれる複数の計測点の三次元座標と、モデル平面データに含まれる複数の点の三次元座標のデータとを一致させる。例えば、特定の１点の座標を一致させた後、その点に隣接する点の座標を一致させる処理を繰り返すことで、全ての点について座標を一致させる。ただし、計測平面データには、多少の誤差が含まれているため、各点の座標を完全に一致させる必要はない。例えば、モデル平面データと計測平面データとの対応する点同士の距離の総和が最小となる位置姿勢をマッチング結果としてもよい。
In step S151, the matching
計測対象物４１の形状に依存するが、計測平面データには、Ｚ座標が互いに異なる外縁オフセット点群と内縁オフセット点群とが含まれている場合がある。この場合には、外縁オフセット点群と内縁オフセット点群とのそれぞれがモデル平面データとマッチングする際に、Ｘ座標とＹ座標の一致に加えて、Ｚ座標の一致が必要となる。したがって、各点のＺ座標が一定であることで、実質的にＸ座標とＹ座標との２つの座標でマッチングをする場合に比べて、マッチングに使用する情報量が多くなる。マッチングを実行することで位置姿勢の認識が完了したことで、位置姿勢認識に関する制御を終了する。位置姿勢認識の終了後、ロボット１０を用いた組み付け制御等の所望の制御に移行する。
Although it depends on the shape of the object to be measured 41, the measurement plane data may include an outer edge offset point cloud and an inner edge offset point cloud whose Z coordinates are different from each other. In this case, when each of the outer edge offset point cloud and the inner edge offset point cloud matches the model plane data, it is necessary to match the Z coordinate in addition to the match of the X coordinate and the Y coordinate. Therefore, since the Z coordinate of each point is constant, the amount of information used for matching is larger than that in the case of matching with substantially two coordinates, the X coordinate and the Y coordinate. When the recognition of the position and orientation is completed by executing the matching, the control related to the position and orientation recognition is terminated. After the position / posture recognition is completed, the process shifts to a desired control such as assembly control using the
以下、上述した実施形態による効果を説明する。上述した実施形態によると、認識システム１は、表面画像に基づいて、計測対象物４１の平面部分における三次元座標を計測平面データとして抽出する計測平面データ抽出部７４を備えている。さらに、認識システム１は、モデル平面データと計測平面データとをマッチングして計測対象物４１の位置姿勢を認識するマッチング部７９を備えている。このため、平面部分に比べて計測精度の低いエッジ部分の三次元座標を含まないデータである計測平面データを用いてマッチングを行うことができる。したがって、マッチングにおいて、計測精度の低い三次元座標が多く含まれてしまい、位置姿勢認識の精度が低下してしまうことを抑制できる。よって、精度の高い位置姿勢認識が可能な認識システム１を提供できる。
Hereinafter, the effects of the above-described embodiment will be described. According to the above-described embodiment, the
計測対象物４１の表面に段差が多く形成されているほど計測データにおけるエッジ部分の割合が多くなる。このため、エッジ部分を含む計測データを用いた位置姿勢認識の精度が低下しやすい。したがって、平面部分の三次元座標を抽出した計測平面データを用いて位置姿勢認識を行う構成は、計測対象物４１の表面に段差が多く形成されている場合に、特に有用である。
The more steps are formed on the surface of the object to be measured 41, the larger the proportion of the edge portion in the measurement data. Therefore, the accuracy of position / orientation recognition using the measurement data including the edge portion tends to decrease. Therefore, the configuration of performing position / orientation recognition using the measurement plane data obtained by extracting the three-dimensional coordinates of the plane portion is particularly useful when many steps are formed on the surface of the
マッチング部７９は、モデル平面データと計測平面データとをマッチングして計測対象物４１の位置姿勢を認識する。このため、モデルデータと計測データとをマッチングする場合に比べて、マッチングすべき三次元座標の数が少ない。言い換えると、マッチングに必要なデータのデータサイズが小さい。したがって、マッチングに要する処理を低減し、マッチングを高速に完了させることができる。
The matching
計測平面データ抽出部７４は、計測データから計測平面データを抽出している。このため、計測領域に最初からエッジ部分を含まないようにする目的で、計測すべき領域を制限する必要がない。したがって、計測ユニット２０に投光領域を計測対象物４１の形状に合わせて制御するための構成を別途備える必要がなく、計測ユニット２０の構成をシンプルにしやすい。さらに、計測対象物４１の形状に合わせて計測領域を制限する構成に比べて、素早く計測を開始しやすい。さらに、計測平面データのデータ数が少なく、マッチングが適切にできない場合に、計測データから別の計測平面データを抽出することができる。別の計測平面データとは、例えば、エッジ部分からのオフセット量の異なる位置における三次元座標のデータのことである。このため、適切にマッチングができない場合に、改めて計測対象物４１の計測を行う必要がない。
The measurement plane
オフセット位置設定部７７は、エッジ部分から離れる方向にオフセットした位置であるオフセット位置を設定する。さらに、計測平面データ抽出部７４は、三次元点群の中からオフセット位置に対応する位置の三次元座標を計測平面データとして抽出する。このため、エッジ部分から離れた位置の三次元座標をマッチングに使用できる。
The offset
オフセット位置設定部７７は、エッジ部分から中心点に向かって近づく方向にオフセットした位置であるオフセット位置を設定する。このため、少なくとも、外側エッジ部分よりも外側にオフセット位置が設定されることがない。したがって、平面部分をオフセット位置として設定しやすい。
The offset
オフセット位置設定部７７は、中心点に近づく向きに所定のオフセット量だけエッジ部分から近づいた位置をオフセット位置として設定する。このため、エッジ部分からオフセット位置までの移動量が小さく、エッジ部分に近い位置の計測精度の低い三次元座標が計測平面データに含まれてしまうことを抑制しやすい。
The offset
オフセット位置設定部７７は、中心点に近づく向きに所定のオフセット倍率でエッジ部分から縮小した位置をオフセット位置として設定する。このため、中心点に近いエッジ部分に対するオフセット位置が中心点を越えてしまうことを抑制できる。
The offset
特徴点抽出部７５は、表面画像の輝度の変化に基づいて特徴点であるエッジ部分の位置を抽出する。このため、三次元点群から特徴点であるエッジ部分の位置を抽出する場合に比べて、精度よくエッジ部分の位置を抽出できる。
The feature
マッチング部７９は、計測ユニット２０と計測対象物４１との並び方向であるＺ方向における座標成分を含む三次元座標の各座標成分についてマッチングを行う。ここで、計測平面データにＺ座標の異なる平面部分のデータが含まれている場合を想定する。Ｚ座標の異なる平面部分の例としては、外縁オフセット点群と内縁オフセット点群とのＺ座標が異なる場合である。あるいは、外縁オフセット位置における平面部分がＺ方向に傾斜しており、外縁オフセット点群の中でＺ座標が異なる場合である。あるいは、内縁オフセット位置における平面部分がＺ方向に傾斜しており、内縁オフセット点群の中でＺ座標が異なる場合である。この場合、マッチング部７９は、Ｘ座標とＹ座標とＺ座標との各座標成分についてモデル平面データと計測平面データとが一致するようにマッチングを行うこととなる。したがって、実質的にＸ座標とＹ座標との２つの座標成分のみを用いてマッチングを行う場合に比べて、多くの座標成分を用いてマッチングすることができる。よって、誤認識を抑制して位置姿勢認識の精度を高めやすい。
The matching
計測平面データは、外縁オフセット位置が含まれる平面部分の三次元座標と内縁オフセット位置が含まれる平面部分の三次元座標を含んでいる。言い換えると、計測平面データ抽出部７４は、モデル平面データにおいてＺ座標の異なる平面部分を含むように計測平面データを抽出している。このため、Ｚ座標の異なる平面部分のデータをマッチングに用いて、誤認識を抑制しやすい。
The measured plane data includes the three-dimensional coordinates of the plane portion including the outer edge offset position and the three-dimensional coordinates of the plane portion including the inner edge offset position. In other words, the measurement plane
また、計測平面データは、外縁オフセット位置が含まれる平面部分の三次元座標と内縁オフセット位置が含まれる平面部分の三次元座標を含んでいる。言い換えると、計測平面データ抽出部７４は、互いに離れている複数の平面部分を含むように計測平面データを抽出している。このため、複数の平面部分のデータをマッチングに用いて、誤認識を抑制しやすい。
Further, the measurement plane data includes the three-dimensional coordinates of the plane portion including the outer edge offset position and the three-dimensional coordinates of the plane portion including the inner edge offset position. In other words, the measurement plane
オフセット位置をエッジ部分から中心点に近づく方向に設定する場合を例に説明を行ったが、オフセットする方向は、上述の例に限られない。例えば、オフセット方向を中心点から離れる方向に設定してもよい。あるいは、オフセット方向を中心点に基づかない方向に設定してもよい。中心点に基づかない方向の一例としては、Ｘ方向あるいは、Ｙ方向への平行移動である。ただし、オフセット方向を中心点から離れる方向や、Ｘ方向に設定した場合、外側エッジ部分からオフセットした位置の少なくとも一部は、平面部分ではない部分が含まれてしまう。このため、エッジ部分からオフセットされる位置のうち、平面部分に位置する位置のみをオフセット位置とし、平面部分に位置しない位置はオフセット位置としないこととなる。 The case where the offset position is set in the direction approaching the center point from the edge portion has been described as an example, but the offset direction is not limited to the above example. For example, the offset direction may be set to a direction away from the center point. Alternatively, the offset direction may be set to a direction that is not based on the center point. An example of a direction not based on the center point is translation in the X direction or the Y direction. However, when the offset direction is set in the direction away from the center point or in the X direction, at least a part of the position offset from the outer edge portion includes a portion that is not a flat portion. Therefore, among the positions offset from the edge portion, only the position located on the flat surface portion is set as the offset position, and the position not located on the flat surface portion is not set as the offset position.
第２実施形態
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、表面画像に基づいてマスク範囲を設定して、三次元点群から計測平面データを抽出している。また、マスク範囲を設定可能な操作パネル２３９を備えている。
Second Embodiment This embodiment is a modification based on the preceding embodiment as a basic embodiment. In this embodiment, the mask range is set based on the surface image, and the measurement plane data is extracted from the three-dimensional point cloud. It also has an
図５において、計測対象物２４１は、任意の形状の物体を採用可能であるが、一例として楕円形の円盤部分の上に直径の小さな２つの円盤が設けられた形状を採用している。計測対象物２４１に設けられている小さな２つの円盤は、互いに離間してＸ方向に並んでいる。計測対象物２４１は、小さな２つの円盤部分が上側に位置するように作業台３１に載置されている。
In FIG. 5, the object to be measured 241 can adopt an object having an arbitrary shape, but as an example, a shape in which two disks having a small diameter are provided on an elliptical disk portion is adopted. Two small disks provided on the object to be measured 241 are arranged in the X direction so as to be separated from each other. The object to be measured 241 is placed on the
図６において、認識システム１の制御を行う制御部７０は、操作パネル２３９に接続している。操作パネル２３９は、ユーザによる入力制御を受け付けるための装置である。ユーザは、操作パネル２３９を用いて認識システム１の位置姿勢認識における設定をユーザが入力可能である。認識システム１における設定の一例は、後述するマスク半径の情報である。認識システム１における設定の一例は、オフセット情報である。制御部７０は、操作パネル２３９で操作された設定を取得する。
In FIG. 6, the
計測平面データ抽出部７４は、特徴点抽出部７５とマスク範囲設定部２７８とを備えている。マスク範囲設定部２７８は、特徴点の情報に基づいて後述するマスク範囲を設定する。計測平面データ抽出部７４は、マスク範囲設定部２７８で設定したマスク範囲に対応する位置の三次元点群を除外して計測平面データを抽出することとなる。
The measurement plane
図７において、位置姿勢認識に関する制御を開始すると、ステップＳ１０１でモデル平面データ取得部７２がモデル平面データを取得する。その後、ステップＳ１１１に進み、計測対象物２４１を計測する。その後、ステップＳ１１２に進み、計測データを取得する。その後、ステップＳ１２１に進み、表面画像から特徴点としてエッジ部分を抽出する。その後、ステップＳ２３１に進む。
In FIG. 7, when the control related to the position / orientation recognition is started, the model plane
ステップＳ２３１では、マスク範囲設定部２７８がマスク半径を取得する。マスク半径とは、エッジ部分を中心として設定されるマスク範囲の半径のことである。マスク範囲については、後述する。マスク半径が大きいほど、マスク範囲が大きくなり、エッジ部分から遠い位置までがマスク範囲となる。マスク半径は、ユーザが操作パネル２３９を操作することで変更可能である。マスク半径を取得した後、ステップＳ２３２に進む。
In step S231, the mask
ステップＳ２３２では、マスク範囲設定部２７８がマスク範囲を設定する。マスク範囲とは、計測平面データとしてマッチングに使用すべきではない範囲を示している。マスク範囲は、エッジ部分を含む範囲として設定される。マスク範囲は、エッジ部分を中心とした所定のマスク半径の内側の範囲である。
In step S232, the mask
図８において、計測対象物２４１の下側の円盤部分におけるエッジ部分が外側エッジ部分である。また、計測対象物２４１の上側の２つの円盤部分におけるエッジ部分が内側エッジ部分である。図において、外側エッジ部分をＯＥ、内側エッジ部分をＩＥとしてそれぞれ示している。
In FIG. 8, the edge portion in the lower disk portion of the
図において、マスク半径をＭＲ、マスク範囲をＭＡとしてそれぞれ示している。図において、マスク範囲は、二点鎖線で囲まれた範囲であり、ドットで示された範囲である。マスク範囲には、外側エッジ部分を中心に所定のマスク半径で囲まれる円環状の範囲が含まれている。また、内側エッジ部分を中心に所定のマスク半径で囲まれる円環状の範囲が含まれている。まとめると、マスク範囲には、外側エッジ部に対応する円環状の範囲と、２つの内側エッジ部に対応する２つの円環状の範囲との３つの範囲が含まれている。外側エッジ部分に対応するマスク範囲と内側エッジ部分に対応するマスク範囲とは、重なっていてもよい。この場合、マスク範囲が互いに離れた３つの範囲ではなく、連続する１つの範囲となる。 In the figure, the mask radius is shown as MR and the mask range is shown as MA. In the figure, the mask range is the range surrounded by the alternate long and short dash line, and is the range indicated by dots. The mask range includes an annular range surrounded by a predetermined mask radius around the outer edge portion. Further, an annular range surrounded by a predetermined mask radius around the inner edge portion is included. In summary, the mask range includes three ranges, an annular range corresponding to the outer edge portion and two annular ranges corresponding to the two inner edge portions. The mask range corresponding to the outer edge portion and the mask range corresponding to the inner edge portion may overlap. In this case, the mask ranges are not three ranges separated from each other, but one continuous range.
マスク範囲は、マスク半径が大きいほど大きくなる。マスク範囲は、エッジ部分が多いほど大きくなる。エッジ部分同士が離れているほど、マスク範囲同士が重なる面積が小さくなる。このため、マスク範囲は、エッジ部分同士が離れているほど、マスク範囲が大きくなりやすい。このように、マスク範囲は、マスク半径とエッジ部分の形状によって決まる。このため、計測対象物２４１にエッジ部分が多い場合には、マスク範囲が広くなりやすいため、マスク半径を小さく設定することが好ましい。また、計測対象物２４１にエッジ部分が少ない場合には、マスク範囲が狭くなりやすいため、マスク半径を大きく設定することが好ましい。マスク範囲を設定した後、ステップＳ２４１に進む。
The mask range increases as the mask radius increases. The mask range becomes larger as the number of edge portions increases. The farther the edge portions are, the smaller the area where the mask ranges overlap each other. Therefore, as for the mask range, the farther the edge portions are, the larger the mask range tends to be. In this way, the mask range is determined by the mask radius and the shape of the edge portion. Therefore, when the object to be measured 241 has many edge portions, the mask range tends to be wide, so it is preferable to set the mask radius small. Further, when the
ステップＳ２４１では、計測平面データ抽出部７４がマスク範囲を除いた位置に対応する三次元座標を計測平面データとして抽出する。マスク範囲を除いた位置は、計測平面データの抽出位置を示す抽出範囲である。計測平面データ抽出部７４は、抽出範囲に対応する位置の三次元座標を抽出することとなる。
In step S241, the measurement plane
図９において、抽出範囲をＥＡとして示している。抽出範囲は、二点鎖線で囲まれた範囲であり、ドットで示された範囲を示している。抽出範囲は、エッジ部分から離れた範囲に設定されている。言い換えると、抽出範囲は、平面部分に設定されている。 In FIG. 9, the extraction range is shown as EA. The extraction range is the range surrounded by the alternate long and short dash line, and indicates the range indicated by dots. The extraction range is set to a range away from the edge portion. In other words, the extraction range is set to the plane portion.
マスク範囲が大きいほど、抽出範囲が小さくなり、計測平面データのデータサイズが小さくなる。このため、計測平面データのデータサイズを小さくしたい場合には、マスク半径を大きく設定することとなる。一方、計測平面データのデータサイズを大きくしたい場合には、マスク半径を小さく設定することとなる。マスク半径の設定は、ユーザが操作パネル２３９を操作することで変更可能である。ただし、計測平面データのデータサイズが適切なデータサイズとなるように、自動でマスク半径を変更してもよい。マスク範囲を除いた位置に対応する三次元座標を計測平面データとして抽出した後、ステップＳ１５１に進み、マッチングを行う。
The larger the mask range, the smaller the extraction range and the smaller the data size of the measurement plane data. Therefore, when it is desired to reduce the data size of the measurement plane data, the mask radius is set large. On the other hand, when it is desired to increase the data size of the measurement plane data, the mask radius is set small. The setting of the mask radius can be changed by the user operating the
計測平面データのデータサイズが小さいほどマッチングの処理を高速に完了させることができる。しかし、計測平面データのデータサイズが大きいほどマッチングの処理で正確に位置姿勢を認識しやすい。したがって、位置姿勢認識における処理速度と精度とのバランスを考慮して計測平面データのデータサイズを調整することが好ましい。計測平面データのデータサイズは、位置姿勢認識の精度が著しく低下することを防ぐため、計測データの三次元点群のデータサイズの半分以上であることが好ましい。 The smaller the data size of the measurement plane data, the faster the matching process can be completed. However, the larger the data size of the measurement plane data, the easier it is to accurately recognize the position and orientation in the matching process. Therefore, it is preferable to adjust the data size of the measurement plane data in consideration of the balance between the processing speed and the accuracy in the position / orientation recognition. The data size of the measurement plane data is preferably half or more of the data size of the three-dimensional point cloud of the measurement data in order to prevent the accuracy of position / orientation recognition from being significantly lowered.
以下、上述した実施形態による効果を説明する。上述した実施形態によると、計測平面データ抽出部７４は、三次元点群の中からマスク範囲を除外した位置の三次元座標を計測平面データとして抽出する。このため、エッジ部分とエッジ部分の周辺部分を含まない位置の三次元座標を計測平面データとすることができる。したがって、平面部分に比べて計測精度の低いエッジ部分の三次元座標を含まないデータである計測平面データを用いてマッチングを行うことができる。よって、マッチングにおいて、計測精度の低い三次元座標が多く含まれてしまい、位置姿勢認識の精度が低下してしまうことを抑制できる。
Hereinafter, the effects of the above-described embodiment will be described. According to the above-described embodiment, the measurement plane
操作パネル２３９を操作することでマスク半径をユーザが設定可能である。言い換えると、操作パネル２３９を操作することでマスク範囲の大きさをユーザが設定可能である。例えば、計測対象物２４１にエッジ部分が多い場合に、マスク半径を小さく設定することで、マスク範囲を小さくできる。あるいは、計測対象物２４１にエッジ部分が少ない場合に、マスク半径を大きく設定することで、マスク範囲を大きくできる。このため、計測対象物２４１の形状に合わせてマスク半径を適切に設定することで、計測平面データのデータサイズを適切なサイズとすることができる。
The mask radius can be set by the user by operating the
第３実施形態
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、表面画像から平面部分を抽出して、平面部分に対応する位置の三次元座標を計測平面データとしている。
Third Embodiment This embodiment is a modification based on the preceding embodiment. In this embodiment, a plane portion is extracted from the surface image, and the three-dimensional coordinates of the position corresponding to the plane portion are used as the measurement plane data.
図１０において、計測平面データ抽出部７４は、特徴点抽出部３７５を備えている。特徴点抽出部３７５は、計測データから特徴点を抽出する。特徴点は、例えば計測対象物４１の平面部分である。
In FIG. 10, the measurement plane
図１１において、位置姿勢認識に関する制御を開始すると、ステップＳ１０１でモデル平面データ取得部７２がモデル平面データを取得する。その後、ステップＳ１１１に進み、計測対象物４１を計測する。その後、ステップＳ１１２に進み、計測データを取得する。その後、ステップＳ３２１に進む。
In FIG. 11, when the control related to the position / orientation recognition is started, the model plane
ステップＳ３２１では、特徴点抽出部３７５が表面画像から特徴点として平面部分を抽出する。平面部分は、表面画像における輝度の変化から抽出することができる。より詳細には、周囲に比べて輝度の変化が小さい部分を平面部分とみなして抽出することとなる。平面部分を抽出した後、ステップＳ３４１に進む。
In step S321, the feature
ステップＳ３４１では、計測平面データ抽出部７４が平面部分の三次元座標を抽出する。より詳細には、表面画像に基づいて決定した平面部分に対応する位置の三次元座標を抽出して計測平面データとする。平面部分として抽出した位置全体に対応する位置の三次元座標を計測平面データとして抽出する。ただし、平面部分として抽出した位置の一部を抜粋して対応する位置の三次元座標を計測平面データとして抽出してもよい。三次元座標を抽出した後、ステップＳ１５１に進み、マッチングを行う。
In step S341, the measurement plane
以下、上述した実施形態による効果を説明する。上述した実施形態によると、計測平面データ抽出部７４は、三次元点群の中から特徴点抽出部３７５で抽出した平面部分に対応する位置の三次元座標を計測平面データとして抽出する。このため、エッジ部分を抽出してからエッジ部分を含まないように三次元座標を抽出する場合に比べて、計測平面データの抽出に要する処理を低減しやすい。したがって、位置姿勢認識の制御における処理負荷を低減して、マッチングを高速に完了させることができる。
Hereinafter, the effects of the above-described embodiment will be described. According to the above-described embodiment, the measurement plane
他の実施形態
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、１つの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
Other Embodiments The disclosure in this specification, drawings and the like is not limited to the exemplified embodiments. Disclosures include exemplary embodiments and modifications by those skilled in the art based on them. For example, the disclosure is not limited to the parts and / or combinations of elements shown in the embodiments. Disclosure can be carried out in various combinations. The disclosure can have additional parts that can be added to the embodiment. Disclosures include those in which the parts and / or elements of the embodiment are omitted. Disclosures include the replacement or combination of parts and / or elements between one embodiment and the other. The technical scope disclosed is not limited to the description of the embodiments. Some technical scopes disclosed are indicated by the claims description and should be understood to include all modifications within the meaning and scope equivalent to the claims description.
明細書および図面等における開示は、請求の範囲の記載によって限定されない。明細書および図面等における開示は、請求の範囲に記載された技術的思想を包含し、さらに請求の範囲に記載された技術的思想より多様で広範な技術的思想に及んでいる。よって、請求の範囲の記載に拘束されることなく、明細書および図面等の開示から、多様な技術的思想を抽出することができる。 Disclosure in the description, drawings, etc. is not limited by the description of the scope of claims. The disclosure in the description, drawings, etc. includes the technical ideas described in the claims, and further covers a wider variety of technical ideas than the technical ideas described in the claims. Therefore, various technical ideas can be extracted from the disclosure of the description, drawings, etc. without being bound by the description of the scope of claims.
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された１つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 The controls and methods thereof described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor for executing a computer program and one or more hardware logic circuits. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
１ 認識システム、 １０ ロボット、 １１ ベース、 １５ ロボットアーム、 １６ ロボットハンド、 ２０ 計測ユニット、 ３１ 作業台、 ４１ 計測対象物、 ７０ 制御部、 ７２ モデル平面データ取得部、 ７３ 計測データ取得部、 ７４ 計測平面データ抽出部、 ７５ 特徴点抽出部、 ７６ 中心点抽出部、 ７７ オフセット位置設定部、 ７９ マッチング部、 ２３９ 操作パネル、 ２４１ 計測対象物、 ２７８ マスク範囲設定部、 ３７５ 特徴点抽出部 1 recognition system, 10 robot, 11 base, 15 robot arm, 16 robot hand, 20 measurement unit, 31 workbench, 41 measurement object, 70 control unit, 72 model plane data acquisition unit, 73 measurement data acquisition unit, 74 measurement Plane data extraction unit, 75 feature point extraction unit, 76 center point extraction unit, 77 offset position setting unit, 79 matching unit, 239 operation panel, 241 measurement target, 278 mask range setting unit, 375 feature point extraction unit
Claims (11)
前記計測対象物の表面画像を撮像し、前記表面画像と対応する三次元点群を算出する計測ユニット（２０）と、
前記計測対象物の三次元形状を示すモデルデータから平面部分のデータを抽出したモデル平面データを取得するモデル平面データ取得部（７２）と、
前記計測ユニットが撮像した前記表面画像および前記計測ユニットが算出した前記三次元点群を含む計測データを取得する計測データ取得部（７３）と、
前記計測データ取得部が取得した前記表面画像に基づいて、前記三次元点群の中から前記平面部分における三次元座標を計測平面データとして抽出する計測平面データ抽出部（７４）と、
前記モデル平面データと前記計測平面データとをマッチングして前記計測対象物の前記位置姿勢を認識するマッチング部（７９）とを備えている認識システム。 It is a recognition system that performs position / orientation recognition for measuring the shape of the measurement object (41, 241) and recognizing the position / orientation of the measurement object.
A measurement unit (20) that captures a surface image of the object to be measured and calculates a three-dimensional point cloud corresponding to the surface image.
A model plane data acquisition unit (72) that acquires model plane data obtained by extracting data of a plane portion from model data showing a three-dimensional shape of the measurement object, and
A measurement data acquisition unit (73) that acquires measurement data including the surface image captured by the measurement unit and the three-dimensional point cloud calculated by the measurement unit.
A measurement plane data extraction unit (74) that extracts three-dimensional coordinates in the plane portion as measurement plane data from the three-dimensional point group based on the surface image acquired by the measurement data acquisition unit.
A recognition system including a matching unit (79) that matches the model plane data with the measurement plane data and recognizes the position and orientation of the measurement object.
前記エッジ部分から離れる方向にオフセットした位置であるオフセット位置を設定するオフセット位置設定部（７７）とを備え、
前記計測平面データ抽出部は、前記三次元点群の中から前記オフセット位置に対応する位置の前記三次元座標を前記計測平面データとして抽出する請求項１に記載の認識システム。 A feature point extraction unit (75) that extracts an edge portion as a feature point from the surface image,
It is provided with an offset position setting unit (77) for setting an offset position which is a position offset in a direction away from the edge portion.
The recognition system according to claim 1, wherein the measurement plane data extraction unit extracts the three-dimensional coordinates of a position corresponding to the offset position from the three-dimensional point group as the measurement plane data.
前記オフセット位置設定部は、前記エッジ部分から前記中心点に向かって近づく方向にオフセットした位置をオフセット位置として設定する請求項２に記載の認識システム。 A center point extraction unit (76) that extracts a center point from the surface image,
The recognition system according to claim 2, wherein the offset position setting unit sets a position offset in a direction approaching the center point from the edge portion as an offset position.
前記エッジ部分を含む周囲の領域をマスク範囲として抽出するマスク範囲設定部（２７８）とを備え、
前記計測平面データ抽出部は、前記三次元点群の中から前記マスク範囲を除外した位置の前記三次元座標を前記計測平面データとして抽出する請求項１に記載の認識システム。 A feature point extraction unit (75) that extracts an edge portion as a feature point from the surface image,
A mask range setting unit (278) for extracting the surrounding area including the edge portion as a mask range is provided.
The recognition system according to claim 1, wherein the measurement plane data extraction unit extracts the three-dimensional coordinates of a position excluding the mask range from the three-dimensional point cloud as the measurement plane data.
前記操作パネルを操作することで前記マスク範囲の大きさを前記ユーザが設定可能である請求項６に記載の認識システム。 It is provided with an operation panel (239) in which the user can input the setting in the position / posture recognition.
The recognition system according to claim 6, wherein the size of the mask range can be set by the user by operating the operation panel.
前記計測平面データ抽出部は、前記三次元点群の中から前記特徴点抽出部で抽出した前記平面部分に対応する位置の前記三次元座標を前記計測平面データとして抽出する請求項１に記載の認識システム。 A feature point extraction unit (375) for extracting the plane portion as a feature point from the surface image is provided.
The first aspect of claim 1, wherein the measurement plane data extraction unit extracts the three-dimensional coordinates of the position corresponding to the plane portion extracted by the feature point extraction unit from the three-dimensional point cloud as the measurement plane data. Recognition system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020191217A JP7502641B2 (en) | 2020-11-17 | 2020-11-17 | Recognition System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020191217A JP7502641B2 (en) | 2020-11-17 | 2020-11-17 | Recognition System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022080188A true JP2022080188A (en) | 2022-05-27 |
| JP7502641B2 JP7502641B2 (en) | 2024-06-19 |
Family
ID=81731671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020191217A Active JP7502641B2 (en) | 2020-11-17 | 2020-11-17 | Recognition System |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7502641B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5937469B2 (en) | 2012-09-13 | 2016-06-22 | 国立大学法人 東京大学 | Object recognition apparatus, object recognition method, and object recognition program |
| JP2016170050A (en) | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | Position attitude measurement device, position attitude measurement method and computer program |
| JP6489243B2 (en) | 2018-01-17 | 2019-03-27 | セイコーエプソン株式会社 | Object recognition device, object recognition method, object recognition program, robot system, and robot |
| JP6984633B2 (en) | 2019-04-26 | 2021-12-22 | オムロン株式会社 | Devices, methods and programs that detect the position and orientation of an object |
-
2020
- 2020-11-17 JP JP2020191217A patent/JP7502641B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7502641B2 (en) | 2024-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10805546B2 (en) | Image processing system, image processing device, and image processing program | |
| US10288418B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US9672630B2 (en) | Contour line measurement apparatus and robot system | |
| US9621793B2 (en) | Information processing apparatus, method therefor, and measurement apparatus | |
| JP5602392B2 (en) | Information processing apparatus, information processing method, and program | |
| US10664939B2 (en) | Position control system, position detection device, and non-transitory recording medium | |
| US20210039257A1 (en) | Workpiece picking device and workpiece picking method | |
| US20130215263A1 (en) | Image processing device and method of image processing | |
| JP2016060610A (en) | Elevator hoistway internal dimension measuring device, elevator hoistway internal dimension measuring controller, and elevator hoistway internal dimension measuring method | |
| US20150362310A1 (en) | Shape examination method and device therefor | |
| US20180290300A1 (en) | Information processing apparatus, information processing method, storage medium, system, and article manufacturing method | |
| US10708479B2 (en) | Optical measurement of object location in three dimensions | |
| JP2020047049A (en) | Image processing device and image processing method | |
| US10607337B2 (en) | Object inspection system and object inspection method | |
| JP6973233B2 (en) | Image processing system, image processing device and image processing program | |
| US10656097B2 (en) | Apparatus and method for generating operation program of inspection system | |
| JP2015007639A (en) | Information processing apparatus, information processing method and program | |
| US11826919B2 (en) | Work coordinate generation device | |
| JP2022080188A (en) | Recognition system | |
| JP7502343B2 (en) | Image Processing System | |
| JPH1055446A (en) | Object recognizing device | |
| JP2009186404A (en) | Image information creating device and image information creating method | |
| JP2022111072A (en) | Target-free rgbd camera alignment to robots | |
| JP7153514B2 (en) | 3D shape inspection device, 3D shape inspection method, 3D shape inspection program, computer | |
| TWI747500B (en) | Automatic image capturing method and apparatus for object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7502641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |