JP2013072857A - 3次元位置・姿勢認識装置およびその方法、プログラム - Google Patents
3次元位置・姿勢認識装置およびその方法、プログラム Download PDFInfo
- Publication number
- JP2013072857A JP2013072857A JP2011214551A JP2011214551A JP2013072857A JP 2013072857 A JP2013072857 A JP 2013072857A JP 2011214551 A JP2011214551 A JP 2011214551A JP 2011214551 A JP2011214551 A JP 2011214551A JP 2013072857 A JP2013072857 A JP 2013072857A
- Authority
- JP
- Japan
- Prior art keywords
- point group
- dimensional position
- model
- matching
- measurement point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、対象体本来の形状のうち部分的な形状の情報を欠いた計測点群を用いる場合であっても、対象体の3次元位置・姿勢を適切に認識可能な3次元位置・姿勢認識装置およびその方法、プログラムの提供を目的とする。
【解決手段】本発明にかかる3次元位置・姿勢認識装置は、計測点群と、対応するモデル点群とをマッチングさせ、モデル点群のうち、マッチング結果に基づいて特定される点を削除処理するモデル処理手段10と、計測点群と、モデル処理手段10において削除処理したモデル点群とをマッチングさせ、対象体3の3次元位置・姿勢を認識する認識手段11とを備えることを特徴とする。
【選択図】図1
【解決手段】本発明にかかる3次元位置・姿勢認識装置は、計測点群と、対応するモデル点群とをマッチングさせ、モデル点群のうち、マッチング結果に基づいて特定される点を削除処理するモデル処理手段10と、計測点群と、モデル処理手段10において削除処理したモデル点群とをマッチングさせ、対象体3の3次元位置・姿勢を認識する認識手段11とを備えることを特徴とする。
【選択図】図1
Description
本発明は3次元位置・姿勢認識装置およびその方法、プログラムに関し、特に、ロボット動作等に必要な、対象体の3次元位置・姿勢認識に関する。
部品等の対象体の空間位置および空間姿勢の少なくとも一方を含む3次元座標値の組によって3次元位置・姿勢を定義する場合、対象体の3次元位置・姿勢を認識するために、その対象体の3次元形状を示す、各点が3次元位置情報を有する点群データ同士のマッチングを行う方法が従来から知られている。
この方法では、対象体を計測し、ステレオ法等を用いて生成した3次元位置情報を各点が有する計測点群と、当該対象体に対応してあらかじめ準備された、各点が3次元位置情報を持つ点群であるモデル点群とをICP(Iterative Closest Point)マッチング等させて、当該対象体の3次元位置・姿勢を認識することができる。
ここで、対象体を計測した計測点群にノイズによる点群が含まれると、当該ノイズの影響により適切にマッチングできない場合があった。
このような場合の対策として、例えば特許文献1および2では、あらかじめ計測点群からノイズと判断される点群を除去し、ノイズを除去した計測点群とモデル点群とをマッチングさせることで、適切にマッチングしている。
また特許文献3では、計測点群におけるノイズの除去方法として、同一平面上にあると推定される線分を抽出することで平面を求め、求めた平面に基づいてノイズを判断する方法が示されている。
一方で、対象体の3次元計測は複数のカメラを用いる等により行われるが、対象体の所望範囲の形状が撮像範囲に入らない場合がある。また撮像範囲に入っている場合であっても、対象体を照らす照明が不十分である等ことによって、画像取得において十分な解像度を得られない場合もある。
このような場合に、取得できなかった部分の計測点を欠いた、すなわち、対象体本来の形状のうち部分的な形状の情報を欠いた計測点群(欠落計測点群)が得られることになる。この欠落計測点群とモデル点群とをマッチングさせると、適切に対応すべき点群が欠落していることから、適切なマッチングが抑制される。そして、計測点群とモデル点群とを適切にマッチングできないことにより、対象体の3次元位置・姿勢を適切に認識できないという問題があった。
本発明は、上記のような問題を解決するためになされたものであり、対象体本来の形状のうち部分的な形状の情報を欠いた計測点群を用いる場合であっても、対象体の3次元位置・姿勢を適切に認識可能な3次元位置・姿勢認識装置およびその方法、プログラムの提供を目的とする。
請求項1の発明である3次元位置・姿勢認識装置は、対象体の3次元計測によって得られた計測点群の各点の3次元位置情報と、前記対象体の3次元モデル上に規定されたモデル点群の各点の3次元位置情報とを取得する取得手段と、前記計測点群と、対応する前記モデル点群とをマッチングさせるマッチング手段と、前記モデル点群のうち、前記マッチング手段におけるマッチング結果に基づいて特定される点を削除処理するモデル処理手段と、前記計測点群と、前記モデル処理手段において削除処理した前記モデル点群とをマッチングさせ、前記対象体の3次元位置・姿勢を認識する認識手段とを備えることを特徴とする。
請求項2の発明は、請求項1に記載の3次元位置・姿勢認識装置であって、前記モデル処理手段が、前記マッチング手段におけるマッチングの結果、対応する計測点群の各点との間隔が所定距離以上である前記モデル点群の各点を削除処理することを特徴とする。
請求項3の発明は、請求項1または2に記載の3次元位置・姿勢認識装置であって、前記マッチング手段および前記認識手段における前記マッチングは、ICPマッチングであることを特徴とする。
請求項4の発明は、請求項1〜3のいずれかに記載の3次元位置・姿勢認識装置であって、前記対象体の3次元計測によって得られた前記計測点群からノイズを除去するノイズ除去手段をさらに備え、前記取得手段が、前記ノイズ除去手段においてノイズ除去された前記計測点群の各点の3次元位置情報と、前記モデル点群の各点の3次元位置情報とを取得することを特徴とする。
請求項5の発明は、請求項4に記載の3次元位置・姿勢認識装置であって、前記対象体の画像を撮像する撮像手段をさらに備え、前記ノイズ除去手段が、前記計測点群の各点の、前記対象体と前記撮像手段とを通る軸成分の分布に基づいて、前記計測点群からノイズを除去することを特徴とする。
また、請求項6の発明は、3次元位置・姿勢認識方法であって、(a)対象体の3次元計測によって得られた計測点群の各点の3次元位置情報と、前記対象体の3次元モデル上に規定されたモデル点群の各点の3次元位置情報とを取得する工程と、(b)前記計測点群と、対応する前記モデル点群とをマッチングさせる工程と、(c)前記モデル点群のうち、マッチング結果に基づいて特定される点を削除処理する工程と、(d)前記計測点群と、削除処理した前記モデル点群とをマッチングさせ、前記対象体の3次元位置・姿勢を認識する工程とを備えることを特徴とする。
また、請求項7の発明は、3次元位置・姿勢認識プログラムであって、コンピュータにインストールされて実行されることにより、前記コンピュータを、請求項1〜5のいずれかに記載の3次元位置・姿勢認識装置として機能させることを特徴とする。
請求項1〜7の発明によれば、対象体の計測点群と、対応するモデル点群とをマッチングさせ、そのマッチング結果に基づいて、前記モデル点群のうち、マッチング結果に基づいて特定される点を削除処理し、当該削除処理を行った前記モデル点群を用いて前記計測点群とマッチングさせ、前記対象体の3次元位置・姿勢を認識することにより、対象体の欠落計測点群を用いて3次元位置・姿勢認識を行う場合であっても、欠落計測点群の欠落部分に対応するモデル点群の各モデル点をマッチング結果に基づいて削除することにより、適切にマッチングさせ、対象体の3次元位置・姿勢認識を適切に行うことができる。
特に請求項2の発明によれば、モデル処理手段が、マッチング手段におけるマッチングの結果、対応する計測点群の各点との間隔が所定距離以上であるモデル点群の各点を削除処理することにより、対応点を持たないモデル点群の各モデル点を適切に特定し、欠落計測点群とモデル点群とのマッチングの精度を高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
特に請求項4の発明によれば、対象体の3次元計測によって得られた前記計測点群からノイズを除去するノイズ除去手段をさらに備え、ノイズ除去された前記計測点群の各点の3次元位置情報と、前記モデル点群の各点の3次元位置情報とを取得することにより、欠落計測点群におけるノイズの影響を抑制し、欠落計測点群とモデル点群とのマッチングの精度をさらに高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
特に請求項5の発明によれば、ノイズ除去手段が、欠落計測点群の各点の、対象体と撮像手段とを通る軸成分の分布に基づいて、欠落計測点群からノイズを除去することにより、対象体と撮像手段とを通る軸成分の違いによって、対象体とノイズとを区別することができ、ノイズによる計測点を効果的に除去することができるため、欠落計測点群とモデル点群とのマッチングの精度をさらに高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
<定義>
この明細書における「対象体の3次元位置・姿勢」とは、対象体の空間位置および空間姿勢の少なくとも一方を含む座標値の組として定義される。空間姿勢は、対象体が1軸回転完全対称性を有する場合(例:円柱)には2自由度であり、1軸回転完全対称性を持たない場合には3自由度となる。
この明細書における「対象体の3次元位置・姿勢」とは、対象体の空間位置および空間姿勢の少なくとも一方を含む座標値の組として定義される。空間姿勢は、対象体が1軸回転完全対称性を有する場合(例:円柱)には2自由度であり、1軸回転完全対称性を持たない場合には3自由度となる。
したがって、この発明における「3次元位置・姿勢のマッチング」とは、位置に関する3自由度と姿勢に関する3自由度との合計6自由度の全てをマッチングさせる処理だけでなく、少なくとも、(1)位置についての3自由度のマッチング、および、(2)姿勢についての2以上の自由度のマッチング、のいずれかを含んでいれば、この発明の適用範囲に含まれる。
<第1実施形態>
<構成>
図1は、本発明の第1実施形態にかかる3次元位置・姿勢認識システム1000の構成を示す概念図である。図1に示すように3次元位置・姿勢認識システム1000は、当該3次元位置・姿勢認識システム1000外の対象体3(部品等)を異なる方向から撮影する複数の撮影手段であるカメラ4およびカメラ5と、カメラ4およびカメラ5の撮影結果に基づいて、対象体3の3次元位置・姿勢を認識する3次元位置・姿勢認識装置100とを備える。
<構成>
図1は、本発明の第1実施形態にかかる3次元位置・姿勢認識システム1000の構成を示す概念図である。図1に示すように3次元位置・姿勢認識システム1000は、当該3次元位置・姿勢認識システム1000外の対象体3(部品等)を異なる方向から撮影する複数の撮影手段であるカメラ4およびカメラ5と、カメラ4およびカメラ5の撮影結果に基づいて、対象体3の3次元位置・姿勢を認識する3次元位置・姿勢認識装置100とを備える。
3次元位置・姿勢認識装置100は、ハードウェアとしては、汎用のコンピュータを用いて構成することが可能である。すなわち演算処理手段や制御手段としてのMPUの他、記憶デバイスやディスプレイやマウスなどのマンマシン・インターフェイスを備えたコンピュータが3次元位置・姿勢認識装置100として利用可能である。そして、このコンピュータにおいて3次元位置・姿勢認識装置100としての機能を実現させるプログラムが、あらかじめこのコンピュータにインストールされている。
3次元位置・姿勢認識装置100は、このコンピュータプログラムによって実現される各機能手段、すなわち、カメラ4およびカメラ5の撮影結果に基づいて、対象体3の計測点群の各計測点の3次元位置情報を生成する生成手段6と、対象体3の3次元モデル上に規定されたモデル点群の各モデル点の3次元位置情報を記憶する記憶手段7と、生成手段6から対象体3の計測点群の各計測点の3次元位置情報を取得するとともに、記憶手段7からモデル点群の各モデル点の3次元位置情報を取得する取得手段8と、取得手段8において取得した計測点群の各計測点およびモデル点群の各モデル点の3次元位置情報に基づいて、計測点群およびモデル点群のマッチング処理を行うマッチング手段9と、マッチング手段9におけるマッチング結果に基づいて、モデル点群を処理するモデル処理手段10と、モデル処理手段10において処理したモデル点群と計測点群とを用いて、3次元位置・姿勢認識を行う認識手段11とを備える。
対象体3の計測点群とは、カメラ4およびカメラ5で撮影された対象体3のステレオ画像から抽出された、対象体3の形状を規定する特徴的な点の集合であって、各計測点がその3次元位置座標によって表現されている。
一方モデル点群とは、あらかじめ形状が分かっている対象体3の3次元モデル上に規定された点の集合であって、各モデル点がその3次元位置座標によって表現され、全体として対象体3の全周形状を示している。対象体3が工業製品の場合にはそのCADデータなどを利用可能である。
また、モデル点群を記憶する記憶手段7は、図示するように3次元位置・姿勢認識装置100に備えられていてもよいし、外部の記憶装置等であって、3次元位置・姿勢認識装置100の取得手段8が、その記憶装置等から通信等によって取得するものであってもよい。
<動作>
次に、3次元位置・姿勢認識装置100を用いた、対象体3の3次元位置・姿勢認識動作について、図2〜図10を用いて説明する。
次に、3次元位置・姿勢認識装置100を用いた、対象体3の3次元位置・姿勢認識動作について、図2〜図10を用いて説明する。
まず、生成手段6において、カメラ4およびカメラ5を用いた、対象体3の計測点群の生成を行う(ステップS1)。具体的には、異なる方向から対象体3を撮像するカメラ4およびカメラ5を用い、対象体3の画像を取得する。対象体が複数ある場合には、その画像中から目標とする対象体の部分を切り出して用いることも可能である。さらに、取得した画像に対しステレオ処理、すなわち2つのカメラ4およびカメラ5からの視差に基づく三角測量の原理によって、各カメラから対象体3上の各点の3次元的な相対位置の特定を行うことにより、計測点群に相当する各計測点の3次元位置情報を生成する。
次に、取得手段8において、生成手段6において生成した計測点群の各点の3次元位置情報と、記憶手段7にあらかじめ記憶されている対象体3のモデル点群の各点の3次元位置情報とを取得する(ステップS2)。
次に、マッチング手段9において、計測点群とモデル点群とのマッチング処理を行う(ステップS3)。本実施形態においては、特にICPマッチング処理を行う場合を説明する。
このICPマッチング処理は、計測点群の各計測点と、あらかじめ適宜配置したモデル点群の中の最も近い点(最近傍点)とをそれぞれ対応させ、それらの位置が合致するように計測点群全体の位置変換(回転移動と平行移動等)を行う方法である。そして、計測点群全体の位置変換(回転移動、平行移動等)の変換値によって、計測点群とモデル点群との相対的な空間位置関係を把握し、対象体3の3次元位置・姿勢を認識する。なお、計測点群とモデル点群との位置関係は相対的なものであるので、モデル点群を位置変換してもよいし、双方を位置変換してもよい。
各計測点と対応するモデル点との距離の総和(平均二乗誤差)を最小化するように当該処理を繰り返し、総和が所定値以下となった時点、あるいは先のICPマッチング処理における距離の総和との差が所定値以下になった時点で、処理動作を終了する。
ここで、対象体3の3次元位置情報を計測する際に、カメラ4およびカメラ5の撮像範囲20に対象体3の形状全てが含まれない場合(図3(a)参照)や、撮像時の照明等の影響により、対象体3の部分的な形状が適切に撮像できない場合(図3(b)参照)には、取得できなかった部分の計測点群を欠いた、対象体3本来の形状のうち部分的な形状の情報を欠いた計測点群(欠落計測点群)が得られることになる。本実施形態では特に、欠落計測点群が得られた場合について説明する。
図4は、このように部分的に3次元位置情報を欠いた欠落計測点群の分布を示す図である。図において、横軸はX軸成分を、縦軸はY軸成分をそれぞれ示している。図4中のP領域およびQ領域では、計測点を特定できず、3次元位置情報を欠いた状態となっている。
このような欠落計測点群を用いてモデル点群とのマッチング処理を行うと、3次元位置情報を欠いた部分(P領域およびQ領域)の影響を受け、適切なマッチングが抑制される。
例えば図5に示すように、計測点(黒丸)が得られていない部分が適切にマッチングされないことにより、欠落計測点群(黒丸)全体とモデル点群(白丸)全体との相対位置関係が正しく収束せず、ずれた位置でマッチングされてしまう。
よって以下の動作に示すように、一度欠落計測点群とマッチングを行ったモデル点群に対し所定の処理を行い、再度、欠落計測点群と当該処理を行ったモデル点群(後述の削除モデル点群)とのマッチングを行うことで、欠落計測点群において3次元位置情報を欠いた部分の影響を抑制し、適切なマッチングを可能とする。
まず、モデル処理手段10において、マッチング手段9におけるマッチング処理の結果、適切にマッチングされなかったモデル点群の各モデル点を、削除する処理を行う(ステップS4)。
具体的には、まず欠落計測点群とモデル点群とのICPマッチング動作を開始する(図6参照)。図においては、黒丸は計測点群を示し、白丸はモデル点群を示す(図6以下同様)。欠落計測点群には、計測点が欠けている部分があり、また、対象体3の本来の形状を示すものではないノイズも含まれている。
各計測点と対応する各モデル点との距離の総和が所定値以下となるか、あるいは先のICPマッチング処理における距離の総和との差が所定値以下になることで、ICPマッチング動作が終了する。そうすると、欠落計測点群とモデル点群とは、所定の間隔で接近した状態となる(図7参照)。
ここで、モデル点群の各モデル点について、最も近い計測点群の点(最近傍点)までの距離を算出し、当該距離が閾値以上である点を、計測点群にマッチング対応点を持たないモデル点(非対応モデル点)とする。当該非対応モデル点とする閾値は、例えば計測点群を生成する際の間隔、解像度、3次元位置・姿勢認識に要求される精度等を考慮して、決定することができる。
この非対応モデル点には、計測点群において欠落しているわけではないが、閾値以上に離れた状態で収束したモデル点も含まれる。しかしこのようなモデル点も、適切にマッチングされていない点であるとみなし非対応モデル点に含める。
すなわち、本実施形態では欠落計測点群が得られた場合について説明するが、部分的な形状の情報を欠いていない計測点群についても、本発明は適用可能である。
非対応モデル点をモデル点群から削除し、当該処理をモデル点全点について行い、得られたモデル点群を削除モデル点群とする(図8参照)。計測点が欠けていた部分に対応するモデル点は、所定距離以内に最近傍点がないため、図8に示すように削除される。
このように、欠落計測点群において3次元位置情報の欠けた部分に合わせて、モデル点群における非対応モデル点を削除することにより、欠落計測点群において3次元位置情報を欠いた部分の影響を抑制し、適切にマッチングすることができる。
次に、認識手段11において、欠落計測点群と削除モデル点群とを用いたマッチング処理を行い(図9参照)、対象体3の3次元位置・姿勢認識を行う(ステップS5)。
削除モデル点群を用いて欠落計測点群とのマッチング処理を行うことで、図7に示す場合(削除処理を行わないモデル点群を用いてマッチング処置する場合)よりも、適切にマッチングを行うことができる(図10参照)。
<ロボットに搭載した場合の動作>
図11は、本発明の実施形態にかかる3次元位置・姿勢認識システムを搭載した産業用ロボットである。具体的には産業用ロボットに備えられたコンピュータにインストールされて実行されることにより、3次元位置・姿勢認識装置としての機能を産業用ロボットに果たさせている。
図11は、本発明の実施形態にかかる3次元位置・姿勢認識システムを搭載した産業用ロボットである。具体的には産業用ロボットに備えられたコンピュータにインストールされて実行されることにより、3次元位置・姿勢認識装置としての機能を産業用ロボットに果たさせている。
図11に示すようにロボット200は、回転自在のロボット本体201と、ロボット本体に装着されたアーム202とを備える。
アーム202は、伸縮自在の多関節アームであり、その先端に装着されたハンド203により対象体3を挟む挟持動作を行うことが可能である。ハンド203には、カメラ4およびカメラ5が備えられている。また、対象体3を照らす照明装置50および照明装置51も備えられている。
ロボット200は、対象体3をハンド203で挟む挟持動作の開始にあたって、カメラ4およびカメラ5による撮影で対象体3の画像データを生成する。その画像データに基づいて、計測点群の各計測点の3次元位置情報が図示しない生成手段6において生成する。
得られた計測点群が欠落計測点群である場合、まず、欠落計測点群と、図示しない記憶手段7において記憶された対象体3のモデル点群とを用いて図示しないマッチング手段9においてマッチング処理し、さらに、図示しないモデル処理手段10において当該マッチング結果に基づく各モデル点の削除処理を行うことで、削除モデル点群を生成する。
さらに図示しない認識手段11において、欠落計測点群と削除モデル点群とのマッチング処理によって、対象体3の3次元位置・姿勢を認識し、それに基づいてハンド203の機構的制御を行うことによって、対象体3をハンド203で正確に挟むことが可能となる。
工業製品などをロボット等の自動機械で取り扱おうとする場合、工業製品の3次元位置・姿勢の認識を自動的に行うことが重要となる。本発明にかかる3次元位置・姿勢認識システムを搭載することで、対象体3の3次元位置・姿勢認識精度が向上し、導入の幅が広がる。
<効果>
本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、欠落計測点群と、対応するモデル点群とをマッチングさせ、モデル点群のうち、マッチング結果に基づいて特定される点を削除処理するモデル処理手段10と、欠落計測点群と、モデル処理手段10において削除処理した削除モデル点群とをマッチングさせ、対象体3の3次元位置・姿勢を認識する認識手段11とを備えることで、対象体3の欠落計測点群を用いて3次元位置・姿勢認識を行う場合であっても、欠落計測点群の欠落部分に対応するモデル点(非対応モデル点)をマッチング結果に基づいて削除することにより、適切にマッチングさせ、対象体3の3次元位置・姿勢認識を適切に行うことができる。
本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、欠落計測点群と、対応するモデル点群とをマッチングさせ、モデル点群のうち、マッチング結果に基づいて特定される点を削除処理するモデル処理手段10と、欠落計測点群と、モデル処理手段10において削除処理した削除モデル点群とをマッチングさせ、対象体3の3次元位置・姿勢を認識する認識手段11とを備えることで、対象体3の欠落計測点群を用いて3次元位置・姿勢認識を行う場合であっても、欠落計測点群の欠落部分に対応するモデル点(非対応モデル点)をマッチング結果に基づいて削除することにより、適切にマッチングさせ、対象体3の3次元位置・姿勢認識を適切に行うことができる。
また、本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、モデル処理手段10が、マッチング手段9におけるマッチングの結果、対応する欠落計測点群の各計測点との間隔が所定距離以上であるモデル点群の各モデル点を削除処理することで、対応点を持たないモデル点群の各モデル点(非対応モデル点)を適切に特定し、欠落計測点群と削除モデル点群とのマッチングの精度を高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
<第2実施形態>
<構成>
図12は、本発明の第2実施形態にかかる3次元位置・姿勢認識システム1001の構成を示す概念図である。図1に示す3次元位置・姿勢認識システム1000との違いは、3次元位置・姿勢認識装置101において、生成手段6から対象体3の計測点群の各計測点の3次元位置情報を取得し、計測点群におけるノイズを除去するノイズ除去手段12がさらに備えられることである。
<構成>
図12は、本発明の第2実施形態にかかる3次元位置・姿勢認識システム1001の構成を示す概念図である。図1に示す3次元位置・姿勢認識システム1000との違いは、3次元位置・姿勢認識装置101において、生成手段6から対象体3の計測点群の各計測点の3次元位置情報を取得し、計測点群におけるノイズを除去するノイズ除去手段12がさらに備えられることである。
取得手段8は、ノイズ除去手段12においてノイズ除去された計測点群の各計測点の3次元位置情報を取得するとともに、記憶手段7からモデル点群の各モデル点の3次元位置情報を取得する。
その他、第1実施形態と同様の構成については、詳細な説明を省略する。
<動作>
次に、3次元位置・姿勢認識装置101を用いた、対象体3の3次元位置・姿勢認識動作について、図13〜図21を用いて説明する。
次に、3次元位置・姿勢認識装置101を用いた、対象体3の3次元位置・姿勢認識動作について、図13〜図21を用いて説明する。
まず、生成手段6において、カメラ4およびカメラ5を用いた、対象体3の計測点群の生成を行う(ステップS1)。ここで取得される計測点群は、第1実施形態と同様に欠落計測点群とする。
ここで、図14に示すように、カメラ4およびカメラ5の撮像範囲20に含まれる他の物体30(図においては部分的に含まれている)がある場合、当該物体30の形状を計測した計測点は、生成手段6において生成される計測点群にノイズとして含まれることになる。
このようなノイズを含む計測点群を用いてモデル点群とのマッチング処理を行うと、対象体3の形状を示すものではないノイズの影響を受け、マッチングの精度が低下する。
よって、計測点群におけるノイズを除去し、取得手段8においてはノイズを除去した計測点群を取得する(ステップS2)ことで、マッチングの精度を高めることができる。
計測点群におけるノイズの除去は、ノイズ除去手段12において以下のように行うことができる(ステップS6)。
図14に示すように、カメラ4およびカメラ5の撮像範囲20において支配的に表示されている対象体3に対し、物体30が写りこんでいるような場合に、計測された各計測点の3次元位置情報を、XYZ軸成分それぞれで抽出する。物体30は、図に示すように対象体3と離間していてもよいし、互いに重なり合うように配置されていてもよい。
ここで、対象体3とカメラ4およびカメラ5(厳密には、カメラ4およびカメラ5の中点)とを結ぶ軸をZ軸とし、Z軸と直交する軸をX軸、さらにX軸およびZ軸と直交する軸をY軸とする。XYZ軸は、鉛直方向または水平方向等に限られるものではなく、上記の定義において空間中自由に設定できるものである。
各計測点の3次元位置情報の、それぞれの軸成分について抽出し、成分の値の大きい順に並べ替えてグラフに示したものが図15(a)および図15(b)である。横軸は、X軸成分、Y軸成分、Z軸成分それぞれを大きい順に並べ替えた場合の配列順を示す配列番号であり、縦軸は、X軸成分、Y軸成分、Z軸成分それぞれの座標値である。
3つのグラフのうち、最も上方に位置しているグラフ(菱形点)はX軸成分に対応し、次に上方に位置するグラフ(四角点)はY軸成分に対応し、最も下方に位置しているグラフ(三角点)はZ軸成分に対応する。
なお当該表示方法については、図15に示すような、各成分の中でその値自体の順により並べグラフに表示する場合には限られず、例えばZ軸成分の値を、3次元位置情報の組におけるX軸成分またはY軸成分の値の順に並べて表示するものであってもよい。
床面に置かれた対象体3を鉛直上方からカメラ4およびカメラ5を用いて撮像する場合(図11参照)を想定すると、対象体3の高さと物体30の高さとの違いがZ軸成分の値の違いとして、または、対象体3と物体30との上面の傾斜の違いがZ軸成分グラフの傾きの違いとして現れる。
図15におけるZ軸成分を示すグラフに注目すると、支配的な成分である配列番号625近傍までの成分は、それ以降の成分とはZ軸成分の値、およびZ軸成分グラフの傾きが異なっている。
このことから、支配的な成分が対象体3の上面を示すものと考えると、対象体3の上面の(Z軸方向)高さが物体30の上面の高さよりも高く、また、対象体3の上面が略水平(Z軸方向に直交)であるのに対して物体30の上面は傾斜していることが読み取れる。
このような場合、すなわち、対象体3の上面とは異なる高さの上面を有する物体30が撮像範囲20に写りこんでいる場合、または、対象体3の上面とは異なる傾斜の上面を有する物体30が撮像範囲20に写りこんでいる場合、以下の方法で物体30による計測点をノイズとして除去することができる。
まず、Z軸成分を示すグラフにおいて、近似直線を求める。当該近似直線は、例えばグラフにおいて任意の2点を抽出し、当該2点を通る直線の誤差範囲内に含まれる点が一番多い直線を、近似直線として求めることができる。図15(a)には、Z軸成分を示すグラフにおける任意の2点を結んだ直線を点線で示す。図15(b)には、Z軸成分を示すグラフにおける近似直線を点線で示す。近似直線を求める際の誤差範囲は、計測点の測定誤差等を考慮して設定することができる。
当該近似直線から所定距離以上離れた点(図15(b)のR領域)を求め、これらの点を物体30の上面を示す点(ノイズ)として除去することができる。なおここでの「距離」とは、グラフ紙面上での2次元距離である。
対象体3の上面と物体30の上面とが異なる高さである場合には、対象体3の上面を示す部分と物体30の上面を示す部分とでグラフの連続性が損われる。撮像範囲20において支配的に撮像された対象体3を示す近似直線は、対象体3の上面を示す部分に対して所定距離以内に引かれることになる(図15(b)の点線)が、物体30の上面を示す部分は、その近似直線から所定距離以上離れた位置の点となるため、除去されることになる(図15(b)のR領域)。
対象体3の上面と物体30の上面との傾きが異なる場合には、対象体3の上面を示す部分と物体30の上面を示す部分(略水平な上面であれば傾き略0)とでグラフの傾きが異なる。撮像範囲20において支配的に撮像された対象体3を示す近似直線は、対象体3の上面を示す部分に対して所定距離以内に引かれることになる(図15(b)の点線)が、物体30の上面を示す部分は、近似直線から所定距離以上離れた位置の点となるものが大部分であるため、除去されることになる(図15(b)のR領域)。
一方、図14の場合について横軸にX軸成分、縦軸にY軸成分をとって示した場合、図16のような分布となる。
当該分布から、X軸成分が欠落する領域(図16においてはX=60〜70)が存在していることが分かり、当該領域において、対象体3と物体30とが空間的に離間していると判断することができる。このような場合には、物体30を示す点を特定できるため、効果的にノイズを除去できる。Y軸成分が同様に判断できる場合にも適用できる。
X軸成分、Y軸成分を用いる方法を、Z軸成分を用いる方法と組み合わせて用いることで、より精度よくノイズを除去することができる。
次に、取得手段8において、ノイズ除去手段12において生成した計測点群と、記憶手段7にあらかじめ記憶されている対象体3のモデル点群とを取得する(ステップS2)。
モデル処理手段10において、マッチング手段9におけるマッチング処理(ステップS3)の結果、適切にマッチングされなかったモデル点群の各モデル点を、削除する処理を行う(ステップS4)。
具体的には、欠落計測点群とモデル点群とのICPマッチング動作を開始し(図17参照)、各計測点と対応する各モデル点との距離の総和が所定値以下となるか、あるいは先のICPマッチング処理における距離の総和との差が所定値以下になることで、ICPマッチング動作が終了する。そうすると、欠落計測点群とモデル点群とは、所定の間隔で接近した状態となる(図18参照)。
ここで、モデル点群とマッチングされる欠落計測点群(図18)は、ノイズ除去手段12においてノイズを除去されているため、ノイズ除去していない欠落計測点群(図7)とマッチングする場合よりも、モデル点群と精度よくマッチングすることができる。
そして、モデル点群の各モデル点について、最も近い計測点群の点(最近傍点)までの距離を算出し、当該距離が閾値以上である点を、計測点群にマッチング対応点を持たないモデル点(非対応モデル点)とする。
当該非対応モデル点を、モデル点群から削除し、当該処理をモデル点全点について行い、得られたモデル点群を削除モデル点群とする(図19参照)。
このように欠落計測点群において3次元位置情報の欠けた部分に合わせて、モデル点群における非対応モデル点を削除することにより、欠落計測点群において3次元位置情報を欠いた部分の影響を抑制し、適切にマッチングすることができる。本実施形態においては、あらかじめノイズを除去した欠落計測点群とモデル点群とをマッチングさせることにより非対応モデル点を特定しているので、第1実施形態における場合よりも、より精度よく非対応モデル点を特定できる。
次に、認識手段11において、欠落計測点群と削除モデル点群とを用いたマッチング処理を行い(図20参照)、対象体3の3次元位置・姿勢認識を行う(ステップS5)。
削除モデル点群を用いて欠落計測点群とのマッチング処理を行うことで、より適切なマッチングを行うことができる(図21参照)。
<効果>
本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、対象体3の3次元計測によって得られた欠落計測点群からノイズを除去するノイズ除去手段12をさらに備え、ノイズ除去された欠落計測点群を、削除モデル点群とマッチングさせることで、欠落計測点群におけるノイズの影響を抑制し、欠落計測点群と削除モデル点群とのマッチングの精度をさらに高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、対象体3の3次元計測によって得られた欠落計測点群からノイズを除去するノイズ除去手段12をさらに備え、ノイズ除去された欠落計測点群を、削除モデル点群とマッチングさせることで、欠落計測点群におけるノイズの影響を抑制し、欠落計測点群と削除モデル点群とのマッチングの精度をさらに高めることができる。よって、対象体の3次元位置・姿勢認識を適切に行うことができる。
また、本発明にかかる実施形態によれば、3次元位置・姿勢認識装置において、ノイズ除去手段12が、欠落計測点群の各点の、対象体3とカメラ4およびカメラ5とを通る軸成分の分布に基づいて、欠落計測点群からノイズを除去することで、対象体3とカメラ4およびカメラ5とを通る軸(Z軸)成分の違いによって、対象体3とノイズ(物体30)とを区別することができ、ノイズによる計測点を効果的に除去することができるため、欠落計測点群と削除モデル点群とのマッチングの精度をさらに高めることができる。よって、対象体3の3次元位置・姿勢認識を適切に行うことができる。
なお本発明は、その発明の範囲内において、各実施形態の自由な組み合わせ、あるいは各実施形態の任意の構成要素の変形、もしくは各実施形態において任意の構成要素の省略が可能である。
3 対象体
4,5 カメラ
6 生成手段
7 記憶手段
8 取得手段
9 マッチング手段
10 モデル処理手段
11 認識手段
12 ノイズ除去手段
20 撮像範囲
30 物体
50,51 照明装置
100,101 3次元位置・姿勢認識装置
200 ロボット
201 ロボット本体
202 アーム
203 ハンド
1000,1001 3次元位置・姿勢認識システム
4,5 カメラ
6 生成手段
7 記憶手段
8 取得手段
9 マッチング手段
10 モデル処理手段
11 認識手段
12 ノイズ除去手段
20 撮像範囲
30 物体
50,51 照明装置
100,101 3次元位置・姿勢認識装置
200 ロボット
201 ロボット本体
202 アーム
203 ハンド
1000,1001 3次元位置・姿勢認識システム
Claims (7)
- 対象体の3次元計測によって得られた計測点群の各点の3次元位置情報と、前記対象体の3次元モデル上に規定されたモデル点群の各点の3次元位置情報とを取得する取得手段と、
前記計測点群と、対応する前記モデル点群とをマッチングさせるマッチング手段と、
前記モデル点群のうち、前記マッチング手段におけるマッチング結果に基づいて特定される点を削除処理するモデル処理手段と、
前記計測点群と、前記モデル処理手段において削除処理した前記モデル点群とをマッチングさせ、前記対象体の3次元位置・姿勢を認識する認識手段とを備えることを特徴とする、
3次元位置・姿勢認識装置。 - 前記モデル処理手段が、前記マッチング手段におけるマッチングの結果、対応する計測点群の各点との間隔が所定距離以上である前記モデル点群の各点を削除処理することを特徴とする、
請求項1に記載の3次元位置・姿勢認識装置。 - 前記マッチング手段および前記認識手段における前記マッチングは、ICPマッチングであることを特徴とする、
請求項1または2に記載の3次元位置・姿勢認識装置。 - 前記対象体の3次元計測によって得られた前記計測点群からノイズを除去するノイズ除去手段をさらに備え、
前記取得手段が、前記ノイズ除去手段においてノイズ除去された前記計測点群の各点の3次元位置情報と、前記モデル点群の各点の3次元位置情報とを取得することを特徴とする、
請求項1〜3のいずれかに記載の3次元位置・姿勢認識装置。 - 前記対象体の画像を撮像する撮像手段をさらに備え、
前記ノイズ除去手段が、前記計測点群の各点の、前記対象体と前記撮像手段とを通る軸成分の分布に基づいて、前記計測点群からノイズを除去することを特徴とする、
請求項4に記載の3次元位置・姿勢認識装置。 - (a)対象体の3次元計測によって得られた計測点群の各点の3次元位置情報と、前記対象体の3次元モデル上に規定されたモデル点群の各点の3次元位置情報とを取得する工程と、
(b)前記計測点群と、対応する前記モデル点群とをマッチングさせる工程と、
(c)前記モデル点群のうち、マッチング結果に基づいて特定される点を削除処理する工程と、
(d)前記計測点群と、削除処理した前記モデル点群とをマッチングさせ、前記対象体の3次元位置・姿勢を認識する工程とを備えることを特徴とする、
3次元位置・姿勢認識方法。 - コンピュータにインストールされて実行されることにより、前記コンピュータを、請求項1〜5のいずれかに記載の3次元位置・姿勢認識装置として機能させることを特徴とする、
3次元位置・姿勢認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011214551A JP2013072857A (ja) | 2011-09-29 | 2011-09-29 | 3次元位置・姿勢認識装置およびその方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011214551A JP2013072857A (ja) | 2011-09-29 | 2011-09-29 | 3次元位置・姿勢認識装置およびその方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013072857A true JP2013072857A (ja) | 2013-04-22 |
Family
ID=48477450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011214551A Withdrawn JP2013072857A (ja) | 2011-09-29 | 2011-09-29 | 3次元位置・姿勢認識装置およびその方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013072857A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160044219A (ko) * | 2014-10-15 | 2016-04-25 | 삼성중공업 주식회사 | 3차원 점군 생성 시스템 및 방법 |
JP2019028022A (ja) * | 2017-08-03 | 2019-02-21 | 東芝テック株式会社 | 寸法測定装置 |
JP2020086941A (ja) * | 2018-11-26 | 2020-06-04 | 株式会社豊田中央研究所 | 位置ずれ補正装置及びプログラム |
JP2021137953A (ja) * | 2020-05-28 | 2021-09-16 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
-
2011
- 2011-09-29 JP JP2011214551A patent/JP2013072857A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160044219A (ko) * | 2014-10-15 | 2016-04-25 | 삼성중공업 주식회사 | 3차원 점군 생성 시스템 및 방법 |
KR101616327B1 (ko) | 2014-10-15 | 2016-04-28 | 삼성중공업 주식회사 | 3차원 점군 생성 시스템 및 방법 |
JP2019028022A (ja) * | 2017-08-03 | 2019-02-21 | 東芝テック株式会社 | 寸法測定装置 |
JP2020086941A (ja) * | 2018-11-26 | 2020-06-04 | 株式会社豊田中央研究所 | 位置ずれ補正装置及びプログラム |
JP7111297B2 (ja) | 2018-11-26 | 2022-08-02 | 株式会社豊田中央研究所 | 位置ずれ補正装置及びプログラム |
JP2021137953A (ja) * | 2020-05-28 | 2021-09-16 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6222898B2 (ja) | 3次元計測装置及びロボット装置 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
US20190308320A1 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
JP5496008B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP5346863B2 (ja) | 3次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP2017118396A (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
JP2010210458A (ja) | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ | |
JP2011185872A (ja) | 情報処理装置、その処理方法及びプログラム | |
US20150134303A1 (en) | Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe | |
WO2012091144A4 (en) | Information processing apparatus and method | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP2013072857A (ja) | 3次元位置・姿勢認識装置およびその方法、プログラム | |
JPWO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
CN111745639B (zh) | 信息处理方法及装置、物体检测装置以及机器人*** | |
JP6347610B2 (ja) | 画像処理装置および3次元空間情報取得方法 | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2018004554A (ja) | 対象物の特徴点の三次元座標を算出するための装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |