JP5380792B2 - 物体認識方法および装置 - Google Patents

物体認識方法および装置 Download PDF

Info

Publication number
JP5380792B2
JP5380792B2 JP2007158282A JP2007158282A JP5380792B2 JP 5380792 B2 JP5380792 B2 JP 5380792B2 JP 2007158282 A JP2007158282 A JP 2007158282A JP 2007158282 A JP2007158282 A JP 2007158282A JP 5380792 B2 JP5380792 B2 JP 5380792B2
Authority
JP
Japan
Prior art keywords
voxel
measurement
error
error distribution
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007158282A
Other languages
English (en)
Other versions
JP2008309671A (ja
Inventor
俊寛 林
輝行 島
英雄 寺田
幸弘 河野
正明 富沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2007158282A priority Critical patent/JP5380792B2/ja
Publication of JP2008309671A publication Critical patent/JP2008309671A/ja
Application granted granted Critical
Publication of JP5380792B2 publication Critical patent/JP5380792B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、被計測物たる物体の形状、計測地点から計測して得られた被計測物の位置、姿勢を認識する方法と装置に関する。
従来は、複数のビジョンセンサで撮影し、第1〜n画像から物体の二次元特徴を抽出し、その対応付けで物体の二次元特徴の三次元情報を加え、物体の三次元位置・姿勢を推定している(例えば、特許文献1参照)。
ただし、位置・姿勢の信頼度評価値は、二次元画像処理のエッジ抽出精度に依存するため、高い精度は得られない。また、信頼性評価に使用する特徴量を事前に設定しておく必要がある。
また、距離センサによって得られた距離データから、物体の特徴的な部位(例えば、円柱、楕円)の大まかな位置を求め、これに従ってビジョンセンサを物体に正対させた後に、二次元処理により特徴部位を検出し、物体の精密な位置・姿勢を求めるものもある。
ただし、この場合は、距離データだけで物体の位置・姿勢を特定することはできず、二段構えであるためコストと時間がかかる。また、検出できる物体の形状的な制約が大きい。さらに、形状検査に適用するには精度が不十分である。
また、単眼ビジョンセンサで、事前に物体の見え方を十分教示しておくことで、現在の見え方から物体の位置・姿勢を推定するものもある。
ただし、物体が一部隠れているような場合に対応が困難である。また、ビジョンセンサを用いるため、照明条件に依存する。さらに、大量の画像を予め教示しておく必要がる。また、形状検査に適用するには精度が不十分である。
特許第3525896号公報
ビジョンセンサを用いてワーク(被計測物)の位置・姿勢を認識する場合、ワークの背景情報や外光等の照明条件の変化に影響を受け易い。そこで、背景の単一化や照明条件の安定化により計測環境を整える必要があるが、これら環境の整備は必ずしも可能ではない。これに対して、レーザ光をワークに投影して距離データを取得するレーザスキャナ等は、背景の影響を受けず、照明条件の変化に対してロバストであり、環境の整備を行うことなく、ワークの形状を計測することができる。ただし、レーザスキャナを用いた場合の欠点として、レーザ光のワーク表面に対する入射角度が浅い場合や、レーザ光が直接反射するような場合等に、計測結果に欠損や誤差が発生する点が挙げられる。加えて、レーザスキャナは三角測量方式とTOF(Time of Flight)方式に大別できるが、三角測量方式のレーザスキャナは、計測可能な距離の範囲が狭いため、単一視点からの計測ではワークの一部しか計測できないという問題がある。また、TOF方式のレーザスキャナは、一般に三角測量方式に比べて計測範囲は広いが距離計測精度が低いと言う問題を持つ。
三次元レーザレーダのような距離センサを用いる場合、計測される三次元形状上の被計測点は、横方向及び垂直方向に離散した点群となる。この点群の間隔は、計測点からの距離が例えば50mの場合、被計測点の間隔は、例えば横方向で約315mm、垂直方向で約525mmに達する。
また、複数の計測位置から静止している三次元形状を計測する場合、三次元レーザレーダのような距離センサでは、計測位置毎に、被計測点の位置は通常異なる。
さらに、このような距離センサは、一般に測定距離に例えば約20cm前後の誤差を有する。
従って、三次元レーザレーダのような距離センサを用いる場合、以下の制約条件A〜Cがある。
条件A:計測データに点数が少ない(例えば、1フレーム=166×50点)
条件B:計測データに誤差を含む(例えば、測定距離に約20cm前後)
条件C:計測データは同じ計測点を計るとは限らない。
すなわち、得られる距離データは横方向及び垂直方向に離散した点群であり、計測毎に位置が相違するため対応点がなく、測定距離に比較的大きな誤差を含んでいる。
このような距離データを「ICP(Iterative Closest Point)アルゴリズム」で処理する場合、以下の問題点がある。
ICPアルゴリズムは、対応点が既知でない場合の位置合わせ手段の1つであり、先の計測データに対するその後の計測データの最も近傍の点を求め、回転・並進を行いながらその距離の総和が最小になる状態を一致状態となるように解を求めるものである。
(1)誤差の蓄積
ICPアルゴリズムは、2つの距離データの重ね合わせ手段であり、先のデータとその後のデータとの比較を繰り返し、その差分を積分しても、対応点がほとんどないため、誤差が蓄積してしまう。
(2)計算量が多い
ICPアルゴリズムは、繰り返し計算であるため、計算量が膨大となる。すなわち、ICPアルゴリズムは、計測データの各データ点に対応するモデルデータを探索する必要があるため、モデルデータ点数および計測データ点数が増加すると計算量が増大する。具体的には、モデルデータの点数をM、計測データの点数をNとした場合、例えば全探索時の計算オーダは、O(M×N)となる。
(3)計測点が少ない場合を扱えない
ICPアルゴリズムは、密な距離データを対象としているため、離散した点群であり、空間的に疎である場合は、誤った結果に収束してしまう。
そのため、このような距離センサを用いた位置同定には、以下の要件を満たす必要がある。
(1)メモリ効率の良い周囲環境のためのデータ構造
逐次得られる計測データを全て保存する方法では無尽蔵にメモリを必要とする。よって、周囲環境を計測した結果を効率良く格納するデータ構造が必要である。
(2)計測データの点数不足および誤差に対する安定性
計測データの点数が少ない場合、および、誤差を含む場合であっても、できるだけ位置同定精度が低下しない必要がある。
(3)位置同定のための計算の効率化
周囲環境を計測して獲得した環境情報と計測データの比較により、自己位置同定を行うが、この比較処理に多くの計算を必要とする。
本発明は上述した問題点を解決するために創案されたものである。すなわち、位置・姿勢が未知のワークをレーザスキャナ等の距離センサにより複数の視点から計測し、計測結果の欠損部分を別視点のデータで充填しながら、なおかつ精度良く統合することができる物体認識の方法と装置を提供する。計測範囲が狭いという三角測量方式の欠点は、複数視点からのデータをつなぎ合わせながら統合することで解決する。また、距離計測が低精度というTOF方式の欠点も、複数回の計測を統計的手法により統合することで解決可能となる。
本発明の第1の特徴は、物体の位置及び姿勢を認識する物体認識方法であって、
(1)新たな計測位置から計測して得られた三次元形状上の座標値をコンピュータに入力するデータ入力ステップと、
(2)前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築ステップと、
(3)前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶する第1マッチングステップとを実施し、
(4−1)先の計測位置から計測して得られた前記三次元形状のデータが存在しない場合には、新たな計測位置を自己位置と同定し、
(4−2)先の計測位置から計測して得られた前記三次元形状のデータが存在する場合には、
(4−2−1)先の計測位置に対する環境モデルに対し、(A)新たな計測データおよび誤差分布を回転及び並進させ、または(B)新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする精密合わせステップと、
(4−2−2)前記精密合わせステップにおける回転量及び並進量から自己位置を同定する自己位置同定ステップとを実施し、
(5)更に複数の計測位置から計測された複数の計測データおよび複数の誤差分布を統合する統合ステップと、
(6)統合して得られた計測データおよび誤差分布に対し、モデルデータによって表される被計測物を回転および並進させ、前記統合して得られた計測データと前記モデルデータを構成する要素との距離に関する評価値が最小になるようにする位置合わせをする第2マッチングステップとを実施する、ことにある。
モデルデータの表現方法としては、例えば、多面体、自由曲面、ボクセルおよび代表点と誤差分布の集合などが挙げられる。
距離に関する評価値は、当該距離の総和、当該距離の平均値、当該距離の2乗の総和、または、当該距離の最大値であってもよく、他の適切な評価値であってもよい。
「座標値に対応するボクセル」とは、その座標値によって特定される点が内部に存在するボクセルという意味である。
「代表点」とは、統計処理の結果得られる、誤差分布の中心や最尤推定値等である。
「代表点とその誤差分布」を設定する方法、「誤差分布間の距離」を求める方法については後述する。
前記第2マッチングステップにおいて、計測データとモデルデータを構成する要素との距離を用いて、計測データとモデルデータの差異を判断することにより、物体の検査を可能とする、としても良い。
また、前記第1マッチングステップにおいて、ボクセルの内部に代表点とその誤差分布に加え、ボクセル内に物体の存在確率を表す確率値を設定し、記憶する、としても良い。
前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、
(1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離の総和が最小になるように、または
(2)新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離の総和が最小になるように、
位置合わせする粗合わせステップを有する、としても良い。
前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、
(1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値の総和が最大になるように、または
(2)新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差の総和が最小になるように、
位置合わせする粗合わせステップを有する、としても良い。
前記データ入力ステップの後に、
(1)現在の計測位置を過去の計測位置の変化から推定し、または
(2)現在の計測位置を取得可能なセンサにより取得し、または
(3)計測データの距離値だけでなく反射強度値を利用し、
照合する範囲を限定する探索範囲限定ステップを有する、としても良い。
前記自己位置同定ステップにおいて、先の計測位置における位置及び姿勢から新たな計測位置の6自由度位置を同定する、としても良い。
前記精密合わせステップにおいて、誤差分布が交差する場合を同一計測点とし、その場合の距離値に分布の一致度から求めた重みを掛け合わせて誤差分布間の距離を算出する、としても良い。
分布の一致度から重みを求める方法については、後述する。
前記モデル構築ステップにおいて、最大のボクセルを必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、としても良い。
「必要最小限の分解能に相当する大きさ」とは、計測対象を包含することができる大きさである。
前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定もしくは消去する、としても良い。
前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定する、としても良い。
前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定し、
誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、としても良い。
2つの誤差分布から新たな誤差分布と新たな代表点を再設定する方法については、後述する。
前記自己位置同定ステップにおいて、自己位置の同定とともに、自己位置の誤差分布を同定し、現在の自己位置と誤差分布および同定した自己位置と誤差分布とからカルマンフィルタによって、自己位置と誤差分布を補正する、としても良い。
自己位置の誤差分布を同定する方法については、後述する。
記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、前記新たに取得した誤差分布と前記既に設定したボクセル内の誤差分布とを比較し、誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、としても良い。
前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、
該モデル更新ステップにおいて、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する、としても良い。
前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値が最大となるように、先の計測位置に対する環境モデルに対し、
(1)新たな計測データおよび誤差分布を回転及び並進させ、または
(2)新たな計測位置に対する環境モデルを回転及び並進させて位置合わせする、としても良い。
前記一致度に関する評価値の算出式は前記[数1]の式で表わされる。
前記[数1]の式において、計測点jと環境モデル上の代表点iとが対応付けられているとし、当該計測点jなる計測データが得られる確率をEM(i、j)としており、ω(j)は、環境モデルの中に計測点jと対応付けられる代表点が存在する場合は1、それ以外の場合は0としている。
「計測点jと環境モデル上の代表点iとが対応付けられている」とは、計測点jに対応するボクセルにすでに代表点が存在する場合をいう。
前記統合ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
(1)誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定し、
(2)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことが好ましい。
前記統合ステップにおいて、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
(1)該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
(2)該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことが好ましい。
前記評価値は、前記計測データと、前記計測データに近接する各平面との距離の総和である、ことが好ましい。
上記本発明の方法と装置によれば、三次元形状の存在する空間領域を、複数のボクセルに分割し、各ボクセル位置を記憶するので、計測対象物が大きい場合であっても、データ量をボクセル数に比例する小さいデータサイズに抑えることができる。
また、座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶するので、ボクセルの分解能以上の情報を表現することができる。
従って、本発明のデータ構造により、複数視点の計測データを固定サイズに統合できる。
また、ボクセルの内部に物体の存在確率を表す確率値を設定し、保存することによって、誤差分布が代表点の属するボクセルよりも広がっている場合においても、各ボクセルにおける物体の存在有無を代表点が属するボクセルを見つけ、その誤差分布から再計算させることなく、当該ボクセルの確率値だけで容易に判断できるので、検索時間を抑えることができる。
また、現在の計測位置を過去の計測位置の変化から推定し、もしくは現在の計測位置を取得可能なセンサにより取得し、もしくは計測データの距離値だけでなく反射強度を利用し、照合する範囲を制限するので、検索時間を抑えることができる。
また、粗合わせステップにおいて、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、
もしくは新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせするので、誤差の蓄積を防ぎながら、短時間に代表点を有するボクセル同士の位置合わせができる。
また、先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする場合には、物体が存在しない情報も加味して位置合わせするので、精度の向上が図れる。
次いで、精密合わせステップにおいて、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせするので、誤差分布同士の精密な位置合わせを短時間にできる。
従って、本発明による複数視点からのデータの統合処理により、誤差の蓄積を防ぎながら、高精度な形状取得を可能にできる。
また、本発明のデータ構造は、ボクセル構造を拡張した構造をしているため、データサイズは点群に比べて小さく済ませることができる。すなわち、本発明で提案するデータ構造はボクセル内に1つの代表点を保存するため、計測点に対応するモデル点を探索する計算オーダを1とすることができるため、全体での計算オーダをO(N)に減少することができる。
従って、周囲環境と計測データの位置合わせ(ICPアルゴリズム)を行う際に探索対象となるデータ量が減少することから、計算を効率化できる。
さらに、従来のICPアルゴリズムは疎データに対して誤った結果を出力するが、本発明の環境モデルは、ボクセル内に代表点と誤差分布を持っているため、疎データに対応した位置合わせが可能である。
また、現在の自己位置と誤差分布および同定した自己位置と誤差分布とからカルマンフィルタによって、自己位置と誤差分布を補正することによって、より自己位置の精度を向上させることができる。
従って、本発明の方法と装置によれば、誤差を含むデータを正確な情報に補正する機能を有すると共に、長時間の計測に対して高精度に収束する。なおかつ、位置同定処理は、ボクセルの各ボクセルに対応する代表点とその誤差分布を計測点で更新する処理であるため計算量が小さく、演算は周囲ボクセルへの影響を与えずボクセル内で閉じている。よって、高速な処理が可能である。また、計測データはボクセルに逐次統合可能であり、その結果得られた周囲環境情報のメモリサイズは固定サイズを上回ることはない。
さらに、前記モデル更新ステップにおいて、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定するので、より真値に近い形状を得ることができる。
特に、カルマンフィルタを用いたモデル更新ステップを繰り返すことで、誤差を含むデータであってもカルマンフィルタの効果により真値に収束した高精度な形状が得られる。
また、前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総乗)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせすることで、環境モデル、計測データの双方の誤差を考慮して位置合わせすることができる。
また、前記出力ステップにおいて、前記ボクセルの代表点の位置を三次元形状の計測値として出力装置に出力する際に、該計測値の信頼性または精度を示す指標を、該ボクセルの内部の誤差分布の大きさ出力装置に出力するため、計測装置を使用する際に、信頼性の低い計測値をアプリケーションの内容に応じて使用者が取捨選択することができるようになる。
また、前記出力ステップにおいて、前記ボクセルの代表点の位置を三次元形状の計測値として出力装置に出力するときに、該ボクセルの内部の誤差分布の大きさが所定の基準値よりも大きい場合に、該計測値の信頼性または精度が所定の基準よりも低いとして、該ボクセルの前記計測値を出力装置に出力しないようにすることによって、計測装置を使用する際に、そもそも信頼性の高い計測値のみを扱うことができるようになるため、扱うデータ量を削減することや、信頼性の向上につながる。
また、前記データ入力ステップにおいて、距離センサを用いて、三次元形状上の座標値を任意の計測位置を原点とする距離データとして原点を移動しながら順次取得し、特に異なる方向から距離データを得ることによって、分布形状が異なる誤差分布の距離データを統合することが可能となり、精度を向上することができる。
また、前記マッチングステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、前記ボクセル内の代表点および誤差分布の少なくともいずれかが新たに設定される、または再設定される、または該ボクセルを更に分割して階層的に複数のボクセルに分割される場合のみ、前記出力ステップにおいて、当該ボクセルの代表点の位置、誤差分布およびボクセルの位置の少なくともいずれかを三次元形状の計測値として出力装置に出力することによって、距離センサから新たに得られた被計測点によって影響を受けたボクセル内の代表点等の値が出力される。このため、使用者は従来と同様の運用を想定しながら、距離センサで得られる元々の計測値があたかもより精度の高い計測値に置き換わったように、利用することができるようになる。このように、より精度の高い三次元形状計測が可能になる。
また、前記出力ステップにおいて、距離センサの位置から距離センサが位置計測可能な範囲の環境モデル内のボクセルの代表点の位置を三次元形状の計測値として出力装置に出力することによって、従来の距離センサの計測値の分解能が粗い場合でも、あたかも精度良くかつ分解能が高い距離センサのように利用することが可能となる。このように、より精度の高い三次元形状計測が可能になる。
本発明のその他の目的及び有利な特徴は、添付図面を参照した以下の説明から明らかになろう。
以下本発明の好ましい実施形態について、図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。
図1は、本発明の物体認識装置の全体構成図である。図1に示すように、本発明の物体認識装置40は、計測対象物(ワーク)までの距離を計測する3Dセンサ41、物体認識処理を実行する物体認識処理部42、被計測対象物の三次元形状を表すデータ(例えば、CADデータ)を記憶するモデルデータベース部43を具備する。物体認識処理部42において認識された物体の位置や姿勢を、ロボット制御部45へ出力し、ロボット制御部45からロボット46へ制御信号を出力し、ハンド47を動かして計測対象物を把持したりすることができる。
本発明において、自己位置とは、計測位置を意味し、例えば、3Dセンサ41の外界における6自由度の位置と姿勢を意味する。
図示しないが、本発明において、距離センサ(3Dセンサ)以外のオドメータ、カメラ、GPS、姿勢センサを、必要に応じてオプションとして用いても良い。以下、距離センサを用いた例を説明する。
図2は、距離センサの一例としての三次元レーザレーダの構成図である。この図に示すように、三次元レーザレーダ10は、レーダヘッド12と制御器20から構成される。レーザダイオード13から発振されたパルスレーザ光1は、投光レンズ14で平行光2に整形され、ミラー18a,18bと回転・揺動するポリゴンミラー15で二次元方向に走査され、測定対象物に照射される。測定対象物から反射されたパルスレーザ光3は、ポリゴンミラー15を介して受光レンズ16で集光され、光検出器17で電気信号に変換される。
制御器20内の時間間隔カウンタ21は、レーザダイオード13のパルス発振タイミングと同期したスタートパルス4と、光検出器17から出力されたストップパルス5の時間間隔を計測する。信号処理ボード22は、反射光が検出された時点の時間間隔t、ポリゴンミラーの回転角度θ、揺動角度φを極座標データ(r,θ,φ)として出力する。
rは計測位置(レーダヘッド設置位置)を原点とする距離であり、r=c×t/2 の式で求められる。ここでcは光速である。
判定処理ユニット23は、信号処理ボードからの極座標データを、レーダヘッド設置位置を原点とした三次元空間データ(x,y,z)へ変換して、検出処理を行うようになっている。なおこの図で24はドライブユニットである。
上述した三次元レーザレーダ10の計測範囲は、例えば、水平画角60°、垂直画角30°、最大測定距離50mである。また、位置検出精度は、例えば約20cmである。
また、計測データを各画素に対して奥行き方向の距離値を持った距離画像で表示する場合、1フレームの計測点数を、横方向166点、スキャン方向50点とすると、1フレームに166×50=8300点が表示される。この場合にフレームレートは、例えば約2フレーム/秒である。
この三次元レーザレーダ10で計測される三次元形状上の被計測点は、横方向にΔθ×r、垂直方向にΔφ×r、互いに離散した点群となる。例えば、Δθ=60/166×π/180=6.3×10−3ラジアン、Δφ=30/50×π/180=10.5×10−3ラジアン、r=50mの場合、最も近接する場合でも、被計測点の間隔は、横方向で約315mm、垂直方向で約525mmとなる。
本発明では、距離センサとして、例えば、上述した三次元レーザレーダ10を用いる。しかし、距離センサはこれに限定されず、視差を利用した距離センサ、その他の周知の距離センサを用いることができる。
図3,図4は、距離センサで計測された極座標データと誤差の関係を示す図である。
図3に示すように、任意の計測位置を原点とする極座標値(r,θ,φ)を計測結果として計測する。距離センサによる計測結果には、図に示すような誤差分布が通常存在する。
この誤差分布は、誤差分布のr,θ,φでの存在確率をP(r,θ,φ)とした場合、誤差分布は計測の軸r,θ,φ方向に正規分布しているとし、例えば[数2]の式で表すことができる。ここで、r,θ,φはセンサからの計測値、σ,σθ,σφは標準偏差、Aは規格化定数である。
図4に示すように、誤差分布は、通常r方向に長い切頭円錐形(左図)に内包される分布であるが、遠方においてaとbの差は小さい。従って、この誤差分布を直方体に包含される楕円体として安全サイドに近似することができる。
図5は、物体認識処理部の構成の一例を示す。この図に示すように、物体認識処理部42は、内部記憶装置34、中央処理装置35を備える。物体認識処理部42は、データ入力装置32および外部記憶装置33からデータを受け取り、ロボット制御部45へデータを送る。
データ入力装置32は、上述した距離センサを有し、三次元形状上の座標値を物体認識処理部42に入力する。また、例えばゴニオメータ、オドメータ等を併用して、距離センサの位置・姿勢や移動距離も入力するのがよい。なお、データ入力装置32は、キーボード等の通常の入力手段も有するのがよい。
外部記憶装置33は、ハードディスク、フロッピー(登録商標)ディスク、磁気テープ、コンパクトディスク等である。外部記憶装置33は、環境モデルのサイズが大きく後述する内部記憶装置34に入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の全体を保持できない場合には、環境モデルの一部範囲または全体範囲に対する、入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の一部または全体を記憶し、かつ本発明の方法を実行するためのプログラムを記憶する。また、外部記憶装置33は、後述するCADモデルデータを記憶する。
内部記憶装置34は、例えばRAM,ROM等であり、環境モデルの一部範囲または全体範囲に対する、入力された三次元形状上の座標値、ボクセル位置、及び代表点とその誤差分布の一部または全体を保管し、かつ演算情報を保管する。
中央処理装置35(CPU)は、モデル構築装置、マッチング装置、粗合わせと精密合わせの位置合わせ装置、モデル更新装置として機能し、演算や入出力等を集中的に処理し、内部記憶装置34と共に、プログラムを実行する。モデル構築装置は、後述のモデル構築ステップを行う装置であり、マッチング装置は、後述の環境モデルと点群とのマッチングステップおよび計測データとCADモデルデータとのマッチングステップを行う装置であり、位置合わせ装置は、後述の粗合わステップと精密合わせステップを行う装置であり、モデル更新装置は、後述のモデル更新ステップを行う装置である。
ロボット制御部45は、物体認識処理部42から受け取る被計測物の位置や姿勢に基づいてロボットのアームやハンドの動きを制御する。
上述した本発明の装置は、上述した距離センサと通常のPC(コンピュータ)を組み合わせたものでもよく、或いは、全体を一体にした装置であってもよい。また、自走可能な装置内に一体的に組み込んでもよい。
図6は、本発明の方法を示すフローチャートである。図6に示すように、データ入力ステップS1、データ補正ステップS2、探索範囲限定ステップS3、モデル構築ステップS4、環境モデルと点群とのマッチングステップS5、自己位置同定ステップS7、S10、粗合わせステップS8、精密合わせステップS9、モデル更新ステップS11及び計測データとワークのモデルデータとのマッチングステップS12を有する。
なお、S4は初めて計測データが得られたときにだけ実施し、それ以外のS1〜S3及びS5〜S12は、計測データが得られる毎に実施する。
データ入力ステップS1では、新たな計測位置から距離センサを用いて計測した三次元形状上の座標値をコンピュータの記憶装置に入力する。また、例えばゴニオメータ、オドメータ等を併用して、距離センサの位置・姿勢や移動距離も入力するのがよい。
なお、このデータ入力ステップS1において、三次元レーザレーダ10を用いて、三次元形状上の座標値を、任意の計測位置を原点とする距離データとして、原点を移動しながら順次取得するのがよい。
距離センサとして三次元レーザレーダ10を用いた場合、三次元形状上の座標値は、任意の計測位置を原点とする距離データであり、極座標値(r,θ,φ)で表される。また、各座標値の誤差分布は、極座標値(r,θ,φ)から演算で求めるか、予め別の入力手段(例えばキーボード)で入力する。
データ補正ステップS2では、距離データの補正処理を行い、距離データの精度を向上させる。また、極座標データとオドメータのデータから、任意の固定位置を原点とした三次元空間データ(x,y,z)へ変換してもよい。
距離データの補正処理では、孤立点の除去、統計的処理、等を行う。孤立点は、周囲の点から孤立して存在する点であり、計測データは複数の近接する点で構成されることから、孤立点は誤計測と仮定して除去することができる。統計的処理は、計測データが含む誤差分布を考慮して、複数回の計測を統計処理(例えば平均値等)することで、距離の補正を行う。
さらに、対象とする三次元形状が、直線近似又は平面近似できる場合にはこれらを行うのがよい。
探索範囲限定ステップS3では、距離センサの探索範囲を限定する。
探索範囲を限定せずに環境モデルに対する計測データのマッチング処理を行うと、複数の解(被計測点)が得られる可能性がある。そこで、(1)現在のセンサ位置を、過去のセンサ位置とその過去のセンサ位置からの変化量から推定し、センサ位置推定結果の近傍を探索する、(2)オドメータを用いてセンサ位置を推定し、探索範囲を限定する、(3)距離データのうち、距離値だけでなく、反射強度値も利用して探索結果を絞り込む、等を実施する。
図7は、ボクセルの分割に八分木を用いた場合のモデル構築ステップの模式図である。
モデル構築ステップS4では、この図に示すように、三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセル6に分割し、各ボクセル位置を記憶する環境モデルを構築する。
ボクセル6の形状は、各辺の長さが等しい立方体でも、各辺の長さが異なる直方体でもよい。
また、ボクセル6の各辺の長さは、最大のボクセル6を必要最小限の分解能に相当する大きさに設定するのがよい。以下、最大のボクセル6をレベル1のボクセルと呼ぶ。
また、単一のボクセル内に複数の被計測点が存在する場合には、単一のボクセル内に単一の被計測点のみが存在するように、例えば八分木を選んだ場合は、ボクセルを更に八分割して階層的に複数のボクセルに分割する。以下、最大のボクセル6の八分割を1回実施した空間領域をレベル2のボクセル、k回実施した空間領域をレベルk+1のボクセルと呼ぶ。
図8は、構築された環境モデルの模式図である。
マッチングステップS5では、この図に示すように、三次元形状上の座標値に対応するボクセル6の内部に代表点7とその誤差分布8を設定し記憶する。末端のボクセルは計測値の代表点を1つだけ持つことができる。各ボクセルが計測値の代表点とその誤差分布を持つことで、物体の形状を表す。また、物体の存在確率を表す確率値をボクセルに持たせることもできる。
マッチングステップS5において、代表点の絶対位置は次の[数3]の式で与えられる。ここで、(x,y,z)は代表点のボクセルでの相対座標、Sx,Sy,Szはレベル1でのボクセルの一辺の大きさ、n(k),n(k),n(k)はレベルkでのボクセルの番地、Lは求める代表点が存在するレベルである。
図9,図10は、本発明におけるボクセルデータのデータ構造を示す図である。
この図において、図9は、各ボクセルデータのメモリレイアウト例である。この図において、矢印はデータへのリンクを表し、値としてはデータへのポインタを保持する。
図10は、レベル2(1,1,0)のボクセルが代表点を持つ場合の例を示している。なおこの図において、nullは空集合を表す。
上述したデータ構造の環境モデルは、以下の特徴を有する。
(1)内容:空間を複数の小直方体(ボクセル)で分割して各ボクセルに計測点の代表点と誤差分布を保持する。
(2)精度:ボクセル毎に持つ計測点の代表値相当である。
(3)存在:物体の存在の有無を表現できる。
(4)データ量:ボクセルの個数に比例してメモリを必要とするが、サイズ固定である。
(5)点群からの変換:適しており、計算量は少ない。
(6)アクセス速度:シンプルな構造をしているため、要素へのアクセスが高速である。
またこの特徴から、上述した環境モデルは、以下の効果A〜Cをすべて満たしている。
効果A:誤差を考慮した表現が可能である。
効果B:必要なメモリ量と計算量が一定量以下である。
効果C:物体の存在だけでなく、物体が存在しないことを表せる。
図6のステップS6で、先の計測位置から計測した同一の三次元形状に関するデータの有無をチェックする。このチェックで、先の計測位置から計測した同一の三次元形状に関するデータが存在しない場合には、新たな計測位置を自己位置(センサ位置)と同定する。
この同定は、逐次移動する移動体の初期位置において、既知の6自由度位置(例えばグローバル座標系の原点)で実施することが好ましい。また、この同定において、新たな計測位置の位置(3自由度)と姿勢(3自由度)を含む6自由度位置を同定することが好ましい。
また、ステップS6のチェックで、先の計測位置から計測した同一の三次元形状に関するデータが存在する場合には、粗合わせステップS8と精密合わせステップS9を、マッチングステップS5の後に実施する。
図11は、粗合わせステップS8と精密合わせステップS9のデータ処理フロー図であり、図12は粗合わせステップS8の模式図、図13は精密合わせステップS9の模式図である。
図11の粗合わせステップS8では、図12に示すように、先の計測位置に対する環境モデルに対し、
(1−1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルとの距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは
(1−2)新たな計測位置に対する環境モデル(新たな計測データから作成したボクセル)を回転及び並進させ、近接する代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは、
(2−1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは
(2−2)新たな計測位置に対する環境モデル(新たな計測データから作成したボクセルであって各ボクセルは確率値を有する)を回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする。
粗合わせステップS8における位置合わせは、環境モデルと計測データをボクセル空間上で表現すること、もしくは環境モデルはボクセル空間上で、計測データは代表点と誤差分布表現することで実施する。現在の計測データが位置(x,y,z)、姿勢(θ,φ,ψ)での計測であったとして、計測データをワールド座標に変換して環境モデルとの一致度を算出する。
一致度の算出には、例えば最短距離法を用いることができる。最短距離法を用いた場合のボクセル間の距離は、2つのボクセル空間をx(1)、x(2)、ボクセルの総数をI、ボクセルの値をx (n)とすると、[数4]の式で定義できる。
計測データの最適な位置・姿勢は、位置(x,y,z)、姿勢(θ,φ,ψ)を変化させることによってεを最小にする最小自乗法によって算出できる。
また、一致度として、例えば環境モデルと計測データの両ボクセルにおいて、近接する両ボクセルの持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)を用いることができる。この場合は一致度を最小にするように、計測データの最適な位置・姿勢を変化させる。
また、環境モデルはボクセル空間上で、計測データは代表値と誤差分布表現した場合には、計測データの代表値、および誤差分布が近接する環境モデルのボクセルの確率値に関する評価値(例えば、当該確率値の総和)を用いることができる。この場合は一致度を最大にするように、計測データの最適な位置・姿勢を変化させる。
図11の精密合わせステップS9では、図13に示すように、先の計測位置に対する環境モデルに対し、
(1)新たな計測データおよび誤差分布を回転及び並進させ、もしくは
(2)新たな計測位置に対する環境モデルを回転及び並進させ、
近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせする。
精密合わせステップS9における環境モデルと計測データの精密合わせ位置合わせには、点群と点群の位置合わせが可能なICPアルゴリズムに誤差分布を考慮した手法を利用する。位置合わせの初期値には、粗い位置合わせにより得られた位置・姿勢を利用する。
ICPアルゴリズムに利用する誤差分布間の距離の算出には、例えば誤差分布が交差する場合を同一計測点と考え、その場合の距離値に分布の一致度から求めた重みを掛け合わせて算出する。分布の一致には例えばマハラノビス距離のような距離尺度を利用できる。
この場合の環境モデルと計測データの距離は、環境モデルデータをpMi、環境モデルデータの誤差分布をΣMi、計測データをPDi、計測データの誤差分布をΣDi、誤差分布の合成関数をw、計測データに対応する環境モデルデータの個数をNとすると、[数5]の式で定義できる。ここで、Tは転置を表す。誤差分布の合成関数wは、分布の一致度から求めた重みである。
計測データの最適な位置・姿勢は、計測データを計測した位置(x,y,z) 、姿勢(θ,φ,ψ)を変化させてPDiを移動することによりεを最小にする最小自乗法によって算出できる。
また、自己位置・姿勢の同定とともに、自己位置の誤差分布を同定し、現在の自己位置と誤差分布および同定した自己位置と誤差分布とからカルマンフィルタによって、自己位置と誤差分布を補正する。
さらに図6のモデル更新ステップS11は、自己位置同定ステップS10の後に実施し、モデル構築ステップS4で構築した環境モデルを更新する。
図14は、モデル更新ステップS11におけるデータ処理フロー図である。この図に示すように、ステップS21で新たに入力された被計測点の座標値に対応するボクセルを探索し、ステップS22で該当するボクセル内に代表点がない(ボクセルが空である)場合には、ステップS23で新たに入力された被計測点の座標値と誤差分布を代表点の座標値と誤差分布として設定(新規に登録)する。
また、このステップS23において、新しい計測位置(原点)と被計測点の間には、原理的に物体が存在しないはずである。従って新しい計測位置(原点)と被計測点の間に位置するボクセル内の代表点と誤差分布を再設定、もしくは消去する。
図15は、該当するボクセル内に既に設定した代表点がある場合の模式図である。
図14のステップS22で該当するボクセル内に既に設定した代表点がある場合には、ステップS24で新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較する(すなわち異なる点か同一点かを判断する)。
この比較で、誤差分布が互いに重複する場合(図15の(A))には、ステップS25で両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定する(すなわち誤差分布を合成する)。
またこの比較で、誤差分布が互いに重複しない場合(図15の(B))には、ステップS26、S27で単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割し新規に登録する。
分割と合成の基準は、例えば誤差分布の一致度から判断する。誤差分布の一致度には例えば、マハラノビス距離のような距離尺度を利用できる。また、2つの誤差分布に基づき、両者が同一点を表しているかを統計的検定によって判定してもよい。
ステップS25で両誤差分布から新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動したとき(即ち、ステップS28で、Yes)、ステップS22へ戻り、上述の処理を繰り返す。
なお、図16は、ステップS25で両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動する場合を示している。
ボクセル内に物体の存在確率を表す確率値を設定する場合には、モデル更新ステップS11において、ボクセル内の代表点と誤差分布の新規登録、もしくは再設定、もしくは消去、もしくは分割後に新規登録の処理に応じて、ボクセル内の確率値も統計処理によって、新規登録、もしくは再設定、もしくは消去、もしくは分割後に新規登録を行う。
図17は、誤差分布が互いに重複する場合(図15の(A))の別の模式図である。ステップS25において、2つの代表点と誤差分布を合成して新たな代表点を誤差分布を設定する手段として、カルマンフィルタを用いることができる。例えば、二次元の場合に、この図に示すように、2つの代表点をそれぞれx(1),x’(2)、2つの誤差分布をΣ(1)、Σ’(2)とし、これを合成した代表点をx(2)、誤差分布をΣ(2)とすると、代表点x(2)と誤差分布Σ(2)を算出する模式図は図17のようになる。
図6のマッチングステップS12では、計測データは、平均値m(i)、誤差共分散行列Sm(i)の正規分布に従うものとする。
図22は、計測データとCADモデルとのマッチングを説明するための二次元模式図である。この図に示すように、被計測物(例えば、ワーク)のCADモデルは、例えば三角形パッチで表現し、その頂点をw(j)で表す。CADモデルの位置をt、姿勢をR、とするとき、三角形パッチの頂点の座標はR・w(j)+tとなる。なお、tは3要素の並進ベクトル、Rは3×3の行列とする。
図23は、計測データとCADモデルとの対応を説明するための図である。三角形パッチw(j)の添え字jは、m(i)に対して全ての三角形パッチの頂点のうち最近傍となるものを選択した結果とする。
図24は、計測データとCADモデルとの一致度を説明するための図である。計測データとCADモデルの一致度E(R,t)は、マハラノビス距離を用いて図25に示す式によって定義できる。計測データから算出される被計測物の位置と姿勢は、E(R,t)を最小とするR,tにより与えられる。
算出された被計測物の位置tと姿勢Rに関するデータは、ロボット制御部45などに出力される。ロボット制御部45などに出力された被計測物の位置tと姿勢Rに関するデータは、ロボット46が被計測物をつかむために使用される。
また、被計測物の位置tと姿勢Rが算出できると、計測データの各誤差分布とCADモデルデータとが一致しない部分の位置やそのずれ量が算出できる。ずれ量が大きい場合、被計測物の表面に欠損部があることなどが分かる。つまり、被計測物の表面形状の検査が可能となる。
モデル更新ステップS11において、新たに入力された被計測点の座標値に対応するボクセルを探索し、前記ボクセル内の代表点および誤差分布の少なくともいずれかが新たに設定される、または再設定される、または該ボクセルを更に分割して階層的に複数のボクセルに分割される場合、マッチングステップS12において、当該ボクセルの代表点の位置を三次元形状の計測値としても良い。
マッチングステップS12において、距離センサの位置・姿勢が得られる場合は、その位置から見える範囲の環境モデル内のボクセルの代表点の位置を三次元形状の計測値としてもよい。距離センサの位置から見える範囲とは、距離センサの位置から距離センサが位置計測可能な範囲であり、距離センサの位置から距離センサが位置計測可能な角度範囲(視野)と、距離センサの位置から距離センサが位置計測可能な距離範囲とを含む。
図6に示した処理の手順は、新たな計測位置において、新しい計測データが得られる度に、処理を繰り返し行い、内部記憶装置34および外部記憶装置33の少なくともいずれかに結果を格納する。処理を高速化するためには、内部記憶装置34に容量が許す限り結果を格納することが好ましい。
上述した本発明の方法と装置によれば、三次元形状の存在する空間領域を、複数のボクセル6に分割し、各ボクセル位置を記憶するので、計測対象物が大きい場合であっても、データ量をボクセル数に比例する小さいデータサイズに抑えることができる。
また、座標値に対応するボクセル6の内部に代表点7とその誤差分布8を設定し記憶するので、ボクセルの分解能以上の情報を表現することができる。
また、ボクセルの内部に物体の存在確率を表す確率値を設定し、保存することによって、誤差分布が代表点の属するボクセルよりも広がっている場合においても、各ボクセルにおける物体の存在有無を代表点が属するボクセルを見つけ、その誤差分布から再計算させることなく、当該ボクセルの確率値だけで容易に判断できるので、検索時間を抑えることができる。
また、現在の計測位置を、
(1)「過去の計測位置」と「過去の計測位置からの予定されている変化量」に基づいて推定し、
(2)現在の計測位置を取得可能なセンサにより取得し、または
(3)計測データの距離値だけでなく反射強度を利用し、照合する範囲を制限するので、検索時間を抑えることができる。
また、粗合わせステップS8において、先の計測位置に対する環境モデルに対し、
(1−1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは
(1−2)新たな計測位置に対する環境モデル(新たな計測データから作成したボクセル)を回転及び並進させ、近接する代表点を有するボクセル間の距離に関する評価値(例えば、当該距離の総和)が最小になるように、もしくは
(2−1)新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値に関する評価値(例えば、当該確率値の総和)が最大になるように、もしくは
(2−2)新たな計測位置に対する環境モデル(新たな計測データから作成したボクセルであって各ボクセルは確率値を有する)を回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせするので、誤差の蓄積を防ぎながら、短時間に代表点を有するボクセル同士の位置合わせができる。
また、先の計測位置に対する環境モデルに対し、新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差に関する評価値(例えば、当該確率値の差の総和)が最小になるように、位置合わせする場合には、物体が存在しない情報も加味して位置合わせするので、精度の向上が図れる。
次いで、精密合わせステップS7において、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値(例えば、当該距離の総和)が最小になるように位置合わせするので、誤差分布同士の精密な位置合わせを短時間にできる。
従って、本発明による複数視点からのデータの統合処理により、誤差の蓄積を防ぎながら、高精度な形状取得を可能にできる。
また、本発明では、ボクセル構造を拡張した構造をしているため、データサイズは点群に比べて小さく済ませることができる。従って、周囲環境と計測データの位置合わせ(ICPアルゴリズム)を行う際に探索対象となるデータ量が減少することから、計算を効率化できる。
さらに、従来のICPアルゴリズムは疎データに対して誤った結果を出力するが、本発明の環境モデルは、ボクセル内に代表点と誤差分布を持っているため、疎データに対応した位置合わせが可能である。
また、モデル構築ステップS4において、最大のボクセル6を必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル6内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割するので、データ量を小さいデータサイズに抑えると同時に、分割後のボクセルと代表点を用いて解像度を更に高めることができる。
特に、三次元形状上の同じ位置に関する複数の座標値を、複数の計測位置を原点とする距離データとして取得し、該距離データの座標値を、前記代表点の座標値とし、距離データの座標値の計測誤差を代表点の誤差分布とすることにより、正確な座標値と誤差分布を用いて複数回の計測を統計的に統合することができ、一層の精度向上が可能となる。
図18は、複数の計測位置を原点とする距離データを統合することによって、代表点の誤差分布が縮小し、代表点の精度が向上する様子を示している。このように異なる計測位置(即ち、距離センサである三次元計測器の位置)を原点として得られた距離データは誤差分布の向きも異なるので、これらの距離データを環境モデルを介して逐次統合することによって、代表点の誤差分布が縮小し、代表点の位置精度が向上する。なお、図18において、三次元計測後の図はコップの2次元断面を表わした模式図であり、三次元計測後の図の破線はコップの実際表面を表わしている。
また、自己位置の同定とともに、自己位置の誤差分布を同定し、現在の自己位置と誤差分布および同定した自己位置と誤差分布とからカルマンフィルタによって、自己位置と誤差分布を補正することによって、一層の精度向上が可能となる。
また、原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定、もしくは消去することにより、誤った計測データの影響を除去することができる。
また、新たに入力された被計測点の座標値に対応するボクセルを探索し、該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定することにより、代表点の座標値と誤差分布を容易に設定できる。
更に、前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、
誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に八分割して階層的に複数のボクセルに分割する、ことにより、誤差の蓄積を回避しながら高精度な形状に収束させることができる。
従って、本発明の方法と装置によれば、誤差を含むデータを正確な情報に補正する機能を有すると共に、複数回の計測に対して高精度に収束する。なおかつ、位置同定処理は、ボクセルの各ボクセルに対応する代表点とその誤差分布を計測点で更新する処理であるため計算量が小さく、演算は周囲ボクセルへの影響を与えずボクセル内で閉じている。よって、高速な処理が可能である。また、計測データはボクセルに逐次統合可能であり、その結果得られた周囲環境情報のメモリサイズは固定サイズを上回ることはない。具体的には、レベル1のボクセル個数をN、分割最大レベルをLmaxとするとき、メモリサイズは、各ボクセルに必要とするメモリサイズに、高々、図26に示す式を乗じた値となるため、これは固定サイズを上回ることはない。
カルマンフィルタを用いたモデル更新ステップについて、詳しく説明する。
カルマンフィルタを用いたモデル更新ステップの場合には、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する。
各モデル点群の位置m(i)を状態量とし、距離センサの計測点の位置を基に、モデルを次の[数6]で表現する。なお、本実施例では、m(i)は、ボクセル内部の代表点である(以下、同様)。
[数6]において、
L(j)は、距離センサによる計測位置である。例えば、L(j)は、距離センサのセンサ座標系において三次元LRF(レーザレンジファインダ)の計測点j(j=1,...,N)の位置L(j)=(x(j),y(j),z(j))である。ここで、tは転置行列を示す(以下、同様)。
(R,t,m(i))は、L(j)に対する観測系モデルである。
は、距離センサを搭載した移動体(例えば移動ロボット)のワールド座標系に対する姿勢を表す回転行列R=R(θx,θy,θz)である。なお、θx,θy,θzは、それぞれx軸、y軸、z軸周りの回転角を示す(以下、同様)。
は、上記移動体のワールド座標系に対する位置を表す並進ベクトルt=(x,y,z)である。
(i)は、距離センサの計測値L(j)に加わる観測ノイズである。
は、センサ座標系の移動体座標系に対する回転行列Rs=R(θx,θy,θz)である。
は、センサ座標系の移動体座標系に対する位置を表す併進ベクトルt=(x,y,z)である。
距離センサによる計測点群と、環境モデル点群上の点i(即ち、代表点)を対応づける。この対応付けが行われたモデル点群上の点iに対して[数7]の式により更新を行う。なお、距離センサによる計測点群と対応付けが行われたモデル点群上の代表点m(i)に対してのみ次の[数7]の式により更新を行ってよい。
[数7]の式において、
添え字kは、離散時刻kでの値であることを表す。
(i)について、m’(i)はm(i)の更新値(事後推定値)を示し、mk,k−1(i)はm’k−1(i)に基づいたm(i)の予測値(事前推定値)を示す。なお、環境(測定対象物)は静止しているので、mk,k-1(i)=m’k-1(i)である。
Σmk(i)は、ボクセル内部の代表点m(i)の誤差共分散行列(即ち、上述の誤差分布)である。また、Σmk(i)について、 Σ’mk(i)はΣmk(i)の更新値(事後推定値)を示し、Σmk,k−1(i)はΣ’mk−1(i)に基づいたΣmk(i)の予測値(事前推定値)を示す。センサ座標系において三次元LRFの計測点j(j=1,…,N)の位置をL(j)で表し、その誤差共分散行列をΣ(j)で表す。ここでNは、三次元LRFで得られた計測点の総数である。三次元LRFの誤差モデルとして計測距離に関係ない一定の正規分布を仮定する。センサ座標系のx軸方向にレーザを照射する場合の誤差共分散行列をΣとする。レーザの照射方向に応じて誤差分布も姿勢を変える。Σ(j)は、基準の方向に対するレーザ照射方向を回転行列R(j)を用いてΣ(j)=R(j)Σ (j)と表される。計測点jのワールド座標系における位置z(j)、およびその誤差共分散行列Σ(j)は、それぞれz(j)=R(RL(j)+t)+t、Σ(j)=RΣ(j)R と表すことができる。
mk(i) は、 m(i)に対するカルマンゲインである。
mk(Rrk,trk,mk,k−1(i))は、L(j)、i=p(j)に対する観測系モデルである。i=p(j)は、計測点jに対応付けられた環境地図(即ち、環境モデル)上の点である。
mkは、L(j)、i=p(j)に対する観測系モデルのヤコビアン行列であり、次の[数8]の式で表わされる。
カルマンフィルタの更新過程によって、環境地図のモデル点群の各点(ボクセルの代表点)の位置と誤差共分散行列の更新値m’(i)、Σ’mk(i)が得られた段階で、環境モデルの更新を以下の手順で行う。
(1)これら更新値m’(i)、Σ’mk(i)を、新たな代表点、誤差分布として再設定する。
(2)上述(1)の結果、代表点の位置が別のボクセル内に移動した場合、移動先のボクセルが代表点を保持していないときは、移動後の代表点とその誤差共分散行列を移動先のボクセルに保持させ、移動元のボクセルからは代表点等を取り除く。移動先のボクセルが既に代表点を保持しているときには、2つの代表点において、これらの両誤差分布が重複するかを判断する(上述のS24における判断と同様)。その後の処理は、図14のS24以降の処理と同じであってよい。
(3)モデル点群上の代表点m(i)と対応付けが行われなかった距離センサによる計測点について、当該計測点が含まれるボクセルが代表点を持たない場合は、計測点とその誤差分布をそのボクセルの代表点と誤差分布として追加し保持する。もし、ボクセル内に既に代表点が存在する場合には、ボクセル内にある対応付けが行われなかった他の複数の計測点を含め、既存の代表点と各計測点とが全て異なるボクセルに含まれるように、ボクセルを分割した上で分割後のボクセルに代表点等を継承させる。
上述のカルマンフィルタを用いたモデル更新ステップを繰り返すことで、序々にボクセル内の誤差共分散行列(即ち、誤差分布)の範囲が小さくなるとともに、ボクセルが分割され易くなる。ボクセルが分割されることによって、初期ボクセルのサイズ以下の変化も表現することが可能となる。
図19は、カルマンフィルタを用いたモデル更新ステップにより得られた結果を示す。図20は図19の一部拡大図である。これら図において、初期のボクセルの1辺の長さを100cmとし、再分割数を6分割まで許している。対象が存在している領域では、ボクセルの再分割を繰り返した結果、計測対象を精度良く表現している。対象が存在しない領域ではボクセルの再分割は行われず、必要十分なデータ量で環境を表現できることがわかる。また、各ボクセル内の代表点の誤差分布も小さく、環境地図を高精度で表現できている。このように、誤差を含むデータであってもカルマンフィルタの効果により、真値に収束した結果が得られる。さらに、この方法では計測データ数を増加させることによって標準偏差が小さくなり、精度のさらなる向上が期待できる。
また、測定対象物の位置・姿勢は固定しているため、更新を測定対象物の位置・姿勢と独立して行うことができる。なお、距離センサによる計測点群と対応付けが行われたモデル点群上の代表点m(i)に対してのみ、上述のカルマンフィルタによる更新を行うことで、大幅な計算コストの削減が可能になる。
前記精密合わせステップにおいて、前記近接する誤差分布間の距離の総和が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値(例えば、当該一致度の総乗)が最大となるように、先の計測位置に対する環境モデルに対し、新たな計測データおよび誤差分布を回転及び並進させ、もしくは新たな計測位置に対する環境モデルを回転及び並進させて位置合わせしてもよい。
この場合について詳しく説明する。
環境地図(環境モデル)であるモデル点群、およびセンサの計測点群双方に誤差モデルを考慮しているため、前記一致度に関する評価値(例えば、当該一致度の総乗)の算出式(以下、評価関数と言う)にも双方の誤差を取り入れることが可能である。本実施例の場合、単に最も近い点を対応付けするのではなく、尤度の概念を取り入れることによって、評価関数に環境地図上の誤差分布、および計測点の誤差分布を加味し、現時点での環境地図において、各計測点の出現確率が最大となる場合に評価関数も最大となるように定める。
具体的には、計測点jに対応付けられた環境地図上の点i=p(j)の位置が、平均値(代表点)m(i)、誤差共分散行列Σ(i)の正規分布に従うと仮定した上で、三次元LRFで計測した結果、L(j)なる計測データが得られる確率値Pr(L(j)|m(i),Σ(i))を点iと点jとの評価関数EM(i,j)とし、その総乗が最大となるように次の[数9]の式で評価関数を定める。[数9]の式によって誤差分布間に基づく最尤推定値によって定めた一致度を算出することができる。
ただし、ω(j)は、モデル点群の中に計測点jと対応付けられる点が存在する場合は1、それ以外の場合は0とする。
ここで、Pr(L(j)|q)を環境地図の点がqの位置にある場合にL(j)なる計測データが得られる確率値を表すものとし、Pr(q|m(i),Σ(i))を平均値m(i)、誤差共分散行列Σ(i)の正規分布に従うと仮定した上で環境地図の点がqの位置にある確率値を表すものとすると、[数10]の式が成り立つ。
Pr(q|m(i),Σ(i))は正規分布を仮定すると、次の[数11]の式となる。
一方、Pr(L(j)|q)は、L(j)をz(j)で置き換えて、次の[数12]の式で近似することができる。
ここで、z(j)は、距離センサを搭載した移動体、例えば移動ロボットの位置t、姿勢Rに依存している。実際は、三次元LRFのセンサ座標系の中心から見たqの向きと計測点L(j)の向きとは図21に示すように異なるため、誤差共分散行列Σ(j)もqの向きに合わせて回転変換する必要があるが、対応付けられた環境地図上の点iから大きく離れたところにあるqの存在確率は低いため、十分な精度で近似できると考えられる。よって、Pr(L(j)|m(i),Σ(i))は、次の[数13]の式で表すことができる。
簡単な計算によって、次の[数14]の式を得る。
ただし、α(j),β(j)は次の[数15]の式で表すことができる。
従って、モデル点群の点iと計測点群の点jとの対応付けの一致度を表す評価関数EM(i,j)は、平均値m(i)、誤差共分散行列Σ(i)+Σ(j)の正規分布において、z(j)が得られる確率値に近似できる。この評価関数を用いることによって、環境地図、計測データ双方の誤差を考慮した対応付けが可能となる。
計測点と環境地図(即ち、環境モデル)との対応付けについて補足説明をする。上記実施例では、誤差分布を考慮した統計的な評価関数を用いるため、評価関数の値を求めなければ対応点を定めることができない。そこで、環境地図上のモデル点群の中で対応付けする候補を予め絞り込み、その候補の中から評価関数の値を基に対応点を求める。具体的には、以下のように定めることができる。
(1)対象とする計測点jの誤差共分散行列Σ(j)の範囲(例えば標準偏差の3倍の範囲)と交わる最上位のボクセルとそのボクセルに隣接している最上位のボクセルを求め、下層のボクセルも含めこれらのボクセル内に存在する代表点を対応点の候補とする。ボクセルが階層構造となっているため、この候補点の探索には計算コストはほとんどかからない。このとき、候補となる代表点がない場合には、対応点がないものとみなす。隣接するボクセルも候補に加える理由は、ボクセル内の代表点の位置によっては、誤差共分散行列の範囲が隣接するボクセルまではみ出すことがあるからである。
(2)候補となるボクセルの代表点iと誤差共分散行列を用いて、評価関数EM(i,j)の値を求める。
(3)評価関数EM(i,j)の値が最も大きい代表点iを対応点とする。ただし、最も大きい評価関数の値がある閾値未満の場合には、対応点がないものとみなす。
本実施例では、対応付けの評価関数EM(i,j)として、尤度に基づいた式を採用しており、対応点の有無に関して統計的に明確な判断尺度があるため、対応点が存在しないと考えられる場合においても無理に対応付けを行うようなことはない。なお、対応点がない場合には、対象となる計測点はこれまで未計測の部分に相当する点であると解釈し、環境地図に追加する。
実施形態として、三次元形状の計測について説明したが、二次元形状を三次元形状の特別な場合として見ることにより、二次元形状も同様に計測できる。
なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
本発明の物体認識装置の全体構成図である。 三次元レーザレーダの構成図である。 距離センサで計測された極座標データと誤差の関係を示す図である。 誤差分布を直方体に包含される楕円体として近似する場合を示している。 物体認識処理部の構成の一例を示す図である。 本発明の方法を示すフローチャートである。 モデル構築ステップの模式図である。 構築された環境モデルの模式図である。 本発明におけるボクセルデータのデータ構造を示す図であり、各ボクセルデータのメモリレイアウト例を示している。 本発明におけるボクセルデータのデータ構造を示す図であり、レベル2(1,1,0)のボクセルが代表点を持つ場合の例を示している。 粗合わせステップS6と精密合わせステップS7のデータ処理フロー図である。 粗合わせステップS6の模式図である。 精密合わせステップS7の模式図である。 モデル更新ステップにおけるデータ処理フロー図である。 該当するボクセル内に既に設定した代表点がある場合の模式図である。 誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな誤差分布の中心を再設定した結果、新たな代表点が他のボクセル内へ移動する場合を示している。 誤差分布が互いに重複する場合の模式図である。 複数の計測位置を原点とする距離データを統合することによって、代表点の誤差分布が縮小し、代表点の精度が向上する様子を示す模式図である。 カルマンフィルタを用いたモデル更新ステップにより得られた結果を示す。 図19の一部拡大図である。 誤差を考慮した対応付けを示している。 計測データとCADモデルとのマッチングを説明するための二次元模式図である。 計測データとCADモデルとの対応を説明するための図である。 計測データとCADモデルとの一致度を説明するための図である。 計測データとCADモデルの一致度E(R,t)を、マハラノビス距離を用いて定義するための式である。 レベル1のボクセル個数をN、分割最大レベルをLmaxとするときのメモリサイズを説明するための図である。
符号の説明
40 物体認識装置
41 3Dセンサ
42 物体認識処理部
43 モデルデータベース部
45 ロボット制御部
46 ロボット

Claims (20)

  1. 物体の位置及び姿勢を認識する物体認識方法であって、
    新たな計測位置から計測して得られた三次元形状上の座標値をコンピュータに入力するデータ入力ステップと、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築ステップと、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶する第1マッチングステップとを実施し、
    先の計測位置から計測して得られた前記三次元形状のデータが存在しない場合には、新たな計測位置を自己位置と同定し、
    先の計測位置から計測して得られた前記三次元形状のデータが存在する場合には、
    先の計測位置に対する環境モデルに対し、
    新たな計測データおよび誤差分布を回転及び並進させ、または
    新たな計測位置に対する環境モデルを回転及び並進させ、
    近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする精密合わせステップと、
    前記精密合わせステップにおける回転量及び並進量から自己位置を同定する自己位置同定ステップとを実施し、
    更に複数の計測位置から計測された複数の計測データおよび複数の誤差分布を統合する統合ステップと、
    統合して得られた計測データおよび誤差分布に対し、モデルデータによって表される被計測物を回転および並進させ、前記統合して得られた計測データと前記モデルデータを構成する要素との距離に関する評価値が最小になるようにする位置合わせをする第2マッチングステップとを実施する、ことを特徴とする物体認識方法。
  2. 前記第2マッチングステップにおいて、計測データとモデルデータを構成する要素との距離を用いて、計測データとモデルデータの差異を判断することにより、物体の検査を可能とする、ことを特徴とする請求項1に記載の物体認識方法。
  3. 前記第1マッチングステップにおいて、ボクセルの内部に代表点とその誤差分布に加え、ボクセル内に物体の存在確率を表す確率値を設定し、記憶する、ことを特徴とする請求項1に記載の物体認識方法。
  4. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、
    新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセル間との距離の総和が最小になるように、または
    新たな計測位置に対する環境モデルを回転及び並進させ、代表点を有するボクセル間の距離の総和が最小になるように、
    位置合わせする粗合わせステップを有する、ことを特徴とする請求項1に記載の物体認識方法。
  5. 前記精密合わせステップの前に、先の計測位置に対する環境モデルに対し、
    新たな計測データおよび誤差分布を回転及び並進させ、計測データおよび誤差分布と近接する代表点を有するボクセルの確率値の総和が最大になるように、または
    新たな計測位置に対する環境モデルを回転及び並進させ、近接するボクセルが持つ確率値の差の総和が最小になるように、
    位置合わせする粗合わせステップを有する、ことを特徴とする請求項1に記載の物体認識方法。
  6. 前記データ入力ステップの後に、
    現在の計測位置を過去の計測位置の変化から推定し、または
    現在の計測位置を取得可能なセンサにより取得し、または
    計測データの距離値だけでなく反射強度値を利用し、
    照合する範囲を限定する探索範囲限定ステップを有する、ことを特徴とする請求項1に記載の物体認識方法。
  7. 前記自己位置同定ステップにおいて、先の計測位置における位置及び姿勢から新たな計測位置の6自由度位置を同定する、ことを特徴とする請求項1に記載の物体認識方法。
  8. 前記精密合わせステップにおいて、誤差分布が交差する場合を同一計測点とし、その場合の距離値に分布の一致度から求めた重みを掛け合わせて誤差分布間の距離を算出する、ことを特徴とする請求項1に記載の物体認識方法。
  9. 前記モデル構築ステップにおいて、最大のボクセルを必要最小限の分解能に相当する大きさに設定し、かつ単一のボクセル内に複数の被計測点が存在する場合に、単一のボクセル内に単一の被計測点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の物体認識方法。
  10. 前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    原点と被計測点の間に物体が存在しないものとして、その間に位置するボクセル内の代表点と誤差分布を再設定もしくは消去する、ことを特徴とする請求項1に記載の物体認識方法。
  11. 前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    該ボクセル内に代表点がない場合に、前記座標値と誤差分布を代表点の座標値と誤差分布として設定する、ことを特徴とする請求項1に記載の物体認識方法。
  12. 前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
    誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定し、
    誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の物体認識方法。
  13. 前記自己位置同定ステップにおいて、自己位置の同定とともに、自己位置の誤差分布を同定し、現在の自己位置と誤差分布および同定した自己位置と誤差分布とからカルマンフィルタによって、自己位置と誤差分布を補正する、ことを特徴とする請求項1に記載の物体認識方法。
  14. 記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、該モデル更新ステップにおいて、前記新たに取得した誤差分布と前記既に設定したボクセル内の誤差分布とを比較し、誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
    該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
    該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の物体認識方法。
  15. 前記自己位置同定ステップの後に、前記環境モデルを更新するモデル更新ステップを有し、
    該モデル更新ステップにおいて、新たに入力された被計測点の座標値およびその誤差分布と、既に設定したボクセル内の代表点およびその誤差分布とから、カルマンフィルタにより新たな代表点と誤差分布を取得して再設定する、ことを特徴とする請求項1に記載の物体認識方法。
  16. 前記精密合わせステップにおいて、前記近接する誤差分布間の距離に関する評価値が最小になるように位置合わせする代わりに、前記近接する誤差分布間に基づく最尤推定値によって定めた一致度に関する評価値が最大となるように、先の計測位置に対する環境モデルに対し、
    新たな計測データおよび誤差分布を回転及び並進させ、または
    新たな計測位置に対する環境モデルを回転及び並進させて位置合わせする、ことを特徴とする請求項1に記載の物体認識方法。
  17. 前記精密合わせステップにおける前記一致度に関する評価値の算出式が次の[数1]の式で表わされ、
    この式において、計測点jと環境モデル上の代表点iとが対応付けられているとし、当該計測点jなる計測データが得られる確率をEM(i、j)としており、ω(j)は、環境モデルの中に計測点jと対応付けられる代表点が存在する場合は1、それ以外の場合は0としている、ことを特徴とする請求項16に記載の物体認識方法。
  18. 前記統合ステップにおいて、新たに入力された被計測点の座標値に対応するボクセルを探索し、
    前記ボクセル内に既に設定した代表点がある場合に、新たに取得した誤差分布と既に設定したボクセル内の誤差分布とを比較し、
    誤差分布が互いに重複する場合に、両誤差分布から新たな誤差分布と新たな代表点を再設定し、
    誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項1に記載の物体認識方法。
  19. 前記統合ステップにおいて、両誤差分布から新たな誤差分布と新たな代表点を再設定した結果、新たな代表点が他のボクセル内へ移動したとき、
    該他のボクセル内に代表点がない場合に、該新たな誤差分布と該新たな代表点を該他のボクセルの内部に設定し、
    該他のボクセル内に既に設定した代表点がある場合に、該新たな誤差分布と既に設定した該他のボクセル内の誤差分布とを比較し、(A)誤差分布が互いに重複する場合に、両誤差分布から、または、両誤差分布とボクセル内に既に設定した代表点と新たに入力された被計測点の座標値から、新たな誤差分布と新たな代表点を再設定し、(B)誤差分布が互いに重複しない場合に、単一のボクセル内に単一の代表点のみが存在するように、該ボクセルを更に分割して階層的に複数のボクセルに分割する、ことを特徴とする請求項18に記載の物体認識方法。
  20. 物体の位置及び姿勢を認識する物体認識装置であって、
    新たな計測位置から計測して得られた三次元形状上の座標値をコンピュータに入力するデータ入力部と、
    前記三次元形状の存在する空間領域を、境界表面が互いに直交する直方体からなる複数のボクセルに分割し、各ボクセル位置を記憶する環境モデルを構築するモデル構築部と、
    前記座標値に対応するボクセルの内部に代表点とその誤差分布を設定し記憶する第1マッチング部と、
    先の計測位置から計測して得られた前記三次元形状のデータが存在しない場合には、新たな計測位置を自己位置と同定し、
    先の計測位置から計測して得られた前記三次元形状のデータが存在する場合には、
    先の計測位置に対する環境モデルに対し、(A)新たな計測データおよび誤差分布を回転及び並進させ、または(B)新たな計測位置に対する環境モデルを回転及び並進させ、近接する誤差分布間の距離に関する評価値が最小になるように位置合わせし、位置合わせに必要な回転量及び並進量から自己位置を同定する自己位置同定部と、
    複数の計測位置から計測された複数の計測データおよび複数の誤差分布を統合する統合部と、
    統合して得られた計測データおよび誤差分布に対し、モデルデータによって多面体として表される被計測物を回転および並進させ、前記統合して得られた計測データと前記多面体を構成する平面との距離に関する評価値が最小になるようにする位置合わせをする第2マッチング部とを具備する、ことを特徴とする物体認識装置。
JP2007158282A 2007-06-15 2007-06-15 物体認識方法および装置 Expired - Fee Related JP5380792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007158282A JP5380792B2 (ja) 2007-06-15 2007-06-15 物体認識方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007158282A JP5380792B2 (ja) 2007-06-15 2007-06-15 物体認識方法および装置

Publications (2)

Publication Number Publication Date
JP2008309671A JP2008309671A (ja) 2008-12-25
JP5380792B2 true JP5380792B2 (ja) 2014-01-08

Family

ID=40237402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007158282A Expired - Fee Related JP5380792B2 (ja) 2007-06-15 2007-06-15 物体認識方法および装置

Country Status (1)

Country Link
JP (1) JP5380792B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5332873B2 (ja) * 2009-04-27 2013-11-06 株式会社Ihi 袋状ワーク認識装置および方法
JP5839671B2 (ja) * 2011-09-20 2016-01-06 株式会社Screenホールディングス 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
JP5965293B2 (ja) * 2012-11-07 2016-08-03 日本電信電話株式会社 カメラポーズ推定装置、及びカメラポーズ推定プログラム
JP6415291B2 (ja) 2014-12-09 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
DE112017006839T5 (de) 2017-01-16 2019-09-26 Fujitsu Limited Informationsverarbeitungsvorrichtung, Datenbankerzeugungsvorrichtung, Verfahren, Programm und Speichermedium
JP6438512B2 (ja) 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP7099052B2 (ja) * 2018-05-29 2022-07-12 オムロン株式会社 シミュレーション装置、シミュレーション方法およびプログラム
JP7205181B2 (ja) * 2018-11-19 2023-01-17 株式会社Ihi 監視システム及び処理装置
CN113330277B (zh) 2019-03-14 2022-04-29 株式会社东京精密 三维测量***和三维测量方法
JP7300930B2 (ja) * 2019-08-26 2023-06-30 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
WO2022180790A1 (ja) * 2021-02-26 2022-09-01 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN117115487B (zh) * 2023-10-23 2024-03-08 睿励科学仪器(上海)有限公司 模板匹配方法、模板匹配***及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778406B2 (ja) * 1991-03-11 1995-08-23 工業技術院長 多視点距離データの統合方法
JPH09229648A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入出力装置及び画像情報入出力方法
JPH09231370A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置
JP3740865B2 (ja) * 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点3次元データの合成方法および記録媒体
JP3514373B2 (ja) * 1999-07-12 2004-03-31 日本電信電話株式会社 3次元情報抽出方法、装置、および3次元情報抽出プログラムを記録した記録媒体
GB9929957D0 (en) * 1999-12-17 2000-02-09 Canon Kk Image processing apparatus
JP3938872B2 (ja) * 2001-02-02 2007-06-27 松下電器産業株式会社 データ分類装置および物体認識装置
KR20030001483A (ko) * 2001-03-12 2003-01-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 옥트리를 이용한 복수의 영상으로부터의 3차원 표현의 발생
EP1321894B1 (en) * 2001-11-27 2011-11-09 Samsung Electronics Co., Ltd. Apparatus and method for representing 3-dimensional objects using depth images
CA2413058C (en) * 2001-11-27 2012-01-17 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
JP2004132944A (ja) * 2002-08-16 2004-04-30 Foundation For The Promotion Of Industrial Science 製造誤差評価システム及び方法並びにプログラム
JP2005037379A (ja) * 2003-06-30 2005-02-10 Sanyo Electric Co Ltd 三次元モデリング方法と装置
CN101331379B (zh) * 2005-12-16 2012-04-11 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
DE112006003361T5 (de) * 2005-12-16 2008-10-16 Ihi Corporation Verfahren und Vorrichtung für das Aufzeichnen/Anzeigen von dreidimensionalen Formdaten und Verfahren und Vorrichtung für das Messen einer dreidimensionalen Form
WO2007069724A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの位置合わせ方法と装置
JP5303873B2 (ja) * 2007-06-13 2013-10-02 株式会社Ihi 車両形状計測方法と装置
JP5218723B2 (ja) * 2007-06-14 2013-06-26 株式会社Ihi 蛍光探傷方法および蛍光探傷装置
JP5251080B2 (ja) * 2007-11-20 2013-07-31 株式会社Ihi 物体認識方法
JP5246468B2 (ja) * 2007-11-21 2013-07-24 株式会社Ihi バリまたは欠損認識方法と装置およびバリ取り方法と装置
JP5104248B2 (ja) * 2007-11-22 2012-12-19 株式会社Ihi 物体認識装置およびロボット装置
JP4900204B2 (ja) * 2007-11-22 2012-03-21 株式会社Ihi 物体認識方法

Also Published As

Publication number Publication date
JP2008309671A (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
JP4650752B2 (ja) 自己位置同定方法と装置および三次元形状の計測方法と装置
JP5380792B2 (ja) 物体認識方法および装置
JP4650751B2 (ja) 三次元形状データの位置合わせ方法と装置
JP4650750B2 (ja) 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
JP5303873B2 (ja) 車両形状計測方法と装置
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
US11568559B2 (en) Localization of a surveying instrument
JP6736257B2 (ja) 情報処理装置、情報処理方法、プログラム
EP3078935A1 (en) Method and device for real-time mapping and localization
CN113052908B (zh) 一种基于多传感器数据融合的移动机器人位姿估计算法
US20130114886A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP5246468B2 (ja) バリまたは欠損認識方法と装置およびバリ取り方法と装置
JP6673504B2 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
US11867818B2 (en) Capturing environmental scans using landmarks based on semantic features
US20230316567A1 (en) Localization of a surveying instrument
Sohn et al. A robust localization algorithm for mobile robots with laser range finders
US20220406005A1 (en) Targetless tracking of measurement device during capture of surrounding data
JP7464134B2 (ja) 形状モデリング装置及び形状モデリング方法
US11669988B1 (en) System and method for three-dimensional box segmentation and measurement
Hu et al. Efficient Visual-Inertial navigation with point-plane map
Mützel et al. Geometric features for robust registration of point clouds
Forsman et al. Feature based registration of range images for mapping of natural outdoor environments
Akca et al. Fast quality control of 3D city models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130916

R151 Written notification of patent or utility model registration

Ref document number: 5380792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees