JP2019168473A - 位置姿勢計測装置及び方法 - Google Patents
位置姿勢計測装置及び方法 Download PDFInfo
- Publication number
- JP2019168473A JP2019168473A JP2019120578A JP2019120578A JP2019168473A JP 2019168473 A JP2019168473 A JP 2019168473A JP 2019120578 A JP2019120578 A JP 2019120578A JP 2019120578 A JP2019120578 A JP 2019120578A JP 2019168473 A JP2019168473 A JP 2019168473A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- target object
- approximate
- distribution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title description 98
- 230000010365 information processing Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 2
- 238000009826 distribution Methods 0.000 description 121
- 230000036544 posture Effects 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000005484 gravity Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002939 conjugate gradient method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本実施形態では、撮像装置と投影装置によって対象物体の輝度画像と距離画像を同時に取得し、3次元モデル情報を輝度画像に対して2次元の尺度で位置合わせし、距離画像に対して3次元の尺度で位置合わせを行い、2次元と3次元の尺度で同時に評価する際に、本発明を適用する方法を説明する。なお、ここでは2次元と3次元の尺度で同時に位置合わせをする例で説明するが、本発明は2次元の尺度のみであったり、3次元の尺度のみであっても全く同様に適用可能である。
Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.11, pp.1330−1334, 2000
ステップS401では、撮像部103が作業スペースの計測対象物体101を撮影し、計測対象物体101の輝度画像及び距離画像を取得する。
ステップS402では、輝度画像を全探索して、計測対象物体101の位置姿勢の取り得る分布(複数の概略位置姿勢)を決定する。画像を全探索して、画像中の計測対象物体101の概略位置姿勢を算出することは広く行われており、例えば、以下の非特許文献では、パターンマッチングを用いて部品の3次元モデルの画像内における位置姿勢を算出する方法が開示されている。
吉井裕人、 “アンサンブル分類木を用いたバラ積み部品の概略位置姿勢検出”、 画像の認識・理解シンポジウム(MIRU2010)、 2010
ステップS403では、ステップS402で得られた概略位置姿勢の分布に基づいて所定の個数の位置姿勢候補を生成する。
ステップS404では、ステップS403で得られた複数の位置姿勢候補の中からスコア(3次元モデルと輝度画像及び距離画像の合致度を表す)の高い位置姿勢候補を一以上の所定の個数、選択する(初期位置姿勢選択)。具体的には後述する位置姿勢算出における位置姿勢更新処理、ステップS601〜S606を1回行い、その結果得られるスコアを比較して高いものから順に所定の個数、抽出する。
ステップS405では、ステップS404で選択された一以上の所定の個数の位置姿勢候補のそれぞれで、最終的な位置姿勢を決定する。ここでの位置姿勢算出処理の詳細については図6を用いて説明する。図6はステップS405で示した1つの初期位置姿勢に関する位置姿勢算出処理の詳細な手順を示したフローチャートである。
ステップS601では、初期化を行う。ここでは、ステップS404で選択された位置姿勢候補を、これ以降「現在の位置姿勢」として記載する位置姿勢の初期値として設定する。
ステップS602では、対応付けを行う。まず、現在の位置姿勢に基づいて、3次元モデルの各エッジの画像への投影及び各面の3次元計測装置の座標系への座標変換を行う。その後エッジ及び点群データの対応付けを行う。
ステップS603では、線形連立方程式を解くための係数行列と誤差ベクトルの算出を行う。ここで係数行列の各要素は、位置姿勢の微小変化に対する一次の偏微分係数である。エッジについては、画像座標の偏微分係数を算出し、点群については3次元座標の偏微分係数を算出する。誤差ベクトルは、エッジについては投影されたエッジと検出されたエッジの画像上での距離、点群データについてはモデルの面と点の3次元空間中での距離である。
V. Lepetit and P. Fua, ‘Keypoint recognition using randomized trees,’ IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.28, no.9, 2006.
ステップS604では、数7をもとに、行列Jの一般化逆行列(JT・J)−1・JTを用いてΔsを求める。しかしながら、エッジや点群データには誤検出などによる外れ値が多いため、次に述べるようなロバスト推定手法を用いる。一般に、外れ値であるエッジ(点群データ)では、誤差d−r(e−q)が大きくなる。そのため、数6、数7の連立方程式に対する寄与度が大きくなり、その結果得られるΔsの精度が低下してしまう。
ステップS605では、ステップS604において算出された位置姿勢の補正値Δsにより、位置姿勢を更新する。
ステップS606では、位置姿勢が収束したか否かの判定を行い、収束したと判定された場合はその時の位置姿勢をフィッティング結果として処理を終了する。収束していないと判定された場合は、収束するまでステップS602〜S605を繰り返し行う。収束判定は、ステップS605の補正量が所定の値以下でほぼ変化がないと判定された場合に収束したと判定する。なお、収束判定の方法はこの方法に限定されるものではなく、例えば、所定の回数、反復したら収束したものとして次のステップに進むことにしてもよい。
ステップS406では、ステップS405で求められた一以上の所定の個数の位置姿勢算出結果のスコアを比較して、高いスコアを示す一以上の位置姿勢を最終的なフィッティング結果として出力する。ここにおけるスコアも、ステップS404で説明したものと同様の指標である。
第1の実施形態では、計測対象物体の概略位置姿勢の分布から、多次元ガウス分布を適用し、その分布に従って位置姿勢候補を生成した。しかし、ガウス分布のような確率密度モデルを適用しないで位置姿勢候補を生成する方法も考えられる。
第1および第2の実施形態では、計測対象物体が取り得る複数の概略位置姿勢の分布が得られるものとして、概略位置姿勢の分布に基づいて、位置姿勢候補の生成を行う方法について述べた。しかし、位置姿勢候補の生成は,概略位置姿勢の分布に基づく方式に限るものではない。例えば、テンプレートマッチングなどにより概略位置姿勢を推定する場合には、マッチングするテンプレートの数や探索するステップ幅に応じて、推定される位置姿勢の分解能が決定される。このような場合、実際の位置姿勢に対して、概略位置姿勢の分解能の範囲内で、推定される位置姿勢に曖昧性が発生することになる。第3の実施形態では、この点を鑑み、概略位置姿勢推定における分解能に基づいて位置姿勢候補の生成を行う方法について説明する。以下は、これまでに説明した第1の実施形態の説明における位置姿勢候補の生成工程であるステップS403に置き換わる処理である。
W. Hoff and T. Vincent, “Analysis of head pose accuracy in augmented reality, ”IEEE Transactions on Visualization and Computer Graphics, vol.6, no.4, pp.319−334, 2000.
第1の実施形態では、計測対象物体が取り得る概略位置姿勢分布を全探索によって取得した。しかし、実際にロボットが計測対象物体を把持して組み付ける現場では、部品はあらかじめ整列されており、全探索するまでもなく、配置された部品の位置姿勢がほぼ一定であるとみなせる場合がある。
第4の実施形態では、計測対象物体の概略位置姿勢と3次元モデルとから仮想環境上で、計測対象物体が取り得る位置姿勢分布を求めた。そして、計測対象物体の概略位置姿勢の3次元モデルと撮像画像の対応点を生成する際に、部品に内在する別のエッジに誤対応してしまう問題に対応した。
図13(a)は、輝度画像上で3次元モデル上の制御点を起点としてエッジを探索する方法を示す図である。
第4〜第5の実施形態では、位置姿勢分布をフィッティングする先の形状情報として画像を対象に、該画像の上に投影された3次元モデルの位置姿勢を求めた。しかし、各実施形態において補足したように、本発明は形状情報の一方が画像でなくてはならないという制約はなく、二つの形状情報の間に対応が取れる領域があれば、任意の形態の形状情報のフィッティングにおいて本発明は適用可能である。
第1〜第6の実施形態ではそれぞれ異なる方法で位置姿勢分布を生成した。実際にはこれらを独立に実施するのではなく、これらの一部または全部の和の分布を位置姿勢分布として用いてS403にて複数の初期位置姿勢を生成(初期位置姿勢生成)することでよりロバストな位置姿勢計測を実現できる。
本発明に係る情報処理装置の好適な適用事例としては、産業用ロボットアームで部品の把持、移動、解放といった動作を行うシステムにおいて対象部品の位置姿勢計測に利用することが挙げられる。以下、図15を用いて、本発明に係る情報処理装置の適用例を説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
以上説明したように、対象物体の概略位置姿勢を取得し、取得した概略位置姿勢に基づいて、新たに初期位置姿勢の候補を生成し、それらに基づいて位置姿勢を導出することで、ロバストな位置姿勢計測を可能にしている。
第4の実施形態では、概略位置姿勢が既知であるシーンにおいて、既知の概略位置姿勢と3次元モデル情報から位置姿勢候補を生成し、生成された位置姿勢候補に基づいて局所解となり得る複数の位置姿勢を網羅的に検証することで複雑な形状の対象物体に対してもロバストな位置姿勢計測を行うことを可能にした。
本発明の説明では、フィッティングする形状情報の組み合わせとして第1〜第5の実施形態においては3次元モデル情報とカメラで撮影された計測対象物体を含む画像の組み合わせを、第6の実施形態においてはおよび三次元メッシュモデル同士の組み合わせを例に説明した。しかし、必ずしもこの組み合わせでなくてもよく、形状情報間で対応を取って位置合わせ(フィッティング)可能な情報であればなんでもよい。物体の形状情報の例としては3次元モデル情報、画像のほかに、レーザーレンジセンサーなどで計測して得られた3次元点群情報なども考えられる。
Claims (10)
- 対象物体が含まれる画像から、前記対象物体の少なくとも1つの概略位置姿勢を取得する取得手段と、
前記取得した概略位置姿勢の分解能に基づいて、前記対象物体の位置姿勢の導出のための初期値として、少なくとも1つの位置姿勢候補を新たに生成する生成手段と、
前記対象物体のモデル情報と、前記初期値として生成された位置姿勢候補とに基づいて、前記対象物体の位置姿勢を導出する導出手段とを備える位置姿勢計測装置。 - 前記取得手段は、前記画像にパターンマッチングを行うことにより、前記画像中の前記対象物体の概略位置姿勢を取得することを特徴とする請求項1に記載の位置姿勢計測装置。
- 前記取得手段は、前記対象物体のモデル情報を使って前記画像内を探索することによりパターンマッチングを行うことを特徴とする請求項2に記載の位置姿勢計測装置。
- 前記取得手段によって取得した概略位置姿勢は、所定の分解能に基づいて生成され、前記生成手段は、前記取得される概略位置姿勢と、該概略位置姿勢が生成される際の分解能とに基づき、少なくとも1つの位置姿勢候補を新たに生成することを特徴とする請求項1乃至3のいずれか1項に記載の位置姿勢計測装置。
- 前記生成手段は、前記取得した概略位置姿勢に対して、少なくとも位置または姿勢のうち一方を前記所定の分解能の範囲内で変化させることにより、少なくとも1つの位置姿勢候補を新たに生成することを特徴とする請求項4に記載の位置姿勢計測装置。
- 前記分解能は、前記概略位置姿勢の位置と姿勢を表現する最小ステップ幅であることを特徴とする請求項4または5に記載の位置姿勢計測装置。
- 前記生成手段は、前記取得した概略位置姿勢と、前記対象物体の形状情報とに基づいて、少なくとも1つの位置姿勢候補を新たに生成することを特徴とする請求項1乃至6のいずれか1項に記載の位置姿勢計測装置。
- 請求項1乃至7のいずれか1項に記載された位置姿勢計測装置と、
前記対象物体を把持するための把持手段と、
前記位置姿勢計測装置によって計測される前記対象物体の位置姿勢に基づいて、前記把持手段を制御する制御手段とを備えることを特徴とする情報処理装置。 - 対象物体が含まれる画像から、前記対象物体の少なくとも1つの概略位置姿勢を取得する取得工程と、
前記取得した概略位置姿勢の分解能に基づいて、前記対象物体の位置姿勢の導出のための初期値として、少なくとも1つの位置姿勢候補を新たに生成する生成工程と、
前記対象物体のモデル情報と、前記初期値として生成された位置姿勢候補とに基づいて、前記対象物体の位置姿勢を導出する導出工程とを備える位置姿勢計測方法。 - 請求項9に記載の位置姿勢計測方法をコンピュータに実行させるためのコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013022372 | 2013-02-07 | ||
JP2013022372 | 2013-02-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132597A Division JP6548789B2 (ja) | 2013-02-07 | 2018-07-12 | 位置姿勢計測装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168473A true JP2019168473A (ja) | 2019-10-03 |
JP6766229B2 JP6766229B2 (ja) | 2020-10-07 |
Family
ID=63795508
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132597A Active JP6548789B2 (ja) | 2013-02-07 | 2018-07-12 | 位置姿勢計測装置及び方法 |
JP2019120578A Active JP6766229B2 (ja) | 2013-02-07 | 2019-06-27 | 位置姿勢計測装置及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132597A Active JP6548789B2 (ja) | 2013-02-07 | 2018-07-12 | 位置姿勢計測装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6548789B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JP2009216503A (ja) * | 2008-03-10 | 2009-09-24 | Ihi Corp | 三次元位置姿勢計測方法および装置 |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
JP2011179910A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2012251893A (ja) * | 2011-06-03 | 2012-12-20 | Seiko Epson Corp | 形状計測装置、形状計測装置の制御方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5624394B2 (ja) * | 2010-07-16 | 2014-11-12 | キヤノン株式会社 | 位置姿勢計測装置、その計測処理方法及びプログラム |
JP5716433B2 (ja) * | 2011-02-07 | 2015-05-13 | 株式会社Ihi | 形状認識装置、形状認識方法、および、そのプログラム |
JP5132832B1 (ja) * | 2011-07-11 | 2013-01-30 | キヤノン株式会社 | 計測装置および情報処理装置 |
-
2018
- 2018-07-12 JP JP2018132597A patent/JP6548789B2/ja active Active
-
2019
- 2019-06-27 JP JP2019120578A patent/JP6766229B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JP2009216503A (ja) * | 2008-03-10 | 2009-09-24 | Ihi Corp | 三次元位置姿勢計測方法および装置 |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
JP2011179910A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2012251893A (ja) * | 2011-06-03 | 2012-12-20 | Seiko Epson Corp | 形状計測装置、形状計測装置の制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6548789B2 (ja) | 2019-07-24 |
JP6766229B2 (ja) | 2020-10-07 |
JP2018159719A (ja) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP5393318B2 (ja) | 位置姿勢計測方法及び装置 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
US9841271B2 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP6444027B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム | |
JP6677522B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2014063475A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP6282098B2 (ja) | キャリブレーション装置及び方法 | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2015135333A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 | |
JP6285765B2 (ja) | 情報処理装置、情報処理方法 | |
JP2013120091A (ja) | 位置姿勢計測装置、その処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6766229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |