JP2017156968A - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP2017156968A JP2017156968A JP2016039356A JP2016039356A JP2017156968A JP 2017156968 A JP2017156968 A JP 2017156968A JP 2016039356 A JP2016039356 A JP 2016039356A JP 2016039356 A JP2016039356 A JP 2016039356A JP 2017156968 A JP2017156968 A JP 2017156968A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- model
- information
- reference distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】 物体を含む画像を取得する画像取得手段と、前記画像から前記物体を表す画像特徴を検出する特徴検出手段と、モデルを構成するモデル特徴の方向に基づいて、第1の方向における前記検出された画像特徴までの距離を格納した第1の参照距離情報と、前記第1の方向と異なる第2の方向における前記検出された画像特徴までの距離を格納した第2の参照距離情報とのうち、いずれかの参照距離情報を選択する選択手段と、前記選択手段により選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け手段と、前記対応付け手段により対応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出手段。
【選択図】 図1
Description
本実施形態では、本発明の情報処理装置及びその方法を、被計測物体の3次元形状モデルと画像中のエッジ特徴とに基づくモデルフィッティングにおける、3次元形状モデル中のモデルエッジ点と入力画像から検出したエッジ特徴とを対応付ける方法に適用した場合について説明する。
次に、情報処理装置1を構成する各部について説明する。
方向別参照マップ選択部160では、座標変換部150により求められた、画像座標系におけるモデル点の方向に基づいて、モデル点の法線方向に最も探索方向が近い方向別参照マップを選択する。方向別参照マップの選択処理の詳細に関しては後述する。
まず、ステップS1100において、座標変換部150は、モデル座標系で表現されているモデル点の位置と方向を画像特徴と同じ画像座標系へ幾何変換するための座標変換パラメータを取得する。具体的には、撮像装置10に対する被測定物体の位置及び姿勢の概略値を座標変換パラメータとして入力する。本実施形態では、物体の置かれているおおよその位置や姿勢があらかじめわかっているものとして、その値を概略値として用いる。ただし、位置姿勢の概略値の設定方法は、以上の方法に限るものではなく、例えば、時間軸方向に連続して物体の位置姿勢を計測する場合には、前回(前時刻)の位置姿勢の計測値を概略の位置及び姿勢として用いてもよい。また、様々な姿勢で撮像した被計測物体の画像をテンプレートとして保持しておき、入力する画像に対してテンプレートマッチングを行うことによって、被計測物体の大まかな位置と姿勢を推定してもよい。被計測物体の6自由度の位置及び姿勢を得られる限り、入力する座標変換パラメータに制限はなく、いかなる形式であってもよい。ステップS1100の処理を終了したら、ステップS1200に進む。
次に、ステップS1200において、画像取得部110は、撮像装置10から濃淡画像を取得する。撮像装置10から直接取得しなくても、予め撮像した画像を記憶媒体に記憶させておき、その記憶媒体を読み込むことによって、濃淡画像を取得してもかまわない。濃淡画像の取得が終了したら、画像取得部は、特徴検出部に取得した濃淡画像を送出する。ステップS1200の処理を終了し、ステップS1300に進む。
次に、ステップS1300では、特徴検出部130は、ステップS1200において取得した濃淡画像から画像特徴の検出を行う。本実施形態では、上述の通り、画像特徴としてエッジを検出する。なお、エッジとは濃度勾配の極値となる点である。本実施形態ではエッジ検出方法として、以下の文献で開示されるCannyエッジアルゴリズムを用いる。
”、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 vol。24、 no。7、 pp。932−946、 2002。
次に、ステップS1400では、方向別参照マップ生成部140は、ステップS1300において算出した画像エッジに基づいて、複数の方向別符号付き距離マップを生成する。本実施形態では、上述の通り、画像上で横方向・縦方向・斜め右上方向・斜め右下方向の計4方向分の方向別符号付き距離場を生成する。
次に、ステップS1500では、座標変換部150は、ステップS1100において入力された位置姿勢パラメータおよび撮像装置10の内部パラメータを用いて、モデルエッジ点の座標変換処理を行う。
次に、ステップS1600では、方向別参照マップ選択部160は、ステップS1500において算出された画像座標系におけるモデルエッジ点の方向に基づいて、ステップS1400において生成された複数の方向別符号付き距離場の中から、ステップS1600の対応付け処理において参照する方向別符号付き距離場を選択する。
ステップS1400において生成された複数の方向別符号付き距離場の探索方向に対して以上の計算を行い、方向の差θがもっとも小さい方向の方向別符号付き距離場を、対応探索に用いる方向別符号付き距離場として選択する。
次に、ステップS1700では、対応付け部170は、ステップS1500において算出した画像座標系におけるモデルエッジ点の位置と、ステップS1600において選択した方向別符号付き距離場とに基づいて、モデルエッジ点に対応するエッジ特徴を探索して、モデルエッジ点とエッジ特徴との対応付けを行う。
以上により算出したエッジ特徴の位置(ex、ey)を、モデルエッジ点に対応するエッジ特徴の位置として決定する。なお、ステップS1600において、モデルエッジ点毎に複数の方向別符号付き距離場を選択している場合は、其々の方向別符号付き距離場によるエッジ特徴の位置を算出し、対応付け結果として複数のエッジ特徴の位置を保存する。また、ステップS1600において、方向別符号付き距離場を選択しなかったモデルエッジ点に関しては、本ステップにおける処理をスキップする。
次に、ステップS1800において、残差算出部180は、ステップS2100において対応が算出されたモデルエッジ点とエッジ特徴との組に基づいて、モデルエッジ点とエッジ特徴との画像上での残差を算出する。一つのモデルエッジ点に対して複数のエッジ特徴が対応づけられている場合は、それぞれにおける残差を算出し、より残差が小さい方の残差をモデルエッジ点の残差として算出する。全てのモデルエッジ点に関する残差の算出が終了すれば、ステップS1800の処理を終了し、ステップS1900に進む。
次に、ステップS1900では、位置姿勢導出部190は、ステップS1800において算出したモデルエッジ点とエッジ特徴間の残差に基づいて、三次元形状モデル20と被測定物体間の位置及び姿勢を算出する。本ステップでは、モデルエッジ点とエッジ特徴間の残差が最小になるように、線形連立方程式を解くことで、位置姿勢の更新を行う。本処理に関しては本発明の本質に関わる話ではないため、記述は省略する。詳細は以下の文献に記述されている。
次に、ステップS2000では、位置姿勢導出部190は、ステップS1900で更新した位置姿勢が、収束しているか否か、すなわち、さらに反復計算を必要とするか否かの判定を行う。具体的には、補正値がほぼ0である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ0である場合に収束したと判定する。収束していなければ、ステップS1800に戻り、更新した位置姿勢を用いて、再度残差算出処理を行う。収束していると判断した場合は、この処理は終了する。
上述の実施形態では、モデルエッジ点の法線方向に最近傍探索するために、モデルエッジ点の法線方向に基づいて方向別参照マップを選択する処理について述べた。しかし、方向別参照マップを選択する基準は、以上に述べた方法に限るものではない。
上述の実施形態では、符号付き距離値を画素として格納した方向別符号付き距離場を方向別参照マップとして利用する方法について述べた。しかし、方向別参照マップとして利用するデータは、上述の方向別符号付き距離場に限るものではない。例えば、ステップS1300において検出したエッジ特徴からエッジ位置とインデックス番号(インデックス値)を紐づけたエッジ特徴データベースを生成しておき、ステップS1400における、方向別参照マップ生成において、各方向別参照マップの各画素に、所定の探索方向において最近傍となるエッジ特徴のインデックス番号を格納しても良い。この場合、ステップS1600における対応付け処理は、画像座標系におけるモデルエッジ位置に基づいてインデックス番号を参照し、エッジ特徴データベースを介して、最近傍となるエッジ特徴の位置を参照する。以上のように、方向別参照マップとして保持する情報は、所定の探索方向において近傍となるエッジ位置が高速に参照可能である限り、いかなる情報を保持しても良く、方向別参照マップとして保持するデータ形式に特に制限はない。
第1の実施形態では、本発明において物体の位置・姿勢の推定に適用する方法について説明した。第2の実施形態では、本発明を物体の照合に適用する方法について説明する。
続いて、ステップS7900において、モデル照合部690は、3次元モデル(3次元形状モデル)ごとにステップS1800で求められた残差に基づいて、計測データにもっとも類似する3次元モデル(3次元形状モデル)を判断する。本ステップでは、個々の3次元形状モデル中のモデルエッジの残差から、統計量として中央値を算出し、これを3次元形状モデルの照合度として保持する。全ての3次元形状モデルに対して、この残差の統計量の算出を行い、残差の統計量が最も小さくなる3次元形状モデルを判定することで、3次元形状モデルを照合する。なお、残差の統計量としては、残差の中央値以外でも、例えば平均値や最頻値を用いてもよい。残差の少なさを判定できる指標であれば、いずれの方法でよく、特に制限はない。
本発明による情報処理装置1、2の好適な適用事例としては、以下のような形態も考えられる。すなわち、撮像装置10により得られる濃淡画像を基に被測定物体30の位置姿勢を推定し、推定された位置姿勢に基づいて産業用ロボットアーム50を制御する。そして、ロボットアーム先端のロボットハンドにより被測定物体の把持(物体保持)などを行う利用例があげられる。以下、図7を用いて本発明の一実施形態である情報処理装置1の適用例を説明する。図7では、情報処理装置1とロボット50を用いて被測定物体30を把持するロボットシステムの構成例を示す。
第1の実施形態では、あらかじめ複数の探索方向に関して、方向別符号付き距離場を生成しておき、モデルエッジ点の画像上における法線方向に応じて、参照する方向別符号付き距離場を変えることで、モデルエッジ点の法線方向に対して最近傍となるエッジ特徴を高速に参照することができる。そして、濃淡画像から検出した特徴に、被測定物体の形状を表す三次元形状モデルが当てはまるようにモデルフィッティングを行うことで、被測定物体の位置姿勢の推定を行う方法について述べた。方向別に最近傍となるエッジ特徴を高速に参照できる方向別参照マップを用いて、モデルエッジ点とエッジ特徴との対応付け処理を高速に行い、その結果を用いて位置姿勢推定を行うことにより、被測定物体の位置姿勢を高速に推定することが可能となる。
本願明細書の説明を通して、被計測物体の3次元モデル情報として、3次元位置と3次元方向の情報を備えるモデルエッジ点により構成されたモデルを例に説明した。しかし、3次元形状モデルとしては他の表現方式を用いても良い。例えば、単純な3次元点の集合や、稜線を表す3次元ラインの集合、3次元点3点で構成される面および線の集合で表されるポリゴン形式の形状情報など、他の表現で表しても良い。3点と3辺および1面により構成されるポリゴンの集合として、3次元形状モデルを表現してもよいし、単純な3次元点の集合として3次元形状を表現してもよい。また陰関数の組み合わせによりパラメトリックに3次元形状を表現する方法を用いてもよい。被計測物体の形状または特徴に即する限り、3次元形状モデルの表現方法に特に制限はない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 物体のモデル情報を保持するモデル保持手段と、
前記物体を含む画像を取得する画像取得手段と、
前記画像から前記物体を表す画像特徴を検出する特徴検出手段と、
前記モデル情報を構成するモデル特徴の方向に基づいて、第1の方向における前記検出された画像特徴までの距離を格納した第1の参照距離情報と、前記第1の方向と異なる第2の方向における前記検出された画像特徴までの距離を格納した第2の参照距離情報とのうち、いずれかの参照距離情報を選択する選択手段と、
前記選択手段により選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け手段と、
前記対応付け手段により対応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出手段とを備えることを特徴とする情報処理装置。 - 更に、前記特徴検出手段で検出された画像特徴に基づいて、前記第1の参照距離情報と前記第2の参照距離情報を生成する生成手段を備えることを特徴とする請求項1に記載の情報処理装置。
- 前記第1の参照距離情報は、前記画像の画素に対応した要素をもつ第1の参照マップであり、該第1の参照マップの要素は、該要素に対応する画素から前期第1の方向において最も近い前記画像特徴までの距離を格納し、
前記第2の参照距離情報は、前記画像の画素に対応した要素をもつ第2の参照マップであり、該第2の参照マップの要素は、該要素に対応する画素から前期第2の方向において最も近い前記画像特徴までの距離を格納することを特徴とする請求項1または2に記載の情報処理装置。 - 前記参照距離情報は、該マップを構成する各画素に、所定の方向を基準に近接する前記画像特徴のインデックス値を格納していることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記第1の方向は前記画像の縦方向であり、前記第2の方向は前記画像の横方向であることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記距離は符号付き距離であることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 更に前記物体の概略位置姿勢を取得する手段と、
前記概略位置姿勢に基づいて、前記画像におけるモデル特徴の方向を決定する手段とを備え、
前記選択手段は、前記決定された前記画像におけるモデル特徴の方向に基づいて、前記参照距離情報を選択することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記選択手段は、前記第1の方向と前記第2の方向のうち、前記画像におけるモデル特徴の方向に最も近い方向における参照距離情報を選択することを特徴とする請求項7に記載の情報処理装置。
- 前記選択手段は、前記第1の参照距離情報と前記第2の参照距離情報に加え、更に、前記第1の方向と前記第2の方向のいずれとも異なる第3の方向における前記検出された画像特徴までの距離を格納した第3の参照距離情報と、前記第1の方向、前記第2の方向、前記第3の方向のいずれとも異なる第4の方向における前記検出された画像特徴までの距離を格納した第4の参照距離情報のうち、いずれかの参照距離情報を選択することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記特徴検出手段は、前記画像からエッジ特徴を検出することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 物体を含む画像を取得する画像取得工程と、
前記画像から前記物体を表す画像特徴を検出する特徴検出工程と、
物体のモデル情報を構成するモデル特徴の方向に基づいて、第1の方向における前記検出された画像特徴までの距離を格納した第1の参照距離情報と、前記第1の方向と異なる第2の方向における前記検出された画像特徴までの距離を格納した第2の参照距離情報とのうち、いずれかの参照距離情報を選択する選択工程と、
前記選択工程において選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け工程と、
前記対応付け工程において応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出工程を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039356A JP6719925B2 (ja) | 2016-03-01 | 2016-03-01 | 情報処理装置、情報処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039356A JP6719925B2 (ja) | 2016-03-01 | 2016-03-01 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017156968A true JP2017156968A (ja) | 2017-09-07 |
JP6719925B2 JP6719925B2 (ja) | 2020-07-08 |
Family
ID=59809842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016039356A Active JP6719925B2 (ja) | 2016-03-01 | 2016-03-01 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6719925B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019060695A (ja) * | 2017-09-26 | 2019-04-18 | 富士ゼロックス株式会社 | 3次元物体検出装置、ロボット、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178967A (ja) * | 2013-03-15 | 2014-09-25 | 3D Media Co Ltd | 3次元物体認識装置及び3次元物体認識方法 |
-
2016
- 2016-03-01 JP JP2016039356A patent/JP6719925B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178967A (ja) * | 2013-03-15 | 2014-09-25 | 3D Media Co Ltd | 3次元物体認識装置及び3次元物体認識方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019060695A (ja) * | 2017-09-26 | 2019-04-18 | 富士ゼロックス株式会社 | 3次元物体検出装置、ロボット、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6719925B2 (ja) | 2020-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
US11003939B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6323993B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
KR100855657B1 (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
JP2016103230A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011085971A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム | |
JP6936974B2 (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP2018022247A (ja) | 情報処理装置およびその制御方法 | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JP2014053018A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2018200504A (ja) | 幾何的合わせこみ装置、方法、及びプログラム | |
JP5530391B2 (ja) | カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム | |
JP6719925B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2007034964A (ja) | カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6719925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |