JP4179017B2

JP4179017B2 - Object detection method

Info

Publication number: JP4179017B2
Application number: JP2003086140A
Authority: JP
Inventors: 俊充入江; 仁脇迫
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2003-03-26
Filing date: 2003-03-26
Publication date: 2008-11-12
Anticipated expiration: 2023-03-26
Also published as: JP2004294234A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元の物体検出方法に関し、特に、物体の円筒部分を含む物体を良好に検出することができる物体検出方法に関する。
【０００２】
【従来の技術】
従来の物体検出方法について図を用いて説明する。図１０は、１つの円筒部分を含む物体と位置・姿勢を示した概念図である。図１０において、Ａ０１は対象物体で、円筒部Ａ０２と直方体部Ａ０３とから構成される。Ａ０４は円筒部Ａ０２の中心で、円筒部Ａ０２内部の中央に存在する。Ａ０５は円筒部Ａ０２の主軸で、円筒部Ａ０２の長手方向のベクトルを表す。
物体検出方法により検出すべき対象物体Ａ０１の位置と姿勢は、それぞれ中心Ａ０４と中心Ａ０４を通る主軸Ａ０５である。
【０００３】
第１の従来技術として、「“局所曲面形状解析に基づくビンピッキングのためのビジョンシステム”藤田武洋、佐藤宏介、井口征士、電子情報通信学会論文誌Ｄ−ＩＩ、Ｊ７３−Ｄ−ＩＩ巻、第１号、４６−５３ページ、１９９０」(非特許文献１)を例に説明する。
図１１は、前記非特許文献１に示されている物体検出方法のフローチャートである。図１１において、ステップＢ０１では、対象物体Ａ０１を含むシーンに関する距離画像を入力する。距離画像は、レーザレンジファインダ等いくつか市販されているもので容易に入力することができる。
【０００４】
図１２は、対象物体Ａ０１に関して入力した距離画像の例である。図１２において、黒丸は距離画像の各点を表し、各点がＸＹＺ座標値の情報を持っている。Ｃ０１はシーン距離画像で、対象物体Ａ０１を含むシーンに対して入力した距離画像である。Ｃ０２は円筒領域距離画像で、シーン距離画像Ｃ０１の内、円筒部Ａ０２の領域に相当する距離画像である。ステップＢ０２では、入力されたシーン距離画像Ｃ０１に含まれるエッジを抽出し、エッジ以外の部分を領域として残す。更に、残された領域に曲率解析を行い、円筒部と分類された領域のみを円筒領域距離画像Ｃ０２として抽出する。ステップＢ０３では、抽出された円筒領域距離画像Ｃ０２に対して２次曲面近似を行い、円筒領域距離画像Ｃ０２の２次曲面の式を求める。ステップＢ０４では、求められた２次曲面の式から円筒部Ａ０２の中心Ａ０４と主軸Ａ０５を演算し、対象物体Ａ０１の位置と姿勢とする。
ところで、図１１のステップＢ０３において行われる２次曲面近似で、２次曲面の式が円柱面と分類されることはまずない。これは、現実の距離画像にはノイズが存在するとともに、裏側（例えば円筒領域距離画像Ｃ０２の裏側）のデータが取得できないため、２次曲面近似には近似誤差が存在するためである。現実には求められた２次曲面の式は楕円面に分類されることが多く、従って、ステップＢ０４で演算される中心Ａ０４が楕円面の中心となり、円筒部Ａ０２の中心とは一致しなくなる。つまり、第１の従来技術には、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できないという問題がある。
【０００５】
この問題を解決するため、第２の従来技術として、本願出願人は、特開２００２−３６６９６０号公報（特許文献１）において、「物体検出方法」の技術を開示している。図１３は、前記特許文献１に示されている物体検出方法のフローチャートである。なお、以降では、前出の図を用いて説明した各構成要素については、同一の符号を付してその説明を省略する。
図１３において、ステップＤ０１では、ステップＢ０４までで演算された円筒部Ａ０２の中心Ａ０４をステップＤ０２からＤ０４を用いて再演算する。ステップＤ０２では、ステップＢ０４で演算された主軸Ａ０５に垂直な平面に、ステップＢ０２で抽出された円筒領域距離画像Ｃ０２を射影する。ステップＤ０３では、射影した円筒領域距離画像Ｃ０２を円に近似し、円の中心を求める。円近似の方法は、前記特許文献１では、射影した円筒領域距離画像Ｃ０２の各点の座標値から幾何学的関係を利用して各点を円に近似し、円の中心位置と円の半径とを求めている。
【０００６】
図１４に、その円近似の例を示す。Ｅ０１は射影円筒距離画像で、ステップＤ０２で円筒領域距離画像Ｃ０２を平面に射影したものである。Ｅ０２は楕円面の断面で、ステップＢ０３で求めた２次曲面の式が楕円面に分類された場合に楕円面を主軸Ａ０５に垂直な平面を用いて２次曲面の中心で切った断面を表している。Ｅ０４は楕円面の断面Ｅ０２の中心で、円筒部Ａ０２の断面が円であるにも関わらず楕円面として扱っているため、正しい中心位置とは異なっている。Ｅ０３は円で、ステップＤ０３で求めた円である。Ｅ０５は円の中心で、同じくステップＤ０３で求めた円の中心である。円筒部Ａ０２の断面が円であるため、ステップＤ０３で円近似して中心位置を修正している。ステップＤ０４では、円の中心Ｅ０５を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【０００７】
【特許文献１】
特開２００２−３６６９６０号公報（段落００１７−００２７、図１，図２）
【非特許文献１】
「局所曲面形状解析に基づくビンピッキングのためのビジョンシステム」、藤田武洋、佐藤宏介、井口征士、電子情報通信学会論文誌Ｄ−ＩＩ、Ｊ７３−Ｄ−ＩＩ巻、第１号、４６−５３ページ、１９９０
【０００８】
【発明が解決しようとする課題】
第１の従来技術では、前述のように、ステップＢ０３で行われる２次曲面近似が、円筒領域距離画像Ｃ０２を楕円面に分類することが多く、従って、ステップＢ０４で演算される中心Ａ０４が楕円面の中心となり、円筒部Ａ０２の中心とは一致しなくなる。つまり、第１の従来技術には、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
また、第２の従来技術では、ステップＤ０３で行う円近似が、円の中心位置と円の半径とを求める方法を利用しているため、すなわち、円の半径が推定値となっているため、円近似の近似誤差が大きくなった場合に円筒部Ａ０２が持つ半径とは異なる大きさの半径の円に近似してしまう可能性がある。その場合、ステップＤ０３で求める円の中心Ｅ０５が円筒部Ａ０２の中心とは一致しなくなり、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
【０００９】
また、第１及び第２の従来技術では、ステップＢ０３で求める２次曲面の式が楕円面に分類されることが多いとしているが、実際には楕円面以外の例えば１葉双曲面と分類される場合もある。その場合、ステップＢ０４で演算される主軸Ａ０５が円筒部Ａ０２の長手方向の向きとはずれてしまい、対象物体Ａ０１の姿勢（主軸Ａ０５）が正しく検出できない。
更に、第２の従来技術では、ステップＤ０２で主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影するため、主軸Ａ０５が正しく検出できない場合には射影した円筒領域距離画像Ｃ０２（射影円筒距離画像Ｅ０１）が広がりを持ったものとなる。この場合、ステップＤ０３で行う円近似が正しく行えず、円筒部Ａ０２が持つ半径とは異なる大きさの半径の円に近似してしまう。つまり、ステップＤ０３で求める円の中心Ｅ０５が円筒部Ａ０２の中心とは一致しなくなり、対象物体Ａ０１の位置（中心Ａ０４）が正しく検出できない。
【００１０】
また、第１及び第２の従来技術では、ステップＢ０２でエッジ以外の領域に曲率解析を行い、円筒部と分類された領域のみを円筒領域距離画像Ｃ０２として抽出している。ところが、この方法では、半径の異なる円筒部が複数あるシーンを対象とし、そこからある指定した半径を持つ円筒部の領域のみ抽出したい場合に対応できない。
更に、ステップＢ０２の方法では、１つの円筒部の領域を抽出しているため、距離画像が外乱光の影響等でノイズを多く含むものとなった場合、エッジ抽出で１つの円筒部の領域が分断されてしまい、抽出した円筒部の領域が小さくなってしまう。この場合、対象とするデータ量が少なくなり、第１の従来技術ではステップＢ０３からＢ０４、第２の従来技術ではステップＢ０３からＤ０４での演算に誤差が生じやすくなり、対象物体Ａ０１の位置（中心Ａ０４）と姿勢（主軸Ａ０５）が正しく検出できない。
【００１１】
本発明は、このような様々な問題点に鑑みてなされたものであり、対象物体の位置と姿勢を正しく検出することができ、また、異なる大きさの円筒部を含む物体が複数存在する場合でも、指定した半径を持つ対象物体の位置と姿勢を検出することができる物体検出方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項１記載の物体検出方法は、円筒部分と円筒以外の形状の部分からなる物体が少なくとも１つ存在する場合に前記少なくとも１つの物体を側面から撮影することにより得られる距離画像であるシーン距離画像から前記少なくとも１つの物体における前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、
（１）前記シーン距離画像から抽出されたエッジを境界として、各領域に前記円筒部分の距離画像または前記円筒以外の形状の部分の距離画像が１つずつ含まれるように、前記シーン距離画像を少なくとも２つの領域に分割し、
（２）分割された前記シーン距離画像である分割距離画像の各領域に対して前記分割距離画像の各点において法線ベクトルを演算し、
（３）前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記分割距離画像を射影し、射影した前記分割距離画像である射影分割距離画像を予め指定された半径の円に近似するとともに前記円の中心を求め、
（４）前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を前記円筒領域距離画像として抽出し、
（５）抽出された前記円筒領域距離画像に関する前記円の中心と前記主軸とから前記物体の位置と姿勢を求めるものである。
この請求項１記載の物体検出方法によれば、複数の分割距離画像から所望の円筒部分の半径を持つ円筒領域距離画像を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部分を含む物体が複数存在しても、所望の物体の位置と姿勢を検出することができる。
【００１５】
本発明の請求項２記載の物体検出方法は、前記工程（１）と（２）の間において、前記分割距離画像の各領域を平面に近似し、平面の度合いの高い前記分割距離画像の各領域を削除するものである。
この請求項２記載の物体検出方法によれば、分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像の抽出がより良く行え、請求項１記載の方法と比較して、よりロバストに物体の位置と姿勢を検出することができる。
【００１６】
本発明の請求項３記載の物体検出方法は、前記工程（４）の代わりに、
前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を複数抽出して前記円筒領域距離画像とし、
抽出された複数の前記円筒領域距離画像の主軸を演算し、前記主軸に垂直な平面に前記複数の円筒領域距離画像を射影し、射影した前記複数の円筒領域距離画像を予め指定された半径の円に近似するとともに前記円の中心を求めるものである。
この請求項３記載の物体検出方法によれば、分割距離画像から所望の円筒部分の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像として扱うため、従来の技術と比較して対象とするデータ量が増え、物体の位置と姿勢を正しく検出することができる。
【００１７】
【発明の実施の形態】
本発明の物体検出方法に関する実施の形態について、図を用いて説明する。なお、以降では、前出の図を用いて説明した各構成要素については、同一の符号を付してその説明を省略する。
【００１８】
＜第１の実施の形態＞
本発明の第１の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、従来の技術と同様、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図１は、第１の実施の形態に係る物体検出方法のフローチャートである。図１３を用いて説明した第２の従来技術との違いは、ステップＢ０３（２次曲面近似）とステップＢ０４（中心、主軸演算）が、ステップ１０１（法線ベクトル演算）とステップ１０２（主軸演算）に置き換わっている点にある。
【００１９】
図１において、ステップ１０１では、ステップＢ０２までで抽出された円筒領域距離画像Ｃ０２の各点において法線ベクトルを演算する。法線ベクトルは例えば以下のように演算する。ある注目する領域の距離画像のある点の座標値を
（ｘ_i, ｙ_i, ｚ_i）（１）
とし（ｉ=１,・・・,ｎ：ｎはデータ点数）、その点における法線ベクトル（単位ベクトル）を
（ａ_i, ｂ_i, ｃ_i）（２）
とする。式（１）の点を、注目領域の距離画像の重心分だけ平行移動した点を
（Ｘ_i, Ｙ_i, Ｚ_i）（３）
とすると、式（２）の係数には
【数１】

の関係が成立する（λはラグランジェ乗数）。式（４）の固有値・固有ベクトル問題を解き、λが最小値を取る時の式（２）の係数を求めれば、それがある点における法線ベクトルとなる。ステップ１０１では、例えば、円筒領域距離画像Ｃ０２の注目点とその８近傍の点を利用して、式（１）から（４）までの演算を行い、注目点における法線ベクトルを求めることができる。ステップ１０２では、求められた法線ベクトルを利用して円筒領域距離画像Ｃ０２の主軸（主軸Ａ０５）を演算する。
【００２０】
主軸は例えば以下のように演算する。ある注目する領域の距離画像のある点の法線ベクトルは式（２）で与えられている。注目領域の主軸（単位ベクトル）を
（ｄ，ｅ，ｆ）（５）
とすると、式（２）と式（５）との内積はゼロになる。この条件を適用すると、式（５）の係数には
【数２】

の関係が成立する。式（６）の固有値・固有ベクトル問題を解き、λが最小値を取る時の式（５）の係数を求めれば、それが注目領域における主軸となる。ステップ１０２では、円筒領域距離画像Ｃ０２の各点の法線ベクトルを利用して式（５）から（６）までの演算を行い、円筒領域距離画像Ｃ０２における主軸（主軸Ａ０５）を求めることができる。次からのステップＤ０２からＤ０４までの内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０２で、ステップ１０２で演算された主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影する。ステップＤ０３で、射影円筒領域距離画像Ｅ０１を円Ｅ０３に近似し、円の中心Ｅ０５を求める。ステップＤ０４で、円の中心Ｅ０５を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００２１】
以上説明したように、本発明の第１の実施の形態は、ステップ１０１で円筒領域距離画像Ｃ０２の各点において法線ベクトルを演算し、ステップ１０２で法線ベクトルから主軸Ａ０５を演算するため、従来の技術の２次曲面近似を行う方法と比較してロバストに正しく主軸Ａ０５が求まり、対象物体Ａ０１の姿勢を正しく検出することができる。また、主軸Ａ０５が正しく求まるため、ステップＤ０２で主軸Ａ０５に垂直な平面に円筒領域距離画像Ｃ０２を射影し、ステップＤ０３で射影した円筒領域距離画像Ｃ０２を円Ｅ０３に近似するとともに円の中心Ｅ０５を求めることが従来の技術と比較して良好に行え、対象物体Ａ０１の位置を正しく検出することができる。
【００２２】
＜第２の実施の形態＞
本発明の第２の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、従来の技術や第１の実施の形態と同様、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図２は、第２の実施の形態に係る物体検出方法のフローチャートである。図１を用いて説明した第１の実施の形態との違いは、ステップＤ０３（円近似）が、ステップ２０１（半径指定円近似）に置き換わっている点にある。
【００２３】
図２において、ステップ２０１では、ステップＤ０２までで射影されている円筒領域領域距離画像Ｃ０２（射影円筒距離画像Ｅ０１）を指定した半径の円に近似し、円の中心を求める。ステップＤ０３（円近似）が円の中心位置と円の半径を求める方法であるのに対し、ステップ２０１（半径指定円近似）は円の半径を指定して円の中心位置を求める方法である。半径指定円近似の演算例を図３を用いて説明する。
【００２４】
図３は、第２の実施の形態に係る半径指定円近似の例である。図３において、３０１は円筒部Ａ０２を主軸Ａ０５に垂直な平面に射影した円筒部Ａ０２表面を表し、３０２は円筒部表面３０１の真の中心を表している。ステップ２０１で求めたいのは、この真の円筒部中心３０２である。図３においては、射影円筒距離画像Ｅ０１として３点を図示しており、それぞれ第１の射影円筒距離画像３０３、第２の射影円筒距離画像３０４、第３の射影円筒距離画像３０５がそれらに相当する。一般に、ほとんどの場合、扱う対象物体Ａ０１の形状や大きさは既知であるため、円筒部Ａ０２の半径、すなわち、円筒部表面３０１の半径は既知となる。
【００２５】
今、円筒部表面３０１の半径と同じ大きさの円を、第１の射影円筒距離画像３０３を中心として描き、第１の補助円３０６とする。同様に第２の補助円３０７、第３の補助円３０８を描く。もし、第１の射影円筒距離画像３０３から第３の射影円筒距離画像３０５までが、円筒部表面３０１上に存在するならば、第１の補助円３０６から第３の補助円３０８までは、全て真の円筒部中心３０２で交わるはずである。ところが、実際の距離画像にはノイズや誤差が含まれるため、全ての距離画像が完全に円筒部３０１上に存在することはまずない。この半径指定円近似の演算例は、第１の補助円３０６から第３の補助円３０８までの交点を求め、それらの重心を求めて円筒部表面３０１の中心とするものである。
【００２６】
例えば、第１の補助円３０６と第２の補助円３０７の交点を求めて、２つある交点の内、位置を判定して、真の円筒部中心３０２側にある方（第１の交点３０９）を採用する。同様に第２の交点３１０、第３の交点３１１を求める。そして、第１の交点３０９から第３の交点３１１までを利用して重心を演算し、この重心（円筒部中心３１２）を円筒部表面３０１の中心とする。以上が、ステップ２０１で行う半径指定円近似の演算例である。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、円筒部中心３１２を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
以上説明したように、本発明の第２の実施の形態は、ステップ２０１で予め指定した円筒部Ａ０２の半径を用いて円に近似するため、円筒部Ａ０２と異なる大きさの円に近似する可能性がなく、従来の技術の円の半径を求める方法と比較して対象物体Ａ０１の位置を正しく検出することができる。
【００２７】
＜第３の実施の形態＞
本発明の第３の実施の形態の物体検出方法について、図を用いて説明する。図４は、異なる大きさの円筒部分を含む物体と位置・姿勢を示した概念図である。図４において、４０１、４０３は、それぞれ、他の第１の対象物体、他の第２の対象物体で、それぞれが円筒部（他の第１の円筒部４０２、他の第２の円筒部４０４）を含んでいる。
図５は、図４に示した複数の対象物体に関して入力した距離画像の例である。図５において、５０１は対象物体距離画像で、対象物体Ａ０１に関して入力した距離画像である。同様に、５０２は他の第１の対象物体４０１に関して入力した距離画像（他の第１の対象物体距離画像）、５０４は他の第２の対象物体４０３に関して入力した距離画像（他の第２の対象物体距離画像）である。それぞれの円筒部に関する距離画像は、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５で表している。
本実施の形態では、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。
【００２８】
図６は第３の実施の形態に係る物体検出方法のフローチャートである。図２を用いて説明した第２の実施の形態との違いは、ステップＢ０２（円筒部領域抽出）がステップ６０１（領域分割）に置き換わっている点、ステップ６０２（注目円筒部抽出）が加わっている点にある。
図６において、ステップ６０１では、ステップＢ０１までで入力されているシーン距離画像Ｃ０１（図５）からエッジを抽出し、エッジ以外の部分を領域として残して分割距離画像とする。本実施の形態では、分割距離画像として、円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５が抽出されたとする。ステップ１０１では、抽出された分割距離画像の各領域に対して、距離画像の各点において法線ベクトルを演算する。ステップ１０２では、この法線ベクトルを利用して、各分割距離画像の主軸を演算する。法線ベクトル、主軸の演算は、第１の実施の形態で述べた通りである。ステップＤ０２では、この主軸に垂直な平面に分割距離画像を射影する。ステップ２０１では、射影された分割距離画像を指定した半径の円に近似し、円の中心を求める。この半径指定の円近似は、第２の実施の形態で述べた通りである。ステップ６０２では、近似された円と、射影された分割距離画像とを利用して注目する円筒部領域（この場合円筒領域距離画像Ｃ０２）を抽出する。すなわち、分割距離画像として抽出されている円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５から、円筒領域距離画像Ｃ０２を抽出する。この注目円筒部抽出の例を図７を用いて説明する。
【００２９】
図７は、第３の実施の形態に係る注目円筒部抽出の例である。図７において、７０１は射影分割距離画像（Ａ）で、円筒領域距離画像Ｃ０２を射影したものに相当する。７０２は円筒部中心（Ａ）で、射影分割距離画像（Ａ）７０１を円筒部Ａ０２が持つ半径で近似した際の中心である。７０３は射影分割距離画像（Ｂ）で、他の第１の円筒領域距離画像５０３を射影したものに相当する。７０４は円筒部中心（Ｂ）で、射影分割距離画像（Ｂ）７０３を円筒部Ａ０２が持つ半径で近似した際の中心である。７０５は射影分割距離画像（Ｃ）で、他の第２の円筒領域距離画像５０５を射影したものに相当する。７０６は円筒部中心（Ｃ）で、射影分割距離画像（Ｃ）７０５を円筒部Ａ０２が持つ半径で近似した際の中心である。今、円筒部中心（Ａ）７０２を
（ｃ_x，ｃ_y）（７）
とし、射影分割距離画像（Ａ）７０１のある点の座標値を
（ｇ_i，ｈ_i）（８）
とする（ｉ=１,・・・,ｎ：ｎはデータ点数）。
円筒部Ａ０２が持つ半径をｒとした時、次式により残差Ｄを求める。
【数３】

式（９）の残差Ｄが小さいものがより半径ｒに近い円となる。従って、ステップ６０２では、射影分割距離画像（Ａ）７０１、射影分割距離画像（Ｂ）７０３、射影分割距離画像（Ｃ）７０５に対して式（９）を演算し、最もＤの小さいものを抽出すれば、それが、円筒領域距離画像Ｃ０２を射影したものとなる。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、円筒部中心（Ａ）７０２を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００３０】
以上説明したように、本発明の第３の実施の形態は、ステップ６０２で複数の分割距離画像（円筒領域距離画像Ｃ０２、他の第１の円筒領域距離画像５０３、他の第２の円筒領域距離画像５０５）から所望の円筒部Ａ０２の半径を持つ円筒領域距離画像Ｃ０２を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部（他の第１の円筒部４０２、他の第２の円筒部４０４）を含む対象物体（他の第１の対象物体４０１、他の第２の対象物体４０３）が複数存在しても、所望の対象物体Ａ０１の位置と姿勢を検出することができる。
【００３１】
＜第４の実施の形態＞
本発明の第４の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、第３の実施の形態と同様、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。図８は第４の実施の形態に係る物体検出方法のフローチャートである。図６を用いて説明した第３の実施の形態との違いは、ステップ８０１（平面領域削除）が加わっている点にある。
【００３２】
図８において、ステップ８０１では、ステップ６０１までで抽出された分割距離画像を平面に近似し、平面の度合いの高い領域を削除する。平面近似は例えば以下のように演算すれば良い。第１の実施の形態では、ある注目する領域のある点の法線ベクトルを式（１）から（４）までを利用して求めた。実は、式（２）の法線ベクトルは、平面の方程式における係数に相当する。そして、その平面と、注目領域の距離画像の各点との距離の和は式（４）のλの最小値として現れる。従って、
λ／ｎ（１０）
を演算し、これが小さい領域を平面度の高い領域とすれば良い。次からのステップ１０１からＤ０４までの内容は、第３の実施の形態で説明したものと同じであるため、それら説明を省略する。
【００３３】
以上説明したように、本発明の第４の実施の形態は、ステップ８０１で分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像Ｃ０２の抽出がより良く行え、第３の実施の形態の方法（請求項３記載の方法）と比較して、よりロバストに対象物体Ａ０１位置と姿勢を検出することができる。
【００３４】
＜第５の実施の形態＞
本発明の第５の実施の形態の物体検出方法について、図を用いて説明する。本実施の形態では、第３や第４の実施の形態と同様、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出する。
図９は第５の実施の形態に係る物体検出方法のフローチャートである。図６を用いて説明した第３の実施の形態との違いは、ステップ６０２（注目円筒部抽出）がステップ９０１（注目円筒部複数抽出）に置き換わっている点、ステップ９０２（主軸演算（再））、ステップ９０３（データ射影（再））、ステップ９０４（半径指定円近似（再））が加わっている点にある。
【００３５】
ところで、ステップＢ０２（図２）やステップ６０１では、シーン距離画像Ｃ０１に含まれるエッジを抽出し、エッジ以外の部分を領域として残すが、発明が解決しようとする課題の項でも述べたように、距離画像が外乱光の影響等でノイズを多く含むものとなった場合、エッジ抽出で１つの円筒部の領域が分断されてしまい、抽出した円筒部の領域が小さくなり、その結果、対象とするデータ量が少なくなり、対象物体Ａ０１の位置と姿勢が正しく検出できない可能性があるという課題を抱えていた。すなわち、図４に示す対象物体Ａ０１の円筒部Ａ０２の距離画像（円筒領域距離画像Ｃ０２）を抽出して対象物体Ａ０１の位置と姿勢を検出したいのであるが、円筒領域距離画像Ｃ０２の領域が分断されてしまい、対象物体Ａ０１の位置と姿勢が良好に検出できない可能性があるという課題を抱えていたということになる。本実施の形態は、この課題に対応するためのものである。
【００３６】
図９において、ステップ９０１では、ステップ２０１までで複数の射影分割距離画像が指定した半径の円に近似されているので、これらを利用して、各領域に対して第３の実施の形態で説明したステップ６０２の演算、すなわち、式（７）から（９）までを演算し、残差Ｄがある閾値より小さいものを抽出する。例えば、円筒領域距離画像Ｃ０２が２つに分断されてしまっている場合には、円筒領域距離画像Ｃ０２に関する２つの領域が複数円筒領域距離画像として抽出されることになる。ステップ９０２では、円筒領域距離画像Ｃ０２に関する２つの領域（複数円筒領域距離画像）の主軸（主軸Ａ０５）を演算する。主軸の演算は、複数円筒領域距離画像に対して、第１の実施の形態で説明したステップ１０２の演算（式（５）から（６）までの演算）を行えば良い。ステップ９０３では、ステップ９０２で演算された主軸Ａ０５に垂直な平面に、ステップ９０１で抽出された複数円筒領域距離画像を射影する。ステップ９０４では、射影されている複数円筒領域距離画像を指定した半径の円に近似し、円の中心を求める。円近似は、第２の実施の形態で説明したステップ２０１と同様の演算を利用すれば良い。次のステップＤ０４の内容は、第２の従来技術で説明したものと同じである。すなわち、ステップＤ０４で、ステップ９０４で求めた円の中心を通る主軸Ａ０５を求めて対象物体Ａ０１の位置と姿勢とする。
【００３７】
以上説明したように、本発明の第５の実施の形態は、ステップ９０１で分割距離画像から所望の円筒部Ａ０２の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像Ｃ０２として扱うため、従来の技術と比較して対象とするデータ量が増え、対象物体Ａ０１の位置と姿勢を正しく検出することができる。
なお、本実施の形態では、図４に示した異なる大きさの円筒部を含む物体を複数含むシーンから、図５に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出することを対象としたが、本発明はこれに限らず、第１や第２の実施の形態のように、図１０に示した対象物体Ａ０１と、図１２に示したシーン距離画像Ｃ０１を用いて対象物体Ａ０１の位置と姿勢を検出することに対しても全く同様に適用でき、全く同様の効果を得ることができる。
また、以上全ての実施の形態では、ステップＢ０１（距離画像入力）後に、シーン距離画像Ｃ０１の奥行き範囲を限定して、処理の対象を切り出すようにしても良い。これにより、データ量が少なくなり演算量が減り、処理の高速化が図られ、また不要なデータが少なくなるため、よりロバストに対象物体Ａ０１の検出が行える。また、ステップＢ０１（距離画像入力）後に、シーン距離画像Ｃ０１に対して、穴埋めや孤立点除去等通常の画像処理で行われる前処理を適用しても良い。これにより、ノイズの削減が図られ、よりロバストに対象物体Ａ０１の検出が行える。
【００３８】
【発明の効果】
以上説明したように、本発明の請求項１記載の物体検出方法によれば、少なくとも２つの分割距離画像から所望の円筒部分の半径を持つ円筒領域距離画像を抽出するため、従来の技術では行えなかった、異なる大きさの円筒部分を含む物体が複数存在しても、所望の物体の位置と姿勢を検出することができる。
また、請求項２記載の物体検出方法によれば、分割距離画像から平面の度合いの高い領域を削除するため、分割距離画像からの円筒領域距離画像の抽出がより良く行え、請求項１記載の方法と比較して、よりロバストに物体の位置と姿勢を検出することができる。
また、請求項３記載の物体検出方法によれば、分割距離画像から所望の円筒部分の半径を持つ分割距離画像を複数抽出してそれら領域を１つの円筒領域距離画像として扱うため、従来の技術と比較して対象とするデータ量が増え、物体の位置と姿勢を正しく検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る物体検出方法のフローチャートである。
【図２】本発明の第２の実施の形態に係る物体検出方法のフローチャートである。
【図３】本発明の第２の実施の形態に係る半径指定円近似の図示例である。
【図４】異なる大きさの円筒部分を含む物体と位置・姿勢を示した概念図である。
【図５】複数の対象物体に関して入力した距離画像の図示例である。
【図６】本発明の第３の実施の形態に係る物体検出方法のフローチャートである。
【図７】本発明の第３の実施の形態に係る注目円筒部抽出の図示例である。
【図８】本発明の第４の実施の形態に係る物体検出方法のフローチャートである。
【図９】本発明の第５の実施の形態に係る物体検出方法のフローチャートである。
【図１０】１つの円筒部分を含む物体と位置・姿勢を示した概念図である。
【図１１】第１の従来技術に係る物体検出方法のフローチャートである。
【図１２】１つの対象物体に関して入力した距離画像の図示例である。
【図１３】第２の従来技術に係る物体検出方法のフローチャートである。
【図１４】第２の従来技術に係る円近似の図示例である。
【符号の説明】
３０１円筒部表面
３０２真の円筒部中心
３０３第１の射影円筒距離画像
３０４第２の射影円筒距離画像
３０５第３の射影円筒距離画像
３０６第１の補助円
３０７第２の補助円
３０８第３の補助円
３０９第１の交点
３１０第２の交点
３１１第３の交点
３１２円筒部中心
４０１他の第１の対象物体
４０２他の第１の円筒部
４０３他の第２の対象物体
４０４他の第２の円筒部
５０１対象物体距離画像
５０２他の第１の対象物体距離画像
５０３他の第１の円筒領域距離画像
５０４他の第２の対象物体距離画像
５０５他の第２の円筒領域距離画像
７０１射影分割距離画像（Ａ）
７０２円筒部中心（Ａ）
７０３射影分割距離画像（Ｂ）
７０４円筒部中心（Ｂ）
７０５射影分割距離画像（Ｃ）
７０６円筒部中心（Ｃ）
Ａ０１対象物体
Ａ０２円筒部
Ａ０３直方体部
Ａ０４中心
Ａ０５主軸[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional object detection method, and more particularly to an object detection method that can favorably detect an object including a cylindrical portion of an object.
[0002]
[Prior art]
A conventional object detection method will be described with reference to the drawings. FIG. 10 is a conceptual diagram showing an object including one cylindrical portion and the position / posture. In FIG. 10, A01 is a target object, and is composed of a cylindrical part A02 and a rectangular parallelepiped part A03. A04 is the center of the cylindrical portion A02 and exists in the center of the cylindrical portion A02. A05 is the main axis of the cylindrical portion A02 and represents a vector in the longitudinal direction of the cylindrical portion A02.
The position and orientation of the target object A01 to be detected by the object detection method are the main axis A05 passing through the center A04 and the center A04, respectively.
[0003]
As the first prior art, ““ Vision system for bin picking based on local curved surface shape analysis ”Takehiro Fujita, Kosuke Sato, Seiji Iguchi, IEICE Transactions D-II, J73-D-II, Vol. No. 1, pages 46-53, 1990 "(Non-Patent Document 1) will be described as an example.
FIG. 11 is a flowchart of the object detection method disclosed in Non-Patent Document 1. In FIG. 11, in step B01, a distance image related to a scene including the target object A01 is input. The distance image can be easily input with several commercially available ones such as a laser range finder.
[0004]
FIG. 12 is an example of a distance image input with respect to the target object A01. In FIG. 12, each black circle represents each point of the distance image, and each point has information on XYZ coordinate values. C01 is a scene distance image, which is a distance image input to a scene including the target object A01. C02 is a cylindrical area distance image, which is a distance image corresponding to the area of the cylindrical portion A02 in the scene distance image C01. In step B02, an edge included in the input scene distance image C01 is extracted, and a portion other than the edge is left as a region. Further, curvature analysis is performed on the remaining region, and only the region classified as the cylindrical portion is extracted as the cylindrical region distance image C02. In step B03, quadratic surface approximation is performed on the extracted cylindrical region distance image C02 to obtain a quadratic surface expression of the cylindrical region distance image C02. In step B04, the center A04 and the principal axis A05 of the cylindrical portion A02 are calculated from the obtained quadratic curved surface formula to obtain the position and orientation of the target object A01.
By the way, in the quadratic surface approximation performed in step B03 in FIG. 11, the quadratic surface expression is rarely classified as a cylindrical surface. This is because noise is present in the actual distance image and data on the back side (for example, the back side of the cylindrical region distance image C02) cannot be acquired, so that there is an approximation error in quadratic surface approximation. In reality, the quadratic surface expression obtained in many cases is often classified as an ellipsoid, and therefore the center A04 calculated in step B04 becomes the center of the ellipsoid and does not coincide with the center of the cylindrical portion A02. That is, the first prior art has a problem that the position (center A04) of the target object A01 cannot be detected correctly.
[0005]
In order to solve this problem, as a second conventional technique, the applicant of the present application discloses a technique of “object detection method” in Japanese Patent Application Laid-Open No. 2002-366960 (Patent Document 1). FIG. 13 is a flowchart of the object detection method disclosed in Patent Document 1. In the following description, the same reference numerals are assigned to the components described with reference to the previous drawings, and the description thereof is omitted.
In FIG. 13, in step D01, the center A04 of the cylindrical portion A02 calculated up to step B04 is recalculated using steps D02 to D04. In step D02, the cylindrical area distance image C02 extracted in step B02 is projected onto a plane perpendicular to the principal axis A05 calculated in step B04. In step D03, the projected cylindrical area distance image C02 is approximated to a circle to obtain the center of the circle. In the method of approximating a circle, in Patent Document 1, each point is approximated to a circle using a geometrical relationship from the coordinate value of each point of the projected cylindrical area distance image C02, and the center position of the circle and the radius of the circle And seeking.
[0006]
FIG. 14 shows an example of the circle approximation. E01 is a projected cylindrical distance image, which is obtained by projecting the cylindrical area distance image C02 onto a plane in step D02. E02 is an elliptical cross section, and represents a cross section obtained by cutting the elliptical surface at the center of the secondary curved surface using a plane perpendicular to the principal axis A05 when the quadratic curved surface expression obtained in step B03 is classified as an elliptical surface. ing. E04 is the center of the cross section E02 of the ellipsoid and is treated as an ellipsoid even though the cross section of the cylindrical portion A02 is a circle, so that it is different from the correct center position. E03 is a circle obtained in step D03. E05 is the center of the circle, which is also the center of the circle obtained in step D03. Since the cross section of the cylindrical portion A02 is a circle, the center position is corrected by approximating the circle in step D03. In step D04, a principal axis A05 passing through the center E05 of the circle is obtained and set as the position and orientation of the target object A01.
[0007]
[Patent Document 1]
JP 2002-366960 A (paragraphs 0017-0027, FIGS. 1 and 2)
[Non-Patent Document 1]
“Vision system for bin picking based on local curved surface shape analysis”, Takehiro Fujita, Kosuke Sato, Seiji Iguchi, IEICE Transactions D-II, J73-D-II, No. 1, pages 46-53 1990
[0008]
[Problems to be solved by the invention]
In the first prior art, as described above, the quadratic curved surface approximation performed in step B03 often classifies the cylindrical area distance image C02 as an ellipsoid, and therefore the center A04 calculated in step B04 is an ellipse. It becomes the center of the surface and does not coincide with the center of the cylindrical portion A02. In other words, the first prior art cannot correctly detect the position (center A04) of the target object A01.
In the second prior art, the circle approximation performed in step D03 uses a method for obtaining the center position of the circle and the radius of the circle, that is, the radius of the circle is an estimated value. When the approximation error of the circle approximation increases, there is a possibility that the circle approximates to a circle having a radius different from the radius of the cylindrical portion A02. In this case, the center E05 of the circle obtained in step D03 does not coincide with the center of the cylindrical portion A02, and the position (center A04) of the target object A01 cannot be detected correctly.
[0009]
In the first and second prior arts, the quadratic surface expression obtained in step B03 is often classified as an ellipsoid, but actually, for example, it is classified as a one-leaf hyperboloid other than the ellipsoid. There is also a case. In this case, the main axis A05 calculated in step B04 deviates from the longitudinal direction of the cylindrical portion A02, and the posture of the target object A01 (main axis A05) cannot be detected correctly.
Further, in the second prior art, the cylindrical area distance image C02 is projected onto a plane perpendicular to the principal axis A05 in step D02. Therefore, when the principal axis A05 cannot be detected correctly, the projected cylindrical area distance image C02 (projected cylinder distance image) is projected. E01) is wide. In this case, the circle approximation performed in step D03 cannot be performed correctly, and it approximates to a circle having a radius different from the radius of the cylindrical portion A02. That is, the center E05 of the circle obtained in step D03 does not coincide with the center of the cylindrical portion A02, and the position (center A04) of the target object A01 cannot be detected correctly.
[0010]
In the first and second prior arts, curvature analysis is performed on a region other than the edge in step B02, and only a region classified as a cylindrical portion is extracted as a cylindrical region distance image C02. However, this method cannot deal with a case where a scene having a plurality of cylindrical portions having different radii is targeted and only a cylindrical region having a specified radius is to be extracted therefrom.
Furthermore, in the method of step B02, since the region of one cylindrical portion is extracted, if the distance image includes a lot of noise due to the influence of disturbance light, the region of one cylindrical portion is extracted by edge extraction. It will be divided and the area | region of the extracted cylindrical part will become small. In this case, the amount of data to be processed is reduced, and errors are likely to occur in the calculations in steps B03 to B04 in the first conventional technique and in steps B03 to D04 in the second conventional technique, and the position (center of the target object A01) A04) and posture (spindle A05) cannot be detected correctly.
[0011]
The present invention has been made in view of such various problems, and can correctly detect the position and orientation of a target object, and there are a plurality of objects including cylindrical portions of different sizes. However, it is an object to provide an object detection method capable of detecting the position and orientation of a target object having a specified radius.
[0012]
[Means for Solving the Problems]
  In order to solve the above problem, the object detection method according to claim 1 of the present invention is a cylindrical portion.And part of shape other than cylinderobjectSaid at least one object if there is at least oneFrom a scene distance image that is a distance image obtained by shooting from the sideIn the at least one objectIn the object detection method for extracting the cylindrical region distance image that is the region of the cylindrical part and detecting the position and orientation of the object from the cylindrical region distance image,
(1) With the edge extracted from the scene distance image as a boundary, each region includes a distance image of the cylindrical portion or a distance image of a portion of a shape other than the cylinder,The scene distance imageAt least twoDivided into areas
(2)A normal vector is calculated at each point of the divided distance image for each region of the divided distance image that is the divided scene distance image;
(3)A principal axis is calculated from the normal vector, the division distance image is projected onto a plane perpendicular to the principal axis, and a projected division distance image which is the projected division distance image is obtained.Of a pre-specified radiusApproximate the circle and find the center of the circle,
(4)Obtain an average value of the distance between each point of the projected division distance image and the circle, and extract the division distance image having a small average value of the distance as the cylindrical region distance image;
(5)The position and orientation of the object from the center of the circle and the main axis of the extracted cylindrical area distance imageAsk forIs.
  According to the object detection method of claim 1,Since a cylindrical region distance image having a desired radius of a cylindrical portion is extracted from a plurality of divided distance images, even if there are a plurality of objects including cylindrical portions of different sizes, which are not possible with the prior art, the desired object Can be detected.
[0015]
  Claims of the invention2The object detection method described isBetween the steps (1) and (2),Approximate each area of the divided distance image to a plane and delete each area of the divided distance image with a high degree of planeDoIs.
  This claim2According to the object detection method described above, since a region having a high degree of flatness is deleted from the division distance image, the cylindrical region distance image can be extracted from the division distance image better.1Compared with the described method, the position and orientation of the object can be detected more robustly.
[0016]
  Claims of the invention3The object detection method described isInstead of the step (4),
Obtain an average value of the distance between each point of the projected division distance image and the circle, extract a plurality of the division distance images having a small average value of the distance to form the cylindrical region distance image,
The principal axes of the extracted plurality of cylindrical region distance images are calculated, the plurality of cylindrical region distance images are projected onto a plane perpendicular to the principal axis, and the projected plurality of cylindrical region distance images are calculated.Of a pre-specified radiusApproximate the circle and find the center of the circleTurnIs.
  This claim3According to the described object detection method, a plurality of divided distance images having a desired cylindrical portion radius are extracted from the divided distance image, and these areas are handled as one cylindrical area distance image. As a result, the position and orientation of the object can be detected correctly.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments relating to the object detection method of the present invention will be described with reference to the drawings. In the following description, the same reference numerals are assigned to the components described with reference to the previous drawings, and the description thereof is omitted.
[0018]
<First Embodiment>
The object detection method according to the first embodiment of the present invention will be described with reference to the drawings. In the present embodiment, the position and orientation of the target object A01 are detected using the target object A01 shown in FIG. 10 and the scene distance image C01 shown in FIG. FIG. 1 is a flowchart of an object detection method according to the first embodiment. The difference from the second prior art described with reference to FIG. 13 is that step B03 (quadratic surface approximation) and step B04 (center, principal axis calculation) are step 101 (normal vector calculation) and step 102 (main axis calculation). ).
[0019]
In FIG. 1, in step 101, a normal vector is calculated at each point of the cylindrical area distance image C02 extracted up to step B02. The normal vector is calculated as follows, for example. The coordinate value of a certain point in the distance image of a certain area of interest
(X_i, y_i, z_i(1)
(I = 1,..., N: n is the number of data points) and the normal vector (unit vector) at that point
(A_i, b_i, c_i(2)
And A point obtained by translating the point in equation (1) by the center of gravity of the distance image of the region of interest
(X_i, Y_i, Z_i(3)
Then, the coefficient in equation (2)
[Expression 1]

(Λ is a Lagrange multiplier). If the eigenvalue / eigenvector problem of equation (4) is solved and the coefficient of equation (2) when λ takes the minimum value is obtained, it becomes the normal vector at that point. In step 101, for example, using the attention point of the cylindrical region distance image C02 and the points in the vicinity of the attention point, the calculation from the expressions (1) to (4) can be performed to obtain the normal vector at the attention point. . In step 102, the main axis (main axis A05) of the cylindrical region distance image C02 is calculated using the obtained normal vector.
[0020]
For example, the main axis is calculated as follows. The normal vector of a certain point in the distance image of a certain region of interest is given by equation (2). The main axis (unit vector) of the region of interest
(D, e, f) (5)
Then, the inner product of Equation (2) and Equation (5) becomes zero. When this condition is applied, the coefficient in equation (5)
[Expression 2]

The relationship is established. If the eigenvalue / eigenvector problem of equation (6) is solved and the coefficient of equation (5) when λ takes the minimum value is obtained, it becomes the main axis in the region of interest. In step 102, the calculation from Equations (5) to (6) is performed using the normal vector of each point of the cylindrical area distance image C02, and the main axis (main axis A05) in the cylindrical area distance image C02 can be obtained. . The contents from the next steps D02 to D04 are the same as those described in the second prior art. That is, in step D02, the cylindrical area distance image C02 is projected onto a plane perpendicular to the principal axis A05 calculated in step 102. In step D03, the projected cylindrical region distance image E01 is approximated to a circle E03 to obtain a circle center E05. In step D04, a main axis A05 passing through the center E05 of the circle is obtained and set as the position and orientation of the target object A01.
[0021]
As described above, the first embodiment of the present invention calculates the normal vector at each point of the cylindrical area distance image C02 in step 101, and calculates the principal axis A05 from the normal vector in step 102. Compared to the conventional method of performing quadratic surface approximation, the spindle A05 can be obtained more robustly and the posture of the target object A01 can be detected correctly. Since the principal axis A05 is correctly obtained, the cylindrical area distance image C02 is projected onto a plane perpendicular to the principal axis A05 in step D02, the cylindrical area distance image C02 projected in step D03 is approximated to the circle E03, and the center E05 of the circle is obtained. This can be obtained better than the conventional technique, and the position of the target object A01 can be detected correctly.
[0022]
<Second Embodiment>
An object detection method according to a second embodiment of the present invention will be described with reference to the drawings. In the present embodiment, the position and orientation of the target object A01 are detected using the target object A01 shown in FIG. 10 and the scene distance image C01 shown in FIG. 12, as in the conventional technique and the first embodiment. To do. FIG. 2 is a flowchart of the object detection method according to the second embodiment. The difference from the first embodiment described with reference to FIG. 1 is that step D03 (circle approximation) is replaced with step 201 (radius designation circle approximation).
[0023]
In FIG. 2, in step 201, the cylindrical area region distance image C02 (projected cylinder distance image E01) projected up to step D02 is approximated to a circle with a specified radius, and the center of the circle is obtained. Step D03 (circle approximation) is a method for obtaining the center position of the circle and the radius of the circle, whereas step 201 (radius designation circle approximation) is a method for obtaining the center position of the circle by designating the radius of the circle. An example of radius specified circle approximation will be described with reference to FIG.
[0024]
FIG. 3 is an example of radius designation circle approximation according to the second embodiment. In FIG. 3, 301 represents the surface of the cylindrical portion A02 obtained by projecting the cylindrical portion A02 onto a plane perpendicular to the main axis A05, and 302 represents the true center of the cylindrical portion surface 301. What is desired to be obtained in step 201 is the true cylindrical portion center 302. In FIG. 3, three points are illustrated as the projection cylinder distance image E01, and the first projection cylinder distance image 303, the second projection cylinder distance image 304, and the third projection cylinder distance image 305 correspond to them. To do. Generally, in most cases, since the shape and size of the target object A01 to be handled are known, the radius of the cylindrical portion A02, that is, the radius of the cylindrical portion surface 301 is known.
[0025]
Now, a circle having the same size as the radius of the cylindrical surface 301 is drawn around the first projected cylindrical distance image 303 as a first auxiliary circle 306. Similarly, a second auxiliary circle 307 and a third auxiliary circle 308 are drawn. If the first projection cylinder distance image 303 to the third projection cylinder distance image 305 exist on the cylindrical portion surface 301, the first auxiliary circle 306 to the third auxiliary circle 308 are all It should meet at the true cylinder center 302. However, since the actual distance image includes noise and error, it is unlikely that all the distance images completely exist on the cylindrical portion 301. In this calculation example of the radius designation circle approximation, the intersection point from the first auxiliary circle 306 to the third auxiliary circle 308 is obtained, and the center of gravity is obtained to be the center of the cylindrical portion surface 301.
[0026]
For example, the intersection of the first auxiliary circle 306 and the second auxiliary circle 307 is obtained, the position of the two intersections is determined, and the one on the true cylindrical portion center 302 side (the first intersection 309). ). Similarly, a second intersection 310 and a third intersection 311 are obtained. Then, the center of gravity is calculated using the first intersection point 309 to the third intersection point 311, and this center of gravity (cylindrical part center 312) is set as the center of the cylindrical part surface 301. The calculation example of the radius designation circle approximation performed in step 201 has been described above. The content of the next step D04 is the same as that described in the second prior art. That is, in step D04, the main axis A05 passing through the cylindrical portion center 312 is obtained and set as the position and orientation of the target object A01.
As described above, since the second embodiment of the present invention approximates a circle using the radius of the cylindrical portion A02 specified in advance in step 201, it can be approximated to a circle having a size different from that of the cylindrical portion A02. Therefore, the position of the target object A01 can be correctly detected as compared with the conventional method for obtaining the radius of a circle.
[0027]
<Third Embodiment>
The object detection method of the 3rd Embodiment of this invention is demonstrated using figures. FIG. 4 is a conceptual diagram showing an object including a cylindrical portion having a different size and a position / posture. In FIG. 4, 401 and 403 are other first target objects and other second target objects, respectively, which are cylindrical portions (other first cylindrical portions 402 and other second cylindrical portions 404). ) Is included.
FIG. 5 is an example of a distance image input with respect to a plurality of target objects shown in FIG. In FIG. 5, reference numeral 501 denotes a target object distance image, which is a distance image input with respect to the target object A01. Similarly, 502 is a distance image (another first target object distance image) input with respect to another first target object 401, and 504 is a distance image (another second target object distance image) input with respect to another second target object 403. Target object distance image). The distance images relating to the respective cylindrical portions are represented by another first cylindrical region distance image 503 and another second cylindrical region distance image 505.
In the present embodiment, the position and orientation of the target object A01 are detected from the scene including a plurality of objects including cylindrical portions of different sizes shown in FIG. 4 using the scene distance image C01 shown in FIG.
[0028]
FIG. 6 is a flowchart of an object detection method according to the third embodiment. The difference from the second embodiment described with reference to FIG. 2 is that step B02 (cylindrical region extraction) is replaced with step 601 (region division), and step 602 (target cylindrical portion extraction) is added. There is in point.
In FIG. 6, in step 601, an edge is extracted from the scene distance image C01 (FIG. 5) input up to step B01, and a portion other than the edge is left as a region to form a divided distance image. In the present embodiment, it is assumed that a cylindrical area distance image C02, another first cylindrical area distance image 503, and another second cylindrical area distance image 505 are extracted as the divided distance images. In step 101, a normal vector is calculated at each point of the distance image for each region of the extracted divided distance image. In step 102, the principal axis of each divided distance image is calculated using this normal vector. The calculation of the normal vector and the principal axis is as described in the first embodiment. In step D02, the division distance image is projected onto a plane perpendicular to the principal axis. In step 201, the projected divided distance image is approximated to a circle with a specified radius, and the center of the circle is obtained. This radius-specified circle approximation is as described in the second embodiment. In step 602, the target cylindrical portion region (in this case, the cylindrical region distance image C02) is extracted using the approximated circle and the projected divided distance image. That is, the cylindrical region distance image C02 is extracted from the cylindrical region distance image C02 extracted as the divided distance image, the other first cylindrical region distance image 503, and the other second cylindrical region distance image 505. An example of extracting the target cylindrical portion will be described with reference to FIG.
[0029]
FIG. 7 is an example of extraction of a target cylinder portion according to the third embodiment. In FIG. 7, reference numeral 701 denotes a projected division distance image (A), which corresponds to a projection of the cylindrical area distance image C02. Reference numeral 702 denotes a cylindrical portion center (A), which is the center when the projected division distance image (A) 701 is approximated by the radius of the cylindrical portion A02. Reference numeral 703 denotes a projected division distance image (B), which corresponds to a projection of another first cylindrical region distance image 503. Reference numeral 704 denotes a cylindrical part center (B), which is the center when the projected division distance image (B) 703 is approximated by the radius of the cylindrical part A02. Reference numeral 705 denotes a projected division distance image (C), which corresponds to a projection of another second cylindrical region distance image 505. Reference numeral 706 denotes a cylindrical part center (C), which is the center when the projected division distance image (C) 705 is approximated by the radius of the cylindrical part A02. Now, the cylindrical part center (A) 702
(C_x, C_y(7)
And the coordinate value of a point in the projected divided distance image (A) 701 is
(G_i, H_i(8)
(I = 1,..., N: n is the number of data points).
When the radius of the cylindrical portion A02 is r, the residual D is obtained by the following equation.
[Equation 3]

A circle having a smaller residual D in equation (9) is a circle closer to the radius r. Therefore, in step 602, Expression (9) is calculated for the projection division distance image (A) 701, the projection division distance image (B) 703, and the projection division distance image (C) 705, and the one with the smallest D is extracted. Then, it becomes a projection of the cylindrical area distance image C02. The content of the next step D04 is the same as that described in the second prior art. That is, in step D04, a main axis A05 passing through the cylindrical center (A) 702 is obtained and set as the position and orientation of the target object A01.
[0030]
  As described above, in the third embodiment of the present invention, step 602pluralA cylindrical area distance image C02 having a desired radius of the cylindrical portion A02 is extracted from the divided distance images (cylindrical area distance image C02, other first cylindrical area distance image 503, and other second cylindrical area distance image 505). Therefore, target objects (other first target objects 401, etc.) including cylindrical parts of different sizes (other first cylindrical parts 402, other second cylindrical parts 404) that could not be performed by the conventional technique Even if there are a plurality of second target objects 403), the position and orientation of the desired target object A01 can be detected.
[0031]
<Fourth embodiment>
The object detection method of the 4th Embodiment of this invention is demonstrated using figures. In the present embodiment, as in the third embodiment, a target object A01 is used from a scene including a plurality of objects including cylindrical portions of different sizes shown in FIG. 4 using the scene distance image C01 shown in FIG. Detect the position and posture of FIG. 8 is a flowchart of an object detection method according to the fourth embodiment. The difference from the third embodiment described with reference to FIG. 6 is that step 801 (plane area deletion) is added.
[0032]
In FIG. 8, in step 801, the division distance image extracted in steps up to step 601 is approximated to a plane, and an area having a high degree of plane is deleted. For example, the plane approximation may be calculated as follows. In the first embodiment, the normal vector of a certain point in a certain region of interest is obtained using equations (1) to (4). In fact, the normal vector of equation (2) corresponds to the coefficient in the plane equation. Then, the sum of the distance between the plane and each point of the distance image of the region of interest appears as the minimum value of λ in Equation (4). Therefore,
λ / n (10)
And a region where this is small may be a region with high flatness. Since the content from the next step 101 to D04 is the same as what was demonstrated in 3rd Embodiment, those description is abbreviate | omitted.
[0033]
As described above, in the fourth embodiment of the present invention, since the region having a high degree of flatness is deleted from the divided distance image in Step 801, the extraction of the cylindrical region distance image C02 from the divided distance image is better. The position and orientation of the target object A01 can be detected more robustly than the method of the third embodiment (the method described in claim 3).
[0034]
<Fifth embodiment>
The object detection method of the 5th Embodiment of this invention is demonstrated using figures. In the present embodiment, similarly to the third and fourth embodiments, the scene distance image C01 shown in FIG. 5 is used from a scene including a plurality of objects including cylindrical portions having different sizes shown in FIG. The position and orientation of the target object A01 are detected.
FIG. 9 is a flowchart of an object detection method according to the fifth embodiment. The difference from the third embodiment described with reference to FIG. 6 is that step 602 (extracting the target cylinder part) is replaced with step 901 (extracting a plurality of target cylinder parts), step 902 (main axis calculation (re)) ), Step 903 (data projection (re)), and step 904 (radius designation circle approximation (re)).
[0035]
By the way, in step B02 (FIG. 2) and step 601, an edge included in the scene distance image C01 is extracted and a portion other than the edge is left as an area. As described in the section of the problem to be solved by the invention, When the distance image contains a lot of noise due to the influence of ambient light, the area of one cylindrical part is divided by edge extraction, and the extracted cylindrical part area becomes smaller, and as a result There is a problem that the amount of data is reduced, and the position and orientation of the target object A01 may not be detected correctly. That is, it is desired to extract the distance image (cylindrical region distance image C02) of the cylindrical portion A02 of the target object A01 shown in FIG. 4 and detect the position and orientation of the target object A01, but the region of the cylindrical region distance image C02 is divided. This means that the position and orientation of the target object A01 may not be detected well. The present embodiment is for dealing with this problem.
[0036]
In FIG. 9, in step 901, a plurality of projected division distance images are approximated to a circle with a specified radius up to step 201, so that these are used to explain each region in the third embodiment. In step 602, that is, the expressions (7) to (9) are calculated, and a residual D that is smaller than a certain threshold is extracted. For example, when the cylindrical region distance image C02 is divided into two, two regions related to the cylindrical region distance image C02 are extracted as a plurality of cylindrical region distance images. In step 902, the main axes (main axis A05) of two areas (multi-cylindrical area distance images) related to the cylindrical area distance image C02 are calculated. For the calculation of the main axis, the calculation in step 102 described in the first embodiment (calculations from formulas (5) to (6)) may be performed on the multiple cylindrical region distance images. In step 903, the multi-cylindrical region distance image extracted in step 901 is projected onto a plane perpendicular to the principal axis A05 calculated in step 902. In step 904, the projected multi-cylindrical region distance image is approximated to a circle with a specified radius, and the center of the circle is obtained. The circle approximation may be performed using the same calculation as in step 201 described in the second embodiment. The content of the next step D04 is the same as that described in the second prior art. That is, in step D04, a principal axis A05 passing through the center of the circle obtained in step 904 is obtained and set as the position and orientation of the target object A01.
[0037]
As described above, in the fifth embodiment of the present invention, in step 901, a plurality of division distance images having a desired radius of the cylindrical portion A02 are extracted from the division distance image, and those areas are extracted as one cylindrical area distance image. Since it is handled as C02, the amount of data to be processed is increased compared to the conventional technique, and the position and orientation of the target object A01 can be correctly detected.
In the present embodiment, the position and orientation of the target object A01 are detected from the scene including a plurality of objects including cylindrical portions of different sizes shown in FIG. 4 using the scene distance image C01 shown in FIG. However, the present invention is not limited to this, and using the target object A01 shown in FIG. 10 and the scene distance image C01 shown in FIG. 12 as in the first and second embodiments. The present invention can be applied to the detection of the position and orientation of the target object A01 in exactly the same manner, and the same effect can be obtained.
In all the embodiments described above, after step B01 (distance image input), the depth range of the scene distance image C01 may be limited to cut out the processing target. As a result, the amount of data is reduced, the amount of calculation is reduced, the processing speed is increased, and unnecessary data is reduced, so that the target object A01 can be detected more robustly. In addition, after the step B01 (distance image input), pre-processing performed by normal image processing such as hole filling or isolated point removal may be applied to the scene distance image C01. Thereby, noise can be reduced, and the target object A01 can be detected more robustly.
[0038]
【The invention's effect】
  As described above, according to the object detection method of the first aspect of the present invention,SmallAt leastTwoIn order to extract a cylindrical region distance image having a radius of a desired cylindrical portion from the divided distance images, even if there are a plurality of objects including cylindrical portions of different sizes, which cannot be performed by the conventional technique, The position and orientation can be detected.
  Claims2According to the object detection method described above, since a region having a high degree of flatness is deleted from the division distance image, the cylindrical region distance image can be extracted from the division distance image better.1Compared with the described method, the position and orientation of the object can be detected more robustly.
  Claims3According to the described object detection method, a plurality of divided distance images having a desired cylindrical portion radius are extracted from the divided distance image, and these areas are handled as one cylindrical area distance image. As a result, the position and orientation of the object can be detected correctly.
[Brief description of the drawings]
FIG. 1 is a flowchart of an object detection method according to a first embodiment of the present invention.
FIG. 2 is a flowchart of an object detection method according to a second embodiment of the present invention.
FIG. 3 is an illustrative example of radius designation circle approximation according to a second embodiment of the present invention.
FIG. 4 is a conceptual diagram showing an object including a cylindrical portion having a different size and a position / posture.
FIG. 5 is an example of a distance image input with respect to a plurality of target objects.
FIG. 6 is a flowchart of an object detection method according to a third embodiment of the present invention.
FIG. 7 is an illustrative example of extraction of a target cylinder portion according to a third embodiment of the present invention.
FIG. 8 is a flowchart of an object detection method according to a fourth embodiment of the present invention.
FIG. 9 is a flowchart of an object detection method according to a fifth embodiment of the invention.
FIG. 10 is a conceptual diagram showing an object including one cylindrical portion and a position / posture.
FIG. 11 is a flowchart of an object detection method according to a first conventional technique.
FIG. 12 is an example of a distance image input with respect to one target object.
FIG. 13 is a flowchart of an object detection method according to a second conventional technique.
FIG. 14 is an example of circle approximation according to the second prior art.
[Explanation of symbols]
301 Cylindrical surface
302 True cylinder center
303 First projected cylindrical distance image
304 Second projected cylindrical distance image
305 Third projected cylindrical distance image
306 1st auxiliary circle
307 Second auxiliary circle
308 Third auxiliary circle
309 First intersection
310 Second intersection
311 3rd intersection
312 Center of cylinder
401 Other first target object
402 Other first cylindrical portion
403 Other second target object
404 Other second cylindrical portion
501 Target object distance image
502 Other first target object distance images
503 Other first cylindrical region distance image
504 Other second target object distance image
505 Other second cylindrical region distance image
701 Projection division distance image (A)
702 Center of cylinder (A)
703 Projection division distance image (B)
704 Center of cylinder (B)
705 Projection division distance image (C)
706 Cylinder center (C)
A01 Target object
A02 Cylindrical part
A03 rectangular parallelepiped
A04 center
A05 Spindle

Claims

円筒部分と円筒以外の形状の部分からなる物体が少なくとも１つ存在する場合に前記少なくとも１つの物体を側面から撮影することにより得られる距離画像であるシーン距離画像から前記少なくとも１つの物体における前記円筒部分の領域である円筒領域距離画像を抽出し、前記円筒領域距離画像から前記物体の位置と姿勢を検出する物体検出方法において、
（１）前記シーン距離画像から抽出されたエッジを境界として、各領域に前記円筒部分の距離画像または前記円筒以外の形状の部分の距離画像が１つずつ含まれるように、前記シーン距離画像を少なくとも２つの領域に分割し、
（２）分割された前記シーン距離画像である分割距離画像の各領域に対して前記分割距離画像の各点において法線ベクトルを演算し、
（３）前記法線ベクトルから主軸を演算し、前記主軸に垂直な平面に前記分割距離画像を射影し、射影した前記分割距離画像である射影分割距離画像を予め指定された半径の円に近似するとともに前記円の中心を求め、
（４）前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を前記円筒領域距離画像として抽出し、
（５）抽出された前記円筒領域距離画像に関する前記円の中心と前記主軸とから前記物体の位置と姿勢を求めることを特徴とする物体検出方法。Said cylindrical in the said at least one object from the scene range image is a distance image obtained by photographing at least one object from the side when the object consisting of a cylindrical portion and a portion having a shape other than cylindrical is that there is at least one In an object detection method for extracting a cylindrical region distance image that is a partial region and detecting the position and orientation of the object from the cylindrical region distance image,
(1) With the edge extracted from the scene distance image as a boundary, the scene distance image is set so that each region includes a distance image of the cylindrical portion or a distance image of a portion of a shape other than the cylinder. Divided into at least two regions,
(2) calculating a normal vector at each point of the divided distance image for each region of the divided distance image that is the divided scene distance image;
(3) The principal axis is calculated from the normal vector, the division distance image is projected onto a plane perpendicular to the principal axis, and the projected division distance image, which is the projected division distance image, is approximated to a circle of a predetermined radius. And find the center of the circle,
(4) Obtain an average value of the distance between each point of the projected divided distance image and the circle, and extract the divided distance image having a small average value of the distance as the cylindrical region distance image;
(5) A method for detecting an object, comprising: obtaining the position and orientation of the object from the center of the circle and the main axis of the extracted cylindrical area distance image.

前記（１）と（２）の間において、
前記分割距離画像の各領域を平面に近似し、平面の度合いの高い前記分割距離画像の各領域を削除することを特徴とする請求項１記載の物体検出方法。 Between (1) and (2) above,
The division distance each area of the image approximates to a plane, the object detection method according to claim 1, wherein the deleting each region of high degree of plane the division distance images.

前記（４）の代わりに、
前記射影分割距離画像の各点と前記円との距離の平均値を求め、前記距離の平均値の小さい前記分割距離画像を複数抽出して前記円筒領域距離画像とし、
抽出された複数の前記円筒領域距離画像の主軸を演算し、前記主軸に垂直な平面に前記複数の円筒領域距離画像を射影し、射影した前記複数の円筒領域距離画像を予め指定された半径の円に近似するとともに前記円の中心を求めることを特徴とする請求項１または２に記載の物体検出方法。 Instead of (4) above,
Obtain an average value of the distance between each point of the projected division distance image and the circle, extract a plurality of the division distance images having a small average value of the distance to form the cylindrical region distance image,
The plurality of extracted cylindrical area distance images are calculated, the plurality of cylindrical area distance images are projected onto a plane perpendicular to the main axis, and the projected plurality of cylindrical area distance images have a predetermined radius. object detection method according to the center of the circle to claim 1 or 2, wherein the mel determined with approximate a circle.