JP7178802B2

JP7178802B2 - ２次元位置姿勢推定装置及び２次元位置姿勢推定方法

Info

Publication number: JP7178802B2
Application number: JP2018106983A
Authority: JP
Inventors: 將暢山中
Original assignee: Azbil Corp
Current assignee: Azbil Corp
Priority date: 2018-06-04
Filing date: 2018-06-04
Publication date: 2022-11-28
Anticipated expiration: 2038-06-04
Also published as: WO2019235210A1; JP2019211968A

Description

この発明は、画像上での物体の位置姿勢を推定する２次元位置姿勢推定装置及び２次元位置姿勢推定方法に関する。

従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置姿勢を推定する２次元位置姿勢推定装置が知られている（例えば特許文献１参照）。なお、物体の位置姿勢には、物体の位置（ｘ，ｙ）及び姿勢（θ）が含まれる。この従来の２次元位置姿勢推定装置では、物体のモデル（テンプレート）を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置姿勢を推定する。

特開２０１６－２０７１４７号公報

しかしながら、従来の２次元位置姿勢推定装置では、テンプレートマッチングによって物体の位置姿勢を推定するために、物体毎に膨大な数のテンプレートを用意する必要がある。また、従来の２次元位置姿勢推定装置では、総当たりによるマッチングを行うため、演算コスト及び処理時間が増大する。
そこで、類似度の高いテンプレートを階層的にまとめてテンプレートを削減することで、高効率にテンプレートマッチングを行う技術が開示されている。しかしながら、この技術でも、テンプレートを予め用意する必要がある点には変わりがない。すなわち、この技術でも、テンプレートを予め用意するための手間（労力及び時間）が削減されているわけではなく、改善すべき余地がある。

この発明は、上記のような課題を解決するためになされたもので、テンプレートを用いずに、画像上での物体の位置姿勢を検出可能な２次元位置姿勢推定装置を提供することを目的としている。

この発明に係る２次元位置姿勢推定装置は、画像を取得する画像取得部と、画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出することを特徴とする。

この発明によれば、上記のように構成したので、テンプレートを用いずに、画像上での物体の位置姿勢が検出可能となる。

この発明の実施の形態１に係る２次元位置姿勢推定装置を備えたロボットピッキングシステムの構成例を示す図である。この発明の実施の形態１に係る２次元位置姿勢推定装置の構成例を示す図である。この発明の実施の形態１に係る２次元位置姿勢推定装置の動作例を示すフローチャートである。この発明の実施の形態１における画像取得部により取得された画像の一例を示す図である。図５Ａ～図５Ｃは、この発明の実施の形態１における領域抽出部による動作を説明するための図である。図６Ａ、図６Ｂは、この発明の実施の形態１における位置推定部及び姿勢推定部による動作を説明するための図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る２次元位置姿勢推定装置３を備えたロボットピッキングシステムの構成例を示す図である。
２次元位置姿勢推定装置３は、例えば、ＦＡ（ファクトリーオートメーション）等における物体のピッキング動作又はロボットの教示作業等の位置決めガイド等に適用可能である。以下では、一例として、２次元位置姿勢推定装置３をロボットピッキングシステムに適用し、このロボットピッキングシステムが、２次元位置姿勢推定装置３により推定された対象である物体１１の位置姿勢に基づいて、当該物体１１のピッキングを行う場合を示す。

ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、作業面１２上に配置された物体１１のピッキングを行う。なお、作業面１２上に配置される物体１１は１つに限らず複数でもよいが、複数の物体１１が存在する場合には各物体１１は作業面１２上に重ならずに配置されているものとする。このロボットピッキングシステムは、図１に示すように、ロボット１、カメラ（撮像装置）２、２次元位置姿勢推定装置３及びロボットコントローラ４を備えている。

ロボット１は、アームの先端にエンドエフェクタ１０１（図１ではハンド）を有し、このエンドエフェクタ１０１を用いて物体１１のピッキングを行う。

カメラ２は、エンドエフェクタ１０１に取付けられ、撮像領域を撮像して画像を得る。このカメラ２により得られた画像を示すデータ（画像データ）は２次元位置姿勢推定装置３に出力される。
なお、カメラ２により得られる画像は、撮像領域に物体１１が存在する場合に、その物体１１を示す領域（物体領域）とその他の領域（背景領域）とを判別可能な画像であればよく、その形式は問わない。カメラ２は、例えば２次元画像を得てもよい。この２次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な２次元画像を用いてもよい。また、カメラ２は、物体１１にある程度の奥行きがある場合には、距離画像を得てもよい。

２次元位置姿勢推定装置３は、カメラ２により得られた画像に基づいて、当該画像上での物体１１の位置姿勢を推定する。なお、物体１１の位置姿勢とは、物体１１の位置（ｘ，ｙ）及び姿勢（θ）を意味する。この２次元位置姿勢推定装置３による推定結果を示すデータ（推定結果データ）はロボットコントローラ４に出力される。なお、２次元位置姿勢推定装置３の構成例は後述する。

ロボットコントローラ４は、２次元位置姿勢推定装置３による推定結果に基づいて、ロボット１が有するアームの動作量を算出し、物体１１のピッキングを行うようにロボット１の動作を制御する。

次に、２次元位置姿勢推定装置３の構成例について、図２を参照しながら説明する。
２次元位置姿勢推定装置３は、図２に示すように、画像取得部３０１、領域抽出部３０２、位置推定部３０３、姿勢推定部３０４及び出力部３０５を備えている。なお、２次元位置姿勢推定装置３は、システムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等により実現される。

画像取得部３０１は、カメラ２により得られた画像を取得する。

領域抽出部３０２は、画像取得部３０１により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部３０２は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部３０２による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。

位置推定部３０３は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する。なお、領域抽出部３０２により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。また、再現性のある一意の点とは、物体１１の姿勢に依存せずに一意に定まる点である。
位置推定部３０３は、例えば、再現性のある一意の点として領域抽出部３０２により抽出された物体領域に基づく領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。画像上の基準点としては、例えば画像の中心点が挙げられる。

姿勢推定部３０４は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する。
姿勢推定部３０４は、例えば、再現性のある一意の方向として領域抽出部３０２により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて、物体１１の姿勢を推定する。基準方向としては、例えば画像の水平方向が挙げられる。

出力部３０５は、位置推定部３０３による推定結果及び姿勢推定部３０４による推定結果を示すデータをロボットコントローラ４に出力する。

なお、位置推定部３０３及び姿勢推定部３０４は、「領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく当該物体１１の姿勢を推定する位置姿勢推定部」を構成する。

次に、図２に示す２次元位置姿勢推定装置３の動作例について、図３を参照しながら説明する。
一般的に、物体１１の姿勢を表現する場合、オイラー角（α，β，γ）及び四元数（ｗ，ｘ，ｙ，ｚ）に代表されるように、ある基準からの回転量（角度）で表現する場合が多い。この場合、物体１１自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、姿勢推定部３０４は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体１１の姿勢が表現可能である。
また、画像上で物体１１の姿勢を表現する場合、主にＺ軸（カメラ２の光軸方向）周りの回転量で表現する場合が多い。よって、Ｚ軸周りに回転対称な形状を有する物体１１に対しては、姿勢の表現が不可能（不必要）である。このことから、画像上での姿勢推定が必要な物体１１は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体１１として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。よって、以下では、姿勢推定部３０４は長軸方向を用いることで物体１１の姿勢を表現する。
また、物体１１の位置に関しても同様であり、位置推定部３０３は、物体領域に基づく領域から再現性のある一意の点を導出することで、基準となるテンプレートを用いずに物体１１の位置を表現可能となる。また、物体領域に基づく領域の図心は一意に定まる特徴点であるため、以下では、位置推定部３０３は図心を用いることで物体１１の位置を表現する。

この実施の形態１に係る２次元位置姿勢推定装置３の動作例では、図３に示すように、まず、画像取得部３０１は、カメラ２により得られた画像を取得する（ステップＳＴ１）。

次いで、領域抽出部３０２は、画像取得部３０１により取得された画像から、画像処理によって物体領域を抽出する（ステップＳＴ２）。ここでは、領域抽出部３０２は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部３０１により例えば図４に示すような画像が取得されたとする。この画像には、物体１１、作業面１２及びその他の背景が含まれている。実施の形態１に係る２次元位置姿勢推定装置３では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、実施の形態１に係る２次元位置姿勢推定装置３では、まず、例えば図５Ａに示すように、閾値処理によって画像から作業面１２を示す領域（図５Ａに示すグレーの領域）５０１を抽出することが望ましい。一般的に、生産ラインでは、物体１１は作業面１２上に配置されている場合がほとんどである。そのため、実施の形態１における領域抽出部３０２では、作業面１２を示す領域５０１と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域（図５Ｂに示すグレーの領域）５０２との差分をとることで、物体領域（図５Ｃに示すグレーの領域）５０３が抽出可能である。

次いで、位置推定部３０３は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置を推定する（ステップＳＴ３）。ここでは、位置推定部３０３は、再現性のある一意の点として上記領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体１１の位置を推定する。

具体的には、位置推定部３０３は、まず、再現性のある一意の点として領域抽出部３０２により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が（ｕ_ｉ，ｖ_ｉ）（ｉ，ｊ＝１，・・・，Ｎ）で表される場合、位置推定部３０３は、当該領域の０次モーメント及び１次モーメントを用いて、下式（１）～（４）から、当該領域の図心を導出する。なお、Ｎは上記領域を構成する点の個数である。また、式（１）～（４）において、ｍ_００は上記領域の０次モーメントを表し、（ｍ_１０，ｍ_０１）は当該領域の１次モーメントを表し、（ｕ（バー），ｖ（バー））は当該領域の図心を表す。

そして、位置推定部３０３は、導出した領域の図心及び基準点に基づいて、下式（５）から物体１１の位置を推定する。なお、式（５）において、（ｕ_０，ｖ_０）は基準点を表し、（ｘ，ｙ）は物体１１の位置を表す。

また、姿勢推定部３０４は、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体１１の姿勢を推定する（ステップＳＴ４）。ここでは、姿勢推定部３０４は、再現性のある一意の方向として上記領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて物体１１の姿勢を推定する。

具体的には、基準方向が画像上の水平方向である場合、姿勢推定部３０４は、上記領域の２次モーメント及び当該領域の図心に基づいて、下式（６）～（９）から、長軸方向の水平方向からの回転角度を導出することで物体１１の姿勢を推定する。式（６）～（９）において、（ｍ_２０，ｍ_０２，ｍ_１１）は上記領域の２次モーメントを表し、θは回転角度を表す。

例えば、領域抽出部３０２が図５Ｃに示すような物体領域５０３を抽出したとする。また、位置推定部３０３及び姿勢推定部３０４が用いる領域が、図６Ａに示すように物体領域５０３を包含する最小の矩形領域６０１であるとする。この場合、位置推定部３０３により導出される図心６０２及び姿勢推定部３０４により導出される長軸方向６０３は図６Ｂに示すようになる。

また、位置推定部３０３は、例えば図５Ｃに示す物体領域５０３及び図６Ａに示す矩形領域６０１等のように複数の領域を用いてそれぞれに対して物体１１の位置の推定を行い、それらの推定結果に基づいて物体１１の位置を推定してもよい。これにより、位置推定部３０３は、位置推定の精度の向上を図ることができる。姿勢推定部３０４についても同様である。

また上記では、位置推定部３０３が、上記領域の図心を導出する場合を示した。しかしながら、これに限らず、位置推定部３０３は、例えば上記領域の外郭の特徴点（例えば図５Ｃに示す物体領域の直角部分５０４）を用いて、物体１１の位置を推定してもよい。
また上記では、姿勢推定部３０４が、上記領域の長軸方向を導出する場合を示した。しかしながら、これに限らず、姿勢推定部３０４は、例えば、上記領域の図心と当該領域の外郭の特徴点とを結ぶ線分を用いて、物体１１の姿勢を推定してもよい。

次いで、出力部３０５は、位置推定部３０３による推定結果及び姿勢推定部３０４による推定結果を示すデータをロボットコントローラ４に出力する（ステップＳＴ５）。その後、ロボットコントローラ４は、２次元位置姿勢推定装置３による推定結果に基づいて、物体１１のピッキングを行うようにロボット１の動作を制御する。これにより、ロボットピッキングシステムは、物体１１の位置姿勢が不定の場合であっても当該物体１１をピッキング可能となる。

以上のように、この実施の形態１によれば、２次元位置姿勢推定装置３は、画像を取得する画像取得部３０１と、画像取得部３０１により取得された画像から、対象である物体１１を示す領域である物体領域を抽出する領域抽出部３０２と、領域抽出部３０２により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体１１の位置及び再現性のある一意の方向に基づく当該物体１１の姿勢を推定する位置姿勢推定部とを備えた。これにより、実施の形態１に係る２次元位置姿勢推定装置３は、テンプレートを用いずに、多様な物体１１に対して画像上での位置姿勢が検出可能となる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ロボット
２カメラ（撮像装置）
３２次元位置姿勢推定装置
４ロボットコントローラ
１１物体
１２作業面
１０１エンドエフェクタ
３０１画像取得部
３０２領域抽出部
３０３位置推定部
３０４姿勢推定部
３０５出力部

Claims

画像を取得する画像取得部と、
前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく前記物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする２次元位置姿勢推定装置。
前記画像取得部により取得される画像は２次元画像又は距離画像である
ことを特徴とする請求項１記載の２次元位置姿勢推定装置。
前記領域抽出部は、前記画像取得部により取得された画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する
ことを特徴とする請求項１又は請求項２記載の２次元位置姿勢推定装置。
前記位置姿勢推定部は、前記領域抽出部により抽出された物体領域に基づく領域として、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの１つ以上の領域を用いる
ことを特徴とする請求項１から請求項３のうちの何れか１項記載の２次元位置姿勢推定装置。
前記位置姿勢推定部は、再現性のある一意の点として前記領域抽出部により抽出された物体領域に基づく領域の図心を用い、当該図心と基準点との相対関係に基づいて前記物体の位置を推定する
ことを特徴とする請求項１から請求項４のうちの何れか１項記載の２次元位置姿勢推定装置。
前記位置姿勢推定部は、再現性のある一意の方向として前記領域抽出部により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と基準方向との相対関係に基づいて前記物体の姿勢を推定する
ことを特徴とする請求項１から請求項４のうちの何れか１項記載の２次元位置姿勢推定装置。
画像取得部が、画像を取得するステップと、
領域抽出部が、前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出するステップと、
位置姿勢推定部が、前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点を用いた前記物体の位置及び再現性のある一意の方向を用いて当該物体の姿勢を推定するステップとを有し、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする２次元位置姿勢推定方法。