JP2021073099A - 制御システム及び制御システムにおける方法 - Google Patents

Abstract

【課題】対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにする。【解決手段】本開示に係る制御システムは、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、を備える。この構成により、対象物を把持するなど対象物に作用する際に、対象物を確実に認識して所望の制御を行うことが可能となる。【選択図】図１

Description

本開示は、制御システム及び制御システムにおける方法に関する。

従来、下記の特許文献１には、複数の指駆動手段と、指駆動手段間をそれぞれ連結するリンクから成る指部を備えたロボットハンドにおいて、指部の最先端のリンクの先端の作業対象物との接触点近傍に、作業対象物を非接触で認識可能なセンサを設けることが記載されている。また、下記の特許文献２には、ロボットアームのアーム先端部に設けられたハンド支持部に電子カメラを設けることが記載されている。

特開２００９−０６６６７８号公報 特開２００５−２０５５１９号公報

しかしながら、上記特許文献に記載された技術では、把持部（指部またはハンド部）で把持対象物を把持すると、センサで作業対象物を認識できなくなる問題がある。このため、把持部で把持対象物を把持するまでの間は、センサの情報を利用することができるが、把持部で把持対象物を把持した後は、センサの情報を利用することができない。従って、把持部で把持対象物を把持した状態で、把持対象物を搬送したり、他の場所に載置等する際に、センサの情報を利用して最適な制御を行うことは困難である。したがって、運搬時や把持物の配置時に、環境に衝突する可能性がある。また、把持対象物の配置位置の計測をセンサで行うことは困難である。

また、上記特許文献に記載された技術では、把持対象物へ把持部をアプローチさせる際に、センサの計測範囲が把持部の移動方向に依存してしまうため、センサの計測方向以外の方向から把持対象物を掴もうとする際には、把持対象物の検出ができない問題がある。また、物体の裏に把持対象物があるケースや棚の上に把持対象物があるケースなど、物体が遮蔽されている環境においては、把持対象物を探索するためにセンサが設けられた把持部の位置・姿勢を制御する必要があり、計算時間が増加する問題がある。

更に、上記特許文献に記載された技術では、把持対象物を指部で把持した状態で操り動作をすることを想定した場合に、センサの観測範囲外で操作すると、誤った位置に把持部が接触してしまい、把持対象物を落としてしまう可能性がある。また、把持対象物を、別の物体や環境に接触させて使用する際に、センサの計測範囲が限られるため、把持対象物の接触面と環境の被接触面の計測ができず、接触を行うことができない可能性がある。

そこで、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが求められていた。

本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、を備える、制御システムが提供される。

また、本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を制御するアクチュエータと、を備える、制御システムにおける方法であって、前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、前記対象物情報に基づいて前記アクチュエータを制御することと、を備える、方法が提供される。

以上説明したように本開示によれば、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係るエンドエフェクタの構成を示す模式図である。 エンドエフェクタを把持対象物に接近させる動作例を示す模式図である。 エンドエフェクタを把持対象物に接近させる制御の処理手順を示すフローチャートである。 視覚センサによる撮像画像に対してエッジ画像を抽出する様子を示す模式図である。 ２つの把持部を備える場合に、２つの把持部で把持対象物を掴む例を示す模式図である。 エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。 エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。 把持対象物を把持する際の処理の流れを示すフローチャートである。 図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。 把持対象物を把持部が把持した状態でエンドエフェクタが矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。 エンドエフェクタが把持対象物を運搬して、所望の位置に配置する際の動作を示す模式図である。 把持対象物を配置する際の処理の流れを示すフローチャートである。 配置目標位置を計算する方法を説明するための模式図である。 視覚センサによる撮像画像に基づいて、把持対象物の底面と配置面が接触したかどうかを計算する様子を示す模式図である。 把持対象物を、別の物体に作用させる道具とした例を示す模式図である。 図１３に示す例において、視覚センサで包丁と果物を撮像して得られる画像を示す模式図である。 他のセンサから把持対象物が遮蔽されている環境を示す模式図である。 本実施形態に係るエンドエフェクタと、エンドエフェクタを制御する制御装置とからなるシステムの構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．エンドエフェクタの構成例
２．エンドエフェクタの動作の例
２．１．エンドエフェクタを把持対象物に接近させる動作
２．２．把持対象物を把持する動作
２．３．把持対象物を運搬する動作
２．４．把持対象物を配置する動作
２．５．その他の動作の例
３．エンドエフェクタを含むシステムの構成例

１．エンドエフェクタの構成例
本開示は、作業対象としている物体や環境までの距離・姿勢を計測する視覚センサと、視覚センサの位置や向きを変えられる機構を有するエンドエフェクタに関する。物体の把持、運搬、配置といった作業内容に応じて視覚センサの計測方向を変えることで、作業の失敗を防止し、高精度な作業を実現する。

図１は、本開示に係るエンドエフェクタ１００の構成を示す模式図である。図１に示すように、エンドエフェクタ１００は、３つの把持部１０２、視覚センサ１０４、視覚センサ１０４の姿勢を変えるアクチュエータ１０６、本体１０８を有して構成されている。

エンドエフェクタ１００は、６自由度を有する、複数の関節と複数のリンクを備える一般的な可動アームの先端に装着されている。エンドエフェクタ１００の動きは、例えば、アームの根元（ベース）を基準とするベース座標系で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸の方向の並進と、Ｘ軸、Ｙ軸、Ｚ軸を回転軸とする回転で表すことができる。このアームの関節に設けられたアクチュエータの制御によって、エンドエフェクタ１００の６自由度の動きが実現される。

３つの把持部１０２のそれぞれは、その一端が本体１０８に装着されている。３つの把持部１０２のそれぞれは、複数の関節部を備え、各関節部には把持部１０２を駆動するアクチュエータが内蔵されている。各把持部１０２は、関節部に設けられたアクチュエータの駆動により、本体１０８に向けて折れ曲がることで、物体を把持することができる。

視覚センサ１０４は、視覚的にエンドエフェクタ１００の周辺の環境を認識するセンサである。視覚センサ１０４は、例えばステレオカメラなどのカメラから構成され、エンドエフェクタ１００の周囲の物体、環境を撮像する。視覚センサ１０４をステレオカメラから構成することにより、左右の撮像画像の視差から距離情報を得ることができる。これにより、エンドエフェクタ１００は、撮像画像から周囲の物体、環境を認識することができる。また、視覚センサ１０４は、例えばＴＯＦセンサ、またはＴＯＦセンサを搭載した測距装置により構成され、エンドエフェクタ１００の周囲の物体、環境を認識するものであっても良い。

図１では、エンドエフェクタ１００に１つの視覚センサ１０４を搭載した例を示しているが、視覚センサ１０４の搭載個数は特に限定されるものではない。また、視覚センサ１０４の搭載位置は、エンドエフェクタ１００上であれば特に限定されるものではない。例えば、把持部１０２の先端に視覚センサ１０４を搭載することで、把持対象物２００の側面を計測することも可能になる。

アクチュエータ１０６は、本体１０８に装着されている。アクチュエータ１０６は、その駆動により、視覚センサ１０４のパン・チルトの方向を可変することができる。アクチュエータ１０６は、複数のモータ、リニアアクチュエータ等から構成される。アクチュエータ１０６がリニアアクチュエータから構成される場合、アクチュエータ１０６の駆動により視覚センサ１０４が並進移動する。このように、アクチュエータ１０６の駆動により、把持部１０２（または本体１０８）に対する視覚センサ１０４の姿勢が相対的に変化する。そして、視覚センサ１０４の把持部１０２に対する相対的な「姿勢」とは、視覚センサ１０４の把持部１０２に対する方向または位置を含むものである。図１に示す領域Ａ１は、視覚センサ１０４が所定の方向を向いた場合に、周辺の環境を認識可能な領域を示している。アクチュエータ１０６の駆動により、領域Ａ１の方向を制御することが可能である。

なお、図１では、３つの把持部１０２による３指ハンドのエンドエフェクタ１００を示しているが、これに限定されるものではない。また、アクチュエータ１０６は、２自由度のものに限定されるものではない。また、図１では、把持部１０２が把持対象物２００を把持するものとしたが、把持部１０２の代わりに、対象物に接触する、対象物を押す、対象物を吸引する、非接触の状態で対象物に作用する（対象物を計測したり対象物から所定の情報を取得する）など、対象物に何らかの作用を及ぼす作用部が設けられていても良い。

２．エンドエフェクタの動作の例
次に、エンドエフェクタ１００の動作の例について説明する。ここでは、把持対象物（物体）２００に対してエンドエフェクタ１００を接近させ、把持部１０２を把持対象物２００に接触させて把持対象物２００を掴み、把持した把持対象物２００を目的地へ運び、把持対象物２００を目的地に置く、という一連の流れを例に挙げて説明する。

２．１．エンドエフェクタを把持対象物に接近させる動作
図２は、エンドエフェクタ１００を把持対象物２００に接近させる動作例を示す模式図である。なお、把持対象物２００としては、コップを例示する。視覚センサ１０４の方向を接近方向に合わせることで、図２中に矢印Ａ２で示すような接近方向であっても、物体を観測できる。このように、視覚センサ１０４による計測方向を制御することで、把持対象物２００の近くで距離情報を含む高解像度の撮像画像を得ることができ、目標把持位置を高精度に計算することが可能となる。

図３は、エンドエフェクタ１００を把持対象物２００に接近させる制御の処理手順を示すフローチャートである。なお、図３の処理のうち既存の処理については、前述した特許文献２に記載されているような、一般的な把持の動作フローを用いることができる。図７、図１１においても同様である。また、視覚センサ１０４による周辺環境の認識は常に行っていて良い。先ず、ステップＳ１０では、事前に把持対象物２００の位置を取得し、これに基づいてエンドエフェクタ１００の目標位置、目標姿勢を取得し、エンドエフェクタ１００の移動経路を計算する。把持対象物２００の位置を取得する方法として、別センサによる物***置計測による方法、ユーザが与える方法、エンドエフェクタ１００上の視覚センサ１０４の計測方向を制御(走査)して把持対象物２００を探索する方法などを用いることができる。

次に、ステップＳ１２では、把持対象物２００の方向、すなわちエンドエフェクタ１００の進行方向へ視覚センサ１０４による計測方向（図１中に示す領域Ａ１の方向）を制御する。次のステップＳ１４では、視覚センサ１０４による周囲の物体、環境の計測を行う。

次のステップＳ１６では、視覚センサ１０４により把持対象物２００を計測したか否かを判定し、把持対象物２００を計測した場合は、ステップＳ１８へ進む。ステップＳ１６において、把持対象物２００を計測したか否かは、例えば、予めエンドエフェクタ１００側で保持している把持対象物２００の画像と、視覚センサ１０４により得られる把持対象物２００の画像とが一致するか否かによって判定できる。

ステップＳ１８では、視覚センサ１０４により計測した把持対象物２００の情報に基づいて、エンドエフェクタ１００の目標位置、目標姿勢、経路を計算する。また、ステップＳ１８では、把持部１０２の目標座標を計算する。具体的には、図４に示すように、視覚センサ１０４による撮像画像に対してエッジ画像２１０を抽出する。そして、このエッジ画像の情報に基づいて、エンドエフェクタ１００の目標座標^ＨＰ_ｇと把持部１０２の目標座標を決定する。把持部１０２の目標座標は、エンドエフェクタ１００の目標座標Ｐｇ^Ｎから算出できる。エッジの抽出の際には、例えばＳｏｂｅｌフィルタを用いるなど、様々な手法を用いることができる。

例えば、エンドエフェクタ１００の目標座標^ＨＰ_ｇは、抽出したエッジ画像２１０の分布の重心位置から求めることができる。エッジ画像２１０は、把持対象物２００の輪郭を表していると推定できるため、エッジ画像２１０の分布の重心位置を把持対象物２００の中心として、エンドエフェクタ１００の移動の目標座標とする。

また、把持部１０２の目標座標（把持位置候補２２０（把持部の接触目標位置））は、図４に示すように、エッジ画像２１０の閉曲線の重心を中心として、周方向に１２０°ずつ３等分して決定する。図１に示すように、本体１０８に対して３つの把持部１０２が円周方向に３等分した角度毎に設けられている場合、エッジ画像２１０の閉曲線の重心を中心とする円を設定し、中心から円周方向に３等分した方向に伸びる直線を設定することで、エッジ画像２１０の閉曲線と直線との交点を把持部１０２の目標座標とする。

また、図５は、２つの把持部１０２を備える場合に、２つの把持部１０２で把持対象物２００を掴む例を示している。この例では、視覚センサ１０４により得られた撮像画像に基づいて、勾配画像を計算し、ｄｚ／ｄｘ（画像のＸ軸方向の微分値）が閾値δより大きい座標ｐを抽出し、図５の右図に示す座標群ｐの密度が高い領域を把持部１０２の目標座標^ＨＰ_ｇとして算出する。

以上のようにして得られた目標座標^ＨＰ_ｇは、視覚センサ１０４を基準とした座標系Σ_Ｈであるため、エンドエフェクタ１００を目標座標に制御するためには、ベース座標系Σ_Ｂに変換する必要がある。現在のアームの関節角度θ_１〜θｎと関節間のリンク長Ｌ_１〜Ｌ_ｎを用いて、Σ_ＢからΣ_Ｈへの同次変換行列^ＢＴ_Ｈを計算し、目標座標^ＨＰ_ｇに乗算することでベース座標系における目標座標^ＢＰ_ｇを求める。そして、^ＢＰ_ｇに対して逆運動学を解くことで、エンドエフェクタ１００を目標座標^ＢＰ_ｇに移動するための各関節の目標角度ｑ_１〜ｑ_ｎを得る。

ステップＳ１８の後はステップＳ２０へ進む。また、ステップＳ１６で把持対象物２００を計測していない場合もステップＳ２０へ進む。ステップＳ２０では、視覚センサ１０４の計測に基づき、エンドエフェクタ１００の進行方向に障害物を検出したか否かを判定し、進行方向に障害物を検出した場合は、ステップＳ２２へ進む。ステップＳ２２では、障害物を回避するようにエンドエフェクタ１００の経路を修正する。

ステップＳ２０の処理では、エンドエフェクタ１００の経路はステップＳ１８で事前に計算済であるため、視覚センサ１０４で取得した画像上において、エンドエフェクタ１００の進行方向に、エンドエフェクタ１００が衝突し得る大きさの物体があるか否かによって、障害物の有無を判定する。

ステップＳ２２の後はステップＳ２４へ進む。また、ステップＳ２０で進行方向に障害物を検出していない場合もステップＳ２４へ進む。ステップＳ２４では、計算した経路に沿ってエンドエフェクタ１００を移動する。この際、ステップＳ２０で進行方向に障害物を検出した場合は、ステップＳ２２で修正した経路に沿ってエンドエフェクタ１００を移動する。また、ステップＳ２０で進行方向に障害物を検出していない場合は、ステップＳ１８で計算した経路に沿ってエンドエフェクタ１００を移動する。

ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、エンドエフェクタ１００が目標位置（目標座標^ＢＰ_ｇ）に到達したか否かを判定し、エンドエフェクタ１００が目標位置に到達した場合は処理を終了する（ＥＮＤ）。一方、ステップＳ２６でエンドエフェクタ１００が目標位置に到達していない場合は、ステップＳ１２へ戻り、以降の処理を再度行う。

図３の処理によれば、把持対象物２００の位置が判明すると、その方向へ視覚センサ１０４の姿勢を制御し、エンドエフェクタ１００の目標位置を計算してエンドエフェクタ１００を目標把持部２００に接近させる。接近中においても、視覚センサ１０４による計測と目標位置の計算を繰り返すことで、把持対象物２００に近づくにつれて、撮像画像中で把持対象物２００が占める割合が増えるため、把持対象物２００の位置、姿勢の計測精度が向上していく。また、接近中に障害物がある場合は、障害物を回避するようにエンドエフェクタ１００を動かすことも可能である。

２．２．把持対象物を把持する動作
図６Ａ及び図６Ｂは、エンドエフェクタ１００の把持部１０２が把持対象物２００を把持する様子を示す模式図である。図６Ａは、エンドエフェクタ１００が把持対象物２００に接近する方向に対して直交する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。また、図６Ｂは、エンドエフェクタ１００が把持対象物２００に接近する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図であって、図６Ａ中の矢印Ａ２方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。

図６Ａ及び図６Ｂに示すように、エンドエフェクタ１００が把持対象物２００を把持する際には、視覚センサ１０４の方向が把持対象物２００を向くようにアクチュエータ１０６が制御される。これにより、エンドエフェクタ１００に対する把持対象物２００の位置が正確に取得される。また、把持部１０２と把持対象物２００との接触を精度良く判定することができる。

図７は、把持対象物２００を把持する際の処理の流れを示すフローチャートである。先ず、ステップＳ３０では、把持部１０２の目標座標を取得する。なお、把持部１０２の目標座標としては、上述した手法により既に計算されている値を使用する。次のステップＳ３２では、把持部１０２の目標座標に向けて視覚センサ１０４の計測方向を制御する。次のステップＳ３４では、視覚センサ１０４による計測を行う。

次のステップＳ３６では、視覚センサ１０４による計測に基づいて、把持部１０２の目標座標、姿勢を再計算する。次のステップＳ３８では、目標座標へ把持部１０２を移動する。次のステップＳ４０では、把持部１０２が把持目標物２００に接触したか否かを判定し、把持部１０２が把持対象物２００に接触した場合はステップＳ４２へ進み、把持部１０２で把持対象物２００を把持した状態で把持対象物２００を持ち上げる。一方、ステップＳ４０で把持部１０２が把持対象物２００を接触していない場合はステップＳ３２へ戻り、以降の処理を再度行う。

以上のように、把持部１０２が図３のフローに従って目標位置に到達した時点で、把持部１０２の把持対象物２００に対する接触面と、把持対象物２００の被接触面を観測できるように、視覚センサ１０４の姿勢を制御する。これにより、把持部１０４の接触位置の計測精度が向上し、更に把持部１０４が把持対象物２００に接触したか否かの検出も精度良く行うことが可能となる。

なお、把持対象物２００を把持した後に、エンドエフェクタ１００内で把持対象物２００を持ち直す「操り操作」をする際も、図７と同様のフローで行うことができる。視覚センサ１０４の計測方向を把持部１０４の目標座標へ制御することで、把持対象物２００の掴み損ねや接触位置の誤差が低減し、操り操作の成功確率が向上する。

図８は、図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。図８では、視覚センサ１０４が撮像した画像を示しており、把持対象物２００を上から把持する場合を示している。図７のステップＳ４０では、視覚センサ１０４が撮像した画像中の把持部１０２の三次元位置が把持対象物２００のエッジの座標と一致するか否かに応じて、把持部１０２が把持対象物２００と接触したか否かを判定する。操り操作時に把持部１０２を別の位置へ接触させる際も同様である。なお、接触検出は、例えば把持部１０４の先端に接触力センサを設けるなどして、他のセンサを用いて行ってもよい。

２．３．把持対象物を運搬する動作
図９は、把持対象物２００を把持部１０２が把持した状態でエンドエフェクタ１００が矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。図９に示すように、把持対象物２００を運搬している際には、視覚センサ１０４がエンドエフェクタ１００の移動方向（矢印Ａ３方向）に向けられる。これにより、エンドエフェクタ１００による把持対象物２００の運搬中に、エンドエフェクタ２００の移動経路の環境を確実に認識することができ、移動経路に障害物が存在する場合は、障害物を確実に検出することが可能である。

図９に示すように、把持対象物２００を把持した後においても、視覚センサ１０４の計測方向を制御することで、周辺環境を計測することができ、周辺環境中に存在する障害物との衝突を回避することが可能である。把持対象物２００を運搬する処理は、例えばエンドエフェクタ１００の目標座標を所望の目標位置に設定することで、図３と同様に行うことができる。

２．４．把持対象物を配置する動作
図１０は、エンドエフェクタ１００が把持対象物２００を運搬して、所望の位置に配置する際の動作を示す模式図である。図１０に示すように、把持対象物２００を所望の位置に配置する際に、把持対象物２００を把持した状態で、視覚センサ１０４が配置場所の周辺の状況、環境を計測する。視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持した状態で配置目標位置を探索できる。これにより、最適な場所に把持対象物２００を置くことが可能である。

図１１は、把持対象物２００を配置する際の処理の流れを示すフローチャートである。先ず、ステップＳ５０では、把持対象物２００を配置する際の目標地点である配置目標面の位置を取得する。次のステップＳ５２では、視覚センサ１０４による計測の方向が配置目標面に向かうようにアクチュエータ１０６を制御する。

次のステップＳ５４では、視覚センサ１０４から得られる画像情報に基づいて、エンドエフェクタ１００の目標位置、姿勢を計算する。次のステップＳ５６では、ステップＳ５４で計算した目標位置、姿勢となるようにエンドエフェクタ１００を移動する。

次のステップＳ５８では、把持対象物２００と目標配置面とが接触したか否かを判定し、把持対象物２００と目標配置面とが接触したことが判定された場合は、ステップＳ６０へ進む。ステップＳ６０では、把持部１０２を把持対象物２００から離し、把持対象物２００の把持を解除する。ステップＳ６０の後は処理を終了する（ＥＮＤ）。

一方、ステップＳ５２で把持対象物２００と目標配置面とが接触していないことが判定された場合は、ステップＳ５２へ戻り、以降の処理を再度行う。

以上のように、把持対象物２００を所望の位置に配置する際には、把持対象物２０を把持する場合と同様な方法で、事前に配置する目標位置を取得する。そして、目標位置に向けて視覚センサ１０４の計測方向を制御することで、把持対象物２００を配置するための目標位置・姿勢の計算に、視覚センサ１０４の撮像画像を利用することができる。

図１２は、配置目標位置を計算する方法を説明するための模式図である。図１２に示すように、視覚センサ１０４が撮像した画像中で、平面であり且つ把持対象物２００と把持部１０２を共に配置可能な広さの領域２５０が配置可能位置の候補となる。視覚センサ１０４で撮像した画像の距離情報から、平面の領域を認識できる。また、平面の検出は様々な画像処理ライブラリで用意されている公知の手法を利用できる。把持対象物２００の大きさは、把持する際の把持対象物２００の輪郭の大きさで推定できる。この条件を満たす領域の内、現在位置から最短経路となるエリアを図１２に示す配置可能領域２６０とする。配置可能領域は、ステップＳ５０の配置目標面に対応する。

また、図１３に示すように、視覚センサ１０４による撮像画像に基づいて、把持対象物２００の底面と配置面２０４が接触したかどうかを計算することで、配置の成功判定も可能になる。把持対象物２００の底面２０２と配置面２０４との接触は、図１３に示す通り、把持対象物２００の底面２０２のエッジが配置面２０４と接触したか否かにより判定することができる。

２．５．その他の動作の例
図１４は、把持対象物２００を、別の物体に作用させる道具（作用具）とした例を示す模式図である。図１４に示す例では、把持対象物２００をコップの代わりに包丁３００とした例を示している。図１４に示す例では、エンドエフェクタ１００で包丁３００を把持し、エンドエフェクタ１００が包丁３００を下（矢印Ａ４方向）に移動して果物３１０を切る様子を示している。このように、エンドエフェクタ１００で把持した道具（包丁３００）を、別の物体（果物３１０）や環境に接触させて使用する場合も、上述した手法と同様に道具の接触面と対象物体の被接触面を視覚センサ１０４で計測することで、接触位置、姿勢の誤差を低減できる。

図１５は、図１３に示す例において、視覚センサ１０４で包丁３００と果物３１０を撮像して得られる画像を示す模式図である。図１５において、包丁３００と果物３１０が接触するエッジ３０２の位置は、ユーザが撮像画像に基づいて指定するなどして既知であるものとする。エッジ３０２の位置が既知であれば、エッジ３０２の目標座標を求めることができ、図８と同様に、包丁３００の接触位置（エッジ３０２）の距離分布（三次元位置の分布）と、被接触物体である果物３１０の距離分布から、包丁３００と果物３０２が接触したか否かを判定することができる。なお、エッジ３０２の位置は、包丁３００の形状、寸法と、把持部１０２が包丁３００を掴む位置とから予め求めることができる。

図１６は、エンドエフェクタ１００の周囲に設けられる他のセンサから把持対象物２００が遮蔽されている環境を示す模式図である。図１６に示す例では、棚３２０の上に把持対象物２００が置かれている。このような場合、他のセンサでは把持対象物２００を認識することはできないが、視覚センサ１０４により把持対象物２００を認識できる。このため、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向を制御させることで、エンドエフェクタの移動とは独立して遮蔽環境を探索することができる。

３．エンドエフェクタを含むシステムの構成例
図１７は、本実施形態に係るエンドエフェクタ１００と、エンドエフェクタ１００を制御する制御装置４００とからなるシステム１０００の構成を示すブロック図である。図１７に示すように、エンドエフェクタ１００は、視覚センサ１０４、アクチュエータ１０６、把持部１０２を有して構成される。

また、制御装置４００は、視覚センサ１０４が検出した把持対象物２００の位置を含む情報を取得する対象物情報取得部４０５と、エンドエフェクタ１００の目標位置、把持部１０２の目標位置、エンドエフェクタ１００の移動経路を計算する計算部４１０と、計算部４１０の計算結果に基づいてアクチュエータ１０６を制御するアクチュエータ制御部４２０と、計算部４１０の計算結果に基づいてエンドエフェクタ１００の動きを制御するエンドエフェクタ制御部４３０、把持対象物２００と把持部１０２との接触、または把持対象物２００と配置面２０４との接触を判定する接触判定部４４０と、を有して構成されている。

計算部４１０は、上述した手法により、エンドエフェクタ１００の目標座標、把持部１０２の目標座標を計算する。また、計算部４１０は、視覚センサ１０４を基準とした把持対象物２００の目標座標をベース座標系に行列変換して、ベース座標系による把持対象物２００の目標座標を計算する。

アクチュエータ制御部４２０は、計算部４１０の計算結果に基づいて、視覚センサ１０４の方向が把持対象物２００も目標座標に向くようにアクチュエータ１０６を制御する。エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、把持部１０２の先端が目標座標と一致するように把持部１０２の関節のアクチュエータを制御する。また、エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、エンドエフェクタ１００の位置が目標座標と一致するようにエンドエフェクタ１００を支持するアームを制御する。

また、接触判定部４４０は、上述した手法により、視覚センサ１０４により認識した把持部１０２の三次元位置が把持対象物２００のエッジの三次元位置と一致するか否かに応じて、把持部１０２と把持対象物２００との接触を判定する。また、接触判定部４４０は、把持対象物２００の底面２０２のエッジの三次元位置が配置面２４０のエッジの三次元位置と接触したか否かにより、把持対象物２００と配置面２０４との接触を判定する。

以上説明したように本実施形態によれば、把持対象物２００にエンドエフェクタ１００を接近させる際(物体を把持する、物体を押す、など)に、視覚センサ１０４の計測範囲を制御することで、様々な接近方向に対して視覚センサ１０４による計測が可能になり、視覚センサ１０４から得られる情報からエンドエフェクタ１００の目標位置・姿勢を計算することが可能となる。

また、棚の上に把持対象物がある場合など、他のセンサから把持対象物２００が遮蔽されている環境において、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向のみを変化させることで、エンドエフェクタ１００の移動とは独立して遮蔽された領域を探索することができる。

また、把持対象物２００にエンドエフェクタ１００を接触させる際(物体を把持する、物体を押す、把持物の持ち直しなどの操り操作、など)に、視覚センサ１０４の計測範囲を制御することで、エンドエフェクタの接触位置の計測範囲が拡大し、エンドエフェクタの接触面と物体の被接触面を計測することで、接触検出が可能になる。

また、把持対象物２００を運搬する際に、把持対象物２００を把持したままエンドエフェクタ１００の周囲を視覚センサ１０４で計測できるため、障害物の回避や最短ルートの計算が可能になる。

また、把持対象物２００を環境に接触させる際(把持した道具を別の物体に作用させる、把持物を配置する、など)に、視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持したまま目標接触位置の探索ができ、接触位置・姿勢の誤差を低減することができる。

また、把持対象物２００を環境に接触させる際に、視覚センサ１０４の計測範囲を制御し、把持対象物２００の接触面と環境の被接触面を観測することで、把持対象物２００と配置面２０４との接触判定が可能になる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
を備える、制御システム。
（２） 前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、前記（１）に記載の制御システム。
（３） 前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、前記（２）に記載の制御システム。
（４） 前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、前記（３）に記載の制御システム。
（５） 前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、前記（２）に記載の制御システム。
（６） 前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（７） 前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（８） 前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
前記アクチュエータ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、前記（５）に記載の制御システム。
（９） 前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（１０） 前記作用部は、前記対象物を把持する、前記（１）〜（９）のいずれかに記載の制御システム。
（１１） 前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、前記（９）に記載の制御システム。
（１２） 前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、前記（１）に記載の制御システム。
（１３） 対象物に作用する作用部と、
前記対象物を含む周辺の状況を認識する状況認識センサと、
前記状況認識センサの姿勢を制御するアクチュエータと、
を備える、制御システムにおける方法であって、
前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
前記対象物情報に基づいて前記アクチュエータを制御することと、
を備える、方法。

１００ エンドエフェクタ
１０２ 把持部
１０４ 視覚センサ
１０６ アクチュエータ
４１０ 計算部
４２０ アクチュエータ制御部
４３０ エンドエフェクタ制御部
４４０ 接触判定部

Claims (13)

1. 対象物に作用する作用部と、
   前記対象物を含む周辺の状況を認識する状況認識センサと、
   前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
   を備える、制御システム。
2. 前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、請求項１に記載の制御システム。
3. 前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、請求項２に記載の制御システム。
4. 前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、請求項３に記載の制御システム。
5. 前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、請求項２に記載の制御システム。
6. 前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
   前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
7. 前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
8. 前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
   前記エンドエフェクタ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、請求項５に記載の制御システム。
9. 前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
   前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
10. 前記作用部は、前記対象物を把持する、請求項１に記載の制御システム。
11. 前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、請求項９に記載の制御システム。
12. 前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、請求項１に記載の制御システム。
13. 対象物に作用する作用部と、
    前記対象物を含む周辺の状況を認識する状況認識センサと、
    前記状況認識センサの姿勢を制御するアクチュエータと、
    を備える、制御システムにおける方法であって、
    前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
    前記対象物情報に基づいて前記アクチュエータを制御することと、
    を備える、方法。

Images