JP6548816B2 - 物体操作装置及び物体操作方法 - Google Patents

Description

本発明は、人と作業空間を共有しながら物体を把持して操作する自動機である物体操作装置及び物体操作方法に関する。

ロボットなどの自動機が、人と作業空間を共有して作業を行う際、人と衝突しないための安全性と、作業を素早くおこなうための作業の効率性を考慮しなくてはならない。安全性と作業の効率性とを両立することを目的として、例えば特許文献１及び２の発明が開示されている。

特許文献１は、安全性と効率性とを両立するために、自動機が人の位置を検知し、自動機と人の距離に応じて、自動機の動作速度を変えることを開示している。人が近づいた場合は自動機の動作速度を落とすことで安全な作業を実現し、人が離れている場合は自動機の動作速度をあげることで効率的な作業を実現する。

特許文献２は、動作モードを切り替えることで安全性と作業の効率性とを両立することを開示している。つまり、人（特許文献２では移動体と称している）の距離に応じて、自動機を停止させたり、自動機を低出力で動作させたりすることで、安全性を確保しつつ、作業の効率性も確保している。

特表２０１５−５２６３０９号公報 特開２０１４―１７６９３４号公報

このような自動機にあっては、自動機及び人の位置に応じて自動機の動作速度及び出力を落とすだけであるので、人が自動機に接近しているときは、常に動作速度及び／又は出力が低くなり、作業効率は低いままであるという課題があった。

本発明の目的は、上記の問題点を解決し、安全性と効率性とを両立することができる物体操作装置であって、人が近い場合でも効率性の高い作業を実現することができる物体操作装置及び物体操作方法を提供することにある。

本発明の一態様に係る物体操作装置は、
少なくとも１つのセンサ及び少なくとも１つの把持装置を備え、前記把持装置により少なくとも１つの対象物を把持して操作する物体操作装置において、
前記センサの測定データに基づいて前記対象物の位置及び姿勢を認識する物体認識部と、
前記対象物から、当該物体操作装置及び前記対象物のいずれとも異なる物体までの距離を計算する距離計算部と、
前記対象物の位置及び姿勢と、前記対象物から前記物体までの距離とに基づいて、前記把持装置を操作する操作制御部とを備え、
前記操作制御部は、前記物体操作装置が選択可能な複数の対象物を有するとき、前記物体までの距離が所定のしきい値を超える対象物のうちの１つを選択して前記把持装置により操作することを特徴とする。

本発明によれば、物体操作装置は、人との衝突可能性を判断しつつ、効率的に作業ができる対象物を選択するので、単純に装置の動作速度を落とすよりも、効率的に作業を実現することができる。

本発明の実施の形態１に係る物体操作装置を示すハードウェア構成図である。 図１の物体操作装置を示す機能図である。 図１の物体操作装置によって実行される全体処理フロー図である。 図１の物体操作装置の操作制御部によって実行される処理フロー図である。 本発明の実施の形態２に係る物体操作装置を示すハードウェア構成図である。 図５の物体操作装置を示す機能図である。 図５の物体操作装置によって実行される全体処理フロー図である。 事前に定められた空間上の任意の面情報に基づき計算された安全距離を示す図である。 本発明の実施の形態３に係る物体操作装置を示すハードウェア構成図である。 図９の物体操作装置によって実行される、安全な動作を実現する把持装置及び対象物を選択するための操作制御部の処理フロー図である。 把持装置ごとの把持の際の動作方向の違いを示す図である。 図９の物体操作装置によって実行される、把持装置ごとの動作方向の安全性を計算するための処理フロー図である。 図９の物体操作装置によって実行される、安全かつ効率的な動作を実現する把持装置及び対象物を選択するための操作制御部の処理フロー図である。 図９の物体操作装置によって実行される、安全かつ効率的な動作を実現する把持方法、把持装置、及び対象物を選択するための操作制御部の処理フロー図である。 本発明の実施の形態４に係る物体操作装置を示すハードウェア構成図である。 図１５の物体操作装置を示す機能図である。 図１５の物体操作装置の操作制御部によって実行される第１の全体処理フロー図である。 図１５の物体操作装置の操作制御部によって実行される第２の全体処理フロー図である。 本発明の実施の形態５に係る物体操作装置を示すハードウェア構成図である。 図１９の物体操作装置を示す機能図である。 図１９の物体操作装置の操作制御部によって実行される全体処理フロー図である。

実施の形態１．
図１は本発明の実施の形態１に係る物体操作装置を示すハードウェア構成図である。図１の物体操作装置は、少なくとも１つのセンサ及び少なくとも１つの把持装置を備え、把持装置により少なくとも１つの操作対象の物体（以下、対象物という）を把持して操作する。

図１の物体操作装置は、移動装置１、センサ２、把持装置３、情報処理装置４、及びセンサ５を備える。移動装置１、センサ２、把持装置３、及びセンサ５が情報処理装置４に接続されている。情報処理装置４は、中央処理装置（ＣＰＵ）４１、実行プログラムを保存したリードオンリーメモリ（ＲＯＭ）４２、入出力信号を保持するランダムアクセスメモリ（ＲＡＭ）４３、人の操作を受け付ける入力装置４４、人に情報を提示する表示装置４５を備える。入力装置４４は、例えば、マウス、キーボード、ジェスチャ認識用カメラ、装着型加速度センサなどを含む。表示装置４５は、例えば、ディスプレイなどを含む。

移動装置１は、センサ２、把持装置３、及びセンサ５を移動させる装置であり、センサ２，５を測定のための視点へ移動させるために、また、対象物を操作するための位置に把持装置３を移動させるために用いられる。ここでいう移動装置とは、動作指令に基づき自動制御によって移動する機能を持つ装置であり、ロボット、マニピュレータ、移動台車、直動軸、複数の移動軸を組み合わせた装置でもよい。

センサ２は、物体操作装置の周辺を測定し、対象物の位置及び姿勢を認識する。センサ２は、カメラ又は３次元ビジョンセンサである。センサ２は、ピンホールカメラ、レンジファインダーカメラ、ビューカメラ、ライトフィールドカメラ、ステレオカメラ、アクティブステレオカメラ、パッシブステレオカメラ、照度差ステレオシステム、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法を用いたセンサ、空間コード化法を用いたセンサ、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法を用いたセンサ、レーザースキャナであってもよい。

把持装置３は、物体操作装置の周辺の対象物を操作するための機構である。把持装置３は、対象物に吸い付いてピッキングする吸着型把持装置であってもよく、対象物を挟んでつまみ上げる挟持型把持装置であってもよい。また、吸着型把持装置のノズルの個数、挟持型把持装置の指及び爪の本数、その形状は任意に選択可能である。

センサ５は、物体操作装置の周辺を測定し、物体操作装置の周辺における物体操作装置及び対象物のいずれとも異なる物体、例えば、物体操作装置の周辺における人の位置及び姿勢を認識する。センサ５は、カメラ又は３次元ビジョンセンサであってもよく、音波、熱、光、振動、もしくは磁気を検知するセンサであってもよい。カメラ又は３次元ビジョンセンサは、センサ２と同様に、ピンホールカメラ、レンジファインダーカメラ、ビューカメラ、ライトフィールドカメラ、ステレオカメラ、アクティブステレオカメラ、パッシブステレオカメラ、照度差ステレオシステム、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法を用いたセンサ、空間コード化法を用いたセンサ、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法を用いたセンサ、レーザースキャナであってもよい。音波、熱、光、振動、もしくは磁気を検知するセンサは、光センサ、光電素子、フォトダイオード、赤外線センサ、放射線センサ、磁気センサ、超音波距離計、静電容量変位計、光位置センサであってもよい。なお、センサ２及びセンサ５を同じ方式の１つのセンサで統一し、対象物及び人の位置及び姿勢の認識を１つのセンサで実現してもよいことは自明である。

図２は、図１の物体操作装置を示す機能図である。ここで、情報処理装置４は、機能的に、物体認識部４ａ、人認識部４ｂ、安全距離計算部４ｃ、及び操作制御部４ｄを有する。物体認識部４ａは、センサ２による対象物の測定データに基づいて、対象物の位置及び姿勢を認識する。人認識部４ｂは、センサ５による人の測定データに基づいて、物体操作装置の周辺における人の位置及び姿勢を認識する。安全距離計算部４ｃは、対象物から、当該物体操作装置及び対象物のいずれとも異なる物体までの距離を、当該対象物の安全距離として計算する。安全距離計算部４ｃは、人の位置及び姿勢と対象物の位置及び姿勢とに基づいて対象物の安全距離を計算する。操作制御部４ｄは、対象物の位置及び姿勢と、対象物の安全距離とに基づいて、対象物を把持するように把持装置３を操作するための動作指令を生成する。なお、本明細書において、安全とは、ロボットが人と衝突する可能性が低いことを意味する。

物体認識部４ａは、センサ２の測定データに基づいて、対象物の位置及び姿勢を認識する。この際、カメラの画像、３次元ビジョンセンサの画像、距離画像、ポイントクラウドデータなどから背景領域を削除して対象物の領域の重心を計算すること、又は、対象物のモデルを画像、距離画像、ポイントクラウドデータにあてはめることなど、一般的なコンピュータビジョンの手法により画像から対象物を抽出し、対象物の領域とその位置及び姿勢とを認識することができる。画像における対象物の領域から、対象物の位置を定義することもできる。領域の重心を対象物の位置として定義してもよく、空間上の特定の位置に最も近い領域の表面上の点の位置を対象物の位置として定義してもよい。この際、チャンファーマッチング、テンプレートマッチング、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ法、特徴抽出、ハッシング、深層学習を含む機械学習手法、強化学習手法、それらの派生技術を応用してもよい。

人認識部４ｂは、センサ５による人の測定データに基づいて、物体操作装置の周辺における人の位置及び姿勢を認識する。この際、物体認識部４ａと同様に、一般的なコンピュータビジョンの手法により人の位置を認識することができる。また、光センサ、光電素子、フォトダイオード、赤外線センサ、放射線センサ、磁気センサ、超音波距離計、静電容量変位計、光位置センサなどを用いて、人のおおよその位置を推定し、人体のうちで移動装置１に最も近い位置を計算し、この位置から移動装置１に対する方向ベクトルを姿勢として計算することにより、人の位置及び姿勢と人の領域とを計算してもよい。人の領域から、人の位置を定義してもよい。領域の重心を人の位置として定義してもよく、空間上の特定の位置に最も近い領域の表面上の点の位置を人の位置として定義してもよい。以上により、人の位置を計算することができる。

安全距離計算部４ｃは、人の位置及び姿勢と対象物の位置及び姿勢とに基づいて対象物の安全距離を計算する。ここでいう安全距離とは、人と対象物と互いにがどれだけ近いかであり、人の位置と対象物の位置との間の距離を安全距離として定義する。人及び／又は対象物が複数ある場合、それぞれの人とそれぞれの対象物との間で安全距離を計算する。

操作制御部４ｄは、対象物の位置及び姿勢と、対象物の安全距離とに基づいて、対象物を把持するように把持装置３を操作するための動作指令を生成する。操作制御部は、物体操作装置が選択可能な複数の対象物を有するとき、安全距離が所定のしきい値を超える対象物のうちの１つを選択して把持装置３により操作する。

図３は、図１の物体操作装置によって実行される全体処理フロー図である。図３のステップＳ１において、情報処理装置４は、センサ２により対象物を計測する。ステップＳ２において、情報処理装置４は、物体認識部４ａにより対象物の位置及び姿勢を認識する。ステップＳ３において、情報処理装置４は、センサ５により人を計測する。ステップＳ４において、情報処理装置４は、人認識部４ｂにより人の位置及び姿勢を認識する。ステップＳ５において、情報処理装置４は、安全距離計算部４ｃにより対象物ごとの安全距離を計算する。ステップＳ６において、情報処理装置４は、操作制御部４ｄにより、安全距離の範囲内に他の物体が存在しないか否かを判断し、ＹＥＳのときはステップＳ７に進み、ＮＯのときはステップＳ９に進む。ステップＳ７において、情報処理装置４は、操作制御部４ｄにより図４の操作計画処理を実行する。

図４は、図１の物体操作装置の操作制御部４ｄによって実行される処理フロー図である。実施の形態１に係る操作制御部４ｄは、物体操作装置の周辺に複数の対象物が存在する場合に、どの対象物を把持すれば安全かつ効率的であるかを判断し、それに応じた動作指令を生成して出力する。

図４のステップＳ１１において、操作制御部４ｄは、複数の対象物のうちの１つを選択する。ステップＳ１２において、操作制御部４ｄは、対象物の安全距離がしきい値を超えているか否かを判断し、ＹＥＳのときはステップＳ１３に進み、ＮＯのときはステップＳ１６に進む。

しきい値は、移動装置１及び把持装置３の動作速度、移動装置１及び把持装置３の重量、移動装置１及び把持装置３が衝突した際に相手側にかかる力を基準にする。しきい値は、動作速度、重量、衝突の相手側にかかる力が大きい場合は安全距離が長くなり、人に衝突しても影響及びダメージが小さくなるように決定される。操作制御部４ｄは、例えば、把持装置３の重量及び速度が増大するにつれてしきい値を増大させ、把持装置３の重量及び速度が減少するにつれてしきい値を減少させるように、しきい値を決定する。ある対象物の安全距離がしきい値以下である場合、その対象物は把持候補とせず、次の対象物について操作計画処理を続ける。ある対象物の安全距離がしきい値を超えている場合、その対象物を把持候補として、その対象物を把持する際の把持装置３の把持姿勢を計算する。

ステップＳ１３において、操作制御部４ｄは、対象物の位置及び姿勢に基づいて、当該対象物を把持するための把持装置３の把持姿勢を計算する。ステップＳ１４において、操作制御部４ｄは、ステップＳ１３で計算された把持姿勢に把持装置３の現在の位置から移動可能であるか否かを判断し、ＹＥＳのときはステップＳ１５に進み、ＮＯのときはステップＳ１６に進む。これは、物体操作装置と周辺環境との干渉が発生しないか否か、及び、移動装置１のキネマティクスが解けるか否かを判断することにより行われる。ステップＳ１５において、操作制御部４ｄは、把持装置３の現在の位置からの移動時間を計算する。ステップＳ１６において、操作制御部４ｄは、全ての対象物について計算したか否かを判断し、ＹＥＳのときはステップＳ１８に進み、ＮＯのときはステップＳ１７に進む。ステップＳ１７において、操作制御部４ｄは、複数の対象物のうちの次の対象物を選択する。ステップＳ１８において、操作制御部４ｄは、安全距離がしきい値を超える対象物のうち、把持装置の移動時間を最小化する対象物を選択する。ステップＳ１９において、操作制御部４ｄは、作業が最も効率的になる把持装置３の把持姿勢を選択する。これにより、操作制御部４ｄは、ステップＳ１８で選択された対象物及びステップＳ１９で選択された把持姿勢に把持装置３を移動させる操作計画を決定する。

図３のステップＳ８において、情報処理装置４は、ステップＳ７で決定された操作計画に基づいて動作指令を発行する。情報処理装置４は、最終的に、移動時間が最も短くなる把持装置３の把持姿勢と、それに対応する対象物とを選択し、その対象物を把持するための動作指令を出力する。

図３のステップＳ９において、情報処理装置４は、操作の安全化が必要であることをユーザに通知する。安全距離の範囲内に他の物体が存在する場合、物体の操作を行うためには、移動装置１及び把持装置３の動作速度を下げる、物体操作装置の作業を変更する、物体操作装置を停止する、周辺に対して警告を出すなど、操作を安全化するための処理を行う必要がある。従って、情報処理装置４は、操作を安全化するようにユーザに通知してもよく、操作を安全化するための上述の処理のいずれかを自動的に行ってもよい。

図３のステップＳ７では、対象物を選択するための優先度として、移動時間が最も短くなるという条件が情報処理装置４に予め設定されている。情報処理装置４は、設定されている優先度に従って、把持する対象物を選択する。なお、情報処理装置４は、移動時間が最も短くなる対象物を選択することが望ましいが、他の少なくとも１つの対象物に係る移動時間よりも短い移動時間を有する対象物（すなわち、移動時間が２番目、３番目、…に最も短くなる対象物）を選択してもよい。また、情報処理装置４は、移動時間が所定のしきい値より短くなる１つ又は複数の対象物のうちのいずれかを選択してもよい。

実施の形態１に係る物体操作装置によれば、人との衝突可能性を判断しつつ、効率的に作業ができる対象物及び把持方法を選択するので、単純に装置の動作速度を落とすよりも、効率的に作業を実現することができる。

実施の形態１に係る物体操作装置によれば、物体操作装置、複数の対象物、人が存在する環境において、複数の対象物のうちどれを把持すれば安全かつ効率的であるかを判断することができ、人が近づいてきた場合に単に動作速度を下げる場合よりも効率的な作業を実現することができる。

実施の形態２．
図５は本発明の実施の形態２に係る物体操作装置を示すハードウェア構成図である。図５の物体操作装置は、図１の情報処理装置４及びセンサ５に代えて、情報処理装置４Ａを備える。情報処理装置４Ａは、図１の情報処理装置４の構成要素に加えて、補助記憶装置４６を備える。補助記憶装置４６は、例えば、ハードディスクドライブ又はソリッドステートドライブである。

実施の形態２では、情報処理装置４Ａは、人を認識するセンサに接続されることに代えて、補助記憶装置４６を備える。補助記憶装置４６は、対象物から、物体操作装置及び対象物のいずれとも異なる物体までの距離を予め格納する。補助記憶装置４６は、例えば、安全に関して事前に定められた空間上の任意の点又は面の情報を格納する。情報処理装置４Ａは、センサの測定データに基づいて人を認識するのではなく、補助記憶装置４６に格納された情報を参照することで、より作業を効率的にしつつ、安全性を確保することができる。

図６は、図５の物体操作装置を示す機能図である。図６の情報処理装置４Ａは、機能的に、図２の人認識部４ｂに代えて、データベース（ＤＢ）４ｅを有する。データベース４ｅは補助記憶装置４６上に存在し、事前に定められた空間上の任意の点もしくは面の情報を格納する。安全距離計算部４ｃは、データベース４ｅの情報と対象物の位置及び姿勢とに基づいて、対象物の安全距離を計算する。

図７は、図５の物体操作装置の全体処理フロー図を示す。図７のステップＳ２１において、情報処理装置４Ａは、センサ２により対象物を計測する。図７のステップＳ２２において、情報処理装置４Ａは、物体認識部４ａにより対象物の位置及び姿勢を認識する。図７のステップＳ２３において、情報処理装置４Ａは、安全距離計算部４ｃにより対象物ごとの安全距離を計算する。図７のステップＳ２４において、情報処理装置４Ａは、操作制御部４ｄにより操作計画処理を実行する。図７のステップＳ２５において、情報処理装置４Ａは、ステップＳ２４で決定された操作計画に基づいて動作指令を発行する。図２の人認識部が存在しないので、センサ２で対象物を測定すれば、対象物の操作計画を決定することができる。実施の形態１からの変更点は、対象物ごとの安全距離の計算方法にある。

図８は、本発明の実施の形態２による、事前に定められた空間上の任意の面の情報に基づき計算された安全距離を示す図である。補助記憶装置４６は、事前に定められた任意の面８の情報を格納している。これは、例えば、把持装置３がこの面を越えて作業する場合は、把持装置３が人７と衝突する危険性が増大することを示す。図８では、把持装置３から見て面８を越えた先に複数の対象物６が存在している。各対象物６について、面８と、面８から最も離れた当該対象物上の点との間の距離を計算し、これを安全距離９として定義している。この場合、安全距離が長いほど、人に衝突する可能性があると判断される。

なお、面８の代わりに、事前に定められた空間上の「点」を用いたとしても、同様に安全距離を計算できる。

なお、補助記憶装置４６は、事前に定められた空間上の面及び点に代えて、対象物から、物体操作装置及び対象物のいずれとも異なる物体までの距離を予め格納する。

対象物６の位置及び姿勢を認識することで、面８との関係から対象物６の安全距離が計算でき、対象物ごとの安全距離と、対象物ごとの位置及び姿勢とに基づいて、実施の形態１と同様に対象物の操作を計画することができる。

以上のように、実施の形態２では、センサ２により得られた測定データと、補助記憶装置４６に格納された事前に定められた空間上の任意の点もしくは面の情報とに基づいて、安全かつ効率的な操作計画を立てることができる。

実施の形態３．
図９は、本発明の実施の形態３に係る物体操作装置を示すハードウェア構成図である。図９の物体操作装置は、図５の物体操作装置の情報処理装置４Ａに代えて情報処理装置４Ｂを備え、把持装置１０をさらに備える。

様々な対象物を操作するために、物体操作装置が選択可能な複数の把持装置を備える場合がある。選択可能な複数の把持装置は、異なる種類の把持装置、例えば、挟持型把持装置及び吸着型把持装置を含む。実施の形態３では、そのような作業を目的として、物体操作装置が２種類の把持装置、すなわち把持装置３及び把持装置１０を備える。この場合、複数の対象物のうち、どの対象物を操作するかを決定するだけでなく、複数の把持装置のうち、どの把持装置で対象物を把持するかを決定する。この際、全体の処理フローは図７と同様であるが、操作制御部における処理フローを変えることで、把持装置の選択も含めた操作計画が実現する。

図１０は、図９の物体操作装置によって実行される、安全な動作を実現する把持装置及び対象物を選択するための操作制御部の処理フロー図である。対象物の位置及び姿勢と、対象物の安全距離とに基づいて、把持装置及び対象物を決定し、それに応じた把持装置の把持姿勢をとるための動作指令を出力する。

図１０のステップＳ３１において、操作制御部４ｄは、複数の対象物のうちの１つを選択する。ステップＳ３２において、操作制御部４ｄは、対象物の位置及び姿勢に基づいて、当該対象物を把持するための各把持装置の把持姿勢を計算する。このとき、複数種類の把持装置が存在しているので、それぞれの把持装置の把持姿勢を計算する。ステップＳ３３において、操作制御部４ｄは、ステップＳ３２で計算された把持姿勢に把持装置の現在の位置から移動可能であるか否かを判断し、ＹＥＳのときはステップＳ３４に進み、ＮＯのときはステップＳ３６に進む。

ステップＳ３４において、対象物の安全距離に基づいて、各把持装置で把持する際の動作方向を計算する。ステップＳ３５において、操作制御部４ｄは、各把持装置の動作方向の安全性を計算する。

同じ対象物を異なる把持装置で把持する場合、例えば図１１のように、把持装置ごとに動作方向が異なる場合がある。図１１では、挟持型把持装置１２で対象物６を把持する場合、挟持型把持装置１２の動作方向は人７に向かっている。一方で、吸着型把持装置１１で対象物６を把持する場合、対象物６の広い面に対してアプローチするので、吸着型把持装置１１の動作方向は挟持型把持装置１２の動作方向とは異なっている。図１１の挟持型把持装置１２のように人に向かって動作する場合、把持装置１２と人との衝突の可能性が高まる。そこで、図１０の処理フローでは、各把持装置で把持する際の動作方向を計算した後、各把持装置の動作方向の安全性を計算し、最も安全な動作方向を持つ把持装置と、それに対応する対象物を選択する。

ステップＳ３６において、操作制御部４ｄは、全ての対象物について計算したか否かを判断し、ＹＥＳのときはステップＳ３８に進み、ＮＯのときはステップＳ３７に進む。ステップＳ３７において、操作制御部４ｄは、複数の対象物のうちの次の対象物を選択する。ステップＳ３８において、操作制御部４ｄは、最も安全な動作方向を有する把持装置及び対応する対象物を選択する。

図１２は、図９の物体操作装置によって実行される、把持装置ごとの動作方向の安全性を計算するための処理フロー図である。図１２のステップＳ４１において、操作制御部４ｄは、把持装置の移動方向に基づいて、把持装置の動作により対象物が移動する長さ及び方向を推定する。ステップＳ４２において、操作制御部４ｄは、ステップＳ４１の推定結果に基づいて、移動後の対象物の位置を推定する。ステップＳ４３において、操作制御部４ｄは、推定した位置から対象物の安全距離を再計算する。対象物の安全距離は、実施の形態１のように人認識部で認識した人の位置及び姿勢に基づいて計算してもよく、実施の形態２のように安全に関して事前に定められた空間上の任意の点又は面の情報に基づいて計算してもよい。以上の処理により、安全な動作を実現する把持装置と、把持する対象物とを選択することができる。

これにより、操作制御部４ｄは、各把持装置により対象物を操作したときの対象物の位置を推定し、推定された位置から安全距離がしきい値を超える把持装置のうちの１つを選択して対象物を操作する。操作制御部４ｄは、推定された位置から安全距離がしきい値を超える把持装置のうち、把持装置の移動時間を最小化する把持装置を選択して対象物を操作する。これにより、安全かつ効率的な作業を実現するための操作計画を立てることができる。

さらに、図１３及び図１４を参照して、安全性と効率性を両立させる場合の操作制御部の処理フローチャートを示す。

図１３は、図９の物体操作装置によって実行される、安全かつ効率的な動作を実現する把持装置及び対象物を選択するための操作制御部の処理フロー図である。ここでは、図１０で示したフローチャートに対して、さらに、現在の把持装置位置から、把持装置の把持姿勢に移動する際の移動時間を計算し、最終的に安全かつ移動時間が短い動作方向を持つ把持装置と、それに対応する対象物を選択する。

図１３のステップＳ５１において、操作制御部４ｄは、複数の対象物のうちの１つを選択する。ステップＳ５２において、操作制御部４ｄは、対象物の位置及び姿勢に基づいて、当該対象物を把持するための各把持装置の把持姿勢を計算する。ステップＳ５３において、操作制御部４ｄは、ステップＳ５２で計算された把持姿勢に把持装置の現在の位置から移動可能であるか否かを判断し、ＹＥＳのときはステップＳ５４に進み、ＮＯのときはステップＳ５７に進む。

ステップＳ５４において、対象物の安全距離に基づいて、各把持装置で把持する際の動作方向を計算する。ステップＳ５５において、操作制御部４ｄは、各把持装置の動作方向の安全性を計算する。ステップＳ５６において、操作制御部４ｄは、把持装置の現在の位置からの移動時間を計算する。

ステップＳ５７において、操作制御部４ｄは、全ての対象物について計算したか否かを判断し、ＹＥＳのときはステップＳ５９に進み、ＮＯのときはステップＳ５８に進む。ステップＳ５８において、操作制御部４ｄは、複数の対象物のうちの次の対象物を選択する。ステップＳ５９において、操作制御部４ｄは、安全かつ移動時間が短い動作方向を有する把持装置及び対応する対象物を選択する。

安全性と移動時間とを両立させる場合、評価関数：Ｆ＝ａＳ＋ｂＴを用いてもよい。Ｓは、動作方向に応じた安全性を示し、安全距離で定義される。Ｔは、把持装置の現在の位置からの移動時間を示す。ａ及びｂは任意の重み係数であり、作業において安全性を優先するか、それとも効率を優先するかに応じて調整される。評価関数に対して、それぞれのファクターを正規化する重みを加えてもよい。

図１３の操作計画処理では、把持装置を選択するための優先度として、安全かつ移動時間が短くなるという条件が情報処理装置４Ｂに予め設定されている。情報処理装置４Ｂは、設定されている優先度に従って、把持装置を選択する。なお、情報処理装置４Ｂは、移動時間が最も短くなる把持装置を選択することが望ましいが、他の少なくとも１つの把持装置の移動時間よりも短い移動時間を有する把持装置（すなわち、移動時間が２番目、３番目、…に最も短くなる把持装置）を選択してもよい。また、情報処理装置４Ｂは、移動時間が所定のしきい値より短くなる１つ又は複数の把持装置のうちのいずれかを選択してもよい。

以上により、安全と効率性とを両立させるように把持装置及び対象物を自動的に選択して操作計画が決定される。

例えば、挟持型把持装置で対象物を把持する際、対象物を挟むことができなくても、把持装置を対象物に押し付けて「掻き出す」ことができる場合もある。このように、１つの把持装置について、複数の異なる把持方法が存在する場合がある。この場合も、先の説明と同様に把持方法を選択して操作計画を決定することができる。

図１４は、図９の物体操作装置によって実行される、安全かつ効率的な動作を実現する把持方法、把持装置、及び対象物を選択するための操作制御部の処理フロー図である。少なくとも１つの把持装置が選択可能な複数の把持方法を有する場合、複数の把持装置が存在する場合と同様に、各把持方法で把持する際の動作方向を計算することで、把持方法を選択することができる。

図１４のステップＳ６１において、操作制御部４ｄは、複数の対象物のうちの１つを選択する。ステップＳ６２において、操作制御部４ｄは、対象物の位置及び姿勢に基づいて、当該対象物を把持するための各把持方法の把持姿勢を計算する。ステップＳ６３において、操作制御部４ｄは、ステップＳ６２で計算された把持姿勢に把持装置の現在の位置から移動可能であるか否かを判断し、ＹＥＳのときはステップＳ６４に進み、ＮＯのときはステップＳ６７に進む。

ステップＳ６４において、対象物の安全距離に基づいて、各把持方法で把持する際の動作方向を計算する。ステップＳ６５において、操作制御部４ｄは、各把持方法の動作方向の安全性を計算する。ステップＳ６６において、操作制御部４ｄは、把持装置の現在の位置からの移動時間を計算する。

ステップＳ６７において、操作制御部４ｄは、全ての対象物について計算したか否かを判断し、ＹＥＳのときはステップＳ６９に進み、ＮＯのときはステップＳ６８に進む。ステップＳ６８において、操作制御部４ｄは、複数の対象物のうちの次の対象物を選択する。ステップＳ６９において、操作制御部４ｄは、安全かつ移動時間が短い動作方向を有する把持方法及び対応する対象物を選択する。

図１４の操作計画処理では、把持方法を選択するための優先度として、移動時間が最も短くなるという条件が情報処理装置４Ｂに予め設定されている。情報処理装置４Ｂは、設定されている優先度に従って、把持方法を選択する。なお、情報処理装置４Ｂは、移動時間が最も短くなる把持方法を選択することが望ましいが、他の少なくとも１つの把持方法に係る把持装置の移動時間よりも短い移動時間を有する把持方法（すなわち、移動時間が２番目、３番目、…に最も短くなる把持方法）を選択してもよい。また、情報処理装置４Ｂは、移動時間が所定のしきい値より短くなる１つ又は複数の把持方法のうちのいずれかを選択してもよい。

これにより、操作制御部４ｄは、各把持方法により対象物を操作したときの対象物の位置を推定し、推定された位置から安全距離がしきい値を超える把持方法のうちの１つを選択して対象物を操作する。操作制御部４ｄは、推定された位置から安全距離がしきい値を超える把持方法のうち、把持装置の移動時間を最小化する把持方法を選択して対象物を操作する。

また、選択可能な複数の対象物、選択可能な複数の把持装置、及び選択可能な複数の把持方法がある場合も同様に、対象物、把持装置、及び把持方法を選択して操作計画を決定することができる。

以上の方法により、安全かつ効率的に、対象物、把持装置、及び把持方法を選択することができる。

実施の形態４．
図１５は、本発明の実施の形態４に係る物体操作装置を示すハードウェア構成図である。図１５の物体操作装置は、図１の情報処理装置４に代えて、情報処理装置４Ｃを備える。情報処理装置４Ｃは、図１の情報処理装置４の構成要素に加えて、図５の情報処理装置４Ａと同様に、補助記憶装置４６を備える。補助記憶装置４６は、前述のように、例えば、ハードディスクドライブ又はソリッドステートドライブである。

図１６は、図１５の物体操作装置を示す機能図である。データベース（ＤＢ）４ｅは補助記憶装置４６上に存在し、物体の姿勢ごとに、かつ、把持装置３の把持姿勢ごとに、事前に推定された把持成功率を格納する。把持成功率は、事前に、同様のハードウェア構成を有する装置を用いて実験的に算出されてもよい。把持成功率は、物体のＣＡＤデータと、物体を掴む把持装置３のＣＡＤデータとに基づいて、物理シミュレーションにより推測されてもよい。

図１５の物体操作装置もまた、図３の全体処理フロー図に従って動作する。ただし、情報処理装置４Ｃの操作制御部４ｄは、図４の操作計画処理（ステップＳ７）に代えて、図１７の操作計画処理（ステップＳ７Ａ）又は図１８の操作計画処理（ステップＳ７Ｂ）を実行する。

図１７は、図１５の物体操作装置の操作制御部４ｄによって実行される第１の全体処理フロー図である。図１７の操作計画処理は、図４のステップＳ１５及びＳ１８に代えて、ステップＳ１５Ａ及びＳ１８Ａを含む。ステップＳ１５Ａにおいて、操作制御部４ｄは、事前に推定されてデータベースに格納された把持成功率から、対象物の姿勢及び把持装置３の把持姿勢に基づいて、把持装置３による対象物の把持成功率を決定する。ステップＳ１８Ａにおいて、操作制御部４ｄは、安全距離がしきい値を超える対象物のうち、把持成功率を最大化する対象物を選択する。このように、図１７の操作計画処理では、把持装置３の移動時間を計算することに代えて、把持装置３による対象物の把持成功率を決定する。

図１７の操作計画処理では、対象物を選択するための優先度として、把持成功率が最も高くなるという条件が情報処理装置４Ｃに予め設定されている。情報処理装置４Ｃは、設定されている優先度に従って、把持する対象物を選択する。なお、情報処理装置４Ｃは、把持成功率が最も高くなる対象物を選択することが望ましいが、他の少なくとも１つの対象物に係る把持成功率よりも高い把持成功率を有する対象物（すなわち、把持成功率が２番目、３番目、…に最も高くなる対象物）を選択してもよい。また、情報処理装置４Ｃは、把持成功率が所定のしきい値より高くなる１つ又は複数の対象物のうちのいずれかを選択してもよい。

把持する対象物を選択する際、実施の形態１〜３と同様に、移動時間を考慮してもよい。図１８を参照して、移動時間を考慮した場合の操作計画処理について説明する。

図１８は、図１５の物体操作装置の操作制御部４ｄによって実行される第２の全体処理フロー図である。図１８の操作計画処理は、図４のステップＳ１５及びＳ１８に代えて、ステップＳ１５Ｂ及びＳ１８Ｂを含む。ステップＳ１５Ｂにおいて、操作制御部４ｄは、把持装置３の現在の位置からの移動時間を計算し、さらに、把持装置３による対象物の把持成功率を決定する。ステップＳ１８Ｂにおいて、操作制御部４ｄは、把持成功率及び移動時間の両方に基づいて作業効率を計算し、安全距離がしきい値を超える対象物のうち、作業効率を最大化する対象物を選択する。作業効率は、例えば、次式の想定移動時間ＴＡにより表される。

ＴＡ＝ｐ×Ｔ１＋（１−ｐ）×Ｔ２

ここで、ｐは把持成功率を示し、Ｔ１は対象物の把持に成功したときの移動時間を示し、Ｔ２は対象物の把持に失敗して再把持を試みるときの移動時間を示す。想定移動時間ＴＡがより短いとき、作業効率がより高いと判断される。

図１８の操作計画処理では、対象物を選択するための優先度として、作業効率が最も高くなるという条件が情報処理装置４Ｃに予め設定されている。情報処理装置４Ｃは、設定されている優先度に従って、把持する対象物を選択する。なお、情報処理装置４Ｃは、作業効率が最も高くなる対象物を選択することが望ましいが、他の少なくとも１つの対象物に係る作業効率よりも高い作業効率を有する対象物（すなわち、作業効率が２番目、３番目、…に最も高くなる対象物）を選択してもよい。また、情報処理装置４Ｃは、作業効率が所定のしきい値より高くなる１つ又は複数の対象物のうちのいずれかを選択してもよい。

図１７及び図１８の操作計画処理によれば、実施の形態１〜３と同様に、人との衝突可能性を判断しつつ、効率的に作業ができる対象物及び把持方法を選択するので、単純に装置の動作速度を落とすよりも、効率的に作業を実現することができる。

実施の形態４では、把持成功率に関連する優先度に従って複数の対象物のうちの１つを選択する場合について説明したが、把持成功率に関連する優先度に従って、複数の把持装置のうちの１つを選択してもよく（図１３を参照）、複数の把持方法のうちの１つを選択してもよい（図１４を参照）。

実施の形態５．
図１９は、本発明の実施の形態５に係る物体操作装置を示すハードウェア構成図である。図１９の物体操作装置は、図１５の情報処理装置４Ｃに代えて、情報処理装置４Ｄを備える。情報処理装置４Ｄは、図１５の情報処理装置４Ｃと同様の構成要素を備え、さらに、外部の管理装置１３に接続されている。

管理装置１３は、工場又は倉庫など、実施の形態５に係る物体操作装置が使われる現場における、作業の全体工程を管理するソフトウェアを動作させるパーソナルコンピュータ又はサーバ装置である。管理装置１３は、倉庫におけるウェアハウスマネジメントシステム（ＷＭＳ）であってもよく、生産現場における生産管理システムであってもよい。

図２０は、図１９の物体操作装置を示す機能図である。管理装置１３から、後工程で優先される物体についての情報が情報処理装置４Ｄに送られ、データベース４ｅにいったん格納される。後工程で優先される物体についての情報とは、例えば、生産時の組み立て作業のために優先的に必要な物体の順番である。後工程で優先される物体についての情報は、倉庫から次に配送される商品についての情報であってもよく、優先的に必要とされる物体（商品）の順番であってもよい。後工程で優先される物体についての情報は、データベース４ｅから操作制御部４ｄに送られる。

図１９の物体操作装置もまた、図３の全体処理フロー図に従って動作する。ただし、情報処理装置４Ｄの操作制御部４ｄは、図４の操作計画処理（ステップＳ７）に代えて、図２１の操作計画処理（ステップＳ７Ｃ）を実行する。

図２１は、図１９の物体操作装置の操作制御部４ｄによって実行される全体処理フロー図である。図２１の操作計画処理は、図４のステップＳ１５及びＳ１８に代えて、ステップＳ１５Ｃ及びＳ１８Ｃを含む。ステップＳ１５Ｃにおいて、操作制御部４ｄは、把持装置３の現在の位置からの移動時間を計算し、さらに、把持装置３による対象物の把持成功率を決定する。ステップＳ１８Ｃにおいて、操作制御部４ｄは、後工程で優先される物体についての情報に基づいて、安全距離がしきい値を超える対象物のうち、作業効率を最大化する対象物を選択する。

図２１の操作計画処理では、例えば図１８を参照して説明したように想定移動時間を計算し、他の少なくとも１つの対象物に係る想定移動時間よりも短い想定移動時間を有する複数の対象物のうち、後工程で最も優先される対象物を選択してもよい。後工程で優先される複数の対象物のうち、想定移動時間が最も短くなる対象物を選択してもよい。後工程で優先される対象物を最優先で選んでもよい。このように、情報処理装置４Ｄは、対象物を選択するための優先度として、後工程で優先される対象物についての情報をさらに使用する。

図２１の操作計画処理によれば、実施の形態１〜４と同様に、人との衝突可能性を判断しつつ、効率的に作業ができる対象物及び把持方法を選択するので、単純に装置の動作速度を落とすよりも、効率的に作業を実現することができる。

実施の形態５では、後工程で優先される物体に関連する優先度に従って複数の対象物のうちの１つを選択する場合について説明したが、後工程で優先される物体に関連する優先度に従って、複数の把持装置のうちの１つを選択してもよく（図１３を参照）、複数の把持方法のうちの１つを選択してもよい（図１４を参照）。

以上に説明した実施の形態１〜５の特徴を互いに組み合わせてもよい。

本発明の実施の形態は、以下の特徴を有する。

センサと把持装置を備えるロボットにおいて、
物体認識部は、該センサから得られる測定データから対象物の位置及び姿勢を計算し、
安全距離計算部は、該対象物と人が衝突する可能性を計算し、
操作制御部は、該対象物の位置及び姿勢と該対象物の安全距離とに基づき、ロボットの操作対象となる対象物、該把持装置の種類、該把持装置による把持方法のうち、いずれか１つ以上を決定する。
これにより、人との衝突危険性を考慮しながら、操作対象となる対象物、把持装置、把持方法を変えることで、効率的かつ安全な対象物操作を実現することができる。

該操作制御部は、該対象物の安全距離が任意の範囲内になる対象物のうち、所定の優先度に従って選択した対象物を優先して把持するよう動作指令を計算する。
これにより、人との衝突危険性を考慮しながら、操作対象となる対象物、把持装置、把持方法を変えることで、効率的かつ安全な対象物操作を実現することができる。

該操作制御部は、該対象物の安全距離が任意の範囲内になる対象物のうち、現在のロボットの姿勢から把持動作の時間が短くなる把持装置の位置及び姿勢をとれる対象物、把持成功率が高くなる対象物、後工程で優先される対象物、のうち少なくとも一つを優先して把持するよう動作指令を計算する。
これにより、安全性を確保しつつ、最も効率的な操作対象となる対象物を選択することができる。

該操作制御部は、対象物を把持する際に、該把持装置の位置及び姿勢が複数計算できる場合に、把持の際の動作方向に基づいて人との衝突の危険性を評価し、人との衝突の危険性が少なくなる把持装置の位置及び姿勢で優先的に把持するように動作指令を計算する。
これにより、安全かつ効率的で安定した把持方法（対象物に対する把持装置の位置及び姿勢）を選択することができる。

該ロボットは複数の把持装置を持ち、
該操作制御部は、把持の際の動作方向に基づいて人との衝突の危険性を評価し、人との衝突の危険性が少なくなる把持装置の種類で優先的に把持するように動作指令を計算する。
これにより、安全な把持装置を選択することができる。

該ロボットは複数の把持方法を持ち、
該操作制御部は、把持の際の動作方向に基づいて人との衝突の危険性を評価し、人との衝突の危険性が少なくなる把持方法で優先的に把持するように動作指令を計算する。
これにより、安全かつ効率的な把持方法を選択することができる。

該安全距離計算部は、該対象物の位置及び姿勢もしくは該対象物を操作する際の該把持装置の先端位置と、該センサから得られる測定データから人認識部が計算する人の位置及び姿勢とに基づき、該ロボットと人の衝突可能性を判断する。
これにより、人との衝突危険性を逐次的に計算することで、より安全に、効率的な対象物操作を実現することができる。

該安全距離計算部は、該対象物を操作する際の該把持装置の先端位置と、事前に定められた空間上の任意の点もしくは面情報とに基づき、該ロボットと人の衝突可能性を判断する。
これにより、人との衝突危険性を、事前に作業空間上に定義しておくことで、より効率的に、安全な対象物操作を実現することができる。

本発明の実施の形態は、人への衝突可能性に応じて、自動機が操作する対象物、対象物を操作するための自動機の把持装置、把持方法を自動で選択することにより、人が近い場合でも、効率性の高い作業を実現することができる。

本発明は、人と作業空間を共有し、安全かつ効率的に複数対象物の操作を実現するために、周辺環境をセンシングする手段と、対象物を把持及び操作する手段とを備えた自動機である物体操作装置及び物体操作方法に利用可能である。

１ 移動装置、２ センサ、３ 把持装置、４，４Ａ〜４Ｄ 情報処理装置、４ａ 物体認識部、４ｂ 人認識部、４ｃ 安全距離計算部、４ｄ 操作制御部、４ｅ データベース（ＤＢ）、５ センサ、６ 対象物、７ 人、８ 事前に定められた任意の面、９ 安全距離、１０ 把持装置、１１ 吸着型把持装置、１２ 挟持型把持装置、 １３ 管理装置、４１ ＣＰＵ、４２ ＲＯＭ、４３ ＲＡＭ、４４ 入力装置、４５ 表示装置、４６ 補助記憶装置。

Claims (11)

1. 少なくとも１つのセンサ及び少なくとも１つの把持装置を備え、前記把持装置により少なくとも１つの対象物を把持して操作する物体操作装置において、
   前記センサの測定データに基づいて前記対象物の位置及び姿勢を認識する物体認識部と、
   前記対象物から、当該物体操作装置及び前記対象物のいずれとも異なる物体までの距離を計算する距離計算部と、
   前記対象物の位置及び姿勢と、前記対象物から前記物体までの距離とに基づいて、前記把持装置を操作する操作制御部とを備え、
   前記操作制御部は、前記物体操作装置が選択可能な複数の対象物を有するとき、前記物体までの距離が所定のしきい値を超える対象物のうちの１つを選択して前記把持装置により操作することを特徴とする物体操作装置。
2. 前記操作制御部は、予め定められた優先度に従って、前記物体までの距離が所定のしきい値を超える対象物のうちの１つを選択して前記把持装置により操作することを特徴とする請求項１記載の物体操作装置。
3. 前記操作制御部は、前記物体までの距離が所定のしきい値を超える対象物のうち、他の少なくとも１つの対象物に係る前記把持装置の移動時間よりも短い前記把持装置の移動時間を有することと、他の少なくとも１つの対象物に係る把持成功率よりも高い把持成功率を有することと、後工程で優先されることとの少なくとも一つに該当する対象物を選択して前記把持装置により操作することを特徴とする請求項２記載の物体操作装置。
4. 前記物体操作装置は選択可能な複数の把持装置を備え、
   前記操作制御部は、前記各把持装置により前記対象物を操作したときの前記対象物の位置を推定し、前記推定された位置から前記物体までの距離が前記しきい値を超える把持装置のうちの１つを選択して前記対象物を操作することを特徴とする請求項１記載の物体操作装置。
5. 前記操作制御部は、前記推定された位置から前記物体までの距離が前記しきい値を超える把持装置のうち、他の少なくとも１つの把持装置の移動時間よりも短い移動時間を有することと、他の少なくとも１つの把持装置の把持成功率よりも高い把持成功率を有することと、後工程で優先されることとの少なくとも一つに該当する把持装置を選択して前記対象物を操作することを特徴とする請求項４記載の物体操作装置。
6. 前記物体操作装置は選択可能な複数の把持方法を有する少なくとも１つの把持装置を備え、
   前記操作制御部は、前記各把持方法により前記対象物を操作したときの前記対象物の位置を推定し、前記推定された位置から前記物体までの距離が前記しきい値を超える把持方法のうちの１つを選択して前記対象物を操作することを特徴とする請求項１又は４記載の物体操作装置。
7. 前記操作制御部は、前記推定された位置から前記物体までの距離が前記しきい値を超える把持方法のうち、他の少なくとも１つの把持方法に係る前記把持装置の移動時間よりも短い移動時間を有することと、他の少なくとも１つの把持方法に係る把持成功率よりも高い把持成功率を有することと、後工程で優先されることとの少なくとも一つに該当する把持方法を選択して前記対象物を操作することを特徴とする請求項６記載の物体操作装置。
8. 前記物体操作装置は、前記対象物から、当該物体操作装置及び前記対象物のいずれとも異なる物体までの距離を測定する少なくとも１つのセンサを備えることを特徴とする請求項１〜７のうちの１つに記載の物体操作装置。
9. 前記物体操作装置は、前記対象物から、当該物体操作装置及び前記対象物のいずれとも異なる物体までの距離を予め格納した記憶装置をさらに備えることを特徴とする請求項１〜７のうちの１つに記載の物体操作装置。
10. 前記操作制御部は、前記把持装置の重量及び速度が増大するにつれて前記しきい値を増大させ、前記把持装置の重量及び速度が減少するにつれて前記しきい値を減少させるように、前記しきい値を決定することを特徴とする請求項１〜９のうちの１つに記載の物体操作装置。
11. 少なくとも１つのセンサ及び少なくとも１つの把持装置を備え、前記把持装置により少なくとも１つの対象物を把持して操作する物体操作装置の物体操作方法において、
    前記センサの測定データに基づいて前記対象物の位置及び姿勢を認識するステップと、
    前記対象物から、当該物体操作装置及び前記対象物のいずれとも異なる物体までの距離を計算するステップと、
    前記対象物の位置及び姿勢と、前記対象物から前記物体までの距離とに基づいて、前記把持装置を操作するステップとを含み、
    前記把持装置を操作するステップは、前記物体操作装置が選択可能な複数の対象物を有するとき、前記物体までの距離が所定のしきい値を超える対象物のうちの１つを選択して前記把持装置により操作するステップを含むことを特徴とする物体操作方法。

Images