JP2021045810A - モーション情報生成装置、エンドエフェクタ、ロボット及びロボットシステム - Google Patents

Abstract

【課題】簡易な構成で所定作業のモーション情報を生成する。【解決手段】ロボット２００に実行させる所定作業のモーション情報を生成するモーション情報生成装置１０。ロボット２００と独立して操作者により操作され、工具を用いて作業を実行するモーション取得部１００と、当該作業に基づきモーション情報を生成するモーション情報生成部１５０と、を備える。モーション取得部１００は、操作者が工具を把持する把持部と、把持部が工具から受ける力及び／又は工具の変位を検出するセンサ１０２と、を有す。モーション情報生成部１５０は、センサ１０２が検出する力及び／又は変位に基づいてモーション情報を生成する。【選択図】図２

Description

本発明は、モーション情報生成装置、エンドエフェクタ、ロボット及びロボットシステムに関する。

作業者の動作をロボットによって再現させる技術（いわゆる、モーションコピー）が知られている。

かかる技術にあっては、作業者の動作をロボットに教示することが必要となる。例えば、特許文献１は、マニピュレータを備えるダイレクト・ティーチング機構を作業者が操作することにより、作業者の動作をロボットに教示する技術を開示する。

特許文献１のダイレクト・ティーチング機構は、マニピュレータ等によりロボットの機構を擬似的に再現する。そのため、ダイレクト・ティーチング機構自体の重量が大きくなる。

特開平０５−２０４４４０号公報

本開示の一態様においては、ロボットに実行させる所定作業のモーション情報を生成するモーション情報生成装置を提供する。具体的には、モーション情報生成装置は、モーション取得部と、モーション情報生成部と、を備える。モーション取得部は、ロボットと独立して操作者により操作され、工具を用いて所定作業を実行する。モーション情報生成部は、モーション取得部を介して実行される所定作業に基づき、モーション情報を生成する。また、モーション取得部は、操作者が工具を把持する把持部と、把持部が工具から受ける力及び／又は工具の変位を検出する検出部と、を有する。モーション情報生成部は、検出部が検出する力及び／又は変位に基づいてモーション情報を生成する。

本開示の一態様においては、ロボットアームに装着され、第２工具を把持して所定作業を行うエンドエフェクタを提供する。当該エンドエフェクタは、第２工具を把持する第２把持部と、第２把持部を駆動するアクチュエータと、アクチュエータの駆動により生じる、第２把持部が第２工具から受ける再現力及び第２把持部に対する第２工具の再現変位の少なくとも１つを検出する第２検出部と、を備える。また、第２把持部は、第２工具を挟持する少なくとも２本の第２指部と第２指部を連結する第２連結部とを有し、第２検出部は、第２指部の長手方向における再現力及び第２工具の再現変位の少なくともいずれか一つを検出する。

本開示の一態様においては、ロボットに実行させる所定作業のモーション情報を生成するモーション情報生成方法を提供する。当該方法は、ロボットと独立して操作者により操作されるモーション取得部を介して工具が受ける力及び工具の変位の少なくとも１つを検出し、検出した力及び変位の少なくとも１つに基づいて、モーション情報を生成する。

本開示の実施形態に係るロボットシステムの全体構成を示す模式図である。 図１のロボットシステムのブロック図である。 図１のモーション取得部の一例を示す概略図である。 図１のエンドエフェクタの一例を示す概略図である。 モーション取得部とエンドエフェクタとの比較図である。 ロボットシステムの処理の一例を示すフローチャートである。 モーション情報生成装置の処理の一例を示すサブフローチャートである。 ロボット制御部の処理の一例を示すサブフローチャートである。 ロボット制御部により行われるインピーダンス制御の説明図である。 本開示の実施形態に係るロボットシステムの変形例を示す模式図である。 本開示の実施形態に係るモーション取得部の変形例を示す模式図である。

以下、本開示の実施形態について、図面を参照して説明する。

図１、図２に示すように、本開示の実施形態に係るロボットシステム１は、モーション情報生成装置１０と、ロボット２００とを備える。モーション情報生成装置１０は、モーション取得部１００と、モーション情報生成部１５０とを備える。

モーション情報生成装置１０は、作業者（操作者）によって操作されるモーション取得部１００及び／又は、モーション取得部１００に取り付けられる工具１２を撮像する撮像部（例えば、ＣＣＤカメラ）６０を備えても良い。同様に、ロボット２００は、ロボット２００を撮像する第２撮像部（例えば、ＣＣＤカメラ）２６０を備えても良い。

モーション取得部１００とモーション情報生成部１５０とは、インターフェース（Ｉ／Ｆ）基板５０を介して接続される。モーション情報生成部１５０とロボット２００との接続は必須ではないが、無線通信又は有線通信で接続されていても良い。なお、モーション取得部１００とモーション情報生成部１５０とは、無線通信により接続されていても良い。

モーション取得部１００はセンサ（検出部）１０２を備える。センサ１０２は、モーション取得部１００に取り付けられた工具１２に対して加えられる力、及び／又は、当該力により生じる工具１２の変位を検出する。モーション情報生成装置１０のモーション情報生成部１５０は、センサ１０２によって検出された力及び／又は変位に基づき、作業者が工具１２を用いて行った作業に対応するモーション情報を生成する。なお、モーション情報とは、センサ１０２によって取得された値をロボット２００が再現可能な形式（別言すれば、コンピュータで読取可能な形式）に変換したデータをいう。センサ１０２は、例えば、静電容量素子、圧電素子及び磁気等を用いた検出技術により力及び/又は変位を検出する。

センサ１０２は、力センサ及び／又は位置センサからなり、工具１２に加えられる三次元方向の力、及び／又は、工具１２の三次元方向の変位を検出できる。なお、センサ１０２は、モーション取得部１００に対する工具１２の三次元方向の変位を検出してもよい。

また、モーション情報生成装置１０は、位置情報取得部１２０を備える。位置情報取得部１２０は、ＣＣＤカメラ６０により撮像したモーション取得部１００及び／又は工具１２の画像に基づき、モーション取得部１００及び／又は工具１２の三次元位置情報を取得する。

具体的には、位置情報取得部１２０は、位置情報算出部１２２を有する。位置情報算出部１２２は、ＣＣＤカメラ６０が撮像した画像から予め定められた特徴点を抽出する。その後、位置情報取得部１２０は、抽出した画像中の特徴点の三次元位置情報に基づき、モーション取得部１００及び／又は工具１２の三次元位置情報を算出する。

モーション情報生成部１５０は、位置情報取得部１２０の取得した三次元位置情報に基づき、主に、工具１２の位置移動に対応するモーション情報を生成する。

モーション情報生成部１５０で生成されたモーション情報は、記憶部１３０に記憶される。具体的には、記憶部１３０は、センサ１０２の検出値に基づく力／変位データと、取得した三次元位置情報に基づく位置データと、これらのデータと紐付けされる時間データ（作業時間）と、を記憶する。なお、モーション情報生成装置１０とロボット制御部２１０とは、記憶部１３０を共有しても良いし、それぞれが記憶部を備え、モーション情報を互いに送受信可能に構成しても良い。なお、「記憶部を共有する」とは、モーション情報生成装置１０とロボット制御部２１０とが同一のハードウェア資源を使用する場合のみならず、クラウドストレージを利用する場合等も含む。

ロボット２００は、ロボット制御部２１０と、ロボットマニピュレータ２２０と、を備える。ロボットマニピュレータ２２０は、例えば、ロボットアーム２３０と、ロボットアーム２３０に装着されたエンドエフェクタ２４０とを有する。ロボットアーム２３０は、アーム駆動部（第１アクチュエータ）２３２により駆動される。また、エンドエフェクタ２４０は、電動グリッパ（第２アクチュエータ）２４２により駆動される。

記憶部１３０に記憶されたモーション情報は、ロボット２００のロボット制御部２１０に送信される。ロボット制御部２１０は、受信したモーション情報に基づきアーム駆動部２３２及び電動グリッパ２４２を制御する。この結果、ロボット制御部２１０は、作業者がモーション取得部１００を介して行った所定作業を再現できる。このように、本実施形態では、モーション取得部１００側がマスタ、ロボット２００側がスレーブとなって所定作業が再現される。

なお、記憶部１３０には、複数の所定作業に係るモーション情報を格納できる。即ち、作業者が扱う工具は１つに限られないため、記憶部１３０は、工具１２の種類と紐付けてモーション情報を記憶する。

エンドエフェクタ２４０は、第２センサ（第２検出部）１０２’を有する。第２センサ１０２’は、エンドエフェクタ２４０に取り付けられた工具（第２工具）１２’に対して電動グリッパ２４２が加えた力、及び／又は、当該力により生じるエンドエフェクタ２４０に対する第２工具１２’の変位を検出する。第２センサ１０２’は、モーション取得部１００のセンサ１０２と同様に、第２工具１２’に加えられる三次元方向の力及び／又は変位を検出できる。

また、ロボット制御部２１０は、第２センサ１０２’により検出された検出値と、ＣＣＤカメラ２６０により撮像された画像から得られる三次元位置情報と、に基づき、アーム駆動部２３２及び電動グリッパ２４２の動作を制御する。

図３は、本実施形態に係るモーション取得部１００を示す概略図である。図３に示すように、モーション取得部１００は、工具１２を左右から把持する把持部１０４と、センサ１０２と、を有する。センサ１０２は、把持部１０４が工具１２から受ける力、及び／又は、当該力により生じる把持部１０４に対する工具１２の変位を検出する。工具１２は、工具１２の把持位置を定める位置決定部１０６に固定される。

工具１２は、左右から力を加えられることにより変形してワークをつまむ精密工具であり、図３では工具１２としてピンセットを例示する。このような工具としては、他にニッパ、ラジオペンチ等がある。

把持部１０４は、二本の指部１０８と、該指部１０８を連結する連結部１１０とを有する。指部１０８は、工具１２の移動方向を規制するガイド部としての機能を持ち、少なくとも、その一部が板バネ等の弾性部材で形成される。なお、指部１０８に代えて、又は指部１０８に加え、連結部１１０の少なくとも一部を弾性部材で形成し、連結部１１０がガイド部として機能するように構成しても良い。このような構成により、作業者が指部１０８を操作したときに、弾性部材が弾性変形することで、二本の指部１０８を互いに接近又は離間させる方向に移動させることができる。なお、弾性部材としては、樹脂材やゴム材、及び弾性変形可能な金属等であるがこれらに限定されない。また、指部１０８は、二本に限定されず、三本以上あっても良い。

モーション取得部１００を上記のように構成することで、指部１０８の先端（ハンド部１１２）と位置決定部１０６とのＺ方向相対位置（特に、初期位置）を決めることができる。また、指部１０８が弾性部材で形成されるため、工具１２に対する操作方向（Ｘ方向）の動きを制限することがない。したがって、作業者は通常の作業時により近い感覚でモーション取得部１００を操作することができる。

なお、図３等において、Ｘ方向とは、二本の指部１０８を互いに接近又は離間させる方向を意味する。また、Ｚ方向とは、工具１２をモーション取得部１００に取り付けた状態における、モーション取得部１００の指部１０８の長手方向（別言すれば、工具（ピンセット）１２の長手方向）を意味する。また、Ｙ方向とは、Ｘ方向及びＺ方向とそれぞれ直交する方向を意味する。

位置決定部１０６と連結部１１０との間には、工具１２のＺ方向の移動を許容する把持補助部１１４が設けられる。把持補助部１１４は、Ｚ方向に弾性変形する弾性体（例えば、バネ）を有する。

ここで、工具１２のＺ方向の移動を許容する必要性について説明する。本実施形態に係る工具（ピンセット）１２は、Ｘ方向に力を加えられることによりワークをつまむ精密工具である。したがって、一般的には、Ｚ方向の移動は想定されていない。しかしながら、作業者がピンセット１２を用いて実際に行う精密作業には、ワークをつまむ動作だけでなく、つまんだワークを作業対象物に押し付ける動作が含まれることもある。例えば、ワークがシールである場合、シールを貼り付ける際に、ピンセット１２を用いてシールを対象物に押し付ける作業（Ｚ方向の動作）が発生する。このようなＺ方向の動作をロボット２００で再現するには、モーション取得部１００においてピンセット１２のＺ方向の動きを許容しつつ、Ｚ方向に加わる力及び／又は変位を検出可能に構成する必要がある。したがって、本実施形態においては、位置決定部１０６と連結部１１０との間に把持補助部１１４を設け、工具１２のＺ方向への移動を許容すると共に、センサ１０２により、Ｚ方向の力及び／又は変位を検出している。なお、把持補助部１１４は、上記押し付け作業の発生時に、把持部１０４と工具１２との相対位置が大きく変化するのを抑制する効果も奏する。

センサ１０２は、二本の指部１０８の先端（即ち、ハンド部１１２）と工具１２との間にそれぞれ設けられる。また、位置決定部１０６と連結部１１０との間に追加のセンサ１０２を設けても良い。但し、センサ１０２が三軸センサからなる場合、位置決定部１０６と連結部１１０との間のセンサは必須ではない。また、本実施形態の如く、左右から加えられる力が等しくなる工具を用いる場合、センサ１０２は、二本のハンド部１１２のうちのいずれか一方にのみ設けても良い。なお、センサ１０２は、工具１２との間に適度な摩擦が発生するようゴム１１６などで覆われていることが好ましい。

また、位置決定部１０６に、工具１２と当接して工具１２とモーション取得部１００とのＹ方向相対位置を決定する当接部を設けてもよい。

さらに、モーション取得部１００は、例えば、連結部１１０にアライメントマーク（オブジェクト）１１８が付される。アライメントマーク１１８は、ＣＣＤカメラ６０によるモーション取得部１００及び／又は工具１２の撮像画像中の特徴点となる。モーション情報生成装置１０の位置情報取得部１２０は、当該撮像画像中のアライメントマーク１１８を特徴点として抽出し、抽出したアライメントマーク１１８の撮像画像中の三次元位置情報を取得する。なお、アライメントマーク１１８とモーション取得部１００及び／又は工具１２との相対位置を予め定めておくことにより、位置情報取得部１２０は、モーション取得部１００及び／又は工具１２上の任意の点の三次元位置情報を取得することもできる。

また、アライメントマーク１１８を複数設けることにより、位置情報取得部１２０は、モーション取得部１００及び／又は工具１２の姿勢（傾き）を含めた三次元位置情報を取得できる。あるいは、アライメントマーク１１８の形状を、モーション取得部１００及び／又は工具１２の傾きの分かる形状にしても良い。そのような形状としては、例えばＸ字マークを採用できる。また、工具１２の先端にアライメントマーク１１８を追加し、ワークを直接つまむ工具１２の先端位置を正確に把握するようにしても良い。但し、工具１２は位置決定部１１６に固定されているため、連結部１１０のアライメントマーク１１８と工具１２の先端との相対位置は既知である。したがって、工具１２の先端位置は、連結部１１０のアライメントマーク１１８と工具１２の姿勢とから推定できる。よって、工具１２の先端のアライメントマーク１１８は必須の構成要素ではないが、モーション取得部１００に対して工具１２がＺ方向に動くような場合においては、工具１２もアライメントマークを備えていることが望ましい。

なお、モーション取得部１００及び／又は工具１２において、少なくとも一つ以上の角部を有する物体（例えば、連結部１１０）そのものをオブジェクト１１８としても良い。角部を有する物体を特徴点とする場合、例えば、角部のエッジを検出することでモーション取得部１００及び／又は工具１２の姿勢（傾き）を正確に把握することができるためである。

以上のように、本実施形態のモーション取得部１００は、ロボットとは独立しているため、マニピュレータ等の重量の大きな構成や作業時に負荷か発生する指部を駆動するためのアクチュエータ等の構成を有しない。したがって、作業者はモーション取得部１００を介して繊細な作業をロボットに教示することができる。また、工具１２は、作業者が常時使用している工具を使用することができる。したがって、作業者に違和感を与えることなくモーション情報を取得することができる。また、モーション情報の取得のために専用の工具を用意する必要がない。したがって、簡易かつ低コストでモーションコピーを実現できる。また、モーション取得部１００が工具から受ける力や変位を検出することできる。したがって、高精度にモーションコピーを実現することができる。

図４は、ロボット２００に装着されるエンドエフェクタ２４０の一例を示す。図示の通り、エンドエフェクタ２４０の基本的な構成は、モーション取得部１００の構成と同様である。

具体的には、エンドエフェクタ２４０は、第２工具１２’を左右から把持する第２把持部１０４’と、第２センサ１０２’とを有する。第２工具１２’は、第２位置決定部１０６’に固定される。なお、工具１２’は、工具１２と形状や寸法等が同一のものであることが好ましく、図４ではピンセットを例示する。なお、モーション情報を取得する時に用いた工具１２をそのままエンドエフェクタ２４０に取り付けて使用しても良い。

第２把持部１０４’は、二本の第２指部１０８’と、該第２指部１０８’を連結する第２連結部１１０’とを有する。第２指部１０８’は、工具（ピンセット）１２’の移動方向を規制するガイド部としての機能を持ち、少なくとも、その一部が板バネ等の弾性部材で形成される。なお、第２指部１０８’に代えて、又は第２指部１０８’に加え、第２連結部１１０’の少なくとも一部を弾性部材で形成し、第２連結部１１０’がガイド部として機能するように構成しても良い。

エンドエフェクタ２４０を上記のように構成することで、第２指部１０８’の先端（第２ハンド部１１２’）と第２位置決定部１０６’とのＺ方向相対位置（特に、初期位置）を決めることができる。また、第２指部１０８’が弾性部材で形成されるため、工具１２’に対する操作方向（Ｘ方向）の動きを制限することがない。なお、図４等において、Ｘ方向とは二本の指部１０８’を互いに接近又は離間させる方向を意味する。また、Ｚ方向とは、工具１２’をエンドエフェクタ２４０に取り付けた状態における、エンドエフェクタ２４０の指部１０８’の長手方向（別言すれば、工具（ピンセット）１２’の長手方向）を意味する。 また、Ｙ方向とは、Ｘ方向及びＺ方向とそれぞれ直交する方向を意味する。

第２位置決定部１０６’と第２連結部１１０’との間には、工具１２’のＺ方向の移動を許容する第２把持補助部１１４’が設けられる。

第２センサ１０２’は、好ましくは三軸センサからなり、二本の第２指部１０８’の先端（即ち、第２ハンド部１１２’）と工具１２’との間にそれぞれ設けられる。但し、第２位置決定部１０６’と第２連結部１１０’との間に第２センサ１０２’を追加する場合、第２ハンド部１１２’に設けられる第２センサ１０２’は三軸センサでなくとも良い。即ち、第２センサ１０２’は、第２把持部１０４’が、Ｚ方向において工具１２’から受ける力及び／又は変位を検出可能に構成される。

この結果、本実施形態に係るエンドエフェクタ２４０は、作業者が工具１２を用いて行う精密作業をより正確に再現することができる。例えば、工具１２としてピンセットを用いる作業には、ワークをつまむ動作だけでなく、ピンセットを用いてワークを作業対象物に押し付ける動作（Ｚ方向に作用する動作）が含まれることがある。そこで、本実施形態に係るエンドエフェクタ２４０は、Ｚ方向に作用する力も検出可能に構成されている。したがって、本実施形態に係るエンドエフェクタ２４０は、Ｚ方向の動作を含めて作業を正確に再現することができる。

なお、モーション取得部１００について述べたように、第２センサ１０２’は、二本の第２ハンド部１１２’の一方にのみ設けても良い。また、第２センサ１０２’は、工具１２’との間に適度な摩擦が発生するよう第２ゴム１１６’などで覆われていることが好ましい。

さらに、エンドエフェクタ２４０は、例えば、第２連結部１１０’に第２アライメントマーク（第２オブジェクト）１１８’が付される。第２アライメントマーク１１８’は、ＣＣＤカメラ２６０によるエンドエフェクタ２４０及び／又は工具１２’の撮像画像中の特徴点（第２特徴点）となる。ロボット２００のロボット制御部２１０は、当該撮像画像中の第２アライメントマーク１１８’ を第２特徴点として抽出し、抽出した第２アライメントマーク１１８’の撮像画像中の三次元位置情報を取得する。第２アライメントマーク１１８’とエンドエフェクタ２４０及び／又は工具１２’との相対位置を予め定めておくことにより、ロボット制御部２１０は、エンドエフェクタ２４０及び／又は工具１２’の三次元位置情報を取得することができる。即ち、ロボット制御部２１０は、第２位置情報取得部としての機能も有する。

なお、第２オブジェクト（第２アライメントマーク）１１８’の具体的な構成は、モーション取得部１００のオブジェクト１１８と同様であるので、詳細な説明は省略する。

以上の如く、エンドエフェクタ２４０は、モーション取得部１００と同様の構成を持つ（図５参照）。したがって、モーション取得部１００をロボット２００に装着し、エンドエフェクタ２４０として利用することも可能である。なお、図３から図５に示すモーション取得部１００及びエンドエフェクタ２４０の構成は、工具１２，１２’としてピンセットを用いる場合のものである。工具１２，１２’として、ニッパやラジオペンチ等を用いる場合には、それに応じて構成が変化することはいうまでもない。しかしながら、本実施形態の要旨として上述した構成は、工具１２，１２’が変わっても変わらない。

エンドエフェクタ２４０は、さらに、該エンドエフェクタ２４０をロボット２００に着脱可能に装着する装着部２４６を有する。また、エンドエフェクタ２４０は、工具１２’に対して力を付与する第２アクチュエータ（より具体的には、電動グリッパ）２４２を有する。電動グリッパ２４２は、Ｘ方向において、作業者が工具１２に対して加える力を再現するものである。具体的には、電動グリッパ２４２の先端（爪部）２４４が第２ハンド部１１２’に固定される。電動グリッパ２４２を駆動させると、爪部２４４がＸ方向（二本の第２指部１０８’が互いに接近又は離間する方向）に移動する。

爪部２４４を第２ハンド部１１２’に固定する位置は特に限定されない。図４に示すように、爪部２４４は、第２ハンド部１１２’のＺ方向上方（装着部２４６側）に設けられても良いし、第２ハンド部１１２’のＺ方向下方（工具１２’の先端側）に設けられても良い。また、第２ハンド部１１２’の外側に爪部２４４を固定し、爪部２４４で第２ハンド部１１２’を挟んでも良い。

なお、電動グリッパ（第２アクチュエータ）２４２により再現される動作（工具１２’をつまむ動作等）は、ロボット駆動部（第１アクチュエータ）２３２により再現される動作よりも比較的変位量が小さい。そのため、電動グリッパ２４２は、アーム駆動部２３２に比して微細駆動可能なアクチュエータからなることが好ましい。

続いて、本実施形態に係るロボットシステム１を用い、作業者が工具１２を用いて行う作業をロボット２００で再現する処理について説明する。

図６は、作業者が工具１２を用いて行う作業を、ロボットシステム１により再現する（モーションコピーする）処理の一例を示すフローチャートである。Ｓ１０において、本実施形態に係るロボットシステム１は、モーション情報生成装置１０により、作業者が工具１２を用いて行う作業に対応するモーション情報を生成する。

図７は、モーション情報生成装置１０により実行されるモーション情報生成処理を示すサブフローチャートである。Ｓ１００において、モーション情報生成装置１０はモーション取得部１００に関する初期情報を取得する。Ｓ１００の初期情報には、モーション取得部１００の種類及び形状、モーション取得部１００に取り付けられる工具１２の種類及び形状等が含まれる。また、当該初期情報には、モーション取得部１００及び／又は工具１２に付されたアライメントマーク１１８の位置及び形状が含まれる。

次いで、モーション情報生成装置１０は、Ｓ１０２においてモーション情報を取得する。即ち、作業者がモーション取得部１００を操作して所定作業を実行する間、モーション情報生成装置１０は、ＣＣＤカメラ６０及びセンサ１０２を用いて当該所定作業に係るモーション情報を取得する。具体的には、モーション情報生成装置１０は、作業者が当該所定作業を実行中に、ＣＣＤカメラ６０の撮像画像から特徴点（アライメントマーク１１８）を連続的に抽出し、抽出した特徴点の三次元位置情報を取得する。同時に、モーション情報生成装置１０は、ハンド部１１２が工具１２から受ける力をセンサ１０２により検出する。また、モーション情報生成装置１０は、ハンド部１１２に対する工具１２の変位（特に、Ｘ方向及びＺ方向の変位）をセンサ１０２により検出する。なお、本開示において「変位」とは、「変位量」及び／又は所定時間における変位量、即ち「変位率」を意味する。

また、モーション情報生成装置１０は、取得した特徴点の三次元位置情報から、工具１２の三次元位置情報を求めても良い。即ち、モーション情報生成装置１０は、特徴点（アライメントマーク１１８）と工具１２の先端等との相対位置に基づき、工具１２の三次元位置情報を算出することができる。かかる場合、モーション情報生成装置１０は、撮像画像から算出される工具１２の三次元位置情報を、センサ１０２により検出されたハンド部１１２に対する工具１２の変位に基づいて補正しても良い。センサ１０２は、工具１２の微小な変位を検出することができるため、補正により工具１２の三次元位置情報をより高精度に算出することができる。

次いで、モーション情報生成装置１０は、Ｓ１０４においてモーション情報を生成する。具体的には、Ｓ１０２で取得した特徴点の三次元位置情報、ハンド部１１２が受けた力、及び工具１２の変位を、それぞれ時間情報と紐付けし、作業者が実行した作業に対応するモーション情報を生成する。

次いで、モーション情報生成装置１０は生成したモーション情報を記憶部１３０に格納し、プログラムを終了する。

図６に戻って説明を続けると、Ｓ２０において、ロボットシステム１は、記憶部１３０に格納されたモーション情報を取り出し、ロボット２００のロボット制御部２１０を介して所定作業を再現する。

図８は、ロボット制御部２１０による所定作業の再現処理を示すサブフローチャートである。

Ｓ２００において、ロボット制御部２１０はロボット２００の初期設定を行う。例えば、ロボット２００が複数のエンドエフェクタを備える場合は、モーション取得部１００に対応するエンドエフェクタ２４０を選択する。また、エンドエフェクタ２４０等の初期位置が決まっている場合は、エンドエフェクタ２４０等を初期位置まで移動させる。また、ロボット制御部２１０は、ロボットマニピュレータ２２０の制御に用いられるパラメータや係数を選択する。

次いでＳ２０２に進み、ロボット制御部２１０は、Ｓ２００で選択したエンドエフェクタ２４０に基づき、記憶部１３０に格納されたモーション情報を受信する。Ｓ２０４では、ロボット制御部２１０は、以下の通り、受信したモーション情報に基づきアーム駆動部２３２及び電動グリッパ２４２を駆動し、所定作業を再現する。

本実施形態のロボットアーム２３０は多関節を有し、アーム駆動部２３２は、各関節を屈伸／回転駆動させる複数のアクチュエータを有することが好ましい。ロボット制御部２１０は、当該複数のアクチュエータ（アーム駆動部２３２）を適宜駆動することにより、作業者がモーション取得部１００を用いて行った作業を再現する。

なお、ロボット制御部２１０によるロボットアーム２３０の制御には、公知の技術を利用することができる。例えば、ロボットシステム１がＣＣＤカメラ６０及びＣＣＤカメラ２６０を備える場合は、ビジュアルサーボ制御系によりアーム駆動部２３２を制御できる。即ち、特徴ベースのビジュアルサーボ制御の場合、ロボット制御部２１０は、モーション取得部１００の特徴点（アライメントマーク１１８）の位置を目標特徴量、エンドエフェクタ２４０の特徴点（第２アライメントマーク１１８’）の位置を現在特徴量として所定作業を再現すれば良い。なお、この場合、モーション取得部１００を撮像するＣＣＤカメラ６０と、エンドエフェクタ２４０を撮像するＣＣＤカメラ２６０とは、同一構成のものであって、各撮像対象との相対位置が同一になるように配置されることが好ましい。

但し、アーム駆動部２３２の制御は、ＣＣＤカメラ６０，２６０を用いたものに限られない。例えば、ロボット２００は、ＣＣＤカメラ２６０に代えてジャイロセンサを備えても良い。その場合、ロボット制御部２１０は、当該ジャイロセンサにより検出されたアーム駆動部２３２の各関節位置や傾き等に基づいてモーション取得部１００で取得されたモーションを再現できる。

図９は、ロボット制御部により行われる、電動グリッパ２４２のインピーダンス制御の説明図である。

上記の通り、記憶部１３０は、センサ１０２の検出値に基づく力／変位データと、位置情報取得部１２０が取得した三次元位置情報に基づく位置データと、これらのデータと紐付けされる時間データと、を記憶する。

本実施形態のロボット制御部２１０は、記憶部１３０に記憶された上記データのうち、時間データと紐付けされた力データ（時系列データ）を目標値ｆ^refとし、電動グリッパ２４２の出力（Ｘ方向変位）ｘを制御する。即ち、ロボット制御部２１０は、エンドエフェクタ２４０の第２センサ１０２’で検出した力データ（再現力）ｆ^snsを入力値としてフィードバックするインピーダンス制御を実行する。但し、用いる検出値は力データに限定されず、変位データ（再現変位）を用いても良く、力データ（再現力）と変位データ（再現変位）の両方を用いても良い。なお、本実施形態におけるインピーダンスモデルＧ_imp（ｓ）は、人の指先相当の固さとなるような質量、粘性、剛性を持つ。

また、時系列データを用いてロボットマニピュレータ２２０を制御する際には、当該時系列データを補間することにより、人の作業よりも滑らかな動作を実現することもできる。また、再現する作業の内容に応じてロボットマニピュレータ２２０の動作速度を変更することもできる。このように、時系列データを加工することで、ロボットマニピュレータ２２０により再現される作業全体の効率を高めることができる。

以上、図面を参照して実施形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、その要旨を逸脱しない程度の設計変更は、本開示に含まれる。

一例として、モーション取得部１００の連結部１１０に設けたオブジェクト１１８は、光の反射体であっても良い（図１０参照）。この場合、位置情報取得部１２０は、ＣＣＤカメラ６０に代えて、反射体に対して光を照射すると共に該反射体からの反射光を受光して反射体の位置を検出する光検出部６１を有する。したがって、位置情報取得部１２０は、光検出部６１で受光した反射光に基づいてアライメントマーク１１８までの距離を算出し、算出した距離に基づいてモーション取得部１００及び／又は工具１２の三次元位置情報を取得することができる。同様に、ロボット２００側の第２オブジェクト１１８’を反射体とすると共にＣＣＤカメラ２６０を光検出部１６１に置き換えても良い。なお、光検出部を構成するものとして、例えばレーザトラッカがある。なお、反射体に光を照射する照射部と光検出部は別個に設けられていても良い。

また、上記実施形態では、モーション取得部１００の構成を、図３を示して説明したが、モーション取得部１００の構成はかかる例に限られない。例えば、図１１に示す如く、モーション取得部１００の連結部１１０に、レール部１１９ａとブロック部ｂとを備えるスライド部１１９を設けても良い。ブロック部１１９ｂは、レール部１１９ａに沿ってレール部１１９ａの長手方向（Ｘ方向）にスライド可能に構成される。ブロック部１１９ｂにはそれぞれ把持部１０４が連結され、把持部１０４により工具１２が把持される。したがって、作業者が指部１０８に対してＸ方向への力を加えることで、ブロック部１１９ｂがレール部１１９ａに沿ってスライドする。これにより、二本の指部１０８を互いに接近又は離間させる方向に移動させることができる。なお、二つのブロック部１１９ｂは、少なくともいずれか一方のみがＸ方向に移動可能なものとし、他方がレール部１１９ａに固定されるものであっても良い。

また、上記実施形態では、特徴ベースビジュアルサーボ制御について説明したが、ロボットアーム２３０の制御手段はこれに限られない。例えば、ロボット制御部２１０は、位置ベースのビジュアルサーボ制御を採用しても良い。即ち、ロボット制御部２１０は、ＣＣＤカメラ２６０の撮像画像に基づき、エンドエフェクタ２４０とカメラとの相対位置を推定することでロボットアーム２３０を制御しても良い。この場合、ロボット２００のＣＣＤカメラ２６０をロボットアーム２３０の先端に設け、画角内にエンドエフェクタ２４０が収まるようにすると良い。

また、上記実施形態では、ロボット制御部２１０は、ＣＣＤカメラ２６０の撮像画像から得られるロボットアーム２３０の三次元位置情報から各関節の変位を算出し、算出された変位に基づいてロボットアーム２３０を制御する（いわゆる、逆運動学）。しかしながら、ロボット制御部２１０は、各関節の回転量と変位量に基づいてロボットアーム２３０を制御しても良い（いわゆる、順運動学）。この場合、ロボット２００は、ロボットアーム２３０の各関節に回転量や変位量を検出するセンサを備える。

また、上記実施形態において、位置情報取得部１２０及びロボット制御部２１０は、ＣＣＤカメラ６０，２６０の撮像画像から、ワークや作業対象物の位置を検出しても良い。この場合、ロボット制御部２１０は、検出されたワークや作業対象物の三次元位置情報に基づき、モーション情報生成装置１０で生成されたモーション情報を補正することができる。

また、上記実施形態では、モーション取得部１００は、センサ１０２の検出値に基づく力データ及び変位データを取得している。しかしながら、通常モーション取得部１００が工具１２から受ける力と工具１２の変位には相関関係がある。したがって、モーション取得部１００は、当該力と変位のうちいずれか一方のみを取得するようにしても良い。

さらに、取得する初期情報は、所定作業の内容に応じて適宜選択することができる。例えば、ワークをつまむ動作が発生しない、あるいは工具１２を閉じたままの状態で行う作業をモーションコピーする場合は、Ｘ方向の力や変位を検出する必要はない。例えば、ピンセット１２の先端を閉じてスクリュードライバとして利用できる場合や、工具１２としてスクリュードライバを用いる場合は、作業者が工具１２に対してＸ方向に加える力を正確に再現する必要はない。また、ロボットアーム２３０がＺ軸回りの回転モータを備える場合、工具１２を回転させる作業を再現する必要はなく、当該回転モータにより作業を実現すれば良い。また、精密な作業を行う場合、センサ１０２の検出感度や分解能を上げることで、工具１２の力や変位の微小な変化を検出することができる。

また、エンドエフェクタ２４０を用いた作業は、ワークを直接扱う動作が主となる。したがってロボット制御部２１０は、エンドエフェクタ２４０とワークとの距離が所定距離内にある場合にのみエンドエフェクタ２４０を制御するようにしても良い。これにより、不要な動作を再現するのを防止することができる。

また、上記実施形態では、工具１２，１２’としてピンセットを例示したため、二本の指部１０８，１０８’が互いに近接する場合の制御のみを説明した。しかしながら、工具１２，１２’として、例えばラジオペンチを用いる場合、二本の指部１０８，１０８’が互いに離間する場合の制御も必要となる。その場合であっても、上述した制御が妥当することは当業者にとって明らかであろう。

また、上記実施形態では、一人の作業者の動作をロボット２００で再現する場合を示した。しかしながら、ロボットアーム２３０の数を増やせば、ロボット制御部２１０は、複数の作業者の動作をそれぞれ同時に再現することもできる。

また、上記実施形態では、工具１２は、位置決定部１０６によりモーション取得部１００に固定されている。しかしながら、工具１２をモーション取得部１００に固定する必要はない。例えば、モーション取得部１００を作業者の指に装着可能な構成とし、作業者自身が工具１２を保持するようにしても良い。この場合、作業者は、より通常の作業時に近い状態で工具１２を扱うことができる。但し、モーション取得部１００と工具１２との相対位置が変化しやすいため、モーション取得部１００及び工具１２の両方にアライメントマーク１１８を設け、相対位置の変化に応じて電動グリッパ２４２により付勢される力を補正する必要がある。

１ ロボットシステム
１０ モーション情報生成装置
１２ 工具
１２’ 第２工具
６０ ＣＣＤカメラ（撮像部）
１００ モーション取得部
１０２ センサ(検出部)
１０２’ 第２センサ（第２検出部）
１０４ 把持部
１０４’ 第２把持部
１０６ 位置決定部
１０６’ 第２位置決定部
１０８ 指部
１０８’ 第２指部
１１０ 連結部
１１０’ 第２連結部
１１２ ハンド部
１１２’ 第２ハンド部
１１４ 把持補助部
１１４’ 第２把持補助部
１１８ アライメントマーク（オブジェクト）
１１８’ 第２アライメントマーク（第２オブジェクト）
１２０ 位置情報取得部
１２２ 位置情報算出部
１３０ 記憶部
１５０ モーション情報生成部
２００ ロボット
２１０ ロボット制御部
２２０ ロボットマニピュレータ
２３０ ロボットアーム
２３２ アーム駆動部（第１アクチュエータ）
２４０ エンドエフェクタ
２４２ 電動グリッパ（第２アクチュエータ）
２６０ ＣＣＤカメラ（第２撮像部）

Claims (27)

1. ロボットに実行させる所定作業のモーション情報を生成するモーション情報生成装置であって、
   前記ロボットと独立して操作者により操作され、工具を用いて前記所定作業を実行するモーション取得部と、
   前記モーション取得部を介して実行される前記所定作業に基づき、前記モーション情報を生成するモーション情報生成部と、を備え
   前記モーション取得部は、
   前記操作者が前記工具を把持する把持部と、
   前記把持部が前記工具から受ける力及び前記工具の変位の少なくとも１つを検出する検出部と、を有し、
   前記モーション情報生成部は、前記検出部が検出する前記力及び前記変位の少なくとも１つに基づいて前記モーション情報を生成する、モーション情報生成装置。
2. 前記モーション情報生成部が生成した前記モーション情報を記憶する記憶部を備える、請求項１に記載のモーション情報生成装置。
3. 前記把持部は、前記工具を挟持する少なくとも二本の指部と、前記指部を連結する連結部と、を備え、
   前記指部又は前記連結部の少なくとも１つは、前記操作者の操作に伴い前記指部を互いに接近又は離間させる方向に移動させるガイド部を備える、請求項１又は２に記載のモーション情報生成装置。
4. 前記ガイド部は、少なくとも一部が弾性部材で形成される、請求項３に記載のモーション情報生成装置。
5. 前記指部の少なくとも１つが前記検出部を備え、
   前記検出部は、前記指部が前記工具から受ける力を検出する力センサ、及び前記工具の変位を検出する位置センサのうち少なくとも１つである、請求項３又は４に記載のモーション情報生成装置。
6. 前記把持部は、前記工具と当接する把持補助部を備え、
   前記把持補助部は、前記指部の長手方向に変位可能であり、
   前記検出部は、前記把持補助部が前記工具から受ける力及び前記工具の変位の少なくとも１つを検出する、請求項３から５のいずれか一項に記載のモーション情報生成装置。
7. 前記把持部は、前記工具の把持位置を定める位置決定部を備える、請求項１から６のいずれか一項に記載のモーション情報生成装置。
8. 前記モーション取得部及び前記工具の少なくとも１つの三次元位置情報を取得する位置情報取得部を備え、
   前記モーション情報生成部は、前記位置情報取得部が取得した三次元位置情報に基づき前記モーション情報を生成する、請求項１から７のいずれか一項に記載のモーション情報生成装置。
9. 前記検出部は、少なくとも前記工具の変位を検出するものであって、
   前記位置情報取得部は、さらに、前記検出された変位に基づき、前記工具の三次元位置情報を補正する、請求項８に記載のモーション情報生成装置。
10. 前記位置情報取得部は、前記モーション取得部及び前記工具の少なくとも１つを撮像する撮像部と、前記撮像部で撮像した撮像画像に基づき前記三次元位置情報を算出する位置情報算出部と、を備える、請求項８又は９に記載のモーション情報生成装置。
11. 前記撮像部は、前記モーション取得部及び前記工具の少なくとも１つに付されたオブジェクトを撮像し、
    前記位置情報算出部は、前記撮像画像に含まれた前記オブジェクトを特徴点として抽出し、該抽出した前記特徴点の三次元位置を前記三次元位置情報として算出する、請求項１０に記載のモーション情報生成装置。
12. 前記オブジェクトは、マーク及び少なくとも１つ以上の角部を有する物体のうち少なくとも１つである、請求項１１に記載のモーション情報生成装置。
13. 前記位置情報取得部は、前記モーション取得部及び前記工具の少なくとも１つに設けられた反射体に光を照射し、前記反射体で反射した前記光を受光する光検出部と、
    前記受光部が受光した光に基づき、前記三次元位置情報を算出する位置情報算出部と、を備える、請求項８に記載のモーション情報生成装置。
14. 前記モーション情報生成部が生成した前記モーション情報を記憶する記憶部を備え、
    前記記憶部は、前記検出部が検出した前記力及び前記変位、並びに前記位置情報取得部が取得した前記三次元位置情報のうち少なくとも１つと、前記モーション取得部を介して実行された前記所定作業の時間経過情報とを紐付けて記憶する、請求項８から１３のいずれか一項に記載のモーション情報生成装置。
15. 前記モーション情報生成部は、前記記憶部に記憶した前記時間経過情報の加工が可能である、請求項１４に記載のモーション情報生成装置。
16. ロボットアームに装着され、第２工具を把持して所定作業を行うエンドエフェクタであって、
    前記第２工具を把持する第２把持部と、
    前記第２把持部を駆動するアクチュエータと、
    前記アクチュエータの駆動により生じる、前記第２把持部が前記第２工具から受ける再現力及び前記第２把持部に対する前記第２工具の再現変位の少なくとも１つを検出する第２検出部と、を備え、
    前記第２把持部は、前記第２工具を挟持する少なくとも２本の第２指部と前記第２指部を連結する第２連結部とを有し、
    前記第２検出部は、前記第２指部の長手方向における前記再現力及び前記第２工具の再現変位の少なくともいずれか一つを検出する、エンドエフェクタ。
17. ロボットアーム、前記ロボットアームの関節を駆動するアーム駆動部、前記ロボットアームに装着された請求項１６に記載のエンドエフェクタ、を備えるロボットマニピュレータと、
    前記ロボットマニピュレータの動作を制御するロボット制御部と、を備えるロボット。
18. ロボットアーム、前記ロボットアームの関節を駆動するアーム駆動部、前記ロボットアームに装着され、第２工具を把持して所定作業を行うエンドエフェクタ、を備えるロボットマニピュレータと、
    請求項１から１５のいずれか一項に記載のモーション情報生成装置により生成される前記モーション情報に基づいて、前記ロボットマニピュレータを制御するロボット制御部と、を有するロボット。
19. 請求項１から１５のいずれか一項に記載のモーション情報生成装置の前記モーション情報生成部が生成した前記モーション情報を記憶する記憶部を備え、
    前記記憶部は、前記工具の種類に応じて前記モーション情報を記憶し、
    前記ロボット制御部は、前記エンドエフェクタが把持する第２工具の種類に対応する前記モーション情報を、前記記憶部から取得し、前記取得したモーション情報に基づき前記ロボットマニピュレータを制御する、請求項１８に記載のロボット。
20. 請求項１から１５のいずれか一項に記載のモーション情報生成装置の前記検出部が検出した前記力及び前記変位の少なくとも一方を記憶する記憶部を備え、
    前記エンドエフェクタは、
    前記第２工具を把持する第２把持部と、
    前記第２把持部を駆動するアクチュエータと、
    前記アクチュエータの駆動により生じる、前記第２把持部が前記第２工具から受ける再現力及び前記第２把持部に対する前記第２工具の再現変位の少なくとも１つを検出する第２検出部と、を有し、
    前記ロボット制御部は、前記記憶部に記憶された前記力及び前記変位の少なくとも一方と、前記第２検出部が検出した前記再現力及び前記再現変位の少なくとも一方とに基づき、前記ロボットマニピュレータの制御を行う、請求項１７に記載のロボット。
21. 請求項１１及び１２並びに請求項１１を引用する請求項１４のいずれか一項に記載のモーション情報生成装置の前記位置情報算出部が算出した前記特徴点の三次元位置情報を記憶する記憶部と、
    前記ロボットマニピュレータ及び前記第２工具の少なくとも１つを撮像する第２撮像部と、
    前記第２撮像部で撮像した撮像画像中の前記ロボットマニピュレータ及び前記第２工具の少なくとも１つから、前記記憶部に記憶された前記特徴点に対応する第２特徴点を抽出し、前記抽出した第２特徴点の三次元位置情報を取得する第２位置情報取得部と、を備え、
    前記ロボット制御部は、前記取得した前記第２特徴点の三次元位置情報と、前記記憶部に記憶された前記特徴点の三次元位置情報とが一致するように前記ロボットマニピュレータを制御する、請求項１８に記載のロボット。
22. 請求項８から１５のいずれか一項に記載のモーション情報生成装置の前記位置情報取得部が取得した前記三次元位置情報を記憶する記憶部を備え、
    前記ロボット制御部は、前記記憶部に記憶された前記三次元位置情報に基づき、前記ロボットマニピュレータを制御する、請求項１８に記載のロボット。
23. 請求項１から１５のいずれか一項に記載のモーション情報生成装置の前記モーション取得部を介して実行される前記所定作業の作業時間を記憶する記憶部を備え、
    前記ロボット制御部は、前記記憶部に記憶された前記作業時間に基づいて、前記ロボットマニピュレータを制御する、請求項１８から２２のいずれか一項に記載のロボット。
24. 前記エンドエフェクタにおける前記第２工具の把持位置が、請求項１から１４のいずれか一項に記載のモーション情報生成装置の前記把持部による前記工具の把持位置と一致する、請求項１８から２３のいずれか一項に記載のロボット。
25. 前記アーム駆動部は、前記ロボットアームの各関節を駆動する第１アクチュエータを有し、
    前記エンドエフェクタは、前記第２工具を把持する第２把持部を駆動する第２アクチュエータを有し、
    前記第２アクチュエータは、前記第１アクチュエータに比して微細駆動可能である、請求項２４に記載のロボット。
26. 請求項１から１５のいずれか一項に記載のモーション情報生成装置と、
    請求項１８から２５のいずれか一項に記載のロボットと、を備えたロボットシステム。
27. ロボットに実行させる所定作業のモーション情報を生成するモーション情報生成方法であって、
    前記ロボットと独立して操作者により操作されるモーション取得部を介して工具が受ける力及び前記工具の変位の少なくとも１つを検出する工程と、
    前記検出した前記力及び前記変位の少なくとも１つに基づいて、前記モーション情報を生成する工程と、を含むモーション情報生成方法。
    

Images