JP7230128B2 - ロボット作業の学習方法及びロボットシステム - Google Patents

Description

本発明は、遠隔操縦装置を用いてロボット作業を学習する方法及びそのシステムに関する。

世界中で高齢化が進んでおり、それに伴って労働人口の減少や人件費の増加などの社会的問題が生じている。これらの問題により、産業全般にわたって自動化の必要性が高まっており、その解決法として、ロボットによる自動化が脚光を浴びている。このような傾向に伴い、近年、社会のあちこちで人手をロボットに置き換える動きが活発になっている。

しかし、伝統的な製造ロボット市場では、単純繰り返し作業を迅速かつ正確に行うことに関してのみロボット技術が集中しており、電機電子、物流などの新たな産業分野でロボットを用いた自動化の需要に柔軟に対処することが困難である。例えば、電機電子部品の製造においては、工程の標準化が難しく、作業の難易度が非常に高く、生産ラインの寿命が非常に短いので、画一的な作業を繰り返し行う従来のロボット技術を適用することが不適切である。また、物流サービス分野においては、ロボット作業の定型化が難しく、様々な状況への対処を必要とする。例えば、宅配サービスを行うロボットは、様々な重量の配送物品を持ち上げなければならないので、配送物品の重量に応じて適切な制御を行わなければならない。このように、様々な形態の作業が存在し、作業の形態によって異なる「力情報」が要求されるので、ロボットは異なる力情報が要求される様々な形態の作業を行わなければならないという困難さがある。

さらに、家事サービス分野においても、様々な状況が生じ、その場合も力情報が必要である。具体的には、日常生活空間で行われる多くの作業は、その作業を表現するために力情報が必要である。例えば、「パンにバターを塗る作業」のためには、ロボットがバターナイフでバターを押しつぶしながらバターナイフを動かさなければならないが、その押す「力」に応じて「パンにバターを塗る作業」の結果物が異なる。また、バターの硬度やパンの硬度などによっても作業の結果が異なる。

他の例として、ロボットが行うべき作業を表現する場合も、力情報が必要である。具体的には、「机に貼られた接着テープを剥がす作業」や「タオルを用いて机の上の汚れを取る作業」などにおいても、「力」の大きさや方向などの情報を用いて、作業をより正確に表現することができる。一方、近年、ロボットに作業を学習させる知能型ロボット技術が大きく注目されている。現在盛んに研究されている、ロボットに作業を学習させる方法としては、Ｔｅａｃｈｉｎｇ ｐｅｎｄａｎｔ、Ｋｉｎｅｓｔｈｅｔｉｃ ｔｅａｃｈｉｎｇ、Ｔｅｌｅｏｐｅｒａｔｉｏｎ、Ｈａｒｄ ｃｏｄｉｎｇなどが挙げられる。

しかし、これらの方法は、力情報を必要とする作業をロボットに学習させるには不適切な方法である。

より具体的には、Ｔｅａｃｈｉｎｇ ｐｅｎｄａｎｔは、位置及び姿勢情報を保存する方式で作業を学習する方法について記述しており、Ｋｉｎｅｓｔｈｅｔｉｃ ｔｅａｃｈｉｎｇは、人間が直接ロボットを掴んで動かすので、ロボットの立場では、人間から伝達される力が教示のための力であるか、作業に必要な力であるかを区別しにくいという問題がある。

Ｔｅｌｅｏｐｅｒａｔｉｏｎは、人間の姿勢情報のみロボットに伝達されるので、力情報を作業に含ませることができないという問題があり、Ｈａｒｄ ｃｏｄｉｎｇは、複雑な作業に対する柔軟性が劣り、また、全ての作業毎にプログラミングをしなければならないという問題がある。

よって、上記問題を解決できる新たな形態のロボット作業の学習方法と、力情報を必要とする作業を行えるロボットシステムに対するニーズが依然として存在する。

本発明は、ロボットが多様で複雑な作業を効果的に学習及び実行できる新たな学習モデルを提供するものである。

上記課題を解決するために、本発明によるロボットシステムは、力を伝達するハプティック操縦装置を用いて専門家が作業を試演し、それを学習するプロセスを用いる。

具体的には、前記ロボットシステムは、作業を行うように構成され、前記作業に関する力情報を検出するロボット装置と、前記ロボット装置を指導できるように操作可能に形成され、前記ロボット装置に対して前記作業の指導が行われる間、前記力情報に基づいてハプティックフィードバックを出力するインタフェース装置と、前記ハプティックフィードバックを出力する前記インタフェース装置により前記作業の指導が行われる間、前記ロボット装置の作業環境に関する第１情報、及び前記ロボット装置の駆動状態に関する第２情報を検知する検知部と、前記ロボット装置が前記作業を自律的に行えるように、前記第１情報及び前記第２情報を用いて、前記作業に関する前記ロボット装置の動作を学習する学習部とを含む。

本発明によるロボットシステムにおいて、前記検知部は、前記インタフェース装置により前記作業の指導が行われる間、前記ロボット装置に加わる外力を検出し、前記インタフェース装置は、前記外力に基づいて前記ハプティックフィードバックを出力する。

前記ハプティックフィードバックは、前記力情報に基づいて前記ロボット装置を指導できるように、前記インタフェース装置からユーザに前記外力に対応する力を伝達するものである。この場合、前記第１情報は、前記力情報に基づいて前記ロボット装置を指導することによって変化する前記作業環境に関する情報であり、前記第２情報は、前記力情報に基づいて前記ロボット装置を指導することによって変化する前記駆動状態に関する情報であってもよい。

本発明によるロボットシステムにおいて、前記ロボット装置は、前記インタフェース装置から前記作業の指導命令を受信する下位制御器と、前記下位制御器による制御の下で前記作業の指導命令に応じた駆動を行う駆動部と、前記下位制御器を制御して前記駆動部を駆動する上位制御器とを含むようにしてもよい。

前記下位制御器は、前記インタフェース装置から前記作業の指導命令を受信して前記駆動部を制御し、前記力情報としてハプティック情報を前記インタフェース装置に送信する。

前記学習部は、前記第１情報及び前記第２情報を用いて、前記作業の学習を行って前記上位制御器の少なくとも一部を導出する。この場合、前記上位制御器は、前記学習に基づいて前記ロボット装置が前記作業を自律的に行えるように、前記下位制御器に対する制御命令を生成するようにしてもよい。また、前記上位制御器は、前記ロボット装置を駆動するように予め設定された第１制御部と、前記学習により導出されて前記第１制御部と連動する第２制御部とを備えるようにしてもよい。

本発明によるロボットシステムにおいて、前記第１情報及び前記第２情報は、前記作業の指導命令と共に時系列データとしてデータベースに保存され、前記学習部は、前記時系列データを用いて前記上位制御器を導出する。

前記駆動部は、ＱＤＤ（Quasi-Direct-Drive）方式で駆動されるモータを備えるようにしてもよい。また、前記検知部は、前記モータの出力端にかかる力を入力端の電気エネルギーで検知することにより、前記力情報を検出するようにしてもよい。

また、本発明は、インタフェース装置による作業の指導が可能なロボット装置を提示する。前記ロボット装置は、１つの制御器により作業の指導が行われる間、学習データを取得し、他の制御器を学習する。

具体的には、前記ロボット装置は、前記インタフェース装置から前記作業の指導命令を受信する第１制御器と、多関節を備え、前記第１制御器による制御の下で前記作業の指導命令に応じた駆動を行う駆動部と、前記第１制御器による制御の下で前記駆動部が駆動される間、前記ロボット装置の作業環境に関する第１情報、及び前記ロボット装置の駆動状態に関する第２情報を検知する検知部と、前記第１制御器を制御して前記駆動部を駆動する第２制御器とを含む。このとき、前記ロボット装置は、前記第１情報及び前記第２情報を用いて、前記作業の学習を行い、前記第２制御器は、前記学習に基づいて前記ロボット装置が前記作業を自律的に行えるように、前記第１制御器に対する制御命令を生成する。

さらに、本発明は、ロボット作業の学習方法を提示する。前記ロボット作業の学習方法は、インタフェース装置に対する外部操作に基づいて、ロボット作業の指導が行われるステップと、前記インタフェース装置が、前記外部操作に対応する駆動命令をロボット装置に送信し、前記ロボット装置から前記ロボット作業で発生する力に関する情報を受信してハプティックフィードバックを出力するステップと、前記駆動命令に基づいて前記ロボット装置が前記ロボット作業を行う間、前記ロボット装置の作業環境に関する第１情報、及び前記ロボット装置の駆動状態に関する第２情報を検知するステップと、前記第１情報及び前記第２情報を用いて前記ロボット作業の学習を行うステップとを含む。

本発明によるロボット作業の学習方法及びロボットシステムは、ロボットと外部環境との間の力に関する情報に基づいてロボット作業を定義し、ロボットが多様で複雑な作業を容易に学習するようにする。具体的には、本発明は、作業環境の変化に対してより柔軟に対処できる学習方法を実現することができる。

姿勢及び位置に関する情報を用いるロボット作業の定義は、外部環境が変化すると新たなモデリングを導出しなければならないという問題があるが、本発明においては、力を考慮する新たな形態でロボット作業を定義するので、このような問題を解消することができる。

また、本発明は、ハプティック機能を備えたインタフェース装置を用いるので、専門家が実際の環境でロボットに加わる力のフィードバックを受けながらロボット指導を行うようになる。すなわち、様々な環境で力に基づく作業の指導を行うことができる。この場合、本発明は、ロボットにおいて実際の環境で作業に必要な情報を取得し、それを学習に活用し、よって、力情報を必要とする作業をロボットに学習させることができる。

この場合、本発明は、人間のフィジカル・インテリジェンスをロボットの言語（第１情報、第２情報）に変換して学習することができ、作業環境（第１情報）に応じて人間がどう行動するかを指示ステップで様々な情報（第１情報、第２情報）から類推、学習させることができる。また、本発明は、専門家の作業指示をロボットに学習させることができるので、多関節ロボットに対してより効果的な学習を行わせることができる。さらに、本発明は、多関節ロボットの高い自由度を用いて学習を行うので、様々な状況で様々な作業に対して柔軟に対処することができる。この場合、ロボットは、過去に行った作業に関する学習情報を新たな作業に関する学習情報として共に活用することにより、新たな作業の学習速度を向上させることができる。

このように、過去の学習データと学習された結果を用いて、専門家とハプティック装置によりロボットが作業を直接行って得た情報に基づいて学習するので、本発明においては、少ない数の指導、デモンストレーションだけでもロボットの学習を行うことができる。また、本発明は、異なる作業毎にロボットを動作させるためのプログラミングをすることなく、ハプティックを用いてロボットを教示することができるので、ロボットの学習のために必要な時間や努力を短縮することができる。さらに、本発明においては、指導ステップにおいて、下位制御器がインタフェース装置と情報を送受信し、学習ステップにおいて、指導ステップで取得された情報を用いて上位制御器を導出するので、より効率的な学習及びロボット制御が可能になる。

さらに、本発明においては、様々なセンサから得られたデータを用いるので、様々な状況で柔軟に対処できる上位制御器学習が可能になる。

この場合、上位制御器は、共通のミドルウェアとして実現され、異なるロボットの作業プログラムとして提供することができる。よって、ロボットの代替、作業計画の変更やロボットの安全基準の遵守を容易に行うことができる。

本発明によるロボット作業の学習方法及び作業の実行を説明するための概念図である。 本発明によるロボット作業の学習方法及び作業の実行を説明するための概念図である。 本発明によるロボットシステムの概要を説明するための概念図である。 図２のロボット装置の構造を説明するためのブロック図である。 本発明によるロボット作業の学習方法を代表的に示すフローチャートである。 図４の指導ステップの詳細を示すフロー図である。 図４の指導ステップの指導の概念を説明するための概念図である。 図４の学習ステップの詳細を示すフロー図である。 図４の学習ステップの学習の概念を説明するための概念図である。 図４の実行ステップの詳細を示すフロー図である。 図４の実行ステップの実行の概念を説明するための概念図である。 本発明によるロボット作業の学習方法及びロボットシステムの他の実施形態を示す概念図である。 本発明によるロボット作業の学習方法及びロボットシステムのさらに他の実施形態を示す概念図である。

以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部（ユニット）」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明瞭にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと理解されるべきである。

第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。

単数の表現には、特に断らない限り複数の表現が含まれる。

本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。

本発明は、力情報に基づいてロボット作業を学習させる方法及びシステムを提供するものである。

より具体的には、本発明は、ロボット作業時に発生する力に関する情報（力情報）に基づいてロボット作業を新たに定義する方法及びシステムを提供するものである。また、本発明は、自由度の高い多関節ロボットに対してより効果的に学習を行う方法及びシステムを提供するものである。

さらに、本発明は、外部環境が反映されて作業が自律的に行われるように、ロボットを指導するユーザの意図を反映できる学習方法及びシステムを提供するものである。

さらに、本発明は、作業指導時に外部環境を反映する方法、並びに学習データを効果的に取得できる学習方法及びシステムを提供するものである。

さらに、本発明は、産業現場やサービス現場で変化する作業環境に応じて新規の作業指示を容易に行うための現場技術を提供するものである。

本発明は、ハプティック機能を有する遠隔操縦装置（又はインタフェース装置）を用いてロボット作業を学習する方法及びそのシステムを提供するものである。

ここで、ハプティック（haptic）とは、コンピュータ触覚技術であって、具体的には、ユーザの入力装置により触覚、力、運動感覚などを感じさせる技術を意味する。この場合、触覚、力、運動感覚の効果は、振動、空気噴射、温度制御などにより実現することができ、他の例として、ユーザが指や腕などの筋感覚を通して感じるように実現することもできる。また、本明細書において説明されるハプティックフィードバックとは、入力装置によるフィードバックを用いて触覚、力、運動感覚などを感じさせる技術を意味する。

このように、本発明は、ロボットの遠隔操縦装置にハプティックフィードバックを出力することにより、実際の作業環境でロボットにより生成される力を遠隔操縦装置のユーザに認知（知覚）させる。

また、本明細書において、ロボットは、ｉ）人間に類似した機能を有する機械、又は、ｉｉ）１つもしくは複数のコンピュータプログラムで動作し（programmable）、自動的に複雑な一連の作業（complex series of actions）を行う機械的装置をいう。他の例として、ロボットは、形態があり、自ら考える能力を有する機械であり得る。

特に、本明細書において例に挙げるロボットには、機能的観点から、製造工場で組立、溶接、ハンドリングなどを行う産業用ロボット、環境を認識して自ら判断する機能を有する知能型ロボットなどがある。また、本明細書において説明されるロボットは、１つの機能を行うのではなく、様々な機能を複合的に行うように構成することができる。

さらに、本明細書において説明されるロボットは、形状と行動が人間に似たアンドロイドロボット、人間に類似した身体構造を有するヒューマノイドロボット、身体の一部を機械に改造したサイボーグなどの形態で実現することができる。

さらに、本明細書において説明されるロボットには、用途的観点から、掃除ロボット、娯楽ロボット、教育ロボット、リハビリロボットなどの個人サービス用ロボット（service robot for personal and private use）、案内ロボット、消防ロボット、医療ロボット、配達ロボット、災難救助ロボット、引っ越しロボット、家事ロボット、厨房ロボットなどの専門サービス用ロボット（service robot for professional use）、溶接ロボット、塗装ロボット、移送ロボットなどの製造用ロボット（industrial robot）、戦闘ロボット、偵察ロボットなどの軍事用ロボット（military robot）などが含まれる。

一方、本明細書において説明されるロボットは、前述した機能や用途を実現するために、アクチュエータ、制御システム、エンドエフェクタ、マニピュレータ、センサなどを備える。

なお、本発明によるロボットは、様々な作業を行うための適切な形態をとるために、多関節のマニピュレータを有する多関節ロボットに実現することができる。また、本発明においては、多関節ロボットの新たな学習方法を提示することにより、ロボットが多様で複雑な作業を安全に実行できる新たな学習モデルを実現する。

もっとも、本発明の実施形態においては、多関節の駆動部とインタフェース装置の構造を基準に、ロボットの新たな学習方法について説明するが、本発明は、これに限定されるものではない。すなわち、以下に説明する実施形態は、ロボットの構造や学習方式であれば、タイプに関係なく適用することができる。

図１ａ及び図１ｂは、本発明によるロボット作業の学習方法及び作業の実行を説明するための概念図である。

図１ａに示すように、ユーザはロボットに特定の作業環境に必要な作業を指導する。

ここで、作業環境とは、ロボットが作業を行うための環境をいい、ロボットを囲む様々な環境的要因が含まれる。特に、作業環境は、ロボットが行う作業に関する材料、道具、作業対象などが全て含まれる意味と解される。

以下、特定の作業及び特定の作業環境の具体例を挙げて本発明を説明する。

特定の作業として、「木に釘を打ち込む作業」を例に挙げる。

本発明においては、特定の作業を行うために、ユーザにより、木に釘を打ち込む作業がロボットに指導される。ユーザは、作業の専門家又はロボット指導の専門家であってもよい。ユーザは、インタフェース装置を用いてロボットを遠隔操縦するようにしてもよい。一方、本明細書において言及される「ユーザ」は、必ずしも専門家に限定されるものではなく、インタフェース装置を用いてロボットを操縦できる主体であればよい。

本明細書において、「指導」は、ロボットを教えて導くという意味であり、ガイド、教示などともいえる。

インタフェース装置は、ユーザの操作により、駆動命令を生成してロボットに送信するようにしてもよい。例えば、インタフェース装置は、遠隔操縦装置であって、ロボットとの通信により駆動命令を送信する。

同図に示すように、ロボットは、ユーザの操作により、木に釘を打ち込む作業を行う。この場合、作業環境（又は特定の作業環境）には、木などのオブジェクト、木の位置、木の材質、ロボットの姿勢の制約などが含まれる。

一方、本発明においては、インタフェース装置としてハプティック装置を用いて、力情報を必要とする作業を力の制御が可能なロボットに学習させる方法論を提示する。

よって、前記インタフェース装置は、ロボットが釘を打ち込む際に発生する力をハプティックフィードバックとして出力するように構成される。そのために、前記インタフェース装置は、ハプティックモジュールを備えてもよい。

ユーザは、実際に作業時にロボットに発生する力を感じながら、インタフェース装置を用いて、遠隔操縦により、釘を打ち込む作業をロボットに指導する。具体的には、ロボットは、実際の作業を試演する形態で行い、このとき、ユーザがインタフェース装置を通じて当該作業で発生する実際の力を感じると共に、前記試演のために前記インタフェース装置を操縦する。

この場合、ロボットは、作業指導過程で学習のための学習データを検出し、検出した学習データを含むデータベースを構築するようにしてもよい。また、ロボットは、構築したデータベースを用いて、マシンラーニングなどにより作業を学習するようにしてもよい。

学習により、制御器、制御プログラム、作業実行ポリシーなどが導出され、ロボットは、ユーザによる指導がなくても、学習結果を活用して、過去に行った作業及びそれに類似した作業を自律的に行うようになる。

このような学習の結果として、図１ｂに示すように、ロボットは、コンクリート壁に釘を打ち込む作業を行えるようになる。コンクリート壁に釘を打ち込む場合は、水平方向に配置された木とは異なってオブジェクトが垂直方向に配置される点や、釘を打ち込むためにさらに大きな力が必要である点などで、作業環境が異なる。しかし、ロボットは、作業指導過程でユーザの行為の意図を把握したので、作業を実行するにあたって作業環境が変わっても作業を自律的に行うことができる。

ただし、本発明は、必ずしも本例のようなプロセスに限定されるものではない。本実施形態を他の形態で実施できることは、本発明の属する技術の分野における通常の知識を有する者であれば容易に理解できるであろう。その例として、指導ステップで、垂直方向に配置された木に釘を打ち込む作業を指導するようにしてもよい。そして、実際の作業過程で、木ではなくコンクリートに釘を打ち込む作業がロボットに要求されることがある。その場合、作業の対象となるオブジェクトは、木からコンクリートに変更され、それは作業環境の変更を意味する。このように作業環境が変更されると、本発明によるロボットは、変更された作業環境での作業のために、従来学習した作業の作業情報（例えば、力情報）から、変更された作業環境に必要な作業情報を導出するようにしてもよい。例えば、上記の場合、木ではなくコンクリートに釘を打ち込むために、木に釘を打ち込む場合よりもさらに大きな力を必要とし、本発明によるロボットは、学習に基づいて、新たに付与された作業のために必要な力情報を導出する。

図１ａ及び図１ｂを参照して説明したロボット作業の学習方法及び作業の実行を実現するために、本発明は、ロボット作業の新たな定義と、ロボットに様々な作業を学習させる方法を提示する。

このように、本発明は、ロボット作業を新たに定義し、様々な作業を学習する方法論を提供するものである。以下、本発明によるロボット作業の学習方法及びロボットシステムについて、添付図面と共により具体的に説明する。図２は、本発明によるロボットシステムの概要を説明するための概念図であり、図３は、図２のロボット装置の構造を説明するためのブロック図であり、図４は、本発明によるロボット作業の学習方法を代表的に示すフローチャートである。

以下、「１つのロボットを学習させるシステム及び学習方法」を例に挙げて説明するが、本発明は、複数のロボットを学習させるシステム及び学習方法にも適用できることは言うまでもない。

図２に示すように、本発明によるロボットシステム１００は、ロボット装置１１０、インタフェース装置１２０及びデータベース１３０の少なくとも１つを含む。また、ロボットシステム１００は、ユーザ１０及び作業環境２０と組み合わせられ、図４の学習法を実現する。

まず、図４に示すように、本発明の学習法は、指導ステップ（Ｓ１００）、学習ステップ（Ｓ２００）及び実行ステップ（Ｓ３００）のプロセスで構成されてもよい。

指導ステップ（Ｓ１００）は、ユーザがインタフェース装置１２０によりロボット装置１１０を操縦して作業を行うことにより、ロボット装置１１０を指導するステップであってもよい。

図２を参照すると、指導ステップ（Ｓ１００）で、ユーザ１０は、ハプティック機能を有するインタフェース装置１２０によりロボット装置１１０を操縦して作業を行う。前述したように、ユーザ１０は、作業の専門家又はロボット指導の専門家であってもよい。

作業環境２０は、作業に必要なオブジェクトを含む環境であり、物体、ツール及びその周辺環境をまとめて指し示す。一例として、建物内で宅配物品を受取人に運搬する場合、作業環境２０には、宅配物品（物体）、運搬時の保管箱（ツール）、建物の内外、廊下、階段、エレベータなどの場所（周辺環境）が含まれ得る。他の例として、前述したように木に釘を打ち込む場合、作業環境２０には、木及び釘（物体）、ハンマー（ツール）、木が配置された形態（周辺環境）が含まれ得る。

この場合、ロボット装置１１０も、それ自体として作業環境２０に含まれ得る。例えば、ロボット装置１１０のサイズや移動範囲などが作業環境２０に含まれ得る。

また、本実施形態において、作業は、特定の物体又は対象を所望の状態（位置、姿勢など）にすることであると定義される。一例として、建物内で宅配物品を受取人に運搬する場合、作業は、宅配物品を所望の位置に運搬して受取人に伝達することであり得る。他の例として、前述したように木に釘を打ち込む場合、作業は、釘に垂直方向に力を加えて床に水平方向に配置された木に釘を打ち込むことであり得る。

インタフェース装置１２０は、学習指導装置であり、ハプティック遠隔操縦装置であってもよい。例えば、インタフェース装置１２０は、ユーザ１０がロボット装置１１０を操縦して作業を行うようにし、作業中に行われるロボット装置１１０と作業環境２０との相互作用をユーザ１０に認知させるためのハプティックフィードバックを提供する装置であってもよい。

そのために、インタフェース装置１２０は、ロボット装置１１０を指導できるように操作可能に形成され、ロボット装置１１０に対して前記作業の指導が行われる間、前記力情報に基づいてハプティックフィードバックを出力するように構成される。

その例として、インタフェース装置１２０は、６自由度以上を有する装置であってもよく、また、各自由度がアクチュエータにより動く構造を有するようにしてもよい。このような操作のための構成に加えて、インタフェース装置１２０は、ハプティックフィードバックを提供する装置をさらに備える。

例えば、インタフェース装置１２０は、ハプティックフィードバックを出力するハプティックモジュールを備えてもよい。また、前記ハプティックモジュールは、インタフェース装置１２０においてハプティック機能の組み合わせによって２つ以上備えられてもよい。

一方、インタフェース装置１２０は、ロボット装置１１０との通信のための無線通信部と、ロボット装置１１０からの情報をユーザに伝達する出力部とを備えてもよい。

前記無線通信部は、ロボット装置１１０との無線通信のためのモジュールで構成されてもよく、前記出力部は、ロボット装置１１０から受信した画像情報を出力するディスプレイ機器などであってもよい。この場合、前記ディスプレイ機器は、３Ｄディスプレイ、混合現実ディスプレイ、ＶＲ機器などであってもよい。

ロボット装置１１０は、作業を行うように構成され、前記作業に関する力情報を検出するように形成される。

ロボット装置１１０は、図１を参照して説明したロボットの様々な形態のいずれかであってもよい。ロボット装置１１０は、作業環境に変化を与える装置（駆動部）を含み、作業環境を認知する装置（センサなど）を備えてもよい。

その例として、図３に示すように、ロボット装置１１０は、無線通信部１１１、検知部１１２、駆動部１１３、制御部１１４、メモリ１１５、インタフェース部１１６、電源供給部１１７などを備えてもよい。ただし、本明細書において説明されるロボット装置１１０は、前記列挙された構成要素よりも多い構成要素を備えるようにしてもよく、それより少ない構成要素を備えるようにしてもよい。例えば、検知部１１２及び制御部１１４は、ロボット装置１１０内に存在するようにしてもよく、ロボット装置１１０の外部に存在するようにしてもよい。つまり、無線通信部１１１、検知部１１２、駆動部１１３、制御部１１４、メモリ１１５、インタフェース部１１６及び電源供給部１１７は、その一部がロボット装置１１０として構成され、他の一部が別の装置に実現されるようにしてもよい。また、無線通信部１１１は、有線通信部で代替してもよい。さらに、ロボット装置１１０及びインタフェース装置１２０が別の有線通信部を備えるようにしてもよい。この場合、ロボット装置１１０及びインタフェース装置１２０には、有線及び無線通信だけでなく、１つのシステム内でメモリを用いる通信も含まれるようにしてもよい。

無線通信部１１１は、ロボット装置１１０とインタフェース装置１２０との間、ロボット装置１１０と他のロボット装置との間、又はロボット装置１１０と外部サーバとの間の無線通信を行う。また、無線通信部１１１は、ロボット装置１１０を１つ以上のネットワークに接続する１つ以上のモジュールを含んでもよい。その例として、無線通信部１１１は、無線インターネットモジュール１１１ａ、近距離通信モジュール１１１ｂ、位置情報モジュール１１１ｃなどを備えてもよい。

無線インターネットモジュール１１１ａは、無線インターネット接続のためのモジュールであり、ロボット装置１１０に内蔵されるか又は外付けされる。無線インターネットモジュール１１１ａは、無線インターネット技術による通信網で無線信号を送受信するように構成される。

近距離通信モジュール１１１ｂは、近距離通信（Short range communication）のためのモジュールであり、ロボット装置１１０の近距離通信をサポートする。例えば、近距離通信は、ブルートゥース（Bluetooth^TM）、ＲＦＩＤ（Radio Frequency Identification）、ＩｒＤＡ（Infrared Data Association）、ＵＷＢ（Ultra Wide Band）、ＺｉｇＢｅｅ、ＮＦＣ（Near Field Communication）、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ（Wireless Fidelity Direct）、ワイヤレスＵＳＢ（Wireless Universal Serial Bus）技術の少なくとも１つであってもよい。

位置情報モジュール１１１ｃは、ロボット装置１１０の位置（又は現在位置）の取得のためのモジュールであり、ＧＰＳベース及びネットワークベースの測位技術の少なくとも一方を用いるものであってもよい。ただし、位置情報モジュール１１１ｃは、検知部１１２と組み合わせられて位置情報を取得するようにしてもよい。この場合、位置情報モジュール１１１ｃは、光センサベース、ライダベース、慣性センサベース、画像ベース、融合センサベースの測位技術に必要な情報を受信するモジュールであってもよい。

検知部１１２は、作業で発生する力に関する情報（力情報）、ロボット装置１１０内の情報（特に、ロボット装置１１０の駆動状態に関する情報）、ロボット装置１１０を囲む周辺環境に関する情報、ロボット装置１１０の位置に関する情報、及びユーザ情報の少なくとも１つを検知するための１つ以上のセンサを含んでもよい。

前記作業で発生する力は、例えば、ロボット装置１１０に加わる外力であってもよい。この場合、前記外力は、力トルクセンサを用いて測定したり、モータに供給される電流などのロボット装置１１０の状態を用いて推定する方式で算出することができる。

ロボット装置１１０の駆動状態は、モータの角度、加速度及び角速度や、モータに供給されるトルク又は電流などであってもよい。よって、検知部１１２は、モータに供給される電流を検知する電流センサ１１２ａと、モータの角度を検知するエンコーダ１１２ｂとを備えてもよい。また、検知部１１２は、モータの加速度及び角速度を検知するＩＭＵセンサ、モータに供給されるトルクを検知するトルクセンサなどをさらに備えてもよい。

ロボット装置１１０を囲む周辺環境には、作業環境２０が含まれる。よって、検知部１１２は、特定のセンサを用いて、オブジェクトとの距離、作業環境の温度などのデータを測定するようにしてもよい。また、検知部１１２は、ビジョンプロセッシングで情報を取得するために、カメラ１１２ｃを備えてもよい。このように作業環境２０を検知するセンサは、ロボット装置１１０内に存在するようにしてもよく、ロボット装置１１０の外部に存在するようにしてもよい。例えば、ロボット装置１１０と共に周辺状況を撮影する場合、前記センサは、ロボット装置１１０の外部に備えられてもよい。

他の例として、検知部１１２の構成に関係なく、指導ステップ（Ｓ１００）での情報の取得のために、本発明によるロボットシステム１００においては、イメージセンサ、カメラなどがロボット装置１１０の外部に別途備えられてもよい。

駆動部１１３は、制御部１１４による制御の下で前記ユーザの指導命令に応じた駆動を行うように構成される。その例として、駆動部１１３は、エンドエフェクタ１１３ａ、マニピュレータ１１３ｂ及びアクチュエータ１１３ｃの少なくとも１つを備えてもよい。

エンドエフェクタ１１３ａは、環境と相互作用するように設計されたロボットアームの先端装置であり、グリッパ、ピンセル、メスなどであってもよい。このようなエンドエフェクタ１１３ａは、ロボット装置１１０とは別に、ロボットの周辺機器やアクセサリーなどとして備えられてもよい。

マニピュレータ１１３ｂは、ロボット装置１１０の本体及び腕（アーム）にリンク、ジョイント及びその他の構造要素とメカニズムを統合する装置である。多関節ロボットの場合、モータの回転運動を行う複数の関節を有するマニピュレータ１１３ｂを備えるようにしてもよい。

この場合、マニピュレータ１１３ｂ及びエンドエフェクタ１１３ａは、６自由度以上の腕及び１自由度以上の手（ハンド）を形成するようにしてもよい。また、本発明のロボット装置１１０を双腕ロボット又は複数の腕を有するロボットに実現するために、前記腕及び前記手を複数対にしてもよい。

アクチュエータ１１３ｃは、電気、化学又は熱エネルギーを回転又は直線運動に変換する装置であり、モータ、空圧シリンダ、人工筋肉などであってもよい。

アクチュエータ１１３ｃは、ＱＤＤ方式で駆動されるモータを備えてもよい。ＱＤＤ方式では、出力端にかかる力を入力端のセンサにより検知する。

この場合、前記入力端のセンサは、検知部１１２に含まれるようにしてもよい。すなわち、検知部１１２は、前記モータの出力端にかかる力を入力端の電気エネルギーで検知することにより、前記力情報を検出するようにしてもよい。

このように、前記ＱＤＤ方式のモータの電流センサにより外力を検知することができ、前記モータの電流を制御してトルクを予測することができる。ロボット作業で発生する外力は、前記モータに供給される電流などのロボット装置１１０の状態を用いて推定する方式で算出することができる。ただし、本発明は、必ずしもこれに限定されるものではない。例えば、ＱＤＤ方式でなくても、モータと共に関節のトルクを測定できるセンサを用いてトルク制御を実現することもできる。

一方、本発明のロボット装置１１０は、メモリ１１５、インタフェース部１１６及び電源供給部１１７を備えてもよい。

メモリ１１５は、制御部１１４の動作のためのプログラムを保存することができ、入出力されるデータ（例えば、駆動命令など）を一時保存することもできる。インタフェース部１１６は、ロボット装置１１０を外部機器に接続するための通路として備えられてもよい。例えば、インタフェース部１１６は、接続端子、ポート、電源端子などであってもよい。電源供給部１１７は、外部の電源又は内部の電源の供給を受けてロボット装置１１０の各構成要素に供給する装置であってもよい。他の例として、電源供給部１１７は、ロボット装置１１０の内部で電気エネルギーを生成してロボット装置１１０の各構成要素に供給する装置であってもよい。

制御部１１４は、作業を行う動作と共に、通常のロボット装置１１０の全般的な動作を制御する。

図３に示すように、制御部１１４は、第１制御器及び第２制御器を備えてもよい。

本実施形態において、前記第１制御器は、下位制御器１１４ｂであり、前記第２制御器は、上位制御器１１４ａである。ただし、本発明は、必ずしもこれに限定されるものではない。他の例として、前記第１制御器は、上位制御器であり、前記第２制御器は、下位制御器であってもよい。さらに他の例として、前記第１制御器及び前記第２制御器は、上位制御と下位制御を適用せず、並列に構成してもよい。

下位制御器１１４ｂは、１つ又は複数の制御器で構成されてもよい。例えば、下位制御器１１４ｂは、位置制御器、速度制御器及び電流制御器の少なくとも１つを含むようにしてもよい。この場合、駆動部１１３は、下位制御器１１４ｂによる制御の下でユーザの指導命令に応じた駆動を行うようになる。

例えば、下位制御器１１４ｂは、インタフェース装置１２０から前記作業の指導命令を受信し、駆動部１１３を制御する。また、下位制御器１１４ｂは、上位制御器１１４ａから前記作業の駆動命令を受信し、駆動部１１３を制御するようにしてもよい。この場合、上位制御器１１４ａは、下位制御器１１４ｂを制御して駆動部１１３を駆動する機能を実行する制御器となり、詳細については後述する。

具体的には、下位制御器１１４ｂは、インタフェース装置１２０又は上位制御器１１４ａから命令を受信し、検知データを用いてモータに供給するトルク又は電流を計算するようにしてもよい。計算の結果によって、位置制御器、速度制御器、電流制御器などによりモータなどを駆動し、駆動命令は、１つの又は複数のパラメータにより決定されるようにしてもよい。

この場合、前記駆動命令には、作業に関する情報が含まれない。すなわち、下位制御器１１４ｂは、例えば、特定のモータを特定の位置に動かせる命令、特定のモータに特定量の電流を流す命令などの命令を実行する。

最終的に、下位制御器１１４ｂは、モータを用いて外部環境と力との相互作用を行う制御器であり、上位制御器１１４ａ又はインタフェース装置１２０により受信した命令を用いてモータなどのアクチュエータ１１３を制御する機能を実行する。このように、指導ステップ（Ｓ１００）においては、下位制御器１１４ｂがインタフェース装置１２０から駆動命令を受信し、モータなどのアクチュエータ１１３を制御する。

図２に示すように、本発明によるロボットシステム１００は、データベース１３０をさらに含んでもよい。指導ステップ（Ｓ１００）でロボット装置の状態及び作業環境に関する情報を検知し、インタフェース装置１２０から下位制御器１１４ｂへの命令を検出し、それらは時系列データとしてデータベース１３０に保存されるようにしてもよい。

一方、データベース１３０には、指導ステップ（Ｓ１００）の情報だけでなく、過去のデータが共に保存されるようにしてもよい。その例として、過去の学習により導出されたポリシー（方法論）が共に保存されるようにしてもよい。

図４の学習ステップ（Ｓ２００）においては、学習部１４０（図６ｂ参照）がデータベース１３０を用いて学習を行い、学習ステップ（Ｓ２００）の結果物として、上位制御器１１４ａの少なくとも一部が導出されるようにしてもよい。そのために、本発明によるロボットシステム１００は、学習部１４０をさらに含んでもよい。

学習部１４０は、ロボット装置１１０が前記作業を自律的に行えるように、データベース１３０を用いて、前記作業に関するロボット装置１１０の動作を学習する。例えば、学習部１４０は、ロボット装置１１０とは別に構成されてもよく、ロボット装置１１０の内部に備えられてもよい。また、学習部１４０は、データベース１３０と共に別のサーバに備えられてもよい。

学習ステップ（Ｓ２００）は、指導ステップ（Ｓ１００）で生成された情報（検知データ及びロボットの内部状態）などをデータベース１３０に保存し、保存したデータを用いて学習し、対象作業を行うためのポリシー（例えば、上位制御器）を導出するステップであってもよい。

ここで、上位制御器を導出する条件（objective function：目的関数）は、ユーザがインタフェース装置によりロボット装置を操縦して行った作業と学習された上位制御器を用いて行った作業の結果物が同じでなければならないという条件であってもよい。

また、その場合、学習ステップ（Ｓ２００）は、必ずしも指導ステップ（Ｓ１００）が完了した後に行わなければならないわけではない。本発明においては、例えば、指導ステップ（Ｓ１００）が学習ステップ（Ｓ２００）に先行するが、時間の流れを基準に、指導ステップ（Ｓ１００）の少なくとも一部が学習ステップ（Ｓ２００）と重なるようにしてもよい。

図３に示すように、上位制御器１１４ａは、ロボット装置１１０の制御部１１４に備えられてもよい。また、上位制御器１１４ａは、複数の制御器に分けられて備えられてもよく、様々な形態に変形可能である。その例として、上位制御器１１４ａは、人工知能（AI，Artificial Intelligence）技術で用いられるシステムの１つとして実現することができる。

例えば、上位制御器１１４ａは、階層的制御器、有限状態機械（finite state machine）及びビヘイビアツリー（behavior tree）の少なくとも１つを備えるようにしてもよい。このような上位制御器１１４ａは、プログラミング言語であるゲン（Gen）、パイソン（Python）、リスプ（LISP）、ジュリア（Julia）、Ｃ／Ｃ＋＋などと、ＡＩディープラーニングフレームワークであるテンソルフロー（TensorFlow）、パイトーチ（Pytorch）、テアノ（Theano）などにより実現することができる。この場合、上位制御器１１４ａは、学習ステップ（Ｓ２００）の結果物であってデータから学習された部分と、学習に関係なく予めプログラミングされた部分とをそれぞれ備えるようにしてもよい。

図４の実行ステップ（Ｓ３００）において、上位制御器１１４ａは、行うべき作業の入力を受け、現在の状態の情報から次の行為に関する情報を算出し、下位制御器１１４ｂに伝達するようにしてもよい。このように、ロボット装置１１０は、学習されたポリシーや導出された上位制御器１１４ａを用いて、実行ステップ（Ｓ３００）で作業を自律的に行うようになる。

上位制御器１１４ａは、学習ステップ（Ｓ２００）の結果物であって下位制御器１１４ｂに一方向に命令を伝達するので、上位制御器１１４ａと下位制御器１１４ｂとは異なる周期を有するように設定されてもよい。

この場合、上位制御器１１４ａは、作業に関する情報を含み、モーションを行うための一連のシーケンスで表すことができる。その例として、上位制御器１１４ａは、次のように表される。

ｘ：センサから得られたデータ（ロボット及び作業環境の状態）
ｕ：行為（下位制御器の立場では命令）
ｘ_ｔ：１：１秒からｔ秒までの状態
ここで、行為は、ロボット装置のエンドエフェクタの姿勢やモータのトルク（又は電流）であってもよい。また、行為は、ベクトル場（vector field）で表される状態・トルク関数であってもよく、下位制御器を構成するパラメータセットの部分集合であってもよい。

このように、本発明においては、ハプティック機能を備えたインタフェース装置１２０を用いることにより、専門家が実際の環境でロボットに加わる力のフィードバックを受けながらロボット指導を行うようになり、そのロボット指導において検知された様々な情報を学習して上位制御器１１４ａを導出する。よって、ハプティック装置を用いて、力情報を必要とする作業を力の制御が可能なロボットに学習させる方法論を実現することができる。

以下、前述した本発明によるロボットシステム１００を参照して、ロボット作業の学習方法について、添付図面と共により具体的に説明する。図５ａ及び図５ｂは、それぞれ図４の指導ステップの詳細を示すフロー図及び指導の概念を説明するための概念図であり、図６ａ及び図６ｂは、それぞれ図４の学習ステップの詳細を示すフロー図及び学習の概念を説明するための概念図であり、図７ａ及び図７ｂは、それぞれ図４の実行ステップの詳細を示すフロー図及び実行の概念を説明するための概念図である。

本発明によるロボット作業の学習方法において、図４の指導ステップ（Ｓ１００）は、図５ａのように細分化することができる。

まず、インタフェース装置１２０に対する外部操作に基づいて、ロボット作業の指導が行われる。すなわち、専門家によりロボット作業の指導のための操縦装置の操作が行われる（Ｓ１１０）。前記専門家は、ユーザ、作業の専門家、ロボット指導の専門家、作業者など様々であり、説明の便宜上、以下、専門家と統一して示す。

この場合、専門家のロボット指導のための事前準備が行われてもよい。例えば、ロボット作業が決定されると、ロボットの指導及び学習のための細部的な作業環境の設定や指導計画の設定などが行われてもよい。

インタフェース装置１２０は、図５ｂに示すように、人間の腕やロボットアームに類似したサイズを有し、多関節からなるようにしてもよい。また、インタフェース装置１２０は、図１～図４を参照して説明したインタフェース装置の機能や構造を備えるようにしてもよい。

次に、専門家がインタフェース装置１２０を把持して動かして操作を行うと、インタフェース装置１２０により駆動命令が生成されてロボット装置１１０に送信される（Ｓ１２０）。すなわち、インタフェース装置１２０が前記操作に対応する駆動命令をロボット装置１１０に送信する。ただし、本発明は、必ずしもこれに限定されるものではなく、インタフェース装置１２０が前記動きに関する情報をロボット装置１１０に送信し、ロボット装置１１０が駆動命令を生成するようにしてもよい。

より具体的には、前記動きに関する情報は、インタフェース装置１２０の無線通信部とロボット装置１１０の無線通信部とのデータ通信によりロボット装置１１０に送信されるようにしてもよい。その後、前記動きに関する情報は、ロボット装置１１０の下位制御器１１４ｂ（図２及び図３参照）に伝達される。この場合、ロボット装置１１０が専門家の操作や動きを描写するために、インタフェース装置１２０及びロボット装置１１０の機構学情報に基づく制御器やアルゴリズムが備えられてもよい。

次に、前記駆動命令に基づいてロボット装置１１０が作業を行う（Ｓ１３０）。具体的には、ロボット装置１１０の下位制御器１１４ｂに動作の実行のための命令が入ると、下位制御器１１４ｂがロボット装置１１０の駆動部１１３を制御して作業を行う。例えば、ロボット装置１１０において、検知部１１２は、作業環境やモータの現在状態などを検知し、下位制御器１１４ｂは、検知部１１２から作業環境やモータの現在状態などを受信して作業の実行のための動作を算出し、それに対応してモータを制御する。この場合、前記モータは、図１～図４を参照して説明したように、ＱＤＤ方式のモータであってもよく、他の方式のモータであってもよい。

このように、前記モータにより、ハードウェア、すなわちエンドエフェクタ１１３ａ（図３参照）及びマニピュレータ１１３ｂ（図３参照）が動くと、作業環境と力との相互作用により作業環境の変化が生じる。このような作業環境の変化は、例えば、釘を打って木から突出した釘の高さが異なることなどであり、その詳細については前述した通りである。このとき、検知部１１２のセンサは発生した外力を検知する（Ｓ１４０）。また、検知部１１２は、作業環境の状態や変化を検知する。

次に、インタフェース装置１２０が前記ロボット作業で発生する力に関する情報（力情報）をロボット装置１１０から受信し、ハプティックフィードバックを出力するステップが行われる。

このように、検知部１１２は、インタフェース装置１２０により前記専門家の指導が行われる間、ロボット装置１１０に加わる外力を検出し、インタフェース装置１２０は、前記外力に基づいて前記ハプティックフィードバックを出力する。

より具体的には、センサにより取得された外力及び作業環境の状態や変化に関する情報は、インタフェース装置１２０を介して前記専門家に伝達される。まず、前記情報は、ハプティック情報としてインタフェース装置１２０に送信されるようにしてもよい（Ｓ１５０）。前記ハプティック情報は、前記外力及び前記作業環境の状態や変化を通知するデータであってもよい。この場合、下位制御器１１４ｂは、前記力情報としてハプティック情報をインタフェース装置１２０に送信するようにしてもよい。

例えば、図５ｂに示すように、ロボット装置１１０が木に釘を打ち込むためにハンマーで釘を打つと、反力（Ｆ１）が発生してロボット装置１１０に力を加え、その反力（Ｆ１）のデータが力情報としてインタフェース装置１２０に伝達される。インタフェース装置１２０は、専門家が把持する部分に対して反力（Ｆ１）に対応する力（Ｆ２）を垂直方向に加えることにより、専門家が釘を打ち込む作業で反力（Ｆ１）を感じるようにする。もっとも、本明細書においては、反力を例に挙げて説明するが、作業環境では、ハンマーの重量など、様々な外力、物体の材質、表面の粗さなどが発生し、そのような外力が前記力情報に含まれ得る。

このように、前記ハプティックフィードバックは、前記力情報に基づいてロボット装置１１０を指導できるように、インタフェース装置１２０からユーザに前記外力に対応する力を伝達するものである。

前記ハプティックフィードバックのために前記ハプティックモジュールを駆動する駆動命令は、インタフェース装置１２０で生成される。他の例として、前記ハプティック情報は、前記データから導出したインタフェース装置１２０に対する制御命令であってもよく、その場合は、前記制御命令を用いて前記ハプティックモジュールを駆動する。

前記ハプティックモジュールの駆動により、インタフェース装置１２０は、前記外力に関するハプティックフィードバックを出力する（Ｓ１６０）。例えば、前記ハプティックモジュールは、複数のアクチュエータ又は装置を備えるようにしてもよく、インタフェース装置１２０は、専門家が感じるように、アクチュエータ又は装置により力や環境変化のデータを送信するようにしてもよい。

このように前記ハプティックフィードバックを受けた専門家は、力を反映してロボット作業の指導のための操縦装置の操作を行う（Ｓ１１０）。

このように、専門家は、指導に必要な情報をインタフェース装置１２０から受け入れることができ、作業環境を直接見て感じることもできる。ただし、作業環境との相互作用はロボット装置１１０によってのみ行われる。すなわち、環境に変化を与える方法は、ロボット装置１１０によってのみ可能である。

前述した指導ステップ（Ｓ１００）の次に図４の学習ステップ（Ｓ２００）が行われる。本発明によるロボット作業の学習方法において、学習ステップ（Ｓ２００）は、図６ａのように細分化することができる。

図６ａに示すように、学習ステップ（Ｓ２００）は、データ保存ステップとポリシー（方法論）学習ステップとを含むようにしてもよい。

まず、指導ステップ（Ｓ１００）で前記駆動命令に基づいてロボット装置１１０が作業を行うと、学習データが検知される（Ｓ２１０）。より具体的には、インタフェース装置１２０からロボット装置１１０に送信された駆動命令に基づいてロボット装置１１０が前記ロボット作業を行う間、前記学習データとして、ロボット装置１１０の作業環境に関する第１情報、及びロボット装置１１０の駆動状態に関する第２情報が検知される。

前記第１情報及び前記第２情報の検知は、ハプティックフィードバックを出力するインタフェース装置１２０により前記ロボット作業の指導が行われる間、検知部１１２により行われる。ただし、前記学習データは、前記第１情報及び前記第２情報を必ずしも含むわけではなく、いずれか一方の情報のみを含むようにしてもよい。

このように検知された前記第１情報及び前記第２情報は、専門家の行為の意図を把握するためのデータとして収集されるようにしてもよい。そのために、前記第１情報及び前記第２情報は、前記力情報に基づいてロボット装置１１０を指導することによって変化する前記作業環境及び前記駆動状態に関する情報であってもよい。ここで、前記行為の意図とは、どの状況でどの動作を行って作業を行うかの計画を意味する。また、前記行為の意図は、学習により導出される上位制御器１１４ａにより具体化されるようにしてもよい。

図６ｂと共に図２を参照すると、データベース１３０には、専門家がインタフェース装置１２０を操作してロボット装置１１０が作業を行う際にロボット装置１１０に送信される駆動命令が保存されるようにしてもよい。また、データベース１３０には、作業環境２０とロボット装置１１０の駆動状態が保存されるようにしてもよい。ここで、作業環境２０とロボット装置１１０の駆動状態には、図１～図４を参照して説明した内容を適用することができる。その例として、前記第１情報は、撮影画像、オブジェクトとの距離及び作業環境の温度の少なくとも１つを含み、前記第２情報は、モータの角度、加速度及び角速度、並びに前記モータに供給されるトルク又は電流の少なくとも１つを含むようにしてもよい。

また、前記撮影画像は、図６ｂのように、ロボット装置１１０とは別に備えられるカメラなどにより取得されるようにしてもよい。他の例として、前記作業環境の温度は、ロボット装置１１０とは別に備えられる温度測定装置により取得されるようにしてもよい。

前述したデータ保存ステップの次にポリシー学習ステップが行われる。もっとも、前記データ保存ステップ及び前記ポリシー学習ステップは、本明細書の例のように順次行われてもよいが、必ずしもこれに限定されるものではない。例えば、前記データ保存ステップの実行中に前記ポリシー学習ステップが行われるようにしてもよい。

具体的には、前記第１情報及び前記第２情報を用いて前記ロボット作業の学習を行うステップが行われる。すなわち、前記ロボット作業の学習によりロボット装置１１０の制御部１１４（図３参照）の少なくとも一部が導出される。

より具体的には、学習部１４０は、ロボット装置１１０が前記作業を自律的に行えるように、前記第１情報及び前記第２情報を用いて、前記作業に関するロボット装置１１０の動作を学習する。例えば、学習部１４０は、前記作業の学習を行って上位制御器１１４ａの少なくとも一部を導出するようにしてもよい。この場合、前記第１情報及び前記第２情報は、前記指導命令と共に時系列データとしてデータベース１３０に保存され、学習部１４０は、前記時系列データを用いて上位制御器１１４ａを導出する。

当該ステップは、専門家により行われた作業を、専門家によらず、上位制御器１１４ａだけで行えるように、上位制御器１１４ａを導出する過程である。この場合、上位制御器１１４ａの一部を導出することも可能である。図３を参照して説明したように、上位制御器１１４ａは、第１制御部と第２制御部とに分けられるようにしてもよい。前記第１制御部は、前記ロボット装置を駆動するように予め設定された部分であり、前記学習に関係なく予めプログラミングされた部分であってもよい。前記第２制御部は、前記学習により導出されて前記第１制御部と連動する部分であってもよい。すなわち、前記第２制御部は、学習ステップ（Ｓ２００）の結果物であってデータから学習されて導出される部分であってもよい。

学習ステップ（Ｓ２００）において、次に、取得した学習データを用いて学習を行い（Ｓ２２０）、学習により作業を行うためのポリシーが導出される（Ｓ２３０）。ここで、前記学習は、最近のデータだけではなく、過去の情報を共に用いて行うようにしてもよい。そのために、データベース１３０には、過去のデータ又は過去の学習により導出されたポリシー（方法論）が共に保存されるようにしてもよい。

前記学習は、様々なアルゴリズムにより行うことができ、例えば、模倣学習（Imitation Learning）、メタ学習（Meta Learning）、強化学習（Reinforcement Learning）、及び逆強化学習（Inverse Reinforcement Learning）の少なくとも１つにより行うことができる。

その後、上位制御器１１４ａは、前記学習に基づいてロボット装置１１０が前記作業を自律的に行えるように、下位制御器１１４ｂに対する制御命令を生成する。

例えば、前記ロボット作業の学習によりロボット装置１１０の制御部１１４の少なくとも一部が導出された後、制御部１１４によりロボット装置１１０が自律的に作業を行うステップが行われる。

すなわち、前述した学習ステップ（Ｓ２００）の次に図４の実行ステップ（Ｓ３００）が行われる。本発明によるロボット作業の学習方法において、実行ステップ（Ｓ３００）は、図７ａのように細分化することができる。

より具体的には、実行ステップ（Ｓ３００）においては、ロボット装置１１０が、専門家によらず、学習ステップ（Ｓ２００）で得られた上位制御器１１４ａを用いて、専門家により行われた作業を行う。特に、ロボット装置１１０は、専門家の行為の意図を把握したので、実行ステップ（Ｓ３００）の作業環境が指導ステップ（Ｓ１００）の環境とは異なっても、作業を行うことができる。その例として、図５ｂのように専門家が床に置かれた木に釘を打ち込む作業を指導した場合、図７ｂのように、ロボット装置１１０はコンクリート壁に釘を打ち込む作業を自律的に行うことができる。

他の例として、安全のために宅配物品をロボット装置の頭の上に持ち上げて運搬する作業を指導した場合、ロボット装置はより重い宅配物品をより強い力で頭の上に持ち上げて運搬することができる。以下、このような実行ステップ（Ｓ３００）についてより具体的に説明する。

まず、学習ステップ（Ｓ２００）で得られた上位制御器１１４ａにおいて実行する作業が指定される。このような指定は、作業を区分するものであれば何でもよい。例えば、各作業に対して自然数がそれぞれ指定されてもよい。具体的には、釘を打ち込む作業を１にし、宅配物品を運搬する作業を２にしてもよい。この場合、１が指定されると、ロボット装置１１０は、釘を打ち込む作業を行わせる命令として認識する。

次に、上位制御器１１４ａは、現在のロボット装置１１０の状態情報と作業環境２０の状態情報を用いて、下位制御器１１４ｂに実行すべき動作に関する動作命令を送信する。例えば、ロボット装置１１０は、ロボット装置１１０の状態情報と作業環境２０の状態情報を取得し（Ｓ３１０）、当該情報を用いて制御器が作業に関する命令を生成する（Ｓ３２０）。より具体的には、１を指定して釘を打ち込ませる命令を認識させると、ロボット装置１１０は、作業環境２０の状態情報としてコンクリート壁を認識し、ロボット装置１１０の状態情報としてエンドエフェクタ１１３ａ（図３参照）の位置やマニピュレータ１１３ｂ（図３参照）の現在の姿勢などを認識する。このような情報の取得は、ロボット装置１１０の検知部１１２（図３参照）により行われるようにしてもよい。

また、上位制御器１１４ａは、作業に関する動作命令を生成して下位制御器１１４ｂに伝達する。ここで、前記動作命令は、ロボット装置１１０のエンドエフェクタ１１３ａの目標位置、エンドエフェクタ１１３ａの姿勢、マニピュレータ１１３ｂの姿勢、モータトルク、モータ電流、状態・モータトルク関数などの形で伝達されてもよい。また、前記動作命令は、前述した様々な形のいずれであってもよく、それらの組み合わせであってもよい。具体例として、上位制御器１１４ａは、釘を打ち込む位置を認識して壁に釘を打ち込むためのエンドエフェクタ１１３ａ及びマニピュレータ１１３ｂの動作を算出し、動作命令を生成する。

前記動作命令を受信した下位制御器１１４ｂは、現在のロボット装置１１０の状態情報と作業環境２０の状態情報を用いて、上位制御器１１４ａからの動作命令を実行するためのトルクをモータに供給する。このようにして下位制御器１１４ｂにより壁に釘を打ち込む動作が行われる。

このとき、ロボット装置１１０は、外力と作業環境２０の変化を検知し（Ｓ３３０）、作業を自律的に行う（Ｓ３４０）。具体的には、モータの駆動は作業環境２０に変化を起こし、そのときに発生した外力と作業環境２０の変化は検知部１１２により認知される。検知部１１２は、下位制御器１１４ｂと上位制御器１１４ａが必要とする情報、例えばオブジェクトの認知、位置や姿勢の推定などに加工し、下位制御器１１４ｂと上位制御器１１４ａに伝達する。例えば、壁に釘を打ち込む作業で、ロボット装置１１０は、同じ力では木に釘を打ち込む場合より釘が打ち込まれる深さが浅いことを認知するようになる。よって、上位制御器１１４ａは、動作命令として、より強い力で釘を打ち込むことができるモータのトルクを下位制御器１１４ｂに伝達し、コンクリート壁に釘を打ち込む作業を自律的に行うようになる。

また、その場合、図１ｂ及び図７ｂにそれぞれ示すように、ロボット装置１１０は、異なるコンクリート壁に釘を打ち込む作業を行うこともできる。ロボット装置１１０は、あるコンクリート壁（図１ｂ参照）に釘を打ち込む作業を行った後、他のコンクリート壁（図７ｂ参照）がその前の壁と類似していることを認知し、類似した力を用いて作業を行うことができる。

以上説明した本発明によるロボット作業の学習方法及びロボットシステムは、ロボットと外部環境との間の力に関する情報に基づいてロボット作業を定義し、ロボットが多様で複雑な作業を容易に学習するようにする。よって、本発明は、作業環境の変化に応じてロボットの外力が変化することに対してより柔軟に対処できる学習方法を実現することができる。

また、以上説明した本発明によるロボット作業の学習方法及びロボットシステムは、様々な形態に変形することができる。例えば、前述したロボット作業の学習方法及びロボットシステムは、１対Ｎの学習やロボット作業の制御に適用することができる。以下、図８及び図９を参照して、本発明の変形例（他の実施形態及びさらに他の実施形態）について説明する。また、以下に説明する変形例においては、前述した実施形態と同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。

図８及び図９は、本発明によるロボット作業の学習方法及びロボットシステムの他の実施形態及びさらに他の実施形態を示す概念図である。

同図に示すように、ロボットシステムは、複数のロボット装置を備えてもよい。まず、図８を参照すると、ロボットシステムにおいては、学習部２４０により学習されたポリシーがそれぞれのロボット装置において上位制御器として導出される。

例えば、ロボットシステムは、図２を参照して説明したロボットシステムと同様に、ロボット装置、インタフェース装置及びデータベースの少なくとも１つを含んでもよい。また、ロボットシステムは、ユーザ及び作業環境と組み合わせられ、図４～図７ａの学習法を実現する。

ただし、本実施形態においては、前記ロボット装置が複数備えられ、例えば、前記ロボットシステムは、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃを備える。

第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃは、それぞれ、図３を参照して説明したロボット装置の構成要素を備えてもよい。もっとも、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃは、検知部、上位制御器及び下位制御器は共通的に備え、他の構成要素は選択的に備えるようにしてもよい。その例として、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃの駆動部は、異なる構造を有するようにしてもよい。具体的には、ロボット装置は、専門サービス用ロボットであって、第１ロボット装置２１０ａを案内ロボットにし、第２ロボット装置２１０ｂを消防ロボットにし、第３ロボット装置２１０ｃを配達ロボットにしてもよい。

この場合、本発明の指導ステップ及び学習ステップを用いて、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃをそれぞれ個々の作業に適するように学習させる。よって、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃの上位制御器には、異なるポリシーを搭載する。また、第１ロボット装置２１０ａ、第２ロボット装置２１０ｂ及び第３ロボット装置２１０ｃの下位制御器も、それぞれロボットの用途に適するように構成する。

他の例として、図９を参照すると、ロボットシステムにおいては、学習部３４０により学習されたポリシーが別のサーバ３５０において制御器の一部として導出される。

例えば、ロボットシステムは、図２を参照して説明したロボットシステムと同様に、ロボット装置、インタフェース装置及びデータベースを含んでもよい。また、ロボットシステムは、ユーザ及び作業環境と組み合わせられ、図４～図７ａの学習法を実現する。

ただし、本実施形態においては、サーバ３５０が複数のロボット装置を制御するように構成される。例えば、前記ロボットシステムは、サーバ３５０、第１ロボット装置３１０ａ及び第２ロボット装置３１０ｂを備える。

この場合、上位制御器は、上位第１制御器３５１及び上位第２制御器３１４ａを含んでもよい。上位第１制御器３５１は、サーバ３５０に備えられる制御器であり、図４～図７ａの学習法により導出されるようにしてもよい。それに対して、上位第２制御器３１４ａは、ロボット装置３１０ａ、３１０ｂに備えられる制御器であり、学習に関係なく予めプログラミングされた部分であってもよい。本実施形態において、学習により導出されるポリシーは、上位第１制御器３５１としてサーバ３５０に位置し、無線又は有線通信により第１ロボット装置３１０ａ及び第２ロボット装置３１０ｂを制御する。

この場合、サーバ３５０から第１ロボット装置３１０ａ及び第２ロボット装置３１０ｂの上位第２制御器３１４ａに作業実行の命令が伝達され、上位第２制御器３１４ａから下位制御器３１４ｂに実行すべき動作に関する動作命令が送信される。

例えば、第１ロボット装置３１０ａに対して釘を打ち込む作業が指定されると、第１ロボット装置３１０ａは、ロボット装置の状態情報と作業環境の状態情報を取得し、それらの情報をサーバ３５１に送信する。サーバ３５１の上位第１制御器３５１は、作業に関する命令を生成し、上位第２制御器３１４ａに送信する。その後、上位第２制御器３１４ａは、作業に関する命令を、第１ロボット装置３１０ａのエンドエフェクタの目標位置、エンドエフェクタの姿勢、マニピュレータの姿勢、モータトルク、モータ電流、状態・モータトルク関数などの具体的な形に変換し、下位制御器３１４ｂに伝達する。このとき、サーバ３５１は、第１ロボット装置３１０ａよりも第２ロボット装置３１０ｂの方が作業場所に近い位置に位置することを認知すると、第１ロボット装置３１０ａの代わりに第２ロボット装置３１０ｂに作業に関する命令を送信する。第２ロボット装置３１０ｂは、前記第１ロボット装置を例に説明したプロセスに従って該当作業を行う。このように、本実施形態においては、サーバが複数のロボット装置を効率的に管理することができる。

また、本実施形態においては、１つのロボット装置を学習した結果を他のロボット装置に複製するプロセスに活用することができる。例えば、第１ロボット装置を用いて作業を学習し、学習した結果を上位第１制御器として導出し、上位第１制御器を前記第１ロボット装置及び前記第２ロボット装置に共通に適用することができる。

本実施形態で説明したように、本発明によるロボット作業の学習方法及びロボットシステムは、１対Ｎのロボット学習方法に変形することができる。

以上説明したように、本発明においては、ロボットが多様で複雑な作業を安全に実行できる新たな学習モデルや、力情報に基づいてロボット作業を学習させる新たな方法及びシステムを提供する。

具体的には、本発明は、ロボットと外部環境との間の力に関する情報に基づいてロボット作業を定義し、ロボットが多様で複雑な作業を容易に学習するようにする。また、本発明は、作業環境の変化に応じてロボットの外力が変化することに対してより柔軟に対処できる学習方法を実現することができる。

姿勢及び位置に関する情報を用いるロボット作業の定義は、外部環境が変化すると新たなモデリングを導出しなければならないという問題があるが、本発明においては、力を考慮する新たな形態でロボット作業を定義するので、このような問題を解消することができる。

また、本発明は、ハプティック機能を備えたインタフェース装置を用いるので、専門家が実際の環境でロボットに加わる力のフィードバックを受けながらロボット指導を行うようになる。すなわち、様々な環境で力に基づく作業の指導を行うことができる。この場合、本発明は、ロボットにおいて実際の環境で作業に必要な情報を取得して学習に活用し、よって、力情報を必要とする作業をロボットに学習させることができる。

また、本発明は、専門家の作業指示をロボットに学習させることができるので、多関節ロボットに対してより効果的な学習を行わせることができる。よって、多関節ロボットの高い自由度を用いて、様々な状況で様々な作業に対して柔軟に対処することができる。この場合、ロボットは、過去の学習情報を共に用いて新たな作業を速い速度で学習することができ、また、一々プログラミングをすることなく、ハプティックを用いて教示することができるので、学習のために必要な時間や努力を短縮することができる。

さらに、本発明においては、指導ステップにおいて、下位制御器がインタフェース装置と情報を送受信し、学習ステップにおいて、指導ステップで取得された情報を用いて上位制御器を導出するので、より効率的な学習及びロボット制御が可能になる。この場合、上位制御器は、共通のミドルウェアとして実現され、異なるロボットの作業プログラムとして提供することができる。よって、ロボットの代替、作業計画の変更やロボットの安全基準の遵守を容易に行うことができる。

前述したロボット作業の学習方法及びロボットシステムは、上記実施形態の構成や方法に限定されるものではなく、上記実施形態に様々な変形が行われるように、各実施形態の全部又は一部を選択的に組み合わせて構成してもよい。

１００ ロボットシステム
１１０ ロボット装置
１１２ 検知部
１１３ 駆動部
１１４ａ 上位制御器
１１４ｂ 下位制御器
１２０ インタフェース装置
１３０ データベース
１４０ 学習部

Claims (20)

1. 作業の形態によって異なる力情報が要求される作業を行うように構成されるロボット装置と、
   前記ロボット装置を指導できるように操作可能に形成され、前記ロボット装置に対して前記作業の指導が行われる間、前記力情報に基づいてハプティックフィードバックを出力するインタフェース装置と、
   前記ハプティックフィードバックを出力する前記インタフェース装置により前記作業の指導が行われる間、前記ロボット装置の作業環境に関する第１情報、前記ロボット装置の駆動状態に関する第２情報、及び前記ロボット装置に加えられる外力に関する前記力情報を検知するように構成された検知部と、
   前記第１情報及び前記第２情報を用いて、前記作業に関する前記ロボット装置の動作を学習する学習部とを含み、
   前記学習部は、前記力情報、前記第１情報、及び前記第２情報に基づいて、前記作業の学習を行うことによって、前記作業を行うポリシーを導出するように構成され、
   前記ロボット装置は、前記導出したポリシーを使用して、前記作業を自律的に行うように構成される、ことを特徴とするロボットシステム。
2. 前記インタフェース装置は、前記外力に基づいて前記ハプティックフィードバックを出力することを特徴とする請求項１に記載のロボットシステム。
3. 前記ハプティックフィードバックは、前記力情報に基づいて前記ロボット装置を指導できるように、前記インタフェース装置からユーザに前記外力に対応する力を伝達するものであることを特徴とする請求項２に記載のロボットシステム。
4. 前記第１情報は、前記力情報に基づいて前記ロボット装置を指導することによって変化する前記作業環境に関する情報であり、前記第２情報は、前記力情報に基づいて前記ロボット装置を指導することによって変化する前記駆動状態に関する情報であることを特徴とする請求項３に記載のロボットシステム。
5. 前記ロボット装置は、
   前記インタフェース装置から前記作業の指導命令を受信する下位制御器と、
   前記下位制御器による制御の下で前記作業の指導命令に応じた駆動を行う駆動部と、
   前記下位制御器を制御して前記駆動部を駆動する上位制御器とを含むことを特徴とする請求項１～４のいずれか一項に記載のロボットシステム。
6. 前記下位制御器は、前記インタフェース装置から前記作業の指導命令を受信して前記駆動部を制御し、前記力情報としてハプティック情報を前記インタフェース装置に送信することを特徴とする請求項５に記載のロボットシステム。
7. 前記学習部は、前記第１情報及び前記第２情報を用いて、前記作業の学習を行って前記上位制御器の少なくとも一部を導出することを特徴とする請求項５に記載のロボットシステム。
8. 前記上位制御器は、前記学習に基づいて前記ロボット装置が前記作業を自律的に行えるように、前記下位制御器に対する制御命令を生成することを特徴とする請求項７に記載のロボットシステム。
9. 前記上位制御器は、前記ロボット装置を駆動するように予め設定された第１制御部と、前記学習により導出されて前記第１制御部と連動する第２制御部とを備えることを特徴とする請求項７に記載のロボットシステム。
10. 前記第１情報及び前記第２情報は、前記作業の指導命令と共に時系列データとしてデータベースに保存され、
    前記学習部は、前記時系列データを用いて前記上位制御器を導出することを特徴とする請求項５に記載のロボットシステム。
11. 前記駆動部は、Ｑｕａｓｉ－Ｄｉｒｅｃｔ－Ｄｒｉｖｅ方式で駆動されるモータを備えることを特徴とする請求項５に記載のロボットシステム。
12. 前記検知部は、前記モータの出力端にかかる力を入力端の電気エネルギーで検知することにより、前記力情報を検出することを特徴とする請求項１１に記載のロボットシステム。
13. 前記第１情報は、撮影画像、オブジェクトとの距離及び作業環境の温度の少なくとも１つを含み、
    前記第２情報は、モータの角度、加速度及び角速度、並びに前記モータに供給されるトルク又は電流の少なくとも１つを含むことを特徴とする請求項１～１２のいずれか一項に記載のロボットシステム。
14. インタフェース装置による、作業の形態によって異なる力情報が要求される作業の指導が可能なロボット装置において、
    前記ロボット装置は、
    前記インタフェース装置から前記作業の指導命令を受信する第１制御器と、
    多関節を備え、前記第１制御器による制御の下で前記作業の指導命令に応じた駆動を行う駆動部と、
    前記第１制御器による制御の下で前記駆動部が駆動される間、前記ロボット装置の作業環境に関する第１情報、前記ロボット装置の駆動状態に関する第２情報、及び前記ロボット装置に加えられる外力に関する力情報を検知する検知部と、
    前記第１制御器を制御して前記駆動部を駆動する第２制御器とを含み、
    前記ロボット装置は、前記第１情報及び前記第２情報を用いて、前記作業の学習を行い、
    前記第２制御器は、前記学習に基づいて前記ロボット装置が前記作業を自律的に行えるように、前記第１制御器に対する制御命令を生成し、
    前記作業の学習を行うことによって前記作業を行うためのポリシーが、前記力情報、前記第１情報、及び前記第２情報に基づいて導出され、
    前記ロボット装置は、前記導出したポリシーを使用して、前記作業を自律的に行うように構成される、ことを特徴とするロボット装置。
15. 前記第１制御器は、前記作業の指導命令に基づいて前記駆動部を制御する間、前記駆動部の外力をハプティック情報として前記インタフェース装置に送信することを特徴とする請求項１４に記載のロボット装置。
16. 前記第１情報は、前記ハプティック情報に基づいて前記ロボット装置を指導することによって変化する前記作業環境に関する情報であり、前記第２情報は、前記ハプティック情報に基づいて前記ロボット装置を指導することによって変化する前記駆動状態に関する情報であることを特徴とする請求項１５に記載のロボット装置。
17. 前記第２制御器の少なくとも一部は、前記第１情報及び前記第２情報を用いて、前記作業の学習を行うことにより導出されることを特徴とする請求項１４～１６のいずれか一項に記載のロボット装置。
18. ロボット作業の学習方法において、
    インタフェース装置に対する外部操作に基づいて、作業の形態によって異なる力情報が要求されるロボット作業の指導が行われるステップと、
    前記インタフェース装置が、前記外部操作に対応する駆動命令をロボット装置に送信し、前記ロボット装置から前記ロボット作業で発生する力に関する情報を受信してハプティックフィードバックを出力するステップと、
    前記駆動命令に基づいて前記ロボット装置が前記ロボット作業を行う間、前記ロボット装置の作業環境に関する第１情報、前記ロボット装置の駆動状態に関する第２情報、及び前記ロボット装置に加えられる前力情報を検知するステップと、
    前記第１情報及び前記第２情報を用いて前記ロボット作業の学習を行うステップとを含み、
    前記ロボット作業の学習を行うことによって前記ロボット作業を行うためのポリシーが、前記力情報、前記第１情報、及び前記第２情報に基づいて導出され、
    前記ロボット装置は、前記導出したポリシーを使用して、前記ロボット作業を自律的に実行するように構成される、ことを特徴とするロボット作業の学習方法。
19. 前記ロボット作業の学習により前記ロボット装置の制御器の少なくとも一部が導出され、前記制御器により前記ロボット装置が自律的に作業を行うステップをさらに含むことを特徴とする請求項１８に記載のロボット作業の学習方法。
20. 前記制御器は、上位制御器及び下位制御器を備え、
    前記下位制御器は、前記ロボット作業の指導が行われるステップで前記駆動命令を受信して前記ロボット装置の駆動部を制御し、
    前記上位制御器は、前記自律的に作業を行うステップで前記下位制御器を制御し、前記ロボット作業の学習により少なくとも一部が導出されることを特徴とする請求項１９に記載のロボット作業の学習方法。

Images