JP2022063707A - ロボットシステム、その制御方法及びプログラム並びにシステム - Google Patents

Abstract

【課題】生産現場や物流倉庫等におけるロボットを用いた自動化技術において、オペレータによるサポート負担が小さい半自律ロボット等を提供する。【解決手段】所定の目標動作を実行する、目標動作実行部と、前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定部と、前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請部と、前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信部と、前記サポート情報に対応した制御を行う、サポート制御部と、を備えた、ロボットシステム。【選択図】図３

Description

この発明は、オペレータによる遠隔操作等を伴う半自律ロボットシステムに関する。

生産現場や物流倉庫等において、ロボットを用いた自動化が推進されている。

この種の自動化システムにおいては、本来全てのロボットが自律的に動作することが望ましい。しかしながら、ハードウェア的な制約や想定外の事態への対応等により、現実には、すべての動作を自律的に行わせることは困難である。

そこで、近年、大部分の動作を自動化しつつも、ロボットが対応できない場面のみ、オペレータが遠隔操作によりロボットの動作に一時的に介入して、ロボット動作をサポートする半自律システムが検討されている。

このような遠隔動作されるロボットの例として特許文献１が挙げられる。同文献には、オペレータがロボットを遠隔操作することで、ロボットが遠隔操作された動作を機械学習し、新たな能力を獲得する技術が開示されている。

特開２０１８－１４９６６９号公報

ところで、従前の技術においては、オペレータに、ロボットの目標動作それ自体を代替的に実行させる構成が採用されていた。例えば、ロボットの目標動作がピースピッキング動作である場合、オペレータには、遠隔操作によりピースキッキング動作それ自体を実行することが要求されていた。

しかしながら、目標動作それ自体を代替的に実行させると、遠隔操作を行うオペレータに過度な負担となるおそれがあった。例えば、目標動作が対象物体を把持するピースピッキング動作である場合、当該動作は精緻な操作を要求するため、遠隔操作を行うオペレータには高い集中力が要求された。また、そもそも多関節を有するロボット等の遠隔操作は難易度が高い場合があり、その場合、オペレータには操作に関し相当な熟練が要求された。

本発明は上述の技術的背景に鑑みてなされたものであり、その目的は、オペレータによるサポート負担が小さい半自律ロボット等を提供することにある。

上述の技術的課題は、以下の構成を有するロボットシステム等により解決することができる。

すなわち、本発明に係るロボットシステムは、所定の目標動作を実行する、目標動作実行部と、前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定部と、前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請部と、前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信部と、前記サポート情報に対応した制御を行う、サポート制御部と、を備えている。

このような構成によれば、オペレータは、ロボットシステムにおける目標動作自体ではなく、目標動作の実行条件を変更する動作をロボットシステムに対して実行させるので、関節的なサポートを行うのみでよく、サポート負担が小さい。すなわち、これにより、オペレータによるサポート負担の小さい半自律ロボットシステムを提供することができる。なお、ここで、サポートとは、半自律ロボットに対して目標動作の実行補助を目的として操作や指示等を行うことを意味する。また、サポート要請とは、そのような補助をオペレータに対して要求する情報を意味する。

前記サポート情報は、さらに、前記目標動作の代替的な動作を前記ロボットシステムに対して実行させる第２のサポート情報を含む、ものであってもよい。

このような構成によれば、オペレータは、さらに、目標動作の代替的な動作をロボットシステムに対して実行させることができるので、直接的にロボットシステムを補助することができる。

前記第１のサポート情報は、前記オペレータ端末において前記ロボットシステムを遠隔操作する情報であってもよい。

このような構成によれば、オペレータは、遠隔操作により、ロボットシステムに対して目標動作の実行条件を変更する動作を実行させることができる。

前記目標動作は、前記ロボットシステムによる所定の作業の動作であり、前記第１のサポート情報は、前記作業の環境を変更する動作であってもよい。

このような構成によれば、目標動作の実行条件である環境を変更する動作を通じて目標動作の実行条件を変化させることにより、ロボットシステムにおける目標動作の成功を間接的に補助することができる。

前記作業は、前記ロボットシステムを用いてワークを操作するワーク操作作業であり、

前記環境を変更する動作は、前記ワークの位置及び／又は姿勢の変更をもたらす動作であってもよい。

このような構成によれば、ワークの位置及び／又は姿勢の変更を通じて、ロボットシステムにおける目標動作の成功を間接的に補助することができる。

前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含む、ものであってもよい。

このような構成によれば、ワークには操作対象とそれ以外のワークが含まれることが明確となる。

前記目標動作は、ワークを認識して操作する動作であり、目標動作判定部は、前記ワークの認識に失敗した場合に前記目標動作が正常に実行されなかったか又は正常に実行されると予想されないものと判定する、ものであってもよい。

このような構成によれば、ワークの認識に失敗した場合にサポート要請を行うので、オペレータは、認識部自体の変更や環境の変更を含む、目標動作の実行条件を変更する動作をロボットに対して実行させることができる。

前記目標動作は、操作対象となるターゲットワークとそれ以外の非ターゲットワークを含むワークを認識して操作する動作であり、目標動作判定部は、前記ワークの認識に失敗した場合に前記目標動作が正常に実行されなかったか又は正常に実行されると予想されないものと判定し、前記サポート情報は、前記非ターゲットワークを把持して操作対象領域外へと移動させる動作を前記ロボットシステムに対してもたらす情報を含む、ものであってもよい。

このような構成によれば、ワークの認識に失敗する場合には、障害物を含む非ターゲットワークを操作対象領域外へと移動させることにより目標動作の実行条件を変更するので、間接的に目標動作の成功を補助することができる。

前記ロボットシステムは、さらに、目標動作を行う環境を観測するセンサを備え、前記第１のサポート情報は、前記センサにおけるセンシング条件を変更する指令情報を含む、ものであってもよい。

このような構成によれば、目標動作の実行条件であるセンシング条件を変更することにより、間接的に目標動作の成功を補助することができる。

前記センシング条件の変更は、前記センサを移動させること、使用するセンサを切り替えること又は前記センサのパラメータを変更することのいずれか又はその組み合わせにより実現される、ものであってもよい。

このような構成によれば、センシング条件の変更は、センサの移動や切り替え、パラメータの変更により行われるので、多様な手段でセンサによる適切な認識を確保することができる。

前記センサは、カメラであり、前記パラメータは、前記カメラに関する光学系パラメータと、前記カメラにより撮影された情報の信号処理パラメータとを含む、ものであってもよい。

このような構成によれば、目標動作の実行条件であるカメラパラメータを変更することで、認識精度を変更し、間接的に目標動作の成功を補助することができる。

前記サポート情報は、さらに、前記ロボットシステムに対して予め設定されたリカバリ動作を前記ロボットシステムに対して実行させる指示情報である第３のサポート情報を含む、ものであってもよい。

このような構成によれば、ロボットシステム自身にリカバリ動作を行わせるので、容易かつ間接的に目標動作の成功を補助することができる。

前記目標動作は、前記ロボットシステムを用いてワークを操作するワーク操作作業であり、前記リカバリ動作は、前記ロボットシステムにより前記ワークの位置及び／又は姿勢の変更をもたらす動作であってもよい。

このような構成によれば、ロボットシステムが自身で目標動作の実行条件となる環境を変更することとなるので、容易かつ間接的に目標動作の成功を補助することができる。

前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含み、前記リカバリ動作は、前記ターゲットワークを所望の位置及び／又は姿勢で把持できるよう前記ターゲットワークを再配置する動作である、ものであってもよい。

このような構成によれば、ロボットシステムが自身でワークの再配置を行うので、容易かつ間接的に目標動作の成功を補助することができる。

前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含み、前記リカバリ動作は、前記非ターゲットワークの位置及び／又は姿勢を変更する動作であってもよい。

このような構成によれば、ロボットシステムが自身で障害物等の非ターゲットワークの位置及び／又は姿勢を変更する動作を行うので、容易に目標動作の成功を補助することができる。

前記リカバリ動作は、前記非ターゲットワークを仮置場所又は廃棄場所へと移動する動作であってもよい。

このような構成によれば、非ターゲットワークを認識環境外へと配置することができるので、間接的に目標動作の成功を補助することができる。

前記ロボットシステムは、さらに、発報部を備え、前記サポート情報は、さらに、前記発報部における発報を前記ロボットシステムに対して実行させる指示情報である第４のサポート情報を含む、ものであってもよい。

このような構成によれば、発報を通じてロボットシステムの周囲の作業員等に対して補助を求めることができ、これにより、目標動作の成功を補助することができる。

前記ロボットシステムは、さらに、状況を認識する認識部と、前記認識部における認識結果と前記サポート情報に基づいて機械学習を行うことにより得られた学習済モデルと、前記認識部における認識結果に基づいて、自らサポートを行うための情報である自己サポート情報を生成する、自己サポート情報生成部と、前記自己サポート情報に対応した制御を行う、自己サポート制御部と、を備えてもよい。

このような構成によれば、オペレータ端末からのサポートの内容を機械学習した学習済モデルに基づいて、自己サポート情報を生成することができるので、人手によるサポートを徐々に減らすことができる。これにより、ロボットシステムをより完全な自律システムへと近付けることができる。

前記サポート情報によるサポートの前後の認識結果と、前記サポート情報を機械学習サーバへと送信する、送信部と、前記サポート情報によるサポートの前後の認識結果と前記サポート情報に基づいて前記機械学習サーバにおいて生成された学習済モデルを受信する、モデル受信部と、を備える、ものであってもよい。

このような構成によれば、サポート情報を追加的に機械学習していくので、データの蓄積と共に、ロボットシステムをより完全な自律システムへと近付けることができる。

前記サポート情報に対応した予測制御結果と前記自己サポート情報に対応した予測制御結果とに基づいて、前記自己サポート情報の良否を評価する評価値を生成する、評価値生成部をさらに備える、ものであってもよい。

このような構成によれば、自己サポートの良否を予め判定できる。

自己サポート制御部は、さらに、前記評価値に基づいて、前記自己サポート情報による制御を行うか否かを判断する、実行判断部を備える、ものであってもよい。

このような構成によれば、自己サポートの良否に基づいて、自己サポートを実行すべきかを判断するので、合理的な判断が可能となる。

本発明は方法としても観念することができる。すなわち、本発明に係る方法は、所定の目標動作を実行する、目標動作実行ステップと、前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定ステップと、前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請ステップと、前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信ステップと、前記サポート情報に対応した制御を行う、サポート制御ステップと、を備えている。

本発明はコンピュータプログラムとしても観念することができる。すなわち、本発明に係るプログラムは、所定の目標動作を実行する、目標動作実行ステップと、前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定ステップと、前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請ステップと、前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信ステップと、前記サポート情報に対応した制御を行う、サポート制御ステップと、を備えている。

本発明はロボットシステムを包含するシステムとしても観念することができる。すなわち、本発明に係るシステムは、所定の目標動作を実行する、目標動作実行部と、前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定部と、前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請部と、前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信部と、前記サポート情報に対応した制御を行う、サポート制御部と、を備えている。

本発明によれば、オペレータによるサポート負担の小さい半自律ロボットシステム等を提供することができる。

図１は、システムの全体構成図である。 図２は、システムの機能ブロック図である。 図３は、情報処理装置の動作に関するフローチャートである。 図４は、オペレータ端末の動作に関するフローチャートである。 図５は、第１のサポート処理の詳細フローチャートである。 図６は、サポート前後における箱の中の画像の表示例である。 図７は、第２のサポート処理の詳細フローチャートである。 図８は、第３のサポート処理の詳細フローチャートである。 図９は、第４のサポート処理の詳細フローチャートである。 図１０は、ピースピッキングタスクを行う場合であってサポートを必要とする他の状況に関する説明図である。

以下、本発明の好適な実施の形態について添付の図を参照しつつ詳細に説明する。

（１．第１の実施形態）
第１の実施形態として、本発明を、ロボットアームを用いて箱の中のワークを取り出すピースピッキングタスクを実行する複数のロボットシステムを含むシステムへと適用した例について説明する。

なお、本実施形態においては、ロボットシステムは、ロボットアームを備えるものとして説明するが、ロボットアームの他、様々なハードウェアを採用し得る。また、ロボットシステムのタスクとしてピースピッキングタスクを例示するものの、それに限定されるものではない。従って、例えば、箱詰め作業や搬送作業等の他の様々なタスクにも適用可能である。

（１．１ システムの構成）
図１は、本実施形態に係るシステム２００の全体構成図である。同図から明らかな通り、システム２００は、複数のロボットシステム１、管理サーバ３及びオペレータ端末５を備えており、それらは互いにＬＡＮ（ローカル・エリア・ネットワーク）を介して有線又は無線により接続されている。なお、本実施形態においては、各装置間はＬＡＮにより接続されるものとして説明するが、インターネットを介して接続してもよい。

各ロボットシステム１は、後述の種々の情報処理を行う情報処理装置１１と、情報処理装置１と接続された複数のセンサ１５と、情報処理装置１と接続された多関節ロボットアーム１７とから構成されている。

なお、本実施形態において、情報処理装置１１とセンサ１５とロボットアーム１７とは物理的には離間して配置されつつも一のシステムを構成するものとして説明するものの、その一部又は全部を一体に構成してもよい。

情報処理装置１１は、ＣＰＵ等から成り種々のプログラムを実行する制御部と、ＲＯＭやＲＡＭ、ハードディスク等から成る記憶部とを備えている。

センサ１５は、ピースピッキングタスクの対象となる多数のワークが入っている箱の中を撮像可能に環境中に固定配置された３次元カメラであり、各センサは互いに異なる角度から箱の中を撮影している。すなわち、センサを切り替えることで異なる角度からの認識を行うことができるよう配置されている。センサから取得された情報は、情報処理装置１１へと送信される。

このようにセンサ１５である３次元カメラが環境中に固定され、後述するように、認識と遠隔操作の両方に共用される構成によれば、同一の視点を利用できるため、構成が簡潔となると共にコスト的に有利となる。なお、センサ１５の取り付け方法はこのように環境中に固定する例に限定されず、ロボットアーム１７等に取り付けられるカメラを利用したり、既設の監視カメラを流用等してもよい。

多関節ロボットアーム１７は、先端に図示しないグリッパを有し、箱の中の製品を挟持して箱の外の所定の位置、例えば、ベルトコンベア等の上に載置するタスクを行う。また、多関節ロボットアーム１７には、所定の音と光を発する発報装置が備えられており、周辺の作業員等にロボットアーム１７を注目させることができる。

サーバ３は、後述の種々の情報に基づいて機械学習処理を行い学習済モデルを生成する。また、生成した学習済モデルを適宜にロボットシステム１へと提供する。

オペレータ端末５は、オペレータにより操作される情報処理装置であり、例えば、ＰＣ（パーソナルコンピュータ）である。同図に表されるように、オペレータ端末５には、表示部を備えオペレータに対して画像情報を提示するヘッドマウントディスプレイ５８と、遠隔操作用のウェアラブル入力装置５９が接続されている。オペレータは、ヘッドマウントディスプレイ５８により提示される映像情報を見ながら、ウェアラブル入力装置５９を操作して様々な入力を行うことができる。

なお、表示装置や入力装置は、本実施形態の例に限定されず、既知の様々な装置を利用することができる。例えば、表示装置は通常のディスプレイであってもよいし、入力装置は、スティックレバーを用いた入力装置やキーボード等であってもよい。

図２は、システム２００の機能ブロック図である。同図から明らかな通り、ロボットシステム１は、それぞれの送受信部を介してサーバ３及びオペレータ端末５と情報の授受を行う。

ロボットシステム１は、情報処理装置１１と、センサ１５と、多関節ロボットアーム１７とから構成されている。

情報処理装置１１は、センサ１５検出情報を取得するセンサ情報取得部１１１と、センサ情報に基づいて所定の認識処理部を行う認識処理部１１２とを備えている。認識処理部１１２による認識結果は、判定部１１４へと提供される。判定部１１４は、認識結果に基づいて後述のサポート要請を行うべきか否かを判定し、動作生成部１１８及び評価部１１５へと判定結果を提供する。動作生成部１１８と動作指令部１１９は、ロボットアーム１７に対して動作指令を行う。

評価部１１５は、後述の方法で自己サポートの可否を評価し、評価結果を、サポート要請部１１６又は自己サポート動作生成部１２０へと提供する。サポート要請部１１６は、サポート要請信号その他の情報を送受信部１２７へと提供する。一方、自己サポート動作生成部１２０は、記憶されている学習済モデル等に基づいて自己サポート動作を生成し、動作指令部１１９を介してロボットアーム１７へと指令を行う。

サポート処理実行部１２１は、送受信部からサポート情報を受信すると、サポート情報に応じた種々のサポート処理を実行する。例えば、ロボットアーム１７の動作制御や、発報部１７１への指令等を行う。

なお、自己サポートによる動作結果又はオペレータのサポートによる動作結果はそれぞれ動作結果送信部１２５へと送信される。動作結果送信部１２５は、情報をサーバ３へと送信する。

サーバ３は、学習処理部３３と、学習済モデル提供部３５と、送受信部５１を備えている。学習処理部３３は、センサ１５を介して得られた認識結果、後述のサポート動作の内容、及び、サポート動作後の認識結果に基づいて機械学習処理を行い、認識結果に基づいて認識結果が向上するであろうサポート動作を推論する学習済モデルを生成する。学習済モデル提供部３５は、生成された学習済モデルを情報処理装置１１へと提供する。

なお、機械学習の学習構成については他の様々な方法論を採りうる。例えば、さらに、サポート動作後の目標動作の成否等をさらに加味してもよい。また、学習手法として、教師あり学習のみならず、所定の評価基準の下に強化学習を行ってもよい。

オペレータ端末５は、センサ情報取得部５５、操作情報生成部５４、サポート情報生成部５２、送受信部５１及び表示処理部５７とを備えている。センサ情報取得部５５は、遠隔操作用のウェアラブル入力装置５９に備えられたセンサからセンサ検出情報を取得する。操作情報生成部５４は、センサ検出情報に基づいて、ロボットアーム１７に対する操作情報を生成する。サポート情報生成部５４は、サポート情報オペレータにより生成された操作情報を検出して、種々のサポート情報を生成して、送受信部５１へと送信する。一方、表示処理部５１は、ヘッドマウントディスプレイ５９の表示部に対して、送受信部５１からの情報に基づいてロボットシステム１に関する所定の表示処理を行う。

なお、本実施形態におけるシステム構成は例示であって、ネットワークに接続される各装置の数や構成は自在に変更可能である。また、サーバ３が、ロボットシステム１及びオペレータ端末５の各種情報を監視し、ロボットシステム１とオペレータ端末５との間の情報、例えば、サポート要請等の情報の授受を仲介してもよい。

（１．２ システムの動作）
続いて、本実施形態に係るシステム２００の動作について説明する。

図３は、ロボットシステム１を構成する情報処理装置１１の動作に関するフローチャートである。同図から明らかな通り、処理が開始すると、センサ情報取得部１１は、センサ１５からのセンサ検出情報、本実施形態においては箱の中を撮影することにより得られた画像情報を取得する（Ｓ１）。認識処理部１１２は、センサ情報に基づいて、ロボットアーム１７による把持の対象となる製品等のワークを認識する処理を行う（Ｓ２）。なお、本実施形態においては、画像情報に基づいて認識を行うものとして説明するが、本発明はこのような構成に限定されない。従って、例えば、画像に代えて、又は画像と共に３次元カメラにて取得された３次元情報を利用するような構成としてもよい。

この認識処理の後、判定部１１４は、サポートの必要性について判定する処理を行う（Ｓ４）。より詳細には、判定部１１４は、認識部１１２による認識が正常に行われた場合、例えば、十分な認識精度にて把持対象となるワークを認識することができた場合には、サポートが不要と判定し、一方、認識が正常に行われなかった場合にはサポートが必要と判定する。

なお、本実施形態においては、正常な認識が出来るか否かによりサポートの必要性について判定を行うものとしたが、本発明はこのような構成に限定されず、種々の判定方法が採用可能である。例えば、把持対象物に対する把持解が算出できるか否かといった基準に基づいて判定処理を行ってもよい。

判定処理の結果、認識処理が正常に行われてサポートが不要と判定された場合には（Ｓ４ＮＯ）、動作生成部１１８により目標動作が生成される（Ｓ６）。その後、動作指令部１１９は、生成された目標動作を実行するようロボットアーム１７に対して動作指令を行う（Ｓ６）。

この動作の後、センサ１５情報に基づいて、目標動作に成功したか否かを評価する処理が行われる（Ｓ８）。この評価処理の結果、目標動作に成功したと判定された場合（Ｓ８ＹＥＳ）、終了判定を行い（Ｓ９）、所定の終了信号等が検出される場合には、処理は終了する。一方、終了信号が検出されない場合には、再度センサ情報の取得処理（Ｓ１）から一連の処理が再度繰り返される（Ｓ９ＮＯ）。また、終了信号が検出された場合には、処理は終了する。なお、目標動作に失敗したと判定された場合（Ｓ８ＮＯ）、後述の評価処理が実行される（Ｓ１１）。すなわち、目標動作に失敗した場合には、サポートが必要なものとして後述の処理が実行される。

サポートが必要と判定された場合（Ｓ４ＹＥＳ）又は目標動作に失敗した場合（Ｓ８ＮＯ）、評価部１１５による評価処理が行われる（Ｓ１１）。より詳細には、評価部１１５は、認識結果を入力として学習済モデルを作動させて認識結果が向上するであろうサポート動作を推論し、推論したサポート動作を実行した場合の結果状態をシミュレーションする。このシミュレーション結果の良否を判定することにより評価値を生成する。

なお、自己サポート動作の良否を判定するものであれば評価処理の手法は本実施形態の手法に限定されない。従って、種々の手法を利用することができる。

この評価値の生成処理の後、評価値が所定の閾値以上であるかを判定する処理、すなわち、自己サポートの可能性につき判定を行う（Ｓ１２）。

判定の結果、評価値が所定の閾値以上、すなわち、ロボットシステム１による自己サポートが可能又は適切と判断される場合（Ｓ１２ＹＥＳ）、自己サポート動作生成部１２０は、動作指令部１１９と協働して自己サポート動作を実行する処理を行う（Ｓ１６）。すなわち、ロボットアーム１７に対して自己サポート動作を実行させる処理を行う。

自己サポート動作が完了した後、動作結果送信部１２５は、サポート動作の内容と自己サポート動作完了後の認識結果をサーバ３に対して送信する処理を行う（Ｓ１８）。サーバ３の学習処理部３３は、送信された情報に基づいて追加的に機械学習処理を行う。その後、学習済モデル提供部３５は、生成された学習済モデルをロボットシステム１に対して送信する処理を行う。この学習済モデルは自己サポート動作の生成や評価処理等に利用される。送信処理（Ｓ１８）の後、上述の終了判定処理（Ｓ９）が行われる。

一方、評価値が所定の閾値より小さい場合、すなわち、ロボットシステム１による自己サポートが可能ではないと判断される場合（Ｓ１２ＮＯ）、サポート要請部１１６は、オペレータ端末５へとサポート要請を行う処理を行う（Ｓ２１）。

サポート要請を行った後、情報処理装置１１は、オペレータ端末５からのサポート情報を受信するまで待機状態となる（Ｓ２２ＮＯ）。この状態においてサポート情報を受信すると（Ｓ２２ＹＥＳ）、サポート処理実行１２１は、サポート情報に応じた実行処理を行う（Ｓ２４）。その後、所定の終了判定を行い、終了信号が検出されない場合、再び受信待機状態（Ｓ２２ＮＯ）となり一連の処理が繰り返される。一方、終了信号が検出された場合（Ｓ２５ＹＥＳ）、動作結果送信部２５は、認識結果、サポート内容に係る種々の情報をサーバ３へと送信する処理を行う（Ｓ２７）。送信処理（Ｓ２７）の後、上述の終了判定処理（Ｓ９）が行われる。

このような構成によれば、ロボットシステム１は、オペレータ端末５から指示されるサポートの内容をサーバ３を利用して機械学習していき、徐々に自己サポート動作を行うようになるので、徐々にオペレータによるサポートを減らすことができる。すなわち、これにより、最終的には完全に自律的なシステムを目指すことができる。

図４は、オペレータ端末５の動作に関するフローチャートである。

処理が開始すると、オペレータ端末５は、ロボットシステム１からサポート要請を受信するまで待機状態となる（Ｓ５１ＮＯ）。この状態においてサポート要請を受信すると（Ｓ５１ＹＥＳ）、表示処理部５７は、サポート要請を行った時点の認識結果を表示部へと表示する処理を行う。

表示処理の後、オペレータ端末５は、オペレータによるサポート手段に関する入力を受け付ける処理を行う（Ｓ５４ＮＯ）。すなわち、オペレータは、表示部を確認しつつ、オペレータ端末５に対してサポート手段を入力する。

この状態において、サポート手段がオペレータにより入力されると（Ｓ５４ＹＥＳ）、入力されたサポート手段に応じて、第１～第４のいずれかのサポート処理が実行される（Ｓ５５、Ｓ５７、Ｓ５９、Ｓ６１）。この一連の処理は、所定の終了信号が検出されるまで繰り返される。

図５は、第１のサポート処理の詳細フローチャートである。第１のサポート処理は、目標動作の実行条件を変更する動作を実行するものである。

同図において、処理が開始すると、表示部は、ロボットシステム１から送信されたセンサ情報を表示する処理を行う（Ｓ５５１）。

図６（ａ）は、表示部へと表示されるサポート前の箱１９の中の画像の表示例である。同図から明らかな通り、箱１９の中には円筒状の多数のワーク１９１が無造作に入れてられている。同図においては、多数のワーク１９１のうちの把持対象となるターゲットワーク１９１ａが底面を上に向けて傾いて置かれている。

同図は、センサ情報に基づいて把持対象となるターゲットワーク１９１ａを認識したところ（Ｓ１、Ｓ２）、ワーク姿勢が悪く認識精度が十分に確保できないことからサポートが必要と判定され（Ｓ４ＹＥＳ）、さらに、評価処理（Ｓ１１）の結果、自己サポートが困難と判定され（Ｓ１２ＮＯ）、サポート要請が行われた（Ｓ２１）ことにより、オペレータ端末５上に表示されたものである。

表示処理の後、センサ情報取得部５５は、遠隔操作用のウェアラブル入力装置に備えられたセンサ情報を含む入力情報を取得する処理を行う（Ｓ５５２）。このとき、ウェアラブル入力装置を装着したオペレータは、ロボットアーム１７における目標動作の代替的な動作というよりも、目標動作の実行条件を変更するようなサポート動作を実行させるよう操作を行う。

その後、操作情報生成部５４は、入力情報に基づいて操作情報を生成する処理を行う（Ｓ５５４）。操作情報の生成処理の後、センサ情報の取得依頼を生成する処理が行われる（Ｓ５５５）。

その後、第１のサポート処理が選択されたことを示す情報、操作情報、及びセンサ情報の取得依頼をロボットシステム１へと送信する処理が行われる（Ｓ５５６）。

この送信情報を受信すると、情報処理装置１１は、第１のサポート情報に対応する処理を実行する（Ｓ２４）。すなわち、情報処理装置１１は、第１のサポート情報であることを認識して第１のサポートモードへと設定した上で、操作情報に対応するようにロボットアーム１７を動作させ、動作後のセンサ情報を再度オペレータ端末５へと送信する処理を行う。

オペレータ端末５における送信処理の後、終了判定が行われ、オペレータにより入力されたサポート終了信号が検出されると終了指令があるものとして判定し（Ｓ５５８ＹＥＳ）、第１のサポート処理の終了処理（Ｓ５６０）を行う。

一方、終了指令が無い場合には（Ｓ５５８ＮＯ）、ロボットシステム１からのセンサ情報の受信待機状態となる（Ｓ５５９ＮＯ）。ロボットシステム１よりセンサ情報を取得すると再び表示処理（Ｓ５５１）から一連の処理が繰り返される。

図６（ｂ）は、第１のサポートに係る一連の処理が繰り返された後、表示部へと表示されるサポート後の箱１９の中の画像の表示例である。同図から明らかな通り、底面を上に向けて傾いて置かれていたターゲットワーク１９１ａは、オペレータによる第１のサポートの結果、箱１９の辺に平行に床面に水平を保ち配置されている。このような配置とされることにより、ワーク姿勢が把持に好適となり、ロボットアーム１７は、ターゲットワークを正常に認識して把持し、目標動作であるピースピッキング動作を継続することができることとなる。

このような構成によれば、オペレータは、ロボットシステム１における目標動作自体ではなく、目標動作の実行条件を変更する動作をロボットシステムに対して実行させるので、間接的なサポートをするのみでよく、サポート負担が小さい。すなわち、これにより、オペレータによるサポート負担の小さい半自律ロボットシステムを提供することができる。

なお、目標動作の実行条件とは、目標動作を実行する上での前提となる条件であり、例えば、センサ１５により認識されるシーンや状況を含む環境条件や、使用するセンサ１５等のロボットシステム１自身のハードウェア条件、センサのパラメータ等のソフトウェア条件を含むものである。

図７は、第２のサポート処理の詳細フローチャートである。第２のサポート処理は、オペレータが目標動作それ自体を代替的に実行するための処理である。

同図において、処理が開始すると、表示部は、ロボットシステム１から送信されたセンサ情報を表示する処理を行う（Ｓ５７１）。

表示処理の後、センサ情報取得部５５は、遠隔操作用のウェアラブル入力装置に備えられたセンサ情報を含む入力情報を取得する処理を行う（Ｓ５７２）。このとき、ウェアラブル入力装置５９を装着したオペレータは、ヘッドマウントディスプレイ５８により映像の提示を受けつつ、ロボットアーム１７における目標動作の代替的な動作又は目標動作と略同様の動作を行うサポート動作を実行するよう操作を行う。例えば、目標動作がピースピッキング動作である場合、オペレータはピースピッキングを行うようロボットアーム１７を操作する。

その後、操作情報生成部５４は、入力情報に基づいて操作情報を生成する処理を行う（Ｓ５７４）。操作情報の生成処理の後、センサ情報の取得依頼を生成する処理が行われる（Ｓ５７５）。

その後、第２のサポート処理が選択されたことを示す情報、操作情報、及びセンサ情報の取得依頼をロボットシステム１へと送信する処理が行われる（Ｓ５７６）。

この送信情報を受信すると、情報処理装置１１は、第２のサポート情報に対応する処理を実行する（Ｓ２４）。すなわち、情報処理装置１１は、第２のサポート情報であることを認識して第２のサポートモードへと設定した上で、操作情報に対応するようにロボットアーム１７を動作させ、動作後のセンサ情報を再度オペレータ端末５へと送信する処理を行う。

オペレータ端末５における送信処理の後、終了判定が行われ、オペレータにより入力されたサポート終了信号が検出されると終了指令があるものとして判定し（Ｓ５７８ＹＥＳ）、第１のサポート処理の終了処理（Ｓ５８０）を行う。

一方、終了指令が無い場合には（Ｓ５７８ＮＯ）、ロボットシステム１からのセンサ情報の受信待機状態となる（Ｓ５７９ＮＯ）。ロボットシステム１よりセンサ情報を取得すると再び表示処理（Ｓ５７１）から一連の処理が繰り返される。

このような構成によれば、オペレータは、目標動作の代替的な動作をロボットシステムに対して実行させることもできるので、多様な手段でロボットシステム１を補助することができる。

図８は、第３のサポート処理の詳細フローチャートである。第３のサポート処理は、オペレータが、ロボットシステム1の動作を逐一操作することなく、リカバリ動作指示のみを送信し、ロボットシステム１において自律的に所定の動作を行わせるものである。なお、本実施形態において、リカバリ動作とは、予め定められたロボットシステム１において記憶又は取得され、ロボットシステム１が自律的に目標動作の実行条件を変更する動作を言うものとする。

同図において、処理が開始すると、オペレータ端末５は、リカバリ動作指示の送信処理を行う（Ｓ５９１）。

この送信情報を受信すると、情報処理装置１１は、第３のサポート情報に対応する処理を実行する（Ｓ２４）。すなわち、情報処理装置１１は、第３のサポート情報であることを認識して第３のサポートモードへと設定した上で、所定のリカバリ動作をロボットアーム１７に対して実行させる処理を行う。リカバリ動作は、本実施形態においては、把持対象ではない非ターゲットワークを把持してランダムに位置や姿勢を変更して戻す動作である。

なお、リカバリ動作の内容は、このような例に限定されない。従って、例えば、把持対象となるターゲットワークを把持して同様の動作を行ってもよいし、ワークを取り出して箱の外に仮置きしたり廃棄する等してもよい。また、物理的動作に限定されず、使用するセンサ１５を切り替える等のハードウェア条件の変更を行ってもよい。

送信処理（Ｓ５９１）の後、第３のサポート処理を終了する処理を行って終了する（Ｓ５９２）。

このような構成によれば、ロボットシステム自身にリカバリ動作を行わせるので、容易に目標動作の成功を補助することができる。

図９は、第４のサポート処理の詳細フローチャートである。第４のサポート処理は、オペレータが、ロボットシステム1に対して発報指示を行い、ロボットシステム１の周囲の作業員等にロボットシステム１に対する補助を要求するものである。

同図において、処理が開始すると、オペレータ端末５は、発報指示の送信処理を行う（Ｓ６１１）。

この送信情報を受信すると、情報処理装置１１は、第４のサポート情報に対応する処理を実行する（Ｓ２４）。すなわち、情報処理装置１１は、第４のサポート情報であることを認識して第４のサポートモードへと設定した上で、所定の発報動作を発報部１７１に対して実行させる処理を行う。この発報動作は、音と光で周囲の作業員の注目を集めるものであり、当該作業員により所定のサポートが行われることを期待するものである。

送信処理（Ｓ６１１）の後、第４のサポート処理を終了する処理を行って終了する（Ｓ６１２）。

このような構成によれば、発報を通じてロボットシステムの周囲の作業員等に対して補助を求めることができ、これにより、目標動作の成功を補助することができる。

（２．変形例）
上述の実施形態においては、ターゲットワークの位置又は姿勢が好適でないことにより認識が困難となりサポート要請を行う例について説明したが、本発明は、このような例以外にも多様な場面に適用できる。

図１０は、ピースピッキングタスクを行う場合であってサポートを必要とする他の状況に関する説明図である。同図（ａ）は、サポート前の箱の中の様子、同図（ｂ）は、サポート後の箱の中の様子について示している。

同図（ａ）から明らかな通り、サポート前の状態においては、ロボットアーム１７による把持対象となるターゲットワーク１９１ｂの上に障害物１９１ｃが載っており、所謂隠れが発生し、ターゲットワークへと直接アクセスすることができない状態となっている。このとき、情報処理装置１１は、ターゲットワークの認識処理と把持解算出を行い、把持解が算出できないものとして、サポートが必要と判定する（Ｓ４）。そして、情報処理装置１１は、所定の評価処理（Ｓ１１）の後、自己サポートを行うか（Ｓ１６）又はオペレータからのサポートに基づく処理（Ｓ２４）を行い、障害物１９１ｃの位置及び姿勢を変更する動作を行う。この位置及び姿勢の変更動作は、例えば、障害物を把持して他の場所に載置する動作でもよいし、把持を行うことなくロボットアーム１７先端を用いて横へと払い除けるような動作であってもよい。

同図（ｂ）から明らかな通り、サポート後の状態においては、ターゲットワークの上には何らの障害物も無い。そのため、ロボットアーム１７は、ターゲットワーク１９１ｂの把持解を適切に算出できるので、目標動作であるピースピッキング動作を再び自律的に行うことが可能となる。

なお、把持解が算出されない例について説明したが、他に、把持解は算出されるものの当該ロボットアーム１７では実行できない場合等様々な場面が想定され得る。

このような構成によれば、オペレータは、ロボットシステム１における目標動作自体ではなく、目標動作の実行条件を変更する動作をロボットシステムに対して実行させるので、間接的なサポートをするのみでよく、サポート負担が小さい。すなわち、これにより、オペレータによるサポート負担の小さい半自律ロボットシステムを提供することができる

サポート動作の内容は、上述の実施形態の内容、すなわち、第１～第４のサポート処理に限定されない。従って、例えば、認識されるシーンを変更するために、オペレータによるサポート又は自己サポートにより、ロボットシステム１に対して箱を揺らす動作や、積み上がったワークを崩す動作又は箱内のワークをかき混ぜる動作等を実行させてもよい。

また、認識精度向上のため、ハードウェア条件を変更してもよく、例えば、認識に用いるセンサ１５を切り替えて他のセンサ１５からの情報を取得するような指令を行ってもよい。このような構成によれば、適切な角度からのカメラ等を利用して認識を行うことができるので、より目標動作の成功確率を向上させることができる。

さらに、認識精度向上のため、ハードウェア条件を変更してもよく、例えば、認識に用いるセンサ１５、特にカメラのパラメータを変更してもよい。このパラメータには、カメラに関する光学系パラメータ（画角、焦点距離、ピンと等）と、前記カメラにより撮影された情報の信号処理パラメータ（露光時間、ゲイン、ホワイトバランス、γ補正等）とを含む。

加えて、サポート動作として、前提となる箱を変更したり、箱の変更を要求する動作を実行させる等してもよい。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

本発明は、少なくともロボットシステム等を製造する産業において利用可能である。

１ ロボットシステム
１１ 情報処理装置
１５ センサ
１７ ロボットアーム
３ サーバ
５ オペレータ端末
５８ ヘッドマウントディスプレイ
５９ ウェアラブル入力装置

Claims (24)

1. 所定の目標動作を実行する、目標動作実行部と、
   前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定部と、
   前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請部と、
   前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信部と、
   前記サポート情報に対応した制御を行う、サポート制御部と、
   を備えた、ロボットシステム。
2. 前記サポート情報は、さらに、前記目標動作の代替的な動作を前記ロボットシステムに対して実行させる第２のサポート情報を含む、請求項１に記載のロボットシステム。
3. 前記第１のサポート情報は、前記オペレータ端末において前記ロボットシステムを遠隔操作する情報である、請求項１に記載のロボットシステム。
4. 前記目標動作は、前記ロボットシステムによる所定の作業の動作であり、
   前記第１のサポート情報は、前記作業の環境を変更する動作である、請求項１に記載のロボットシステム。
5. 前記作業は、前記ロボットシステムを用いてワークを操作するワーク操作作業であり、
   前記環境を変更する動作は、前記ワークの位置及び／又は姿勢の変更をもたらす動作である、請求項４に記載のロボットシステム。
6. 前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含む、請求項５に記載のロボットシステム。
7. 前記目標動作は、ワークを認識して操作する動作であり、
   目標動作判定部は、前記ワークの認識に失敗した場合に前記目標動作が正常に実行されなかったか又は正常に実行されると予想されないものと判定する、請求項１に記載のロボットシステム。
8. 前記目標動作は、操作対象となるターゲットワークとそれ以外の非ターゲットワークを含むワークを認識して操作する動作であり、
   目標動作判定部は、前記ワークの認識に失敗した場合に前記目標動作が正常に実行されなかったか又は正常に実行されると予想されないものと判定し、
   前記サポート情報は、前記非ターゲットワークを把持して操作対象領域外へと移動させる動作を前記ロボットシステムに対してもたらす情報を含む、請求項１に記載のロボットシステム。
9. 前記ロボットシステムは、さらに、
   目標動作を行う環境を観測するセンサを備え、
   前記第１のサポート情報は、前記センサにおけるセンシング条件を変更する指令情報を含む、請求項１に記載のロボットシステム。
10. 前記センシング条件の変更は、前記センサを移動させること、使用するセンサを切り替えること又は前記センサのパラメータを変更することのいずれか又はその組み合わせにより実現される、請求項９に記載のロボットシステム。
11. 前記センサは、カメラであり、
    前記パラメータは、前記カメラに関する光学系パラメータと、前記カメラにより撮影された情報の信号処理パラメータとを含む、請求項９に記載のロボットシステム。
12. 前記サポート情報は、さらに、前記ロボットシステムに対して予め設定されたリカバリ動作を前記ロボットシステムに対して実行させる指示情報である第３のサポート情報を含む、請求項１に記載のロボットシステム。
13. 前記目標動作は、前記ロボットシステムを用いてワークを操作するワーク操作作業であり、
    前記リカバリ動作は、前記ロボットシステムにより前記ワークの位置及び／又は姿勢の変更をもたらす動作である、請求項１２に記載のロボットシステム。
14. 前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含み、
    前記リカバリ動作は、前記ターゲットワークを所望の位置及び／又は姿勢で把持できるよう前記ターゲットワークを再配置する動作である、請求項１３に記載のロボットシステム。
15. 前記ワークは、操作対象となるターゲットワークと、それ以外のワークである非ターゲットワークを含み、
    前記リカバリ動作は、前記非ターゲットワークの位置及び／又は姿勢を変更する動作である、請求項１３に記載のロボットシステム。
16. 前記リカバリ動作は、前記非ターゲットワークを仮置場所又は廃棄場所へと移動する動作である、請求項１５に記載のロボットシステム。
17. 前記ロボットシステムは、さらに、発報部を備え、
    前記サポート情報は、さらに、前記発報部における発報を前記ロボットシステムに対して実行させる指示情報である第４のサポート情報を含む、請求項１に記載のロボットシステム。
18. 前記ロボットシステムは、さらに、状況を認識する認識部と、
    前記認識部における認識結果と前記サポート情報に基づいて機械学習を行うことにより得られた学習済モデルと、前記認識部における認識結果に基づいて、自らサポートを行うための情報である自己サポート情報を生成する、自己サポート情報生成部と、
    前記自己サポート情報に対応した制御を行う、自己サポート制御部と、を備える請求項１に記載のロボットシステム。
19. 前記サポート情報によるサポートの前後の認識結果と、前記サポート情報を機械学習サーバへと送信する、送信部と、
    前記サポート情報によるサポートの前後の認識結果と前記サポート情報に基づいて前記機械学習サーバにおいて生成された学習済モデルを受信する、モデル受信部と、を備える、請求項１８に記載のロボットシステム。
20. 前記サポート情報に対応した予測制御結果と前記自己サポート情報に対応した予測制御結果とに基づいて、前記自己サポート情報の良否を評価する評価値を生成する、評価値生成部をさらに備える、請求項１８に記載のロボットシステム。
21. 自己サポート制御部は、さらに、前記評価値に基づいて、前記自己サポート情報による制御を行うか否かを判断する、実行判断部を備える、請求項２０に記載のロボットシステム。
22. 所定の目標動作を実行する、目標動作実行ステップと、
    前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定ステップと、
    前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請ステップと、
    前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信ステップと、
    前記サポート情報に対応した制御を行う、サポート制御ステップと、
    を備えた、ロボットシステムの制御方法。
23. 所定の目標動作を実行する、目標動作実行ステップと、
    前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定ステップと、
    前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請ステップと、
    前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信ステップと、
    前記サポート情報に対応した制御を行う、サポート制御ステップと、
    を備えた、ロボットシステムの制御プログラム。
24. 所定の目標動作を実行する、目標動作実行部と、
    前記目標動作が正常に実行されたか又は正常に実行されると予想されるかを判定する、目標動作判定部と、
    前記目標動作が正常に実行されなかったか又は正常に実行されると予想されない場合、オペレータ端末へとサポート要請を行う、サポート要請部と、
    前記目標動作の実行条件を変更する動作を実行させる情報である第１のサポート情報を含む、サポート情報を、前記サポート要請を受信した前記オペレータ端末から受信する、サポート情報受信部と、
    前記サポート情報に対応した制御を行う、サポート制御部と、
    を備えた、システム。

Images