JP2022157101A - ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム - Google Patents

Abstract

【課題】操作者が作業を行うことが容易となるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。
【解決手段】ロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、ロボットあるいはロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた操作者の動きである操作者センサ値と、に基づいて操作者の動作を推定する意図推定部と、推定された操作者の動作に基づいて、操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、を備える。
【選択図】図２

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。

なお、遠隔操縦ロボットを用いて多様な作業を行うためには、３次元空間上の６自由度手先目標（位置・姿勢）を正確に指示・制御する必要がある。例えば、ロボットにペットボトルの鉛直方向がテーブルに対して垂直ではない状態でペットボトルの蓋を開けさせる場合、遠隔操作を行う操作者は、把持部をペットボトルの鉛直方向の傾きに合わせつつ蓋を回すように指示する。

特許第６４７６３５８号公報

しかしながら、従来技術では、遠隔操縦ロボットを用いて多様な作業を実現するには、操作者が遠隔地のロボットと物体の状況を正確に把握すると同時に、高度な操作技術が求められるため、実行可能な作業は限定的かつその効率は低下する。
このため、従来技術では、遠隔操作時に、操作者が空間上の６自由度（位置・姿勢）目標値を決定・正確に制御し、作業を行うことが困難であった。

本発明は、上記の問題点に鑑みてなされたものであって、操作者が作業を行うことが容易となるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、を備える。

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記操作者が制御すべき自由度や制御可能な範囲を制限し、前記操作者による前記ロボットへの動作指示のうち制限した前記自由度に対して動作補助を行うようにしてもよい。

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲外の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らさず、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲内の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らす、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記ロボット環境センサ値と、前記操作者センサ値とを学習済みの意図推定モデルに入力して前記操作者の動作を推定するようにしてもよい。

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者センサ値は、前記操作者の視線情報、および前記操作者の腕部の姿勢や位置に関する情報である操作者腕部情報のうちの少なくとも１つであるようにしてもよい。

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、物体を把持する把持部と、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、を備える。

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、意図推定部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定し、制御指令生成部が、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する。

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定させ、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成させることで、前記操作者の動作の自由度を減らして制御指令を生成させる。

（１）～（９）によれば、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにしたので、操作者が作業を行うことが容易となる。

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。 実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。 ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。 実施形態に係る意図推定、制御指令生成処理の概要を示す図である。 操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。 操作者の意図が箱を掴もうとしている場合を示す図である。 実施形態に係る記憶部が記憶する情報例を示す図である。 ロボット遠隔操作制御装置の補助による把持位置の手先目標の修正例を示す図である。 実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。作業環境には、環境センサ７（７ａ、７ｂ）が設置されている。なお、環境センサ７ｃが、ロボット２に取り付けられていてもよい。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させ、例えばペットボトルのキャップを開けさせる。なお、遠隔操作において、操作者Ｕｓは、ロボット２の動作を直接視認できないが、ロボット２側の映像をＨＭＤ５で間接的に視認できる状態である。本実施形態では、操作者が装着しているコントローラー６が取得した情報と、環境センサ７が取得した情報に基づいて、操作者の意図（対象物体に関する情報、作業内容）を推定し、推定した結果に基づいて、操作者が制御すべき自由度を限定して操作をサポートする。

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の頭部の傾き等を検出するセンサを備えていてもよい。

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。

環境センサ７は、例えば、撮影装置７１、センサ７２、および通信部７３を備える。

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。

視線検出部５２は、操作者の視線を検出し、検出した視線情報を制御部５４に出力する。

制御部５４は、視線検出部５２が検出した視線情報に基づく視線情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を、画像表示部５１に表示させる。

通信部５５は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、操作者状態情報をロボット遠隔操作制御装置３に送信する。

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報を検出し、検出した操作者腕部情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、操作者腕部情報を検出し、検出した操作者腕部情報を制御部６２に出力する。

制御部６２は、センサ６１が検出した検出結果も基づく操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。

通信部６３は、制御部６２の制御に応じて、操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像、検出された検出結果（環境センサ値）をロボット遠隔操作制御装置３に送信する。

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を、通信部７３を介してロボット遠隔操作制御装置３に送信する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。

センサ７２は、例えば深度センサである。センサ７２は、検出したセンサ値を、通信部７３を介してロボット遠隔操作制御装置３に送信する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。

通信部７３は、撮影された画像と、センサ７２によって検出されたセンサ値とを環境センサ情報としてロボット遠隔操作制御装置３に送信する。なお、環境センサ７は、撮影された画像とセンサ値を用いて、物体の位置情報を検出して、検出した結果を環境センサ情報としてロボット遠隔操作制御装置３に送信するようにしてもよい。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。制御部２１は、記憶部２５が記憶する情報に基づいて、環境センサ７が撮影した画像と検出した検出結果を用いて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で取得する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。

駆動部２２は、制御部２１の制御に応じてロボット２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５に出力する。

ロボット遠隔操作制御装置３は、操作者センサ（ＨＭＤ５の視線検出部５２、コントローラー６のセンサ６１）が検出した操作者検出値と、環境センサ７が検出した環境センサ値とに基づいて操作者の動作意図を推定し、ロボット２の制御指令を生成する。

情報取得部３１は、ＨＭＤ５から視線情報を取得し、とコントローラー６から操作者腕部情報を取得し、取得した視線情報と操作者腕部情報を意図推定部３３、ロボット状態画像作成部３５に出力する。情報取得部３１は、環境センサ７から環境センサ情報を取得し、取得した環境センサ情報を意図推定部３３、ロボット状態画像作成部３５に出力する。情報取得部３１は、センサ２７が検出した検出結果を取得し、取得した検出結果を意図推定部３３、ロボット状態画像作成部３５に出力する。

意図推定部３３は、情報取得部３１が取得した環境センサ情報に基づいて、対象物体に関する情報（ロボット環境センサ値）（対象物体の名称、対象物体の位置、対象物体の鉛直方向の傾き等）を推定する。なお、意図推定部３３は、例えば、記憶部３７が記憶する情報に基づいて、環境センサ７の撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って対象物体の名称を推定する。意図推定部３３は、画像処理された結果と深度センサの検出結果に基づいて、対象物体の位置や鉛直方向の傾き角度等を推定する。なお、意図推定部３３は、例えばＨＭＤ５が検出した操作者の視線情報も用いて、対象物体を推定する。意図推定部３３は、情報取得部３１が取得した視線情報と操作者腕部情報と、対象物体に関する情報に基づいて、操作者の動作意図を推定する。なお、操作者の意図と、推定方法については後述する。

制御指令生成部３４は、意図推定部３３が推定した結果とセンサ２７が検出した検出結果、環境センサ７が撮影した画像と検出結果に基づいて、物体の把持するための制御指令を生成する。制御指令生成部３４は、後述するように操作者が制御すべき自由度や制御可能な範囲を制限、すなわち操作者の動作の自由度を減らして制御指令を生成する。制御指令生成部３４は、決定した制御指令情報を制御部２１に出力する。

ロボット状態画像作成部３５は、制御指令生成部３４が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。

記憶部３７は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３７は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。記憶部３７は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。

［意図推定、制御指令生成例］
次に、意図推定、制御指令生成処理の概要を説明する。
図４は、本実施形態に係る意図推定、制御指令生成処理の概要を示す図である。
図４のように、ロボット遠隔操作制御装置３は、ＨＭＤ５から視線情報と、コントローラー６から操作者腕部情報と、環境センサ７から環境センサ情報と、センサ２７が検出した検出結果を取得する。

ロボット２から得られる情報は、ロボット２の各関節に設けられているモータエンコーダの検出値等の情報である。
環境センサ７から得られる情報は、ＲＧＢカメラが撮影した画像と、深度センサが検出した検出値等である。

意図推定部３３は、取得した情報と、記憶部３７が記憶する情報に基づいて、操作者の動作意図を推定する。操作者の意図は、例えば、操作対象物体、操作内容等である。操作内容は、例えばペットボトルの蓋を開ける等である。

制御指令生成部３４は、意図推定部３３が推定した結果、取得した情報に基づいて、対象物体や作業内容に応じて，操作者が制御すべき自由度や制御可能な範囲を制限する。そして、制御指令生成部３４は、意図推定部３３が推定した結果に基づいて制御指令を生成する。

［操作者が制御すべき自由度や制御可能な範囲の制限例の説明］
次に、操作者が制御すべき自由度や制御可能な範囲の制限例について、図５、図６を用いて説明する。なお、図５、図６におけるｘｙｚ軸は、ロボット世界におけるｘｙｚ軸である。本実施形態のロボット遠隔操作制御装置３は、以下の自由度の制限や、手先目標の補正を、ロボット世界におけるｘｙｚを基準として行う。

（第１の操作内容例）
図５は、操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。
意図推定部３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ７が撮影した画像と検出結果に基づいて、対象物体Ｏｂｊ１を推定する。この結果、意図推定部３３は、取得した情報に基づいて、操作対象Ｏｂｊ１が“ペットボトル”であると推定する。また、意図推定部３３は、環境センサ７が撮影した画像と検出結果に基づいて、例えば、ペットボトルの鉛直方向の検出と、ペットボトルの鉛直方向の例えばｚ軸方向に対する傾きを検出する。

次に、意図推定部３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ７が撮影した画像と検出結果に基づいて、操作内容を推定する。この結果、意図推定部３３は、取得した情報に基づいて、操作内容が“ペットボトルの蓋を開ける”動作であると推定する。

図５のような場合、従来の手法では、操作者は、ロボット２の把持部２２１に対して、ペットボトルの鉛直方向になるように遠隔操作しつつ、蓋を明けるように遠隔操作する必要があった。このように、従来の手法では、操作者自身に高度な操作技術が求められるという問題点があった。

これに対して、本実施形態では、ロボット遠隔操作制御装置３が、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定する。図５の例では、ロボット遠隔操作制御装置３が、ロボット２の把持部２２１を鉛直方向上に留まるように、把持部２２１を制御して補助する。こよれにより、操作者は、ペットボトルの傾きを気にせずに、キャップの回転の指示に専念して指示を行うことができる。

（第２の操作内容例）
図６は、操作者の意図が箱を掴もうとしている場合を示す図である。
意図推定部３３は、取得した情報に基づいて、操作対象Ｏｂｊ２が“箱”であると推定する。
次に、意図推定部３３は、取得した情報に基づいて、操作内容が“箱を掴む”動作であると推定する。

図６のような場合、ロボット遠隔操作制御装置３は、例えば、操作対象Ｏｂｊ２のｘｙ平面上の位置と、ｘｙｚ軸回りの回転を、把持部２２１を制御して補助する。これにより、操作者は、ｚ軸の位置の並進運動の指示に専念して指示を行うことができる。

なお、図５、図６に示した対象物体や作業内容や補助する内容（自由度）等は一例であり、対象物体や作業内容や補助する内容は、これに限らない。補助する内容は、対象物体や作業内容に応じた物であればよい。

ここで、作業の補助に用いられる記憶部３７が記憶する情報例を説明する。
図７は、本実施形態に係る記憶部３７が記憶する情報例を示す図である。図７のように、記憶部３７は、対象物体と、作業内容と、操作者に対して制限する自由度（ロボット２が補強する自由度）と、操作者に対して操作可能とする自由度を関連付けて記憶する。なお、図７に示した例は一例であり、他の情報も関連付けて記憶してもよい。

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。

［把持位置の手先目標の修正］
次に、ロボット遠隔操作制御装置３の補助による把持位置の手先目標の修正例を説明する。
図８は、ロボット遠隔操作制御装置３の補助による把持位置の手先目標の修正例を示す図である。図８の例では、把持しようとしている対象物体ｇ２１の形状が略直方体である。ロボット遠隔操作制御装置３は、操作者の入力ｇ１１に対して把持しやすいように自由度を制限して補助する際、把持しやすい位置（補正後の位置ｇ１２）に手先目標を変更する。手先目標の変更は、例えば図５のように対象物体の鉛直方向がｚ軸方向に対して傾いている場合、操作者の入力のｚ軸方向の角度をペットボトルの鉛直方向に合わせるように補正して、把持部２２１に対する制御指令を生成する。より具体的には、まず、制御指令生成部３４は、対象物毎に補助するパターンを推定する。推定方法は、例えば、記憶部３７が記憶するデータベースとのマッチングや機械学習によって行う。制御指令生成部３４は、補助パターン推定後、対象物が持つ座標系とロボットの手先座標系の間でベクトル演算（外積・内積）を行うことで、方向の修正を行う。また、制御指令生成部３４は、例えば、ベクトル演算による方向の修正も含めて、センサ情報から修正指令値を直接生成するようなｅｎｄ ｔｏ ｅｎｄな機械学習手法によって修正と指令値の生成を行うようにしてもよい。これにより、本実施形態によれば、ロボット遠隔操作制御装置３が対象物体と作業内容を推定し、さらに把持しやすい位置に手先目標を補正するので、操作者が指示しやすくなる。

なお、意図推定部３３または記憶部３７は、例えば、視線情報、操作者腕部情報、環境センサ情報、ロボット２のセンサが検出した検出結果を入力し、対象物体と操作内容を教師データとして学習させた意図推定モデルを備えるようにしてもよい。意図推定モデルは、クラウド上に設けられていてもよい。意図推定部３３は、取得した情報を意図推定モデルに入力して、操作者の意図を推定するようにしてもよい。または、意図推定部３３は、取得した情報を意図推定モデルに入力して、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。

または、意図推定部３３は、取得した情報を用いて、確率推論によって操作者の意図を推定するようにしてもよい。または、意図推定部３３は、取得した情報を用いて、確率推論によって、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。

［ロボット２とロボット遠隔操作制御装置３の処理手順例］
次に、ロボット２とロボット遠隔操作制御装置３の処理手順例を説明する。
図９は、本実施形態に係るロボット２とロボット遠隔操作制御装置３の処理手順例のフローチャートである。

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報を取得し、コントローラー６から操作者腕部情報を取得する。

（ステップＳ２）情報取得部３１は、環境センサ７から環境センサ情報を取得する。

（ステップＳ３）意図推定部３３は、取得した視線情報と、操作者腕部情報と、環境センサ情報と、に基づいて、把持対象物体、作業内容を含む操作者の意図を推定する。

（ステップＳ４）制御指令生成部３４は、推定された操作者の意図と、記憶部３７が記憶する情報とに基づいて、ロボット遠隔操作制御装置３が補助する自由度、すなわち操作者の動作指示の自由度に対する制限を決定する。なお、制御指令生成部３４は、操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する。

（ステップＳ５）制御指令生成部３４は、取得した操作者腕部情報に含まれる腕部の動き情報と、ステップＳ４で決定した制限する自由度に基づいて、把持する目標の手先位置を補正する。

（ステップＳ６）ロボット状態画像作成部３５は、情報取得部３１が取得した操作者腕部情報と、意図推定部３３が推定した結果と、制御指令生成部３４が補正した把持位置とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。

（ステップＳ７）制御指令生成部３４は、補正した把持する目標の手先位置に基づいて、制御指令を生成する。

（ステップＳ８）制御部２１は、制御指令生成部３４が生成した制御指令に基づいて、駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。

なお、図９に示した処理手順は一例であり、ロボット遠隔操作制御装置３は、上述した処理を並列に処理してもよい。

また、ＨＭＤ５の画像表示部５１に表示される画像は、例えば図８のような画像である。なお、ロボット状態画像には、操作者の入力ｇ１１の画像が含まれていなくてもよい。なお、ロボット状態画像作成部３５は、例えば、ＨＭＤ５上に文字で補助パターンを提示もしくは矩形や矢印等を表示することで、自由度を制限、ロボットで補助した内容を操作者に提示するようにしてもよい。これにより、操作者は、ＨＭＤ５に表示されるロボット状態画像を見ながら作業指示を行う際、例えばペットボトルの蓋を開ける際、ペットボトルの鉛直方向に把持部を合わせることを気にせずに、蓋を開ける作業指示に専念できる。

以上のように、本実施形態では、ロボット２、環境、操作者に設置されたセンサ情報を通じて、作業内容や対象物体をロボット遠隔操作制御装置３が判断し、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにした。すなわち、本実施形態では、一部の自由度について適切な制御指令を自動生成することで、操作者が制御すべき自由度を減らす。

これにより、本実施形態によれば、遠隔操縦ロボットにおいて、操作者の負担軽減と作業の多様化、高効率化を同時に実現できる。

なお、上述した自由度の制限例は一例であり、これに限らない。自由度の制限は、操作者がその自由度を完全に制御できないことを意味するわけではなく、操作可能な領域が制限されることも含む。
例えば、ロボット遠隔操作制御装置３は、対象物体からの距離が所定の範囲外の場合に自由度の制限を行わず、対象物体から所定の範囲内の場合に自由度の制限を行うようにしてもよい。所定の範囲内は、一例として並進ｘ軸の±１ｍの範囲である。

なお、上述した例では、遠隔操作によって対象物体を把持させる例等を説明したが、これに限らない。ロボット遠隔操作制御装置３は、他の作業内容であっても、作業内容に応じて自由度の制限を行うようにする。
また、作業内容が複数の場合、ロボット遠隔操作制御装置３は、作業内容が変化する毎に自由度の制限の変更を行うようにしてもよい。例えば、テーブル上に複数の物体が置かれ、その中から１つのペットボトルを把持させた後、そのペットボトルの蓋を開けさせる場合、把持させる段階の第１の自由度の制限、蓋を開けさせる場合の第２の自由度の制限をロボット遠隔操作制御装置３は設定する。

また、両方の把持部を用いて行う作業内容の場合、ロボット遠隔操作制御装置３は、自由度の制限や、手先目標の補正を把持部毎に行う。

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２１…把持部、３１…情報取得部、３３…意図推定部、３４…制御指令生成部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…通信部

Claims (9)

1. 操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
   前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、
   推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、
   を備えるロボット遠隔操作制御装置。
2. 前記制御指令生成部は、前記操作者が制御すべき自由度や制御可能な範囲を制限し、前記操作者による前記ロボットへの動作指示のうち制限した前記自由度に対して動作補助を行う、
   請求項１に記載のロボット遠隔操作制御装置。
3. 前記制御指令生成部は、
   前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲外の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らさず、
   前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲内の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らす、
   前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有する、
   請求項１または請求項２に記載のロボット遠隔操作制御装置。
4. 前記意図推定部は、
   前記ロボット環境センサ値と、前記操作者センサ値とを学習済みの意図推定モデルに入力して前記操作者の動作を推定する、
   請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。
5. 前記操作者センサ値は、前記操作者の視線情報、および前記操作者の腕部の姿勢や位置に関する情報である操作者腕部情報をのうちの少なくとも１つである、
   請求項１から請求項４のうちのいずれか１項に記載のロボット遠隔操作制御装置。
6. 前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有する、
   請求項１から請求項５のうちのいずれか１項に記載のロボット遠隔操作制御装置。
7. 操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
   請求項１から請求項６のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、
   物体を把持する把持部と、
   前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、
   前記操作者の動きを操作者センサ値として検出する操作者センサと、
   を備えるロボット遠隔操作制御システム。
8. 操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
   意図推定部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定し、
   制御指令生成部が、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する、
   ロボット遠隔操作制御方法。
9. 操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
   コンピュータに、
   前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定させ、
   推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成させることで、前記操作者の動作の自由度を減らして制御指令を生成させる、
   プログラム。

Images