JP7342676B2 - 遠隔操作システム及び遠隔操作方法 - Google Patents

Description

本発明は、遠隔操作システム及び遠隔操作方法に関する。

エンドエフェクタを備える***作対象（例えば、アームの先端の把持部（例えば、ハンドや吸着部）をエンドエフェクタとして備えるロボット等）を遠隔操作して把持動作等を実行させる技術が知られている。例えば、特許文献１には、ロボット周辺を撮像した撮像画像を表示し、ユーザが撮像画像に対して手書きで入力した指示に基づいて、ロボットに対する操作内容を推定する技術が開示されている。

特許第５３２６７９４号公報

しかし、特許文献１に開示された技術は、予め設定された指示図形（〇、×、△等）を手書きで入力することによって、ロボットを遠隔操作するものである。そのため、最近は、より直感的な操作によって***作対象を遠隔操作することが望まれている。

本発明は、このような問題を解決するためになされたものであり、より直感的な操作が可能な遠隔操作システム及び遠隔操作方法を提供するものである。

本発明の第１の態様における遠隔操作システムは、
エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムであって、
前記***作対象が存在する環境を撮像する撮像部と、
前記撮像部が撮像した前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識部と、
前記撮像画像を表示すると共に、表示した前記撮像画像に対する手書き入力情報の入力を受け付ける操作端末と、
前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作の仕方を推定する推定部と、
を備える。

本発明の第２の態様における遠隔操作方法は、
エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
前記***作対象が存在する環境を撮像し、
前記環境の撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き入力情報の入力を受け付け、
前記撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識し、
前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作の仕方を推定する。

上述した本発明の態様によれば、より直感的な操作が可能な遠隔操作システム及び遠隔操作方法を提供できる。

本実施形態に係る遠隔操作システムが利用される全体環境の例を示す概念図である。 ロボットが存在する第１環境の例を示す図である。 手書き入力情報の例を示す図である。 手書き入力情報の例を示す図である。 手書き入力情報の例を示す図である。 ロボットの外観構成例を示す外観斜視図である。 ロボットのブロック構成例を示すブロック図である。 ロボットが取得した撮像画像の例を示す図である。 第１学習済みモデルが出力する把持可能領域の例を示す図である。 手書き入力情報の例を示す図である。 第２学習済みモデル用の教師データの例を示す図である。 第２学習済みモデル用の教師データの例を示す図である。 遠隔端末のブロック構成例を示すブロック図である。 本実施形態に係る遠隔操作システムの全体的な処理の流れの例を示すフロー図である。 図１４のステップＳ１３の処理の詳細な流れの例を示すフロー図である。 手書き入力情報の例を示す図である。 手書き入力情報が複数入力された例を示す図である。

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。また、以下の実施形態では、***作対象として、アームの先端のハンドをエンドエフェクタとして備えるロボットを例に挙げて説明するが、***作対象はこれに限定されるものではない。

図１は、本実施形態に係る遠隔操作システム１０が利用される全体環境の例を示す概念図である。第１環境において様々な動作を実行するロボット１００は、第１環境から離れた第２環境に居る遠隔操作者たるユーザが遠隔端末３００（操作端末）を操作することにより、インターネット６００に接続されたシステムサーバ５００を介して、遠隔操作される。

ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。また、遠隔端末３００は、第２環境において、無線ルータ７００を介してインターネット６００と接続されている。システムサーバ５００は、インターネット６００に接続されている。ロボット１００は、遠隔端末３００の操作に従って、ハンド１２４による把持動作等を実行する。

なお、本実施形態においては、ハンド１２４による把持動作には、把持対象物を単に把持する（つかむ）動作に限らず、例えば、以下の動作等も含むとする。
・把持対象物をつかんで持ち上げる動作
・把持対象物がタンス等の扉や引き出しのつまみである場合、つまみをつかんで扉や引き出しを開閉する動作
・把持対象物がドアのドアノブである場合、ドアノブをつかんでドアを開閉する動作

ロボット１００は、ステレオカメラ１３１（撮像部）によって、ロボット１００が存在する第１環境を撮像し、インターネット６００を介して、撮像画像を遠隔端末３００に送信する。また、ロボット１００は、撮像画像に基づいて、ハンド１２４が把持可能な把持可能物を認識する。
図２は、ロボット１００が存在する第１環境の例を示す図である。図２の例では、第１環境において、テーブル４００、タンス４１０，４２０，４３０、及びドア４４０が存在している。また、第１環境に存在する把持可能物は、テーブル４００に載置された物体４０１，４０２、タンス４１０のつまみ４１１、タンス４２０のつまみ４２１，４２２、タンス４３０のつまみ４３１，４３２、及びドア４４０のドアノブ４４１である。

遠隔端末３００は、例えば、タブレット端末であり、タッチパネルが重畳して配置された表示パネル３４１を有する。表示パネル３４１には、ロボット１００から受信した撮像画像が表示され、ユーザは、ロボット１００が存在する第１環境を間接的に視認することができる。また、ユーザは、表示パネル３４１に表示された撮像画像に対して、ハンド１２４による把持を要求する把持対象物に対する把持動作の仕方を模擬した画像（第１画像）である手書き入力情報を手書きで入力することができる。手書き入力情報の入力方法としては、表示パネル３４１に重畳して配置されたタッチパネル上で、ユーザの指やタッチペン等を用いて、撮像画像の該当部分をタッチする方法等があるが、これには限定されない。図３～図５は、撮像画像３１０に対して入力された手書き入力情報の例を示す図である。図３の例は、テーブル４００に載置された直方体上の物体４０１を上からつかむことを模擬した手書き入力情報９０１を示している。図４の例は、テーブル４００に載置された円柱上の物体４０２を横からつかむことを模擬した手書き入力情報９０２を示している。図５の例は、タンス４１０のつまみ４１１をつかんで扉を開けることを模擬した手書き入力情報９０３を示している。図３～図５に示されるように、手書き入力情報の画像は、線等の図形のみからなる画像でも良く、線等の図形と文字との組み合わせからなる画像でも良い。ユーザが撮像画像に対して入力した手書き入力情報は、インターネット６００を介してロボット１００へ送信される。

ロボット１００は、撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き入力情報と、に基づいて、把持可能部の中からハンド１２４による把持が要求されている把持対象物を推定すると共に、推定した把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する。

図６は、ロボット１００の外観構成例を示す外観斜視図である。ロボット１００は、大きく分けて、台車部１１０と本体部１２０とによって構成される。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。

台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、レーザスキャナ１３３は、障害物が存在する場合には、その障害物までの距離を出力する。

本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、及びアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、把持対象物を把持する。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。

頭部１２２は、主に、ステレオカメラ１３１及び表示パネル１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された撮像信号を出力する。

表示パネル１４１は、例えば液晶パネルであり、設定されたキャラクターの顔をアニメーションで表示したり、ロボット１００に関する情報をテキストやアイコンで表示したりする。表示パネル１４１にキャラクターの顔を表示すれば、表示パネル１４１が擬似的な顔部であるかの印象を周囲の人達に与えることができる。

頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。そのため、ステレオカメラ１３１は、任意の方向を撮像することができ、また、表示パネル１４１は、任意の方向へ向けて表示内容を呈示することができる。

図７は、ロボット１００のブロック構成例を示すブロック図である。ここでは、把持対象物及び把持動作の仕方の推定に関係する主な要素について説明するが、ロボット１００の構成としては他の要素も備え、また、把持対象物及び把持動作の仕方の推定に寄与する他の要素が加えられることもあり得る。

制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１４５は、駆動輪１１１と、駆動輪１１１を駆動するための駆動回路やモータと、を含む。制御部１５０は、台車駆動ユニット１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動ユニット１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。

上体駆動ユニット１４６は、アーム１２３及びハンド１２４と、胴部１２１及び頭部１２２と、これらを駆動するための駆動回路やモータと、を含む。制御部１５０は、上体駆動ユニット１４６へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動ユニット１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３及びハンド１２４の位置や移動速度、胴部１２１及び頭部１２２の向きや回転速度を把握する。

表示パネル１４１は、制御部１５０が生成した画像信号を受信して表示する。また、制御部１５０は、上述のように、キャラクター等の画像信号を生成して、表示パネル１４１へ表示させる。

ステレオカメラ１３１は、制御部１５０からの要求に従って、ロボット１００が存在する第１環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、予め定められたフォーマットに従って撮像信号を撮像画像に変換したりする。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その検出結果である検出信号を制御部１５０へ引き渡す。

ハンドカメラ１３５は、例えば距離画像センサであり、把持対象物の距離、形状、方向等を認識するために用いられる。ハンドカメラ１３５は、対象空間から入射する光学像を光電変換するピクセルが二次元状に配列された撮像素子を含み、ピクセルごとに被写体までの距離を制御部１５０へ出力する。具体的には、ハンドカメラ１３５は、パターン光を対象空間に照射する照射ユニットを含み、その反射光を撮像素子で受光して、画像におけるパターンの歪みや大きさから各ピクセルが捉えた被写体までの距離を出力する。なお、制御部１５０は、より広い周辺環境の様子をステレオカメラ１３１で把握し、把持対象物近傍の様子をハンドカメラ１３５で把握する。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、ロボット１００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、メモリ１８０は、撮像画像を入力画像として、その撮像画像に写っている把持可能物を出力する第１学習済みモデル１８１と、手書き入力情報の画像を入力画像として、その手書き入力情報が模擬する把持動作の意味を出力する第２学習済みモデル１８２と、を記憶している。

通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、遠隔端末３００から送られてくる手書き入力情報を受信して制御部１５０へ引き渡す。また、通信ユニット１９０は、制御部１５０の制御に従って、ステレオカメラ１３１で撮像された撮像画像を遠隔端末３００へ送信する。

制御部１５０は、メモリ１８０から読み出した制御プログラムを実行することによりロボット１００全体の制御と様々な演算処理とを実行する。また、制御部１５０は、制御に関わる様々な演算や制御を実行する機能実行部としての役割も担う。このような機能実行部として、制御部１５０は、認識部１５１及び推定部１５２を含む。

認識部１５１は、ステレオカメラ１３１のいずれか一方のカメラユニットで撮像された撮像画像を入力画像とし、メモリ１８０から読み出した第１学習済みモデル１８１から、その撮像画像に写っている、ハンド１２４が把持可能な把持可能領域を得て、把持可能部を認識する。

図８は、ロボット１００がステレオカメラ１３１により取得した、第１環境の撮像画像３１０の例を示す図である。図８の撮像画像３１０には、つまみ４１１を備えるタンス４１０と、つまみ４２１，４２２を備えるタンス４２０と、が写っている。認識部１５１は、このような撮像画像３１０を入力画像として第１学習済みモデル１８１に与える。

図９は、図８の撮像画像３１０を入力画像とした場合に、第１学習済みモデル１８１が出力する把持可能領域の例を示す図である。具体的には、つまみ４１１を囲む領域が把持可能領域８０１として、つまみ４２１を囲む領域が把持可能領域８０２として、つまみ４２２を囲む領域が把持可能領域８０３として、それぞれ検出される。そのため、認識部１５１は、把持可能領域８０１，８０２，８０３にそれぞれ囲まれたつまみ４１１，４２１，４２２を、把持可能部として認識する。

第１学習済みモデル１８１は、ハンド１２４が把持可能な把持可能部が写る画像と、その画像のうちどの領域が把持可能部であるかの正解値と、の組み合わせである教師データにより学習を行ったニューラルネットワークである。このとき、教師データを、画像中の把持可能部の距離、方向をさらに示す教師データとすることにより、第１学習済みモデル１８１を、撮像画像を入力画像として、把持可能部を出力するだけでなく、その把持可能部の距離、方向をも出力する学習済みモデルとすることもできる。なお、第１学習済みモデル１８１は、深層学習により学習を行ったニューラルネットワークであると良い。また、第１学習済みモデル１８１は、教師データを随時追加して、追加学習をさせても良い。

推定部１５２は、認識部１５１が撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き入力情報と、に基づいて、認識部１５１が認識した把持可能部の中からハンド１２４による把持が要求されている把持対象物を推定すると共に、推定した把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する。

図１０は、遠隔端末３００において、ユーザが図８の撮像画像３１０に対して入力した手書き入力情報の例を示す図である。図１０の例では、撮像画像３１０上のつまみ４１１の位置において、手書き入力情報９０４が入力されている。そのため、推定部１５２は、認識部１５１が把持可能部として認識したつまみ４１１，４２１，４２２のうち、ハンド１２４による把持が要求されている把持対象物は、つまみ４１１であると推定する。なお、推定部１５２は、撮像画像３１０上の手書き入力情報９０４の入力位置を任意の方法で認識することができる。例えば、遠隔端末３００が、撮像画像３１０上の手書き入力情報９０４の入力位置を示す位置情報を、手書き入力情報９０４に含めて送信することとすれば、推定部１５２は、その位置情報に基づいて、手書き入力情報９０４の入力位置を認識できる。又は、遠隔端末３００が、手書き入力情報９０４が入力された状態に加工された撮像画像３１０を送信することとすれば、推定部１５２は、その撮像画像３１０に基づいて、手書き入力情報９０４の入力位置を認識できる。

さらに、推定部１５２は、ユーザが撮像画像に対して入力した手書き入力情報の画像を入力画像とし、メモリ１８０から読み出した第２学習済みモデル１８２から、その手書き入力情報が模擬する把持動作の意味を得て、把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する。

第２学習済みモデル１８２は、手書き入力情報の画像と、その手書き入力情報が模擬する把持動作の意味と、の組み合わせである教師データにより学習を行ったニューラルネットワークである。図１１は、第２学習済みモデル１８２用の教師データの例を示す図である。図１１の例は、「つかむ」という把持動作を意味する３つの画像と、「開ける」という把持動作を意味する４つの画像と、を第２学習済みモデル１８２に学習させるための教師データである。また、図１１の教師データと比較して、より細かい教師データを第２学習済みモデル１８２に学習させても良い。図１２は、「つかむ」という把持動作をより細かく第２学習済みモデル１８２に学習させるための教師データの例を示す図である。図１２の例では、教師データは、「上からつかむ」、「横からつかむ」、「斜め上から掴む」という把持動作をそれぞれ意味する画像を、第２学習済みモデル１８２に学習させるための教師データである。なお、第２学習済みモデル１８２は、深層学習により学習を行ったニューラルネットワークであると良い。また、第２学習済みモデル１８２は、教師データを随時追加して、追加学習をさせても良い。

図１０の例では、推定部１５２は、第２学習済みモデル１８２から、手書き入力情報９０４が「開ける」という把持動作の意味であることを認識する。そのため、推定部１５２は、把持対象物であるつまみ４１１に対して要求されている把持動作は、つまみ４１１をつかんで扉を開ける、という動作であると推定する。

以上のようにして、推定部１５２は、ハンド１２４による把持が要求されている把持対象物と、把持対象物に対して要求されているハンド１２４による把持動作の仕方と、を推定することができる。また、第１学習済みモデル１８１によっては、ステレオカメラ１３１により取得した撮像画像から、把持対象物の距離、方向を得ることができる。なお、把持対象物の距離、方向は、第１環境の撮像画像を画像解析して得ても良いし、その他のセンサからの情報により得ても良い。また、レーザスキャナ１３３からの検出信号によりロボット１００の移動方向に障害物が存在するか否かを検出することもできる。

そのため、制御部１５０は、把持対象物の距離、方向、障害物の存在の有無等に基づいて、ロボット１００が、現在位置から、障害物を回避しつつ、把持対象物の近傍に移動させるための経路を生成し、生成した経路に応じた駆動信号を、台車駆動ユニット１４５へ送信する。台車駆動ユニット１４５は、その駆動信号に応じて、把持対象物の近傍にロボット１００を移動させる。

制御部１５０は、ロボット１００が把持対象物の近傍に移動した時点で、把持対象物に対して要求されているハンド１２４による把持動作を開始するための準備を行う。具体的には、まず、制御部１５０は、ハンドカメラ１３５が把持対象物を観察できる位置へアーム１２３を駆動する。続いて、制御部１５０は、ハンドカメラ１３５に把持対象物を撮像させ、把持対象物の状態を認識する。

そして、制御部１５０は、把持対象物の状態と、把持対象物に対して要求されているハンド１２４による把持動作の仕方と、に基づいて、把持対象物に対して要求されている把持動作を実現するためのハンド１２４の軌道を生成する。このとき、制御部１５０は、所定の把持条件を満たすように、ハンド１２４の軌道を生成する。所定の把持条件は、ハンド１２４が把持対象物を把持するときの条件や、ハンド１２４が把持対象物を把持するまでの軌道の条件等を含む。ハンド１２４が把持対象物を把持するときの条件は、例えば、ハンド１２４が把持対象物を把持するときに、アーム１２３を伸ばし過ぎないようにする等である。また、ハンド１２４が把持対象物を把持するまでの軌道の条件は、例えば、把持対象物が引き出しのつまみである場合、ハンド１２４が直線軌道を取ること等である。

制御部１５０は、ハンド１２４の軌道を生成すると、生成した軌道に応じた駆動信号を上体駆動ユニット１４６へ送信する。ハンド１２４は、その駆動信号に応じて、把持対象部に対する把持動作を行う。

図１３は、遠隔端末３００のブロック構成例を示すブロック図である。ここでは、ロボット１００から受信した撮像画像に対して手書き入力情報を入力する処理に関係する主な要素について説明するが、遠隔端末３００の構成としては他の要素も備え、また、手書き入力情報を入力する処理に寄与する他の要素が加えられることもあり得る。

演算部３５０は、例えばＣＰＵであり、メモリ３８０から読み出した制御プログラムを実行することにより遠隔端末３００全体の制御と様々な演算処理とを実行する。表示パネル３４１は、例えば液晶パネルであり、例えばロボット１００から送られてきた撮像画像を表示する。

入力ユニット３４２は、表示パネル１４１に重畳して配置されたタッチパネルや、表示パネル１４１の周縁部に設けられた押しボタン等を含む。入力ユニット３４２は、ユーザがタッチパネルへのタッチによって入力した、ハンド１２４による把持を要求する把持対象物に対する把持動作の仕方を模擬した画像である手書き入力情報を、演算部３５０へ引き渡す。手書き入力情報の例は、例えば図３～図５に示した通りである。

メモリ３８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ３８０は、遠隔端末３００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。

通信ユニット３９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット３９０は、ロボット１００から送られてくる撮像画像を受信して演算部３５０へ引き渡す。また、通信ユニット３９０は、演算部３５０と協働して、手書き入力情報をロボット１００へ送信する。

次に、本実施形態に係る遠隔操作システム１０の全体的な処理について説明する。図１４は、本実施形態に係る遠隔操作システム１０の全体的な処理の流れの例を示すフロー図である。左側のフローはロボット１００の処理フローを表し、右側のフローは遠隔端末３００の処理フローを表す。また、システムサーバ５００を介して行う手書き入力情報や撮像画像のやり取りを、点線の矢印で示している。

ロボット１００の制御部１５０は、ロボット１００が存在する第１環境を、ステレオカメラ１３１に撮像させ（ステップＳ１１）、その撮像画像を、通信ユニット１９０を介して遠隔端末３００へ送信する（ステップＳ１２）。

遠隔端末３００の演算部３５０は、ロボット１００から通信ユニット３９０を介して撮像画像を受信すると、受信した撮像画像を表示パネル３４１に表示する。以降、演算部３５０は、撮像画像に対する手書き入力情報の入力を受け付ける状態に遷移する（ステップＳ３１）。ユーザが、タッチパネルである入力ユニット３４２を介して、撮像画像に対して手書き入力情報を入力すると（ステップＳ３１のＹｅｓ）、演算部３５０は、その手書き入力情報を、通信ユニット３９０を介してロボット１００へ送信する（ステップＳ３２）。

ロボット１００の認識部１５１は、遠隔端末３００から、ユーザが撮像画像に対して入力した手書き入力情報を受信すると、その撮像画像に基づいて、把持可能物を認識する。ロボット１００の推定部１５２は、認識部１５１が撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き入力情報と、に基づいて、認識部１５１が認識した把持可能部の中からハンド１２４による把持が要求されている把持対象物を推定すると共に、推定した把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する（ステップＳ１３）。

以降、ロボット１００の制御部１５０は、台車駆動ユニット１４５を制御して、把持対象物の近傍にロボット１００を移動させ、ロボット１００が把持対象物の近傍に移動した時点で、把持対象物に対して要求されている把持動作を実現するためのハンド１２４の軌道を生成する（ステップＳ１４）。制御部１５０は、ハンド１２４の軌道を生成すると、生成した軌道に応じて上体駆動ユニット１４６を制御し、ハンド１２４によって把持対象部に対する把持動作が行われる（ステップＳ１５）。

次に、図１４のステップＳ１３の処理の詳細について説明する。図１５は、ロボット１００による図１４のステップＳ１３の処理の詳細な流れの例を示すフロー図である。
遠隔端末３００から、ユーザが撮像画像に対して入力した手書き入力情報を受信すると、まず、認識部１５１は、その撮像画像を入力画像とし、メモリ１８０から読み出した第１学習済みモデル１８１から、その撮像画像に写っている把持可能領域を得て、把持可能部を認識する（ステップＳ１３１）。

次に、推定部１５２は、認識部１５１が認識した把持可能部の中から、撮像画像上の手書き入力情報の入力位置に基づいて、ハンド１２４による把持が要求されている把持対象物を推定する（ステップＳ１３２）。なお、撮像画像上の手書き入力情報の入力位置は、例えば、上述した方法と同様の方法を用いて認識すれば良い。

次に、推定部１５２は、手書き入力情報の画像を入力画像とし、メモリ１８０から読み出した第２学習済みモデル１８２から、その手書き入力情報が模擬する把持動作の意味を得て、把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する（ステップＳ１３３）。

以上説明したように本実施形態によれば、認識部１５１は、ロボット１００が存在する環境を撮像した撮像画像に基づいて、ハンド１２４が把持可能な把持可能部を認識する。推定部１５２は、認識部１５１が撮像画像から認識した把持可能部と、その撮像画像に対してユーザが入力した手書き入力情報と、に基づいて、把持可能部の中からハンド１２４による把持が要求されている把持対象物を推定すると共に、推定した把持対象物に対して要求されているハンド１２４による把持動作の仕方を推定する。

これにより、ユーザは、予め設定された指示図形を思い出しながら手書き入力をしなくても、遠隔操作によってロボット１００に把持動作を実行させることができる。従って、より直感的な操作が可能な遠隔操作システム１０を実現することができる。

なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態では、手書き入力情報は、ハンド１２４による把持を要求する把持対象物に対する把持動作の仕方を模擬した画像であったが、これには限定されない。手書き入力情報は、把持動作の程度を示す画像をさらに含んでいても良い。この場合、推定部１５２は、手書き入力情報に基づいて、把持対象物に対して要求されている把持動作の程度をさらに推定しても良い。図１６は、把持動作の程度を示す画像を含む手書き入力情報の例を示す図である。図１６の例は、図５の手書き入力情報９０３と同様の画像に、把持動作の程度を示す「３０°」という画像が追加された手書き入力情報９０５を示している。図１６の例では、推定部１５２は、つまみ４１１に対して要求されている把持動作は、つまみ４１１をつかんで扉を３０°開ける、という動作であると推定する。これにより、ユーザは、よりきめ細やかな直感的な操作が可能になる。

また、上記実施の形態では、撮像画像に対して１つの手書き入力情報が入力される例を説明したが、これには限定されない。撮像画像に対しては複数の手書き入力情報が入力されても良い。撮像画像に対して複数の手書き入力情報が入力された場合、推定部１５２は、複数の手書き入力情報毎に、把持対象物及び把持動作の仕方を推定する。このとき、推定部１５２は、把持動作の順番を、把持動作に対応する手書き入力情報が入力された順番と推定しても良い。又は、手書き入力情報は、把持動作の順番を示す画像をさらに含むものとし、推定部１５２は、手書き入力情報に基づいて、把持動作の順番をさらに推定しても良い。図１７は、把持動作の順番を示す画像を含む手書き入力情報が複数入力された例を示す図である。図１７の例は、撮像画像３１０に対して、つまみ４２２に対する手書き入力情報９０６及びつまみ４１１に対する手書き入力情報９０７という２つの手書き入力情報が入力された例を示している。ここで、手書き入力情報９０６は、把持動作の順番を示す「１」という画像を含み、手書き入力情報９０７は、把持動作の順番を示す「２」という画像を含んでいる。そのため、図１７の例では、推定部１５２は、１番目に、つまみ４２２に対して要求されている把持動作（つまみ４２２をつかんで引き出しを開ける、という動作）を実行し、２番目に、つまみ４１１に対して要求されている把持動作（つまみ４１１をつかんで扉を開ける、という動作）を実行すると推定する。

また、上記実施の形態では、第１学習済みモデル１８１及び第２学習済みモデル１８２という２つの学習済みモデルを用いていたが、これには限定されない。第１学習済みモデル１８１及び第２学習済みモデル１８２の代わりに、第１学習済みモデル１８１の出力を第２学習済みモデル１８２に適用した転移学習済みモデルを用いても良い。この転移学習済みモデルは、例えば、手書き入力情報が入力された撮像画像を入力画像として、その撮像画像に写っている把持可能物と、その把持可能物のうちの把持対象物と、その手書き入力情報が模擬する把持対象物に対する把持動作の意味と、を出力するモデルとなる。

また、上記実施の形態では、認識部１５１及び推定部１５２がロボット１００に備えられていたが、これには限定されない。認識部１５１及び推定部１５２は、遠隔端末３００に備えられていても良いし、システムサーバ５００に備えられていても良い。

また、上記実施の形態では、ロボット１００と遠隔端末３００とがインターネット６００及びシステムサーバ５００を介して、撮像画像や手書き入力情報をやり取りしていたが、これには限定されない。ロボット１００と遠隔端末３００とは、直接通信によって、撮像画像や手書き入力情報をやり取りしても良い。

また、上記実施の形態では、ロボット１００に備えられている撮像部（ステレオカメラ１３１）を用いていたが、これには限定されない。撮像部は、ロボット１００が存在する第１環境の任意の場所に備えられた任意の撮像部であれば良い。また、撮像部は、ステレオカメラに限定されず、単眼カメラ等であっても良い。

また、上記実施の形態では、***作対象が、アーム１２３の先端のハンド１２４をエンドエフェクタとして備えるロボット１００である例を説明したが、これには限定されない。***作対象は、エンドエフェクタを備え、エンドエフェクタを用いて把持動作を実行するものであれば良い。また、エンドエフェクタは、ハンド以外の他の把持部（例えば、吸着部等）であっても良い。

１０ 遠隔操作システム、１００ ロボット、１１０ 台車部、１１１ 駆動輪、１１２ キャスター、１２０ 本体部、１２１ 胴部、１２２ 頭部、１２３ アーム、１２４ ハンド、１３１ ステレオカメラ、１３３ レーザスキャナ、１３５ ハンドカメラ、１４１ 表示パネル、１４５ 台車駆動ユニット、１４６ 上体駆動ユニット、１５０ 制御部、１５１ 認識部、１５２ 推定部、１８０ メモリ、１８１ 第１学習済みモデル、１８２ 第２学習済みモデル、１９０ 通信ユニット、３００ 遠隔端末、３１０ 撮像画像、３４１ 表示パネル、３４２ 入力ユニット、３５０ 演算部、３８０ メモリ、３９０ 通信ユニット、４００ テーブル、４０１，４０２ 物体、４１０，４２０，４３０ タンス、４１１，４２１，４２２，４３１，４３２ つまみ、４４０ ドア、４４１ ドアノブ、５００ システムサーバ、６００ インターネット、７００ 無線ルータ、８０１～８０３ 把持可能領域、９０１～９０７ 手書き入力情報

Claims (10)

1. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムであって、
   前記***作対象が存在する環境を撮像する撮像部と、
   前記撮像部が撮像した前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識部と、
   前記撮像画像を表示すると共に、表示した前記撮像画像に対する手書き入力情報の入力を受け付ける操作端末と、
   前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定部と、
   を備え、
   前記推定部は、前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持対象物に対して要求されている前記把持動作の程度をさらに推定し、
   前記把持動作は、前記把持対象物が扉のつまみである場合は前記つまみをつかんで前記扉を開閉する動作、又は、前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作であり、
   前記把持動作の程度は、前記扉又は前記ドアの開度を示す、
   遠隔操作システム。
2. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムであって、
   前記***作対象が存在する環境を撮像する撮像部と、
   前記撮像部が撮像した前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識部と、
   前記撮像画像を表示すると共に、表示した前記撮像画像に対する手書き入力情報の入力を受け付ける操作端末と、
   前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定部と、
   を備え、
   前記推定部は、前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持対象物に対して要求されている前記把持動作の程度をさらに推定し、
   前記手書き入力情報は、前記把持対象物に対する把持動作を模擬した第１画像と、該把持動作の程度を示す画像と、を含み、
   前記把持動作は、前記把持対象物が扉のつまみである場合は前記つまみをつかんで前記扉を開閉する動作、又は、前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作であり、
   前記把持動作の程度は、前記扉又は前記ドアの開度を示す、
   遠隔操作システム。
3. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムであって、
   前記***作対象が存在する環境を撮像する撮像部と、
   前記撮像部が撮像した前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識部と、
   前記撮像画像を表示すると共に、表示した前記撮像画像に対する手書き入力情報の入力を受け付ける操作端末と、
   前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定部と、
   を備え、
   前記推定部は、前記撮像画像に対して複数の前記手書き入力情報が入力された場合、前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報毎に、前記把持対象物を推定すると共に、前記把持対象物に対して要求されている前記把持動作を推定し、
   前記推定部は、前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報によりそれぞれ前記把持動作が要求されている複数の前記把持対象物の順番をさらに推定し、
   前記手書き入力情報は、前記把持対象物に対する把持動作を模擬した第１画像と、該把持動作の順番を示す画像と、を含み、
   前記把持動作は、以下の動作のうち、少なくとも１つである、
   （Ａ）前記把持対象物を単に把持する動作、
   （Ｂ）前記把持対象物をつかんで持ち上げる動作、
   （Ｃ）前記把持対象物が扉又は引き出しのつまみである場合は前記つまみをつかんで前記扉又は引き出しを開閉する動作、
   （Ｄ）前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作、
   遠隔操作システム。
4. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムであって、
   前記***作対象が存在する環境を撮像する撮像部と、
   前記撮像部が撮像した前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識部と、
   前記撮像画像を表示すると共に、表示した前記撮像画像に対する手書き入力情報の入力を受け付ける操作端末と、
   前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定部と、
   を備え、
   前記推定部は、前記撮像画像に対して複数の前記手書き入力情報が入力された場合、前記認識部が認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報毎に、前記把持対象物を推定すると共に、前記把持対象物に対して要求されている前記把持動作を推定し、
   前記推定部は、複数の前記手書き入力情報が入力された順番に基づいて、複数の前記手書き入力情報によりそれぞれ前記把持動作が要求されている複数の前記把持対象物の順番をさらに推定し、
   前記把持動作は、以下の動作のうち、少なくとも１つである、
   （Ａ）前記把持対象物を単に把持する動作、
   （Ｂ）前記把持対象物をつかんで持ち上げる動作、
   （Ｃ）前記把持対象物が扉又は引き出しのつまみである場合は前記つまみをつかんで前記扉又は引き出しを開閉する動作、
   （Ｄ）前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作、
   遠隔操作システム。
5. 前記手書き入力情報は、前記把持対象物に対する把持動作を模擬した第１画像を含む、
   請求項１又は４に記載の遠隔操作システム。
6. 前記推定部は、前記手書き入力情報の前記第１画像を入力画像とする学習済みモデルを用いて、前記把持対象物に対して要求されている前記把持動作を推定する、
   請求項２、３、又は５に記載の遠隔操作システム。
7. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
   前記***作対象が存在する環境を撮像するステップと、
   前記環境の撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き入力情報の入力を受け付けるステップと、
   前記撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識ステップと、
   前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定ステップと、を含み、
   前記推定ステップでは、前記認識ステップが認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持対象物に対して要求されている前記把持動作の程度をさらに推定し、
   前記把持動作は、前記把持対象物が扉のつまみである場合は前記つまみをつかんで前記扉を開閉する動作、又は、前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作であり、
   前記把持動作の程度は、前記扉又は前記ドアの開度を示す、
   遠隔操作方法。
8. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
   前記***作対象が存在する環境を撮像するステップと、
   前記環境の撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き入力情報の入力を受け付けるステップと、
   前記撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識ステップと、
   前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定ステップと、を含み、
   前記推定ステップでは、前記認識ステップが認識した前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持対象物に対して要求されている前記把持動作の程度をさらに推定し、
   前記手書き入力情報は、前記把持対象物に対する把持動作を模擬した第１画像と、該把持動作の程度を示す画像と、を含み、
   前記把持動作は、前記把持対象物が扉のつまみである場合は前記つまみをつかんで前記扉を開閉する動作、又は、前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作であり、
   前記把持動作の程度は、前記扉又は前記ドアの開度を示す、
   遠隔操作方法。
9. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
   前記***作対象が存在する環境を撮像するステップと、
   前記環境の撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き入力情報の入力を受け付けるステップと、
   前記撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識ステップと、
   前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定ステップと、を含み、
   前記推定ステップでは、前記撮像画像に対して複数の前記手書き入力情報が入力された場合、前記認識ステップが認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報毎に、前記把持対象物を推定すると共に、前記把持対象物に対して要求されている前記把持動作を推定し、
   前記推定ステップでは、前記認識ステップが認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報によりそれぞれ前記把持動作が要求されている複数の前記把持対象物の順番をさらに推定し、
   前記手書き入力情報は、前記把持対象物に対する把持動作を模擬した第１画像と、該把持動作の順番を示す画像と、を含み、
   前記把持動作は、以下の動作のうち、少なくとも１つである、
   （Ａ）前記把持対象物を単に把持する動作、
   （Ｂ）前記把持対象物をつかんで持ち上げる動作、
   （Ｃ）前記把持対象物が扉又は引き出しのつまみである場合は前記つまみをつかんで前記扉又は引き出しを開閉する動作、
   （Ｄ）前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作、
   遠隔操作方法。
10. エンドエフェクタを備える***作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
    前記***作対象が存在する環境を撮像するステップと、
    前記環境の撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き入力情報の入力を受け付けるステップと、
    前記撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能部を認識する認識ステップと、
    前記把持可能部と、前記撮像画像に対して入力された前記手書き入力情報と、に基づいて、前記把持可能部の中から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記把持対象物に対して要求されている前記エンドエフェクタによる把持動作を推定する推定ステップと、を含み、
    前記推定ステップでは、前記撮像画像に対して複数の前記手書き入力情報が入力された場合、前記認識ステップが認識した前記把持可能部と、前記撮像画像に対して入力された複数の前記手書き入力情報と、に基づいて、複数の前記手書き入力情報毎に、前記把持対象物を推定すると共に、前記把持対象物に対して要求されている前記把持動作を推定し、
    前記推定ステップでは、複数の前記手書き入力情報が入力された順番に基づいて、複数の前記手書き入力情報によりそれぞれ前記把持動作が要求されている複数の前記把持対象物の順番をさらに推定し、
    前記把持動作は、以下の動作のうち、少なくとも１つである、
    （Ａ）前記把持対象物を単に把持する動作、
    （Ｂ）前記把持対象物をつかんで持ち上げる動作、
    （Ｃ）前記把持対象物が扉又は引き出しのつまみである場合は前記つまみをつかんで前記扉又は引き出しを開閉する動作、
    （Ｄ）前記把持対象物がドアのドアノブである場合は前記ドアノブをつかんで前記ドアを開閉する動作、
    遠隔操作方法。

Images