JP7234724B2 - ロボットおよび制御システム - Google Patents

Description

本発明は、ロボットおよび制御システムに関する。

テレプレゼンス・ロボットと呼ばれる、遠隔からネットワークを経由して操作されるロボットが既に知られている。
このようなロボットにおいては、ネットワークを介するために、データの送受信に伴う遅延が生じることは避けられない。また、操作者が遠隔操作を行う場合には、ロボットが撮影しているリアルタイムの動画像と、操作者が移動指示のための手がかりとして見ている動画像とが遅延によって乖離してしまい、誤操作の原因となることが懸念されている。
また、ロボットに自律的に判断させた上で自動的に動作させるようなロボットも知られている。
しかしながら、このような自律型のロボットでは、操作者からの操作を受け入れる余地が少なく、「操作者が遠隔地の行きたいところへ、操作者自身の意思で操作しながら動作する」というテレプレゼンス・ロボットの特徴が失われてしまうという問題が生じてしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、操作性を維持しながらもネットワーク時差による誤操作の低減を両立可能なロボットの提供を目的とする。

上述した課題を解決するため、本発明のロボットは、周囲の環境を動画像として撮影可能な動画像取得手段と、前記操作指示を受信するための受信部と、前記受信部が受け取った前記操作指示に基づいて当該ロボットの移動目的地を推定する移動目的地推定部と、前記操作指示による前記移動目的地までの移動を、前記操作指示を受信した時点における動画像から得られた前記環境の情報に基づいて自発的に補正する自律制御部と、を有することを特徴とする。

本発明によれば、操作性を維持しながらもネットワーク時差による誤操作の低減を両立可能である。

本発明の実施形態に係るテレプレゼンス・ロボットの制御システムの全体構成の一例を示す図である。 図１に示した移動指示部の構成の一例を示すブロック図である。 図１に示した制御システムの構成の一例を示すブロック図である。 ネットワーク遅延とロボットの取得する動画像と操作指示との遅延関係の一例を示す図である。 図４に示した遅延関係に本実施形態における自律制御を加えた場合の一例を示す図である。 本発明における自律制御部の動作の第１例を示す図である。 本発明における制御システムの制御動作の一例を示す図である。 本発明における自律制御部の動作の第２例を示す図である。 本発明における自律制御部の動作の第３例を示す図である。 本発明における自律制御部の動作の第４例を示す図である。

本発明の実施形態の一例として図１に、操作者Ｐが操作部１０を用いてネットワーク９を介して操作する遠隔操作ロボットたるテレプレゼンス・ロボットＴＲの制御システム１００の全体構成の概念図を示す。

テレプレゼンス・ロボットＴＲは、動画像取得手段たるカメラ２０と、移動可能なように車輪あるいは無端ベルト等を用いて構成された移動部２１と、操作部１０からの操作指示を受信するための受信部２２と、受信部２２が受け取った操作指示に基づいてテレプレゼンス・ロボットＴＲの各部位を制御するための制御部３０と、を有している。

操作部１０は、操作者Ｐが操作するために参照する画像あるいは動画を表示する動画像表示部１１と、図２に示すような移動方向を指示する複数のボタンを備える移動指示部１２と、を有している。
操作部１０は、テレプレゼンス・ロボットＴＲと無線あるいは有線のネットワーク９を介して通信し、データの送受信を行っている。
具体的には、テレプレゼンス・ロボットＴＲがカメラ２０で撮影した動画像が動画像表示部１１へと送信され、操作者Ｐが動画像表示部１１を見ながら移動指示部１２を用いて行った操作指示がテレプレゼンス・ロボットＴＲの受信部２２へと送信される。
移動指示部１２は、例えば前進指示ボタン１２ａ、右折指示ボタン１２ｂ、後退指示ボタン１２ｃ、左折指示ボタン１２ｄ、の４つを備えた移動方向指示部としての機能を有している。
なお、本実施形態では、受信部２２を制御部３０とは分けて表記しているが、制御部３０の中の一機能として受信部２２を設けるとしても良く、かかる構成には限定されるものではない。

制御部３０は、図３に示すように、受信部２２が受け取った操作指示に基づいてテレプレゼンス・ロボットＴＲの移動目的地を推定する移動目的地推定部３１と、操作指示による移動目的地までの移動を、周囲の環境の情報に基づいて自発的に補正する自律制御部３２と、を有している。
制御部３０はまた、後述するようにカメラ２０から動画像が取得されてから、受信部２２に当該動画像に基づいた操作者Ｐの操作指示が受信されるまでの時間である遅延時間ｔｄを測定するための遅延測定部３３を有している。
移動目的地推定部３１は、受信部２２から受け取った操作指示に基づいて、前後左右の何れの方向に移動するかを判断するとともに、後述するように仮の移動目的地Ｑを推定する。
自律制御部３２は、移動目的地推定部３１が推定した移動目的地Ｑと、移動目的地Ｑまでの移動をカメラ２０から得られた周囲の環境の情報とに基づいて、移動部２１の移動を制御する。
遅延測定部３３は、例えば後述する動画像フレームＦ１を操作部１０へ送信するときに、タイムスタンプ付きの動画像を送信し、操作部１０がかかるタイムスタンプ付き動画像を受信した時間との時間差を計測することで、遅延時間を測定する。なお、このような遅延時間の測定は一例に過ぎず、例えばネットワーク９を往復するようなデータを送受信し、送受信に要した時間から計測するものであってもよいし、その他既知のネットワーク上の遅延を計測可能な手段であれば良い。

さて、このような制御システム１００を用いる場合は、ネットワーク９の送受信にかかる時間によって、図４に示すようにカメラ２０の取得する動画像のフレームと、送受信によって遅延して動画像表示部１１に表示される動画像のフレームと、が動画像送受信時間ｔ１だけ遅延するという問題が生じてしまう。
さらに、テレプレゼンス・ロボットＴＲの受信部２２までに操作者Ｐの操作指示が伝わるまでの時間は、動画像送受信時間ｔ１と、操作者Ｐが動画像を見てから実際に移動指示部１２を用いて操作指示を行うまでの時間である操作判断時間ｔ２と、操作部１０から操作指示が受信部２２まで届く時間である操作指示送受信時間ｔ３と、の合計である遅延時間ｔｄだけ遅れることとなってしまう。

すなわち、テレプレゼンス・ロボットＴＲを操作者Ｐが遠隔から操作しようとすると、図４に示したように、カメラ２０によって撮影された動画像のフレームと実際に操作指示を受信して移動を開始するまでの間に、遅延時間ｔｄ以上の遅延が必ず生じてしまうこととなる。なお、一般的な現在のネットワーク９を用いると、凡そｔｄ＝０．３秒～０．４秒程度の遅延が生じることが知られている。
つまり、操作者Ｐが動画像表示部１１に表示されたフレームＦ１を見て操作指示を送信し、テレプレゼンス・ロボットＴＲが実際に動作するとき、実際の周囲の環境を表すカメラ２０に取得されたフレームＦ１３とは状況が異なる場合が多々あり、カメラ２０に取得されたフレームＦ１３におけるテレプレゼンス・ロボットＴＲの周辺環境に対しては好ましくないような操作指示が成されてしまうことが有り得る。

かかる遅延時間ｔｄは、テレプレゼンス・ロボットＴＲを遠隔操作する上では０にすることは出来ない上に、テレプレゼンス・ロボットＴＲを操作する上で、例えば進むべき通路を通り過ぎてしまったり、あるいは急に人や物が障害物として進路上に出てきたときに衝突してしまうなど、意図しない事故や故障の原因になり得てしまう。

また、このような問題を解決するために、操作することなくロボット自体に進路を決定させる方法が考えられるが、単にプログラミングされた自律制御による移動では、操作者Ｐが思うように動かせないため、例えば任意の場所の見回りを遠隔で行う等の業務が正しく行い難いという問題がある。

本発明は、かかる問題を解決するべく、操作指示による移動目的地Ｑまでの移動を、カメラ２０から得られた動画像に基づいて自発的に補正する自律制御部３２を有している。
制御部３０はまた、後述するようにカメラ２０から動画像が取得されてから、受信部２２に当該動画像に基づいた操作者Ｐの操作指示が受信されるまでの時間である遅延時間ｔｄを測定するための遅延測定部３３を有している。

かかる自律制御部３２の動作について図５～図７を用いて詳しく説明する。
まず、操作者Ｐが動画像表示部１１の動画像を見て実際に操作指示を出すまでの間には、図４に示した遅延時間ｔｄと同じだけ遅延するとする。
自律制御部３２は、受信部２２が操作指示Ａを受信したタイミングにおけるカメラ２０の動画像フレーム（図５では特にフレームＦ１３）を元に、操作指示ＡをフレームＦ１３に基づいて補正した自律操作１３Ａを移動部２１に指示する。なお、例えば以降に操作指示Ｂ～Ｒを受信した場合にも、図５の通り操作指示Ｂ～Ｒを受信したタイミングにおけるカメラ２０の動画像フレーム（Ｆ１４～Ｆ２５）を元に自律操作１４Ｂ～２５Ｍを順次実行する。

このように、動画像フレームＦ１に基づいて行われた操作指示Ａを動画像フレームＦ１３に基づいて補正することによって、自律操作１３Ａを行うことにより、動画像フレームＦ１のみに基づいて行われた移動制御Ａに直接従った移動を行うよりも最新の動画像フレームＦ１３によって得られた周辺の環境を考慮した精度の良い制御を行うことができる。
また、単に移動制御Ａを行う場合に比べて、遅延時間ｔｄの分だけ後の動画像フレームを用いて補正を行うため、遅延時間を考慮した制御を行うことができる。
なお、移動目的地Ｑまでの移動を行う際の補正は、例えば遅延時間ｔｄに応じて変動するとしても良い。あるいは、遅延時間ｔｄが十分に小さいとみなせるときには、かかる補正値を０として、操作者Ｐによる指示をそのままテレプレゼンス・ロボットＴＲが実行するとしても良い。

具体的に、図６（ａ）に示すような動画像フレームＦ１が得られたときに、操作者Ｐが移動指示部１２の前方に進むことを意味する前進指示ボタン１２ａを押下した場合の動作について述べる。
カメラ２０が動画像フレームＦ１を取得すると、テレプレゼンス・ロボットＴＲが動画像フレームＦ１を動画像表示部１１へと送信する（ステップＳ１０１）。
操作者Ｐは、受信した動画像フレームＦ１に基づいて、直進したい旨の操作を行うとして移動指示部１２の前進指示ボタン１２ａを押下する（ステップＳ１０２）。
受信部２２は、かかる前進指示ボタン１２ａの押下を操作指示として受信する（ステップＳ１０３）。
移動目的地推定部３１は、受信部２２がかかる操作指示を受信すると、移動指示部１２の押されたボタンに従って、操作者Ｐがテレプレゼンス・ロボットＴＲを動かしたいであろう方向を推定する（ステップＳ１０４）。
移動目的地推定部３１は、カメラ２０によって、操作指示の受信時に取得された図６（ｂ）に示すような動画像のフレームＦ１３から予め設定されたあるいは画像認識等によって区別された進行可能な通路４１と、進行不可能な領域外部としての通路外４２と、を元に、通路４１に沿った方向のうち、前方に相当する方向に移動目的地Ｑを推定する（ステップＳ１０５）。
このとき、図６（ｂ）から明らかなように、押下されたのは前進指示ボタン１２ａであるが、実際には通路４１が左前方に緩やかに曲がっているので、自律制御部３２は、動画像フレームＦ１３を元に、前進指示ボタン１２ａと指示された「前方」への移動を、「左斜め前方」の移動目的地Ｑへの移動と推定している。

さらに、移動目的地Ｑが推定されると、かかる移動目的地Ｑに向かって、自律制御部３２が通路４１の曲率に沿って移動部２１を制御して自律操作１３Ａによる移動を行う（ステップＳ１０６）。
このように、自律制御部３２は、受信部２２が操作指示を受信したときの動画像フレームＦ１３に基づいて補正を行うことで、移動目的地Ｑへの移動を行う。

このとき自律制御部３２の自律操作１３Ａは、テレプレゼンス・ロボットＴＲが移動指示「なし」（ボタンが押下されないまたは新たな操作指示がない）を受信した場合において、推定された移動目的地Ｑに向かって移動をし続けることが望ましい（ステップＳ１０７）。
また、新たな操作指示がない場合には、さらに所定時間以上操作指示がない状態が継続したかどうかについて判定を行う（ステップＳ１０８）。
本実施形態において、自律制御部３２は、移動目的地Ｑまでの移動の過程において、所定時間以内だけ操作指示が受信されなくなった場合には移動目的地Ｑに向かって移動を継続する。
このように、移動指示が無い場合にも、所定時間だけ前の移動目的地Ｑに向かって移動を行い続けるようにすることで、ネットワーク９の瞬断等の意図しない移動指示の途絶が生じたときにも、移動を継続することでネットワーク９が復帰した時に不都合なく操作を継続することができる。

また、所定時間以上操作指示が停止した際には（ステップＳ１０８でＹｅｓ）テレプレゼンス・ロボットＴＲの移動を中止するとしても良い（ステップＳ１０９）。
このように、操作指示が所定時間以上受信されなくなった場合には停止するように制御することで、ネットワーク９の瞬断ではなく、本格的なネットワーク９の断絶が生じてしまった場合にも、衝突等の事故を未然に防ぐことができる。

さらに、ステップＳ１０６において自律操作１３Ａに基づいて移動を行う際には、操作者Ｐがかかる移動方向を正確に把握できるように、動画像表示部１１に動画像フレームＦ１３を送信する際には、移動目的地Ｑと自律操作１３Ａが描くであろう軌道の予測を図６（ｂ）に一点鎖線で示すように表示するとしても良い。
このように、予測される移動方向を表示することで、操作者Ｐは自身が行った移動操作が正しくテレプレゼンス・ロボットＴＲに伝わっているかどうかを確認しながら操作することができて、より操作指示の精度向上に寄与する。

また、本実施形態においては、移動目的地Ｑを単に通路４１上であることに基づいて推定したが、例えば移動目的地Ｑの推定の方法としては、屋内／屋外位置即位情報と遠隔地における地図情報とを紐づけして、地図情報に記載・事前に定義された複数の目的地候補から何れかを選択する方法を取っても良い。
あるいは、テレプレゼンス・ロボットＴＲに予め、図６（ａ）（ｂ）に示したような「撮影された動画像」と、押下された「移動指示」と、操作者Ｐが実際に「移動したい位置（目的地）」と、を一組とした学習用データを収集し、機械学習によって自律制御部３２に学習させるとしても良い。
このような機械学習による方法によれば、自律制御部３２は、「移動指示」と「動画像」から得られる環境情報と、を入力することで、学習用データで入力された種々のパターンから、最適と思われる移動部２１の操作を出力することができる。
また、学習用データを用意するのみならず、実際にテレプレゼンス・ロボットＴＲを繰り返し操作することで、カメラ２０から得られる環境情報としての動画像データと、操作指示とを用いて環境学習させるとしても良い。

移動目的地推定部３１と、自律制御部３２とは、ステップＳ１０７において操作部１０からの異なる操作指示を受信部２２が受信すると、かかる操作指示に基づいて、繰り返しステップＳ１０１～ステップＳ１０８の動作を行うことで、継続して操作される。
また、テレプレゼンス・ロボットＴＲは、新たな操作指示が所定時間以上こない場合には、ステップＳ１０９に示したように停止する。

さて、かかる自律制御部３２の異なる自律操作の例について、動画像の模式図と操作指示とを合わせて図８～図１０に記載する。なお、本実施形態における自律操作１３Ａは、かかる操作に限定されるものではなく、一例として示すものに過ぎない。

図８には、通路４１上に避けるべき障害物としての人物４３が居たときの模式図を示す。
図８に示すような動画像フレームＦ１３において、操作者Ｐが前進指示ボタン１２ａが押下したときには、移動目的地推定部３１は、動画像フレームＦ１３の人物４３の手前を移動目的地Ｑと推定し、例え前進指示ボタン１２ａが押し続けられていたときにも、人物４３の手前で停止する。
このように、前記操作指示を受信した時点における動画像である動画像フレームＦ１３に基づいて人物４３を把握することによって、テレプレゼンス・ロボットＴＲの移動方向に人物４３が居る場合には、自律制御部３２は移動を停止して人物４３との衝突を避けるように自律操作を行う。
また、かかる自律操作は人物４３以外にも、通路４１上に何かしらの障害物があった場合に停止するような判断を行う場合にも適用可能である。

図９は、前進指示ボタン１２ａが押下されているために移動方向が不明確な場合を示す模式図である。
図９に示すような動画像フレームＦ１３においては、前方方向には通路４１が途切れており、突当りを左折するか右折するかの進行方向が不明確となっている。
かかる動画像フレームＦ１３においては、移動目的地推定部３１は、通路４１の突端付近を移動目的地Ｑとして推定し、自律制御部３２は移動部２１に移動目的地Ｑに向かって移動した後停止するように指示する。
このように、Ｔ字路における左折・右折のようなどちらに移動するのが好ましいか不明確な場合には、自律制御部３２は移動目的地Ｑに向かって移動した後、テレプレゼンス・ロボットＴＲを停止させる。
また、かかる場合には、操作者Ｐに動画像フレームＦ１３を送信する際に、左折／右折の指示が必要な旨表示を出して、「操作者Ｐによる移動指示」の受信を待機し、移動指示Ｂを受信部２２が受信したときに改めて左折／右折の制御を行うとして良い。
なお操作指示Ｂが行われた場合にも、自律制御部３２が操作指示Ｂを受信部２２が受信した時点におけるカメラ２０から得られた動画像フレームＦ２６を参照して、自律操作２６Ｂとして移動部２１に伝達する。

図１０は、右折可能箇所４４を通り過ぎた場合の自律移動制御の一例について示す図である。
図１０（ａ）は動画像フレームＦ１の画像であり、動画像表示部１１に表示されたかかる動画像フレームＦ１を見て操作者Ｐが右折可能箇所４４を発見し、通過した後に移動指示部１２の右折指示ボタン１２ｂが押下された場合について考える。

既に述べたように、ネットワーク９の遅延時間ｔｄにより、右折指示が受信部２２に受信された時点の動画像フレームＦ１３においては既にテレプレゼンス・ロボットＴＲは図１０（ｂ）に示すように右折可能箇所４４を通りすぎてしまっている。
自律制御部３２は、図１０（ａ）に示した動画像フレームＦ１の時点において予め通路４１に右折可能箇所があることを認識及び記憶しておく。
受信部２２が右折指示を受信すると、移動目的地推定部３１が移動目的地Ｑとして、右側方向に移動目的地Ｑをかりに設定する。
自律制御部３２は、右折可能箇所４４があったことを記憶してから遅延時間ｔｄ以内に右折指示を受けとったときには、当該右折指示が、右折可能箇所４４への右折であったと判断して、移動目的地Ｑを右折可能箇所４４へと補正する。
すなわち自律制御部３２は、右折可能箇所があったことと、図１０（ｂ）に示す動画像フレームＦ１３から当該右折可能箇所を通り過ぎてしまったことと、の２つの環境の情報に基づいて、移動目的地Ｑを通路４１の右折可能箇所４４に補正した上で、図１０（ｃ）に示すように前方に移動し過ぎた距離だけ後方移動するように自律制御１３Ａを選択する。また、後方移動の終了後に当該右折指示のために右折するように自律制御２６Ｎを行う。

このように、自律制御部３２は、操作指示による移動目的地Ｑまでの移動を、動画像フレームＦ１３から得られた環境の情報に基づいて自発的に補正する。
かかる構成により、操作者Ｐ自身による操作性を維持しながらもネットワーク時差による誤操作の低減を両立可能である。

以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。

例えば、本実施形態では、テレプレゼンス・ロボットＴＲとして、移動部２１が車輪あるいは無端状ベルトによって駆動されるようなロボットについて説明を行ったが、その他の駆動形態を有するロボットについて本発明を適用しても良い。

また本実施形態では、自律制御部３２が移動目的地Ｑを補正する方法として、機械学習による制御を行う場合について述べたが、テレプレゼンス・ロボットＴＲが受信部２２に移動指示を受けた時点における周囲の環境を考慮して補正する方法であれば、単純に遅延時間ｔｄだけ所定の補正値を加算する等の方法であっても良い。
また、本実施形態では、移動目的地推定部３１と自律制御部３２とを別体の機能を有する制御部の一構成として記載したが、かかる構成に限定されるものではなく、自律制御部が移動目的地を推定する機能を有しているとしても良い。

本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１０ 操作部
１１ 動画像表示部
１２ 移動指示部
２０ 動画像取得手段（カメラ）
２１ 移動部
２２ 受信部
３０ 制御部
３１ 移動目的地推定部
３２ 自律制御部
１００ 制御システム
ＴＲ ロボット（テレプレゼンス・ロボット）
Ｐ 操作者
Ｑ 移動目的地

特開２０１７－１０２７０５号公報 特許第５５０３０５２号公報

Claims (8)

1. ネットワークを介した操作者の操作指示に基づいて移動可能なロボットであって、
   当該ロボットの周囲の環境を動画像として撮影可能な動画像取得手段と、
   前記操作指示を受信するための受信部と、
   前記受信部が受け取った前記操作指示に基づいて当該ロボットの移動目的地を推定する移動目的地推定部と、
   前記操作指示による前記移動目的地までの移動を、前記操作指示を受信した時点における動画像から得られた前記環境の情報に基づいて自発的に補正する自律制御部と、を有することを特徴とするロボット。
2. 請求項１に記載のロボットであって、
   前記移動目的地は、予め与えられた複数の候補地から選択可能であることを特徴とするロボット。
3. 請求項１または２に記載のロボットであって、
   前記操作者に送信した動画像を撮影した時点と、前記操作指示を受信した時点と、の時間差を測定するための遅延測定手段を有し、
   前記自律制御部は、前記時間差の量に応じて前記補正の量を変化させることを特徴とするロボット。
4. 請求項１乃至３の何れか１つに記載のロボットであって、
   前記自律制御部は、予め収集された前記動画像と、前記操作指示と、前記移動目的地とを一組としたデータセットに基づいて機械学習を行うことを特徴とするロボット。
5. 請求項１乃至４の何れか１つに記載のロボットであって、
   前記自律制御部は、前記移動目的地までの移動の過程において、所定時間だけ前記操作指示が受信されなくなった場合には前記移動を継続することを特徴とするロボット。
6. 請求項５に記載のロボットであって、
   前記操作指示が前記所定時間以上受信されなくなった場合には停止することを特徴とするロボット。
7. 請求項１乃至６の何れか１つに記載のロボットであって、
   前記移動目的地推定部は、前記動画像から前記ロボットが移動可能な通路部と、前記ロボットが移動不可能な領域外部とを判別することを特徴とするロボット。
8. 請求項１乃至７の何れか１つに記載のロボットと、
   前記操作者に前記動画像を表示するための表示手段と、を有し、
   前記動画像に前記自律制御部によって前記補正された移動の予測経路を付加して表示することを特徴とする制御システム。

Images