JP5393240B2 - 遠隔操縦システム - Google Patents

Description

本発明は、直観的なグラフィカル・インタフェースにより、無人車両等の移動体を遠隔操縦するのに用いられる遠隔操縦システムに関するものである。

この種の従来技術としては、「ユーザにロボットを遠隔操縦させることができる方法」とした名称で特許文献１に開示されているものがある。

この特許文献１に記載された方法は、ロボット（移動体）の周辺の領域を表す画像情報を供給する段階と、前記画像情報を用いて、前記ロボットの周辺の領域を表すユーザ知覚画像を供給する段階と、ユーザに画像においてロボットが移動すべき方へ一つ以上の目標を指定させることができる段階と、ロボットを前記目標に向けて移動させることができる段階とを具備したことを内容としたものである。

特表２００３−５３２２１８号公報

ところが、上記したような移動体の遠隔操縦においては、通信の電波状況や中継点の数などによりデータ伝送の遅れ時間が変化し、これに伴って受信側におけるデータの受信遅れ時間が変化し、これにより画像を見ながら行う遠隔操縦が困難になることがある。

すなわち、データの受信遅れ時間が増加した場合には、画像において、移動体の速度が急に低下したように見え、また、データの受信遅れ時間が減少した場合には、画像において、移動体の速度が急に上昇したように見えて、操縦者に誤認識を与えることがある。そして、とくに移動体の操舵を行うときに、上記の誤認識を招くような状況が発生すると、操縦のテンポが崩れて正しいタイミングでの遠隔操縦が困難になるという問題点があり、このような問題点を解決することが課題であった。

また、上記のようなデータ伝送の遅れ時間の変化を起因とする遠隔操縦性の低下は、移動体の移動速度が高くなるほど顕著に現われる傾向がある。

本発明は、上記従来の課題に着目して成されたもので、受信側においてデータの受信遅れ時間に変化が生じた場合であっても、画像が急激に変化するような事態を防ぐことができ、これにより操縦者に誤認識を与えないようにして移動体の遠隔操縦性を高めることができる遠隔操縦システムを提供することを目的としている。

本発明の遠隔操縦システムは、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操作部を備えた遠隔操縦装置を有する遠隔操縦システムである。

そして、遠隔操縦システムは、遠隔操縦装置が、移動体からのデータを受信して処理する受信処理手段と、撮像部による画像を表示部に表示するために受信処理手段からのデータを処理するデータ処理手段と、受信処理手段からのデータを蓄積し且つデータ処理手段へ出力するデータを所定時間遅延させるＦＩＦＯ（First In First Out）バッファメモリを備えると共に、ＦＩＦＯバッファメモリの目標遅れ時間と受信遅れ時間との差に基づいてバッファ遅延時間を算出し且つ受信遅れ時間の変動に応じて目標遅れ時間を増減させる機能を有する構成としており、上記構成をもって従来の課題を解決するための手段としている。

本発明の遠隔操縦システムによれば、受信処理手段とデータ処理手段の間に、データを蓄積し且つ同データを所定時間遅延させるバッファメモリを介在させたことで、受信側においてデータの受信遅れ時間が変化した場合でも、画像が急激に変化するような事態を防ぐことができ、これにより操縦者に誤認識を与えないようにして移動体の遠隔操縦性を高めることができる。また、目標遅れ時間と受信遅れ時間との差に基づいてバッファ遅延時間を算出し、且つ受信遅れ時間の変動に応じて目標遅れ時間を増減させることから、操縦者の違和感を抑えながら通信状態の大きな変動に対応することができる。さらに、移動体の移動速度が高い場合でも、画像を安定させて良好な遠隔操縦性を実現することができる。

本発明の一実施形態に係る遠隔操縦システムの全体構成を示す説明図である。 移動体に設けた制御回路のブロック図である。 遠隔操縦装置に設けた制御回路のブロック図である。 表示部に表示した画像の一例を示す説明図である。 表示部に表示した画像の他の例を示す夫々説明図（Ａ）（Ｂ）である。 遠隔操縦装置の制御フローチャート（Ａ）（Ｂ）である。 受信遅れ時間及びバッファ遅延時間の変化を示すグラフ（Ａ）（Ｂ）である。

以下、図面に基づいて、本発明の遠隔操縦システムの一実施形態を説明する。
図１に示す遠隔操縦システムＡは、移動体の一例である無人車両Ｂと、遠隔操縦装置Ｃとを有している。

無人車両Ｂは、一般の乗用車両のハンドル、アクセル及びブレーキを、ＣＰＵ（Central Processing Unit）やインターフェース回路（いずれも図示しない）等からなる車両制御用コンピュータ１０によって操作できるように、各種のアクチュエータを付加した構成を有している。

車両制御用コンピュータ１０には、図２に示すように、イーサネット（登録商標）１１を介して無線ＬＡＮ１２、アンテナ１３、及び撮像部の一例であるオンボードカメラ１４が接続してあり、また、ＧＰＳ（Global Positioning System）１５や、バーチカルジャイロ１６がそれぞれ接続してある。

車両制御用コンピュータ１０の出力側には、モータドライバ１７を介して、ステアリング用アクチュエータ１８、ブレーキ／アクセル用アクチュエータ１９が接続してあり、また、車速パルス２０が接続してある。

オンボードカメラ１４は、無人車両Ｂの走行方向に向けて配置してあり、移動領域の画像を取得する。ＧＰＳ１５は、無人車両Ｂの位置情報を取得するためのものである。バーチカルジャイロ１６は、無人車両Ｂ及びオンボードカメラ１４の光軸姿勢（向き）情報を取得するもので、例えば姿勢角（ロール、ピッチ角度と角速度）、ヨー角速度、及びＸ，Ｙ，Ｚの３軸の加速度を出力する。車速パルス２０は、無人車両Ｂの移動速度をパルス情報として出力するもので、例えばホール素子等である。

車両制御用コンピュータ１０は、イーサネット（登録商標）１１、無線ＬＡＮ１２及びアンテナ１３を通じて、上記したオンボードカメラ１４、ＧＰＳ１５、バーチカルジャイロ１６で取得した各種の情報を、後述する遠隔操縦装置Ｃに向けて送信する機能の他、その遠隔操縦装置Ｃから送信される走行経路や車速指令情報などの各種の情報に基づいて、ステアリング用アクチュエータ１８、ブレーキ／アクセル用アクチュエータ１９をモータドライバ１７を介して駆動制御する機能を有している。

次に、遠隔操縦装置Ｃについて説明する。
遠隔操縦装置Ｃは、装置本体３０と、これと別体の無線通信用アンテナ４０とを有している。装置本体３０は、図３に示す遠隔操縦用コンピュータ３１に、無線ＬＡＮ３２、表示部（ディスプレイ）３３、アクセル／ブレーキレバー３４やジョイスティック３５を備えた操作部３６を接続した構成になっている。

操作部３６からは、アクセル／ブレーキレバー３４やジョイスティック３５の操縦操作に従った操縦情報が出力されるようになっており、その詳細は次のとおりである。

アクセル／ブレーキレバー３４は、無人車両Ｂの走行速度を増減するためのものであり、前方に傾動操作すると無人車両Ｂの走行速度が増加し、また、後方に傾動操作すると当該無人車両Ｂの走行速度が減少するように設定してある。

ジョイスティック３５は、無人車両Ｂを左右に旋回操作するためのものであり、左方に傾動操作すると無人車両Ｂが左方向に旋回し、また、右方に傾動操作すると右方向に旋回するように設定してある。

遠隔操縦用コンピュータ３１は、ＣＰＵ（Central Processing Unit）やインターフェース回路等からなるものであり、所要のプログラムの実行により次の各機能を有している。

無線ＬＡＮ３２から表示部３３に至る受信側には、無人車両（移動体）Ｂからのデータを受信して処理する受信処理手段３１ａと、ＦＩＦＯ（First In First Out：先入れ先出し）バッファメモリ３１ｂと、オンボードカメラ１４（撮像部）による画像を表示部３３に表示するために受信処理手段３１ａからのデータを処理するデータ処理手段３１ｃを備えている。

また、この実施形態では、データ処理手段３１ｃが、オンボードカメラ１４（撮像部）による画像に加えて、無人車両Ｂの動作情報をも表示部３３に表示するために受信処理手段３１ａからのデータを処理するものとなっている。これにより、表示部３３に表示する情報がより具体的で且つ詳細なものになって、操縦性のさらなる向上に貢献し得る。

さらに、操作部３６から無線ＬＡＮ３２に至る送信側には、アクセル／ブレーキレバー３４やジョイスティック３５の操縦操作に従った操縦情報（モード）を管理するモード管理手段３１ｄと、モード管理手段３１ｄからのデータを送信するために処理する送信処理手段３１ｅを備えている。

ＦＩＦＯバッファメモリ３１ｂは、受信処理手段３１ａからのデータを蓄積すると共に、データ処理手段３１ｃへ出力するデータを所定時間遅延させるものであって、とくに、無人車両Ｂからのデータの受信遅れ時間と当該バッファメモリ３１ｂによるバッファ遅延時間との和が一定になるように、バッファ遅延時間を制御する遅延時間制御手段３１ｆを含むものとなっている。

また、データ処理手段３１ｃは、受信処理手段３１ａ及びＦＩＦＯバッファメモリ３１ｂを経た各種データのうちの画像データすなわち圧縮画像を復元する受信画像復元手段３１ｇを備えると共に、上記各種データのうちの無人車両Ｂの動作情報を演算処理する動作情報演算手段３１ｈと、動作情報を表示部３３に重畳表示するためのデータ作成を行う表示データ作成手段３１ｉを備えている。

図４は、表示部３３に表示される画像の一例を示すものである。
表示部３３は、オンボードカメラ１４で取得した画像３３ａを表示すると共に、移動領域内における移動可能エリア３３ｂ、検出した障害物Ｓを示すマーク３３ｃ、及び無人車両Ｂの車両状態情報３３ｄや、図示しない移動経路などを重畳表示する。

上記の動作情報演算手段３１ｈは、例えば以下の機能（１）〜（５）を備えたものとすることにより、図５（Ａ）（Ｂ）に示すような画像を生成するための手段にもなる。

（１）無人車両（移動体）Ｂと遠隔操作装置Ｃとの間における通信遅延時間を推定する機能（遅延時間推定手段）。
無人車両Ｂと遠隔操縦装置Ｃの間において、ｐｉｎｇの要領でデータの往復時間を推定する。また、無人車両Ｂと遠隔操縦装置Ｃ双方にＧＰＳを搭載しておき、そのＧＰＳを用いて双方のコンピュータによって精度の高い時刻同期を行い、受信したデータのタイムスタンプに基づいて遅延時間を推定するようにしてもよい。

（２）移動領域の画像を取得した時刻から所要時間経過後までの無人車両（移動体）Ｂの走行予定経路等に基づいて、無人車両Ｂが遠隔操縦装置Ｃによって操縦制御される時刻における車両位置を推定する機能（車両位置推定手段）。
走行予定経路は、操舵角指令値、速度指令値、車速、ヨーレートに基づいて、時刻の関数若しくは離散的な時刻に対しての位置情報として表現したものであり、オンボードカメラ１４で取得した画像が撮像された時刻から所要時間内のもの、具体的には数秒後までのものである。

（３）操作部３６から送出される操縦情報に基づいて、走行経路指示曲線α１〜７、α１´〜７´を生成する機能（走行経路指示曲線生成手段）。
走行経路指示曲線は、図５に示すように、表示部３３の画像３８上において旋回方向とその度合いを指示するために用いられるマークであり、それは、ジョイスティック３５の左右の倒れ角に応じ、図５（Ａ）に示す中立の直線α１から左右の曲線α２〜７や、同図（Ｂ）に示す中立の直線α１´から左右の曲線α２´〜７´を生成して選択するようにしている。また、無人車両Ｂの幅に対応する幅ゲージβ１〜β３やβ１´〜β３´を、推定した車両位置に対応する大きさにして画像に重畳表示している。これにより、高速度における無人車両Ｂの操縦をより容易に行うことができる。

（４）推定した車両位置に対応する旋回操作基準点γ，γ´及び操作部３６から送信される操縦情報に基づく走行経路指示曲線α１〜７、α１´〜７´等を、表示部３３に表示されている画像３８に重畳表示する機能（重畳表示手段）。
この機能は、表示データ作成手段３１ｉにもたせても良い。旋回操作基準点γ，γ´は、通信遅延時間を考慮するためのマークである。その旋回操作基準点γ，γ´は、遅延時間の発生下において、遠隔操縦装置Ｃからの指令が無人車両Ｂに到達する時刻を推定し、その時刻における実際の車両位置を示している。上記の走行経路指示曲線は、いずれも旋回操作基準点γ，γ´から遠方側にあたる部分について指示するようにしている。

（５）操作部３６の操作に従って、無人車両Ｂの移動速度を増減するための車速指令情報を生成する機能（車速指令情報生成手段）。
具体的には、アクセル／ブレーキレバー３４の倒れ角度に従った車速とする内容の車速指令情報を生成する。上記車速指令情報によって、無人車両Ｂのブレーキ／アクセル用アクチュエータ１９が駆動制御される。

無人車両Ｂは、走行経路指示曲線α１〜７等に沿って、換言すると、車両中心がこの曲線の指し示す経路に沿った走行を行うように制御される。なお、ジョイスティック３５の左右の倒れ角に応じ、中立の直線から左右の曲線を選択するものに限らず、中立直線を左右に屈曲表示するようにしてもよい。

車両速度が停止若しくは徐行の場合には、図５（Ａ）に示すように、通信遅延時間の影響は無視できるため、旋回操作基準点γは画像３８の路面３８ａの近傍側に自動的に移動する。「路面３８ａの近傍側に」とは、図５（Ａ）においては、表示部３３の下縁部３３ａの近くの位置にという意味と同義である。

他方、高速走行の場合には、図５（Ｂ）に示すように、通信遅延時間の影響を考慮すると、画像３８を受信した後に制御指令を行う時刻においては、実際の車両位置は遠隔操縦装置Ｃに表示される画像３８´上の遠方に移動している。「画像上の遠方に」とは、表示部３３の下縁部３３ａから上方に離れた位置にという意味と同義である。

以上のようにして、旋回操作基準点γ，γ´を画像３８，３８´上においてそれに対応する位置に自動的に移動するのである。また、走行経路指示曲線α１〜７は、その基準点γ，γ´より遠方のみの経路を指示できる。さらに、下縁部３３ａの中央付近から旋回操作基準点γ，γ´までの曲線は、既に走行が終わっているであろう経路を示す。

ここで、この種の遠隔操縦システムでは、通信の電波状況や中継点の数等によってデータ伝送の遅れ時間が変化し、これに伴って受信側におけるデータの受信遅れ時間が増減して、画像における無人車両Ｂの速度が急激に変化したように見え、円滑な遠隔操縦が困難になる場合がある。

これに対して、本実施形態の遠隔操縦システムは、とくに、遠隔操縦用コンピュータ３１において受信処理手段３１ａとデータ処理手段３１ｃとの間にＦＩＦＯバッファメモリ３１ｂを介在させた構成により、データの受信遅れ時間の変化により生じる不具合を未然に防止する。

まず、基本的な動作を説明する。当該遠隔操縦システムでは、無人車両Ｂから、画像及び動作情報を含む各種データを例えば毎秒１０〜１５回のレートで送信し、遠隔操縦装置Ｃにおいて、受信データをＦＩＦＯバッファメモリ３１ｂに蓄積する。そして、ＦＩＦＯバッファメモリ３１ｂで各種データを所定時間遅延させてから蓄積順に出力し、画像データについては圧縮画像を復元して表示部３３に表示し、無人車両Ｂの動作情報については夫々演算処理して、姿勢、速度及び予測位置などを表示部３３に重畳表示する（図４及び図５参照）。

これにより、データの受信遅れ時間にＦＩＦＯバッファメモリ３１ｂのバッファ遅延時間が加わった画像及び動作情報を表示部３３に表示し、その画像における見た目上において、無人車両Ｂの速度が急激に変化しないようにする。操縦者は、表示部３３の画像を見ながら、操作部３６により無人車両Ｂの走行方向や速度を選択する。その選択操作により入力された情報を送信データとして、無人車両Ｂに対して例えば毎秒１０〜１５回のレートで送信する。

次に、図６の制御フローチャートに基づいて、より詳細に説明する。図６（Ａ）は、遠隔操縦用コンピュータ３１の制御フローを示し、図６（Ｂ）は、ＦＩＦＯバッファメモリ３１ｂの遅延時間制御手段３１ｆの制御フローを示している。

図６（Ａ）に示す遠隔操縦用コンピュータ３１の制御フローでは、ステップＳ１において、無人車両Ｂからのデータを受信して接続管理し、ステップＳ２において、通信が切断されたか、又は所定時間が経過したか（タイムアウトか）を判断し、ここで通信が切断又はタイムアウトである場合（Ｙｅｓ）には、ステップＳ３に移行して通信を終了する。

次に、ステップＳ２において、通信が切断又はタイムアウトではない場合（Ｎｏ）には、ステップＳ４において、無心車両Ｂからのデータの受信遅れ時間を推定し、ステップＳ５において、ＦＩＦＯバッファメモリ３１ｂの目標遅れ時間を調節し、ステップＳ６において、ＦＩＦＯバッファメモリ３１ｂによるバッファ遅延時間（目標遅れ時間−受信遅れ時間）を算出する。

その後、ステップＳ７において、ＦＩＦＯバッファメモリ３１ｂによる遅延の実施を行い、ステップＳ８において、画像データの復元（圧縮データ復元）及び無人車両Ｂの動作情報の作成（表示データ作成）を行い、ステップＳ９において、表示部３３に画像及び動作情報を表示する。

このように、当該遠隔操縦システムは、あえて追加のバッファ遅延時間を発生させ、そのバッファ遅延時間を制御することで、図７（Ａ）に示すように、データの受信遅れ時間の変化に対して、操縦者から見た時間遅れが一定となり、時間の進み方の変化に幻惑されずに操縦することを可能にするシステムである。

上記の制御フローにおけるステップＳ５では、ＦＩＦＯバッファメモリ３１ｂの遅延時間制御手段３１ｆの制御フローが実行され、データの受信遅れ時間とバッファ遅延時間との和が一定になるように、同バッファ遅延時間を制御しながらデータを出力する。つまり、データの受信遅れ時間が減少したらバッファ遅延時間を増加させ、受信遅れ時間が増加したらバッファ遅延時間を減少させる。

また、データの受信遅れ時間がさらに大きく変動する場合には、目標遅れ時間をなだらかに増減させることで、操縦者の違和感を抑えながら、通信状態の大きな変動に対応することができる。

より具体的には、この実施形態のＦＩＦＯバッファメモリ３１ｂでは、初期の目標合計遅延時間（受信遅れ時間＋バッファ遅延時間）を０．３秒とし、この目標合計遅延時間を維持するように、バッファ遅延時間を増減させてデータを出力する。

そして、ＦＩＦＯバッファメモリ３１ｂの遅延時間制御手段３１ｆでは、図６（Ｂ）に示すように、ステップＳ５１において、目標遅れ時間の調整を開始すると、ステップＳ５２において、受信遅れ時間が、目標遅れ時間と０．１５秒との差よりも大きいか否かを判断し、ステップＳ５２で大であると判断した場合（Ｙｅｓ）、つまり、バッファ遅延時間が０．１５秒を下回った場合には、ステップＳ５３に移行して、目標遅れ時間をなだらかに微増させる。

具体的には、目標合計遅延時間が０．３秒増大するまで（初期が０．３秒なので０．６秒になるまで）、毎秒につき０．１５秒の割合でバッファ遅延時間を増加させる。換言すれば、バッファ遅延時間を１秒間に０．１５秒増加させる処理を２秒間継続する。

また、ステップＳ５２で大ではないと判断した場合（Ｎｏ）には、ステップＳ５４において、受信遅れ時間が、目標遅れ時間と０．５秒との差よりも大きい状態になって２秒以上経過したか否かを判断し、ステップＳ５４で経過したと判断した場合（Ｙｅｓ）、つまり、バッファ遅延時間が０．５秒を上回った状態が２秒以上経過した場合には、ステップＳ５５に移行して、目標遅れ時間をなだらかに微減させる。

具体的には、目標合計遅延時間が０．３秒減少するまで、毎秒につき０．１５秒の割合バッファ遅延時間をで減少させる。換言すれば、バッファ遅延時間を１秒間に０．１５秒の割合で減少させる処理を２秒間継続する。さらに、ステップＳ５４で経過していないと判断した場合（Ｎｏ）には、ステップＳ５６において、目標合計遅延時間を維持する。

このように、当該遠隔操縦システムは、バッファ遅延時間を発生させ、目標遅れ時間に基づいた遅延時間を発生させる仕組みにおいて、さらに通信状態に応じて目標遅れ時間をなだらかに変化させることで、図７（Ｂ）に示すように、データの受信遅れ時間の大きく且つ急激な変化に対しても、操縦者からの時間遅れが緩やかに変化するように緩和することができる。

したがって、当該遠隔操縦システムによれば、無人車両Ｂから遠隔操縦装置Ｃの間においてデータ伝送の遅れ時間が変化し、これに伴って受信側においてデータの受信遅れ時間が増減しても、画像上において無人車両Ｂの動作が急激に変化することがなく、誤認識が解消され、無人車両Ｂの遠隔操縦性を非常に高めることができる。また、無人車両Ｂの移動速度が高い場合でも、安定した画像により良好な遠隔操縦性が得られる。

なお、本発明の遠隔操縦システムは、その構成が上述した実施形態に限定されるものではなく、例えば、次のような実施形態も可能である。
・車両に既にドライブ/ブレーキバイワイヤ機構があり、かつ、ＥＣＵからの制御が可能な場合、それらを用いた構成にしてもよい。
・本実施形態においては、移動体として無人車両Ｂを例示したが、無人偵察機等の他の移動体に準用することができる。
・本実施形態では、据え置き型の遠隔操縦装置Ｃを例示したが、操縦者に装着可能なポータブル型の遠隔操縦装置を採用することも可能である。

Ｂ 移動体（無人車両）
Ｃ 遠隔操縦装置
１４ 撮像部（オンボードカメラ）
３１ａ 受信処理手段
３１ｂ ＦＩＦＯバッファメモリ
３１ｃ データ処理手段
３１ｆ 遅延時間制御手段
３３ 表示部
３６ 操作部

Claims (4)

1. 移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操作部を備えた遠隔操縦装置を有する遠隔操縦システムにおいて、
   遠隔操縦装置が、移動体からのデータを受信して処理する受信処理手段と、撮像部による画像を表示部に表示するために受信処理手段からのデータを処理するデータ処理手段と、受信処理手段からのデータを蓄積し且つデータ処理手段へ出力するデータを所定時間遅延させるＦＩＦＯバッファメモリを備えると共に、ＦＩＦＯバッファメモリの目標遅れ時間と受信遅れ時間との差に基づいてバッファ遅延時間を算出し且つ受信遅れ時間の変動に応じて目標遅れ時間を増減させる機能を有することを特徴とする遠隔操縦システム。
2. 遠隔操縦装置のデータ処理手段が、撮像部による画像及び移動体の動作情報を表示部に表示するために受信処理手段からのデータを処理する手段であることを特徴とする請求項１に記載の遠隔操縦システム。
3. ＦＩＦＯバッファメモリが、移動体からのデータの受信遅れ時間と当該バッファメモリのバッファ遅延時間との和が一定になるようにバッファ遅延時間を制御する遅延時間制御手段を含むことを特徴とする請求項１又は２に記載の遠隔操縦システム。
4. 遅延時間制御手段は、受信遅れ時間が、差よりも大きいか否かを判定し、受信遅れ時間が目標遅れ時間と所定値との差よりも大である場合には、目標遅れ時間を微増させ、受信遅れ時間が目標遅れ時間と所定値との差よりも大ではない場合には、目標遅れ時間を微減させる機能を有することを特徴とする請求項３に記載の遠隔操縦システム。

Images