JP2010128931A - 遠隔操作システムおよび遠隔操作装置 - Google Patents

Abstract

【課題】通信速度の低い回線を用いても移動体を容易に遠隔操作できる遠隔操作システムおよび遠隔操作装置を提供する。
【解決手段】遠隔操作システム１０に含まれる遠隔操作装置１４のＣＰＵ４４は、移動体１２からの過去情報および最新の移動体情報に基づいて過去情報を選択し仮想視点Ｖを決定する。ＣＰＵ４４は、グローバル座標系ＧＣに、選択された過去情報に基づいて３次元環境画像Ｋと仮想視点Ｖとを生成し、最新の移動体情報と移動体モデルＭに関するデータとに基づいて移動体モデルＭと基準点Ｂと切り出し中心点とを生成する。ＣＰＵ４４は、仮想視点Ｖと基準点Ｂとの距離ｄに基づいて画角を算出し、３次元環境画像Ｋと移動体モデルＭとを仮想視点Ｖから切り出し中心点方向に透視投影して得られる投影画像を画角に基づいて切り出して合成画像を生成し、合成画像を所定サイズの表示画像に変換する。その表示画像をモニタ３６に表示する。
【選択図】図３

Description

この発明は遠隔操作システムおよび遠隔操作装置に関し、より特定的には、移動体を遠隔操作するための遠隔操作システムおよび遠隔操作装置に関する。

一般に、自動車等の移動体を当該移動体から離れた遠隔操作装置によって遠隔操作する遠隔操作システムが知られている。従来、このような遠隔操作システムにおいて移動体の遠隔操作を容易にするための技術が種々提案されている。その一例として特許文献１には、移動体に設けられるカメラが過去に撮影した環境画像に移動体画像を合成して表示する画像生成システムが開示されている。
特許文献１には、移動体と遠隔操作装置との通信に通信速度の低い（帯域が狭い）通信手段を用いる場合、環境画像を固定した状態で移動体画像を更新することが開示されている。このように環境画像を固定すれば、移動体から遠隔操作装置に送る環境画像の数を削減でき、移動体から遠隔操作装置へのデータ通信量を削減できる。
特開２００５−２０８８５７号公報

しかし、特許文献１のように環境画像を固定する場合、移動体画像の更新に伴って環境画像上の所定位置から移動体画像が移動することになる。このために、移動体が環境画像を撮影した位置から離れるにつれて移動体画像が環境画像に対して小さくなってしまい、移動体の遠隔操作が困難になるという問題があった。

それゆえに、この発明の主たる目的は、通信速度の低い通信手段を用いても操作者は移動体を容易に遠隔操作することができる、遠隔操作システムおよび遠隔操作装置を提供することである。

上述の目的を達成するために、請求項１に記載の画像処理システムは、移動体と前記移動体を遠隔操作する遠隔操作装置とを備える遠隔操作システムであって、前記移動体は、前記移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備え、前記遠隔操作装置は、前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルと前記移動体の位置を示す基準点と切り出し中心点とを前記仮想空間に生成する第２生成手段と、合成画像に対する前記移動体モデルの大きさの割合が略一定になるように前記仮想視点と前記基準点との距離に基づいて前記仮想視点からの画角を算出する算出手段と、前記３次元環境画像と前記移動体モデルとを前記仮想視点から前記切り出し中心点方向に透視投影して得られる投影画像を、前記仮想視点から前記画角に基づいて切り出して前記合成画像を生成する第３生成手段と、前記合成画像を所定サイズの表示画像に変換する変換手段と、前記表示画像を表示する表示手段とを備える。

請求項２に記載の遠隔操作システムは、請求項１に記載の遠隔操作システムにおいて、前記切り出し中心点は前記基準点の位置に設定されることを特徴とする。

請求項３に記載の遠隔操作システムは、請求項１に記載の遠隔操作システムにおいて、前記切り出し中心点は、前記移動体から前方に所定距離だけ離れた位置に設定されることを特徴とする。

請求項４に記載の遠隔操作装置は、移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備える移動体、を遠隔操作する遠隔操作装置であって、前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルと前記移動体の位置を示す基準点と切り出し中心点とを前記仮想空間に生成する第２生成手段と、合成画像に対する前記移動体モデルの大きさの割合が略一定になるように前記仮想視点と前記基準点との距離に基づいて前記仮想視点からの画角を算出する算出手段と、前記３次元環境画像と前記移動体モデルとを前記仮想視点から前記切り出し中心点方向に透視投影して得られる投影画像を、前記仮想視点から前記画角に基づいて切り出して前記合成画像を生成する第３生成手段と、前記合成画像を所定サイズの表示画像に変換する変換手段と、前記表示画像を表示する表示手段とを備える。

請求項１に記載の遠隔操作システムでは、情報検出手段の検出結果に基づいて仮想視点が決定され、撮像手段によって仮想視点から撮像された環境画像と当該環境画像の撮像時における情報検出手段の検出結果とに基づいて、３次元環境画像と仮想視点とが仮想空間に生成される。また、仮想視点からの環境画像の撮像後における情報検出手段の検出結果と移動体モデルに関するデータとに基づいて、移動体モデルと基準点と切り出し中心点とが仮想空間に生成される。そして、合成画像に対する移動体モデルの大きさの割合が略一定になるように仮想視点と基準点との距離に基づいて仮想視点からの画角が算出される。すなわち、仮想視点から移動体の基準点までの距離が大きくなるほど画角（切り出し範囲）が小さく設定され、一方、仮想視点から基準点までの距離が小さくなるほど画角（切り出し範囲）が大きく設定される。そして、３次元環境画像と移動体モデルとを仮想視点から切り出し中心点方向に透視投影して得られる投影画像が、仮想視点から画角に基づいて切り出されて合成画像が生成される。合成画像は所定サイズの表示画像に変換される。このとき、合成画像のサイズは必要に応じて拡大または縮小される。そして、表示画像が表示手段に表示される。この表示画像中における移動体モデルの大きさは略一定となる。

このような表示画像を連続的に表示することによって、略一定の大きさの移動体モデルが移動する様子を操作者に提示できる。したがって、操作者は、移動体の移動態様を的確に把握でき、移動体を容易に遠隔操作することができる。特に、移動体モデルを複数回更新する間に１つの３次元環境画像を使用することになる通信速度の低い通信手段を用いる場合に有効となる。つまり、通信速度の低い通信手段を用いても操作者は移動体を容易に遠隔操作することができる。請求項４に記載の遠隔操作装置においても同様である。

請求項２に記載の遠隔操作システムでは、移動体の位置を示す基準点を切り出し中心点とすることによって、合成画像の中央に移動体モデルを配置することができる。したがって、仮想視点が更新されても表示画像において移動体モデルの位置が大きく変更することはなく、表示画像において移動体モデルの位置を略一定にできる。このような表示画像を連続的に表示することによって、移動体モデルが違和感なく移動している様子を操作者に提示でき、操作者は、移動体の移動態様をより的確に把握することができ、移動体をさらに容易に遠隔操作することができる。

請求項３に記載の遠隔操作システムでは、切り出し中心点が移動体から前方に所定距離だけ離れた位置に設定されるので、移動体が左折または右折するときには移動体モデルの前方が広く見える表示画像を得ることができる。したがって、操作者は移動体の進行方向の環境を認識しやすくなり移動体をより容易に遠隔操作することができる。

この発明によれば、通信速度の低い通信手段を用いても操作者は移動体を容易に遠隔操作することができる、遠隔操作システムおよび遠隔操作装置が得られる。

以下、図面を参照してこの発明の実施の形態について説明する。
図１はこの発明の一実施形態の遠隔操作システム１０を示すブロック図である。図２は移動体１２を示す左側面図である。

図１を参照して、遠隔操作システム１０は、移動体１２と移動体１２を遠隔操作するための遠隔操作装置１４とを含む。
図２をも参照して、移動体１２は、たとえば荒地走行用の４輪バギー車であり農作業や測量等に用いられ、マイクロコンピュータ（以下、マイコンという）１６、速度検出器１８、カメラ２０、測位ユニット２２、姿勢センサ２４、方位センサ２６、ハードディスクドライブ（ハードディスクを含む：以下、ＨＤＤという）２８、駆動部３０および通信機器３２を含む。

速度検出器１８は、左側の前輪３０ａの回転軸近傍に記載に取り付けられ、当該回転軸の回転数に基づいて移動体１２の速度を検出する。
カメラ２０は、移動体１２の前面中央部やや上寄りに設けられ、移動体１２の前方の環境画像を撮像する。カメラ２０はレンズ２０ａを有するデジタルＣＣＤカメラである。レンズ２０ａは広角であることが望ましく、この実施形態では画角が１８０°の全周魚眼レンズが用いられる。これによってカメラ２０は広角な画像を撮像できる。ここで、レンズ２０ａの中心点をカメラ２０の視点Ａとし、視点Ａの位置をカメラ２０の位置とする。

測位ユニット２２は移動体１２の位置を検出するために移動体１２の位置を示す基準点Ｂに設けられる。この実施形態では、基準点Ｂは、視点Ａから水平方向真後ろに引いた直線と２つの後輪３０ｂの中間点を通る垂線との交点に設定される。測位ユニット２２は、ＧＰＳ（Global Positioning System）衛星からの信号を受信することによって基準点Ｂの位置を検出する。

姿勢センサ２４は、たとえば３Ｄジャイロセンサまたは傾斜センサであり、移動体１２の左右の傾き（ロール角）および移動体１２の前後の傾き（ピッチ角）を検出する。
方位センサ２６は移動体１２の前方の向き（方位角）を検出する。

記憶手段であるＨＤＤ２８は、マイコン１６の指示に従って、プログラム、制御用データ、テキストデータおよび画像データ等を、ハードディスクに対して書き込みまた読み出すためのデバイスであり、各種センサによる検出結果、カメラ２０によって撮像された環境画像のデータおよび各種プログラム等を記憶（格納）する。

駆動部３０は、２つの前輪３０ａおよび２つの後輪３０ｂのほか、移動体１２のステアリングを動かすためのステアリングモータ、スロットルを動かすためのスロットルモータ、ブレーキレバーを動かすためのブレーキモータ等を含む。

通信機器３２は、移動体１２と遠隔操作装置１４とを通信回線Ｔを介して通信するために用いられる。通信回線Ｔは無線および有線のいずれであってもよく、たとえば無線ＬＡＮや携帯電話回線によるデータ通信が行われる。通信回線Ｔの通信速度は、たとえば２５０ｋｂｐｓ程度である。

マイコン１６は、ＣＰＵ、ＲＡＭ、ＲＯＭおよびクロック等を含み、移動体１２の動作を制御する。マイコン１６は、たとえば０．０２秒毎に測位ユニット２２、姿勢センサ２４および方位センサ２６の検出結果を取得する。これと同時に、マイコン１６は、速度検出器１８の検出結果に基づいてマイコン１６が起動してからの移動体１２の累積移動距離を算出する。移動体１２の位置、姿勢、向きおよび累積移動距離は、これらを取得したときのデータ取得時刻と合わせて「移動体情報」としてＨＤＤ２８に記憶されかつ通信機器３２から遠隔操作装置１４に送信される。また、マイコン１６は、たとえば３秒毎に、カメラ２０から環境画像の画像データを取得するとともに、当該環境画像の撮像時におけるカメラ情報（カメラ２０の位置、姿勢および向きからなる）を取得する。これらの画像データおよびカメラ情報は、当該環境画像の撮像時における移動体１２の累積移動距離および撮像時刻とともに、「過去情報」としてＨＤＤ２８に記憶されかつ通信機器３２から遠隔操作装置１４に送信される。

この実施形態では、カメラ２０は移動体１２に固定されており、カメラ２０の位置を示す視点Ａと移動体１２の位置を示す基準点Ｂとの距離は一定である。したがって、移動体１２の位置からカメラ２０の位置までの前後、左右および上下方向（ここでは前後方向のみ）の距離分だけ、移動体１２の位置からシフトさせた座標位置を、カメラ２０の位置として取得することができる。また、カメラ２０と移動体１２とは姿勢および向きが同じであるので、移動体１２の姿勢および向きをそのままカメラ２０の姿勢および向きとすることができる。したがって、環境画像の撮像時におけるカメラ情報は、その時刻における移動体情報に基づいて得ることができる。
マイコン１６によって駆動部３０も制御される。

図１に戻って、遠隔操作装置１４について説明する。
遠隔操作装置１４は、たとえばパーソナルコンピュータからなるコントロールユニット３４、操作者による移動体１２の操作を支援するための画像等を表示するためのたとえば液晶モニタからなるモニタ３６、操作者が移動体１２を操作するための入力機器３８、および通信回線Ｔを介して移動体１２の通信機器３２と通信するための通信機器４０を含む。

コントロールユニット３４は、バス４２で相互に接続されたＣＰＵ４４ならびに記憶手段であるＲＯＭ４６、ＲＡＭ４８およびＨＤＤ５０を含む。
ＣＰＵ４４は、記憶手段であるＲＯＭ４６やＨＤＤ５０等に記憶された各種のプログラムを実行し、各構成要素に指示を与え、遠隔操作装置１４の動作を制御する。

ＨＤＤ５０は、ＣＰＵ４４の指示に従って、プログラム、制御用データ、テキストデータ、画像データ等を、ハードディスクに対して書き込みまた読み出すためのデバイスである。ＨＤＤ５０は、図３に示す動作を実行するための画像処理プログラムや、移動体モデルＭに関するデータ、移動体１２から送信されてきた過去情報等を記憶（格納）する。

ＲＯＭ４６は、起動用プログラム等を記憶している。起動用プログラムは、コントロールユニット３４の電源投入時にＣＰＵ４４によって実行される。これによって、ＨＤＤ５０に記録されているオペレーティングシステム（ＯＳ）等のプログラムがＲＡＭ４８にロードされ、各種の処理や制御が実行可能となる。

ＲＡＭ４８には、図３に示す動作を実行するための画像処理プログラム等が展開され、このプログラムによる処理結果、処理のための一時データおよび表示用データ（画像データやテキストデータ等）等を保持する。ＲＡＭ４８はＣＰＵ４４の作業領域として使用される。ＲＡＭ４８上に展開された表示用データは、モニタ３６に伝達される。モニタ３６は、ＲＡＭ４８からの表示用データに対応する表示内容（画像やテキスト等）を表示する。

入力機器３８によって、ステアリング操作、スロットル操作およびブレーキ操作等が行われ、入力機器３８による操作に応じた指令が遠隔操作装置１４から移動体１２に送信される。

この実施形態では、カメラ２０が撮像手段に相当する。情報検出手段は、速度検出器１８、測位ユニット２２、姿勢センサ２４および方位センサ２６を含む。遠隔操作装置１４のＣＰＵ４４は、決定手段、第１〜第３生成手段、算出手段および変換手段として機能する。モニタ３６が表示手段に相当する。

ついで、図３を参照して、遠隔操作システム１０の遠隔操作装置１４における画像処理動作の一例について説明する。遠隔操作装置１４では、走行している移動体１２を後方から見た様子をモニタ３６に表示するための画像処理が行われる。

まず、遠隔操作装置１４のＣＰＵ４４によって、移動体１２からの過去情報が受信されたか否かが判断され（ステップＳ１）、過去情報が受信されれば当該過去情報がＨＤＤ５０に記憶され（ステップＳ３）、ステップＳ５に進む。一方、ステップＳ１において過去情報が受信されなければ直接ステップＳ５に進む。ステップＳ５では、ＣＰＵ４４によって、現時点での最新の移動体情報が受信されたか否かが判断される。移動体１２からの当該移動体情報が受信されていなければステップＳ１に戻り、一方、当該移動体情報が受信されれば、ＣＰＵ４４によって、当該移動体情報に基づいてＨＤＤ５０に記憶された過去情報の中から過去情報が選択され仮想視点Ｖが決定される（ステップＳ７）。仮想視点Ｖとは、現在の移動体１２の位置の背後に設定される視点をいい、この実施形態では、現時点までの環境画像撮像時の撮像手段の位置（カメラ２０の視点Ａの位置）の中から選択される。

ここで、過去情報（主に環境画像および仮想視点）の選択方法について図４を参照して説明する。
図４は過去情報の選択方法を説明するための図解図である。図４において、横軸は移動体１２の累積移動距離である。白抜き丸で示されたＦ１，Ｆ２およびＦ３は、過去情報に含まれる累積移動距離を示し、矢印方向に移るほど累積移動距離が大きくなる。累積移動距離がＦ１，Ｆ２およびＦ３であるときに撮像された環境画像およびカメラ２０の視点Ａの位置はそれぞれ、過去情報に含まれＨＤＤ５０に記憶されている。Ｎは現在の移動体１２の位置での累積移動距離であり、図４（ｂ）には図４（ａ）よりも時間的に後の状態が示されている。

この実施形態では、移動体１２の現在位置から所定距離Ｇだけ（たとえば６ｍ）手前の地点に最も近い位置で得られた過去情報が選択され、この過去情報に含まれる環境画像の撮影ポイントが仮想視点Ｖとされる。すなわち、ステップＳ７では、ＣＰＵ４４によって、ステップＳ５で取得した移動体情報に含まれる累積移動距離Ｎから所定距離Ｇを差し引いた距離が求められ、その距離に最も近い累積移動距離を含む過去情報が選択される。
具体的には次のようにして選択される。
図４に示す距離Ｄ１およびＤ２は、数１によって求められる。

図４（ａ）の時点では、Ｄ１＜Ｄ２であるので、累積移動距離Ｆ１を含む過去情報が選択される。すなわち、累積移動距離がＦ１であるときに撮像された環境画像が選択され、累積移動距離がＦ１であるときのカメラ２０の視点Ａの位置が仮想視点Ｖとして決定される。図４（ａ）よりも現在の累積移動距離Ｎが大きくなった図４（ｂ）の時点では、Ｄ１＞Ｄ２であるので、累積移動距離Ｆ２を含む過去情報が選択される。すなわち、累積移動距離がＦ２であるときに撮像された環境画像が選択され、累積移動距離がＦ２であるときのカメラ２０の視点Ａの位置が仮想視点Ｖとして決定される。

図３に戻って、その後、ＣＰＵ４４によって、ステップＳ７において選択された過去情報に基づいて、環境画像Ｉに基づく３次元環境画像Ｋと仮想視点Ｖとが、仮想空間としてのグローバル座標系ＧＣに生成される（ステップＳ９）。
この処理について図５から図７を参照して説明する。

図５はカメラ２０によって撮像される環境画像Ｉが表されるｙ軸とｚ軸とからなる２次元直交座標系Ｃ１を示す図解図である。環境画像Ｉは、レンズ２０ａ前方の全風景を含む２次元の魚眼画像（円形画像）である。環境画像Ｉの中心点はカメラ２０の視点Ａ（図２参照）に対応している。カメラ撮影中心方向（図６に示す座標系Ｃ２におけるｘ軸方向）は、図５の紙面に直交する方向である。

図６は、２次元の環境画像Ｉを３次元変換した３次元環境画像Ｋが表示される３次元直交座標系Ｃ２を示す図解図である。座標系Ｃ２では、原点Ｏはカメラ２０の視点Ａであり、ｘ軸方向はカメラ撮影中心方向、ｙ軸方向はｘ軸方向が水平方向の１方向であるときにｘ軸方向に直交する水平方向の他の方向、ｚ軸方向はｘ軸方向が水平方向の１方向であるときの鉛直方向である。

図７は、仮想空間としてのグローバル座標系ＧＣを示す図解図である。グローバル座標系ＧＣは、Ｘ軸、Ｙ軸およびＺ軸からなる３次元直交座標系である。グローバル座標系ＧＣの原点Ｏは、移動体１２のマイコン１６が起動したときのカメラ２０の視点Ａの位置である。Ｘ軸方向が南北方向、Ｙ軸方向が東西方向、Ｚ軸方向が鉛直方向である。

図５に示す平面形状の環境画像Ｉは、図６に示す立体形状（ここでは半球状）の３次元環境画像Ｋに変換されて図７に示すグローバル座標系ＧＣに生成される。座標系Ｃ２における３次元環境画像Ｋの座標Ｐ（ｘ，ｙ，ｚ）は、座標系Ｃ１における環境画像Ｉの座標Ｐ（ｐｙ，ｐｚ）に基づいて数２によって求められる。Ｐ（ｘ，ｙ，ｚ）は、図６に示す半球面（３次元環境画像Ｋ）上の点である。

ここで、φは原点Ｏからｙ軸プラス方向の線分と線分ＯＰとのなす角度であり、その範囲は０≦φ＜２πである。φは（ｐｙ，ｐｚ）とｔａｎの逆関数（ａｒｃｔａｎ）とを用いて求めることができる。また、θは、図６に示すように、原点Ｏと点Ｐとを結ぶ線分ＰＯとｘ軸とのなす角度である。３次元環境画像Ｋの形状は、レンズ２０ａの特性によって決定される。このことからθは、環境画像Ｉの座標Ｐ（ｐｙ，ｐｚ）に基づいて所定の数式を用いて算出することやＨＤＤ５０に記憶されているテーブルデータから取得することによって得られる。θは０≦θ≦π／２である。さらに、Ｌは、図６に示すように、原点Ｏから点Ｐまでの距離（３次元環境画像Ｋの半径）であり、任意の値に設定される。この実施形態では、Ｌがたとえば１０ｍに設定される。

具体的には、次のようにして座標系Ｃ２における３次元環境画像Ｋの座標Ｐ（ｘ，ｙ，ｚ）が求められる。
まず、環境画像Ｉが座標系Ｃ１に配置される。環境画像Ｉは、その中心点が座標系Ｃ１の原点Ｏに一致するように配置される。そして、環境画像Ｉを複数（たとえば縦１６×横１６＝２５６：図５では図面の簡略化のため縦６×横６＝３６とする）の正方形状の画像片ＩＰに分割し、座標系Ｃ１における各画像片ＩＰの頂点の座標Ｐ（ｐｙ，ｐｚ）が取得される。つづいて、取得した座標Ｐ（ｐｙ，ｐｚ）に基づいて座標系Ｃ２における座標Ｐ（ｘ，ｙ，ｚ）が数２によって求められる。

このようにして画像片ＩＰの４頂点についてそれぞれ座標系Ｃ２における座標Ｐ（ｘ，ｙ，ｚ）を求める。そして、座標系Ｃ２における画像片ＩＰの４頂点の座標Ｐ（ｘ，ｙ，ｚ）がそれぞれ、仮想視点Ｖからの撮影時の過去情報に含まれるカメラ２０の姿勢（ロール角ｒ、ピッチ角ｐ）および向き（方位角ｙ）とカメラ２０の位置（ｘ_c，ｙ_c，ｚ_c）とを用いて、グローバル座標系ＧＣにおける座標（ｘ_G，ｙ_G，ｚ_G）に変換される。このような座標変換は、一般に軸周りの回転と平行移動とによって行うことができ、数３によって行われる。

ここで、ロール角ｒ、ピッチ角ｐおよび方位角ｙはそれぞれ、オイラー角と呼ばれ、グローバル座標系ＧＣにおける座標系Ｃ２のｘ軸周りの回転角、ｙ軸周りの回転角およびｚ軸周りの回転角であり、各軸右ねじが進む方向が正である。ロールおよびピッチの原点はグローバル座標系ＧＣの鉛直上方向であり、方位の原点はグローバル座標系ＧＣの真北方向である。

このようにしてグローバル座標系ＧＣにおける画像片ＩＰの４頂点の座標がそれぞれ求められる。すなわちグローバル座標系ＧＣにおける画像片ＩＰの位置が特定される。そして、当該特定された位置に画像片ＩＰが生成（配置）される。この処理を全ての画像片ＩＰについて行うことによって、図７に示すように、グローバル座標系ＧＣの３次元空間に環境画像Ｉを３次元で表す３次元環境画像Ｋが生成される。また、３次元環境画像Ｋの生成とともに、座標系Ｃ２の原点Ｏに位置する仮想視点Ｖがグローバル座標系ＧＣにおけるカメラ２０の位置（ｘ_c，ｙ_c，ｚ_c）に生成される。

このようなステップＳ９の処理には、一般的に使用できるグラフィックライブラリを用いることができる。この実施形態では、グラフィックライブラリとしてシリコングラフィック社が提供しているOpenGL（登録商標）が用いられる。ステップＳ９の処理は、OpenGL（登録商標）によって提供される関数{glTexcoord2D(px,py)およびglVertex3D(x,y,z)：px,pyは図５に示す座標系Ｃ１での座標値であり、x,y,zは図７に示す座標系ＧＣでの座標値である}を用いて一連の動作として行われる。

なお、実際の３次元環境画像Ｋは、平面形状の画像片ＩＰを繋ぎ合わせることによって、多面体（ここでは２５６面体）のドーム形状になる。図６および図７には、図面の簡略化のために半球状の３次元環境画像Ｋが示されている。

図３に戻って、ステップＳ９の後、ＣＰＵ４４によって、ステップＳ５において受信された最新の移動体情報およびＨＤＤ５０に記憶された移動体モデルＭに関するデータに基づいて、移動体１２を表す移動体モデルＭ、移動体１２の位置を示す基準点Ｂおよび切り出し中心点Ｗ１（図９参照）がグローバル座標系ＧＣに生成される（ステップＳ１１）。

図８は、移動体モデルの生成方法を説明するための図解図である。説明を簡単にするために、図８に示す移動体モデルを立方体形状とする。
図８に示すように、移動体モデルは点群とそれらのうち対応する２点間を結ぶ直線とによって移動体の形状のイメージを表現できる。移動体モデルは３次元直交座標系Ｃ３に、移動体モデルの中心が座標系Ｃ３の原点に位置し、移動体モデルの前方がｘ軸方向を向くように配置される。移動体モデルの各頂点には座標値が付与され、たとえば移動体モデルを示す立方体の各辺の長さを２とすると、頂点Ｓ１は（１，１，１）、頂点Ｓ２は（１，−１，１）として表わすことができる。
そして、立方体の各頂点が、数４によってグローバル座標系ＧＣに座標変換される。

ここで、（ｘ_m，ｙ_m，ｚ_m）は移動体情報から得られるグローバル座標系ＧＣでの移動体１２の現在の位置である。（ｘ_b，ｙ_b，ｚ_b）は座標系Ｃ３における移動体モデルを構成する点の座標値（座標変換対象となる座標値）である。（ｘ_a，ｙ_a，ｚ_a）は（ｘ_b，ｙ_b，ｚ_b）をグローバル座標系ＧＣに座標変換した後の座標値である。ｒ，ｐおよびｙはそれぞれ、移動体情報から得られるグローバル座標系ＧＣでの移動体１２の現在のロール角、ピッチ角および方位角であり、この実施形態では、カメラ２０のロール角ｒ、ピッチ角ｐおよび方位角ｙと同値である。

そして、グローバル座標系ＧＣに座標変換された各頂点を直線で結ぶことによって、立方体の移動体モデルがグローバル座標系ＧＣに生成される。すなわち移動体モデル全体がグローバル座標系の画像に変換される。

実際の移動体モデルＭは、点群とそれらのうちの対応する２点間を結ぶ直線とによって移動体１２のモデルを形成する。また、実際の移動体モデルＭは、その基準点Ｂが原点Ｏに位置し、その前方がｘ軸方向を向きかつその上方がｚ軸方向を向くように座標系Ｃ３に配置される。移動体モデルＭに関するデータとしては、少なくとも点群の各点について座標系Ｃ３における座標値を付与しておく。ステップＳ９と同様に数４を用いて点群の各点を座標変換しかつ対応する２点を直線で結ぶことによって、グローバル座標系ＧＣに移動体モデルＭを生成できる（図７参照）。

なお、移動体モデルが直線を含まず点群だけで表現される場合には、点群の全ての点の座標値を数４によってグローバル座標系ＧＣに座標変換すればよい。

このようにして移動体モデルＭが仮想空間としてのグローバル座標系ＧＣに生成される。また、移動体１２の位置を示す基準点Ｂと投影画像を切り出すときの中心となる切り出し中心点Ｗ１とについてもグローバル座標系ＧＣに生成される。この実施形態では、基準点Ｂと切り出し中心点Ｗ１とは同じ位置であり、グローバル座標系ＧＣにおける移動体１２の現在の位置(ｘ_m，ｙ_m，ｚ_m)に生成される。

図３に戻って、操作者へ提供する表示画像の中で移動体モデルＭの大きさが略一定となるように、ＣＰＵ４４によって仮想視点Ｖからの画角が算出される（ステップＳ１３）。ここでは、モニタ３６の画面（たとえば、縦７６８ピクセル×横１０２４ピクセルの画面）に、所定サイズ（たとえば縦４８０ピクセル×横８００ピクセル）の表示画像が表示されるものとする。表示画像のサイズ（たとえば縦４８０ピクセル×横８００ピクセル）に関する情報、および表示画像の縦横比（たとえば縦：横＝３：５）に関する情報は、予めＨＤＤ５０に記憶されている。

図９は、グローバル座標系ＧＣに生成された移動体モデルＭを横方向からみた状態を示す図解図である。
図９において、ｄは仮想視点Ｖから移動体１２の基準点Ｂ（現在の移動体１２の位置）までの距離、βは仮想視点Ｖからの縦画角、ｈは移動体モデルＭの高さ、Ｈは仮想視点Ｖから縦画角βで切り出したときの距離ｄの位置（基準点Ｂを通る縦面）での切り出し幅である。距離ｄは仮想視点Ｖの位置と基準点Ｂの位置とから得ることができる。

図９を参照して、縦画角βの算出方法について説明する。
モニタ３６に移動体モデルＭが表示されるとき、移動体モデルＭの縦サイズを表示画像の縦サイズの一定値ｋ（０＜ｋ＜１）倍の大きさにするには、ｋ＝ｈ／Ｈの関係が成立すればよい。たとえばｋ＝ｈ／Ｈ＝０．３３である。
また、図９より、ｄ＊ｔａｎ（β／２）＝Ｈ／２が成立する。
これらの２つの数式より、縦画角βは数５によって求められる。

図９（ｂ）には、図９（ａ）の状態から移動体１２が移動し、仮想視点Ｖから移動体１２の基準点Ｂまでの距離ｄが長くなった状態を示す。Ｈ，ｈおよびｋは固定値であるが、ｄが大きくなるので、数５より、図９（ｂ）の縦画角βは図９（ａ）のそれより小さくなる。

このように縦画角βを設定することによって、表示画像中での移動体モデルＭの縦サイズを略一定に保つことができ、縦画角βを固定する場合とは異なり、移動体モデルＭが表示画像中ひいてはモニタ３６の画面内で小さくなっていくことを防止できる。

図９（ｂ）に示す仮想視点Ｖと基準点Ｂとを結ぶ線が、３次元直交座標系Ｃ２のｘ−ｙ平面上にある場合、仮想視点Ｖからの横画角γは図１０に示すようになる。
図１０は、グローバル座標系ＧＣに生成された３次元環境画像Ｋと移動体モデルＭとを３次元直交座標系Ｃ２のｚ軸方向のプラス側（図７参照）から見た状態を示す図解図である。図１０では、３次元環境画像Ｋは、仮想視点Ｖにて撮影された画角１８０°の半球状の広角画像である。

縦画角βと同様に、横画角γは、表示画像の横サイズに対する移動体モデルＭの横サイズの倍率を設定しておくことによって算出できる。また、横画角γは、算出した縦画角βと表示画像の予め設定された縦横比（たとえば縦：横＝３：５）とに基づいて算出することもできる。

なお、投影画像の切り出し範囲は、縦画角βに基づく切り出し縦幅および横画角γに基づく切り出し横幅のいずれか一方と、表示画像の縦横比（たとえば縦：横＝３：５）とに基づいて決定できる。この実施形態では、縦画角βと表示画像の縦横比とに基づいて投影画像の切り出し範囲が決定される。このことから、ステップＳ１３では横画角γを求める処理を行っていない。

図３に戻って、その後、ＣＰＵ４４によって合成画像が生成される（ステップＳ１５）。
ここでは、ステップＳ９およびＳ１１においてグローバル座標系ＧＣに生成された３次元環境画像Ｋと移動体モデルＭとを、仮想視点Ｖから基準点Ｂに向かって透視投影して投影画像を得て、さらにステップＳ１３で算出された縦画角βと表示画像の縦横比とに基づく切り出し範囲に応じて仮想視点Ｖから当該投影画像を切り出すことによって、合成画像が得られる。この合成画像では、合成画像に対する移動体モデルＭの大きさの割合は略一定である。

合成画像の生成には、一般的に使用できる３次元グラフィックライブラリを用いることができる。この実施形態では、OpenGL（登録商標）とそれをマイクロソフト社のWindows（登録商標）で使用するためにフリーで提供されているgluLookAt関数およびgluPerspective関数を使用した。gluLookAt関数への引数として、グローバル座標系ＧＣでの仮想視点Ｖの位置と切り出し中心点Ｗ１の位置（この実施形態では移動体１２の基準点Ｂと同位置であり、移動体１２の現在の位置）とを与え、gluPerspective関数への引数として縦画角βと表示画像の縦横比（たとえば縦：横＝３：５）とを与える。これによって、グローバル座標系ＧＣに生成された３次元環境画像Ｋと移動体モデルＭとを含んで透視投影した合成画像を描画できる。

このようにして得られた合成画像をモニタ３６に所定サイズ（たとえば、縦４８０ピクセル×横８００ピクセル）で表示できるように、ＣＰＵ４４によって合成画像の大きさが変換され表示画像が得られる（ステップＳ１７）。画角が小さい場合等、合成画像を所定サイズに合わせるために合成画像を拡大する必要がある場合にはデータの補間処理が施される。一方、画角が大きい場合等、合成画像を所定サイズに合わせるために合成画像を縮小する必要がある場合にはデータの間引き処理が施される。この処理には、ニアレストネイバー法、バイリニア法およびバイキュービック法等の周知の方法が用いられる。

この実施形態では、OpenGL（登録商標）とそれをマイクロソフト社のWindows（登録商標）で使用するためにフリーで提供されているglutReshapeWindow(wide,height)関数を使用してニアレストネイバー法によって合成画像が拡大縮小される。引数wideは表示画像の横サイズであり、引数heightは表示画像の縦サイズである。上述のように予め、引数wideはたとえば８００ピクセルに設定されており、引数heightはたとえば４８０ピクセルに設定されている。
そして、得られた所定サイズの表示画像がモニタ３６に表示され、操作者に提示される（ステップＳ１９）。

このようなステップＳ１からＳ１９の処理が０．１秒程度のインターバルで繰り返される。

遠隔操作装置１４ひいては遠隔操作システム１０によれば、表示画像において略一定の大きさの移動体モデルＭを表示できる。また、移動体１２の位置を示す基準点Ｂを切り出し中心点Ｗ１とすることによって、合成画像の中央に移動体モデルＭを配置することができ、仮想視点Ｖが更新されても表示画像において移動体モデルＭの位置が大きく変更されることはなく、表示画像において移動体モデルＭの位置を略一定にできる。このような表示画像を連続的に表示することによって、移動体モデルＭが違和感なく移動している様子を操作者に提示でき、操作者は、移動体１２の移動態様をより的確に把握することができ、移動体１２をさらに容易に遠隔操作することができる。特に、通信回線Ｔの通信速度が低い場合に有効となる。つまり、通信速度の低い通信回線Ｔを用いても操作者は移動体１２を容易に遠隔操作することができる。

図１１（ａ）は遠隔操作システム１０による表示画像の例を示し、図１１（ｂ）はこの発明を適用せずに投影画像の切り出し時の画角を一定にした場合の表示画像の例を示す。
図１１（ｂ）の例では、移動体が仮想視点から離れるに従い、移動体モデルが描画される大きさが小さくなっていく。それに対して、図１１（ａ）の例では、移動体が仮想視点から離れていく場合でも、表示画像における移動体モデルの大きさおよび位置を略一定にできる。

これは、仮想視点を変更した瞬間も同様である。仮想視点を変更した場合、移動体と仮想視点との距離や位置関係が瞬間的に変化するため、従来手法では、移動体モデルの表示位置が瞬時に表示画像のどこかにジャンプしたり、その大きさも瞬時に大きく変化する可能性がある。実際に移動体の移動時には数秒に一度は仮想視点が変更されることを考慮すると、遠隔操作性が低下することになる。しかし、この発明では仮想視点の変更があった場合でも、表示画像中における移動体モデルの大きさや位置が略一定であるので、操作者はとまどうことがなく遠隔操作することができる。

ついで、図１２から図１４を参照して、この発明の他の実施形態について説明する。
この実施形態では、表示画像の中心位置となる投影画像の切り出し中心点は、Ｗ１ではなくＷ２となる。それ以外は先の実施形態と同様である。切り出し中心点Ｗ２は、移動体１２の前方正面に所定距離だけ離れた位置に設定され、たとえば移動体１２の位置を示す基準点Ｂから６ｍ前方に位置する。

この実施形態における画角（縦画角β）の算出は基準点Ｂを用いて、先の実施形態と同様に行われ、縦画角βは図１２に示すようになる。
そして、３次元環境画像Ｋと移動体モデルＭとを仮想視点Ｖから切り出し中心点Ｗ２に向かって透視投影して得られる投影画像が、得られた縦画角βと表示画像の縦横比とに基づく切り出し範囲に応じて切り出されて合成画像が得られる。

図１３に示すように移動体モデルＭが仮想視点Ｖを背にして前進する場合には、仮想視点Ｖと切り出し中心点Ｗ２とを結ぶ線上に基準点Ｂが位置する。したがって、この場合には、先の実施形態と同様に、基準点Ｂを中心位置とした表示画像が提示されることになる。

しかし、移動体モデルＭが曲がるときには、切り出し中心点Ｗ２と移動体モデルＭとの位置関係から、先の実施形態と比較して、移動体モデルＭの進行方向側の画像がより広く操作者に提示される。たとえば移動体モデルＭが左に曲がるときには、図１４に示すように仮想視点Ｖと切り出し中心点Ｗ２とを結ぶ線を中心線として切り出し範囲が決定される。

したがって、切り出し中心点Ｗ２を用いる場合には、仮想視点Ｖに対する移動体モデルＭの向きが変化していくと、それに伴って移動体モデルＭの進行方向側の画像が徐々に広く提示されていき、操作者に違和感のない画像を提示でき、操作者は移動体１２の進行方向の環境を認識しやすくなり移動体１２をより容易に遠隔操作することができる。

その表示画像の例を図１５および図１６に示す。実際には動画であるが、説明の便宜上略０．５秒間隔の連続静止画で示す。
図１５および図１６では、移動体モデルＭの前方正面の位置にある切り出し中心点Ｗ２を表示画像の中心としているので、移動体モデルＭの左折動作に従って進行方向である左側が、移動体モデルＭの表示位置の急激な変化なく広く表示されていく様子がわかる。
また、図１５（ａ）〜（ｄ）の表示画像と図１６（ａ）〜（ｄ）の表示画像とでは、仮想視点Ｖの位置が異なる。このように仮想視点Ｖが切り替えられても、表示画像中での移動体モデルＭの位置や大きさにはほとんど違いがないことがわかる。

なお、上述の実施形態では過去情報は距離に基づいて選択されたが、これに限定されない。過去情報は時刻に基づいて上記距離の場合と同様の方法で選択されてもよい。すなわち、過去情報に含まれる撮像時刻と現在時刻から５秒前の時刻とを比較し、当該５秒前の時刻に最も近い撮像時刻に撮影された過去情報を採用するようにしてもよい。また、通信機器３２から遠隔操作装置１４に送信されてきた過去情報の中から操作者が任意に選択するようにしてもよい。

移動体１２に関する情報とカメラ２０に関する情報とは別々の検出手段によって検出されてもよい。移動体１２および／またはカメラ２０の位置、姿勢および方位は、既存の３次元自己位置推定手法によって求められてもよい。

図９では、基準点Ｂは仮想視点Ｖと視点Ａとを結ぶ線上に位置しているが、これに限定されず、基準点Ｂは当該線上から多少ずれていてもよく、たとえば２つの後輪３０ｂの中間点に位置していてもよい。この場合、仮想視点Ｖから基準点Ｂまでの距離ｄは図９に示す場合とは多少異なるが、画角の算出には実質的に影響はない。

上述の実施形態では、撮像手段として画角１８０°のカメラを用いる場合について説明したが、撮像手段はこれに限定されない。撮像手段の画角は大きいほど好ましく、撮像手段としてたとえば画角２７０°程度のカメラを用いれば、右左折時に表示画像中に環境画像の画像端が表れることを防止できる。

上述の実施形態では、縦画角βを算出し、縦画角βと表示画像の縦横比とに基づいて投影画像の切り出し範囲を決定したが、それに限定されない。横画角γを算出し、横画角γと表示画像の縦横比とに基づいて投影画像の切り出し範囲を決定してもよい。また、縦画角βと横画角γとを算出し、算出した縦画角βと横画角γとに基づいて投影画像の切り出し範囲を決定してもよい。

この発明における移動体は、上述の４輪バギー車に限定されない。移動体の他の例としては、ショベルカー等の建設機械、および船舶等が挙げられる。

この発明の一実施形態の遠隔操作システムを示すブロック図である。 移動体の一例を示す左側面図である。 図１の遠隔操作システムの遠隔操作装置における画像処理動作の一例を示すフロー図である。 過去情報の選択方法を説明するための図解図である。 環境画像が表される２次元直交座標系を示す図解図である。 ３次元環境画像が表示される３次元直交座標系を示す図解図である。 仮想空間としてのグローバル座標系を示す図解図である。 移動体モデルの生成方法を説明するための図解図である。 図１の実施形態における縦画角を示す図解図である。 グローバル座標系に生成された３次元環境画像と移動体モデルとを上から見た状態を示す図解図である。 （ａ）は遠隔操作システムによる表示画像の例を示し、（ｂ）はこの発明を適用せずに投影画像の切り出し時の画角を一定にした場合の表示画像の例を示す。 この発明の他の実施形態における縦画角を示す図解図である。 この発明の他の実施形態において移動体モデルが前進する場合を示す図解図である。 この発明の他の実施形態において移動体モデルが左折する場合を示す図解図である。 この発明の他の実施形態による表示画像の例を示す図解図である。 図１５の続きの表示画像の例を示す図解図である。

符号の説明

１０ 遠隔操作システム
１２ 移動体
１４ 遠隔操作装置
１６ マイクロコンピュータ
１８ 速度検出器
２０ カメラ
２０ａ レンズ
２２ 測位ユニット
２４ 姿勢センサ
２６ 方位センサ
２８，５０ ハードディスクドライブ
３２，４０ 通信機器
３４ コントロールユニット
３６ モニタ
３８ 入力機器
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
Ａ カメラの視点
Ｂ 移動体の位置を示す基準点
Ｃ１ ２次元直交座標系
Ｃ２，Ｃ３ ３次元直交座標系
ＧＣ グローバル座標系
Ｉ 環境画像
Ｋ ３次元環境画像
Ｍ 移動体モデル
Ｖ 仮想視点
Ｗ１，Ｗ２ 切り出し中心点
β 縦画角
γ 横画角

Claims (4)

1. 移動体と前記移動体を遠隔操作する遠隔操作装置とを備える遠隔操作システムであって、
   前記移動体は、
   前記移動体の周囲の環境画像を撮像する撮像手段と、
   前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備え、
   前記遠隔操作装置は、
   前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、
   前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルと前記移動体の位置を示す基準点と切り出し中心点とを前記仮想空間に生成する第２生成手段と、
   合成画像に対する前記移動体モデルの大きさの割合が略一定になるように前記仮想視点と前記基準点との距離に基づいて前記仮想視点からの画角を算出する算出手段と、
   前記３次元環境画像と前記移動体モデルとを前記仮想視点から前記切り出し中心点方向に透視投影して得られる投影画像を、前記仮想視点から前記画角に基づいて切り出して前記合成画像を生成する第３生成手段と、
   前記合成画像を所定サイズの表示画像に変換する変換手段と、
   前記表示画像を表示する表示手段とを備える、遠隔操作システム。
2. 前記切り出し中心点は前記基準点の位置に設定される、請求項１に記載の遠隔操作システム。
3. 前記切り出し中心点は、前記移動体から前方に所定距離だけ離れた位置に設定される、請求項１に記載の遠隔操作システム。
4. 移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備える移動体、を遠隔操作する遠隔操作装置であって、
   前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、
   前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルと前記移動体の位置を示す基準点と切り出し中心点とを前記仮想空間に生成する第２生成手段と、
   合成画像に対する前記移動体モデルの大きさの割合が略一定になるように前記仮想視点と前記基準点との距離に基づいて前記仮想視点からの画角を算出する算出手段と、
   前記３次元環境画像と前記移動体モデルとを前記仮想視点から前記切り出し中心点方向に透視投影して得られる投影画像を、前記仮想視点から前記画角に基づいて切り出して前記合成画像を生成する第３生成手段と、
   前記合成画像を所定サイズの表示画像に変換する変換手段と、
   前記表示画像を表示する表示手段とを備える、遠隔操作装置。