JP7256668B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本発明は、制御装置、制御方法及びプログラムに関する。

車両を遠隔地に存在するオペレータが操作する遠隔運転技術が知られている。遠隔運転では、遠隔運転を実行するオペレータ用のオペレータ装置と、車両に搭載されているユーザ端末との間の通信遅延が十分に抑制されることが、要求される要素の１つとして挙げられる。特許文献１では、車両の周囲の環境の３次元マップデータの差分情報を送信することによって、通信量を低減する。

特開２０１３－１１５８０３号公報

差分情報を利用したとしても、通信量の低減にはさらに改善の余地がある。本発明は、遠隔操作における通信量を低減するための技術を提供することを目的とする。

上記課題に鑑みて、操作対象物を遠隔から操作するための制御装置であって、前記操作対象物の周囲に存在し、前記制御装置の操作対象ではないオブジェクトに関する情報を、前記制御装置の外部の情報提供手段から取得する取得手段と、前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクトを決定する決定手段と、前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御手段と、を備え、前記表示制御手段は、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能であり、前記表示制御手段は、前記表示モードを変更する前に、前記操作対象物の移動速度を低下させる、制御装置が提供される。

上記手段により、遠隔操作における通信量が低減する。

実施形態に係る車両の構成例を説明するブロック図。 実施形態に係る遠隔運転装置の構成例を説明するブロック図。 実施形態に係る遠隔運転のコンソール例を説明する模式図。 実施形態に係る車両周辺の実環境を説明する模式図。 実施形態に係る遠隔制御システムの構成例を説明するブロック図。 実施形態に係る車両の制御方法例を説明するフロー図。 実施形態に係る遠隔運転装置の制御方法例を説明するフロー図。 実施形態に係る遠隔運転装置の表示画像例を説明する図。 実施形態に係る遠隔運転装置の表示画像例を説明する図。 実施形態に係る遅延を考慮する方法を説明する模式図。 実施形態に係る遠隔運転装置の制御方法例を説明するフロー図。 実施形態に係る遠隔運転装置の制御方法例を説明するフロー図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動運転機能及び遠隔運転機能に関わる走行制御を実行する。この走行制御において、ＥＣＵ２０は、車両１の操舵及び／又は加減速を自動制御する。自動運転機能とは、ＥＣＵ２０が車両１の走行経路を計画し、この走行経路に基づいて車両１の操舵及び／又は加減速を制御する機能のことである。遠隔運転機能とは、ＥＣＵ２０が車両１の外部のオペレータからの指示に従って車両１の操舵及び／又は加減速を制御する機能のことである。外部のオペレータは人間であってもよいし、ＡＩ（人工知能）であってもよい。ＥＣＵ２０は、自動運転機能と遠隔運転機能とを組み合わせて実行することも可能である。例えば、ＥＣＵ２０は、オペレータからの指示がない間に走行経路を計画して走行制御を行い、オペレータからの指示があった場合にその指示に従って走行制御を行ってもよい。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転状態の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の外界の状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２は、ライダ（Light Detection and Ranging）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置２５ａは、車両１の外部のオペレータとの通信にも使用される。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転状態の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器（ウィンカー）を含む照明装置８（ヘッドライト、テールライト等の灯火器）を制御する。図１の例の場合、照明装置８は車両１の前部、ドアミラーおよび後部に設けられている。ＥＣＵ２７はさらに、クラクションのホーンを含む、車外に向けた音響装置１１を制御する。照明装置８、音響装置１１又はその組み合わせは、車両１の外界に対して情報を提供する機能を有する。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音入力装置も含まれてもよい。ＥＣＵ２８は、ＥＣＵ２０の走行制御に関する案内を実施可能である。案内の詳細については後述する。入力装置９３は、ＥＣＵ２０による走行制御の動作を制御するために用いられるスイッチを含んでもよい。入力装置９３は、運転者の視線方向を検知するためのカメラを含んでもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転状態の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

図２のブロック図を参照して、本発明の一部の実施形態に係る遠隔運転装置２００の構成について説明する。遠隔運転装置２００は、遠隔運転機能を有する車両に対して遠隔運転サービスを提供するための装置である。遠隔運転装置２００は、サービス提供対象の車両から遠隔に位置する。

遠隔運転装置２００は、複数の動作モードで遠隔運転サービスを提供可能であってもよい。遠隔運転サービスの複数の動作モードは、主導モードと支援モードとを含んでもよい。主導モードとは、遠隔運転装置２００のオペレータが車両の制御量（例えば、操舵角やアクセルペダル開度、ブレーキペダル開度、ウィンカーレバーの位置、ライトのオン・オフなど）を指定する動作モードのことである。支援モードとは、遠隔運転装置２００のオペレータが指定した経路計画に従って車両（具体的にはＥＣＵ２０）が車両の制御量を決定する動作モードのことである。支援モードにおいて、遠隔運転装置２００のオペレータは、自ら経路計画を生成して指定してもよいし、車両から提案された経路計画を採用することによって経路計画を指定してもよい。

遠隔運転装置２００は、図２に示す各構成要素を有する。プロセッサ２０１は、遠隔運転装置２００全体の動作を制御する。プロセッサ２０１は、例えばＣＰＵとして機能する。メモリ２０２は、遠隔運転装置２００の動作に用いられるプログラムや一時データなどを記憶する。メモリ２０２は、例えばＲＯＭやＲＡＭなどにより実現される。入力部２０３は、遠隔運転装置２００の使用者が遠隔運転装置２００への入力を行うために用いられる。遠隔運転装置２００の使用者とは、人間が操作主体である場合にこの人間であり、ＡＩが操作主体である場合にＡＩの動作を監視する人間（監視者）である。出力部２０４は、遠隔運転装置２００から使用者に向けて情報を出力するために用いられる。記憶部２０５は、遠隔運転装置２００の動作に用いられるデータを記憶する。記憶部２０５は、ディスクドライブ（例えば、ＨＤＤやＳＤＤ）などの記憶装置で実現される。通信部２０６は、遠隔運転装置２００が他の装置（例えば、遠隔運転対象の車両）と通信する機能を提供し、例えばネットワークカードやアンテナなどで実現される。

図３の概略図を参照して、遠隔運転装置２００の入力部２０３及び出力部２０４の構成例について説明する。この構成例では、表示装置３１０及び音響装置３２０によって出力部２０４が構成され、ステアリングホイール３３０、アクセルペダル３４０、ブレーキペダル３５０、マイク３６０及び複数のスイッチ３７０によって入力部２０３が構成される。

表示装置３１０は、遠隔運転サービスを提供するための視覚情報を出力する装置である。音響装置３２０は、遠隔運転サービスを提供するための聴覚情報を出力する装置である。表示装置３１０に表示される画面は、１つのメイン領域３１１と、複数のサブ領域３１２とを含む。メイン領域３１１には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両に関する情報が表示される。制御対象車両とは、遠隔運転装置２００からの指示が送信される車両のことである。各サブ領域３１２には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両以外の車両に関する情報が表示される。制御対象車両以外の車両は、監視対象車両と呼ばれることもある。１台の遠隔運転装置２００によって複数台の車両に遠隔運転サービスを提供する場合に、オペレータは、メイン領域３１１に表示する車両（すなわち、制御対象車両）を適宜切り替える。メイン領域３１１及びサブ領域３１２に表示される情報は、車両の周囲の交通状況、車両の速度などを含む。

ステアリングホイール３３０は、主導モードにおいて制御対象車両の操舵量を制御するために用いられる。アクセルペダル３４０は、主導モードにおいて制御対象車両のアクセルペダル開度を制御するために用いられる。ブレーキペダル３５０は、主導モードにおいて制御対象車両のブレーキペダル開度を制御するために用いられる。マイク３６０は、音声情報を入力するために用いられる。マイク３６０に入力された音声情報は、制御対象車両へ送信され、その車内で再生されてもよい。

複数のスイッチ３７０は、遠隔運転サービスを提供するための様々な入力を行うために用いられる。例えば、複数のスイッチ３７０は、制御対象車両を切り替えるためのスイッチ、支援モードにおけるオペレータの判断結果を指示するためのスイッチ、複数の動作モードを切り替えるためのスイッチなどを含む。

図２及び図３で説明した遠隔運転装置２００は、主導モードと支援モードとの両方を提供可能である。これに代えて、遠隔運転装置２００は、主導モードと支援モードと一方のみを提供可能であってもよい。主導モードを提供しない場合に、ステアリングホイール３３０、アクセルペダル３４０及びブレーキペダル３５０は省略可能である。また、複数の遠隔運転装置２００が協働して遠隔運転サービスを提供してもよい。この場合に、遠隔運転装置２００は、サービス提供対象の車両を別の遠隔運転装置２００に引継ぎ可能であってもよい。

図４を参照して、遠隔運転対象の車両１の周囲の実環境４００（実世界の環境）の一例について説明する。車両１は、遠隔運転装置２００からの操作指示に従って車線４０４を走行中であるとする。車線４０４の反対車線４０５を対向車両４０２が走行中である。対向車両４０２は、運転者による手動運転中であってもよいし、自動運転機能で走行中であってもよいし、遠隔運転装置２００によるものとは別の遠隔運転サービスを利用して走行中であってもよい。ただし、対向車両４０２は、遠隔運転装置２００による操作対象ではないとする。

車線４０４に隣接する歩道４０６を歩行者４０３が歩いている。車線４０４及び反対車線４０５を撮影するように道路管理カメラ４０１が設置されている。対向車両４０２及び歩行者４０３は、車両１の周囲に存在し、遠隔運転装置２００の操作対象ではないオブジェクトの一例である。以下、遠隔運転装置２００の操作対象ではないオブジェクトを単にオブジェクトと呼ぶ。オブジェクトは、移動可能であってもよいし、移動可能でなくてもよい。例えば、歩行者や他の車両は移動可能なオブジェクトである。ガードレールや建物、信号機などは移動可能でないオブジェクトである。さらに、移動可能なオブジェクトは、自律的に移動可能なオブジェクトであってもよい。自律的に移動可能とは、オブジェクト自体の判断によって移動可能であることである。例えば、人間や手動運転中の車両、自動運転中の車両は自律的に移動可能なオブジェクトである。一方、遠隔運転中の車両は、車両自体の判断によって移動していないため、自律的に移動可能なオブジェクトではない。車両１の周囲とは、車両１の検知ユニット４１～４３によって検知可能な範囲であってもよいし、遠隔運転装置２００の表示装置３１０に車両１の周囲として表示される範囲であってもよい。

図５を参照して、遠隔制御システムの構成例について説明する。この例において、遠隔制御システムは、車両１と、道路管理カメラ４０１と、遠隔運転装置２００とによって構成される。道路管理カメラ４０１は省略されてもよい。以下、遠隔制御システムの各装置のうち、以下に説明する実施形態に関連する機能ブロックについて説明する。

車両１は、自車情報提供部５０１と、オブジェクト情報提供部５０２とを備える。これらはいずれもＥＣＵ２０によって実現されてもよい。自車情報提供部５０１は、車両１に関する情報を遠隔運転装置２００へ提供（例えば送信）する。車両１に関する情報は、例えば車両１の現在の地理的位置、車両１の現在の速度及び加速度、遠隔運転サービスにおける車両１の識別情報、自動運転機能によって推奨される将来の軌道などを含んでもよい。車両１の地理的位置とは、車両１を表す代表的な１点についての地理的位置であってもよいし、車両１が３次元空間内を占める領域についての地理的位置であってもよい。

オブジェクト情報提供部５０２は、車両１の周囲のオブジェクトに関する情報を遠隔運転装置２００へ提供（例えば送信）する。オブジェクトに関する情報は、例えばオブジェクトの種類、オブジェクトの現在の地理的位置、オブジェクトの速度及び加速度、オブジェクトの将来の予測軌道などを含んでもよい。オブジェクト情報提供部５０２は、検知ユニット４１～４３によって得られたオブジェクトのセンサ・データに基づいて、オブジェクトの種類及び地理的位置を決定する。オブジェクトの種類は、例えば普通車両、大型車両、二輪車、大人の歩行者、子どもの歩行者、自転車乗員などである。オブジェクトの地理的位置は、１点についての地理的位置であってもよいし、オブジェクトが３次元空間を占める領域についての地理的位置であってもよい。また、オブジェクト情報提供部５０２は、オブジェクトの地理的位置の時間変化に基づいて、オブジェクトの速度、加速度を算出してもよい。さらに、オブジェクト情報提供部５０２は、オブジェクトの地理的位置、速度及び加速度に基づいてオブジェクトの将来の予測軌道を生成してもよい。オブジェクト情報提供部５０２は、オブジェクトが車両であれば方向指示器や運転者の視線などにさらに基づいて、オブジェクトが歩行者や自転車乗員であればその視線などにさらに基づいて、オブジェクトの将来の予測軌道を生成してもよい。オブジェクトに関する情報のデータ量は、検知ユニット４１～４３によるオブジェクトのセンサ・データ（例えば、可視光画像、レーダ画像、ライダ画像）のデータ量よりも少ない。車両１は、オブジェクトとの通信（例えば、車車間通信）が可能な場合に、オブジェクトに関する情報をオブジェクトから受信してもよい。

道路管理カメラ４０１は、操作対象の車両１以外にオブジェクトの情報を取得する装置の一例である。道路管理カメラ４０１は、オブジェクト情報提供部５１１を備える。オブジェクト情報提供部５１１は、オブジェクト情報提供部５０２と同様であるため、説明を省略する。

遠隔運転装置２００は、表示制御部５２１と、通信状態取得部５２２と、モデル・データ記憶部５２３と、背景データ記憶部５２４とを備える。表示制御部５２１及び通信状態取得部５２２は例えばプロセッサ２０１によって実現される。モデル・データ記憶部５２３及び背景データ記憶部５２４は例えばメモリ２０２によって実現される。

表示制御部５２１は、車両１に関する表示制御を行う。この表示制御の詳細については後述する。通信状態取得部５２２は、車両１と遠隔運転装置２００との通信及び道路管理カメラ４０１と遠隔運転装置２００との通信の状態を取得する。通信状態は、例えば通信品質（遅延など）を含む。通信状態は、車両１や道路管理カメラ４０１から直接に取得されてもよいし、これらの装置に通信サービスを提供する通信システムから取得されてもよい。

モデル・データ記憶部５２３は、車両１及びオブジェクトのモデルに関するデータを記憶する。例えば、モデル・データ記憶部５２３は、上述のオブジェクトの種類ごとの３次元モデル・データを記憶する。背景データ記憶部５２４は、車両１が存在する可能性がある環境の固定物（道路、建物など）に関するデータ（例えば、地図データ）を記憶する。後述するように、車両１の地理的位置の周囲に存在する固定物が背景として表示される。背景データは、各固定物の地理的位置及び３次元モデル・データを含む。移動可能なオブジェクトの情報は、背景データ記憶部５２４に記憶されていないため、遠隔運転装置２００は、車両１などから取得する。一方、遠隔運転装置２００は、移動可能でないオブジェクトの情報を、背景データ記憶部５２４から読み出してもよいし、車両１などから取得してもよい。

図６を参照して、遠隔制御システムにおける車両１の制御方法例について説明する。この方法は、車両１のプロセッサ２０ａなどがメモリ２０ｂなどに格納されたプログラムを実行することによって行われてもよい。これに代えて、方法の一部又は全部の工程が、ＡＳＩＣ（特定用途向け集積回路）のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。図６の制御方法は、車両１が遠隔運転機能を実行中に反復して実行される。

ステップＳ６０１で、車両１（具体的に、自車情報提供部５０１）は、車両１に関する情報を取得し、遠隔運転装置２００に提供する。ステップＳ６０２で、車両１（具体的に、オブジェクト情報提供部５０２）は、車両１の周囲のオブジェクトに関する情報を生成する。

ステップＳ６０３で、車両１（具体的に、オブジェクト情報提供部５０２）は、生成した情報が所定の正確性を満たすかどうかを判定する。情報が所定の正確性を満たす場合（ステップＳ６０３で「ＹＥＳ」）に、車両１は処理をステップＳ６０４に遷移し、それ以外の場合（ステップＳ６０３で「ＮＯ」）に、車両１は処理をステップＳ６０５に遷移する。所定の正確性とは、例えば遠隔運転サービスでオペレータによる操作に支障を与えない程度の正確性である。

ステップ６０４で、車両１（具体的に、オブジェクト情報提供部５０２）は、オブジェクトに関する情報を遠隔運転装置２００に提供する。ステップ６０５で、車両１（具体的に、オブジェクト情報提供部５０２）は、オブジェクトに関する情報を生成するための元データを遠隔運転装置２００に提供する。このように、車両１は、正確な情報を遠隔運転装置２００に提供できない場合に、元データを遠隔運転装置２００に提供する。遠隔運転装置２００は、車両１よりも高い処理能力を有しうるため、車両１よりも正確な情報を生成可能である。

ステップ６０６で、車両１（具体的に、オブジェクト情報提供部５０２）は、遠隔運転に関する操作指示を遠隔運転装置２００から受信する。ステップＳ６０７で、車両１（具体的に、ＥＣＵ２０）は、操作指示に従って車両１の挙動を制御する。ステップＳ６０６及びＳ６０７の動作は従来の遠隔運転と同様であってもよいため、詳細な説明を省略する。

道路管理カメラ４０１（具体的に、オブジェクト情報提供部５１１）は、図６のステップＳ６０２～Ｓ６０５と同様の動作を行う。

図７を参照して、遠隔制御システムにおける遠隔運転装置２００の制御方法例について説明する。この方法は、遠隔運転装置２００のプロセッサ２０１がメモリ２０２に格納されたプログラムを実行することによって行われてもよい。これに代えて、方法の一部又は全部の工程が、ＡＳＩＣ（特定用途向け集積回路）のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。図７の制御方法は、遠隔運転装置２００が遠隔運転サービスを提供中に反復して実行される。

ステップＳ７０１で、遠隔運転装置２００は、ステップＳ６０１で送信された遠隔運転対象の車両１に関する情報を受信する。この情報に含まれる情報は上述したとおりである。ステップＳ７０２で、遠隔運転装置２００は、ステップＳ６０４で送信されたオブジェクトに関する情報又はステップＳ６０５で送信された元データを受信する。これらは車両１から受信されてもよいし、道路管理カメラ４０１から受信されてもよい。

ステップＳ７０３で、遠隔運転装置２００は、ステップＳ７０２で元データを受信したかどうかを判定する。元データを受信した場合（ステップＳ７０３で「ＹＥＳ」）に、遠隔運転装置２００は、ステップＳ７０４を実行してからステップＳ７０５に遷移し、それ以外の場合（ステップＳ７０３で「ＮＯ」）に、遠隔運転装置２００は、直接にステップＳ７０５に遷移する。

ステップＳ７０４で、遠隔運転装置２００は、元データからオブジェクトに関する情報を生成する。オブジェクトに関する情報の生成方法は、上述のステップＳ６０２と同様であってもよい。遠隔運転装置２００は車両１及び道路管理カメラ４０１よりも高性能であるため、より精度の高い情報を生成できる。

ステップＳ７０５で、遠隔運転装置２００（具体的に、通信状態取得部５２２）は、車両１と遠隔運転装置２００との通信の通信品質及び道路管理カメラ４０１と遠隔運転装置２００との通信の通信品質を取得する。

ステップＳ７０６で、遠隔運転装置２００（具体的に、表示制御部５２１）は、車両１の地理的位置及びその周囲の固定物に関するデータ（例えば、地図データ）を背景データ記憶部５２４から読み出す。例えば、遠隔運転装置２００は、車両１の運転者視点における地図データを背景データ記憶部５２４から読み出す。

ステップＳ７０７で、遠隔運転装置２００（具体的に、表示制御部５２１）は、オブジェクトに関する情報に含まれるオブジェクトの種類に基づいて、このオブジェクトを表すための仮想オブジェクトを決定する。例えば、オブジェクトの種類が普通車両の場合に、遠隔運転装置２００は、このオブジェクトを表すために普通車両の仮想オブジェクトを使用することを決定する。さらに、遠隔運転装置２００は、オブジェクトの地理的位置（すなわち、３次元空間において占める領域）に基づいて仮想オブジェクトの表示サイズを決定してもよい。

ステップＳ７０８で、遠隔運転装置２００（具体的に、表示制御部５２１）は、車両１の周囲の実環境を表す画像を生成し、表示装置３１０（例えば、メイン領域３１１）に表示する。具体的に、遠隔運転装置２００は、ステップＳ７０６で読み出した背景データのうちオブジェクトの地理的位置に対応する表示位置に、ステップＳ７００で決定した仮想オブジェクトを表示する。この仮想オブジェクトは、モデル・データ記憶部５２３に記憶された複数のモデルのうちオブジェクトの種類に対応するモデルであってもよい。画像の具体例は後述する。

ステップＳ７０９で、遠隔運転装置２００は、オペレータから操作入力を受け取る。ステップＳ７１０で、遠隔運転装置２００は、受け取った操作入力に基づいて車両１への操作指示を生成し、この操作指示を車両１へ送信する。

図８を参照して、ステップＳ７０８で生成される画像８００の一例について説明する。画像８００は、図４の実環境４００を仮想的に表現したものである。仮想オブジェクト８１０は、対向車両４０２を表す仮想オブジェクトである。車両の３次元モデルが仮想オブジェクトとして使用される。仮想オブジェクト８２０は、歩行者４０３を表す仮想オブジェクトである。大人の３次元モデルが仮想オブジェクトとして使用される。これらの仮想オブジェクトは、車両１の運転者視点の地図上に、それぞれのオブジェクトの地理的位置に対応する表示位置に表示される。図８の例では、車両１の運転者視点の地図を表示するが、これに代えて車両１を後方から見た視点の地図を表示してもよい。この場合に、遠隔運転装置２００は、画像８００に車両１を表す仮想オブジェクトを表示してもよい。

画像８００では、対向車両４０２の過去の軌道が実線８１１で示され、対向車両４０２の将来の予測軌道が破線８１２で示される。遠隔運転装置２００は、対向車両４０２の過去の地理的位置に基づいて対向車両４０２の過去の軌道を生成する。過去の軌道を生成するために、遠隔運転装置２００は、対向車両４０２の直近の地理的位置を一定期間分（例えば、５秒分）記憶しておいてもよい。対向車両４０２の将来の予測軌道は、ステップＳ７０２で受信するか、ステップＳ７０４で生成することによって取得される。同様に、画像８００では、歩行者４０３の過去の軌道が実線８２１で示され、歩行者４０３の将来の予測軌道が破線８２２で示される。

画像８００は、車両１の将来の予測軌道を破線８３１Ｌ、８３１Ｒで示す。破線８３１Ｌは、車両１の左端の予測軌道を示し、破線８３１Ｒは、車両１の右端の予測軌道を示す。このように両端の予測軌道を示すことによって、遠隔運転装置２００のオペレータは、車両１の車幅を認識しやすくなる。また、画像８００には、車両１の自動運転機能が生成した車両１の推奨の軌道８３２も表示される。

遠隔運転装置２００は、図８の画像８００に代えて又はこれと同時に、図９の画像９００を表示してもよい。画像９００は、車両１の地理的位置及びその周囲の俯瞰図である。図８と同様に、地図上に仮想オブジェクト８１０、８２０が表示されている。画像９００では、車両１を表す仮想オブジェクト８３０と、車両１の過去の軌道を表す実線８３３とがさらに表示されている。仮想オブジェクト８３０の表示サイズは、車両１の大きさに応じて決定される。車両１の大きさは、ステップＳ７０１で車両１から受信されてもよいし、事前にメモリ２０２に格納されていてもよい。遠隔運転装置２００は、過去又は将来の軌道を表す実線８１１、８２１、８３２及び破線８１２、８２２、８３１Ｌ、８３２Ｒをすべて非表示としてもよいし、一部のみを表示してもよい。

上述の画像８００、９００における仮想オブジェクトは、車両１及びオブジェクトに関する情報が取得された時点の地理的位置に対応する表示位置に配置されてもよい。しかし、車両１及び道路管理カメラ４０１と遠隔運転装置２００との通信の遅延が大きくなると、車両１の実環境と遠隔運転装置２００での表示内容とのギャップが大きくなる。さらに、遠隔運転装置２００から送信された操作指示が車両１に到達するまでの遅延も考慮する必要がある。

そこで、一部の実施形態で、遠隔運転装置２００は、車両１又は道路管理カメラ４０１から情報を取得する際に生じる遅延を考慮して仮想オブジェクトの表示位置を決定してもよい。さらに、遠隔運転装置２００は、遠隔運転装置２００からから車両１へ操作指示を提供する際に生じる遅延を更に考慮して仮想オブジェクトの表示位置を決定してもよい。

図１０を参照して、遠隔運転装置２００が遅延を考慮する方法について説明する。実環境１０００～１００４はそれぞれ、時刻ｔ０～ｔ４における車両１の周囲の実環境を示す。画像１０１０～１０１４はそれぞれ、時刻ｔ０～ｔ４において遠隔運転装置２００の表示装置３１０に表示される仮想オブジェクト８１０、８３０の位置を示す。時刻ｔ０～ｔ４は等間隔である。車両１、対向車両４０２及び仮想オブジェクト８１０、８３０の位置関係を把握しやすいように、車線の幅方向に破線を付す。以下、説明を簡単にするために、車両１から遠隔運転装置２００への情報の送信にかかる時間と、遠隔運転装置２００から車両１への操作指示の送信に係る時間とが互いに等しい（時刻ｔ０と時刻ｔ１の間隔に等しい時間）であるとする。また、オペレータからの指示は操舵に関する指示であるとする。加減速や他の挙動に関する指示についても、以下の方法で対応可能である。

時刻ｔ０の車両１及び対向車両４０２の地理的位置を含む情報は、時刻ｔ１で遠隔運転装置２００によって受信される。この情報に基づいて遠隔運転装置２００が車両１及び対向車両４０２を表す仮想オブジェクト８１０、８３０の表示位置を決定してしまうと、遠隔運転装置２００の使用者は過去の実環境を参照することになってしまう。また、時刻ｔ０と時刻ｔ１との間に遠隔運転装置２００から送信された操作指示は、時刻ｔ１と時刻ｔ２との間に車両１によって受信され、車両１の挙動に反映される。そのため、車両１の挙動がオペレータの意図したタイミングで行われない。

そこで、遠隔運転装置２００は、車両１及び対向車両４０２の将来の地理的位置を予測してこれらを表す仮想オブジェクト８１０、８３０の表示位置を決定する。具体的に、時刻ｔ２において遠隔運転装置２００が生成する画像１０１２について説明する。まず、対向車両４０２を表す仮想オブジェクト８１０の表示位置について説明する。時刻ｔ２で、遠隔運転装置２００は、時刻ｔ１の対向車両４０２の地理的位置及びこの時点における対向車両４０２の予測軌道を取得する。また、時刻ｔ２で遠隔運転装置２００が送信した指示は、時刻ｔ３で車両１によって処理される。そこで、遠隔運転装置２００は、時刻ｔ１において送信された対向車両４０２の予測軌道が示す時刻ｔ３における対向車両４０２の地理的位置に対応するように、画像１０１２における仮想オブジェクト８１０の表示位置を決定する。

続いて、車両１を表す仮想オブジェクト８３０の表示位置について説明する。時刻ｔ２で、遠隔運転装置２００は、時刻ｔ１の車両１の地理的位置を取得している。また、時刻ｔ１の車両１の地理的位置には、時刻ｔ０までにオペレータによって入力された操作指示が反映されている。そこで、遠隔運転装置２００は、時刻ｔ１の車両１の地理的位置に対して、時刻ｔ０～ｔ２までに遠隔運転装置２００に入力されたオペレータの操作指示を施すことによって得られる地理的位置に対応するように、画像１０１２における仮想オブジェクト８３０の表示位置を決定する。このようにして生成された画像１０１２における仮想オブジェクト８１０及び８３０の表示位置は、時刻ｔ３の実環境１００３における対向車両４０２及び車両１の地理的位置に対応する。このような方法によれば、遅延があったとしても、遠隔運転装置２００のオペレータは車両１を直接運転するのと同様の操作感覚で車両１を遠隔運転できる。

図１１を参照して、遠隔制御システムにおける遠隔運転装置２００の表示モード選択動作について説明する。この動作は、遠隔運転装置２００のプロセッサ２０１がメモリ２０２に格納されたプログラムを実行することによって行われてもよい。これに代えて、方法の一部又は全部の工程が、ＡＳＩＣ（特定用途向け集積回路）のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。図１１の制御方法は、遠隔運転装置２００が遠隔運転サービスを提供中に反復して実行される。

一部の実施形態で、遠隔運転装置２００は、複数の表示モードから１つのモードを選択して、車両１の遠隔操作のための画像を生成できる。複数の表示モードは、上述のように仮想オブジェクトを用いてオブジェクトに関する表示を行う仮想表示モードと、車両１によって得られた画像を用いてオブジェクトに関する表示を行う画像表示モードとを含んでもよい。仮想表示モードで必要な通信量は画像表示モードで必要な通信量よりも少ない。そこで、遠隔運転装置２００は、通信状態が悪い場合に、画像表示モードを選択できなくして、仮想表示モードで表示制御を行う。以下、具体的な動作について説明する。

ステップＳ１１０１で、遠隔運転装置２００は、車両１と遠隔運転装置２００との通信の品質を取得する。通信状態は、車両１や道路管理カメラ４０１から直接に取得されてもよいし、これらの装置に通信サービスを提供する通信システムから取得されてもよい。

ステップＳ１１０２で、遠隔運転装置２００は、通信状態に基づいて閾値以上の遅延が予想されるかどうかを判定する。遅延が予想される場合（ステップＳ１１０２で「ＹＥＳ」）に、遠隔運転装置２００は処理をステップＳ１１０３に遷移し、それ以外の場合（ステップＳ１１０２で「ＮＯ」）に、遠隔運転装置２００は、処理をステップＳ１１０４に遷移する。

ステップＳ１１０３で、遠隔運転装置２００は、画像表示モードの実行を禁止し、仮想表示モードでの表示制御を行う。ステップＳ１１０４で、遠隔運転装置２００は、画像表示モードと、仮想表示モードとのどちらも選択可能とする。遠隔運転装置２００は、オペレータにより選択に従って、いずれかのモードで車両１を遠隔運転するための画像を表示する。

図１２を参照して、遠隔制御システムにおける遠隔運転装置２００の表示モード変更動作について説明する。この動作は、遠隔運転装置２００のプロセッサ２０１がメモリ２０２に格納されたプログラムを実行することによって行われてもよい。これに代えて、方法の一部又は全部の工程が、ＡＳＩＣ（特定用途向け集積回路）のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。図１２の制御方法は、遠隔運転装置２００が遠隔運転サービスを提供中に反復して実行される。

ステップＳ１２０１で、遠隔運転装置２００は、表示モードを変更すべきかどうかを判定する。表示モードを変更すべきである場合（ステップＳ１２０１で「ＹＥＳ」）に、遠隔運転装置２００は処理をＳ１２０２に遷移し、それ以外の場合（ステップＳ１２０１で「ＮＯ」）に、遠隔運転装置２００はステップＳ１２０１を繰り返す。遠隔運転装置２００は、使用者からの指示に応じて、表示モードを変更すべきであるかどうかを判定してもよい。また、遠隔運転装置２００は、例えば通信品質の変化に応じて、表示モードを変更すべきであるかどうかを判定してもよい。図１１で説明したように、遠隔運転装置２００は、画像表示モードを選択中に通信品質が低下した場合に、表示モードを仮想表示モードに変更すべきであると判定する。さらに、遠隔運転装置２００は、仮想表示モードを選択中に通信品質が改善した場合に、表示モードを画像表示モードに変更すべきであると判定してもよい。

ステップＳ１２０２で、遠隔運転装置２００は、遠隔運転が可能かどうかを判定する。遠隔運転が可能である場合（ステップＳ１２０２で「ＹＥＳ」）に、遠隔運転装置２００は、処理をステップＳ１２０３に遷移し、それ以外の場合に遠隔運転装置２００は処理を終了する。図１１で説明したように、表示モードの変更は、通信品質の低下により引き起こされる場合がある。そこで、このステップで、遠隔運転装置２００は、遠隔運転がなおも実行可能か、すなわち遠隔運転装置２００から車両１へ操作指示を提供可能な状態かどうかを判定する。遠隔運転を実行できない場合に、遠隔運転装置２００は、その旨を遠隔運転装置２００の使用者に通知してもよい。

ステップＳ１２０３で、遠隔運転装置２００は、表示モードを変更することを遠隔運転装置２００の使用者に通知する。表示モードの変更が使用者の指示によって行われる場合に、この通知は変更指示を受け付けたことの通知であってもよい。表示モードの変更が遠隔運転装置２００の判断によって行われる場合に、この通知は遠隔運転装置２００の判断で表示モードを変更することの通知であってもよい。さらに、以降のステップで説明するように、遠隔運転装置２００は、車両１の速度を必要に応じて低下させることを遠隔運転装置２００の使用者に通知してもよい。

ステップＳ１２０４で、遠隔運転装置２００は、車両１の速度が閾値速度よりも大きいかどうかを判定する。閾値速度よりも大きい場合（ステップＳ１２０４で「ＹＥＳ」）に、遠隔運転装置２００は処理をステップＳ１２０５に遷移し、それ以外の場合に、遠隔運転装置２００は処理をステップＳ１２０６に遷移する。閾値速度は、車両１の状況に応じて個別に設定されてもよい。例えば、車両１が高速道を走行中に、閾値速度は時速８０ｋｍであってもよい。車両１が一般道を走行中に、閾値速度は時速３０ｋｍであってもよい。

ステップＳ１２０５で、遠隔運転装置２００は、車両１の速度が閾値速度以下となるように低下させる。表示モードの変更にはタイムラグが発生する場合がある。また、表示モードの変更により、遠隔運転装置２００の使用者に戸惑いが生じる可能性がある。そこで、遠隔運転装置２００は、このような遅延や戸惑いを考慮して、車両１の速度を閾値速度以下まで低下させることによって、いっそう安全な状態で表示モードを変更する。言い換えると、遠隔運転装置２００は、表示モードを変更する前に、車両１の速度を低下させる。さらに言い換えると、遠隔運転装置２００は、車両１の速度が閾値速度以下であることを条件として、表示モードを変更する。ステップＳ１２０６で、遠隔運転装置２００は、表示モードを変更する。

上述の実施形態では、遠隔運転装置２００の操作対象物が車両１である場合について説明した。本発明の操作対象物は車両１に限られない。例えば、操作対象物は、車両以外の移動体、例えば牧草地において牧草犬の代わりに羊や牛などの家畜を誘導するロボットであってもよい。操作対象物が家畜誘導ロボットの場合に、オブジェクトは家畜である。さらに、操作対象物は、移動体以外の装置、例えば固定位置で使用される交通誘導ロボットであってもよい。操作対象物が交通誘導ロボットの場合に、オブジェクトは車両である。操作対象物が車両以外の場合に、遠隔運転装置２００は一般的に遠隔制御装置と呼ばれうる。

＜実施形態のまとめ＞
＜構成１＞
操作対象物（１）を遠隔から操作するための制御装置（２００）であって、
前記操作対象物の周囲に存在し、前記制御装置の操作対象ではないオブジェクト（４０２、４０３）に関する情報を、前記制御装置の外部の情報提供手段（５０２、５１１）から取得する取得手段（Ｓ７０２）と、
前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクト（８１０、８２０）を決定する決定手段（Ｓ７０７）と、
前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御手段（Ｓ７０８）と、
を備える制御装置。
この構成によれば、オブジェクトの情報に基づいて遠隔操作のための画像を生成できるため、オブジェクトの画像自体を受信する必要がなくなり、通信量が低減する。
＜構成２＞
前記取得手段は、前記オブジェクトに関する情報として、前記情報提供手段が決定した前記オブジェクトの種類及び地理的位置を取得する、構成１に記載の制御装置。
この構成によれば、オブジェクトの種類及び地理的位置に基づいて仮想オブジェクトを決定できる。
＜構成３＞
前記表示制御手段は、複数のモデルのうち前記オブジェクトの種類に対応するモデル（８１０、８２０）を前記仮想オブジェクトとして表示する、構成２に記載の制御装置。
この構成によれば、モデルを用いて仮想オブジェクトを表示できる。
＜構成４＞
前記操作対象物は、移動体（１）である、構成１乃至３の何れか１つに記載の制御装置。
この構成によれば、移動体の操作を制御できる。
＜構成５＞
前記表示制御手段は、前記操作対象物の過去の軌道（８３２）と、前記操作対象物の将来の予測軌道（８３１Ｌ、８３１Ｒ）と、前記オブジェクトの過去の軌道（８１１、８２１）と、前記オブジェクトの将来の予測軌道（８１２、８２２）とのうちの少なくとも１つをさらに表示する、構成１乃至４の何れか１つに記載の制御装置。
この構成によれば、制御装置の使用者が操作対象物及びオブジェクトの挙動を把握しやすくなる。
＜構成６＞
前記情報提供手段は、前記オブジェクトの地理的位置、速度及び加速度に基づいて前記オブジェクトの将来の予測軌道（８１２、８２２）を生成し、前記予測軌道を前記制御装置に提供する、構成５に記載の制御装置。
この構成によれば、外部の装置が予測軌道を生成するため、制御装置が元データを取得する必要がなくなる。
＜構成７＞
前記情報提供手段は、所定の正確性を満たすように前記オブジェクトに関する情報を提供できない場合に、前記情報を生成するための元データを前記制御装置に提供する（Ｓ６０５）、構成６に記載の制御装置。
この構成によれば、必要に応じて制御装置が元データを参照できる。
＜構成８＞
前記情報提供手段は、前記操作対象物に含まれる（５０２）、構成６又は７に記載の制御装置。
この構成によれば、操作対象物によって生成されたオブジェクトの情報を取得できる。
＜構成９＞
前記表示制御手段は、前記情報提供手段から前記情報を取得する際に生じる遅延を考慮して前記仮想オブジェクトの表示位置を決定する、構成１乃至８の何れか１つに記載の制御装置。
この構成によれば、実環境での操作と同様の操作感覚で遠隔から操作対象物を操作できる。
＜構成１０＞
前記制御装置は、前記操作対象物へ操作指示を提供する提供手段（Ｓ７１０）を更に備え、
前記表示制御手段は、前記提供手段から前記操作対象物へ前記操作指示を提供する際に生じる遅延を更に考慮して前記仮想オブジェクトの表示位置を決定する、構成９に記載の制御装置。
この構成によれば、制御装置での操作を適切な時点で操作対象物に反映できる。
＜構成１１＞
前記表示制御手段は、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能である（Ｓ１１０４）、構成１乃至１０の何れか１つに記載の制御装置。
この構成によれば、通信状態に応じて表示モードを選択可能になる。
＜構成１２＞

前記表示制御手段は、前記表示モードを変更する場合（Ｓ１２０１）に、前記制御装置の使用者に前記表示モードの変更を通知する（Ｓ１２０３）、構成１１に記載の制御装置。
この構成によれば、遠隔操作装置の使用者が表示モードの変更を事前に把握できる。
＜構成１３＞
前記表示制御手段は、前記表示モードを変更する前に、前記操作対象物の移動速度を低下させる（Ｓ１２０５）、構成１１又は１２に記載の制御装置。
この構成によれば、表示モード変更により発生しうるタイムラグによる影響を抑制できる。
＜構成１４＞
前記表示制御手段は、前記操作対象物の移動速度が閾値速度以下であることを条件として（Ｓ１２０４）、前記表示モードを変更する（Ｓ１２０６）、構成１１乃至１３の何れか１つに記載の制御装置。
この構成によれば、表示モード変更により発生しうるタイムラグによる影響を抑制できる。
＜構成１５＞
前記表示制御手段は、前記情報提供手段と前記制御装置との間の通信状態に基づいて表示モードを選択する（Ｓ１１０１～Ｓ１１０４）、構成１１乃至１４の何れか１つに記載の制御装置。
この構成によれば、通信状態に応じて表示モードを選択可能になる。
＜構成１６＞
前記表示制御手段は、前記通信状態に基づいて閾値以上の遅延が予想される場合に、前記第１表示モードを選択する（Ｓ１１０３）、構成１５に記載の制御装置。
この構成によれば、遅延に応じて適切な表示モードを選択できる。
＜構成１７＞
前記表示制御手段は、前記操作対象物を表す仮想オブジェクト（８３０）をさらに表示する、構成１乃至１６の何れか１つに記載の制御装置。
この構成によれば、操作対象物と他のオブジェクトとの位置関係を把握しやすくなる。
＜構成１８＞
前記表示制御手段は、前記操作対象物の大きさに応じて前記操作対象物を表す仮想オブジェクトの表示サイズを決定する、構成１７に記載の制御装置。
この構成によれば、操作対象物と周囲の環境との位置関係を把握しやすくなる。
＜構成１９＞
コンピュータを構成１乃至１８の何れか１つに記載の制御装置の各手段として機能させるためのプログラム。
この構成によれば、プログラムの形態で上記構成を実現できる。
＜構成２０＞
操作対象物（１）を遠隔から操作するための制御方法であって、
前記操作対象物の周囲に存在し、前記制御方法を実行する制御装置の操作対象ではないオブジェクト（４０２、４０３）に関する情報を、前記制御装置の外部の情報提供手段（５０２、５１１）から取得する取得工程（Ｓ７０２）と、
前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクト（８１０、８２０）を決定する決定工程（Ｓ７０７）と、
前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御工程（Ｓ７０８）と、
を有する制御方法。
この構成によれば、オブジェクトの情報に基づいて遠隔操作のための画像を生成できるため、オブジェクトの画像自体を受信する必要がなくなり、通信量が低減する。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１ 車両、４０２ 対向車両、４０３ 歩行者、８１０、８２０、８３０、仮想オブジェクト

Claims (19)

1. 操作対象物を遠隔から操作するための制御装置であって、
   前記操作対象物の周囲に存在し、前記制御装置の操作対象ではないオブジェクトに関する情報を、前記制御装置の外部の情報提供手段から取得する取得手段と、
   前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクトを決定する決定手段と、
   前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御手段と、
   を備え、
   前記表示制御手段は、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能であり、
   前記表示制御手段は、前記表示モードを変更する前に、前記操作対象物の移動速度を低下させる、制御装置。
2. 操作対象物を遠隔から操作するための制御装置であって、
   前記操作対象物の周囲に存在し、前記制御装置の操作対象ではないオブジェクトに関する情報を、前記制御装置の外部の情報提供手段から取得する取得手段と、
   前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクトを決定する決定手段と、
   前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御手段と、
   を備え、
   前記表示制御手段は、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能であり、
   前記表示制御手段は、前記操作対象物の移動速度が閾値速度以下であることを条件として、前記表示モードを変更する、制御装置。
3. 前記取得手段は、前記オブジェクトに関する情報として、前記情報提供手段が決定した前記オブジェクトの種類及び地理的位置を取得する、請求項１又は２に記載の制御装置。
4. 前記表示制御手段は、複数のモデルのうち前記オブジェクトの種類に対応するモデルを前記仮想オブジェクトとして表示する、請求項３に記載の制御装置。
5. 前記操作対象物は、移動体である、請求項１乃至４の何れか１項に記載の制御装置。
6. 前記表示制御手段は、前記操作対象物の過去の軌道と、前記操作対象物の将来の予測軌道と、前記オブジェクトの過去の軌道と、前記オブジェクトの将来の予測軌道とのうちの少なくとも１つをさらに表示する、請求項１乃至５の何れか１項に記載の制御装置。
7. 前記情報提供手段は、前記オブジェクトの地理的位置、速度及び加速度に基づいて前記オブジェクトの将来の予測軌道を生成し、前記予測軌道を前記制御装置に提供する、請求項６に記載の制御装置。
8. 前記情報提供手段は、所定の正確性を満たすように前記オブジェクトに関する情報を提供できない場合に、前記情報を生成するための元データを前記制御装置に提供する、請求項７に記載の制御装置。
9. 前記情報提供手段は、前記操作対象物に含まれる、請求項７又は８に記載の制御装置。
10. 前記表示制御手段は、前記情報提供手段から前記情報を取得する際に生じる遅延を考慮して前記仮想オブジェクトの表示位置を決定する、請求項１乃至９の何れか１項に記載の制御装置。
11. 前記制御装置は、前記操作対象物へ操作指示を提供する提供手段を更に備え、
    前記表示制御手段は、前記提供手段から前記操作対象物へ前記操作指示を提供する際に生じる遅延を更に考慮して前記仮想オブジェクトの表示位置を決定する、請求項１０に記載の制御装置。
12. 前記表示制御手段は、前記表示モードを変更する場合に、前記制御装置の使用者に前記表示モードの変更を通知する、請求項１乃至１１の何れか１項に記載の制御装置。
13. 前記表示制御手段は、前記情報提供手段と前記制御装置との間の通信状態に基づいて表示モードを選択する、請求項１乃至１２の何れか１項に記載の制御装置。
14. 前記表示制御手段は、前記通信状態に基づいて閾値以上の遅延が予想される場合に、前記第１表示モードを選択する、請求項１３に記載の制御装置。
15. 前記表示制御手段は、前記操作対象物を表す仮想オブジェクトをさらに表示する、請求項１乃至１４の何れか１項に記載の制御装置。
16. 前記表示制御手段は、前記操作対象物の大きさに応じて前記操作対象物を表す仮想オブジェクトの表示サイズを決定する、請求項１５に記載の制御装置。
17. コンピュータを請求項１乃至１６の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
18. 操作対象物を遠隔から操作するための制御方法であって、
    前記操作対象物の周囲に存在し、前記制御方法を実行する制御装置の操作対象ではないオブジェクトに関する情報を、前記制御装置の外部の情報提供手段から取得する取得工程と、
    前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクトを決定する決定工程と、
    前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御工程と、
    を有し、
    前記表示制御工程において、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能であり、
    前記表示制御工程において、前記表示モードを変更する前に、前記操作対象物の移動速度を低下させる、制御方法。
19. 操作対象物を遠隔から操作するための制御方法であって、
    前記操作対象物の周囲に存在し、前記制御方法を実行する制御装置の操作対象ではないオブジェクトに関する情報を、前記制御装置の外部の情報提供手段から取得する取得工程と、
    前記オブジェクトに関する情報に基づいて、前記オブジェクトを表すための仮想オブジェクトを決定する決定工程と、
    前記オブジェクトの地理的位置に対応する表示位置に前記仮想オブジェクトを表示する表示制御工程と、
    を有し、
    前記表示制御工程において、前記仮想オブジェクトを用いて前記オブジェクトに関する表示を行う第１表示モードと、前記操作対象物によって得られた画像を用いて前記オブジェクトに関する表示を行う第２表示モードとを含む複数の表示モードから表示モードを選択可能であり、
    前記表示制御工程において、前記操作対象物の移動速度が閾値速度以下であることを条件として、前記表示モードを変更する、制御方法。

Images