JP2018180771A - 遠隔操作装置 - Google Patents

Abstract

【課題】遠隔操作装置の操作者に表示される画像の更新が不安定になることを抑制する。【解決手段】遠隔操作装置（１０）は、操作対象である車両（２０）を遠隔操作可能である。当該遠隔操作装置は、無線通信を介して車両の周囲の画像を示し、且つ、そのデータ量が車両の速度が大きくなるほど大きくなる画像データを逐次取得して、該取得された画像データを所定容量のバッファに格納する画像取得手段（１２）と、記バッファに格納された画像データを読み出して、画像データにより示される画像を表示画像として表示する表示手段（１２、１３）と、バッファに格納された画像データにより表示画像を表示可能な時間が、所定時間未満になったことを条件に、車両の減速につながる所定動作を行う制御手段（１２）と、を備える。【選択図】図１

Description

本発明は、例えば自動車等の車両を操作対象とする遠隔操作装置の技術分野に関する。

この種の装置は、操作対象との間でデータ通信を行う。データ通信に係る技術として、例えば、車両に搭載された複数のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）間を接続するネットワークの通信負荷の変動により不具合が生じることを抑制するために、通信負荷の変動に応じて通信速度の変更を行う装置が提案されている（特許文献１参照）。或いは、相互に無線通信を行うサーバ及びクライアントを備え、サーバにおいて地図データ、道路データ及びクライアントの位置情報に基づいて生成された目的地までのルートをクライアントが表示するシステムであって、通信速度が低下した場合、サーバは縮尺を変更してルート全体を一画面に収める地図画像を用いた案内画面をクライアントに送信するシステムが提案されている（特許文献２参照）。

特開２００８−２１１６４４号公報 特開２０１０−２２３６９１号公報

遠隔操作装置では、操作対象との間の通信を介して、該操作対象の周囲を示す画像が取得され、該取得された画像が遠隔操作装置の操作者に表示される。例えば通信環境に起因して、操作者に表示される画像の更新が不安定になると、操作者が操作対象を遠隔操作しにくくなる。尚、特許文献１及び２に記載の技術では、遠隔操作については考慮されていない。

本発明は、上記問題点に鑑みてなされたものであり、遠隔操作装置の操作者に表示される画像の更新が不安定になることを抑制することができる遠隔操作装置を提供することを課題とする。

本発明の遠隔操作装置は、上記課題を解決するために、操作対象である車両を遠隔操作可能な遠隔操作装置であって、無線通信を介して前記車両の周囲の画像を示し、且つ、そのデータ量が前記車両の速度が大きくなるほど大きくなる画像データを逐次取得して、前記取得された画像データを所定容量のバッファに格納する画像取得手段と、前記バッファに格納された画像データを読み出して、前記読み出された画像データにより示される画像を表示画像として表示する表示手段と、前記バッファに格納された画像データにより前記表示画像を表示可能な時間が、所定時間未満になったことを条件に、前記車両の減速につながる所定動作を行う制御手段と、を備える。

当該遠隔操作装置では、表示画像（即ち、遠隔操作装置の操作者に表示される画像）を表示するために必要な画像データのデータ量は、操作対象である車両の速度が大きくなるほど大きくなる。これは、車両の速度が大きくなるほど、車両を安全に操作するために必要な画質や画像範囲（視野）等を実現するための画像データのデータ量が大きくなるからである。

通信環境が悪化し、通信を介して単位時間当たりに取得可能なデータ量が低下すると、表示画像を表示するために必要な画像データの取得にかかる時間が増加する。すると、表示画像の定期的な更新が難しくなる。

そこで、当該遠隔操作装置では、バッファに格納された画像データにより表示画像を表示可能な時間が、所定時間未満になったことを条件に、車両の減速につながる所定動作が行われる。「所定動作」には、車両の減速を促す警告を発する警告動作が含まれていてよい。また、「所定動作」には、減速するように車両を自動で制御する制御動作が含まれていてよい。所定動作に応じて車両が減速すれば、表示画像を表示するために必要な画像データのデータ量が減少するので、通信環境が比較的悪くても、該画像データを比較的早期に取得することができる。従って、当該遠隔操作装置によれば、表示画像の更新が不安定になることを抑制することができる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施形態に係る遠隔操作システムの構成を示すブロック図である。 実施形態に係る画像処理を示すフローチャートである。 実施形態に係る走行シーンとデータとの関係の一例を示す図である。 実施形態に係る画像処理の概念を示す図である。

本発明の遠隔操作装置に係る実施形態について、図１乃至図４を参照して説明する。

（システム構成）
実施形態に係る遠隔操作装置を含む遠隔操作システムの構成について、図１を参照して説明する。図１は、実施形態に係る遠隔操作システムの構成を示すブロック図である。

図１において、遠隔操作システム１は、遠隔操作装置１０と、該遠隔操作装置１０の操作対象である車両２０を備えて構成されている。遠隔操作装置１０は、無線機器１１、デコーダ及び重畳表示部１２、表示装置１３、操作機器ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４、アクセルペダル１５、ブレーキペダル１６及びステアリングホイール１７を備えている。車両２０は、無線機器２１、エンコーダ２２、中央カメラ２３Ｃ、左カメラ２３Ｌ、右カメラ２３Ｒ、車両制御ＥＣＵ２４、エンジン制御ＥＣＵ２５、ブレーキ制御ＥＣＵ２６及びステアリング制御ＥＣＵ２７を備えている。

遠隔操作装置１０及び車両２０は、無線機器１１及び２１を介して、相互に無線通信可能である。遠隔操作装置１０及び車両２０間の無線通信には、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）又はＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）等が用いられる。当該遠隔操作システム１では、リアルタイム性が重視されるので、ＵＤＰが用いられることが望ましい。

中央カメラ２３Ｃは、車両２０の前方を撮像する。左カメラ２３Ｌは、車両２０の左方を撮像する。右カメラ２３Ｒは、車両２０の右方を撮像する。中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像された画像は、夫々エンコーダ２２によりエンコードされ、無線機器２１を介して遠隔操作装置１０に送信される。デコーダ及び重畳表示部１２は、エンコードされた画像をデコードして、表示装置１３に表示する。この結果、遠隔操作装置１０のオペレータ（操作者）に、車両２０の周囲の画像が表示される。

遠隔操作装置１０のオペレータは、表示装置１３に表示された画像を見ながら、アクセルペダル１５、ブレーキペダル１６及びステアリングホイール１７を操作する。操作機器ＥＣＵ１４は、アクセルペダル１５、ブレーキペダル１６及びステアリングホイール１７の操作状況を検知して、該検知された操作状況を示す信号を、無線機器１１を介して車両２０に送信する。車両制御ＥＣＵ２４は、受信した信号により示される操作状況に基づいて、エンジン制御ＥＣＵ２５、ブレーキ制御ＥＣＵ２６及びステアリング制御ＥＣＵ２７を制御する。この結果、車両２０は、遠隔操作装置１０のオペレータにより遠隔操作される。

遠隔操作システム１における車両２０の遠隔操作に係る技術については、既存の技術を適用可能であるので、その詳細についての説明は省略する。本実施形態では、遠隔操作装置１０のオペレータに車両２０の周囲の画像を表示するための画像処理に係る技術について詳細に説明する。

（画像処理）
実施形態に係る画像処理について、図２のフローチャートを参照して説明する。

１．車両側動作
車両２０のエンコーダ２２は、例えば車速センサ（図示せず）等の各種センサからの出力に基づく車両情報を取得する（ステップＳ１０１）。続いて、エンコーダ２２は、取得された車両情報に基づいて推定走行シーン判定を行う（ステップＳ１０２）。推定走行シーン判定では、車両２０の走行状態が、図３に示す走行シーンのいずれに該当するかが判定される。

具体的には、ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されており、且つ、車両２０の速度が、例えば時速１０ｋｍ（キロメートル）以下である場合、推定走行シーン判定において「極低速からの停止」と判定される。ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されており、且つ、車両２０の速度が、例えば時速１０ｋｍより大きく時速３０ｋｍ以下である場合、推定走行シーン判定において「低速からの停止」と判定される。ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されており、且つ、車両２０の速度が、例えば時速３０ｋｍより大きく時速６０ｋｍ以下である場合、推定走行シーン判定において「中速からの停止」と判定される。

ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されておらず（即ち、車両２０が加速又は惰性走行しており）、且つ、車両２０の速度が、例えば時速１０ｋｍ以下である場合、推定走行シーン判定において「極低速走行」と判定される。ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されておらず、且つ、車両２０の速度が、例えば時速１０ｋｍより大きく時速３０ｋｍ以下である場合、推定走行シーン判定において「低速走行」と判定される。ブレーキ制御ＥＣＵ２６により車両２０に制動力が付与されておらず、且つ、車両２０の速度が、例えば時速３０ｋｍより大きく時速６０ｋｍ以下である場合、推定走行シーン判定において「中速走行」と判定される。

上記ステップＳ１０１及びＳ１０２の処理と並行して、エンコーダ２２は、無線機器２１を介して、遠隔操作装置１０からデータを受信する（ステップＳ１０３）。このステップＳ１０３の処理において受信されるデータは、後述する通信環境判定（ステップＳ２２１）及びバッファ判定（ステップＳ２２２）各々の判定結果である。尚、通信環境判定の判定結果及びバッファ判定の判定結果各々は、例えば「最良」、「良」、「悪」、「最悪」の４段階評価で表される。

次に、エンコーダ２２は、ステップＳ１０２の処理の結果及びＳ１０３の処理において受信されたデータに基づいて、画像・車両・表示情報判定を行う（ステップＳ１０４）。画像・車両・表示情報判定について、図３を参照して具体的に説明する。図３は、実施形態に係る走行シーンとデータとの関係の一例を示す図である。

ここで、図３の「データ量合計」は、遠隔操作装置１０のオペレータに表示される画像を適切に更新しつつ、「走行シーン」として挙げられている各走行状態を実現するために必要な最低限のデータを適切に送信するために必要な単位時間当たりのデータ量（以降、適宜“通信速度”と称する）を示している。また、「データの種類」は、「走行シーン」として挙げられている各走行状態を実現するために必要な最低限のデータの種類を示している。

画像・車両・表示情報判定では、通信環境判定の判定結果及びバッファ判定の判定結果によって、通信速度の上限が決定される。例えば通信環境判定の判定結果及びバッファ判定の判定結果が両方とも「最良」である場合、通信速度の上限は、例えば２５Ｍｂｐｓ程度とされる。

画像・車両・表示情報判定では、推定走行シーン判定の判定結果により示される走行シーンに相当する走行状態を実現するために必要な通信速度が、通信環境判定の判定結果及びバッファ判定の判定結果に基づいて決定された通信速度の上限以下である場合、該通信速度の上限以下で可能限り多くのデータが、車両２０から遠隔操作装置１０へ送信されるようにデータの種類が決定される。

例えば、通信速度の上限が２５Ｍｂｐｓであり、推定走行シーン判定の判定結果が「中速走行」である場合、図３の中速走行に対応するデータの種類に記載の画質ではなく、中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像される画像の画質は高画質とされる。

他方で、推定走行シーン判定の判定結果により示される走行シーンに相当する走行状態を実現するために必要な最低限の通信速度が、通信環境判定の判定結果及びバッファ判定の判定結果に基づいて決定された通信速度の上限より大きい場合、推定走行シーン判定の判定結果により示される走行シーンに相当する走行状態を実現するために必要なデータが、車両２０から遠隔操作装置１０へ送信されるようにデータの種類が決定される。

例えば、通信速度の上限が１７Ｍｂｐｓであり、推定走行シーン判定の判定結果が「中速走行」である場合、中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像される画像の画質は、図３の中速走行に対応するデータの種類に記載の画質とされる。

その後、エンコーダ２２は、画像・車両・表示情報判定の結果に基づいて、中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々の解像度を指示し（ステップＳ１０５）、中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像された画像を取得する（ステップＳ１０６）。また、エンコーダ２２は、ステップＳ１０５及びＳ１０６の処理と並行して、車両情報及び表示情報を取得する（ステップＳ１０７）。尚、車両情報及び表示情報は、図３の、例えば「中速走行」に対応するデータの種類に記載の「車両情報」及び「表示情報」に相当する。

その後、エンコーダ２２は、ステップＳ１０６及びＳ１０７各々の処理において取得された画像並びに車両情報及び表示情報を、無線機器２１を介して、遠隔操作装置１０に送信する（ステップＳ１０８）。エンコーダ２２は、第１所定期間（例えば、数ミリ秒から数十ミリ秒）が経過した後に、ステップＳ１０１の処理を開始する。

２．遠隔操作装置側動作
遠隔操作装置１０のデコーダ及び重畳表示部１２は、無線機器１１を介して、車両２０からデータを受信すると（ステップＳ２１１）、受信されたデータに含まれる画像（即ち、中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像された画像）に、例えば車両２０の走行と関連する情報等を重畳表示として付与する（ステップＳ２１２）。ステップＳ２１２の処理では、所謂拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）機能が実施される。

その後、デコーダ及び重畳表示部１２は、重畳表示が付与された画像をバッファメモリ（図示せず）に格納する。バッファメモリには、例えば３画像分（約１００ミリ秒）の画像データが格納可能であるとする。デコーダ及び重畳表示部１２は、バッファメモリに格納された画像を一定の周期で読み出す（ステップＳ２１３）。続いて、デコーダ及び重畳表示部１２は、読み出された画像を表示装置１３に表示する（ステップＳ２１４）。デコーダ及び重畳表示部１２は、第２所定期間（例えば、数ミリ秒から数十ミリ秒）が経過した後に、ステップＳ２１１の処理を開始する。

ところで、通信環境が十分に良好であれば、車両２０から送信されるデータを適切に（例えば最小限の遅延時間で）受信することができる。この場合、バッファメモリには、表示装置１３に画像を表示するために必要十分な、且つ、表示装置１３に表示される画像を適切に更新するために必要十分なデータ量の画像が格納される。

尚、表示装置１３に画像を表示するために必要十分な画像のデータ量は、車両２０の速度が大きくなるほど大きくなる。例えば図３に示すように、「極低速走行」では、俯瞰図情報、車両情報、右カメラ（低画質）及び左カメラ（低画質）各々のデータ量の合計が、表示装置１３に画像を表示するために必要十分な画像のデータ量となるが、「中速走行」では、中央カメラ（低画質）、車両情報、右カメラ（高画質）、左カメラ（高画質）及び表示情報各々のデータ量の合計が、表示装置１３に画像を表示するために必要十分な画像のデータ量となる。なぜなら、車両２０の速度が大きくなるほど、遠隔操作装置１０のオペレータが車両２０を安全に操作するために必要な画質や画像範囲（視野）等を実現するための画像のデータ量が大きくなるからである。

通信環境が悪化した場合、車両２０の走行状態によっては、車両２０から送信されるデータの受信に比較的大きな遅延が生じる可能性がある。例えば車両２０が「中速走行」している場合、「中速走行」を実現するために必要な最低限のデータを適切に受信するためには、図３に示すように、２２Ｍｂｐｓ程度の通信速度が必要である。通信環境が悪化し、実際の通信速度が２２Ｍｂｐｓより遅くなると、「中速走行」を実現するために必要な最低限のデータの受信に比較的大きな遅延が生じることとなる。この結果、バッファメモリに格納されている画像が減ることとなる。

そこで、デコーダ及び重畳表示部１２は、データ受信の遅延時間が所定時間（例えば３００ミリ秒）より大きくなった場合、車両２０から送信されるデータを適切に受信するために必要な通信速度を低減すべく、例えば「低速で走行してください！」等の警告通知を行う（ステップＳ２１５）。なぜなら、図３に示すように、車両２０の速度が低くなるほど、車両２０の走行状態を実現するために必要な最低限のデータを適切に送信するために必要な通信速度が低下するからである。

尚、データ受信の遅延時間が所定時間より大きくなるということは、表示装置１３に画像を表示するために必要十分なデータ量の画像がバッファメモリに格納されていない（即ち、バッファメモリに格納されている画像のデータ量が所定量未満である）ことと同義である。

上記警告通知に応じて、遠隔操作装置１０のオペレータが車両２０を減速させれば、表示装置１３に画像を表示するために必要十分な画像のデータ量も減少するので、通信速度が比較的遅くても、表示装置１３に画像を表示するために必要十分な画像に係るデータを、適切に受信できる。つまり、表示装置１３に画像を表示するために必要十分な、且つ、表示装置１３に表示される画像を適切に更新するために必要十分なデータ量がバッファメモリに格納されることになる。

デコーダ及び重畳表示部１２は、上記ステップＳ２１１〜Ｓ２１５の処理と並行して、ステップＳ２２１〜Ｓ２２３の処理を行う。即ち、デコーダ及び重畳表示部１２は、遠隔操作装置１０及び車両２０間の通信状況に基づいて、通信環境判定を行う（ステップＳ２２１）。通信環境判定の判定結果は、上述の如く、例えば「最良」、「良」、「悪」、「最悪」の４段階評価で表される。

ステップＳ２２１の処理と並行して、デコーダ及び重畳表示部１２は、バッファメモリに格納されている画像に基づいて、バッファ判定を行う（ステップＳ２２２）。例えばバッファメモリに３画像分（約１００ミリ秒）の画像データが格納可能であるとする。バッファメモリに３画像分の画像データが格納されている場合、バッファ判定の判定結果は「最良」となる。バッファメモリに２画像分の画像データが格納されている場合、バッファ判定の判定結果は「良」となる。バッファメモリに１画像分の画像データが格納されている場合、バッファ判定の判定結果は「悪」となる。バッファメモリに画像データが格納されていない場合、バッファ判定の判定結果は「最悪」となる。

次に、デコーダ及び重畳表示部１２は、通信環境判定の判定結果及びバッファ判定の判定結果を、無線機器１１を介して、車両２０に送信する（ステップＳ２２３）。デコーダ及び重畳表示部１２は、第３所定期間（例えば、数ミリ秒から数十ミリ秒）が経過した後に、ステップＳ２２１の処理を開始する。

（技術的効果）
遠隔操作装置１０及び車両２０間の無線通信を介して、車両２０の中央カメラ２３Ｃ、左カメラ２３Ｌ及び右カメラ２３Ｒ各々により撮像された画像を、遠隔操作装置１０に送信する場合、図４に示すように、車両２０は、定期的に画像を送信しているにもかかわらず、遠隔操作装置１０は、不定期的な遅延を伴って画像を受信する（図４の最上段及び上から２段目参照）。尚、図４における各矩形は画像を表しており、矩形に付与された番号はフレーム番号を示している。

遠隔操作装置１０では、受信した画像がバッファメモリに一旦格納され、格納された画像が所定周期でバッファメモリから読み出される。このとき、車両２０が画像を送信する周期よりもバッファメモリから画像を読み出す周期を遅くすれば、遠隔操作装置１０のオペレータに表示される画像を定期的に更新することができる（図４の最下段参照）。

このように、バッファメモリを用いていても、１画像分のデータ量が常に一定であると、通信環境が悪化した場合、車両２０から送信された画像の受信が大幅に遅延してしまい、バッファメモリに格納された画像が少なくなり又はなくなり、遠隔操作装置１０のオペレータに表示される画像（即ち、表示装置１３に表示される画像）を定期的に更新できない可能性がある。

当該遠隔操作システム１では、データ受信の遅延時間が所定時間より大きい場合、現在の通信環境等に車両２０の走行状態を合わせるべく、車両２０の減速を促す警告が発せられる。この結果、遠隔操作装置１０のオペレータにより車両２０が減速されれば、データ受信の遅延時間を短くすることができる。従って、バッファメモリに格納される画像の低下を抑制することができる。

当該遠隔操作システム１によれば、バッファメモリを用いること、及び、データ受信の遅延時間が所定時間より大きい場合に、遠隔操作装置１０のオペレータに警告が発せられることによって、遠隔操作装置１０のオペレータに表示される画像の更新が不安定になることを抑制することができる。

＜変形例＞
上述の実施形態では、図３のステップＳ２１５の処理において、データ受信の遅延時間が所定時間より大きい場合に、車両２０の減速を促す警告が発せられる。このステップＳ２１５の処理に代えて、デコーダ及び重畳表示部１２は、例えばバッファ判定の判定結果に基づいて、バッファメモリに格納されている画像により、表示装置１３に画像を表示可能な時間が所定時間未満である場合に、車両２０の減速を促す警告が発せられてよい。

或いは、デコーダ及び重畳表示部１２は、例えばバッファ判定の判定結果に基づいて、バッファメモリに格納されている画像により、表示装置１３に画像を表示可能な時間が所定時間未満である場合に、車両２０を減速させる旨を示す信号を、無線機器１１を介して車両２０に送信してもよい（この結果、車両制御ＥＣＵ２４により、例えばブレーキ制御ＥＣＵ２６が制御され車両２０が減速される）。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔操作装置もまた本発明の技術的範囲に含まれるものである。

１…遠隔操作システム、１０…遠隔操作装置、２０…車両

Claims (1)

1. 操作対象である車両を遠隔操作可能な遠隔操作装置であって、
   無線通信を介して前記車両の周囲の画像を示し、且つ、そのデータ量が前記車両の速度が大きくなるほど大きくなる画像データを逐次取得して、前記取得された画像データを所定容量のバッファに格納する画像取得手段と、
   前記バッファに格納された画像データを読み出して、前記読み出された画像データにより示される画像を表示画像として表示する表示手段と、
   前記バッファに格納された画像データにより前記表示画像を表示可能な時間が、所定時間未満になったことを条件に、前記車両の減速につながる所定動作を行う制御手段と、
   を備えることを特徴とする遠隔操作装置。

Images