JP6777043B2 - 遠隔操作装置 - Google Patents

Description

本発明は、本発明は、操作対象の車両を遠隔操作する遠隔操作装置の技術分野に関する。

この種の装置として、例えば、遠隔操作を行う操作者に対して、車両の周辺を示す動画像を表示する装置が提案されている（特許文献１参照）。或いは、操作対象の移動体の移動が予定される移動領域について予め作成された３次元の点群データからなる事前取得マップと、該移動体が実際に移動しながら取得した３次元の環境マップとをマッチング処理して、環境マップの検知範囲外を事前取得マップから補う統合処理を行い、操縦者に視野が拡大された表示を行う装置が提案されている（特許文献２参照）。

特開２０１４−０７１７７７号公報 特開２０１６−０４５８２５号公報

遠隔操作装置と操作対象の車両との間では無線通信が行われる。遠隔操作されている車両は移動しているが故に、上記無線通信に用いられる基地局の切り替え（所謂ハンドオーバ）が生じることがある。この基地局の切り替えに起因して、遠隔操作装置の操作者への操作対象の車両の周辺を示す画像の表示が一時的に途切れる可能性があるという技術的問題点がある。上述の背景技術では、基地局の切り替えについては考慮されていない。

本発明は、上記問題点に鑑みてなされたものであり、基地局の切り替えに起因して画像表示が一時的に途切れることを抑制することができる遠隔操作装置を提供することを課題とする。

本発明の一態様に係る遠隔操作装置は、操作対象の車両を無線通信により遠隔操作する遠隔操作装置であって、前記車両により撮像された前記車両の周辺の周辺画像に、前記車両により取得された前記車両の周辺の環境情報を重畳して表示する表示制御手段と、道路の画像を予め保持する保持手段と、前記車両の現在位置に基づいて、前記車両との無線通信が一の基地局を介した無線通信から他の基地局を介した無線通信へ切り替わる基地局の切替えが生じるか否かを判定する判定手段と、を備え、前記基地局の切替えが生じると判定された場合、前記表示制御手段は、前記保持手段により保持された画像のうち前記車両の現在位置に対応する画像に、前記周辺画像及び前記環境情報を重畳して表示する。

実施形態に係る遠隔操作システムの構成を示すブロック図である。 実施形態に係る基地局の切り替えの概念を示す概念図である。 実施形態に係る画像処理の一例を示す図である。 実施形態に係る画像処理の他の例を示す図である。

実施形態に係る遠隔操作システムについて図１乃至図４を参照して説明する。

（構成）
実施形態に係る遠隔操作システムの構成について図１を参照して説明する。図１は、実施形態に係る遠隔操作システムの構成を示すブロック図である。

図１において、遠隔操作システム１は、遠隔操作装置１０と、該遠隔操作装置１０の操作対象の車両２０とを備えて構成されている。遠隔操作装置１０は、車両２０を遠隔操作可能に構成されている。ただし、本実施形態では、遠隔操作装置１０の操作者に表示される画像に係る画像処理について主に説明し、その他の部分についての説明は省略する。尚、その他の部分については既存の技術を適用可能である。

遠隔操作装置１０は、通信部１１、ハブ１２、デコーダ１３Ｒ、１３Ｃ及び１３Ｌ、画像処理パーソナルコンピュータ（以降、適宜“画像処理ＰＣ”と称する）１４、モニタ１５Ｒ、１５Ｃ及び１５Ｌ、切り替え判定パーソナルコンピュータ（以降、適宜“切り替え判定ＰＣ”と称する）１６並びに画像サーバ１７を備えて構成されている。

車両２０は、通信部２１、ハブ２２、エンコーダ２３Ｒ、２３Ｃ及び２３Ｌ、カメラ２４Ｒ、２４Ｃ及び２４Ｌ、測定パーソナルコンピュータ（以降、適宜“測定ＰＣ”と称する）２５、レーザ２６並びに位置センサ２７を備えて構成されている。

カメラ２４Ｃは、車両２０の正面前方を撮影する。カメラ２４Ｒ及び２４Ｌは、夫々、車両２０の右側方及び左側方を撮影する。カメラ２４Ｒ、２４Ｃ及び２４Ｌ各々で撮影された画像は、夫々対応するエンコーダ２３Ｒ、２３Ｃ及び２３Ｌにおいてエンコードされ、ハブ２２及び通信部２１を介して、遠隔操作装置１０に逐次送信される。

測定ＰＣ２５は、レーザ２６の出力に基づいて、車両２０の周辺に存在する歩行者や他車両等の障害物を検出する。測定ＰＣ２５は、更に、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等を含む位置センサの出力に基づいて、車両２０の位置を検出する。測定ＰＣ２５は、検出された障害物を示す環境情報及び検出された車両２０の位置を示す位置情報を、通信部１１を介して、遠隔操作装置１０に逐次送信する。

遠隔操作装置１０のデコーダ１３Ｒ、１３Ｃ及び１３Ｌ各々は、通信部１１及びハブ１２を介して取得された画像（即ち、カメラ２４Ｒ、２４Ｃ及び２４Ｌ各々で撮影された画像）をデコードして、画像処理ＰＣ１４に出力する。

切り替え判定ＰＣ１６は、通信部１１を介して取得された位置情報に基づいて、車両２０が無線通信に用いる基地局の切り替え（所謂ハンドオーバ）が生じるか否かを判定する。切り替え判定ＰＣ１６は、判定結果及び上記位置情報を画像サーバ１７に出力する。

具体的には、切り替え判定ＰＣ１６は、各基地局の電波強度等に基づいて構成された基地局の切り替えが生じる範囲（以降、適宜“切り替え範囲”と称する）及び該切り替え範囲を囲む範囲であって、基地局の切り替えのための準備範囲（以降、適宜“準備範囲”と称する）を規定するマップを予め格納している。切り替え判定ＣＰ１６は、該マップと上記位置情報に基づいて、車両２０が準備範囲又は切り替え範囲に位置する場合、基地局の切り替えが生じると判定する。他方、車両２０が準備範囲及び切り替え範囲のいずれにも位置しない場合、基地局の切り替えは生じないと判定する。

画像サーバ１７は、例えば晴天の日中等の視界が良好な状態で、車両２０のカメラ２４Ｒ、２４Ｃ及び２４Ｌ各々により撮影される画像と同じ視点から撮像された道路の画像を予め保持する。尚、該保持された道路の画像は、例えば地図情報等に基づいて生成されたコンピュータグラフィックス等であってもよい。切り替え判定ＰＣ１６により切り替えが生じると判定された場合、画像サーバ１７は、上記位置情報に基づいて、保持された道路の画像から車両２０の現在地に対応する画像を抽出して、画像処理ＰＣ１４に出力する。

画像処理ＰＣ１４は、通信部１１を介して環境情報を取得する。画像処理ＰＣ１４は、デコーダ１３Ｒ、１３Ｃ及び１３Ｌから夫々出力された画像（以降、適宜“実画像”と称する）と、環境情報に基づく標示とが重畳された画像を、モニタ１５Ｒ、１５Ｃ及び１５Ｌ各々に表示する。画像サーバ１７から画像が出力されている場合（即ち、切り替え判定ＰＣ１６により切り替えが生じると判定された場合）、画像処理ＰＣ１４は、実画像と、画像サーバ１７から出力された画像（以降、適宜“サーバ画像”と称する）と、環境情報に基づく標示とが重畳された画像を、モニタ１５Ｒ、１５Ｃ及び１５Ｌ各々に表示する。

（画像処理）
車両２０が切り換え範囲又は準備範囲に位置する場合（即ち、切り替え判定ＰＣ１６により切り替えが生じると判定された場合）に、画像処理ＰＣ１４により実施される画像処理について図２乃至図４を参照して説明を加える。

ここでは、図２に示すように、基地局ＡＰ１と通信可能な範囲を走行している車両２０が、基地局ＡＰ２と通信可能な範囲に進入する場合を一例として挙げる。尚、図２の「切り替え範囲」及び「準備範囲」は、夫々、切り替え判定ＰＣ１６に格納されているマップにより規定される「切り替え範囲」及び「準備範囲」の一例である。

車両２０が準備範囲に進入すると、画像サーバ１７から画像処理ＰＣ１４への画像の出力が開始される。このとき、画像処理ＰＣ１４は、実画像も取得している。

画像処理ＰＣ１４は、サーバ画像（図３の“サーバ映像”参照）上に、実画像（図３の“リアルタイム映像”参照）を重畳する。画像処理ＰＣ１４は、更に、実画像上に、環境情報に基づく標示（図３（ｃ）の点線枠参照）を重畳する。この結果、例えば図３（ｃ）に示すような画像が表示される。

車両２０が切り換え範囲に進入し、通信部２１において、基地局ＡＰ１から基地局ＡＰ２への切り替えが生じると、該切り替えに伴うプロセス（例えばリセットや再起動）に起因してデータ転送レートが低下する。この結果、画像処理ＰＣ１４が実画像を取得することが一時的にできなくなる。すると、サーバ画像に上に重畳すべき実画像が暗転（所謂ブラックアウト）する（図４の“リアルタイム画像”参照）。

この場合、実画像は表示されずに、サーバ画像上に、環境情報に基づく標示が重畳された画像（図４（ｃ）参照）が表示される。尚、環境情報は、そのデータサイズが比較的小さいので、データ転送レートが低下した状況においても、車両２０から遠隔操作装置１０に適切に送信可能である。

（技術的効果）
遠隔操作装置１０では、上述の如く、切り替え判定ＰＣ１６により基地局の切り替えが生じると判定された場合、画像処理ＰＣ１４により、サーバ画像に、実画像及び環境情報に基づく標示が重畳される。このため、基地局の切り替えに起因して画像処理ＰＣ１４において実画像を取得することが一時的にできなくなった場合であっても、サーバ画像に環境情報に基づく標示が重畳された画像が表示される。従って、当該遠隔操作装置１０によれば、基地局の切り替えに起因して遠隔操作装置１０の操作者への画像表示が一時的に途切れることを抑制することができる。

ここで、基地局の切り替えに起因して実画像が表示されない期間は、１秒程度であるので、遠隔操作装置１０の操作者に表示される画像に、実画像に写っている前方車両等が表示されていなくても、安全性に問題はないと考えられる。本実施形態では特に、サーバ画像に環境情報に基づく標示が重畳されているので、遠隔操作装置１０の操作者は前方車両等を意識することができる。

＜変形例＞
（１）車両２０の前部及び後部各々に、基地局と通信するためのアンテナ（図１の“通信部２１”に相当）を設けてよい。更に、該アンテナを指向性アンテナとして構成してよい。このように構成すれば、図２に示す例において、基地局ＡＰ１と車両２０の後部に設けられたアンテナとで通信を行いつつ、基地局ＡＰ２と車両２０の前部に設けられたアンテナとで通信を行うことができる。この結果、基地局の切り替えに起因して、画像処理ＰＣ１４が実画像を一時的に取得できなくなることを抑制することができる。

（２）車両２０は、切り替え判定ＰＣ１６に格納されている「切り替え範囲」及び「準備範囲」を規定するマップを予め有していてよい。車両２０が、例えばＬＫＡ（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔ）機能や、ＰＣＳ（Ｐｒｅ−Ｃｌａｓｈ Ｓａｆｅｔｙ）機能を有している場合、車両２０が準備範囲に進入したことを条件に、ＬＫＡ機能やＰＣＳ機能の起動順位が手動より優先されてよい。このように構成すれば、基地局の切り替えに起因して、遠隔操作装置１０の操作者に表示される画像に、実画像に写っている前方車両等が表示されていない場合であっても、車両２０の安全性を向上させることができる。

以上に説明した実施形態及び変形例から導き出される発明の態様を以下に説明する。

発明の一態様に係る遠隔操作装置は、操作対象の車両を無線通信により遠隔操作する遠隔操作装置であって、前記車両により撮像された前記車両の周辺の周辺画像に、前記車両により取得された前記車両の周辺の環境情報を重畳して表示する表示制御手段と、道路の画像を予め保持する保持手段と、前記車両の現在位置に基づいて、前記車両との無線通信が一の基地局を介した無線通信から他の基地局を介した無線通信へ切り替わる基地局の切替えが生じるか否かを判定する判定手段と、を備え、前記基地局の切替えが生じると判定された場合、前記表示制御手段は、前記保持手段により保持された画像のうち前記車両の現在位置に対応する画像に、前記周辺画像及び前記環境情報を重畳して表示する。

「環境情報」は、例えば操作対象の車両の周辺に存在する歩行者や自転車、他車両、障害物等を示す情報である。「環境情報」は、例えば操作対象の車両に搭載された車載カメラにより撮像された画像、該車両に搭載されたミリ波レーダ等の周辺認識装置の出力等に基づいて取得すればよい。

保持手段により保持されている「道路の画像」は、典型的には、遠隔操作装置の操作者に表示される画像と同じ視点から撮像された道路の画像を意味する。上記「道路の画像」は、例えば地図情報等に基づいて生成されたコンピュータグラフィックス等であってもよい。

基地局の切り替えが生じると、該切り替えに起因してデータ転送レートが一時的に低下する。このため、比較的データサイズの大きい周辺画像の転送が遅れ、遠隔操作装置の操作者への画像の表示が一時的に途切れる可能性がある。そこで、当該遠隔操作装置では、基地局の切替えが生じると判定された場合、表示制御手段は、保持手段により保持された画像のうち車両の現在位置に対応する画像に、周辺画像及び環境情報を重畳して表示する。

基地局の切り替えに起因して当該遠隔操作装置において周辺画像の受信が途切れたとしても、当該遠隔操作装置では、保持手段により保持された画像のうち車両の現在位置に対応する画像が表示される。このため、当該遠隔操作装置によれば、基地局の切り替えに起因して操作者への画像の表示が一時的に途切れることを抑制することができる。尚、環境情報は、比較的データサイズが小さいので、基地局の切り替えに起因してデータ転送レートが一時的に低下したとしても適切に転送することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔操作装置もまた本発明の技術的範囲に含まれるものである。

１…遠隔操作システム、１０…遠隔操作装置、１１、２１…通信部、１２、２２…ハブ、１３Ｒ、１３Ｃ、１３Ｌ…デコーダ、１４…画像処理パーソナルコンピュータ、１５Ｒ、１５Ｃ、１５Ｌ…モニタ、１６…切り替え判定パーソナルコンピュータ、１７…画像サーバ、２０…車両、２３Ｒ、２３Ｃ、２３Ｌ…エンコーダ、２４Ｒ、２４Ｃ、２４Ｌ…カメラ、２５…測定パーソナルコンピュータ、２６…レーダ、２７…位置センサ

Claims (1)

1. 操作対象の車両を無線通信により遠隔操作する遠隔操作装置であって、
   前記車両により撮像された前記車両の周辺の周辺画像に、前記車両により取得された前記車両の周辺の環境情報を重畳して表示する表示制御手段と、
   道路の画像を予め保持する保持手段と、
   前記車両の現在位置に基づいて、前記車両との無線通信が一の基地局を介した無線通信から他の基地局を介した無線通信へ切り替わる基地局の切替えが生じるか否かを判定する判定手段と、
   を備え、
   前記基地局の切替えが生じると判定された場合、前記表示制御手段は、前記保持手段により保持された画像のうち前記車両の現在位置に対応する画像に、前記周辺画像及び前記環境情報を重畳して表示する
   ことを特徴とする遠隔操作装置。

Images