本開示の一態様に係る映像伝送装置は、車両に搭載される映像伝送装置であって、前記車両の周囲を撮像する撮像部から第一映像情報を取得する第一取得部と、前記車両の周囲における危険領域を示す危険マップを作成する危険マップ作成部と、前記危険マップに基づいて、前記第一映像情報よりデータ量が低減した第二映像情報を作成する映像作成部と、前記車両を遠隔監視するための遠隔監視装置に前記第二映像情報を送信する通信部とを備える。
これにより、映像伝送装置は、車両の周囲の危険領域に応じて、遠隔監視装置に送信する第二映像情報のデータ量を低減することができる。よって、映像伝送装置によれば、車両と遠隔監視装置との間のネットワーク帯域の浪費を削減することができる。
また、例えば、前記映像作成部は、前記第一映像情報のうち前記危険マップが示す前記危険領域以外の領域に対応する第一領域の映像を前記危険領域に対応する第二領域の映像よりも画質を劣化させること、及び、前記第一映像情報から前記第二領域の映像を切り出すことの少なくとも一方により前記第二映像情報を作成する。
これにより、オペレータは危険領域に対応する領域が鮮明な映像を視認することができる。よって、映像伝送装置は、ネットワーク帯域の浪費を削減しつつ、オペレータに効果的に走行における危険を知らせることができる。
また、例えば、前記車両と前記遠隔監視装置との間の通信ネットワークが混雑しているか否かを判定する判定部をさらに備え、前記通信部は、前記判定部が前記通信ネットワークを混雑していると判定した場合、前記遠隔監視装置に前記第二映像情報を送信し、前記判定部が前記通信ネットワークを混雑していないと判定した場合、前記遠隔監視装置に前記第一映像情報を送信する。
これにより、映像伝送装置は、通信ネットワークが混雑している場合に、第一映像情報よりデータ量が低減した第二映像情報を送信する。つまり、オペレータは、通信ネットワークが混雑している場合であっても迅速に第二映像情報に基づく映像を視認することができる。よって、映像伝送装置は、ネットワーク帯域の浪費を削減しつつ、第一映像情報を送信した場合に比べ短時間でオペレータに走行における危険を知らせることができる。
また、例えば、前記通信部は、前記判定部が前記通信ネットワークを混雑していると判定した場合に、前記判定部が前記通信ネットワークを混雑していないと判定した場合より低い送信レートで前記第二映像情報を送信し、前記映像作成部は、前記判定部が前記通信ネットワークを混雑していると判定した場合に、前記第一映像情報から前記送信レートに応じて前記第二映像情報を作成する。
これにより、映像伝送装置は、送信レートに応じて作成された第二映像情報を遠隔監視装置に送信する。例えば、送信レートが低い値に設定された場合、第二映像情報のデータ量をさらに低減することで、第二映像情報の送信に要する時間を短縮することができる。よって、映像伝送装置は、ネットワーク帯域の浪費を削減しつつ、第一映像情報を送信した場合に比べさらに短時間でオペレータに走行における危険を知らせることができる。
また、例えば、前記遠隔監視装置は、前記車両を遠隔操作するための操作が入力される操作入力装置と接続されており、前記映像作成部は、前記車両が前記操作入力装置からの遠隔操作を受けている場合に、前記遠隔操作による走行経路をさらに用いて前記第二映像情報を作成する。
これにより、遠隔操作による走行経路に応じて第二映像情報が作成されるので、当該走行経路に適した第二映像情報を作成することができる。オペレータは、走行経路に応じた第二映像情報に基づく映像を視認することで、遠隔操作による走行により生じる危険があるか否かをより鮮明な映像で判断することができる。
また、例えば、前記映像作成部は、前記車両が自動運転で走行している場合に、当該車両が走行する目標となる走行経路をさらに用いて前記第二映像情報を作成する。
これにより、自動運転による走行経路に応じて第二映像情報が作成されるので、当該走行経路に適した第二映像情報を作成することができる。オペレータは、走行経路に応じた第二映像情報に基づく映像を視認することで、自動運転による走行により生じる危険があるか否かをより鮮明な映像で判断することができる。
また、例えば、前記映像作成部は、さらに、前記第一映像情報のうち前記走行経路における進行方向ではない方向を撮像した第三領域の映像を前記進行方向を撮像した第四領域の映像よりも画質を劣化させること、及び、前記第一映像情報から前記第四領域の映像を切り出すことの少なくとも一方により前記第二映像情報を作成する。
これにより、映像伝送装置は、危険領域に対応する領域の映像、及び、進行方向の映像を、画質のよい状態で遠隔監視装置に送信することができる。つまり、オペレータは、走行経路の進行方向をより鮮明な映像で視認することができる。よって、映像伝送装置は、ネットワーク帯域の浪費を削減しつつ、オペレータに効果的に遠隔操作又は自動運転による走行における危険を知らせることができる。
また、例えば、前記車両の周囲をセンシングするセンサ部からセンシング結果を取得する第二取得部と、前記センシング結果及び前記第一映像情報に基づいて、障害物の位置及び速度を示す障害物情報を作成するオブジェクト検出部とをさらに備え、前記危険マップ作成部は、前記障害物情報に基づいて前記危険マップを作成する。
これにより、映像伝送装置は、車両が備える撮像部及びセンサ部から取得した情報を用いて危険マップを作成することができる。
また、例えば、前記危険マップ作成部は、前記第一映像情報及び前記障害物情報の少なくとも一方に基づいて、前記車両の周囲の危険度を示す前記危険マップを作成する。
これにより、危険マップ作成部は、任意に危険領域を設定することができる。危険マップ作成部は、例えば、所定の値以上の危険度を有する領域を危険領域と設定することができる。よって、より正確に危険領域を設定することができる。
また、前記判定部は、例えば、前記通信ネットワークを混雑していると判定した場合、さらに、前記通信ネットワークの混雑度合が閾値以下であるか否かを判定し、前記通信部は、前記判定部が前記混雑度合を前記閾値以下であると判定した場合、前記第二映像情報を送信し、前記判定部が前記混雑度合を前記閾値より大きいと判定した場合、前記センシング結果及び前記障害物情報の少なくとも一方を送信する。
これにより、NWの混雑度合に応じて、送信する情報を切り替えることができる。よって、映像伝送装置は、NWの混雑度合に応じて、より適切な送信レートで車両の周囲の情報を伝送することができる。
また、例えば、前記危険マップ作成部は、前記車両の周囲の交通情報から前記危険マップを作成する。
これにより、危険マップを車両の外部から取得した交通情報(例えば、交通事故情報)を用いて作成することができる。
また、例えば、前記映像作成部は、前記危険マップに前記危険領域が存在しない場合、前記第一映像情報が示す第一映像の画質を一律に劣化させることで前記第二映像情報を作成する。
これにより、危険領域が存在しない場合、さらに第二映像情報のデータ量が低減される。よって、映像伝送装置は、ネットワーク帯域の浪費をさらに削減することができる。
また、例えば、前記映像作成部は、前記危険マップに前記危険領域が存在しない場合、前記第二映像情報の作成を停止する。
これにより、危険領域が存在しない場合、ネットワーク帯域が使用されない。よって、映像伝送装置は、ネットワーク帯域の浪費をさらに削減することができる。
また、本開示の一態様に係る映像伝送装置は、車両に搭載される映像伝送装置であって、前記車両の周囲を撮像する撮像部から第一映像情報を取得する第一取得部と、前記車両の周囲をセンシングするセンサ部からセンシング結果を取得する第二取得部と、前記センシング結果及び前記第一映像情報に基づいて、障害物の位置及び速度を示す障害物情報を作成するオブジェクト検出部と、前記車両の周囲における危険領域を示す危険マップを作成する危険マップ作成部と、前記危険マップに基づいて第二映像情報を作成する映像作成部と、前記車両を遠隔監視するための遠隔監視装置に送信される監視用情報を送信する通信部と、前記車両と前記遠隔監視装置との間の通信ネットワークが混雑しているか否かを判定する判定部とを備え、前記通信部は、前記判定部の判定結果に基づいて選択された、前記センシング結果、前記障害物情報、及び、前記第二映像情報の少なくとも1つを含む前記監視用情報を送信する。
これにより、判定結果に基づいた情報を遠隔監視装置に送信することができる。例えば、通信ネットワークが混雑している場合に、よりデータ量の少ない情報(例えば、センシング結果、障害物情報など)が監視用情報として選択されることで、より少ない送信レートで車両の周囲の情報を伝送することができる。
また、例えば、前記通信部は、前記判定部が前記通信ネットワークを混雑していると判定した場合、前記遠隔監視装置に前記センシング結果及び前記障害物情報の少なくとも一方を送信し、前記判定部が前記通信ネットワークを混雑していないと判定した場合、前記遠隔監視装置に前記第二映像情報を送信する。
これにより、通信ネットワークを混雑している場合に送信する情報をセンシング情報及び障害物情報の少なくとも一方に限定することで、さらに少ない送信レートで車両の周囲の情報を伝送することができる。
また、本開示の一態様に係る映像伝送方法は、車両に搭載される映像伝送装置の映像伝送方法であって、前記車両の周囲を撮像する撮像部から第一映像情報を取得するステップと、前記車両の周囲における危険領域を示す危険マップを作成するステップと、前記危険マップに基づいて、前記第一映像情報からデータ量を低減した第二映像情報を作成するステップと、前記車両を遠隔監視するための遠隔監視装置に前記第二映像情報を送信するステップとを含む。また、本開示の一態様に係るプログラムは、当該映像伝送方法をコンピュータに実行させるためのプログラムである。
これにより、映像伝送装置と同様の効果を奏する。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する各実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する表現である。
(実施の形態1)
以下、本実施の形態に係る映像伝送装置等について、図1~図9Bを参照しながら説明する。
[1-1.車両制御システムの構成]
まずは、本実施の形態に係る映像伝送装置を備える被監視車両を含む車両制御システムの構成について、図1~図3を参照しながら説明する。図1は、本実施の形態に係る車両制御システム10の概略構成を示す図である。
図1に示すように、車両制御システム10は、無線LAN、通信端末等の無線基地局310とネットワーク300とを介して、被監視車両200と遠隔監視システム100(具体的には、遠隔監視装置130)とを通信可能に接続するシステムである。無線基地局310とネットワーク300とは、通信ネットワークの一例である。また、被監視車両200は、オペレータHが少なくとも遠隔監視を行う車両の一例である。なお、被監視車両200は、オペレータHが遠隔監視及び遠隔操作を行う車両であってもよい。
本明細書において、車両は、例えば、運転者の操作を必要とせずに車両の運転を制御する自動運転車であるが、自動運転または手動運転の何れかに切り替えて走行することが可能な車両であってもよい。また、車両には、自動車、列車、バス等の一般的に車両と呼ばれるものだけでなく、フェリー等の船舶、及び、飛行機等の航空機が含まれる。
遠隔監視システム100について、さらに図2を参照しながら詳細に説明する。図2は、本実施の形態に係る遠隔監視システム100の機能構成を示す図である。
図1及び図2に示すように、遠隔監視システム100は、表示装置110と、操作入力装置120と、遠隔監視装置130とを備える。
表示装置110は、遠隔監視装置130に接続され、被監視車両200に関する映像を表示するモニタである。表示装置110は、被監視車両200が備える撮像部(図3に示す撮像部210参照)が撮像した映像を表示する。また、表示装置110は、被監視車両200及び被監視車両200の周囲における障害物の状態をオペレータHに表示することで、オペレータHに被監視車両200及び障害物の状態を認識させることが可能であってもよい。なお、映像は、動画、及び、静止画を含む意味である。また、障害物とは、被監視車両200以外の別の車両、人等であり、主に、被監視車両200が走行する際に障害となる移動体を意味している。なお、障害物は、地面に固定されている不動産でもよい。
また、表示装置110は、遠隔監視装置130に複数台が接続されていてもよい。
操作入力装置120は、遠隔監視装置130と接続され、オペレータHの遠隔操作が入力される装置である。操作入力装置120は、例えば、ハンドル、フットペダル(例えば、アクセルペダル、及び、ブレーキペダル)等であり、被監視車両200を操作するための装置である。操作入力装置120は、入力された車両操作情報を遠隔監視装置130に出力する。なお、遠隔監視システム100は、被監視車両200の遠隔操作を行わない場合、被監視車両200を遠隔操作するための操作入力装置120を備えていなくてもよい。
遠隔監視装置130は、遠隔地にいるオペレータHが通信ネットワークを介して被監視車両200を遠隔監視するための装置である。図2に示すように、遠隔監視装置130は、制御部131と、通信部132と、記憶部133とを有する。なお、本実施の形態では、遠隔監視装置130は、操作入力装置120と接続されており、被監視車両200を遠隔操作するための遠隔操作装置としても機能する。
制御部131は、遠隔監視装置130の各種構成要素を制御する制御装置である。本実施の形態では、制御部131は、通信部132を介して受信した、被監視車両200の周囲の映像情報に基づいて、オペレータHによる被監視車両200の監視に必要となる映像を作成し、作成した映像を表示装置110に出力する。なお、このとき、障害物の現在位置を含む障害物情報を被監視車両200から受信している場合、さらに受信した障害物情報を用いて映像を作成してもよい。例えば、映像に示される被監視車両200と距離の近い障害物の色を変化させる、又は、映像に示される被監視車両200と距離の近い障害物を点滅させて表示してもよい。また、制御部131は、操作入力装置120から車両操作情報を取得すると、取得した車両操作情報に基づく車両制御情報(以降において、制御情報とも記載する)を通信ネットワークを介して被監視車両200に送信する。
制御部131は、さらに現在の年月日および時刻を計時するリアルタイムクロック機能を有していてもよい。または、制御部131は、GPS(Global Positioning System)センサ(図示しない)を介して受信したGPS衛星からの信号であるGPS信号に基づいて特定される時刻を、正確な時刻であるGPS時刻として用いてもよい。制御部131は、所定の時間間隔でGPS信号を受信する。
通信部132は、通信ネットワークを介して被監視車両200と無線通信するための無線通信モジュールである。通信部132は、通信ネットワークを介して被監視車両200の撮像部210が撮像した映像に基づく映像情報を受信する。また、通信部132は、通信ネットワークの遅延時間を算出するための情報(具体的には、RTT(Round Trip Time:遅延時間)計測パケット)、及び、被監視車両200の車両情報を受信してもよい。また、通信部132は、制御部131の制御により、被監視車両200の走行を制御する制御情報を、通信ネットワークを介して被監視車両200に送信する。なお、車両情報とは、被監視車両200自体が有する当該被監視車両200の走行に関する情報である。車両情報には、被監視車両200自体の速度、及び、現在位置が含まれてもよい。また、車両情報には、被監視車両200が自動運転で走行している場合、自車両が走行する目標となる走行経路に関する情報が含まれていてもよい。
記憶部133は、制御部131が実行する制御プログラムを記憶する記憶装置である。また、記憶部133は、通信部132を介して取得した映像情報などを記憶してもよい。記憶部133は、例えば、半導体メモリなどによって実現される。
なお、図示していないが、遠隔監視システム100は、遠隔監視装置130と接続し、障害物に関する注意を促すために、オペレータHに対して警告音を出力することで、オペレータHに危険が迫っていることを認知させる出音装置(例えば、スピーカ)などを備えていてもよい。これにより、オペレータHは、被監視車両200が緊急停止する必要がある状況であることを知ることができる。また、遠隔監視システム100は、遠隔監視装置130と接続し、被監視車両200を緊急停止するための緊急停止装置を備えていてもよい。緊急停止装置は、例えば、緊急停止ボタン等で実現される。緊急停止装置は、オペレータHにより入力された緊急停止情報を遠隔監視装置130に出力する。この場合、制御情報には、緊急停止情報に基づく緊急停止制御情報が含まれていてもよい。
次に、被監視車両200について、さらに図3を参照しながら詳細に説明する。図3は、本実施の形態に係る被監視車両200の機能構成を示す図である。
図3に示すように、被監視車両200は、撮像部210と、センサ部220と、映像伝送装置230とを備える。被監視車両200は、車両が予め保有している走行データ、及び、センサ部220等で検知した情報を元に作成した走行データ等に基づいて、自律走行を行うことが可能な車両であり、所定の条件で遠隔地にいるオペレータHによって遠隔監視される、自動運転を行うことが可能な車両である。本実施の形態では、被監視車両200は、所定の条件で遠隔地にいるオペレータHによって遠隔監視及び遠隔操作される車両である。また、撮像部210と、センサ部220と、映像伝送装置230とは、自動運転に必要な機能を搭載した車載システムを構成する。
撮像部210は、被監視車両200の周囲の映像を撮像するカメラである。撮像部210は、例えば、被監視車両200から前後左右方向の撮影が可能である位置に設けられている。つまり、撮像部210は、被監視車両200の周囲を撮影することが可能に、被監視車両200に設けられている。撮像部210は、被監視車両200の周囲を撮像して得られた第一映像に基づく第一映像情報を第一取得部231に出力する。撮像部210は、例えば、複数のカメラで構成されていてもよい。なお、撮像部210には、被監視車両200の走行状況を記録するために設けられたカメラは含まれない。撮像部210は、被監視車両200を遠隔監視するための遠隔監視装置130に送信する映像を撮像するために設けられる。言い換えると、撮像部210は、遠隔監視のためにオペレータHが確認する映像を撮像するために設けられる。
センサ部220は、被監視車両200の周囲の状況を検出する装置である。センサ部220は、例えば、被監視車両200から前後左右方向の状況を検出可能なように設けられている。センサ部220は、被監視車両200の周囲をセンシングして得られたセンシング結果(センシング情報)を第二取得部232に出力する。センサ部220は、LIDAR(Light Detection and Ranging)、レーダ(例えば、ミリ波レーダ)、超音波センサ、又は、これらの組み合わせで実現される。センシング結果は、被監視車両200の周囲の障害物に関する情報である。
撮像部210及びセンサ部220は、被監視車両200に複数設置されていてもよい。すなわち、被監視車両200は、1台以上の撮像部210と1台以上のセンサ部220とを備えていてもよい。
映像伝送装置230は、撮像部210から取得した第一映像情報、及び、センサ部220から取得したセンシング結果の少なくとも一方に応じて、第一映像情報から被監視車両200に送信する第二映像情報を作成し送信する装置である。映像伝送装置230は、CAN(Control Area Network)等の車載ネットワークを介して、被監視車両200に搭載される撮像部210及びセンサ部220を含む各種センサから当該被監視車両200の走行に関する情報を取得する。映像伝送装置230は、撮像部210から被監視車両200の周囲の第一映像情報を取得し、センサ部220から被監視車両200の周囲におけるセンシング結果を取得する。映像伝送装置230は、情報処理装置の一例である。
各種センサは、被監視車両200の速度を検出する速度センサ、及び、被監視車両200の現在位置を検出するGPSセンサを含んでいてもよい。映像伝送装置230は、速度センサから被監視車両200の速度を取得し、GPSセンサから被監視車両200の現在位置を取得してもよい。つまり、被監視車両200の走行に関する情報は、被監視車両200の速度及び現在位置の少なくとも一方を含んでいてもよい。被監視車両200の走行に関する情報は、被監視車両200の車両情報の一例である。なお、各種センサは、被監視車両200の操舵角を検出する操舵角センサ、ブレーキの度合いを検出するブレーキセンサ、アクセルの度合い(以降では、アクセル開度とも記載する)を検出するアクセルセンサ、及び、ウィンカの指示方向を検出するウィンカセンサなどが含まれていてもよい。
図3に示すように、映像伝送装置230は、第一取得部231と、第二取得部232と、オブジェクト検出部233と、危険度マップ作成部234と、制御部235と、記憶部236と、通信部237とを備える。
第一取得部231は、撮像部210から第一映像情報を取得する通信インターフェースである。第一取得部231は、撮像部210から第一映像情報を取得すると、取得した第一映像情報をオブジェクト検出部233及び制御部235に出力する。
第二取得部232は、センサ部220からセンシング結果を取得する通信インターフェースである。第二取得部232は、センサ部220からセンシング結果を取得すると、取得したセンシング結果をオブジェクト検出部233に出力する。
オブジェクト検出部233は、撮像部210から取得した第一映像情報、及び、センサ部220から取得したセンシング結果の少なくとも一方から、被監視車両200の周辺の障害物を検知して、障害物の現在位置、大きさ、及び、進行方向の少なくとも1つを含む障害物情報を作成する。そして、オブジェクト検出部233は、障害物情報を危険度マップ作成部234に出力する。なお、障害物情報は、さらに、障害物の加速度、障害物の速度、障害物の種類に関する情報を含んでもいてもよい。障害物の種類は、例えば、歩行者、バイク、自動車等を区別する種類である。障害物の現在位置は、センサ部220が障害物をセンシングした時点における、障害物の位置を示す。
危険度マップ作成部234は、オブジェクト検出部233から取得した障害物情報に基づいて、車両の走行における危険領域を示す危険度マップを作成する。そして、危険度マップ作成部234は、作成した危険度マップを制御部235に出力する。なお、本実施の形態では、危険度マップ作成部234は、被監視車両200の周囲における危険領域を危険度に応じて識別可能に表示する危険度マップを作成する例について説明するが、危険領域があるか否かのみを示してもよい。つまり、危険度マップ作成部234が作成する危険度マップには、危険度に応じた表示が行われなくてもよい。危険度マップ作成部234は、危険マップ作成部の一例であり、危険度マップは、危険マップの一例である。また、危険領域は、所定の値以上の危険度を有する領域である。
制御部235は、被監視車両200の各種構成要素を制御する制御装置である。本実施の形態では、制御部235は、危険度マップ作成部234が作成した危険度マップに基づいて、撮像部210が撮像した第一映像情報から遠隔監視装置130に送信するための第二映像情報を作成する。第二映像情報のデータ量は、第一映像情報のデータ量以下である。制御部235は、第一映像情報よりデータ量が低減した第二映像情報を作成する映像作成部として機能する。制御部235は、遠隔監視システム100を介してオペレータHに被監視車両200の周囲の映像を視認させるための第二映像情報を作成する。第一映像情報は、例えば、1フレーム分の映像に対応する映像情報であってもよし、複数フレーム分の映像に対応する映像情報であってもよい。第二映像情報が示す第二映像は、例えば、第一映像情報が示す第一映像の少なくとも一部の画質が劣化した映像、又は、第一映像情報が示す第一映像の少なくとも一部を切り抜いた映像である。
なお、被監視車両200の周囲の第一映像情報は、例えば、被監視車両200の前後左右方向におけるそれぞれの方向を個別に第一映像情報として作成されていてもよく、被監視車両200の前後左右方向をまとめて一つの第一映像情報として合成して作成されていてもよい。
また、制御部235は、通信部237を介して遠隔監視システム100から取得した制御情報を、自車両の走行を制御する走行制御部(図示しない)に出力する。走行制御部は、被監視車両200のアクセル、ブレーキ、及び、シフトレバーの操作により速度を制御する速度制御ユニット(例えば、ECU(engine control unit))、と、被監視車両200のステアリングを操作することにより被監視車両200の進行方向を制御する操舵制御ユニットとを有する。
制御部235は、現在の年月日および時刻を計時するリアルタイムクロック機能を有していてもよい。または、制御部235は、GPSセンサ(図示しない)を介して取得したGPS衛星からの信号であるGPS信号に基づいて特定される時刻を、正確な時刻であるGPS時刻として用いてもよい。また、被監視車両200が電波時計を備えており、制御部235は、電波時計から現在時刻を取得してもよい。
記憶部236は、制御部235などの処理部が実行する制御プログラムを記憶する記憶装置である。また、記憶部236は、例えば、自動運転用の地図データ、被監視車両200の経路情報、及び、静的危険度マップを記憶する。なお、経路情報は、例えば、地図データにおける自社の位置及び経路を表すデータである。また、静的危険度マップは、被監視車両200の周囲の交通情報などをもとに作成された危険領域を示すマップであり、詳細は後述する。なお、交通情報は、交通事故情報を含む。また、交通情報は、さらにイベント情報(例えば、付近の学校の通学帰宅時間に関する情報、屋外での催し物に関する情報、及び、交通規制情報など)を含んでいてもよい。交通情報は、時々刻々と又はリアルタイムに変わり得るイベント情報が関連付けられた情報であってもよい。記憶部236は、例えば、半導体メモリなどによって実現される。
通信部237は、無線基地局310及びネットワーク300を介して、被監視車両200を遠隔監視するための遠隔監視装置130と無線通信するための無線通信モジュールである。通信部237は、制御部235の制御により、撮像部210が撮像した第一映像情報に基づく第二映像情報を無線基地局310及びネットワーク300を介して遠隔監視装置130に送信する。また、通信部237は、無線基地局310及びネットワーク300を介して被監視車両200の走行に関する制御情報を遠隔監視装置130から受信する。
[1-2.被監視車両の動作]
次に、被監視車両200が備える映像伝送装置230の動作について、図4~図9Bを参照しながら説明する。図4は、本実施の形態に係る映像伝送装置230の動作を示すフローチャートである。
図4に示すように、映像伝送装置230は、撮像部210から被監視車両200の周囲を撮像した第一映像に基づく第一映像情報を取得する(S10)。具体的には、映像伝送装置230は、第一取得部231を介して撮像部210から第一映像情報を取得する。第一取得部231は、取得した第一映像情報をオブジェクト検出部233、及び、制御部235に出力する。
また、映像伝送装置230は、センサ部220から被監視車両200の周囲をセンシングしたセンシング結果を取得する(S20)。具体的には、映像伝送装置230は、第二取得部232を介してセンサ部220からセンシング結果を取得する。第二取得部232は、取得したセンシング結果をオブジェクト検出部233に出力する。
オブジェクト検出部233は、第一映像情報とセンシング結果とから、障害物情報を作成する(S30)。障害物情報は、被監視車両200の走行の障害となる障害物の現在位置、大きさ、及び、進行方向を含む。オブジェクト検出部233は、作成した障害物情報を危険度マップ作成部234に出力する。
危険度マップ作成部234は、例えば、障害物情報から動的危険度マップを作成する(S40)。ここで、危険度マップ作成部234における動的危険度マップの作成について、図5を参照しながら説明する。図5は、本実施の形態に係る静止している障害物400に対する動的危険度マップの算出方法を示す図である。なお、図5では、2次元のグリッドマップ上に危険度を示す領域が表示される危険度マップの算出方法を一例として示している。また、図5に示す危険度マップは、例えば、被監視車両200の前方における危険度マップを示している。
図5の(a)に示すように、危険度マップ作成部234は、障害物情報に含まれる障害物400の現在位置、大きさ、及び、種類から、2次元のグリッドマップ上に障害物400を重畳する。図5の(a)では、障害物は、トラックである例を示している。
そして、図5の(b)に示すように、危険度マップ作成部234は、グリッドマップ上の障害物400と少なくとも一部が重なるグリッドに危険度を割り当てる。図5の(b)では、領域R1に危険度が割り当てられた例を示している。危険度マップ作成部234は、例えば、領域R1に含まれる各グリッドに等しい危険度を割り当ててもよいし、グリッドごとに異なる危険度を割り当ててもよい。例えば、1つのグリッドにおいて障害物400と重なる領域が大きいほど当該グリッドの危険度が高くなるように、危険度が割り当てられてもよい。なお、危険度マップ作成部234は、1つのグリッドに1つの危険度を割り当てる。
そして、図5の(c)に示すように、危険度マップ作成部234は、危険度を割り当てたグリッド(図5の(b)に示す領域R1に含まれるグリッド)の周囲のグリッド(図5の(c)に示す領域R2及びR3)にも危険度を割り当てる。領域R2は、例えば、領域R1を囲む領域である。また、領域R3は、例えば、領域R2を囲む領域である。
危険度マップ作成部234は、領域R2に領域R1より低い危険度を割り当て、領域R3に領域R2より低い危険度を割り当てる。つまり、危険度マップ作成部234は、領域R1から遠ざかるにつれ、徐々に危険度を下げるようにグリッドごとに危険度を割り当てる。これにより、図5の(c)に示す動的危険度マップM1が作成される。なお、図5の(c)では、危険度が高い領域を濃く示しており、危険度が低くなるにつれ薄く示している。また、例えば、図5の(c)に示す動的危険度マップM1における領域R1~R3は、危険領域の一例である。
上記のように、障害物400が停止しているときは、グリッドマップ上で障害物400と重なるグリッド(つまり、現在障害物400が存在する位置に対応するグリッド)の危険度が高く割り当てられる。
なお、危険度マップ作成部234は、図5に示すように、危険度ごとに領域を表示した危険度マップを作成することに限定されない。危険度マップ作成部234は、図5の(b)に示すように、危険な領域(例えば、領域R1)とそれ以外の領域とがわかるようにマップを作成してもよい。危険度マップ作成部234は、例えば、障害物400と重なるグリッドが危険な領域であるとして危険マップを作成してもよい。この場合、障害物400が重なるグリッド(例えば図5の(b)に示す領域R1)が危険領域となる。
なお、危険度マップ作成部234は、被監視車両200から見て障害物400により死角となる領域を考慮して、危険度マップを作成してもよい。死角領域を考慮した危険度マップについて、図6を参照しながら説明する。図6は、本実施の形態に係る被監視車両200から見た障害物400に対する死角領域R4を考慮した危険度マップの算出方法を示す図である。なお、図6では、グリッドマップ上に自車両の位置も表示している。
図6の(a)に示すように、被監視車両200の前方に障害物400が存在する場合、被監視車両200から見て障害物400の奥側が被監視車両200の死角となるので、撮像部210及びセンサ部220は、死角を観測することができない。そこで、危険度マップ作成部234は、例えば、以下の方法により死角領域を予測して、当該死角領域にも危険度を割り当てることで危険度マップを作成する。
危険度マップ作成部234は、障害物400と自車両(被監視車両200)との位置関係に基づいて死角領域を算出することにより死角領域を予測する。例えば、危険度マップ作成部234は、図6の(a)で示されるハッチングが付された領域を死角領域R4と予測する。具体的には、危険度マップ作成部234は、障害物400と自車両との位置関係に基づいて、自車両と死角領域R4の一端に対応する障害物400の一端(図6の(a)に示される障害物400の左上端)とを結ぶ直線、及び、自車両と死角領域R4の他端に対応する障害物400の他端(図6の(a)に示される障害物400の右下端)とを結ぶ直線で囲まれる範囲を死角領域R4と予測する。なお、危険度マップ作成部234による死角領域R4の予測方法は、上記以外の方法であってもよい。死角領域R4は、撮像部210及びセンサ部220が観測することができない観測不能領域である。
図6の(b)に示すように、危険度マップ作成部234は、図6の(a)に示す死角領域R4が存在する場合、グリッドマップ上の死角領域R4に対応するグリッドに危険度を割り当てる。危険度マップ作成部234は、少なくとも一部が死角領域R4内にあるグリッドに一意的に危険度を割り当てる。危険度マップ作成部234は、例えば、死角領域R4内にあるグリッドに、障害物400と少なくとも一部が重なる領域R1に割り当てられる危険度より低い危険度を割り当ててもよい。これにより、図6の(b)に示す領域R1及びR5を含む動的危険度マップM2が作成される。領域R5は、死角領域R4に対応する領域である。なお、例えば、動的危険度マップM2のうち領域R1及びR5は、危険領域の一例である。
また、上記では、障害物400が静止している場合の危険度マップの作成について説明したが、障害物400が移動している場合の危険度マップの作成について図7を参照しながら説明する。図7は、本実施の形態に係る移動する障害物400に対する動的危険度マップの算出方法を示す図である。図7では、障害物情報に含まれる障害物400の進行方向をさらに用いて、危険度マップを作成する。
図7の(a)に示すように、危険度マップ作成部234は、障害物情報に含まれる障害物400の現在位置、大きさ、及び、種類から、2次元のグリッドマップ上に障害物400を重畳する。また、図7の(a)に示す矢印は、障害物情報に含まれる進行方向に基づく障害物400の移動方向を示している。
そして、図7の(b)に示すように、危険度マップ作成部234は、障害物400の移動を考慮して、グリッドに危険度を割り当てる。危険度マップ作成部234は、例えば、グリッドマップ上の障害物400と少なくとも一部が重なるグリッド、及び、障害物400が移動する方向にあるグリッドに危険度を割り当てる。図7の(b)では、領域R6に危険度が割り当てられた例を示している。危険度マップ作成部234は、例えば、領域R6に含まれる各グリッドに等しい危険度を割り当ててもよいし、現在障害物400が位置しているグリッドと、障害物400の進行方向にあるグリッドとで異なる危険度を割り当ててもよい。例えば、現在障害物400が位置しているグリッドは、障害物400の進行方向にあるグリッドより危険度が高くなるように危険度が割り当てられてもよい。領域R6は、例えば、障害物400が所定の期間(例えば、数秒間)に移動する距離に応じて、その範囲が決定されてもよい。領域R6は、障害物400の現在位置と、所定の期間経過後の障害物400の位置(算出位置)と、現在位置及び算出位置に挟まれる領域とで形成されてもよい。なお、障害物400が移動する距離は、センサ部220のセンシング結果から取得される障害物400の速度を用いて算出されてもよい。
そして、図7の(c)に示すように、危険度マップ作成部234は、危険度を割り当てグリッド(図7の(b)に示す領域R6に含まれるグリッド)の周囲のグリッド(図7の(c)に示す領域R7及びR8)にも危険度を割り当てる。危険度マップ作成部234は、領域R7に領域R6より低い危険度を割り当て、領域R8に領域R7より低い危険度を割り当てる。つまり、危険度マップ作成部234は、領域R6から遠ざかるにつれ、徐々に危険度を下げるように危険度をグリッドに割り当てる。これにより、図7の(c)に示す動的危険度マップM3が作成される。なお、例えば、動的危険度マップM3のうち領域R6~R8は、危険領域の一例である。
上記のように、障害物400が移動しているときは、グリッドマップ上で障害物400と重なるグリッド、及び、移動方向にあるグリッドの危険度が高く割り当てられる。
なお、危険度マップ作成部234は、障害物400が移動している場合の動的危険度マップにおいても、障害物400が静止している場合の動的危険度マップと同様に、死角領域を考慮して危険度マップを作成してもよい。この場合、障害物400が移動することで被監視車両200と障害物400との相対的な位置関係が変化するので、死角領域は時々刻々と変化する。
図4を再び参照して、危険度マップ作成部234は、動的危険度マップ(例えば、動的危険度マップM1~M3)と静的危険度マップとに基づいて、被監視車両200における危険度マップを作成する(S50)。ここで、静的危険度マップについて、図8を参照しながら説明する。図8は、本実施の形態に係る静的危険度マップM4を示す図である。静的危険度マップM4は、オブジェクト検出部233による障害物情報を用いずに作成される。言い換えると、静的危険度マップM4は、第一映像情報及びセンシング結果を用いずに作成される。
図8に示すように、静的危険度マップM4は、被監視車両200の周囲の交通情報などに基づいて作成されるマップである。静的危険度マップM4は、例えば、交通情報として交通事故情報に基づいて作成されてもよい。静的危険度マップM4は、例えば、記憶部236に記憶されている。静的危険度マップM4は、交通情報などにより予め危険度マップ作成部234により作成されてもよいし、通信部237を介して外部から受信されてもよい。
静的危険度マップM4は、例えば、交通事故が起きた場所に対応するグリッドに危険度が割り当てられる。図8では、領域R9が交通事項が起きた場所を示す。静的危険度マップM4は、危険度を割り当てグリッド(図8に示す領域R9に含まれるグリッド)の周囲のグリッド(図8に示す領域R10及びR11)にも危険度が割り当てられる。例えば、領域R10に領域R9より低い危険度が割り当てられ、領域R11に領域R10より低い危険度が割り当てられる。つまり、静的危険度マップM4は、領域R9から遠ざかるにつれ、徐々に危険度を下げるようにグリッドに危険度が割り当てられる。
領域R12は、領域R11を囲む領域であり、領域R11より低い危険度が割り当てられる。なお、領域R12には、危険度が割り当てられなくてもよい。つまり、領域R12に含まれる各グリッドの危険度は、ゼロであってもよい。領域R9から所定の距離離れた位置のグリッド、又は、領域R9から所定のグリッド数離れた位置のグリッドには、領域R9に基づく危険度が割り当てられなくてもよい。なお、これは、動的危険度マップ(例えば、動的危険度マップM1~M3)に適用されてもよい。また、領域R9~R11は、危険領域の一例である。
なお、静的危険度マップM4では、例えば、交通情報が交通事故情報である場合、交通事故の発生回数が多い、又は、交通事故の被害が大きいほど、高い危険度が割り当てられてもよい。
危険度マップ作成部234は、動的危険度マップの各グリッドに割り当てられた危険度と静的危険度マップM4の各グリッドに割り当てられた危険度とを演算することで、被監視車両200における危険度マップを作成する。演算とは、加算、減算、乗算、及び、除算の少なくとも1つを含んでいてもよい。本実施の形態では、危険度を加算することで被監視車両200における危険度マップが作成される。危険度マップ作成部234は、動的危険度マップと静的危険度マップとにおける対応するグリッド同士の危険度を足し合わせて、当該グリッドの危険度を1つ算出する。なお、危険度マップ作成部234は、動的危険度マップと静的危険度マップとにおける対応するグリッド同士の危険度の平均値を危険度マップにおける当該グリッドの危険度としてもよい。また、演算は、複数の危険度から1つの危険度を選択することであってもよい。危険度マップ作成部234は、動的危険度マップと静的危険度マップとにおける対応するグリッド同士の危険度のうち、危険度が高い方の値を危険度マップにおける当該グリッドの危険度としてもよい。
危険度マップ作成部234は、作成した危険度マップを制御部235に出力する。
制御部235は、被監視車両200の走行経路と危険度マップとに基づいて、第一映像情報から第二映像情報を作成する(S60)。被監視車両200の走行経路と危険度マップの危険領域とが重なる、つまり被監視車両200の走行経路が危険領域を通過する場合について、図9Aを参照しながら説明する。図9Aは、本実施の形態に係る走行経路と危険領域(図9Aに示す領域R13)とが重なる場合を示すイメージ図である。つまり、図9Aは、危険度マップと走行経路とを重畳したイメージ図である。
図9Aでは、被監視車両200が道路502を矢印の方向に走行しており、道路501に障害物400が存在する例を示している。領域R13は、障害物400に対する危険領域を示す。領域R13は、例えば、動的危険度マップと静的危険度マップとを演算して作成された危険度マップにおいて、所定の値以上の危険度を有する領域である。図9Aにおいて被監視車両200が示されている位置は、被監視車両200の現在位置である。また、図9Aの矢印は、被監視車両200の走行経路である。
図9Aに示すように、被監視車両200の走行経路は、道路501及び502が交差する交差点で領域R13と重なっている。つまり、被監視車両200の走行経路上に危険領域が存在する。この場合、オペレータHが正確な判断又は遠隔監視を行うことができるように、表示装置110に表示される走行経路上(図9Aの例では、被監視車両200の前方)を撮像した映像は鮮明であるとよい。そのため、被監視車両200は、ネットワーク帯域の浪費を抑制しつつ、かつ走行経路上を撮像した映像の画質を極力劣化させずに遠隔監視装置130に送信することが望まれる。
制御部235は、例えば、危険度マップにおける危険領域が被監視車両200の経路上にある場合、第一映像情報から当該第一映像情報よりデータ量が少ない第二映像情報を作成する。制御部235は、例えば、第一映像情報が示す第一映像のうち危険度マップに示される危険領域以外の領域に対応する第一領域の映像を危険領域に対応する第二領域の映像よりも画質を劣化させること、及び、第一映像情報が示す第一映像から第二領域の映像を切り出すことの少なくとも一方により第二映像情報を作成する。なお、第二領域の映像は、画質を劣化させなくてもよい。つまり、制御部235は、第一映像情報が示す第一映像のうち第一領域の映像のみの画質を劣化させることで第二映像情報を作成してもよい。
制御部235は、被監視車両200の前方に危険領域がある場合、例えば、撮像部210が撮像した被監視車両200の前後左右方向の映像のうち、後ろ及び左右方向(第一領域の一例)の映像を前方向(第二領域の一例)の映像よりも画質を劣化させること、及び、撮像部210が撮像した被監視車両200の前後左右方向の映像から前方の映像を切り出すことの少なくとも一方により第二映像情報を作成する。
なお、制御部235は、被監視車両200の走行経路を記憶部236に記憶されている経路情報に基づいて取得してもよい。また、制御部235は、遠隔監視装置130を介して操作入力装置120により遠隔操作を受けている場合、遠隔操作による走行経路を遠隔監視装置130から受信した制御情報から取得してもよい。つまり、制御部235は、遠隔監視装置130を介して操作入力装置120から受信した制御情報に基づく被監視車両200の走行経路を用いて、第二映像情報を作成してもよい。
この場合、制御部235は、受信した制御情報、つまりオペレータHからの操作内容によって、作成する第二映像情報を変えてもよい。制御部235は、さらに、第一映像情報のうち制御情報に基づく走行経路における進行方向ではない方向を撮像した第三領域の映像を進行方向を撮像した第四領域の映像よりも画質を劣化させること、及び、第一映像情報から第四領域の映像を切り出すことの少なくとも一方により第二映像情報を作成してもよい。
被監視車両200の前方に危険領域があり、かつ被監視車両200が制御情報に応じて右側の車線に車線変更を行う場合を一例として説明する。この場合、制御部235は、危険度マップと制御情報による走行経路とに基づいて、後ろ及び左右方向(第一領域の一例)の映像を前方(第二領域の一例)の映像より画質を劣化させるが、後ろ及び左右方向のうち、右方向の映像(第三領域の一例)は後ろ及び左方向の映像(第四領域の一例)より画質の劣化が少なくなるように第二映像情報を作成してもよい。制御部235は、例えば、第二領域及び第三領域の映像を同程度の画質となるように第二映像情報を作成してもよい。制御部235は、第二領域及び第三領域の映像の画質を劣化させずに第二映像情報を作成してもよい。
また、制御部235は、被監視車両200aが自動運転で走行している場合、当該被監視車両200aが走行する目標となる走行経路を用いて、第二映像情報を作成してもよい。この場合、制御部235は、自動運転の走行経路によって、作成する第二映像情報を変えてもよい。第二映像情報の作成方法は、オペレータHからの操作内容によって第二映像情報を作成する場合と同様である。
そして、制御部235は、作成した第二映像情報を通信部237を介して遠隔監視装置130に送信する(S70)。第二映像情報が第一映像から第二領域及び第三領域の映像を切り出すことにより作成された場合、遠隔監視装置130には、危険度が所定の値以上の領域の映像に基づく第二映像情報が送信される。
また、被監視車両200の走行経路と危険度マップの危険領域とが重ならない、つまり被監視車両200が危険領域を通過しない場合について、図9Bを参照しながら説明する。図9Bは、本実施の形態に係る走行経路と危険領域とが重ならない場合を示すイメージ図である。図9Bでは、被監視車両200が道路502を矢印の方向に走行している。
図9Bに示すように、被監視車両200の走行経路上に危険領域は存在しない。制御部235は、危険度マップに危険領域が存在しない場合、第一映像情報が示す第一映像の画質を一律に劣化させることで第二映像情報を作成してもよい。また、制御部235は、危険度マップに危険領域が存在しない場合、第二映像情報の作成を停止してもよい。つまり、映像伝送装置230は、危険度マップに危険領域が存在しない場合、遠隔監視装置130への第二映像情報の送信を停止してもよい。また、映像伝送装置230は、危険度マップに危険領域が存在しない場合、センシング結果及び障害物情報の少なくとも一方を遠隔監視装置130に送信してもよい。
制御部235は、被監視車両200の周囲の危険度に応じて、遠隔監視装置130に送信する映像のデータ量を調整することで、被監視車両200と遠隔監視装置130との間のネットワーク帯域の浪費を抑制することができる。
なお、上記の動的危険度マップ及び静的危険度マップにおける危険度の算出方法は、上記に限定されず、被監視車両200と障害物400との衝突等の危険度合いが算出することが可能であれば、いかなる方法であってもよい。また、危険度マップの作成方法は、上記に限定されず、被監視車両200の周囲における危険領域を表示することが可能であれば、いかなる方法であってもよい。危険度マップは、例えば、3次元のグリッドマップで示されてもよいし、撮像部210が撮像した第一映像に危険領域を重畳して作成されてもよいし、記憶部236が記憶する又は外部から取得した地図情報に危険領域を重畳して作成されてもよい。
なお、上記では、危険度マップは、動的危険度マップと静的危険度マップとから作成される例について説明したが、これに限定されない。危険度マップは、動的危険度マップ及び静的危険度マップの少なくとも一方を用いて作成されてもよい。動的危険度マップが危険度マップとして用いられてもよいし、静的危険度マップM4が危険度マップとして用いられてもよい。静的危険度マップM4が危険度マップとして用いられる場合、危険度マップ作成部234が記憶部236に記憶されている交通情報を用いて作成された静的危険度マップM4を読み出すことは、危険度マップ作成部234が交通情報から危険度マップを作成することに含まれる。
なお、制御部235は、遠隔監視装置130から緊急停止制御情報を含む制御情報を受信した場合、撮像部210が撮像した第一映像の画質を劣化させずに遠隔監視装置130に送信してもよい。
以上のように、映像伝送装置230は被監視車両200(車両の一例)に搭載される映像伝送装置であって、被監視車両200の周囲を撮像する撮像部210から第一映像情報を取得する第一取得部231と、被監視車両200の周囲における危険領域を示す危険マップを作成する危険度マップ作成部234(危険マップ作成部の一例)と、危険マップに基づいて、第一映像情報よりデータ量が低減した第二映像情報を作成す制御部235(映像作成部の一例)と、被監視車両200を遠隔監視するための遠隔監視装置130に第二映像情報を送信する通信部237とを備える。
これにより、映像伝送装置230は、被監視車両200の周囲の危険領域に応じて、遠隔監視装置130に送信する第二映像情報作成する。映像伝送装置230は、例えば、危険領域以外の領域の映像の画質を劣化させて第二映像情報を作成することで、データ量を低減することができる。つまり、映像伝送装置230は、第二映像情報を送信することで、第一映像情報を送信する場合に比べ遠隔監視装置130に送信するためのネットワーク帯域の使用量を低減することができる。よって、映像伝送装置230によれば、被監視車両200と遠隔監視装置130との間のネットワーク帯域の浪費を削減することができる。
(実施の形態2)
以下、本実施の形態に係る映像伝送装置等について、図10~図13を参照しながら説明する。
[2-1. 被監視車両の構成]
まず、本実施の形態に係る映像伝送装置を備える被監視車両の構成について、図10を参照しながら説明する。図10は、本実施の形態に係る被監視車両200aの機能構成を示す図である。
図10に示すように、被監視車両200aは、撮像部210と、センサ部220と、映像伝送装置230aとを備える。映像伝送装置230aは、実施の形態1に係る映像伝送装置230に、さらにNW(Network)状態監視部238を備える。本実施の形態では、実施の形態1と異なる点、つまり、映像伝送装置230aが備えるNW状態監視部238を中心に説明する。
NW状態監視部238は、被監視車両200aと遠隔監視装置130との間の通信ネットワークの状態を監視する。具体的には、NW状態監視部238は、通信ネットワークが混雑しているか否かを判定する。NW状態監視部238は、判定部の一例である。本実施の形態では、制御部235がNW状態監視部238の判定結果に応じて作成する映像が異なる点に特徴を有する。
NW状態監視部238は、例えば、通信ネットワークのパケットロス率、及び、遅延時間の少なくとも一方を用いて、通信ネットワークが混雑しているか否かを判定する。パケットロス率とは、雑音(ノイズ)などの影響により突発的に発生するパケットロスの割合である。遅延時間とは、被監視車両200aと遠隔監視装置130との間の情報伝送に要する時間である。パケットロス率が高くなる、又は、遅延時間が長くなると、被監視車両200aが第二映像情報を送信してからオペレータHが第二映像情報に基づく第二映像を視認するまでに要する時間が長くなる。これにより、被監視車両200aが第二映像情報を遠隔監視装置130に送信してから、オペレータHが制御情報を受信するまでに被監視車両200aが走行する距離が伸びてしまい、事故の危険性が高まる。そのため、映像伝送装置230aは、通信ネットワークが混雑している場合であっても、短時間で第二映像情報を遠隔監視装置130に送信する必要がある。そこで、本実施の形態では、映像伝送装置230aは、通信ネットワークが混雑している場合に、撮像部210が撮像した第一映像に対応する第一映像情報よりデータ量が低減した第二映像情報を遠隔監視装置130に送信する。なお、映像伝送装置230aの処理については、後述する。
ここで、通信ネットワークにおけるパケットロス率、及び、遅延時間について図11~図12Bを参照しながら説明する。まずは、通信ネットワークにおけるパケットロス率について、図11を参照しながら説明する。図11は、本実施の形態に係る被監視車両200aと遠隔監視装置130との間のパケットロス率を算出する動作を示すシーケンス図である。
図11に示すように、被監視車両200aは、被監視車両200aと遠隔監視装置130との間、つまり通信ネットワークにおけるパケットロス率を算出するために、第一の期間ごとにRTT計測パケットを遠隔監視装置130に送信する。例えば、NW状態監視部238が制御部235及び通信部237を介してRTT計測パケットを遠隔監視装置130に送信する。RTT計測パケットのそれぞれには、互いに異なるシーケンス番号が付与される。図11では、seq1~seq10までのシーケンス番号が付与されたRTT計測パケットが送信されている例を示している。また、遠隔監視装置130は、被監視車両200aからRTT計測パケットを受信すると、当該RTT計測パケットに含まれるシーケンス番号を付与したRTT計測応答パケットを被監視車両200aに送信する。NW状態監視部238は、シーケンス番号(例えば、seq1)を付与したRTT計測パケットを遠隔監視装置130に送信した後、第二の期間内に当該シーケンス番号(例えば、seq1)を含むRTT計測応答パケットを受信できない場合に、パケットロスが発生していると判定する。なお、第二の期間は、例えば、第一の期間より短い期間であってもよい。第一の期間は、例えば、1秒である。
NW状態監視部238は、所定の期間におけるRTT計測応答パケットの受信状況からパケットロス率を算出する。具体的には、NW状態監視部238は、所定の期間においてRTT計測パケットを送信した回数(以降において、パケット送信回数とも記載する)と、RTT計測パケットを送信した後、第二の期間内に当該RTT計測パケットに対応するRTT計測応答パケットを受信しなかった回数(以降において、パケット未受信回数とも記載する)とに基づいて、パケットロス率を算出する。より具体的には、NW状態監視部238は、パケット未受信回数をパケット送信回数で除算することで、パケットロス率を算出する。パケットロス率は、例えば、百分率で表される。
図11の例では、パケット送信回数が10回であり、パケット未受信回数が1回(具体的には、RTT計測応答パケットseq5の1回)であるので、パケットロス率は10%となる。
NW状態監視部238は、パケットロス率が所定の値以上である場合に、通信ネットワークが混雑していると判定する。NW状態監視部238は、例えば、パケットロス率が30%以上である場合に、通信ネットワークが混雑していると判定してもよい。
次に、通信ネットワークにおける遅延時間について、図12A及び図12Bを参照しながら説明する。図12A及び図12Bは、遅延時間の一例として、往復遅延時間を算出する場合を示す。図12Aは、本実施の形態に係るNW(通信ネットワーク)の遅延時間を取得する動作の一例を示すシーケンス図である。図12Aでは、被監視車両200aと遠隔監視装置130とで、時刻の同期がとれている場合における遅延時間の取得について説明する。時刻の同期がとれているとは、例えば、被監視車両200a及び遠隔監視装置130が時刻にGPS時刻を用いている場合、又は、電波時計を有している場合などである。以下では、被監視車両200a及び遠隔監視装置130は、GPSセンサ(図示しない)を有している場合について説明する。なお、GPS時刻とは、GPSセンサが衛星から受信した電波に含まれる時刻情報を意味する。
図12Aに示すように、まず被監視車両200aは、RTT計測パケットにタイムスタンプ(timestamp_1)を付与する(S110)。例えば、NW状態監視部238がステップS110の処理を行う。NW状態監視部238は、timestamp_1としてRTT計測パケットを送信する時刻をGPSセンサから取得して、RTT計測パケットに書き込む。そして、NW状態監視部238は、通信部237を介して遠隔監視装置130にRTT計測パケットを送信する(S120)。
遠隔監視装置130は、RTT計測パケットを受信する(S130)。制御部131は、RTT計測パケットの受信時のタイムスタンプ(timestamp_2)をGPSセンサが受信した時刻情報に基づいて取得する(S140)。また、制御部131は、RTT計測パケットに対応する応答であるRTT計測応答パケットにタイムスタンプ(timestamp_1~timestamp_3)を付与する(S150)。制御部131は、timestamp_3としてRTT計測応答パケットを送信する時刻をGPSセンサから取得して、RTT計測応答パケットに書き込む。そして、制御部131は、通信部132を介してRTT計測応答パケットを被監視車両200aに送信する(S160)。
NW状態監視部238は、通信部237を介してRTT計測応答パケットを受信する(S170)。NW状態監視部238は、RTT計測応答パケットの受信時のタイムスタンプ(timestamp_4)を取得する(S180)。NW状態監視部238は、timestamp_4をGPSセンサが受信した時刻情報に基づいて取得する。そして、NW状態監視部238は、タイムスタンプ(timestamp_1~timestamp_4)を用いてNW往復遅延時間の算出を行う(S190)。NW状態監視部238は、例えば、timestamp_1とtimestamp_4との差分から、timestamp_2とtimestamp_3との差分を減算することで、NW往復遅延時間を算出する。
次に、被監視車両200aと遠隔監視装置130とで、時刻の同期がとれていない場合における遅延時間の取得について図12Bを参照しながら説明する。図12Bは、本実施の形態に係るNWの遅延時間を取得する動作の他の一例を示すシーケンス図である。なお、図12Bに示すステップS210~S230は、図12Aに示すステップS110~S130と同様であり、説明を省略する。
図12Bに示すように、被監視車両200aは、timestamp_1とduration timeとをRTT計測応答パケットに付与する(S240)。duration timeは、遠隔監視装置130がRTT計測パケットを受信してからRTT計測応答パケットを送信するまでの処理に要した時間であり、例えば、制御部131のリアルタイムクロック機能により算出される。そして、制御部131は、通信部132を介してRTT計測応答パケットを被監視車両200aに送信する(S250)。
被監視車両200aのNW状態監視部238は、通信部237を介してRTT計測応答パケットを受信する(S260)。NW状態監視部238は、RTT計測応答パケットの受信時のタイムスタンプ(timestamp_4)を取得する(S270)。そして、NW状態監視部238は、タイムスタンプ(timestamp_1、及び、timestamp_4)と、duration timeとを用いてNW往復遅延時間の算出を行う(S280)。NW状態監視部238は、例えば、timestamp_1とtimestamp_4との差分から、duration timeを減算することで、NW往復遅延時間を算出する。
NW状態監視部238は、遅延時間が所定の値以上である場合に、通信ネットワークが混雑していると判定する。NW状態監視部238は、例えば、遅延時間が500ms以上である場合に、通信ネットワークが混雑していると判定してもよい。
なお、上記では、被監視車両200aにおける処理時間(例えば、図12Aに示すtimestamp_2とtimestamp_3との差分、又は、図12Bに示すduration time)を減算して往復遅延時間を算出する例を示したが、これに限定されない。往復遅延時間は、例えば、timestamp_1とtimestamp_4との差分から算出されてもよい。
なお、上記では、遅延時間は、往復遅延時間である例について説明したが、片道遅延時間(例えば、被監視車両200aによりRTT計測パケットが送信されてから、遠隔監視装置130によりRTT計測パケットが受信するまでの時間)であってもよい。
なお、NW状態監視部238は、直接パケットに送信時刻を書き込まずに、送信時刻を当該パケットのシーケンス番号と対応付けて、記憶部236に記憶してもよい。そして、ステップS190又はS280では、NW状態監視部238は、記憶部236から送信時刻を読み出し、読み出した送信時刻とRTT計測応答パケットを受信した受信時刻とを用いて、往復遅延時間を算出してもよい。
なお、パケットロス率及び遅延時間の少なくとも一方を含む通信ネットワークの状態の算出は、所定の時間間隔で繰り返し実行される。NW状態監視部238は、例えば算出した通信ネットワークの状態を記憶部236に記憶してもよい。
なお、NW状態監視部238は、他の装置から被監視車両200aと遠隔監視装置130との間の通信ネットワークの状態を通信部237を介して受信することで、パケットロス率及び遅延時間の少なくとも一方を取得してもよい。NW状態監視部238は、例えば、パケットロス率を遠隔監視装置130から受信することでパケットロス率を取得する。
[2-2.被監視車両の動作]
次に、映像伝送装置230aの動作について、図13を参照しながら説明する。図13は、本実施の形態に係る映像伝送装置230aの動作を示すフローチャートである。なお、図13におけるステップS310~S350は、実施の形態1の図4に示すS10~S50と同様であり、説明を省略する。
NW状態監視部238は、NW(通信ネットワーク)の状態を取得する(S360)。NW状態監視部238は、NWの状態として、NWのパケットロス率及び遅延時間の少なくとも一方を取得する。NW状態監視部238は、図11~図12Bに示す動作によりNWのパケットロス率及び遅延時間の少なくとも一方を算出することでNWのパケットロス率及び遅延時間の少なくとも一方を取得してもよい。また、NW状態監視部238は、記憶部236からNWのパケットロス率及び遅延時間の少なくとも一方を読み出すことによりNWのパケットロス率及び遅延時間の少なくとも一方を取得してもよい。
なお、NW状態監視部238は、ステップS310において第一映像情報を取得した時点、又は、ステップS320においてセンシング結果を取得した時点における、直近のパケット送信回数及びパケット未受信回数からパケットロス率を算出してもよい。NW状態監視部238は、例えば、第一映像情報又はセンシング結果を取得した時点から第三の期間過去に遡った時点までの期間おける、パケット送信回数及びパケット未受信回数からパケットロス率を算出してもよい。または、NW状態監視部238は、ステップS310において第一映像情報を取得した時点、又は、ステップS320においてセンシング結果を取得した時点から過去に遡ったときの直近の所定のパケット送信回数(例えば、10回など)におけるパケット未受信回数からパケットロス率を算出してもよい。
なお、NW状態監視部238は、ステップS310において第一映像情報を取得した時点、又は、ステップS320においてセンシング結果を取得した時点における、直近のRTT計測応答パケットの受信状況から遅延時間を算出してもよい。NW状態監視部238は、例えば、第一映像情報又はセンシング結果を取得した時点から第三の期間過去に遡った時点までの期間おける、複数のRTT計測応答パケットから遅延時間を算出してもよい。NW状態監視部238は、例えば、複数のRTT計測応答パケットを用いて算出される複数の遅延時間のうち、最も長い遅延時間をNWの遅延時間としてもよいし、複数の遅延時間の平均値をNWの遅延時間としてもよい。
NW状態監視部238は、取得したNWの状態からNWが混雑しているか否かを判定する(S370)。NW状態監視部238は、例えば、パケットロス率及び遅延時間の少なくとも一方が所定の値以上である場合に、NWが混雑していると判定する。
制御部235は、NW状態監視部238がNWを混雑していると判定した場合(S370でYes)、遠隔監視装置130に映像情報を送信する送信レート(ビットレート)を調整する(S380)。具体的には、制御部235は、NW状態監視部238がNWを混雑していると判定した場合、送信レートを下げる調整をする。制御部235は、例えば、現在の第一送信レートから当該第一送信レートより送信レートが低い第二送信レートに変更する。また、制御部235は、例えば、NWの混雑度合に応じて、送信レートの調整量を変更してもよい。制御部235は、NWの混雑度合が大きい、つまりパケットロス率及び遅延時間の少なくとも一方の値が大きいほど、第二送信レートを下げるように調整してもよい。また、記憶部236がNWの混雑度合と第二送信レートとの関係を示すテーブルを記憶しており、制御部235は当該テーブルを用いて第二送信レートを調整してもよい。
そして、制御部235は、ステップS380で調整した第二送信レートに応じて、データ量を低減した第二映像情報を作成する(S390)。制御部235は、第二送信レートに応じて遠隔監視装置130に送信する映像情報のデータ量を切り替える。制御部235は、例えば、調整した第二送信レートにおいて、所定時間内に送信することができるデータ量(以降において、調整データ量とも記載する)となるように第二映像情報を作成する。制御部235は、例えば、第一映像情報のうち危険度マップに示される危険領域以外の領域に対応する第一領域の映像を危険領域に対応する第二領域の映像よりも画質を劣化させること、及び、第一映像情報から第二領域の映像を切り出すことの少なくとも一方により調整データ量以下の第二映像情報を作成する。なお、第二領域の映像は、画質を劣化させなくてもよい。つまり、制御部235は、第一映像情報が示す第一映像のうち第一領域の映像のみの画質を劣化させることで第二映像情報を作成してもよい。
そして、制御部235は、ステップS390で作成した第二映像情報を遠隔監視装置130に送信する(S400)。制御部235は、通信部237を介して、第二送信レートで第二映像情報を遠隔監視装置130に送信する。
また、制御部235は、NW状態監視部238がNWを混雑していないと判定した場合(S370でNo)、第一映像情報に基づく第二映像情報を作成する。ステップS370でNoであった場合に作成される第二映像情報は、ステップS370でYesであった場合に作成される第二映像情報よりデータ量が大きい。第二映像情報は、例えば、第一映像情報からデータ量を下げずに作成されてもよい。すなわち、制御部235は、第一映像情報を遠隔監視装置130に送信する第二映像情報としてもよい(S410)。
そして、制御部235は、ステップS410で作成した第二映像情報を遠隔監視装置130に送信する(S400)。制御部235は、通信部237を介して、第一送信レートで第二映像情報を遠隔監視装置130に送信する。制御部235は、NWが混雑していない場合、第一映像情報をそのデータ量を低減せずに第二映像情報として遠隔監視装置130に送信してもよい。通信部237は、例えば、NW状態監視部238がNWを混雑していると判定した場合、遠隔監視装置130に第二映像情報を送信し、NW状態監視部238がNWを混雑していないと判定した場合、遠隔監視装置130第一映像情報を送信してもよい。
上記のように、映像伝送装置230aは、危険度マップに示す危険領域、及び、NWの状態に応じて遠隔監視装置130に送信する第二映像情報のデータ量を変更することで、第二映像情報のリアルタイム性の低下を抑制しつつ、ネットワーク帯域の浪費を抑制することができる。
なお、上記では、制御部235は、NW状態監視部238がNWを混雑していると判定した場合、送信レートを調整する例について説明したが、これに限定されない。制御部235は、NW状態監視部238がNWを混雑していると判定した場合、送信レートを調整せずに第一映像情報からデータ量が低減した第二映像情報を作成してもよい。
以上のように、映像伝送装置230aは、被監視車両200(車両の一例)と遠隔監視装置130との間の通信ネットワークが混雑しているか否かを判定するNW状態監視部238(判定部の一例)をさらに備える。そして、通信部237は、NW状態監視部238が通信ネットワークを混雑していると判定した場合、遠隔監視装置130に第二映像情報を送信し、NW状態監視部238が通信ネットワークを混雑していないと判定した場合、遠隔監視装置130に第一映像情報を送信する。
これにより、映像伝送装置230aは、通信ネットワークが混雑している場合に、第一映像情報よりデータ量が低減した第二映像情報を送信する。つまり、映像伝送装置230aは、通信ネットワークを混雑している場合に第二映像情報を送信することで、第一映像情報を送信する場合に比べ遠隔監視装置130に送信するためのネットワーク帯域の使用量を低減することができる。オペレータHは、通信ネットワークが混雑している場合であっても迅速に第二映像情報に基づく映像を視認することができる。よって、映像伝送装置230aは、ネットワーク帯域の浪費を削減しつつ、第一映像情報を送信した場合に比べ短時間でオペレータHに走行における危険を知らせることができる。
(実施の形態2の変形例1)
以下、本変形例に係る映像伝送装置等について、図14を参照しながら説明する。本変形例に係る被監視車両の構成は、実施の形態2に係る被監視車両200aと同様であり説明を省略する。なお、本変形例では、オブジェクト検出部233は、生成した障害物情報を、危険度マップ234及び制御部235に出力する。以下に、そのような映像伝送装置230aにおける動作について説明する。図14は、本変形例に係る映像伝送装置230aの動作を示すフローチャートである。なお、図14に示すステップS510、S520、及び、S540~S570はそれぞれ、図13に示すステップS310、S320、及び、S340~S370と同様の処理であり、説明を省略する。
図14に示すように、オブジェクト検出部233は、センシング結果から障害物情報を作成することで、当該障害物情報を取得する(S530)。オブジェクト検出部233は、例えば、第一映像情報とセンシング結果とから、障害物情報を作成する。障害物情報は、被監視車両200aの走行の障害となる障害物の現在位置、大きさ、及び、進行方向の少なくとも1つを含む。オブジェクト検出部233は、作成した障害物情報を危険度マップ作成部234、及び、制御部235に出力する。
そして、制御部235は、NW状態監視部238がNWを混雑していると判定した場合(S570でYes)、センシング結果及び障害物情報の少なくとも一方を遠隔監視装置130の送信する(S580)。言い換えると、制御部235は、NW状態監視部238がNWを混雑していると判定した場合、映像情報の送信を禁止する。ここで、センサ部220は撮像部210以外のセンサであって、レーダ、超音波センサ、及び、LiDARなどである。なお、以下において、センシング結果及び障害物情報の少なくとも一方を非映像情報とも記載する。
このように、本変形例に係る制御部235は、通信帯域に制限がある場合、例えば、撮像部210で撮像した映像情報、及び、非映像情報のうち、非映像情報のみを遠隔監視装置130に送信する。
また、制御部235は、通信帯域に制限がありセンシング結果を送信する場合、さらに、より情報量の少ないセンサで取得されたセンシング結果を優先して遠隔監視装置130に送信してもよい。制御部235は、例えば、通信帯域に制限がありセンシング結果を送信する場合、さらに、所定の情報量より情報量の少ないセンサで取得されたセンシング結果のみを遠隔監視装置130に送信してもよい。所定の情報量は、予め設定されていてもよいし、通信帯域が段階的に制限される場合、その段階に応じて設定されてもよい。
なお、NWが混雑しているとは、例えば、撮像部210が撮像した映像が乱れる程度に通信帯域に制限があることであってもよい。
また、制御部235は、NW状態監視部238がNWを混雑していないと判定した場合(S570でNo)、映像情報を遠隔監視装置130に送信する(S590)。映像情報は、ステップS510で取得した第一映像情報であってもよいし、第一映像情報に基づいて生成された第二映像情報であってもよい。第二映像情報は、例えば、第一映像情報からデータ量を下げることで生成された映像情報である。第二映像情報は、例えば、被監視車両200aに対する各方向のうち進行方向を撮影した映像であってもよい。また、映像情報には、付加情報として、オブジェクト検出部233が検出した障害物情報、及び、センサ部220のセンシング結果(センサ情報)の少なくとも一方が含まれていてもよい。例えば、映像情報が被監視車両200aに対する各方向のうち進行方向を撮影した映像を含む場合、付加情報として、進行方向以外の方向(例えば、被監視車両200aの後方、左右方向など)における障害物情報又はセンシング結果が映像情報に含まれていてもよい。
以上のように、本変形例に係る映像伝送装置230aは、被監視車両200a(車両の一例)の周囲を撮像する撮像部210から第一映像情報を取得する第一取得部231と、被監視車両200aの周囲をセンシングするセンサ部220からセンシング結果を取得する第二取得部232と、センシング結果及び第一映像情報に基づいて、障害物の位置及び速度を示す障害物情報を作成するオブジェクト検出部233と、被監視車両200aの周囲における危険領域を示す危険マップを作成する危険度マップ作成部234と、危険マップに基づいて第二映像情報を作成する制御部235(映像作成部の一例)と、被監視車両200aを遠隔監視するための遠隔監視装置130に送信される監視用情報を送信する通信部237と、被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑しているか否かを判定するNW状態監視部238(判定部の一例)とを備える。そして、通信部237は、NW状態監視部238の判定結果に基づいて選択された、センシング結果、障害物情報、及び、第二映像情報の少なくとも1つを含む監視用情報を送信する。
また、通信部237は、例えば、NW状態監視部238が通信ネットワークを混雑していると判定した場合、遠隔監視装置130にセンシング結果及び障害物情報の少なくとも一方を送信し、NW状態監視部238が通信ネットワークを混雑していないと判定した場合、遠隔監視装置130に第二映像情報を送信する。
本変形例では、オブジェクト検出部233は、危険度マップ作成部234及び制御部235に障害物情報を出力する。そして、制御部235は、NW状態監視部238が被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑していないと判定すると(S570でNo)、映像情報及び非映像情報のうち、少なくとも映像情報を通信部237を介して遠隔監視装置130に送信する。なお、ステップS580では、映像情報に加えて、さらに、非映像情報(例えば、障害物情報及びセンサ情報の少なくとも1つ)が送信されてもよい。
また、制御部235は、NW状態監視部238が被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑していると判定すると(S570でYes)、ステップS590で送信する情報(例えば、映像情報)より伝送量が少ない情報を送信する。制御部235は、例えば、映像情報及び非映像情報のうち、非映像情報のみを通信部237を介して遠隔監視装置130に送信する(S580)。
このように、通信帯域が制限されている場合に遠隔監視装置130の送信する情報を、センサ部220で検出した障害物の情報などに限定することで、より少ない送信レートで被監視車両200aの周囲の情報を遠隔監視装置130に伝送することができる。
また、センサ部220が複数種類のセンサで構成されている場合、制御部235は、複数種類のセンサそれぞれのセンシング結果を取得する。そして、制御部235は、複数種類のセンサそれぞれのセンシング結果のうち、所定のセンサにより検出されたセンシング結果のみを遠隔監視装置130に送信してもよい。所定のセンサは、所定の情報量よりも情報量の少ないセンサである。所定のセンサは、例えば、LiDAR以外レーダ及び超音波センサなどであるが、これに限定されない。
(実施の形態2の変形例2)
以下、本変形例に係る映像伝送装置等について、図15を参照しながら説明する。なお、本変形例に係る映像伝送装置を備える被監視車両の構成は、変形例1と同様であり、説明を省略する。図15は、本変形例に係る映像伝送装置230aの動作を示すフローチャートである。なお、図15に示すステップS610~S670の処理は、図14に示すステップS510~S570の処理と同様であり、説明を省略する。
制御部235は、NW状態監視部238がNWを混雑していないと判定した場合(S670でNo)、遠隔監視装置130に送信するための第二映像情報を作成する。ステップS670でNoであった場合に作成される第二映像情報は、ステップS670及びS680でYesであった場合に作成される第二映像情報よりデータ量が多い。制御部235は、第一映像情報に基づいて第二映像情報を作成する。第二映像情報は、例えば、第一映像情報からデータ量を下げずに作成された情報であってもよい。すなわち、制御部235は、第一映像情報を遠隔監視装置130に送信する第二映像情報としてもよい(S730)。また、制御部235は、例えば、第一映像情報からデータ量を下げることで第二映像情報を作成してもよい。
また、NW状態監視部238は、NWが混雑していると判定した場合(S670でYes)、さらに、NWの混雑度合が閾値以下であるか否かを判定する(S680)。NW状態監視部238は、例えば、NWのパケットロス率及び遅延時間の少なくとも一方に基づいて、NWの混雑度合が閾値以下であるか否かを判定する。NW状態監視部238は、例えば、パケットロス率が及び遅延時間の少なくとも一方が閾値以下である場合に、NWの混雑度合が閾値以下であると判定してもよい。
制御部235は、NW状態監視部238がNWの混雑度合が閾値以下であると判定した場合(S680でYes)、ステップS690に進む。ステップS690~S710の処理は、図13示すステップS380~S400と同様であり、説明を省略する。
また、制御部235は、制御部235は、NW状態監視部238がNWの混雑度合が閾値より大きいと判定した場合(S680でNo)、ステップS720に進む。ステップS720の処理は、図14に示すステップS580と同様であり、説明を省略する。
以上のように、本変形例に係る映像伝送装置230aは、被監視車両200a(車両の一例)の周囲を撮像する撮像部210から第一映像情報を取得する第一取得部231と、被監視車両200aの周囲における危険領域を示す危険マップを作成する危険度マップ作成部234と、危険マップに基づいて、第一映像情報よりデータ量が低減した第二映像情報を作成する制御部235(映像作成部の一例)と、被監視車両200aを遠隔監視するための遠隔監視装置130に第二映像情報を送信する通信部237と、被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑しているか否かを判定するNW状態監視部238(判定部の一例)とを備える。
NW状態監視部238は、通信ネットワークを混雑していると判定した場合、さらに、通信ネットワークの混雑度合が閾値以下であるか否かを判定する。通信部237は、NW状態監視部238が混雑度合を閾値以下であると判定した場合、第二映像情報を送信し、NW状態監視部238が混雑度合を閾値より大きいと判定した場合、センシング結果及び障害物情報の少なくとも一方を送信する。
本変形例では、オブジェクト検出部233は、危険度マップ作成部234及び制御部235に障害物情報を出力する。そして、制御部235は、NW状態監視部238が被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑していないと判定すると(S670でNo)、第二映像情報を作成し(S730)、遠隔監視装置130に送信する(S710)。言い換えると、通信部237は、NW状態監視部238が通信ネットワークを混雑していないと判定した場合、第二映像情報を送信する。このときの第二映像情報は、例えば、第一映像情報であってもよい。
また、制御部235は、NW状態監視部238が被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑しており、かつ、通信ネットワークの混雑度合が閾値以下であると判定すると(S670及びS680でYes)、第二映像情報を作成し(S700)、遠隔監視装置130に送信する(S710)。言い換えると、通信部237は、NW状態監視部238が通信ネットワークの混雑度合を閾値以下であると判定した場合、第二映像情報を送信する。このときの第二映像情報は、ステップS670でNoであった場合に作成される第二映像情報よりデータ量が小さい映像情報である。
また、制御部235は、NW状態監視部238が被監視車両200aと遠隔監視装置130との間の通信ネットワークが混雑しており、かつ、NWの混雑度合が閾値より大きいと判定すると(S670でYes、かつ、S680でNo)、センシング結果及び障害物情報の少なくとも一方を遠隔監視装置130に送信する(S720)。言い換えると、通信部237は、NW状態監視部238が通信ネットワークの混雑度合を閾値より大きいと判定した場合、センシング結果及び障害物情報の少なくとも一方を送信する。制御部235は、ステップS670でYes、かつ、ステップS680でNoである場合、映像情報の送信を禁止するとも言える。なお、センシング結果及び障害物情報のそれぞれは、ステップS700で作成される第二映像情報よりデータ量が小さい情報である。
このように、本変形例に係る制御部235は、NWの混雑度合に応じて、送信する情報を切り替える。よって、映像伝送装置230aは、NWの混雑度合に応じて、より適切な送信レートで被監視車両200aの周囲の情報を伝送することができる。
なお、ステップS720では、センシング結果及び障害物情報の一方のみが送信されてもよい。
(その他の実施の形態)
以上、本開示について実施の形態1及び2(以降において、各実施の形態とも記載する)に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。
例えば、上記各実施の形態では、制御部は、走行経路と危険領域とが重なる場合に、危険領域に応じて第二映像情報を作成したが、これに限定されない。制御部は、危険度マップに危険領域が含まれる場合、当該危険領域に応じて第二映像情報を作成してもよい。これにより、ネットワーク帯域の浪費を抑制しつつ、さらにオペレータに被監視車両の周囲の危険領域に対応する映像を鮮明な映像として視認させることができる。
また、上記各実施の形態では、前後左右方向を撮像した映像のうち、後ろ及び左右方向(第一領域の一例)の映像を前方(第二領域の一例)の映像より画質を劣化させる例について説明したが、これに限定されない。第二領域は、例えば、前方を撮像した映像のうち、当該映像内の危険領域に対応する領域であってもよい。つまり、第二領域は、前方を撮像した映像のうちの一部の領域であってもよい。これにより、第一映像情報のうち画質を劣化させる領域を増やすことができるので、さらにネットワーク帯域の浪費を削減することができる。
また、上記各実施の形態では、映像伝送装置が備える制御部は、第一映像情報が複数のフレーム分の映像情報を含む場合、複数のフレームから1以上のフレームを抜き出すことで第二映像情報を作成してもよい。言い換えると、制御部は、遠隔監視装置に送信する映像を構成するフレームの数を減らすことにより、データ量を低減してもよい。
また、上記各実施の形態における映像伝送装置が備える制御部は、第二映像情報に障害物情報を含めて遠隔監視装置に送信してもよい。これにより、遠隔監視装置は、例えば、表示装置に表示させる映像に示される被監視車両と距離の近い障害物の色を変化させる、又は、映像に示される被監視車両と距離の近い障害物を点滅させることができる。よって、映像伝送装置は、ネットワーク帯域の浪費を削減しつつ、オペレータに効果的に障害物の危険を知らせることができる。
また、上記各実施の形態における映像伝送装置が備える制御部は、被監視車両の車両情報を通信部を介して遠隔監視装置に送信してもよい。制御部は、例えば、危険度マップに危険領域が存在する場合、車両情報を遠隔監視装置に送信し、危険領域が存在しない場合、車両情報の遠隔監視装置への送信を停止してもよい。
また、上記各実施の形態では、撮像部は、被監視車両の周囲を撮像する例を説明したが、さらに、車内の映像を撮像してもよい。映像伝送装置は、例えば、オペレータから車内の映像を送信する指示を取得した場合、撮像部が撮像した車内の映像に基づく第三映像情報を遠隔監視装置に送信してもよい。この場合においても、映像伝送装置は、実施の形態2に示したNWの状態によりデータ量を低減した第三映像情報を送信してもよい。
また、上記各実施の形態における被監視車両が備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
また、上記各実施の形態に係る遠隔監視装置及び被監視車両の各処理部(例えば、制御部、危険マップ作成部、及び、オブジェクト検出部、及び、NW状態監視部など)は典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の各実施の形態は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
その他、上記各実施の形態等に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。