前記課題を解決するためになされた第1の発明は、道路に設置された路側装置が、カメラにより自装置の周辺の道路を撮影し、車両に搭載された車載装置が、前記路側装置が撮影した映像を取得し、前記車両に搭載された表示装置が、前記映像を表示し、前記路側装置が、自装置の周辺の道路上で発生した特定事象を検知すると、前記表示装置が、前記特定事象が映る前記映像を強調表示し、前記車載装置が、自車両の運転者がわき見をしているものと判定すると、前記表示装置が、表示中の前記映像のうち、運転者の視界の端に表示された前記映像を強調表示する構成とする。
これによると、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。また、これによると、運転者がわき見をしている場合に、運転者が即座に視認できない映像に視線を誘導して注意させることができる。
また、第2の発明は、前記車載装置が、前記車両の走行経路上にある複数の交差点ごとに設置された前記路側装置で撮影された前記映像を複数取得し、前記表示装置が、複数の前記映像の各々を、その映像を撮影した前記路側装置の位置に対応する画面上の位置に表示する構成とする。
これによると、運転者が、車両の走行経路の先にある複数の交差点の状況を迅速に確認することができる。
また、第3の発明は、前記車載装置または前記路側装置が、複数の前記映像ごとの表示の優先度を設定し、前記表示装置が、前記優先度に基づいて前記映像を表示する構成とする。
これによると、優先度の高い映像の視認性が高まり、運転者がより一層適切な判断を行うことができる。
また、第4の発明は、前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像より大きく表示する構成とする。
これによると、優先度の高い映像に運転者の視線が誘導させることができる。
また、第5の発明は、前記表示装置が、優先度が高い前記映像を、優先度が低い前記映像の映像表示枠上に重ねて表示する構成とする。
これによると、運転手が見る映像を少なくなる。このため、注意する必要性が低い映像に煩わされることなく、注意すべき移動体や障害事象が映る映像で、注意すべき移動体や障害事象の具体的な状況を迅速に確認することができる。
また、第6の発明は、前記車載装置または前記路側装置が、前記映像に写る事象の重要度と、前記車両から撮影地点までの距離とに基づいて、前記映像ごとの前記優先度を設定する構成とする。
これによると、車両から近い地点の映像が、車両から遠い地点の映像より優先して表示され、また、重要な事象が写る映像が、重要な事象が写っていない映像より優先して表示されるため、運転者が、緊急度に応じた適切な判断を行うことができる。
また、第7の発明は、前記表示装置が、前記映像上に移動体の移動方向を表すマーク画像を表示する構成とする。
これによると、運転者が、移動体の移動方向を即座に認識して、注意すべき移動体か否かを容易に判断することができる。
また、第8の発明は、前記特定事象が、車両の通行の障害となる障害事象である構成とする。
これによると、運転者が、経路変更の要否を迅速に判断することができる。
また、第9の発明は、前記車載装置が、自車両の周囲に存在する移動体を検出し、かつ、自車両の挙動に応じて危険性が高い状態に推移する可能性があると判定すると、前記表示装置が、自車両に搭載されたカメラで撮影された前記移動体が映る映像を表示する構成とする。
これによると、運転者が、移動体が映る映像を見ることで、危険性が高い状態に推移することを即座に認識して、危険を回避する運転操作を迅速に行うことができる。
また、第10の発明は、前記路側装置が、前記映像を配信装置に送信し、前記車載装置が、前記配信装置から前記映像を受信する構成とする。
これによると、路側装置から配信装置を経由して車載装置に映像が配信されるため、路側装置と車載装置との間の路車間通信の負荷を軽減することができる。
また、第11の発明は、前記路側装置が、自装置の映像リンク情報を、直接または他の路側装置を経由して、前記車載装置に送信し、前記車載装置が、前記映像リンク情報に基づいて、前記配信装置から前記映像を受信する構成とする。
これによると、所要の路側装置で撮影された映像を、配信装置から確実に受信することができる。
また、第12の発明は、道路に設置された路側装置が、カメラにより自装置の周辺の道路を撮影し、車両に搭載された車載装置が、前記路側装置が撮影した映像を取得し、前記車両に搭載された表示装置が、前記映像を表示し、前記路側装置が、自装置の周辺の道路上で発生した特定事象を検知すると、前記表示装置が、前記特定事象が映る前記映像を強調表示し、前記表示装置が、運転者から見える実空間上に仮想オブジェクトを重畳したAR画面を表示するARディスプレイであり、運転者からウィンドウガラス越しに見える車外空間上に前記仮想オブジェクトとして前記映像が表示され、さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、前記AR画面における映像上に描画された移動体のマーク画像と、前記ナビゲーション画面における地図上に描画された移動体のマーク画像と、が同一色である構成とする。
これによると、映像を実際の位置の近くに大きく表示させることができるため、映像の視認性を高めることができる。また、これによると、運転者が、ナビゲーション画面に表示された移動体と、AR画面の映像に映る移動体との対応関係を即座に認識することができる。
また、第13の発明は、前記AR画面には、そのAR画面に表示された前記映像と、前記ナビゲーション画面に表示された移動体のマーク画像と、を対応付けるガイド画像が表示される構成とする。
これによると、運転者が、フロントAR画面に表示された映像と、ナビゲーション画面に表示された移動体のマーク画像との対応関係を即座に認識することができる。
また、第14の発明は、路側装置において周辺の道路を撮影した映像を、前記路側装置から、直接または配信装置を経由して受信すると共に、前記路側装置において特定事象が検知された場合に、その旨の情報を、直接または他の路側装置を経由して受信する通信部と、車両に搭載された表示装置に前記映像を表示すると共に、前記特定事象を検知した旨の情報を受信すると、その特定事象が映る前記映像を強調表示するプロセッサと、を備え、前記プロセッサは、自車両の運転者がわき見をしているものと判定すると、表示中の前記映像のうち、運転者の視界の端に表示された前記映像を強調表示する構成とする。
これによると、第1の発明と同様に、運転者が、特定事象が映る映像を即座に判別して、その映像を見ることで、道路上で発生した特定事象の具体的な状況を迅速に確認することができる。
また、第15の発明は、路側装置において周辺の道路を撮影した映像を、前記路側装置から、直接または配信装置を経由して受信すると共に、前記路側装置において特定事象が検知された場合に、その旨の情報を、直接または他の路側装置を経由して受信する通信部と、車両に搭載された表示装置に前記映像を表示すると共に、前記特定事象を検知した旨の情報を受信すると、その特定事象が映る前記映像を強調表示するプロセッサと、を備え、前記表示装置が、運転者から見える実空間上に仮想オブジェクトを重畳したAR画面を表示するARディスプレイであり、運転者からウィンドウガラス越しに見える車外空間上に前記仮想オブジェクトとして前記映像が表示され、さらに、車両の進行方向を地図上に描画したナビゲーション画面を表示するナビゲーションディスプレイを備え、前記AR画面における映像上に描画された移動体のマーク画像と、前記ナビゲーション画面における地図上に描画された移動体のマーク画像と、が同一色である構成とする。
これによると、第12の発明と同様に、映像を実際の位置の近くに大きく表示させることができるため、映像の視認性を高めることができる。また、運転者が、ナビゲーション画面に表示された移動体と、AR画面の映像に映る移動体との対応関係を即座に認識することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る運転支援システムの全体構成図である。
この運転支援システムは、車両1(自動運転車両)から見通し外となる道路を撮影した映像を車載端末2に提供して、車両1における運転者の緊急時の運転操作を支援するものである。この運転支援システムは、車両1に搭載される車載端末2(車載装置)、自動運転ECU3(走行制御装置)、およびナビゲーションディスプレイ4(表示装置)と、歩行者が所持する歩行者端末5(歩行者装置)と、道路に設置される路側機6(路側装置)と、サーバ7(配信装置)と、を備えている。
車載端末2、歩行者端末5および路側機6の間ではITS通信が行われる。このITS通信は、ITS(Intelligent Transport System:高度道路交通システム)を利用した安全運転支援無線システムで採用されている周波数帯(例えば700MHz帯や5.8GHz帯)を利用した無線通信である。このITS通信では、車両1や歩行者の位置情報などの所要の情報を含むメッセージを送受信する。
なお、このITS通信のうち、車載端末2同士の間で行われるものを車車間通信、路側機6と車載端末2との間で行われるものを路車間通信とそれぞれ呼称する。また、車載端末2および路側機6は、歩行者端末5との間でもITS通信(歩車間通信、路歩間通信)を行うことができる。
車載端末2は、ITS通信(車車間通信)により他の車載端末2との間で、位置情報などを含むメッセージを送受信して、車両1同士の衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、車載端末2と接続されたカーナビゲーション装置(図示せず)を用いて行うとよい。また、車載端末2は、ITS通信(歩車間通信)により歩行者端末5との間でメッセージを送受信して、歩行者と車両1との衝突の危険性を判定する。
自動運転ECU3は、センサの出力に基づいて、車両1の周囲の障害物を検知し、また、車両1の状態を検出して、車両1の走行を制御する。
路側機6は、ITS通信(路車間通信、路歩間通信)により、自装置の周辺に位置する車両1や歩行者の存在を、車載端末2や歩行者端末5に通知する。これにより、見通し外の交差点における右左折の際の衝突を防止することができる。なお、路側機6では、この他に、交通情報を車載端末2や歩行者端末5に配信する。
また、路側機6は、アンテナ11と、レーダ12と、カメラ13と、を備えている。アンテナ11は、ITS通信用の電波を送受信する。レーダ12は、放射した電波の反射波を検出することで、自装置の周辺の道路上に存在する移動体(歩行者や車両1)を検出して、移動体の方向および距離を測定する。カメラ13は、自装置の周辺の道路を撮影する。なお、カメラ13には、可視光カメラの他に、暗視カメラ(赤外光カメラ)を用いるようにしてもよい。これにより、夜間の照明光が少ない地点でも視認性の高い映像を取得することができる。
また、路側機6は、周辺に設置された他の路側機6との間では、専用の路側ネットワーク(有線または無線)やセルラー通信などによるネットワークを介して通信(路路間通信)が行われる。
サーバ7は、路側機6に接続されている。このサーバ7は、路側機6のカメラ13で撮影された映像を路側機6から受信して、その映像を車載端末2に配信する。サーバ7と車載端末2との間では、無線LAN通信やセルラー通信を利用して通信が行われる。路側機6は、路側機6のカメラ13ごとに割り振られたリンク情報(アドレス)を車載端末2に通知する。車載端末2は、リンク情報に基づいてサーバ7にアクセスして、所要の路側機6のカメラ13の映像の配信を要求することで、路側機6のカメラ13の映像を取得することができる。これにより、路側機6のカメラ13で撮影された映像が、車両1に搭載されたナビゲーションディスプレイ4に表示される。
なお、本実施形態では、路側機6で撮影された映像を一旦、映像配信サーバに送信して、その映像配信サーバから車載端末2に映像を配信するようにしたが、路側機6から車載端末2に映像を直接配信するようにしてもよい。この場合、路側機6と車載端末2との間で、WiFi(登録商標)などの無線LAN通信が行われるようにするとよい。
また、路側機6で撮影された映像は、マルチホップ型通信により、他の路側機6を経由して車載端末2に配信されてもよい。
次に、第1実施形態に係る車両1および路側機6の動作概要について説明する。図2は、車両1および路側機6の動作概要を示す説明図である。
路側機6は、各交差点に設置されている。本実施形態では、路側機6のカメラ13で撮影された映像が、サーバ7を経由して車載端末2に配信される。車載端末2は、各交差点に設置された路側機6で撮影された見通し外道路の映像を取得し、その映像をナビゲーションディスプレイ4に表示させる。
また、本実施形態では、路側機6が、レーダ12の検出結果に基づいて、交差点の周辺の道路上に存在する移動体(車両、歩行者)を検出し、道路上に存在する移動体の位置情報を取得する(移動体検出処理)。なお、カメラ13で撮影された映像に対する画像認識により、道路上に存在する移動体を検出するようにしてもよい。
また、本実施形態では、路側機6が、交差点の周辺の道路において車両1の経路変更が望ましい障害事象(通行の障害となる事象)が発生したことを検知する(障害事象検知処理)。この障害事象検知処理は、レーダ12の検出結果およびカメラ13で撮影された映像に基づいて行われる。この障害事象検知処理では、障害事象発生地点の位置情報が得られる。
ここで、障害事象は、例えば、交通事故、渋滞、道路工事、群衆(例えば登下校中の子供の集団)、緊急車両、障害物、倒木、がけ崩れ、浸水などである。また、要注意人物(危険人物)、例えば、過去に飛び出しなどの危険行動を頻繁にとった人物が歩行していることを障害事象として検知するようにしてもよい。また、要注意車両(危険車両)を障害事象として検知するようにしてもよい。ここで、要注意車両は、例えば、走行速度が所定値を越える車両、蛇行走行する車両、必要以上に加速減速(急加速や急停車も含めて)や車線変更を行う車両、必要以上にライト(ハザードランプなどを含む)を点灯させる車両、高齢者及び障害者や運転に自信のないドライバーなどが運転している車両(例えば、初心者マークを付けている車両や自動車教習所の車両を含む)などである。
なお、本実施形態では、車両の通行の障害となる障害事象を検知して、その特定事象の発生を運転者に通知することで、運転者が経路変更の要否を迅速に判断できるようにするが、障害事象以外の事象を特定事象として、その特定事象の発生を運転者に通知するようにしてもよい。例えば、後述する実施形態では、車両の左折時に巻き込み事故を起こす可能性のある二輪車(例えば、自動二輪車、自転車などを含む)や、後方から衝突する可能性のある他車両を特定事象として、その特定事象の発生を運転者に通知するようにしている。
また、本実施形態では、通常時、すなわち障害事象が発生していない場合には、通常時のメッセージが路側機6から車載端末2に送信される。また、路側機6が、障害事象(衝突事故など)を検知すると、障害事象通知のメッセージが、路側機6から、路車間通信により車載端末2に送信され、さらに、路路間通信により別の路側機6に送信される。また、路側機6が、別の路側機6からの障害事象通知のメッセージを受信すると、障害事象転送のメッセージが、路側機6から車載端末2に送信される。
図2に示す例では、車両1から見て直近の交差点を直進した次の交差点において障害事象(交通事故や渋滞など)が発生している。この場合、次の交差点に設置された路側機6が障害事象の発生を検知し、その路側機6から障害事象通知のメッセージが、直近の交差点に設置された路側機6に送信され、さらに、その路側機6から障害事象転送のメッセージが車載端末2に送信される。
車載端末2では、路側機6からの障害事象通知のメッセージを受信すると、ナビゲーションディスプレイ4に表示された各交差点の各見通し外道路の映像のうち、障害事象が映る映像を強調表示する制御が行われる。これにより、運転者が、障害事象の発生を即座に認識して、経路変更の要否の判断を迅速に行うことができる。なお、映像の強調表示方法としては、以下に示す例のように、映像を拡大表示したり、映像表示枠の太さや色を変更したりすればよい。また、他の強調表示方法として、例えば、映像表示枠を点線から実線に変更するなどでもよい。
また、本実施形態では、路側機6からの障害事象通知のメッセージを受信すると、自動運転ECU3が、障害事象通知のメッセージに含まれる障害事象発生地点の位置情報および目的地の位置情報などに基づいて、障害事象発生地点を迂回して目的地に向かう迂回ルートを生成する(走行経路計画処理)。そして、自動運転ECU3が、生成した迂回ルートに沿って自車両を走行させる制御を行う。また、迂回ルートがナビゲーションディスプレイ4に表示される。
ここで、自動運転ECU3が、自動運転中に、予定経路の周辺で障害事象が発生した場合、経路変更の要否を運転者に問い合わせる動作(アラート出力)を行うことなく、迂回ルートに沿って自車両を走行させる制御を開始することも可能である。しかしながら、障害事象の状況によっては経路変更を行う必要がない場合があり、自動運転ECU3にとっては経路変更の要否の判断が難しい場合がある。例えば、交通事故が比較的軽微なものであれば、交通事故発生地点の脇を通り抜けることができ、この場合、経路変更の必要はない。
そこで、本実施形態では、障害事象が映る映像がナビゲーションディスプレイ4に表示され、運転者が、障害事象が映る映像を見て、障害事象の具体的な状況を確認して、経路変更の要否を判断して、経路変更などの必要な操作を行う。なお、運転者が自動運転を解除して運転者自身が運転操作を行っている最中に、障害事象が発生した場合も同様である。
次に、第1実施形態に係る車両1に搭載されたナビゲーションディスプレイ4に表示されるナビゲーション画面について説明する。図3は、ナビゲーション画面の一例を示す説明図である。図4は、ナビゲーション画面の一例で障害事象が発生した場合を示す説明図である。図5は、ナビゲーション画面の別例を示す説明図である。図6は、ナビゲーション画面の別例で移動体の検出状況が変化した場合を示す説明図である。
車両1では、ナビゲーションディスプレイ4にナビゲーション画面101が表示される。このナビゲーション画面101では、自車両の予定経路の周辺の地図102が表示される。地図102上には、自車両の現在位置および予定経路(進行方向)を表すマーク画像111が表示される。また、地図102上には、路側機6で検知された移動体を表すマーク画像112が表示される。
また、本実施形態では、ナビゲーション画面101に、路側機6のカメラ13で撮影された交差点の見通し外道路の映像121,122が表示される。映像121,122は、地図102上における自車両の現在位置が表示される画像中心部を除く領域に重畳して表示される。なお、画像中心部に地図が表示されて、その地図の周囲に映像が表示されるようにしてもよい。
また、本実施形態では、ナビゲーション画面101に、交差点の見通し外道路の映像121,122が複数表示される。この複数の映像121,122は、その撮影地点、すなわち、その映像121,122を撮影した路側機6の位置に対応する画面上の位置に表示される。具体的には、ナビゲーション画面101では、自車両の現在位置を画面中央下側に設定して、その上方に自車両の走行経路が表示されるようにしている。このため、例えば、映像の撮影地点が車両の左側に位置する場合には、その映像が画面の左側に表示される。一方、映像の撮影地点が車両の右側に位置する場合には、その映像が画面の右側に表示される。また、映像の撮影地点が車両から離れている場合には、その映像が画面の上側に表示される。一方、映像の撮影地点が車両に近い場合には、その映像が画面の下側に表示される。
また、本実施形態では、複数の映像のうち、優先度が高いものが、優先度が低いものより優先して表示される。特に、本実施形態では、映像ごとの優先度が、映像に写る事象の重要度と、車両から撮影地点となる路側機6までの距離との双方に基づいて設定される。具体的には、映像の優先度は、重要度が高くなるのに応じて高くなり、距離が長くなるのに応じて低くなる。なお、重要度は、発生した事象の重要性の高さに関するものであり、優先度は、映像を表示させる際の優先順位の高さに関するものである。
図3に示す例では、ナビゲーション画面101に、直近の交差点における左側の見通し外道路の映像121と、直近の交差点を直進した場合の次の交差点における右側の見通し外道路の映像122と、が表示されている。ここで、通常時、すなわち、交通事故などの障害事象が発生していない場合には、映像121,122に写る事象の重要度が等しいため、映像121,122ごとの優先度が、自車両から撮影地点となる路側機6までの距離に応じて設定される。具体的には、自車両に近い直近の交差点の映像121が、遠くに位置する次の交差点の映像122より優先され、映像121が映像122より大きく表示される。
なお、直近の交差点における右側の見通し外道路の映像と、直近の交差点を直進した先の次の交差点における左側の見通し外道路の映像とは、道路に移動体が存在しないため、表示されない。
一方、図4に示すように、交差点で障害事象(交通事故)が発生すると、その障害事象が発生した交差点の映像123の優先度が高くなる。図4に示す例では、直近の交差点の次の交差点で衝突事故が発生している。このため、障害事象が写る映像123は、通常時の映像122(図3参照)から拡大して表示される。また、障害事象が写る映像123では、車両から撮影地点までの距離が長くなるが、障害事象の発生により重要度が高くなるので、その優先度は他の映像121より高くなる。このため、障害事象が写る映像123は、直近の交差点の映像121より大きく表示される。これにより、運転者は、直近の交差点の次の交差点で障害事象(交通事故)が発生していることを即座に認識して、直近の交差点を直進するのをやめて、直近の交差点を右折または左折するように経路変更を判断することができる。
ここで、映像ごとの表示の優先度は、車両から撮影地点となる路側機6までの距離に応じて変化することから、映像ごとの表示の優先度を設定する処理は、車載端末2で行われる構成とすればよいが、優先度を設定する処理を路側機6で行うことも可能である。
なお、このように障害事象が発生した場合には、運転者に対して適切な経路を自動案内するようにしてもよい。この自動案内は、例えば運転者が車載端末2に対して目的地と地図情報を入力しておき、車載端末2または自動運転ECU3が該当箇所を回避した経路を自動選択することにより実現可能である。
また、ナビゲーション画面101では、交差点で障害事象が発生すると、地図102上に、障害事象発生地点を表すマーク画像113が点滅表示される。なお、移動体のマーク画像111のうち、その障害事象に係る移動体のマーク画像111が点滅表示されるようにしてもよい。
また、ナビゲーション画面101では、交差点で障害事象が発生すると、その障害事象が映る映像123と、地図102上に表示された障害事象発生地点を表すマーク画像113と、を対応付けるガイド画像114が表示される。
また、ナビゲーション画面101では、交差点で障害事象が発生すると、その障害事象が映る映像123が表示される映像表示枠141が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。
このように本実施形態では、交差点の映像が表示される。さらに、映像の優先度に応じて映像の表示形態が変化する。これにより、運転者は、経路変更の要否を迅速に判断することができる。また、自動運転ECU3が、経路変更を実行して迂回ルートを進行する場合でも、運転者は、障害事象が映る映像を見ることで、迂回する原因を認識することができる。
また、本実施形態では、少なくとも直近の交差点とその次の交差点を映像表示対象とするが、車両1から見て各交差点において見通し外となる道路は多数あり、全ての映像を表示するようにすると、極めて煩わしいものとなる。そこで、本実施形態では、表示の必要性、すなわち映像の優先度に応じて、映像の表示形態を変化させる。具体的には、映像内に移動体が存在しない場合には表示の必要性はないため、その映像は表示しない。
また、本実施形態では、手前の交差点の映像の優先度が低く、かつ、一つ先の交差点の映像の優先度が高い場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。
例えば、手前の交差点に移動体が存在せず、一つ先の交差点に移動体が存在する場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。また、手前の交差点で障害事象が発生しておらず、一つ先の交差点で障害事象が発生している場合には、優先度が高い一つ先の交差点の映像が、優先度が低い手前の交差点の映像上に重ねて表示される。
また、一つ先の交差点の映像は、手前の交差点の映像が表示される映像表示枠内に小さく表示される。これにより、運転手が見る映像を少なくなる。このため、注意する必要性が低い映像に煩わされることなく、注意すべき移動体や障害事象が映る映像で、注意すべき移動体や障害事象の具体的な状況を迅速に確認することができる。
図5に示す例では、通常時には、ナビゲーション画面に、直近の交差点における左側の見通し外道路の映像121と、直近の交差点における右側の見通し外道路の映像124と、が表示されている。
一方、図6に示すように、直近の交差点を直進した先の次の交差点における右側の見通し外道路の映像122で移動体が検知されると、その移動体が検知された先の交差点の映像122が、直近の交差点における右側の見通し外道路の映像124(図5参照)に優先して表示される。具体的には、移動体が検知されない直近の交差点における右側の見通し外道路の映像124(図5参照)は表示されず(ブラックアウト)、その映像表示枠141のみが表示される。一方、移動体が検知された先の交差点の映像122は、直近の交差点の映像用の映像表示枠141内に重ねて表示される。
なお、この場合、優先度の高い映像、例えば、特定事象が映る映像や、移動体が映る映像が、優先して表示され、特定事象が発生していない映像や、移動体が存在しない映像が、隠れて見えない状態になる。
また、本実施形態では、多数の映像が表示される煩わしさを軽減するために、映像の表示形態を変化させるようにしたが、映像の表示形態の変更だけでは対応できない場合もある。そこで、障害事象に係る移動体(車両1や人物など)の位置を案内する文字を表示するようにしてもよい。例えば、「自車両のxm先に要注意人物が移動中、その更にym先は渋滞中」という文字を表示する。
また、本実施形態では、ナビゲーション画面に表示される見通し外道路の映像121,122に、移動体(歩行者や車両1など)を指し示すマーク画像131、具体的には、移動体を取り囲む矩形の枠画像が重畳描画される。これにより、運転者が、移動体を即座に認識することができる。また、移動体の移動方向を表すマーク画像132(矢印画像)が映像上に重畳描画される。これにより、運転者が、移動体の移動方向を即座に認識して、注意すべき移動体か否かを容易に判断することができる。
また、本実施形態では、映像121上に表示される移動体のマーク画像131と、地図102上に表示される移動体のマーク画像112とで、同一の移動体が同一色で表示される。これにより、運転者が、映像121上に表示される移動体と、地図102上に表示される移動体との対応関係を即座に認識することができる。
なお、本実施形態では、ナビゲーションディスプレイ4において、路側機6で撮影された交差点の見通し外道路の映像が、地図上に重畳して表示されるようにしたが、このような画面構成に限定されない。例えば、路側機6で撮影された映像が、自車両の前方が撮影された映像上に重畳して表示されるようにしてもよい。この場合、車両1に自車両の前方を撮影するカメラが搭載され、そのカメラで撮影された映像がナビゲーションディスプレイ4に表示される。
次に、第1実施形態に係る路側機6の概略構成について説明する。図7は、路側機6の概略構成を示すブロック図である。
路側機6は、レーダ12およびカメラ13の他に、ITS通信部21と、路路間通信部22と、サーバ通信部23と、メモリ24と、プロセッサ25と、を備えている。
ITS通信部14は、ITS通信(路車間通信)により、メッセージをブロードキャストで車載端末2に送信し、また、車載端末2から送信されるメッセージを受信する。
路路間通信部22は、専用の路側ネットワーク(有線または無線)、またはセルラー通信などによるネットワークを介して、隣り合う路側機6と通信を行う。
サーバ通信部23は、ネットワークを介してサーバ7との間で通信を行う。
メモリ24は、プロセッサ25で実行されるプログラムなどを記憶する。
プロセッサ25は、メモリ24に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ25が、移動体検出処理、移動体表示情報生成処理、マーク画像合成処理、および障害事象検知処理などを行う。
移動体検出処理では、プロセッサ25が、レーダ12の検出結果に基づいて、移動体(車両1、歩行者)を検出して、移動体の位置情報および移動情報を取得する。具体的には、プロセッサ25が、まず、レーダ12の検出結果に基づいて、路端末を基準にした移動体の相対的な位置情報、すなわち、路端末から見た移動体が存在する方位と、路端末から移動体までの距離を算出する。次に、プロセッサ25が、移動体の相対的な位置情報(方位、距離)と、路端末の設置位置の位置情報(緯度、経度)とに基づいて、移動体の絶対的な位置情報(緯度、経度)を算出する。また、プロセッサ25が、移動体の位置情報の変化状況に基づいて、移動体の移動情報、すなわち、移動体の移動速度、移動方向を取得する。
移動体表示情報生成処理では、プロセッサ25が、映像上で検出された移動体ごとの表示情報、すなわち、移動体を指し示すマーク画像(枠画像)の映像上の表示位置(座標、大きさ)および表示色に関する情報を生成する。具体的には、プロセッサ25が、移動体検出処理で取得した移動体の位置情報および移動情報に基づいて、映像上での移動体の位置を取得する。なお、映像に対する画像認識により映像から移動体を検出して移動体の位置を取得するようにしてもよい。また、プロセッサ25が、映像上で検出された移動体ごとに表示色を割り振る。このとき、複数の移動体が検知された場合には、マーク画像の表示色が重複しないように移動体ごとの表示色が設定される。
マーク画像合成処理では、プロセッサ25が、カメラ13で撮影された映像上に、移動体を指し示すマーク画像を重畳描画した合成映像を生成する。このとき、移動体表示情報生成処理で取得した移動体ごとに表示色でマーク画像が描画される。このマーク画像合成処理で生成した映像がサーバ7にアップロードされる。
障害事象検知処理では、プロセッサ25が、交差点の周辺の道路において車両1の経路変更が望ましい障害事象(通行の障害となる事象)が発生したことを検知する。このとき、移動体検出処理で取得した各移動体の位置、移動方向、および移動速度に基づいて、障害事象が発生しているか否かを判定する。
次に、第1実施形態に係る車両1の概略構成について説明する。図8は、車両1の概略構成を示すブロック図である。
車両1は、車載端末2、自動運転ECU3、およびナビゲーションディスプレイ4の他に、センサ31と、操舵ECU32と、駆動ECU33と、制動ECU34と、を備えている。
車載端末2は、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。
ITS通信部41は、ITS通信(車車間通信)により、メッセージをブロードキャストで他の車載端末2に送信し、また、他の車載端末2から送信されるメッセージを受信する。また、ITS通信部41は、ITS通信(路車間通信)により、メッセージを路側機6に送信し、また、路側機6から送信されるメッセージを受信する。
無線通信部42は、セルラー通信や無線LAN通信などの無線通信を利用してサーバ7との間で通信を行う。
測位部43は、GNSS(Global Navigation Satellite System)、すなわち、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System)などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報(緯度、経度)を取得する。
メモリ44は、地図情報や、プロセッサ45で実行されるプログラムなどを記憶する。
プロセッサ45は、メモリ44に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ45が、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行う。
衝突判定処理では、プロセッサが、他車両の車載端末2や歩行者端末5から受信したメッセージに含まれる他車両や歩行者の位置情報、および測位部43で取得した自車両の位置情報などに基づいて、他車両や歩行者と自車両との衝突の可能性を判定する。この衝突判定処理で衝突の危険性があると判定されると、ユーザに対する所定の注意喚起動作を実行する制御が行われる。
映像受信制御処理では、プロセッサ45が、路側機6から受信したメッセージに含まれる映像リンク情報に基づいて、サーバ7にアクセスして、映像配信の要求を映像配信サーバに送信して、サーバ7から配信される映像を受信するように無線通信部を制御する。
映像表示制御処理では、プロセッサ45が、映像配信サーバから受信した映像を、ナビゲーションディスプレイ4のナビゲーション画面に表示させる制御を行う。具体的には、直近の交差点およびその先の交差点に設置された各路側機6で撮影された映像が、自車両の現在位置から路側機6(撮影地点)までの距離に応じたサイズでナビゲーション画面に表示される。また、障害事象が撮影された映像が強調表示される。
画面表示制御処理では、プロセッサ45が、ナビゲーションディスプレイ4のナビゲーション画面を制御する。具体的には、ナビゲーション画面の地図上に、移動体を表すマーク画像が表示される。特に、障害事象に係る移動体のマーク画像が強調表示される。具体的には、例えば、障害事象に係る移動体のマーク画像が点滅表示される。
自動運転ECU3は、操舵ECU32、駆動ECU33、および制動ECU34と接続され、センサ31の検出結果に基づいて、操舵ECU32、駆動ECU33、および制動ECU34を制御して、車両1の自動運転(自律走行)を実現する。
ここで、センサ31は、レーダ、ライダー、カメラなどであり、自車両の周囲の道路上に存在する移動体を検出する。また、操舵ECU32は、自車両の操舵機構を制御するものであり、駆動ECU33は、自車両の駆動機構(エンジンや電動モータなど)を制御するものであり、制動ECU34は、自車両の制動機構を制御するものである。
次に、第1実施形態に係る車載端末2、路側機6およびサーバ7の動作概要について説明する。図9は、車載端末2、路側機6およびサーバ7の動作概要を示すシーケンス図である。
本実施形態では、車両1の進行方向に並んだ2箇所の交差点に設置された2台の路側機6で撮影された見通し外道路の映像が、車両1のナビゲーションディスプレイ4に表示される。ここで、車両1から見て直近の交差点に設置された路側機6を第1の路側機6と呼称し、直近の交差点のその次の交差点に設置された路側機6を第2の路側機6と呼称する。
車載端末2は、第1の路側機6の映像リンク情報を第1の路側機6から受信して、その映像リンク情報に基づいて、第1の路側機6で撮影された映像をサーバ7から受信して、その第1の路側機6で撮影された映像をナビゲーションディスプレイ4に表示する。また、車載端末2は、第2の路側機6の映像リンク情報を第1の路側機6を経由して受信して、その映像リンク情報に基づいて、第2の路側機6で撮影された映像をサーバ7から受信して、その第2の路側機6で撮影された映像をナビゲーションディスプレイ4に表示する。
このとき、通常時、すなわち障害事象が発生していない場合には、通常時のメッセージが路側機6から車載端末2に送信される。この通常時のメッセージには、通常時の通知情報として、自装置(第1の路側機6)の映像リンク情報、具体的には、路側機6の映像を配信する映像配信サーバのリンク情報と、路側機6で検出された移動体の位置情報および表示情報と、が含まれる。
なお、移動体の表示情報には、移動体を指し示すマーク画像(枠画像)の映像上の表示位置(座標、大きさ)および表示色に関する情報が含まれる。移動体ごとの表示色を車載端末2に通知することで、ナビゲーション画像に表示する移動体のマーク画像を、映像上に描画された移動体のマーク画像と同一色で表示することができる。
一方、障害事象が発生した場合には、障害事象通知のメッセージが路側機6から送信される。このメッセージには、通常時のメッセージと同様に、通常時の通知情報として、映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。さらに、障害事象発生通知のメッセージには、路側機6の映像リンク情報、障害事象に関する通知情報として、障害事象発生地点の位置情報と、障害事象を検知した路側機6の位置情報と、が含まれる。
また、直近の交差点の次の交差点に設置された路側機6から送信される障害事象通知のメッセージは、直近の交差点に設置された路側機6で中継された上で車載端末2が受信する。このとき、直近の交差点に設置された路側機6では、次の交差点に設置された路側機6から送信される障害事象通知のメッセージを受信すると、障害事象転送のメッセージを生成して車載端末2に送信する。
この障害事象転送のメッセージは、障害事象通知のメッセージに含まれる通知情報に、自装置の通常時の通知情報を付加したものである。具体的には、障害事象転送のメッセージには、第1の路側機6(自装置)に関する通常時の通知情報として、第1の路側機6の映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。また、メッセージには、第2の路側機6に関する通常時の通知情報として、第2の路側機6の映像リンク情報と、移動体の位置情報および表示情報と、が含まれる。また、メッセージには、障害事象に関する通知情報として、第2の路側機6の映像リンク情報と、障害事象発生地点の位置情報と、障害事象を検知した第2の路側機6の位置情報と、が含まれる。
次に、第1実施形態に係る路側機6の動作手順について説明する。図10は、路側機6の動作手順を示すフロー図である。
路側機6では、プロセッサ25が、レーダ12の検出結果に基づいて、交差点の周辺の道路上に存在する移動体(車両1、歩行者)を検出し、交差点の周辺の道路上に移動体(車両1、歩行者)が存在するか否かを判定する(移動体検出処理)(ST101)。
ここで、交差点の周辺の道路上に移動体が存在する場合には(ST101でYes)、レーダ12の検出結果に基づいて、移動体の位置情報(緯度、経度)および移動情報(移動方向、移動速度)を取得する(ST102)。
また、プロセッサ25が、移動体が存在する道路の撮影をカメラ13に指示する(ST103)。カメラ13は、プロセッサ25の指示に応じて、移動体が存在する道路を撮影する。
次に、プロセッサ25が、移動体の位置情報(緯度、経度)および移動情報(移動方向、移動速度)に基づいて、カメラ13で撮影された映像上の移動体の位置を取得して、映像に映る移動体を指し示すマーク画像(枠画像)を映像上に重畳描画するための表示情報を生成する(移動体表示情報生成処理)(ST104)。
次に、プロセッサ25が、表示情報に基づいて、カメラ13で撮影された映像上に、移動体を指し示すマーク画像を重畳描画した合成映像を生成する(マーク画像合成処理)(ST105)。
次に、サーバ通信部23が、処理済みの映像、すなわち、移動体のマーク画像が重畳描画された合成映像をサーバ7に送信する(映像アップロード)(ST106)。なお、移動体が撮影された映像と、移動体のマーク画像を映像上に重畳描画するための表示情報とをサーバ7に送信して、サーバ7が、移動体のマーク画像を映像上に重畳描画する処理を行うようにしてもよい。
次に、プロセッサ25が、移動体検出処理で取得した移動体の位置情報および移動情報に基づいて、交差点の周辺において所定の障害事象が発生したか否かを判定する(障害事象検知処理)(ST107)。
ここで、障害事象が発生した場合には(ST107でYes)、プロセッサ25が、障害事象通知のメッセージを生成する。そして、ITS通信部21が、障害事象発生通知のメッセージを、車載端末2に送信し、また、路路間通信部22が、障害事象発生通知のメッセージを、隣の路側機6に送信する(ST108)。
一方、障害事象が発生していない場合には(ST107でNo)、次に、路路間通信部22が、障害事象通知のメッセージを周辺の路側機6から受信したか否かを判定する(ST109)。
ここで、障害事象通知のメッセージを受信した場合には(ST109でYes)、プロセッサ25が、障害事象通知転送のメッセージを生成する。そして、ITS通信部21が、障害事象転送のメッセージを車載端末2に送信する(ST110)。
一方、障害事象通知のメッセージを受信していない場合には(ST109でNo)、プロセッサが、通常時のメッセージを生成する。そして、ITS通信部21が、通常時のメッセージを車載端末2に送信する(ST111)。
次に、第1実施形態に係る車載端末2および自動運転ECU3の動作手順について説明する。図11は、車載端末2および自動運転ECU3の動作手順を示すフロー図である。
車載端末2では、ITS通信部41が、路側機6からのメッセージを受信すると(ST201でYes)、プロセッサが、受信したメッセージに含まれる映像リンク情報、および障害事象発生地点の位置情報などを取得する(ST202)。次に、プロセッサが、映像リンク情報に基づいて、映像配信の要求を映像配信サーバに送信して、映像配信サーバから配信される映像を受信するように無線通信部を制御する(映像受信制御処理)(ST203)。
次に、プロセッサ45が、映像配信サーバから受信した映像を、ナビゲーションディスプレイ4のナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST204)。具体的には、直近の交差点およびその先の交差点に設置された各路側機6で撮影された映像が、自車両の現在位置から路側機6(撮影地点)までの距離に応じたサイズでナビゲーション画面に表示される。また、障害事象が発生している場合には、障害事象が撮影された映像が強調表示される。このとき、映像に映る移動体のマーク画像も強調表示される。これにより、運転者は、経路変更の要否を迅速に判断することができる。
自動運転ECU3は、路側機6から受信したメッセージに含まれる障害事象発生地点の位置情報を車載端末2から取得する(ST301)。次に、自動運転ECU3は、障害事象発生地点の位置情報、および目的地の位置情報などに基づいて、障害事象発生地点を迂回して目的地に向かう迂回ルートを生成する(走行経路計画処理)(ST302)。そして、自動運転ECU3は、生成した迂回ルートをナビゲーションディスプレイ4のナビゲーション画面に表示する(ST303)。
次に、自動運転ECU3は、迂回ルートにしたがって自車両が障害事象発生地点を迂回するように自車両の走行を制御する(走行制御処理)(ST304)。このとき、自動運転ECU3は、経路変更の要否を運転者に問い合わせる動作(アラート出力)を行い、これに応じて、運転者が、経路変更を承認する操作や、自動運転ECU3から運転を交代する操作を行う。
(第1実施形態の第1変形例)
次に、第1実施形態の第1変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図12は、第1実施形態の第1変形例に係る車両1および路側機6の動作概要を示す説明図である。
第1実施形態では、車両1の進行方向の前方に位置する路側機6で撮影された映像が車載端末2に配信されるようにしたが、本変形例では、車両1の進行方向の後方に位置する路側機6で撮影された映像が車両1の車載端末2に配信される。
また、本変形例では、路側機6が、障害事象(車両1の通行の障害となる事象)として、自装置の周辺に存在する緊急車両を検知する。具体的には、路車間通信により緊急車両の車載端末2から受信したメッセージに含まれる車両情報に基づいて、メッセージの送信元の車両が緊急車両であるか否かを判定する。
路側機6は、自装置の周辺に存在する緊急車両を検知すると、障害事象通知のメッセージを、直接または他の路側機6を経由して、車両1の車載端末2に送信する。この障害事象通知のメッセージには、映像リンク情報、および緊急車両の位置情報などが含まれる。
車両1の車載端末2は、路側機6からの障害事象通知のメッセージを受信すると、そのメッセージに含まれる緊急車両の位置情報に基づいて、自車両の後方から緊急車両が接近しているか否かを判定し、自車両の後方から緊急車両が接近している場合には、受信したメッセージに含まれる映像リンク情報に基づいて、緊急車両が映る映像をサーバ7から受信して、その映像をナビゲーション画面に表示する。
次に、第1実施形態の第1変形例に係るナビゲーションディスプレイ4に表示されるナビゲーション画面について説明する。図13は、ナビゲーション画面を示す説明図である。
本変形例では、ナビゲーションディスプレイ4のナビゲーション画面101に、第1実施形態(図3参照)と同様に、自車両の前方の路側機6で撮影された映像121が表示され、さらに、自車両の後方の路側機6で緊急車両が検知された場合に、自車両の後方の路側機6で撮影された映像125が表示される。この後方の路側機6で撮影された映像125には緊急車両が写る。
また、この後方の路側機6で撮影された映像125は、他の映像121より優先表示され、具体的には他の映像121より大きく表示される。さらに、後方の路側機6で撮影された映像125は強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。これにより、運転者が、自車両の後方から緊急車両が接近していることを即座に認識して、緊急車両に進路を譲る運転操作、例えば停車や進路変更などの操作を迅速に行うことができる。
また、ナビゲーション画面101では、地図上における緊急車両の位置に、緊急車両を表すマーク画像115が重畳表示される。この緊急車両を表すマーク画像115は、強調表示され、具体的には点滅表示される。また、ナビゲーション画面101には、緊急車両に進路を譲る運転操作を運転者に催促する文字、例えば「道路端に停止せよ」との文字142が表示される。
なお、本変形例では、緊急車両を検知して、その緊急車両の進行方向の前方に位置する車両1において、緊急車両が映る映像125を表示するようにしたが、要注意車両(危険車両)、例えば、走行速度が所定値を越える車両や、蛇行走行する車両などを検知して、その要注意車両が映る映像を表示するようにしてもよい。
また、緊急車両が写る映像125として、後方の路側機6で撮影された映像がナビゲーション画面101に表示されるようにしたが、車体後方を撮影するカメラを車両1に搭載して、そのカメラで撮影された映像を表示するようにしてもよい。
(第1実施形態の第2変形例)
次に、第1実施形態の第2変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図14は、第1実施形態の第2変形例に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201の一例を示す説明図である。図15は、ナビゲーション画面およびフロントAR画面の一例で障害事象が発生した場合を示す説明図である。図16は、車両1の概略構成を示すブロック図である。
第1実施形態では、車両1にナビゲーションディスプレイ4が設けられて、このナビゲーションディスプレイ4のナビゲーション画面101に、路側機6で撮影された映像が表示される。一方、本変形例では、図16に示すように、ナビゲーションディスプレイ4に加えて、フロントARディスプレイ35(表示装置)が設けられており、このフロントARディスプレイ35により、図14に示すように、車両1のフロントガラスにフロントAR画面201が重畳表示され、そのフロントAR画面201に、路側機6で撮影された映像121,122が表示される。
フロントARディスプレイ35は、例えば、ヘッドアップディスプレイであり、プロジェクターや液晶表示パネルなどの表示デバイスと、表示デバイスの表示画像(投影画像)を半透過状態で反射する透明パネルとから構成される。
なお、本実施形態では、AR表示デバイスとしてフロントARディスプレイ35が設けられ、車両1のフロントガラスにAR画面が重畳表示されるようにしたが、車両1のサイドガラスにAR画面が重畳表示されるようにしてもよい。また、AR表示デバイスとしてヘッドアップディスプレイの例を示したが、その他のAR表示デバイス、例えばヘッドマウントディスプレイなども可能である。
フロントARディスプレイ35によるフロントAR画面201では、ウィンドウガラス越しに見える車外の実空間上に、仮想オブジェクトとして、路側機6で撮影された映像121,122が重畳表示される。このフロントAR画面201では、第1実施形態(図3参照)と同様の表示形態で、路側機6で撮影された複数の映像121,122が表示される。
この複数の映像121,122は、その撮影地点、すなわち、その映像121,122を撮影した路側機6の位置に対応する画面上の位置に表示される。例えば、映像の撮影地点が車両の左側に位置する場合には、その映像が画面の左側に表示される。一方、映像の撮影地点が車両の右側に位置する場合には、その映像が画面の右側に表示される。また、映像の撮影地点が車両から離れている場合には、その映像が画面の奥側(上側)に表示される。一方、映像の撮影地点が車両に近い場合には、その映像が画面の手前側(下側)に表示される。
また、フロントAR画面201では、第1実施形態と同様に、映像内の移動体を指し示すマーク画像131(検出枠)と移動体の移動方向を表すマーク画像132(矢印)が映像121,122上に重畳表示される。
一方、ナビゲーションディスプレイ4によるナビゲーション画面101では、第1実施形態と同様に、地図102上に、自車両の現在位置および進行方向を表すマーク画像111と移動体を表すマーク画像112とが重畳表示される。
また、本変形例では、フロントAR画面201の映像121上に表示される移動体のマーク画像131と、ナビゲーション画面101の地図102に表示される移動体のマーク画像112とで、同一の移動体が同一色で表示される。これにより、運転者が、ナビゲーション画面101に表示された移動体のマーク画像112と、フロントAR画面201の映像121,122に映る移動体との対応関係を即座に認識することができる。
また、図15に示すように、本変形例では、交差点で障害事象が発生すると、フロントAR画面201に障害事象が映る映像123が強調表示される。また、障害事象が映る映像123と、ナビゲーション画面101に表示された障害事象発生地点のマーク画像113と、を対応付けるガイド画像211が表示される。これにより、運転者が、フロントAR画面201に表示された映像123と、ナビゲーション画面101に表示された障害事象発生地点のマーク画像113との対応関係を即座に認識することができる。すなわち、運転者が、地図102上に表示された障害事象発生地点の具体的な状況を映像123で確認することができ、また、逆に映像123に映る障害事象発生地点の位置を地図102上で確認することができる。
なお、路側機6で撮影された映像が、ナビゲーション画面101の障害事象発生地点のマーク画像113からズームアップ(ポップアップ)でフロントAR画面201に障害事象が映る映像123が表示されるようなアニメーション効果が得られる画面制御を行うようにしてもよい。
また、本変形例では、フロントAR画面に、直近の交差点における自車両の進行方向(直進、右折および左折)を表すマーク画像212(矢印)が表示される。この進行方向を表すマーク画像212には、障害事象の発生により進行することが適切でない場合には、マーク画像(×印)が表示される。図15に示す例では、直近の交差点を直進した先の交差点で障害事象が発生しているため、直進のマーク画像212に、直進が適切でないことを表すマーク画像(×印)が表示される。
(第2実施形態)
次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図17は、第2実施形態に係る車両1および路側機6の動作概要を示す説明図である。
前記の実施形態では、障害事象の発生が検知されると、映像の表示形態を変更する、具体的には、障害事象が映る映像を強調表示する制御が行われるようにした。一方、本実施形態では、自車両の周囲に存在する移動体が検出され、かつ、自車両の挙動、特に進行方向(直進、右折、左折)に応じて、危険性が高い状態に推移する可能性がある場合に、その移動体が映る映像がナビゲーション画面に表示される。
特に本実施形態では、車両1が交差点で左折を行う場合、車両1の脇をすり抜けようとする自転車などの二輪車の巻き込み事故を防止するため、自車両の進行方向が左折である場合には、自車両の車体左側方において後方から接近する移動体(二輪車など)が検出されると、その移動体が映る映像がナビゲーション画面に表示される。
なお、本実施形態では、車両1が左側通行である場合の例について説明したが、車両1が右側通行である場合には、左と右との場合分けが逆になる。
次に、第2実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面について説明する。図18は、ナビゲーション画面を示す説明図である。
本実施形態では、自車両の進行方向が左折である場合に、自車両の車体左側方において後方から接近する移動体(二輪車など)が検出されると、その移動体が映る映像126が、ナビゲーションディスプレイ4によるナビゲーション画面101に表示される。
このとき、ナビゲーション画面101において、移動体が映る映像126が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。また、車体左側方の移動体を表すマーク画像116が地図102上の移動体の位置に表示される。この移動体のマーク画像116は、強調表示され、具体的には点滅表示される。これにより、自車両の車体左側方に存在する移動体に対する運転者の注意喚起を行うことができる。このため、左折時における二輪車(自転車など)の巻き込み事故を防止することができる。
なお、本実施形態では、路側機6で撮影された前方の交差点の映像121,122と、自車両のカメラで撮影された車体左側方の映像126との双方がナビゲーション画面101に表示されるようにしたが、自車両の挙動(直進、右折、左折)に応じて、前方の交差点の映像と車体左側方の映像とを切り替えるようにしてもよい。具体的には、自車両の進行方向が直進または右折である場合には、前方の交差点の映像が表示され、自車両の進行方向が左折である場合には、車体左側方の映像が表示されるようにする。
次に、第2実施形態に係る車両1の概略構成について説明する。図19は、車両1の概略構成を示すブロック図である。
車両1は、第1実施形態(図8参照)と同様に、車載端末2、自動運転ECU3、ナビゲーションディスプレイ4などを備えているが、この他に、カメラ36を備えている。
カメラ36は、自車両の周囲(少なくとも車体左側方)を撮影する。
車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行うが、この他に、移動体検出処理を行う。
移動体検出処理では、プロセッサ45が、センサ(レーダ、ライダーなど)の検出結果に基づいて、自車両の車体左側方に存在する移動体(自転車など)を検出し、自車両の車体左側方に移動体が存在するか否かを判定する。なお、カメラで撮影された映像に基づいて、自車両の車体左側方に存在する移動体を検出するようにしてもよい。
映像表示制御処理では、プロセッサ45が、自車両の進行方向が左折の場合に、自車両のカメラで撮影された車体左側方の映像をナビゲーション画面に表示させる制御を行う。このとき、車体左側方の移動体(自転車など)が撮影された映像が強調表示される。具体的には、映像表示枠が所定色(例えば赤色)の太線で描画される。
画面表示制御処理では、プロセッサ45が、ナビゲーション画面の地図上に、車体左側方の移動体を指し示すマーク画像(検出枠)を表示させる制御を行う。このとき、移動体のマーク画像が強調表示される。具体的には、移動体のマーク画像が点滅表示される。
なお、本実施形態では、車載端末2が、車両1の車体左側方に存在する移動体を検出する処理(移動体検出処理)を行うようにしたが、路側機6が移動体検出処理を行うようにしてもよい。
次に、第2実施形態に係る車載端末2および自動運転ECU3の動作手順について説明する。図20は、車載端末2の動作手順および自動運転ECU3を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
自動運転ECU3は、センサ(レーダ、ライダーなど)の検出結果に基づいて、自車両の車体左側方に存在する移動体(自転車など)を検出し、自車両の車体左側方に移動体が存在するか否かを判定する(移動体検出処理)(ST311)。
ここで、自車両の車体左側方に移動体が存在する場合には(ST311でYes)、自動運転ECU3が、車体左側方に移動体が存在する旨の移動体検出通知を車載端末2に送信する(ST312)。
車載端末2では、自動運転ECU3からの移動体検出通知を受信すると(ST211でYes)、プロセッサ45が、自動運転ECU3から自車両の進行方向に関する情報を取得して、自車両の進行方向が左折であるか否かを判定する(ST212)。
ここで、自車両の進行方向が左折である場合には(ST212でYes)、プロセッサ45が、移動体が存在する車体左側方の撮影をカメラ36に指示する(ST213)。カメラ36は、車載端末2の指示に応じて、移動体が存在する車体左側方を撮影する。次に、プロセッサ45が、自車両のカメラ36で撮影された車体左側方の映像をナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST214)。このとき、車体左側方の移動体(自転車など)が撮影された映像が強調表示される。
なお、本実施形態では、自車両の挙動(左折か否か)に応じてナビゲーション画面に表示される映像を制御するようにしたが、自車両の挙動に加えて、自車両の周辺に存在する他車両の挙動に応じて、ナビゲーション画面に表示される映像を制御するようにしてもよい。具体的には、自車両と他車両との位置関係などに応じて、路側機6で撮影された前方の交差点の映像と、自車両のカメラで撮影された車体周囲の映像とのいずれか一方のみを表示したり、前方の交差点の映像と車体周囲の映像との双方を表示したりするようにしてもよい。また、例えば、自車両の車体左側方を二輪車が走行している場合の他に、他車両が蛇行走行などの不自然な走行を行う場合や、他車両が所定値を越えた速度で走行している場合に、車体周囲の映像を優先的に表示するようにしてもよい。
(第3実施形態)
次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図21は、第3実施形態に係る車両1の動作概要を示す説明図である。
前記の実施形態では、路側機6が障害事象の発生を検知すると、その障害事象が映る映像が車両1のナビゲーションディスプレイ4に表示されるようにした。一方、本実施形態では、衝突判定において、自車両の後方から接近する他車両(例えばトラック)との衝突の可能性があると判定された場合に、その他車両が映る映像がナビゲーションディスプレイ4に表示されるようにする。
なお、本実施形態では、第1実施形態と同様に、車車間通信で他車両の車載端末2から取得した他車両の位置情報などに基づいて、他車両や歩行者と自車両との衝突の可能性を判定する衝突判定が行われる。
次に、第3実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面について説明する。図22は、ナビゲーション画面101を示す説明図である。
本実施形態では、衝突判定において、自車両の後方から接近する他車両(例えばトラック)との衝突の可能性があると判定された場合に、その他車両が映る映像127がナビゲーション画面101に表示される。
このとき、ナビゲーション画面101において、自車両の後方から接近する他車両が映る映像127が強調表示される。具体的には、映像表示枠141が所定色(例えば赤色)の太線で表示される。また、事故予測地点を表すマーク画像117が、地図102上の事故予測地点の位置に表示される。事故予測地点のマーク画像117は、強調表示され、具体的には点滅表示される。これにより、衝突の可能性がある他車両に対する運転者の注意喚起を行うことができる。
次に、第3実施形態に係る車両1の概略構成について説明する。図23は、車両1の概略構成を示すブロック図である。
車両1は、第1実施形態(図8参照)と同様に、車載端末2、自動運転ECU3、およびナビゲーションディスプレイ4などを備えているが、この他に、カメラ37を備えている。
カメラ37は、自車両の周囲(少なくとも車体後方)を撮影する。
車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行う。
映像表示制御処理では、プロセッサ45が、衝突判定処理により、自車両の後方から接近する他車両との衝突の可能性があると判定されると、カメラ37を起動して、カメラ37に自車両の車体後方を撮影させて、後方から接近する他車両が映る映像を取得して、その映像をナビゲーション画面に表示させる。
次に、第3実施形態に係る車載端末2の動作手順について説明する。図24は、車載端末2の動作手順を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
車載端末2では、衝突判定処理での判定結果に基づいて、自車両の後方から接近する他車両との衝突の可能性があるか否かを判定する(ST221)。
ここで、後方から接近する他車両との衝突の可能性がある場合には(ST221でYes)、プロセッサが、移動体が存在する車体後方の撮影をカメラに指示する(ST222)。カメラは、プロセッサの指示に応じて、移動体が存在する車体後方を撮影する。
次に、車載端末2では、プロセッサが、自車両のカメラで撮影された車体後方の映像をナビゲーション画面に表示させる制御を行う(映像表示制御処理)(ST223)。このとき、車体後方の移動体(トラックなど)が撮影された映像が強調表示される。
なお、本実施形態では、車車間通信で取得した他車両の位置情報に基づく衝突判定で、他車両との衝突の可能性があると判定された場合に、その他車両が映る車体後方の映像がナビゲーションディスプレイ4に表示されるようにしたが、自車両の後方から接近する他車両を検出するセンサ(レーダなど)を車両1に搭載して、自車両と他車両との間の距離を測定し、衝突判定の結果とは関係なく、自車両と他車両との間の距離が所定値以下になると、他車両が映る車体後方の映像を表示するようにしてもよい。
(第4実施形態)
次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図25は、第4実施形態に係る車両1に搭載されたナビゲーションディスプレイ4によるナビゲーション画面、およびフロントARディスプレイ35によるフロントAR画面201を示す説明図である。
本実施形態では、第1実施形態の第2変形例(図14参照)と同様に、フロントARディスプレイに35よるフロントAR画面201に、路側機6で撮影された映像121,122が表示される。
また、前記の実施形態では、車外の状態(外部要因)、すなわち、障害事象の発生、自車両の周囲に存在する移動体(自転車など)、自車両と衝突の可能性がある移動体(トラックなど)をトリガ事象として、外部要因と関係する映像を強調表示する映像表示制御を行うようにした。一方、本実施形態では、運転手の状態(内部要因)をトリガ事象として、所定の映像を強調表示する映像表示制御を行う。特に本実施形態では、運転手がわき見をしている場合、例えば、運転者が手元のスマートフォンの画面を見ている場合に、フロントAR画面201に表示される映像のうち、運転者の視界の端に表示されている映像121を強調表示する。
図25に示す例では、直近の交差点の映像として、移動体が存在する左方向の見通し外道路の映像121と、直近の交差点の次の交差点の映像として、移動体が存在する右方向の見通し外道路の映像122と、が表示されている。
ここで、運転者が手元のスマートフォンの画面を見ているため、運転者がわき見をしているものと判定されると、フロントAR画面201に表示されている映像121,122のうち、直近の交差点の左方向の見通し外道路の映像121が運転者の視界の端に表示されている。このため、この映像121が強調表示される。具体的には、直近の交差点の映像121が表示される映像表示枠141が所定色(例えば赤色)の太線で描画される。これにより、フロントAR画面201において強調表示された映像121を見るように運転者が誘導され、直近の交差点において見通し外道路に存在する移動体に対する運転者の注意喚起を行うことができる。
次に、第4実施形態に係る車両1の概略構成について説明する。図26は、車両1の概略構成を示すブロック図である。
車両1は、第1実施形態の第2変形例(図8参照)と同様に、車載端末2、自動運転ECU3、ナビゲーションディスプレイ4、およびフロントARディスプレイ35などを備えているが、この他に、車内カメラ38を備えている。
車内カメラ38は、自車両の車室内(少なくとも運転者の顔が含まれる範囲)を撮影する。
車載端末2は、第1実施形態(図8参照)と同様に、ITS通信部41と、無線通信部42と、測位部43と、メモリ44と、プロセッサ45と、を備えている。また、プロセッサ45は、第1実施形態と同様に、衝突判定処理、映像受信制御処理、映像表示制御処理、および画面表示制御処理などを行うが、この他に、わき見判定処理を行う。
わき見判定処理では、プロセッサ45が、車内カメラ38で撮影された運転者の映像に基づいて、運転者の視線方向を検出し、運転者の視線方向に基づいて、運転者がわき見をしているか否かを判定する。ここで、わき見とは、運転者がフロントガラス越しに自車両の前方を見ていない場合であり、例えば、運転者が手元のスマートフォンの画面を見ていて、運転者の視線が前方斜め下向きである場合である。
映像表示制御処理では、プロセッサ45が、わき見判定処理で取得した運転手の視線方向と、フロントAR画面に表示される映像の表示位置と、に基づいて、運転者の視界の端に表示されている映像を選択し、その映像を強調表示する。
次に、第4実施形態に係る車載端末2の動作手順について説明する。図27は、車載端末2の動作手順を示すフロー図である。なお、本実施形態でも、第1実施形態(図11参照)と同様の処理が行われる。
車載端末2では、プロセッサが、車内カメラで撮影された運転者の映像に基づいて、運転者の視線方向を検出する(ST231)。そして、運転者の視線方向に基づいて、運転者がわき見をしているか否かを判定する(ST232)。
ここで、運転者がわき見をしている場合には(ST232でYes)、プロセッサが、フロントAR画面に表示されている映像のうち、直近の交差点の見通し外道路の映像を強調表示する(ST233)。このとき、映像に映る移動体のマーク画像も強調表示される。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、本開示では、映像配信に係る通信負荷を軽減するため、交差点の周辺の道路上に移動体が存在する場合に、路側機6が、移動体が撮影された映像をサーバ7に送信(アップロード)し、また、車載端末2が、移動体が撮影された映像をサーバ7から受信(アップロード)するようにしたが、さらに映像配信に係る通信負荷を軽減するため、この映像のアップロードおよびダウンロードが、障害事象(交通事故、渋滞、道路工事、群衆、緊急車両など)が検知された場合や、周辺の他車両や歩行者の挙動により危険性が高い状態が検知された場合に限定されるようにしてもよい。また、逆に通信環境が良好である場合には、映像のアップロードおよびダウンロードは常時行われるようにしてもよい。
また、映像配信に係る通信負荷を軽減するため、映像の重要性(緊急性)に応じて、映像を動画または静止画で表示したり、解像度を変更したり、映像の表示範囲を変更したりしてもよい。例えば、検出された移動体の危険性が高い場合のように、映像の重要性が高い場合には、映像を動画で表示し、また、映像を高解像度で表示し、また、移動体にズームアップした狭い範囲の映像を表示するようにする。逆に、映像の重要性が低い場合には、映像を静止画で表示し、また、映像を低解像度で表示し、また、広い範囲の映像を表示するようにする。
また、映像配信に係る通信負荷を軽減するため、車両の速度などに応じて、映像を動画で表示する際のフレームレートや、映像を静止画で表示する際の更新レートを変更するようにしてもよい。具体的には、通常走行時のように、車両の走行速度が比較的速い場合には、動画のフレームレートや静止画の更新レートが高く設定され、渋滞時のように、車両の走行速度が遅い場合には、動画のフレームレートや静止画の更新レートが低く設定されるようにする。なお、動画のフレームレートや静止画の更新レートは、場所や周囲の状況などに応じて変更されてもよい。例えば、交差点や交通事故が多い場所においては、動画のフレームレートや静止画の更新レートが高く設定されてもよい。また、例えば、危険人物や危険車両が近くにいる場合に、動画のフレームレートや静止画の更新レートが高く設定されてもよい。
また、映像配信に係る通信負荷を軽減するため、車両からの距離に応じて、画面表示する交差点の映像の解像度を変更するようにしてもよい。具体的には、車両に近い交差点の映像は高解像度で表示され、車両から遠い交差点の映像は低解像度で表示されるようにする。なお、映像の解像度についても、動画のフレームレートや静止画の更新レートと同様に、場所や周囲の状況などに応じて変更されてもよい。
さらに、本開示において、例えば車載端末2や路側機6は、クラウドと連携されてもよい。具体的には、車載端末2や路側機6が収集した映像情報などをクラウド側の装置に送信し、クラウド側の装置において、例えば交通事故や煽り運転などが発生し易い場所や日時などを分析し、分析の結果得られた場所付近を走行する車両に通知してもよい。これにより、交通事故や煽り運転などの低減を図ることが可能である。また、危険車両を検知した場合、例えばすぐに警察等に自動通知することにより、煽り運転による被害防止を図ることができる。