以下に、本発明による車両用表示装置および車両用映像表示制御方法の最良の実施形態について、図面を参照しながら詳細に説明する。
(第1の実施形態)
最初に、本発明による車両用表示装置および車両用映像表示制御方法の第1の実施形態について説明する。
先ず、本発明による車両用表示装置の構成の一例について、図1を用いて説明する。ここに、図1は、本発明による車両用表示装置の基本構成の一例を示すシステム構成図である。
本発明による車両用表示装置の基本構成は、図1に示すように、表示コントローラ11、車両情報収集手段12、ナビゲーション装置13、車両周囲センサ14、複数台の電子式の車載カメラ15、カメラ映像切替装置16、表示装置17を少なくとも含んで構成されている。
図1の基本構成においては、車両のセンサ群として、車両情報収集手段12、ナビゲーション装置13、車両周囲センサ14を少なくとも備えている。車両情報収集手段12は、車速、ステアリング操舵角、アクセル開度、ブレーキのON/OFFスイッチ、ギア位置、ウィンカーなどの車両状態や操作状況(運転操作量)に関する車両信号を取得して、表示コントローラ11に対して出力する車両情報収集ステップを実現するものである。ナビゲーション装置13は、自車両周辺の道路地図情報や自車位置情報を取得して、表示コントローラ11に対して出力するものである。
車両周囲センサ14は、超音波センサやミリ波レーダに代表されるセンサで構成され、車両周囲の数十cmから数十mの範囲に存在する障害物までの距離を測定可能な車両周囲センシングステップを実現するものである。車両周囲センサ14は、測定した障害物までの距離を、障害物検出信号として、表示コントローラ11に対して出力する。
表示コントローラ11は、車両情報収集手段12からの車両信号(車両情報)、ナビゲーション装置13からの道路地図情報や自車位置情報に関する信号、車両周囲センサ14からの障害物までの距離に関する信号を用いて求められる、自車両の狭路や屈曲路の走行の有無や、周囲の障害物との距離や道路形状などから、狭路や屈曲路の走行における走行状況を判断し、その判断結果に応じた映像の表示範囲や視点位置などに、車載カメラ15で撮影した映像を変換する指示となる表示制御指令すなわち車両周辺の映像の表示内容を設定する表示制御指令をカメラ映像切替装置16に対して出力する表示制御ステップを実現するものである。
カメラ映像切替装置16は、車載カメラ15で撮影した映像の表示内容例えば車両周辺の映像の表示範囲や視点位置(仮想視点位置)や視線方向(仮想視線方向)などを切り替えるカメラ映像切替手段を提供するものであり、表示コントローラ11からの表示制御指令に応じて、車体の左右側方を表示できるように、車両前端の左右側方に取り付けられた車載カメラ15からの出力映像を視点変換し、表示装置17上に表示するカメラ映像切替ステップを実現するものである。
次に、図1の車両用表示装置の基本構成例における具体的なハードウェア構成について、図2を用いて説明する。図2は、本発明による車両用表示装置のハードウェア構成の一例を示すブロック構成図であり、図1に示した基本構成における各装置について、具体的な構成例を示している。
図2に示すように、本発明による車両用表示装置を構成する各装置は、車両内LAN(Local Area Network)10に接続されて、指定した装置との間で、相互にデータの転送を行うことが可能とされている。
ナビゲーション装置13は、自車両位置測定装置131、道路情報取得手段132、地図データベース(DB:DataBase)133、アンテナ134、インフラ受信器135を少なくとも含んで構成される。
自車両位置測定装置131は、自車両の位置を測位するものであり、GPS(Global Positioning System)やジャイロによる自律航法などを用いて、自車両の現在位置を測位して、自車位置情報として、道路情報取得手段132と表示コントローラ11とに対して出力する。なお、自車両位置測定装置131としては、この他に、GPSアンテナおよび受信器を備えた携帯電話機を使用するようにしても良い。
また、道路情報取得手段132は、自車両位置測定装置131からの自車位置の測位結果を示す自車位置情報に基づいて、地図データベース133の地図データに記録されている道路上にマッチングさせて、自車両周辺の道路地図情報を取得して、表示コントローラ11に対して出力する。
また、地図データベース133は、車両走行用の道路を含む地図データを蓄積しているデータベースであり、例えば、DVDやHDDなどの記憶メディアによって構成される。
さらに、道路に設置されたビーコンなどの狭い範囲に対する情報提供インフラやFM多重放送などの広い範囲に対する情報提供インフラからの情報を受信するためのアンテナ134およびインフラ受信器(コンバータ)135も備えている。
次に、車両情報収集手段12としては、例えばCANのような車両内LAN10を介して、各種のセンサ機器から車速や横加速度、ヨーレートなどの車両挙動に関する情報や、操舵角、アクセル開度、ブレーキSW信号、ギア位置、ウィンカー、ハザードSWなどの運転操作量に関する操作状況を取得して、車両信号として、表示コントローラ11に対して出力する。
車両周囲センサ14としては、例えば、車両前後バンパーの左右角部に取り付けられた超音波センサ141やミリ波レーダ142などで構成され、車両周囲の数十cmから数十mの範囲に存在する障害物までの距離を測定して、障害到達距離信号として、表示コントローラ11に対して出力する。なお、ここで用いるミリ波レーダ142は、検知角度が90度以上と広く、測定可能距離が十数mまでの近距離の障害物検知に適したものであり、バンパー内部に取り付け可能である。
表示コントローラ11としては、車両情報読取部111、ナビ情報読取部112、走行状況判定部113、距離測定値読取部114、カメラ映像切替指令部115を少なくとも含んで構成される。
車両情報読取部111は、車両情報収集手段12から送信されてくる車両信号に含まれている車両情報を読み取るものであり、ナビ情報読取部112は、ナビゲーション装置13から送信されてくる自車位置情報や自車位置周辺の道路地図情報を読み取るものである。
距離測定値読取部114は、車両周囲センサ14による車体前後左右の障害物までの距離の測定結果を読み取るものであり、走行状況判定部113は、車両情報読取部111、ナビ情報読取部112および距離測定値読取部114からの出力情報に基づいて、狭路への進入、狭路の通過、クランク、交差点などの屈曲路での旋回などのような狭路や屈曲路における走行状況を判定し、判定結果をカメラ映像切替指令部115に対して出力するロジックを備えているものである。
カメラ映像切替指令部115は、走行状況判定部113の判定結果に応じて、車載カメラ15が撮影した車両周辺の映像を表示装置17上に表示する視点位置(仮想視点位置)、視線方向(仮想視線方向)や表示範囲などの表示内容を指定する表示制御指令をカメラ映像切替装置16に対して出力するロジックを備えている。
次に、カメラ映像切替装置17は、例えば、図2の車載カメラ配置例に示すように、車載カメラ15にて撮影された映像、すなわち、車体全体の左右角部に取り付けられた画角が120°〜130°程度の標準カメラ151、および、車両フロントバンパーの前後端や左右のドアミラーの下部に取り付けられた画角が180°以上の広角カメラ152にて撮影された映像を、表示コントローラ11からの表示制御指令に従って、車両の狭路・屈曲路の走行確認に必要な範囲の映像(車載カメラ15の仮想視点位置、仮想視線方向、仮想表示範囲)へと、車載カメラ15の視点位置、視線方向、表示範囲を変換するカメラ映像切替手段を提供する。
なお、本発明は、図2に示す構成に限るものではなく、例えば、表示コントローラ11およびカメラ映像切替装置16のハードウェア構成は、それぞれ前述したような機能を備えた独立した1つの演算ユニットにまとめた構成としても良い。また、例えば、車両情報読取部111、ナビ情報読取部112、走行状況判定部113、距離測定値読取部114などの機能をナビゲーション装置13内にまとめるようにしても良いし、カメラ映像切替指令部115とカメラ映像切替装置16の機能を車載カメラ15のコントロールユニット内にまとめて備えるようにして良く、任意の複数の装置に機能を分散配置したり、逆に、ある装置内に機能を統合したりするように構成しても良い。
表示装置18の構成例としては、右側Aピラー下部からメータインパネ上部を経てセンタコンソールにかけた範囲および助手席ダッシュボード付近までを複数の液晶ディスプレイで構成するワイドディスプレイ181や、インパネから助手席左端までを一つのディスプレイとしたホリゾンタルモニタ(ホリゾンタルディスプレイ)182などが挙げられる。
次に、図1,2に示した本発明の車両用表示装置の動作について説明する。
ナビゲーション装置13の地図データベース133に蓄積される地図データすなわち道路地図情報は、通常、ノード(交差点やJCTなどの分岐路があるポイントの位置座標)および補完点(道路の屈曲を描画するためのポイントの位置座標)のポイントデータと、ノード同士の間を結ぶリンクデータと、から構成されている。
該ポイントデータと該リンクデータとは、それぞれ属性情報を持っている。リンクデータの属性の例としては、道路種別や道路幅、車線数などが、一方、ポイントデータの属性の例としては、信号機の有無やトンネルの出入口などが挙げられる。
地図データベース133の道路地図データとして記録されているこれらの情報を活用して、現在走行中の道路が、ドライバ(運転者)に対して車両左右側方の映像表示による支援が必要な狭路や屈曲路であるか否かを推定し、映像表示が必要な狭路や屈曲路を走行中であると推定された場合には、車体側方を含む映像の表示範囲、視点位置、視線方向を決定して、表示装置17上に表示を行う。
なお、狭路や屈曲路の走行を推定する条件としては、次に示す(条件1)または(条件2)のいずれかを満たす場合とする。
(条件1):自車位置がマップマッチングしているリンクの属性があらかじめ定めた要件のいずれかを満たす場合
(条件2):自車位置から進行方向に向って、あらかじめ定めた要件のいずれかを満たすリンクに接続しているノードまでの距離が、あらかじめ定めた所定距離(例えば20m)以下である場合
ここで、(条件1)、(条件2)に示したあらかじめ定めた要件としては、例えば、次に示すような要件を設定すれば良い。
(1)自車の現在位置の道路が、映像を表示する道路としてあらかじめ定めた道路種別例えば図3に示す道路種別における「細街路」に該当している場合
(2)自車の現在位置の道路の車線数が、あらかじめ定めた車線数以下例えば1以下である場合
(3)自車の現在位置の道路の道路幅が、あらかじめ定めた道路幅以下例えば5.5m以下である場合
ここに、図3は、道路種別ごとの主要度の順位の一例を説明するための道路種別テーブルであり、「細街路」は、最も主要度(優先度)が低い道路である。
すなわち、例えば、ナビゲーション装置13から取得される道路地図情報に含まれている道路種別、車線数、道路幅の属性のいずれか1ないし複数の情報を用いることにより、自車両が狭路や狭い屈曲路を走行中か否かまたは狭路の近傍を走行中か否かの判別をするように設定すれば良い。なお、狭路や屈曲路の走行を推定するための道路種別に関する要件としては、かかる場合に限定するものではなく、さらに異なる条件を設定しても良い。
次に、狭路や屈曲路(クランク)の走行時の走行状況に応じた映像の撮影範囲および視点位置・視線方向を決定する動作について説明する。先ずは、狭路や屈曲路(クランク)における走行シーン毎の映像の具体例について、図4に従って説明する。図4は、狭路における各走行シーンに対応して表示する映像を切り替える一例を説明するための映像切替テーブルであり、走行シーンの種類として横方向に「(A)狭路進入時」、「(B)狭路通過時」、「(C)クランク通過時」の3つのシーンに分類した例を示し、縦方向に、それぞれの走行シーンに適した車体周囲の映像に変換して表示する一例として、映像の「撮影範囲(路面上)」、映像の「視点位置と視線方向」、具体的な「表示映像イメージ」を例示している。
図4の「撮影範囲(路面上)」欄、「表示映像イメージ」欄に示すように、「(A)狭路進入時」においては、撮影範囲として、車両左右前方の映像を、車両の左右ドアミラー近辺の視点位置から見て、車体を含めて撮影した映像とし、車両前方における狭路入口と車幅との位置関係をドライバが確認可能な映像を表示する。
具体的には、撮影範囲は、左右の前輪側方から車両前方左右側方にかけての所定距離(例えば5m)までを含む範囲とし、図4の「視点位置と視線方向」欄に示すように、視点位置がドアミラー付近であり、視線方向はこの視点位置から車両前方を覗き込んだ時の映像となる。
また、「(B)狭路通過時」においては、車両左右側方の映像を、左右の後輪や車両後端近辺の視点位置から見て、車体を含めて撮影した映像とし、車体から壁や溝までの距離や車体と壁とが平行であるか等の位置関係をドライバが確認可能な映像を表示する。
具体的には、撮影範囲は、車両の左右の後輪側方からフロントバンパー、車両前方左右側方にかけての車体側方全体を含む範囲とし、図4の「視点位置と視線方向」欄に示すように、視点位置がリアバンパー上方付近、車両後端上方付近であり、視線方向はこの視点位置から車両前方に向って車体側方全体を見渡した時の映像となる。
また、「(C)クランク通過時」においては、車両が旋回する方向となる車両左(右)側方の映像とその反対側の(左)右前方角の映像とを、それぞれ、車両左(右)後方、車両(左)右前端の視点位置から見て、車体を含めて撮影した映像とし、クランクを曲がるときの旋回方向側の車両側方の巻き込みと旋回方向とは反対側の車両前端角の接触との有無をドライバが確認可能な映像を表示する。
具体的には、撮影範囲は、旋回方向側は狭路通過時と同様に後輪からフロントバンパー、車両前方左右側方にかけての車体側方全体を含む範囲の映像とし、図4の「視点位置と視線方向」欄に示すように、視点位置がリアバンパー上方付近、車両後端上方付近であり、視線方向はこの視点位置から車両前方に向って車体側方全体を見渡した時の映像となる。一方、旋回方向の反対側はフロントバンパーの前端角部周辺の映像とし、図4の「視点位置と視線方向」欄に示すように、視点位置が車両前端角部から少し上方であり、視線方向はこの視点位置からフロントバンパー下部の地表面を見下ろした時の映像となる。
次に、狭路進入時における表示映像の切替動作について、図5、図6を用いて説明する。ここに、図5は、車両周囲センサの測定範囲の一例を示す概念図であり、狭路に進入したか否かを判定するための障害物の測定範囲を例示している。また、図6は、狭路進入時の表示映像の切替動作の一例を説明するための映像切替テーブルであり、狭路への接近時(アプローチ時)、狭路への進入開始時、狭路への進入中、狭路を通過中の各時点における「障害物との位置関係と撮影範囲(路面上)」、「表示映像イメージ」、「視点位置と視線方向」を例示している。
車両の狭路への進入の有無は、図5の概念図に示すように、例えば、車両前後の左右角部に取り付けられた車両周囲センサ14(距離センサ)の測定結果を、表示コントローラ11の距離測定値読取部114によって読み取ることによって判定する。車両周囲センサ14の測定範囲は、車両前方については、車幅を示す車両左右両端付近の正面方向から左右真横までの範囲をカバーするために画角をおよそ90度とし、車両後方については、後方から接近する車両の範囲を除外するために、左右真横からある角度範囲に限定するために、画角をおよそ45度とする。
ここで、車両が狭路へ進入したものと判定する場合、図5に示すように、それぞれの位置における車両周囲センサ14について、左前角、右前角、左後角、右後角の測定範囲内に存在する障害物までの測定距離Lfl、Lfr、Lrl、Lrrのいずれかがあらかじめ定めた所定の距離範囲内にある場合とする。
図6の(A)欄「狭路アプローチ」に示すように、左右前端角に取り付けられた車両周囲センサ14が車両前方斜めに車両幅よりも2m程度しか広くない狭い間隔の障害物を検出した際に、車両前方左右の障害物までの測定距離Lfl、Lfrが5〜6mであり、車両後方左右の障害物までの測定距離Lrl、Lrrが前記所定の距離範囲内においては障害物無しとなった場合には、狭路の入口に接近しつつあり、狭路への進入の準備をする段階に至ったものと判定し、経路入口と車幅との位置関係を把握し易くするために、図4の(A)欄にて説明したように、ドアミラー付近の視点位置から見た映像として、前輪から車両前方にかけての左右両側の映像を表示開始する。
更に、狭路入口に接近して、車両前方左右の障害物までの測定距離Lfl、Lfrの値が減少するに従って、視点位置をドアミラー付近から車両後方へと移動していく。図6の(B)欄「狭路進入開始」に示すように、車両前方左右の障害物までの測定距離Lfl、Lfrがおよそ1mになり、狭路への進入を開始する時点になると、視点位置がフロントドアとリアドアとの境界付近すなわち車両中央部付近にまで連続的に移動しているようにし、狭路入口と車体幅との位置関係および狭路に対して車体が平行となっているか否かの確認が同時に実施可能な映像を提供する。
更に先に進み、車両のボンネット部分が狭路に進入しても、車両前方左右の障害物までの測定距離Lfl、Lfrの値はおよそ1m以下と大きくは変わらないため、以降の走行距離に従って、視点位置が車体側方の更に後方へと移動し、図6の(C)欄「狭路進入中」、(D)欄の「狭路通過中」に示すように、車両後端すなわちリアバンパー上方付近に到達した時点で視点位置の移動を終了する。なお、走行距離の検出は、シフト位置が前進ギアとなっている場合は、車速パルスを積算すれば良い。
視点位置が、図6の(C)欄「狭路進入中」、(D)欄の「狭路通過中」のように車両後端すなわちリアバンパー上方付近にまで到達した際には、図6の「表示映像イメージ」に示すように、後輪側方からフロントバンパー、車両前方側方方向にかけての車体側方全体を見渡せる映像となり、車体と壁との平行関係が確認し易くなる。すなわち、車載カメラ15で撮影した映像を、車体側方を含む撮影範囲に視点変換する際に用いる視線方向を車体後方から前方の方向とすることにより、映像画面内のオプティカルフローの方向を車両の進行方向と一致させることができ、車体と壁の平行関係が確認し易くなる。
また、図6の(D)欄の「狭路通過中」に示すように、車体全体が狭路に進入した際には、車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrの値は全ておよそ1m以下となっている。
なお、ここでは、車両周囲センサ14を用いた例について示したが、車両周囲センサ14を用いずに、ナビゲーション装置13の道路地図情報のみを用いて、自車位置が、前述した(条件2)を満たしてからの走行距離すなわち狭路までの距離があらかじめ定めた所定距離(例えば20m)に達してからの走行距離に従って、図6の(A)〜(D)に示すように、車体左右側方の映像表示範囲を移動させるようにしても良い。
以上のように、ナビゲーション装置13や車両周囲センサ14によって検出された狭路および障害物との位置関係に応じて、車体側方の映像の撮影範囲および視点位置、視線方向を設定することにより、狭路進入時には、狭路の入口と車体幅との位置関係の把握に必要となる前輪側方から車両左右前方の範囲の映像を、また、狭路通過時には、車体と壁などの障害物との位置関係の確認に必要となる車体左右側方の映像を、ドライバに提供することができ、安全運転を確保することができる。
次に、狭い屈曲路を形成するクランク通過時における表示映像の切替動作について、図7を用いて説明する。図7は、クランク通過時の表示映像の切替動作の一例を説明するための映像切替テーブルであり、左クランクへの進入開始時、左クランク通過中、左クランク通過完了時の各時点における「クランクとの位置関係と撮影範囲(路面上)」、「表示映像イメージ」を例示している。
クランクに進入開始した直後で、操舵角を直進状態のまま、車体の旋回を開始する前までは、図7の(A)に示すように、図6の(D)欄の「狭路通過中」と同様に、車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrの値は全ておよそ1m以下となり、視点位置が、車両後端すなわちリアバンパー上方付近にまで到達して、後輪からフロントバンパーにかけての車体左右側方全体を見渡せる映像を表示する。
しかる後、左クランクの通過中状態に達して、操舵角を左旋回させた結果、操舵角の絶対値が、あらかじめ定めた所定角度Sth(例えば30°)を超えて変化したり、または、ナビゲーション装置13に搭載のジャイロが示す方位とクランク手前のリンクの方向との差が、あらかじめ定めた所定角度Sthを超えて変化した場合には、クランクを通過するための旋回操作が開始されたものと判定し、図7の(B)に示す「表示映像イメージ」のように、旋回方向と反対側の映像を車両前端角すなわち車両フロントバンパーの角部周辺のスポット映像に切り替える。
これにより、図7の(B)に示すように、左折のクランクを通過する際には、車両前方右の障害物までの測定距離Lfrの値は、例えばおよそ50cm以下となる一方、車両前方左の障害物までの測定距離Lflの値は、例えば1m以上になるものの、まだ余裕があり、左側の巻き込み確認と右前角の接触確認とができる映像を提供することができる。
その後、操舵角の絶対値が所定値Sth以下の角度に戻ったり、または、ジャイロが示す方位とクランク後のリンクの方向との差が、所定角度Sth以下の角度に戻った場合には、あるいは、操作角や、ジャイロ方向とリンク方向との関係が、直進状態に戻った場合には、クランクの通過を終了したものと判定し、旋回方向と反対側のスポット映像を、車体側方全体を見渡せる映像に戻す。このとき、車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrの値は例えば全ておよそ1m以下となり、左右いずれの視点位置も、車両後端のリアバンパー上方付近にまで到達た状態に戻り、後輪からフロントバンパーにかけての車体左右側方全体を見渡せる映像を表示することになる。
また、操舵角やジャイロの方位を用いて判定する代わりに、ナビゲーション装置13によって取得された自車位置周辺の道路形状の曲率半径または屈折角度が、あらかじめ定めた所定値を超えた場合は、クランクを通過するための旋回操作が開始されたものと判定し、図7の(B)に示す「表示映像イメージ」のように、自車の進行方向に対して道路が屈折している方向側とは反対側の映像を車両フロントバンパーの角部周辺のスポット映像に切り替えるようにしても良い。
以上のように、車両情報収集手段12によって検出された操舵状況やナビゲーション装置13のジャイロにより取得された方位情報などに応じて、車体側方の映像の撮影範囲、視点位置、視線方向を切り替えて設定することにより、クランクなどの道路幅が狭い屈曲区間を通過する際に、接触や巻き込みの確認が必要となる操舵方向側の車両側方、および、操舵方向とは反対側の車両前端角周辺の映像を、ドライバに提供することができ、接触や巻き込みを防止した安全運転を確保することができる。
あるいは、ナビゲーション装置13によって検出された自車位置周辺の道路の屈曲度合いに応じて、車体側方の映像の撮影範囲、視点位置、視線方向を切り替えて設定することも可能であり、前述した車両情報収集手段12により検出した操舵状況などに応じて撮影範囲、視点位置、視線方向の設定を行う場合と同様に、接触や巻き込みの確認が可能な映像を、ドライバに提供することができる。
なお、図7に示すような本実施例については、一般的に、狭い屈曲路における表示映像として適用可能なものであり、クランクの場合だけでなく、狭路の交差点における右左折の場合においても、全く同様に作動するものである。
以上のような映像の切替制御に関する具体的な処理の流れについて、図8のフローチャートに沿って説明する。図8は、本発明による車両用表示装置における映像切替制御方法すなわち車両用映像表示制御方法の流れの一例を説明するためのフローチャートであり、図8(A)は、映像切替制御方法のメインの流れの一例を示すフローチャートであり、図8(B)は、走行シーンを判定するための流れの一例を示すフローチャートである。なお、図8に示すフローチャートの動作は、図2の表示コントローラ11において、一定時間間隔 (例えば、2.0[s])の周期で起動するようにしても良いし、また、自車両が所定距離(例えば100m)走行する都度、起動するようにしても良い。
なお、図8の動作すなわち表示制御用の各ステップを、映像切替制御プログラムとしてプログラム論理により実現することも可能である。表示コントローラ11全体の動作もプログラム論理によって実現している場合は、表示コントローラ11のメインプログラムより図8に示す映像切替制御方法の動作を起動することになる。
図8(A)のフローチャートにおいて、先ず、表示コントローラ11は、ナビゲーション装置13から送信されてくる自車両周辺の地図情報をナビ情報読取部112によって読み取って、自車両進行方向の道路上の所定距離D(例えば200m)の範囲内にあるポイントデータおよびリンクデータを取得する(ステップS111)。所定距離Dは、さらに、車速V[m/s]に応じた加算処理をして、例えば、次に示す式に従って設定するようにしても良い。
D[m] = 3.0*V[m/s]+200
取得された自車両進行方向の道路上の所定距離Dの範囲内にあるポイントデータおよびリンクデータに基づいて、狭路へ接近しているか否か、または、狭路を走行中であるか否かを判別する(ステップS112)。ここで、狭路走行に関する判別方法は、前述した(条件1)または(条件2)のいずれかを満たすか否かなどを用いる。
ステップS112において、狭路への接近または狭路走行中と判別された場合には(ステップS112のYES)、狭路へのアプローチ中、狭路へ進入開始、狭路を通過中、クランクを通過中などの狭路における走行シーンNSを判別する(ステップS113)。なお、走行シーンの判別手法の詳細については、図8(B)のフローチャートを用いて後述する。
ステップS113において判別された走行シーンNSに応じて、表示する映像の仮想視点位置、仮想視線方向および映像の表示範囲を決定する(ステップS114)。
表示する映像の仮想視点位置、仮想視線方向および映像の表示範囲の具体例を、図9、図10に例示している。図9は、車体への実カメラの取付位置および仮想カメラ位置(すなわち、車載カメラ15の撮影映像の仮想視点位置、仮想視線方向)および撮影範囲の一例を示す概念図であり、一例としてF50型シーマの車体左半分についての座標系を用いて示している。また、図10は、実カメラの取付位置の取付位置および取付角度と仮想カメラの視点位置および視線方向との一例を説明するための設定テーブルであり、図10(A)には、実カメラの取付位置を示し、図10(B)には、仮想カメラの位置を示している。
図9において、各座標軸の原点は、X軸が車体の車幅方向の中心、Y軸が前輪の車軸の位置、Z軸がタイヤの接地面の位置としている。また、角度については、yaw方向は、Y軸に沿って車両前方方向を0°、反時計回りを正とし、pitch方向は、水平方向を0°、上向きを正としている。
図10(A)のフロント、左側方およびリアそれぞれに取り付けられた実カメラCf、Cl、Crの取付座標X、Y、Zおよび取付角度yaw、pitchに示すように、実カメラは、車体フロントバンパー中央と左ドアミラー近辺とリアバンパー中央の位置に、それぞれの角度で取り付けられている。なお、右側方に取り付けられる実カメラの取付位置については、左側方の実カメラClの取付位置をY軸に対して線対称に移動した右ドアミラー近辺の位置となる。
また、図10(B)の仮想カメラの仮想視点位置P1、P2、P3の視点座標X、Y、Zおよび仮想視線方向(角度)yaw、pitchに示すように、実カメラCf、Cl、Crそれぞれで撮影した映像を、車体左側方の表示映像に変換する際の仮想カメラの視点位置として、狭路やクランクの走行シーンに応じて、左ドアミラー近辺、車両中央部近辺となる左フロントドアと左リアドアとの境界近辺、車両後端近辺であるリアバンパー近辺とし、仮想視線方向(yaw,pitch)をそれぞれ仮想視点位置の車体上方から前方下方向としている。なお、図10(B)には、仮想カメラの画角の範囲(仮想表示範囲)の一例として、いずれの場合も、80.0°とした場合を示している。
図9において、仮想カメラの視点位置P1は、走行シーンNSが、図6(A)のように狭路アプローチの状態にある場合であり、視点位置P2は、図6(B)のように狭路進入開始時点にある場合であり、視点位置P3は、図6(C)または(D)のように狭路進入中または狭路通過中の状態にある場合である。
なお、撮影範囲については、図9に符号S1〜S3に示すように、地表面となるZ=0平面上において、仮想視点位置P1〜P3に対応して、縦方向は、仮想視点位置P1〜P3それぞれから前方5000mm(車体の長さ4926mmをカバーする範囲)、横方向は仮想視点位置P1〜P3それぞれを含む2000mm(すなわち、仮想視点位置から車体を含むように車体左側方から僅かにX軸の正の方向へずれた位置から2000mmまでの範囲)とする。ここに、図10(B)に示す仮想視線方向(yaw,pitch)および画角は、この撮影範囲S1〜S3をカバーするように設定されている。
さらに、仮想カメラの仮想視点位置のY座標は、仮想視点位置P1からP3の間を連続的に変化させても良い。例えば、図6(A)の狭路アプローチから図6(B)の狭路進入開始までにかけては、図11(A)に示すように、前方左右の車両周囲センサ14による障害物までの測定距離Lfl、Lfrのうち、いずれか最小値側の測定距離に従って、仮想カメラの視点位置(仮想視点位置)のY座標をドアミラー近辺から車両中央部近傍までへと連続的に変化させた位置に設定しても良い。図11(A)の場合、測定距離Lfl、Lfrの最小値が5000mmから500mmの範囲でP1の仮想視点位置−960mmからP2の仮想視点位置−1550mmまで連続的に変化させた視点位置としている例を示している。ここに、図11は、仮想カメラの視点位置のY座標を連続的に変化させる様子の一例を示すグラフである。
また、図6(B)の狭路進入開始から図6(C)の狭路進入中の状態になるまでにかけては、図11(B)に示すように、前方左右の車両周囲センサ14による障害物までの測定距離Lfl、Lfrの最小値が0.5mとなってからの積算走行距離すなわち狭路進入開始時点からの積算走行距離に応じて、仮想カメラの視点位置(仮想視点位置)のY座標を車両中央部近傍から後輪付近、リアバンパー付近へと連続的に変化させた位置に設定するようにしても良い。図11(B)の場合、測定距離Lfl、Lfrの最小値が0.5mとなってからの積算走行距離が0mmから2000mmの範囲でP2の仮想視点位置−1550mmからP3の仮想視点位置−4016mmまで連続的に変化させた視点位置としている例を示している。
なお、車体右側の実カメラの取付位置、仮想カメラの視点位置については、図10の実カメラの取付位置、仮想カメラの視点位置をY軸に対して線対称に移動した位置とし、車体右側の実カメラの取付角度、仮想カメラの視線方向については、図10の実カメラの取付角度、仮想カメラの視線方向と全く同じとする。また、走行シーンNSがクランク通過中と判定された場合における旋回方向反対側のスポット映像については、図2に示す車体前端の左右角に取り付けられた標準カメラ151で撮影した映像をそのまま用いても良い。
図8(A)のフローチャートに戻って、最後に、ステップS114において仮想視点位置、仮想視線方向および仮想表示範囲を決定した映像を、例えば図2に示すワイドディスプレイ171やホリゾンタルディスプレイ172などの表示装置17上に表示する(ステップS115)。なお、表示装置17上の表示位置については、表示装置17の左右両端の領域に、それぞれの車体左右の映像を配置しても良く、また、センタコンソール上部の領域に車体左右の映像を並べて表示するようにしても良い。
次に、図8(B)の走行シーン判定処理に関するフローチャートについて説明する。
図8(B)において、先ず、クランクまたは交差点における右左折を判別するために、ステアリング操舵角Strの絶対値があらかじめ定めた所定角度Sthよりも大きいか否かを判定する(ステップS211)。なお、ここでは、ステアリング操舵角Strの他に、ナビゲーション装置13のジャイロが示す方位とクランク前またはクランク後のリンクの方向との差、ナビゲーション装置13の道路形状が示す曲率半径や屈折角度などを用いても良い。ここで、ステアリング操舵角Strの絶対値があらかじめ定めた所定角度Sthよりも大きい場合は(ステップS211のYES)、ステップS216へ進み、走行シーンNSを「クランク通過中」と判別する(ステップS216)。
一方、ステアリング操舵角Strの絶対値があらかじめ定めた所定角度Sthよりも大きくない場合は(ステップS211のNO)、次に、車両周囲センサ14における車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrの全てが、あらかじめ定めた所定距離Lth(例えば1.0m)よりも小さいか否か、すなわち、測定距離Lfl、Lfr、Lrl、Lrrが、次に示す狭路通過中の条件(1)〜(4)の全てを満たしているか否かを判定する(ステップS212)。
(1)Lfl<Lth
(2)Lfr<Lth
(3)Lrl<Lth
(4)Lrr<Lth
ここで、狭路通過中の条件(1)〜(4)の全てを満たしている場合は(ステップS212のYES)、ステップS217へ進み、走行シーンNSを「狭路通過中」と判別する(ステップS217)。
一方、狭路通過中の条件(1)〜(4)のいずれか1つでも満たしていない場合は(ステップS212のNO)、次に、車両周囲センサ14における車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrおよび走行距離積算値Dxが、次に示す狭路進入中の条件(1)〜(5)を全て満たしているか否かを判定する(ステップS213)。なお、条件(1)、(2)に示す符号Lthは、前述のように、あらかじめ定めた所定距離 (例えば1.0m)であり、条件(5)に示す符号Dthは、あらかじめ定めた所定距離 (例えば2.0m)であり、走行距離積算値Dxは、走行シーンNSが狭路進入開始と判別された以降の積算走行距離である。
(1)Lfl<Lth
(2)Lfr<Lth
(3)Lrl→検出なし
(4)Lrr→検出なし
(5)Dx>Dth
ここで、狭路進入中の条件(1)〜(5)を全て満たしている場合は(ステップS213のYES)、ステップS218へ進み、走行シーンNSを「狭路進入中」と判別する。
一方、狭路進入中の条件(1)〜(5)のいずれか1つでも満たしていない場合は(ステップS213のNO)、次に、車両周囲センサ14における車両前後左右の障害物までの測定距離Lfl、Lfr、Lrl、Lrrが、次に示す狭路進入開始の条件(1)〜(4)を全て満たしているか否かを判定する(ステップS214)。なお、Lthは、前述のように、あらかじめ定めた所定距離 (例えば1.0m)である。
(1)Lfl<Lth
(2)Lfr<Lth
(3)Lrl→検出なし
(4)Lrr→検出なし
ここで、狭路進入開始の条件(1)〜(4)を全て満たしている場合は(ステップS214のYES)、ステップS219へ進み、走行シーンNSを「狭路進入開始」と判別する(ステップS219)。なお、走行シーンNSが狭路進入開始と判別されてから走行距離の積算を開始するので、さらに、ステップS222へ進み、走行距離積算値Dxに前回の走行シーン判別からの走行距離を加算する(ステップS222)。走行距離の算出は、シフト位置が前進ギアとなっている際に車速パルスを積算する手法などを用いることができる。
一方、狭路進入開始の条件(1)〜(4)のいずれか1つでも満たしていない場合は(ステップS214のNO)、次に、車両周囲センサ14における車両前後左右の障害物までの測定距離Lfl、Lfrが、あらかじめ定めた所定距離Lap(例えば5.0m)よりも小さいか否か、すなわち、測定距離Lfl、Lfr、Lrl、Lrrが、次に示す狭路アプローチの条件(1)〜(4)を全て満たしているか否かを判定する(ステップS215)。ここに、符号Lapは、前述のように、あらかじめ定めた所定距離Lap(例えば5.0m)である。
(1)Lfr<Lap
(2)Lfl<Lap
(3)Lrl→検出なし
(4)Lrr→検出なし
ここで、狭路アプローチの条件(1)〜(4)を全て満たしている場合は(ステップS215のYES)、ステップS220へ進み、走行シーンNSを「狭路アプローチ」と判別する(ステップS220)。
なお、以上のステップにおいて、走行シーンNSが「クランク通過中」、「狭路通過中」、「狭路アプローチ」のいずれかと判別された場合(ステップS216、S217、S220)、および、いずれの走行シーンにも該当しない場合(ステップS215のNO)は、ステップS221に進み、走行距離積算値Dxを“0”にリセットする(ステップS221)。
以上に詳細に説明したように、本実施形態においては、次のような効果が得られる。
先ず、ナビゲーション装置13からの自車位置周辺の道路地図情報、車両情報収集手段12からの車両情報、車両周囲センサ14からの障害物までの距離情報などを用いて、狭路や屈曲路の走行中における走行状況を判別し、走行状況に応じて、車両周辺の映像の表示範囲、視点位置、視線方向を変更して設定することにより、走行状況に応じて変化する最も接触の可能性が高い車体部分を含んだ範囲の映像に自動的に切り替えて表示することができるので、狭路や屈曲路を走行中において、安全に走行するために最も必要な映像をドライバの提供することができる。
また、ナビゲーション装置13や車両周囲センサ14によって検出した狭路や屈曲路や障害物との位置関係に応じて、車体側方を撮影した映像の表示範囲、視点位置、視線方向を設定することにより、例えば狭路進入時には、狭路の入口と車体幅との位置関係の把握に必要となる前輪側方から車両前方左右側方の範囲の映像を、また、狭路通過時には、車体と壁などの障害物との位置関係の確認に必要となる車体側方の映像を、ドライバに提供することができる。
さらに、車両情報収集手段12によって検出された操舵状況に応じて、車体側方の映像の表示範囲、視点位置、視線方向を設定することにより、クランクなどの道路幅が狭い屈曲区間を通過する際に、接触や巻き込みの確認が必要となる操舵方向側の車両側方、および、操舵方向とは反対側の車両前端角周辺との映像を、ドライバに提供することができる。
さらに、車両に搭載されたジャイロやナビゲーション装置13によって検出された自車位置周辺の道路の屈曲度合いに応じて、車体側方の映像の表示範囲、視点位置、視線方向を設定することにより、前述した操舵状況に応じて表示範囲、視点位置、視線方向の設定を行う場合と同様に、接触や巻き込みの確認が可能な映像を、ドライバに提供することができる。
さらに、ナビゲーション装置13から取得される道路地図情報に含まれている道路幅、車線数、道路種別の属性のいずれか1ないし複数の情報を用いることにより、自車両が狭路または狭路の近傍を走行中か否かの判別をすることができる。
さらに、車載カメラ15で撮影した映像を、車体側方を含む表示範囲に変換する際に、狭路や屈曲路の走行状況に応じて、仮想視線方向を車体後方から前方の方向とすることにより、映像画面内のオプティカルフローの方向を車両の進行方向と一致させることができる。
(第2の実施形態)
次に、本発明による車両用表示装置および車両用映像表示制御方法の第2の実施形態について説明する。本実施形態においては、車両側方の映像を表示装置17に表示する際に、車両の進行方向と一致するように視線方向を車体後方から前方に向けた映像に変換した第1の実施形態とは異なり、ドラミラーに写っている映像と同様に、視線方向を車体前方から後方に向けた映像を更に鏡像変換して表示する実施例について説明している。
本実施形態における車両用表示装置の構成としては、第1の実施形態における図1のシステム構成と全く同様であるが、表示コントローラ11のカメラ映像切替指令部115においてカメラ映像切替装置16に対して出力する表示制御指令が、第1の実施形態とは異なり、車両進行方向とは逆方向の車体前方から後方に向かう視線方向の映像を鏡像変換して表示するように指示する指令に設定される。
この結果、該表示制御指令を受け取ったカメラ映像切替え装置16は、図12の第2の実施形態欄に示すように、車体側方も含む映像とするために、仮想視点位置を車両の前輪上方更には車両前端上方とし、仮想視線方向が車体後方に向うように、視点変換した映像を、丁度ドアミラーに写っているイメージのように、鏡像変換して、表示装置17上に表示することになる。ここに、図12は、狭路通過中における表示映像のバリエーションの一例を示す表示映像テーブルであり、第1の実施形態、第2の実施形態、および、後述する第3の実施形態のそれぞれにおける狭路通過中の表示内容を対比する形式で、「表示映像イメージ」、「撮影範囲(路面上)」、「視点位置と視線方向」について示している。
図12に示すように、「表示映像イメージ」として、第1の実施形態が、仮想視点位置をリアタイヤ上方に置き、仮想視線方向が車体後方から前方に向かうように、車両進行方向と一致するオプティカルフローであったのに対して、本実施形態は、逆に、仮想視点位置をフロントタイヤ上方に置き、仮想視線方向が車体前方から後方に向かうように、ドアミラーに写る映像方向と一致するオプティカルフローとしている。また、図12に併記した第3の実施形態の「表示映像イメージ」については、後述するように、車両真上から俯瞰した映像を表示するようにしている。
なお、図13に示すように、視線方向を車体後方に向うように切り替えるタイミングは、図13(B)の狭路進入開始時点からであり、図13(A)の狭路アプローチの時点では、狭路入口と車幅との位置関係が把握し易いように、第1の実施形態(図6(A))と同様に、仮想視線方向が車体前方に向う映像を表示するようにし、仮想視点位置をドアミラー近傍から車両中央部近傍へと連続的に移動させた位置とする。
しかる後、車両が狭路進入を開始した時点で、図13(B)のように、仮想視点位置を、車両中央部近傍からフロントタイヤ上方付近へと切り替えるように移動させ、仮想視線方向を車体前方から車体後方に向うように切り替える。また、狭路進入開始時点では、狭路入口と車体幅の位置関係および狭路に対して車体が平行となっているか否かの確認が同時にできるような映像を提供するために、視線方向はフロントドアとリアドアとの境界付近すなわち車両中央部左右側方付近を見下ろす程度にやや下向きで後方に向かう方向とする。
ここに、図13は、狭路進入時の表示映像の切替動作の第1の実施形態における図6とは異なる例を説明するための映像切替テーブルであり、「表示映像イメージ」、「視点位置と視線方向」に示すオプティカルフローの方向が、狭路進入開始時の図13(B)以降において、図6に示した場合とは逆向きに設定されている。
その後、図13(C)、(D)に示すように、車両ボンネット部分が狭路に進入した以降は、車体と壁との平行関係が確認し易い映像を提供するため、仮想視点位置をフロントタイヤ上方付近から更に車両前端付近へと連続的に移動し、また、仮想視線方向を狭路進入時点よりも車体後方のより遠方を向くように設定し直し、フロントタイヤ(前輪)からリアバンパーにかけての車体側方全体が見渡せるような映像とする。
以上のような本実施形態の映像の切替制御に関する具体的な処理の流れについては、第1の実施形態で示した図8のフローチャートのステップS114における仮想視点位置、仮想視線方向、表示範囲の設定内容が異なる以外は、図8のフローチャートと全く同様である。
次に、本実施形態のステップS114における仮想視点位置、仮想視線方向および表示範囲の設定内容について、図14、図15を用いて説明する。ここに、図14は、車体への実カメラの取付位置および仮想カメラ位置(すなわち、車載カメラ15の仮想視点位置、仮想視線方向)および撮影範囲の図9とは異なる例を示す概念図であり、一例として、図9と同様、F50型シーマの車体左半分についての座標系を用いて示しており、座標X、Y、Zおよび角度yaw、pitchのそれぞれは、図9の場合と同様である。また、図15は、仮想カメラの視点位置および視線方向との図10とは異なる例を説明するための設定テーブルである。なお、実カメラの取付位置、取付方向については、第1の実施形態における図10(A)と同様である。
図14において、仮想カメラの視点位置P1は、走行シーンNSが、図13(A)のように狭路アプローチの状態にある場合であり、視点位置P2は、図13(B)のように狭路進入開始時点にある場合であり、視点位置P3は、図13(C)または(D)のように狭路進入中または狭路通過中の状態にある場合である。
なお、撮影範囲については、図14に符号S1〜S3に示すように、地表面となるZ=0平面上において、仮想視点位置P1〜P3に対応して、縦方向は、仮想視点位置P1〜P3それぞれから前方5000mm(車体の長さ4926mmをカバーする範囲)、横方向は仮想視点位置P1〜P3それぞれを含む2000mm(仮想視点位置から車体を含むように車体左側方から僅かにX軸の正の方向へずれた位置から2000mmまでの範囲)とする。ただし、狭路進入開始時点では、前述したように、仮想視点位置P2から、狭路入口と車体幅の位置関係および狭路に対して車体が平行となっているか否かの確認が同時にできるように、やや下向きの仮想視線方向とするために、縦方向の撮影範囲を4500mmと少し短縮している。ここに、図15に示す仮想視線方向(yaw,pitch)および画角は、この撮影範囲S1〜S3をカバーするように設定されている。
すなわち、図15の仮想カメラP1、P2、P3の視点座標X、Y、Zおよび視線方向(角度)yaw、pitchに示すように、実カメラCf、Cl、Crそれぞれで撮影した映像を、車体左側方の表示映像に変換し、更に鏡像変換する際の仮想カメラの視点位置として、狭路やクランクの走行シーンに応じて、左ドアミラー近辺、左フロントタイヤ上方近辺とし、視線方向(yaw,pitch)を車体上方から前下方向または後下方向としている。
更に説明すると、図14において、走行シーンNSが図13(A)の狭路アプローチ状態にある場合は、仮想カメラ位置P1については、図15に示すように、第1の実施形態の図9の場合と同様である。走行シーンNSが図13(B)の狭路進入開始および図13(C)の狭路進入中それぞれの状態にある場合は、仮想カメラ位置P2、P3については、図14および図15に示すように、第1の実施形態の図9の場合とは異なり、仮想視点位置は、前輪車軸の上方に切り替えられる。なお、図15に示す視線方向および画角については、仮想視点位置P2に関しては、撮影範囲S2の縦方向が、仮想視点位置P2から後方の4500mm(すなわち車両後端までをカバーする範囲)となるように、また、仮想視点位置P3に関しては、撮影範囲S3の縦方向が、仮想視点位置P3から更に後方の6500mmとなるように、設定している。また、仮想視点位置P2、P3の撮影範囲S2、S3の横方向については視点位置P1と同様である。
なお、車体右側の仮想カメラの視点位置については、図15の仮想カメラの視点位置をY軸に対して線対称に移動した位置とし、車体右側の仮想カメラの視線方向については、図15の仮想カメラの視線方向と全く同じとする。
以上に詳細に説明したように、本実施形態においては、次のような効果が得られる。
すなわち、車載カメラ15で撮影した映像を、車体側方を含む範囲に変換する際に、狭路や屈曲路の走行状況に応じて、仮想視線方向を車体前方から後方の方向とし、こうして変換した映像を、更に鏡像変換することにより、映像画面内のオプティカルフローの方向をドアミラーの方向と一致させることができる。
(第3の実施形態)
次に、本発明による車両用表示装置および車両用映像表示制御方法の第3の実施形態について説明する。本実施形態においては、車両側方の映像を表示装置17に表示する際に、車両の進行方向と一致するように視線方向を車体後方から前方に向けた映像に変換した第1の実施形態や視線方向を車体前方から後方に向けた映像に変換した第2の実施形態とは異なり、車体真上から俯瞰した映像に変換して表示する実施例について説明している。
本実施形態における車両用表示装置の構成としては、第1の実施形態における図1のシステム構成と全く同様であるが、表示コントローラ11のカメラ映像切替指令部115においてカメラ映像切替装置16に対して出力する表示制御指令が、第1、第2の実施形態とは異なり、車体真上から俯瞰した視線方向の映像を表示するように指示する指令に設定される。
この結果、該表示制御指令を受け取ったカメラ映像切替え装置16は、図12の第3の実施形態欄に示したように、仮想視点位置を車両の真上とし、仮想視線方向が車体側方も含み車体全体を真上から俯瞰した方向に向うように、視点変換した映像を、表示装置17上に表示することになる。
以下に、本実施形態において、狭路進入時における映像の切替動作について図16に従って説明する。ここに、図16は、狭路進入時の表示映像の切替動作の第1の実施形態における図6とはさらに異なる例を説明するための映像切替テーブルであり、「表示映像イメージ」、「視点位置と視線方向」に示すオプティカルフローの方向が、図6に示した場合とは異なり、車体真上から俯瞰した方向に設定されている。
先ず、図16(A)の狭路アプローチの時点では、「表示映像イメージ」欄に示すように、俯瞰する撮影範囲をフロントウィンドウ付近から前方とし、狭路入口と車体の位置関係を把握し易い映像とする。
しかる後、車両が狭路入口に近づくに従って、俯瞰する撮影範囲をフロントウィンドウ付近からボンネット方向へ平行移動していき、図16(B)の狭路進入開始時点では、「表示映像イメージ」欄に示すように、俯瞰する撮影範囲を車体のおよそ前半分が含まれるようにし、その後、図16(C)、(D)に示すように、車両ボンネット部分が狭路に進入した以降は、俯瞰する撮影範囲を車体全体が含まれるようにして、車体と壁との平行関係が確認し易いようにする。
以上のような本実施形態における狭路進入時の映像の切替制御に関する具体的な処理の流れについては、第1の実施形態で示した図8のフローチャートのステップS114における仮想視点位置、仮想視線方向および表示範囲の設定内容が異なる以外は、図8のフローチャートと全く同様である。
次に、本実施形態において、クランク通過時における映像の切替動作について図17に従って説明する。ここに、図17は、クランク通過時の表示映像の切替動作の図7とは異なる例を説明するための映像切替テーブルであり、図7と同様、左クランクへの進入開始時、左クランク通過中、左クランク通過完了時の各時点における「クランクとの位置関係と撮影範囲(路面上)」、「表示映像イメージ」を例示している。
走行シーンNSがクランクに進入開始した直後で、操舵角を直進状態のまま、車体の旋回を開始する前までは、図17の(A)に示すように、図16の(D)欄の「狭路通過中」と同様に、車体全体を俯瞰した映像を表示する。
しかる後、走行シーンNSが左クランクの通過中状態に達して、操舵角を左旋回させた結果、操舵角の絶対値が、あらかじめ定めた所定角度Sth(例えば30°)を超えて変化したり、または、ナビゲーション装置13に搭載のジャイロが示す方位とクランク手前のリンクの方向との差が、あらかじめ定めた所定角度Sthを超えて変化した場合には、クランクを通過するための旋回操作が開始されたものと判定し、図17の(B)に示す「表示映像イメージ」のように、旋回方向と反対側の車両前端角部すなわち車両フロントバンパー角部周辺のスポット映像を重畳表示する。図17のような左折クランクの例では、車体全体を俯瞰した映像の右前方に右前端(右車両フロントバンパー)角部のスポット映像が重ねられる。
その後、操舵角の絶対値が所定値Sth以下の角度に戻ったり、または、ジャイロが示す方位とクランク後のリンクの方向との差が、所定角度Sth以下の角度に戻った場合には、あるいは、操作角やジャイロ方向とリンク方向との関係が直進状態に戻った場合には、クランクの通過を終了したものと判定し、図17の(C)に示す「表示映像イメージ」のように、旋回方向と反対側のスポット映像の表示を終了して、車体全体を俯瞰した映像のみを表示する状態に戻す。
また、操舵角やジャイロの方位を用いて判定する代わりに、ナビゲーション装置13によって取得された自車位置周辺の道路形状の曲率半径または屈折角度が、あらかじめ定めた所定値を超えた場合は、クランクを通過するための旋回操作が開始されたものと判定し、図17の(B)に示す「表示映像イメージ」のように、自車の進行方向に対して道路が屈折している方向側とは反対側の映像を車両フロントバンパーの角部周辺のスポット映像に切り替えるようにしても良い。
なお、図17に示すような本実施例については、一般的に、狭い屈曲路における表示映像として適用可能なものであり、クランクの場合だけでなく、狭路の交差点における右左折の場合においても、全く同様に作動するものである。
以上のような本実施形態におけるクランク通過時の映像の切替制御に関する具体的な処理の流れについては、第1の実施形態で示した図8のフローチャートのステップS114における視点位置、視線方向および撮影範囲の設定内容が異なる以外は、図8のフローチャートと全く同様である。
次に、本実施形態のステップS114における仮想視点位置、仮想視線方向および表示範囲の設定内容について、狭路進入時の場合を例にとって、図18、図19を用いて説明する。ここに、図18は、車体への仮想カメラ位置(すなわち、車載カメラ15の仮想視点位置、仮想視線方向)および撮影範囲の図9とはさらに異なる例を示す概念図であり、一例として、F50型シーマの車体全体についての座標系を用いて示しており、座標X、Y、Zおよび角度yaw、pitchのそれぞれは、図9の場合と同様である。また、図19は、仮想カメラの視点位置および視線方向との図10とはさらに異なる例を説明するための設定テーブルである。
図19において、仮想カメラの視点位置P1,P2,P3は、車幅方向の車体中心線であるY軸(X=0)上を、車両の進行に応じて、フロントバンパー近辺から車体中央付近へと移動する。仮想カメラの視点位置P1は、走行シーンNSが、図16(A)のように狭路アプローチの状態にある場合であり、視点位置P2は、図16(B)のように狭路進入開始時点にある場合であり、視点位置P3は、図16(C)または(D)のように狭路進入中または狭路通過中の状態にある場合である。
なお、撮影範囲の縦方向(Y軸方向)については、図18に符号S1〜S3に示すように、地表面となるZ=0平面上において、狭路アプローチ時の仮想視点位置P1の場合は、車体前半分をほぼカバーし、かつ、車体前方5000mmまでを含むような撮影範囲S1とし、狭路進入開始時点の仮想視点位置P2の場合は、Y軸上をマイナス方向に撮影範囲S1を移動して車体前方3500mmまでを含むような撮影範囲S2とする。
また、狭路進入中または狭路通過中の仮想視点位置P3の場合は、Y軸上をマイナス方向に撮影範囲S2を移動して車体の前後2000mmをカバーする撮影範囲S3とする。また、撮影範囲の横方向(X軸方向)については、図18に符号S1〜S3に示すように、いずれも、車体の左右2000mmをカバーする範囲とする。
ここに、図19に示す仮想視線方向(yaw,pitch)および画角は、この撮影範囲S1〜S3をカバーするように設定されており、仮想視点位置のZ座標は、画角30°で撮影範囲S1〜S3をカバー可能な高さに設定している。
すなわち、図19の仮想カメラP1、P2、P3の視点座標X、Y、Zおよび視線方向(角度)yaw、pitchに示すように、実カメラで撮影した映像を、車体真上から俯瞰した表示映像に変換する際の仮想カメラの視点位置として、狭路やクランクの走行シーンに応じて、車体中心線上(Y軸上)をフロントバンパー近辺、前輪近辺、車体中央近辺とし、視線方向(yaw,pitch)を車体真上から真下方向としている。
なお、仮想カメラの視点位置のY座標は、仮想視点位置P1からP3の間を連続的に変化させても良い。例えば、図16(A)の狭路アプローチから図16(B)の狭路進入開始までにかけては、図20(A)に示すように、前方左右の車両周囲センサ14による障害物までの測定距離Lfl、Lfrのうち、いずれか最小値側の測定距離に従って、仮想カメラの視点位置(仮想視点位置)のY座標を、フロントバンパー近辺から前輪近辺へと連続的に変化させた位置に設定しても良い。図20(A)の場合、測定距離Lfl、Lfrの最小値が5000mmから500mmの範囲でP1の仮想視点位置1447mmからP2の仮想視点位置−3mmまで連続的に変化させた視点位置としている例を示している。ここに、図20は、仮想カメラの視点位置(仮想視点位置)のY座標を連続的に変化させる様子の図11とは異なる例を示すグラフである。
また、図16(B)の狭路進入開始から図16(C)の狭路進入中の状態になるまでにかけては、図20 (B)に示すように、前方左右の車両周囲センサ14による障害物までの測定距離Lfl、Lfrの最小値が0.5mとなってからの積算走行距離すなわち狭路進入開始時点からの積算走行距離に応じて、仮想カメラの視点位置(仮想視点位置)のY座標を前輪近辺から車両中央部近辺へと連続的に変化させた位置に設定するようにしても良い。図20(B)の場合、測定距離Lfl、Lfrの最小値が0.5mとなってからの積算走行距離が0mmから2000mmの範囲でP2の仮想視点位置−3mmからP3の仮想視点位置−1553mmまで連続的に変化させた視点位置としている例を示している。
以上に詳細に説明したように、本実施形態においては、次のような効果が得られる。
車載カメラ15で撮影した映像を、車体真上から俯瞰した映像に変換することにより、狭路を走行する際に、車体全体と壁などの周囲の障害物との位置関係が把握し易い映像を、ドライバに提供することができる。
なお、本発明は、以上の実施形態に説明した場合に限定されるものではなく、本発明の趣旨を逸脱しない限り、如何なる形態で実施するようにしても良く、たとえば、前述した実施形態のいずれかを組み合せて、実施するようにしても良い。