JP4784572B2 - 運転支援方法及び運転支援装置 - Google Patents

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のフロントピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をフロントピラーの内側に表示するシステムが提案されている。フロントピラーは、フロントウィンドウやルーフを支える左右の支柱であって、運転席に着座したドライバーからみて斜め前方に位置し、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。

図１２に示すように、上記したシステムは、車体に取り付けられ、撮影領域１０６を撮影可能なカメラ１００と、カメラ１００から出力された映像信号を画像処理する画像プロセッサと、フロントピラー１０１内側に画像を投影するプロジェクタ（いずれも図示略）等を備えている。これによれば、ドライバー位置１０２から見て、あたかもフロントピラー１０１を透過して外部の背景を視認できるような状態になるので、交差点等において、車両の前側方の道路形状や、前側方にある障害物を確認することができる。

カメラ１００によって撮影された映像信号をピラー１０１に投影する際、カメラ１００の視角とドライバーの視角とが一致しないため、ピラー１０１に投影された画像が、ドライバーがウィンドウを介して視認している背景に対して傾いたりずれたりする問題がある。これに対し、特許文献１では、カメラで撮影された画像を、ドライバーの視角に合わせるために設定された仮想平面（仮想スクリーン面）に投影変換している。
特開２００５−１８４２２５号公報

しかし、カメラ１００の焦点位置を決定する場合、例えば図１２に示すように、焦点位置を示す撮影面１０４を、仮想平面１０３の手前であって、仮想平面１０３に近い位置に設定しても、撮影面１０４と仮想平面１０３とが離間している限り、仮想平面１０３に投影されない領域１０７，１０８が生じてしまう。また、図１３に示すように、撮影面１０４を、仮想平面１０３よりもドライバー位置１０２から離れた位置に設定すると、撮影面１０４と仮想平面１０３との間の領域１０９，１１０がピラーに投影されず、無駄が生じる。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ドライバーが違和感を感じない画像をピラーに投影することができる運転支援方法及び運転支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、前記撮影装置から入力した画像データを投影する仮想平面を設定するとともに、前記撮影装置の撮影面を、前記ピラーによって生じる死角領域によって区画された前記仮想平面の端点を通る位置に設定し、前記撮影面に焦点を合わせた前記画像データを取得して該画像データを前記仮想平面に座標変
換し、前記仮想平面に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを要旨とする。

請求項２に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、前記撮影装置から入力した画像データを投影する仮想平面を設定する仮想平面設定手段と、前記撮影装置の撮影面を、前記ピラーによって生じる死角領域によって区画された前記仮想平面の端点を通る位置に設定する撮影面設定手段と、前記撮影面に焦点を合わせた前記画像データを取得して、該画像データを前記仮想平面に座標変換する画像処理手段と、前記仮想平面に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域の画像を表示する出力制御手段とを備えたことを要旨とする。

請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記撮影面設定手段は、前記撮影装置の撮影面を、前記仮想平面よりも前記車両に近い位置に設定することを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の運転支援装置において、前記仮想平面設定手段は、車両周辺の路面上にある描画基準物の位置を取得し、該描画基準物の位置を通る位置に前記仮想平面を設定し、前記撮影面設定手段は、前記撮影装置の光軸の方位と、前記車両のドライバーの頭部位置及び前記描画基準物の位置を結ぶ直線の方位とに基づき、前記撮影面が交差する前記仮想平面の端点を選択することを要旨とする。

請求項１に記載の発明によれば、撮影装置の撮影面を、仮想平面の端点を通る位置に設定する。このため、ピラーに投影されない非表示領域や、撮影された画像の余剰領域を縮小し、連続性が高く、明瞭で自然な画像をピラーに表示できる。

請求項２に記載の発明によれば、運転支援装置は、撮影装置の撮影面を、仮想平面の端点を通る位置に設定する。このため、ピラーに投影されない非表示領域や、撮影された画像の余剰領域を縮小し、連続性が高く、明瞭で自然な画像をピラーに表示できる。

請求項３に記載の発明によれば、撮影装置の撮影面は、仮想平面よりも車両に近い位置に設定されるので、余剰領域にピントが合わず、連続性が高く、明瞭で自然な画像を表示することができる。

請求項４に記載の発明によれば、撮影装置の光軸の方位と、ドライバーの頭部位置及び描画基準物を結ぶ直線の方位に応じて、撮影面が通る端点が変更される。このため、撮影面を仮想平面の手前に常に設定することができる。

以下、本発明を具体化した一実施形態を図１〜図１１に従って説明する。図１は、自動車に実装された運転支援システム１の構成を説明するブロック図である。
運転支援システム１は車両Ｃ（図３参照）に搭載され、図１に示すように、運転支援装置としての運転支援ユニット２、ディスプレイ３、投影装置としてのプロジェクタ４、スピーカ５、撮像装置としてのカメラ６、第１〜第３位置検出センサ８ａ〜８ｃを備えている。

運転支援ユニット２は、制御部１０、不揮発性のメインメモリ１１、ＲＯＭ１２、ＧＰＳ受信部１３を備えている。制御部１０は、ＣＰＵ、ＭＰＵ又はＡＳＩＣ等であって、Ｒ
ＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶する。

制御部１０は、ＧＰＳ衛星からＧＰＳ受信部１３が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。また、制御部１０は、運転支援ユニット２の車両側Ｉ／Ｆ部１４を介して、車両Ｃに設けられた車速センサ３０及びジャイロ３１から車速パルス、角速度をそれぞれ入力する。そして、制御部１０は、車速パルス及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて自車位置を特定する。

また、運転支援ユニット２は、地理データ記憶部１５を備えている。地理データ記憶部１５は、内蔵ハードディスク、又は光ディスク等の外部記憶媒体である。この地理データ記憶部１５には、目的地までの経路を探索するための地図データとしての各経路ネットワークデータ（以下、経路データ１６という）と、ディスプレイ３に地図画面３ａを出力するための地図データとしての各地図描画データ１７とが記憶されている。

経路データ１６は、全国を区画したメッシュ内の道路に関するデータである。経路データ１６は、各メッシュの識別子、交差点及び道路の端点を示すノードに関するノードデータ、各ノードを接続する各リンクの識別子、リンクコスト等のデータを有している。制御部１０は、この経路データ１６を用いて、目的地までの推奨経路を探索したり、車両Ｃが交差点等の案内地点に接近しているか否かを判断する。

また、地図描画データ１７は、道路形状、背景等を描画するためのデータであって、全国の地図を分割したメッシュ毎に格納されている。この地図描画データ１７には、中央線、路側帯を区画する白線、ゼブラゾーン、横断歩道等の道路標示と、信号機等の路面設置物とに関するデータが格納されている。具体的には道路標示の種類、道路標示の位置座標、路面設置物の種類、路面設置物の位置座標等が、各地点の交差点やカーブと関連付けられて記憶されている。

図１に示すように、運転支援ユニット２は、地図描画プロセッサ１８を備えている。地図描画プロセッサ１８は、自車位置周辺の地図を描画するための地図描画データ１７を地理データ記憶部１５から読出して、地図出力用のデータを生成し、地図出力用データに基づく地図画面３ａをディスプレイ３に表示する。また、地図描画プロセッサ１８は、この地図画面３ａに、自車位置を示す自車位置指標３ｂを重畳する。

また、運転支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、図示しない音声ファイルを有し、例えば目的地までの経路を案内する音声をスピーカ５から出力する。さらに、運転支援ユニット２は、外部入力Ｉ／Ｆ部２５を備えている。外部入力Ｉ／Ｆ部２５は、ディスプレイ３に隣接された操作スイッチ２６、タッチパネル式のディスプレイ３から、ユーザの入力操作に基づいた入力信号を入力し、制御部１０に出力する。

また、運転支援ユニット２は、検出手段を構成するセンサＩ／Ｆ部２３を備えている。センサＩ／Ｆ部２３は、第１〜第３位置検出センサ８ａ〜８ｃから、検出信号を入力する。第１〜第３位置検出センサ８ａ〜８ｃは、超音波センサから構成され、図２に示すように、車室内であって、フロントシートＦに着座したドライバーＤの周囲に取り付けられている。第１位置検出センサ８ａは、ルームミラー（図示略）近傍に取り付けられ、ドライバーＤの頭部Ｄ１とほぼ同じ高さか、若干高い位置に位置している。

第２位置検出センサ８ｂは、ドアウィンドウＷ２（図３参照）の上端付近に、ドライバ
ーＤの斜め前方右側に位置するように取り付けられている。第３位置検出センサ８ｃは、フロントシートＦの左側であって、ルーフＲの内側に取り付けられている。各位置検出センサ８ａ〜８ｃの図示しないセンサヘッドから発信された超音波は、ドライバーＤの頭部Ｄ１に反射する。各位置検出センサ８ａ〜８ｃは、超音波を発信してから反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部Ｄ１までの各相対距離をそれぞれ算出する。算出された各相対距離は、センサＩ／Ｆ部２３を介して制御部１０に出力される。尚、各位置検出センサ８ａ〜８ｃからの信号に基づいて、センサＩ／Ｆ部２３が頭部Ｄ１までの相対距離を算出するようにしてもよい。

制御部１０は、運転席に着座した状態で、標準的な体型のドライバーＤの頭部Ｄ１が移動し得る頭部移動範囲と、第１〜第３位置検出センサ８ａ〜８ｃが検出した各相対距離とに基づき、頭部位置としての頭部中心位置Ｄｃを三角測量等を用いて、公知の方法で取得する。

また、図１に示すように、運転支援ユニット２は、映像データ入力部２２と、仮想平面設定手段、撮影面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ２０とを備えている。映像データ入力部２２は、制御部１０の制御に基づいて、車両Ｃに設けられたカメラ６を駆動して、カメラ６によって撮影された画像データＩＭを入力する。

カメラ６は、カラー画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）、自動焦点機構等を備えている。図３に示すように、このカメラ６は、車両ＣのフロントピラーＰ（以下、単にピラーＰという）の外側に、光軸を車両Ｃの前方に向けて取り付けられている。本実施形態では、車両右側に配置された運転席に合わせ、カメラ６は、運転席側の右側のピラーＰに取り付けられる。このカメラ６は、車両Ｃの前方右側と、車両Ｃの右側の一部を含む撮影領域Ｚ１の背景を撮像する。

運転支援ユニット２の画像プロセッサ２０は、映像データ入力部２２を介して、カメラ６から画像データＩＭを取得する。また、画像プロセッサ２０は、取得した画像データＩＭのうち、ピラーＰによって遮られた領域をトリミングするとともに、画像の歪みを解消するための画像処理を行う。

詳述すると、制御部１０が、経路データ１６に基づいて車両Ｃが交差点やカーブに接近したと判断すると、画像プロセッサ２０は、交差点やカーブでドライバーＤが注視しやすい視認対象物の座標を取得する。本実施形態では、画像プロセッサ２０は、地図描画データ１７に基づいて、描画基準物としての横断歩道Ｚの座標を取得する。例えば、図４に示すように、地図描画データ１７に基づき、車両前側方に標示された横断歩道Ｚの基準点Ｐｃの座標を取得する。基準点Ｐｃは、予め地図描画データ１７に記憶されているか、若しくは地図描画データ１７に記憶された横断歩道Ｚ全体の座標から画像プロセッサ２０が設定する。

基準点Ｐｃの座標を取得すると、基準点Ｐｃの座標と、第１〜第３位置検出センサ８ａ〜８ｃが検出したドライバーＤの頭部中心位置Ｄｃとに基づいて、仮想平面ＶＰの位置を決定する。仮想平面ＶＰは、カメラ６によって撮影された画像を投影する平面である。また、この仮想平面ＶＰ上にある物体は、カメラ６によって撮影された画像データＩＭを仮想平面ＶＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。図５に示すように、画像プロセッサ２０は、この仮想平面ＶＰを、基準点Ｐｃを含み、頭部中心位置Ｄｃと基準点Ｐｃとを結んだ中心線Ｌａに対して垂直になる位置に設定する。また、画像プロセッサ２０は、仮想平面ＶＰを、ドライバーＤの頭部中心位置ＤｃとピラーＰの各端点Ｐ１，Ｐ２を通る接線Ｌ１，Ｌ２で区画された死角領域Ａの内側に設ける
。

図４に示すように、車両Ｃが、仮想平面ＶＰを設定した初期位置ＦＰから、図中２点鎖線で示す位置に移動し、頭部中心位置Ｄｃと横断歩道Ｚの基準点Ｐｃとの相対距離ΔＬが変化しても、画像プロセッサ２０は、基準点Ｐｃを通り、且つ中心線Ｌａに対して垂直となる位置に仮想平面ＶＰを設定する。即ち、仮想平面ＶＰは、車両Ｃの前進に伴って移動させずに、常に基準点Ｐｃを通る位置に設定する。図４に示すように、車両が旋回している場合、頭部中心位置Ｄｃと基準点Ｐｃとを結ぶ中心線Ｌａの傾きが変わるので、その変化に伴い、仮想平面ＶＰもその角度のみを変更する。

また、画像プロセッサ２０は、仮想平面ＶＰの位置に応じて撮影面ＣＰを決定する。撮影面ＣＰは、カメラ６の焦点位置を示し、カメラ６の光軸ＡＸに対して垂直な平面で表される。図５に示すように、画像プロセッサ２０は、この撮影面ＣＰを、仮想平面ＶＰよりも、車両Ｃに近い位置であって、且つ死角領域Ａによって区画された仮想平面ＶＰの左端点ＶＰ１又は右端点ＶＰ２において交差する位置（所定位置）に設定する。ここでは、ドライバーＤの頭部中心位置Ｄｃを基準とし、撮影面ＣＰを頭部中心位置Ｄｃに近い位置に設定する。尚、各端点ＶＰ１，ＶＰ２は、頭部中心位置ＤｃとピラーＰの端点Ｐ１，Ｐ２とをそれぞれ結ぶ接線Ｌ１，Ｌ２と、仮想平面ＶＰとの交点である。

撮影面ＣＰの設定方法について詳述すると、まず、画像プロセッサ２０は、カメラ６の光軸ＡＸの方位と、頭部中心位置Ｄｃと基準点Ｐｃとを結んだ中心線Ｌａの方位とを比較する。即ち、光軸ＡＸと水平方向（Ｙ矢印方向）とがなす角度θｃと、中心線Ｌａと水平方向（Ｙ矢印方向）とがなす角度θｄとを算出する。そして、光軸ＡＸの角度θｃの大きさと中心線Ｌａの角度θｄの大きさとを比較する。尚、Ｘ矢印方向は、車両Ｃの長手方向と平行な方向、Ｙ矢印方向は、Ｘ矢印方向に対して直交する方向であって、車幅方向である。

図５に示すように、光軸ＡＸの角度θｃが、中心線Ｌａの角度θｄよりも大きい場合（θｃ＞θｄ）、上記条件を満たす位置に撮影面ＣＰを設定するには、撮影面ＣＰは右端点ＶＰ２を通る位置に設定しなければならない。即ち左端点ＶＰ１を通る位置に撮影面ＣＰを設定すると、仮想平面ＶＰよりも、頭部中心位置Ｄｃから遠い位置に設定されてしまう。このため、画像プロセッサ２０は、撮影面ＣＰを、仮想平面ＶＰの右端点ＶＰ２を通る位置に設定する。

また、図６に示すように、光軸ＡＸの角度θｃが、中心線Ｌａの角度θｄよりも大きい場合（θｃ＜θｄ）、画像プロセッサ２０は、撮影面ＣＰを、仮想平面ＶＰの左端点ＶＰ１を通る位置に設定する。

光軸ＡＸの角度θｃと中心線Ｌａの角度θｄとが等しい場合、即ち光軸ＡＸと中心線Ｌａとが重なる場合には、撮影面ＣＰと仮想平面ＶＰとを重ねることができるので、撮影面ＣＰは仮想平面ＶＰの位置に設定する。

撮影面ＣＰを設定すると、画像プロセッサ２０は、映像データ入力部２２を介して、撮影面ＣＰ上にカメラ６の焦点を合わせて撮影し、画像データＩＭを取得する。
画像データＩＭを取得すると、画像データＩＭのうち、仮想平面ＶＰに投影する投影部分ＣＰ１をトリミングして、ピラー死角データＢＤを生成する。即ち、図５に示すように、画像プロセッサ２０は、画像データＩＭのうち、カメラ位置６ａと各端点ＶＰ１，ＶＰ２とを結んだ各直線Ｌ３，Ｌ４の間の投影部分ＣＰ１をトリミングする。投影部分ＣＰ１をトリミングしたデータは、ピラー死角データＢＤとなる。

ピラー死角データＢＤを取得すると、画像プロセッサ２０は、ピラー死角データＢＤを、仮想平面ＶＰに投影変換する。この投影変換は、投影部分ＣＰ１の各画素を、仮想平面ＶＰ上の各画素に座標変換する処理である。

また、画像プロセッサ２０は、仮想平面ＶＰに投影変換された画像を、ピラーＰの内側面Ｐａを含むピラー面上に投影変換する。ピラー面は、ＲＯＭ１２に記憶されたピラー形状４１（図１参照）の３次元座標に基づき設定することができる。尚、ピラー形状４１は、ピラーＰの外形をパターン又は座標で示したデータであって、車種によって異なるデータである。画像プロセッサ２０は、このピラー形状４１に基づき、ピラーＰの外形を示す長さ方向、車幅方向及び鉛直方向の３次元の座標を取得することができる。また、ピラーＰの幅や長さも、３次元の座標を用いたデータとして取得することができる。

続いて、ピラー面に投影され、ピラーＰの位置及び形状に沿った上記画像をプロジェクタ４により投影するために、該画像をプロジェクタ４の位置に合わせて座標変換する。即ち、プロジェクタ４から出力された光が、ピラーＰの内側面Ｐａに入射する角度によって、内側面Ｐａに表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、プロジェクタ４に対して出力する画像の各画素の座標とを予め関連付けたマップ等をメインメモリ１１等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ４への出力画像としてさらに座標変換する。そして、座標変換した画像を、プロジェクタ４に対して出力するための投影データＰＤを生成する。

また、画像プロセッサ２０は、投影データＰＤに対し、ＲＯＭ１２に記憶されたマスクパターン４０（図１及び図７参照）に基づき、プロジェクタ４に出力するための映像信号を生成する。図７に示すように、マスクパターン４０は、投影データＰＤにマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示領域４０ａと、マスク４０ｂとから構成されている。画像プロセッサ２０は、画像表示領域４０ａの領域には、投影データＰＤを読み込み、マスク４０ｂの領域は、プロジェクタ４の非表示にするための出力用データＯＤを生成する。出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。

プロジェクタ４は、図８に示すように、ルーフＲの内側であって、ドライバーＤが着座するフロントシートＦの鉛直方向上方付近に、車両Ｃの右側のピラーＰの内面に画像を投影可能に取り付けられている。図９に示すように、ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。プロジェクタ４の焦点は、このスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ４から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。

図１０に示すように、プロジェクタ４は、ピラーＰのスクリーンＳＣに対して投影光Ｌを出射し、スクリーンＳＣに画像を投影する。また、そのスクリーンＳＣの周囲のフロントウィンドウＷ１又はドアウィンドウＷ２には、マスク４０ｂにより画像が投影されないようになっている。

次に、本実施形態の処理手順について、図１１に従って説明する。まず運転支援ユニット２の制御部１０は、ピラーＰの内側に背景画像を投影する投影モードの開始を待機する（ステップＳ１）。例えば、タッチパネル、操作スイッチ２６が操作され、制御部１０が外部入力Ｉ／Ｆ部２５を介して、モード開始要求を受信した場合に、投影モードを開始すると判断する。或いは、イグニッションモジュール（図示略）からのオン信号に基づき、投影モードを開始すると判断してもよい。

投影モードを開始すると判断すると（ステップＳ１においてＹＥＳ）、制御部１０は、経路データ１６に基づき、車両Ｃが交差点又はカーブに接近するのを待機する（ステップＳ２）。具体的には、制御部１０は、車両Ｃの現在位置が、Ｔ字路を含む交差点又は所定の曲率以上のカーブから所定距離範囲（例えば２００ｍ）内に進入したと判断すると、交差点又はカーブに接近したと判断する。

交差点又はカーブに接近したと判断すると（ステップＳ２においてＹＥＳ）、制御部１０は、各位置検出センサ８ａ〜８ｃを用いて、ドライバーＤの頭部位置を検出する（ステップＳ３）。このとき、制御部１０は、センサＩ／Ｆ部２３を介して、各位置検出センサ８ａ〜８ｃから、頭部Ｄ１までの各相対距離を取得する。そして、各相対距離を用いて、三角測量の原理とに基づき、頭部中心位置Ｄｃを特定する。

頭部中心位置Ｄｃを算出すると、画像プロセッサ２０は、上記したように、仮想平面ＶＰを設定する（ステップＳ４）。車両Ｃが交差点Ｊ（図４参照）に接近しているときは、横断歩道Ｚの基準点Ｐｃを地図描画データ１７に基づき取得して、その基準点Ｐｃを通る位置に仮想平面ＶＰを設定する。横断歩道Ｚが無い場合には、車両前方の停止線等の道路標示でもよい。車両Ｃがカーブに接近しているときは、道路に標示された中央線のうち、曲率が大きい位置に基準点Ｐｃを取るようにしてもよい。

さらに、画像プロセッサ２０は、撮影面ＣＰを設定する（ステップＳ５）。このとき、上記したように、画像プロセッサ２０は、カメラ６の光軸ＡＸの角度θｃと、頭部中心位置Ｄｃと基準点Ｐｃとを結んだ中心線Ｌａの角度θｄとを比較する。そして、図５に示すように、光軸ＡＸの角度θｃが、中心線Ｌａの角度θｄよりも大きい場合には、上記したように、撮影面ＣＰを、仮想平面ＶＰの手前であって、仮想平面ＶＰの右端点ＶＰ２を通る位置に設定する。このとき、図５に示すように、左端点ＶＰ１と撮影面ＣＰとが離間していることにより、ピラーＰによって遮られている死角領域ＡにおいてピラーＰに投影することができない非表示領域Ｂ１が生じる。この非表示領域Ｂ１は、実際には僅かな領域であるが、ピラーＰに画像を表示した際に、ピラーＰに表示された画像と、ウィンドウＷ１，Ｗ２を介して見える実際の背景との連続性が若干損なわれる。一方、右端点ＶＰ２は、撮影面ＣＰと接しているので、非表示領域Ｂ１が生じず、両端に非表示領域Ｂ１が存在する場合に比べ画像の連続性が良好となる。

さらに、撮影面ＣＰを仮想平面ＶＰよりも、ドライバーＤの頭部中心位置Ｄｃに近い位置に設定しているので、焦点を合わせて撮影した画像のうち、ピラーＰに投影されない余剰領域が生じない。

また、図６に示すように、光軸ＡＸの角度θｃが、中心線Ｌａの角度θｄよりも小さい場合には、撮影面ＣＰを、仮想平面ＶＰの左端点ＶＰ１を通る位置に設定する。このとき、左端点ＶＰ１と撮影面ＣＰが接しているので、左端点ＶＰ１では非表示領域Ｂ１が生じない。

撮影面ＣＰを設定すると、画像プロセッサ２０の設定した撮影面ＣＰに基づき、カメラ６は、焦点を撮影面ＣＰに合わせて撮影を行い、画像データＩＭを取得する（ステップＳ６）。

画像プロセッサ２０は、画像データＩＭを取得すると、上記したように、画像データＩＭのうち、仮想平面ＶＰに投影する投影部分ＣＰ１を抽出し、（ステップＳ７）、ピラー死角データＢＤを生成する。

ピラー死角データＢＤを生成すると、画像プロセッサ２０は、ピラー死角データＢＤに対し投影用画像処理を行う（ステップＳ８）。具体的には、上記したように、ピラー死角データＢＤを、ステップＳ４で設定した仮想平面ＶＰに投影変換する。また、仮想平面ＶＰに投影変換された画像を、上記ピラー形状４１に基づき、ピラーＰの３次元形状に合わせて変換する。また、ピラーＰの３次元形状に合わせて変換された画像を、プロジェクタ４の位置に基づき、座標変換して投影データＰＤを生成する。また、投影データＰＤ及びマスクパターン４０に基づき、ピラーＰ以外の領域をマスクした出力用データＯＤを生成する。

出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。プロジェクタ４は、図１０に示すように、ピラーＰの内側面Ｐａに設けられたスクリーンＳＣに、ピラーＰによって遮られた領域の画像を投影する（ステップＳ９）。スクリーンＳＣに表示された投影画像は、予め横断歩道Ｚ等の道路標示に合わせた仮想平面ＶＰに投影変換されているので、その道路標示は、フロントウィンドウＷ１及びドアウィンドウＷ２を介して視認される背景と、ずれたり傾いたりすることなく表示される。また、撮影面ＣＰが、仮想平面ＶＰのいずれかの端点ＶＰ１，ＶＰ２に接していることにより、仮想平面ＶＰ及び撮影面ＣＰのずれによって生じる非表示領域Ｂ１や余剰領域が縮小され、ウィンドウＷ１，Ｗ２を介して見える背景との連続性が向上する。

画像プロセッサ２０によりピラーＰに画像を投影すると、制御部１０は、車両Ｃが、交差点Ｊ又はカーブから離れたか否かを判断する（ステップＳ１０）。車両Ｃが、交差点Ｊ又はカーブ内又はその付近にあると判断すると（ステップＳ１０においてＮＯ）、ステップＳ３に戻り、頭部位置検出（ステップＳ３）から画像投影（ステップＳ９）までを繰り返す。即ち、車両Ｃが交差点Ｊ又はカーブを離れるまで、ピラーＰによって遮られた画像がピラーＰに投影される。

車両Ｃが交差点Ｊ又はカーブから離れたと判断すると（ステップＳ１０においてＹＥＳ）、制御部１０は、投影モードを終了するか否かを判断する（ステップＳ１１）。終了トリガは、タッチパネルや操作スイッチ２６の操作によるモード終了要求、又はイグニッションモジュールのオフ信号である。これらの信号を入力すると、投影モード終了であると判断して（ステップＳ１１においてＹＥＳ）、処理を終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、画像プロセッサ２０は、車両Ｃが交差点又はカーブに接近した際に、仮想平面ＶＰを、例えば道路標示といった対象物の基準点Ｐｃを通る位置に設定するようにした。また、カメラ６の撮影面ＣＰを、仮想平面ＶＰの手前であって、仮想平面ＶＰの端点ＶＰ１，ＶＰ２を通る位置に設定するようにした。このため、ピラーＰによって遮られる死角領域Ａであるにも関わらず、ピラーＰに投影することができない非表示領域Ｂ１や、焦点が合わせた画像のうちピラーＰに投影することができない余剰領域を縮小することができる。このため、各ウィンドウＷ１，Ｗ２を介して見える実際の背景と連続性の高い、自然で違和感のない画像をピラーＰに表示することができる。

（２）上記実施形態では、カメラ６の光軸ＡＸが水平方向となす角度θｃと、死角領域Ａの死角方向が水平方向となす角度θｄとを比較し、角度θｃが角度θｄよりも大きいときに、撮影面ＣＰを右端点ＶＰ２を通る位置に設定するようにした。また、角度θｃが角度θｄよりも小さい場合には、撮影面ＣＰを左端点ＶＰ１を通る位置に設定するようにした。このため、撮影面ＣＰを常に仮想平面ＶＰの手前に設定することができるので、撮影面ＣＰを、仮想平面ＶＰよりも頭部中心位置Ｄｃから離れた位置に設定した場合に生じる上記余剰領域を縮小することができる。

尚、上記実施形態は以下のように変更してもよい。
・上記実施形態では、地図描画データ１７に基づき道路標示の基準点Ｐｃを設定するようにしたが、カメラ６から取得した画像データＩＭに対して白線認識処理を行って、道路標示の白線（又は黄線）を検出するようにしてもよい。そして、検出した白線の端や中央に、基準点Ｐｃを設定するようにしてもよい。

・上記実施形態では、仮想平面ＶＰを横断歩道Ｚ等の道路標示に合わせるようにしたが、仮想平面ＶＰの位置を合わせる対象物は適宜変更してもよい。例えば、信号機等の路面設置物に仮想平面ＶＰを合わせるようにしてもよい。また例えば、車両Ｃに車両前方の障害物までの相対距離を計測する、障害物検出手段としてのレーダ等を搭載し、歩行者、自転車等の対象障害物が検出された場合に、仮想平面ＶＰを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。

・横断歩道等の路面標示の位置を示すデータは、例えば、路車間通信又は車車間通信、又はそれらのデータを配信するサーバから取得するようにしてもよい。また、歩行者等の障害物の位置を示すデータも、他車両等の外部装置から受信するようにしてもよい。

・上記実施形態では、音声案内を用いない場合には、音声プロセッサ２４を省略しても良い。
・上記実施形態では、プロジェクタ４によってピラーＰの内側面Ｐａに画像を投影するようにしたが、ピラーＰの内側に薄型の表示手段としてのディスプレイを設け、画像プロセッサ２０からそのディスプレイに出力用データＯＤを出力しても良い。

・上記実施形態では、カメラ６はフロントピラーＰの外側に設け、フロントピラーＰによって遮られる領域を撮影するようにしたが、車両後方や側方等、その他のピラーに設けるようにしてもよい。例えば、カメラ６を車両後方のリヤピラー外側に取り付け、そのカメラ６によってリヤピラーにより遮られる領域を撮影するようにしてもよい。この場合、プロジェクタ４を、リヤピラー内面に画像を投影可能な位置に設け、画像プロセッサ２０は、カメラ６によって撮影された画像データに基づき、リヤピラーによって遮られた死角領域の画像をリヤピラー内面に投影する。これにより、例えば車両Ｃが駐車枠に向かって後退する場合に、ドライバーＤがリヤピラーによって遮られた駐車枠を投影画像にて確認することができるので、駐車操作を行いやすくすることができる。また、複数のピラーＰの外側に１つずつカメラ６を設けるとともに、プロジェクタ４をカメラ６の位置に応じて複数台設けるようにしてもよい。さらに、一つのピラーＰに複数のカメラ６を設けるようにしてもよい。

・上記実施形態では、プロジェクタ４を車両ＣのルーフＲの内側に設けるようにしたが、プロジェクタ４の位置はピラーＰの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方（略中央）等、その他の位置に設けるようにしてもよい。

本実施形態の運転支援システムのブロック図。 ドライバーの頭部を検出する位置検出センサの説明図。 カメラの取付位置の説明図。 仮想平面の設定位置の説明図。 仮想平面及びカメラ撮影面の説明図。 仮想平面及びカメラ撮影面の説明図。 マスクパターンの説明図。 プロジェクタの位置を説明する車両の側面図。 画像が投影されるピラー内面を説明する正面図。 プロジェクタの投影方向を説明する説明図。 本実施形態の処理手順の説明図。 従来の仮想平面位置の説明図。 従来のカメラ撮影面の説明図。

符号の説明

１…運転支援システム、２…運転支援装置としての運転支援ユニット、６…撮影装置としてのカメラ、２０…仮想平面設定手段、撮影面設定手段、画像処理手段及び出力制御手段としての画像プロセッサ、１０９…余剰領域、Ａ…死角領域、ＡＸ…光軸、Ｂ１…非表示領域、Ｃ…車両、ＣＰ…撮影面、Ｄ…ドライバー、ＩＭ…画像データ、Ｌａ…直線としての中心線、Ｐ…ピラー、ＶＰ…仮想平面、ＶＰ１，ＶＰ２…端点。

Claims (4)

1. 車両に取り付けられた撮影装置を用いて、該車両のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、
   前記撮影装置から入力した画像データを投影する仮想平面を設定するとともに、前記撮影装置の撮影面を、前記ピラーによって生じる死角領域によって区画された前記仮想平面の端点を通る位置に設定し、
   前記撮影面に焦点を合わせた前記画像データを取得して該画像データを前記仮想平面に座標変換し、前記仮想平面に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域に相当する画像を表示することを特徴とする運転支援方法。
2. 車両に取り付けられた撮影装置を用いて、該車両のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を前記ピラーの内側に表示する運転支援装置において、
   前記撮影装置から入力した画像データを投影する仮想平面を設定する仮想平面設定手段と、
   前記撮影装置の撮影面を、前記ピラーによって生じる死角領域によって区画された前記仮想平面の端点を通る位置に設定する撮影面設定手段と、
   前記撮影面に焦点を合わせた前記画像データを取得して、該画像データを前記仮想平面に座標変換する画像処理手段と、
   前記仮想平面に座標変換された前記画像データに基づき、前記ピラーの内側に、前記ピラーによって生じる死角領域の画像を表示する出力制御手段と
   を備えたことを特徴とする運転支援装置。
3. 請求項２に記載の運転支援装置において、
   前記撮影面設定手段は、前記撮影装置の撮影面を、前記仮想平面よりも前記車両に近い位置に設定することを特徴とする運転支援装置。
4. 請求項２又は３に記載の運転支援装置において、
   前記仮想平面設定手段は、車両周辺の路面上にある描画基準物の位置を取得し、該描画基準物の位置を通る位置に前記仮想平面を設定し、
   前記撮影面設定手段は、前記撮影装置の光軸の方位と、前記車両のドライバーの頭部位置及び前記描画基準物の位置を結ぶ直線の方位とに基づき、前記撮影面が交差する前記仮想平面の端点を選択することを特徴とする運転支援装置。

Images