JP4497133B2 - 運転支援方法及び運転支援装置 - Google Patents

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のフロントピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をフロントピラーの内側に表示するシステムが提案されている。フロントピラーは、フロントウィンドウやルーフを支える左右の支柱であって、運転席に着座したドライバーからみて斜め前方に位置し、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。

上記したシステムは、車体に取り付けられたカメラと、カメラから出力された映像信号を画像処理する画像プロセッサと、フロントピラー内側に設けられ画像処理された映像を表示するディスプレイや、フロントピラー内側に画像を投影するプロジェクタ等を備えている。これによれば、あたかもフロントピラーを透過して外部の背景を視認できるような状態になるので、交差点等において、車両の前側方の道路形状や、前側方にある障害物を確認することができるが、ドライバーの動きに応じた映像の表示、実際に見える風景と映像との連続性等が課題になっている。

特許文献１には、左右のドアミラーに一つずつ取り付けられたカメラによって車両周辺を撮影し、撮影映像をピラーの内側に投影する装置が記載されている。この装置では、眼球の座標を検出し、その位置によって、カメラが撮影した画像データを補正する。
特開２００５−１８４２２５号公報

しかし、上記した装置では、一つのカメラで撮影した画像データを用いているため、眼球の座標に合わせて座標変換しても、表示できる画像には限界がある。即ち、例えば、車両右側の運転席に着座したドライバーが前屈みになって、フロントウィンドウから車両の前方右側をのぞき込んだ場合に見える障害物が、ドライバーがシートに背を付けた姿勢（以下、基準姿勢という）で前側方を見たときには見えないこともある。また、同じ障害物を見た場合でも、前屈みになって前方右側を見た場合、障害物は立体であるため、基準姿勢をとった場合には見えない側面が見えることがある。上記した装置の画像処理では、２次元の座標変換しかできないため、カメラで撮影されていない障害物、又は撮影されていない障害物の側面までは表示することができない。このため、ドライバーが基準姿勢以外の姿勢をとったとき、フロントピラーに表示される背景画像と、フロントウィンドウ、ドアウィンドウを介して見える背景との連続性が著しく損なわれる虞がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ドライバーの姿勢に合わせた映像をピラーに表示することができる運転支援方法及び運転支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援方法であって、前記車両の運転席に着座したドライバーの位置を検出し、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動するとともに、前記起動した撮影手段から取得した映像信号に基づき前記ピラーの内側に映像を表示することを要旨とする。

請求項２に記載の発明は、車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援装置において、前記車両の運転席に着座したドライバーの位置を検出する検出手段と、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動する起動手段と、前記起動した撮影手段から映像信号を取得する映像信号取得手段と、前記起動した撮影手段から取得した前記映像信号に基づき、前記車両のピラーの内側に、前記ピラーによって生じる死角領域に相当する映像を表示する出力制御手段とを備えたことを要旨とする。
請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記起動手段は、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に基づき、前記ドライバーの視界に近い範囲を撮影する撮影手段を選択し、前記選択した撮影手段を起動することを要旨とする。

請求項４に記載の発明は、車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援装置において、前記車両の運転席に着座したドライバーの位置を検出する検出手段と、前記検出手段によるドライバーの位置に基づき、前記ピラーによって生じる死角の角度を算出する角度演算手段と、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの死角の角度に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動する起動手段と、前記起動した撮影手段から映像信号を取得する映像信号取得手段と、前記起動した撮影手段から取得した前記映像信号に基づき、前記車両のピラーの内側に、前記ピラーによって生じる死角領域に相当する映像を表示する出力制御手段とを備えたことを要旨とする。

請求項５に記載の発明は、請求項４に記載の運転支援装置において、前記起動手段は、前記ピラーによって生じる死角の車幅方向の水平軸からの最大角度が所定角度未満である場合に、前記車両の前側方を中心に撮影する第１撮影手段を選択して起動し、前記最大角度が所定角度以上である場合に、前記車両の前方を中心に撮影する第２撮影手段を選択して起動することを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の運転支援装置において、前記検出手段は、前記ドライバーの位置として前記ドライバーの頭部の座標を検出することを要旨とする。
請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の運転支援装置において、前記起動した撮影手段から取得した映像信号に対し、前記ドライバーの位置に応じた画像処理を行う画像処理手段を備えたことを要旨とする。
請求項８に記載の発明は、請求項２〜７のいずれか１項に記載の運転支援装置において、前記車両が交差点に接近したか否かを判断する判断手段を備え、前記出力制御手段は、前記判断手段が前記車両が交差点に接近したと判断すると、前記起動した撮影手段から取得した映像信号に基づき前記ピラーの内側に映像を表示することを要旨とする。

請求項１に記載の発明によれば、ドライバーの位置を検出し、その位置に応じて、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の撮影手段の中から、選択した撮影手段を起動する。そして、起動した撮影手段によって撮影された映像を、ピラー内側に表示する。このため、ドライバーが姿勢を変えても、そのときのドライバーの位置に合わせた撮影手段を起動できるので、ピラーに表示される映像を、フロントウィンドウ等を介して見る実際の風景との連続性が高い映像にすることができる。

請求項２に記載の発明によれば、運転支援装置は、ドライバーの位置を検出し、その位置に応じて、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の撮影手段の中から、選択した撮影手段を起動する。そして、起動した撮影手段によって撮影された映像を、ピラー内側に表示する。このため、ドライバーが姿勢を変えても、ドライバーの位置に合わせた撮影手段を起動できるので、ピラーに表示される映像を、フロントウィンドウ等を介して見える実際の風景との連続性が高い映像にすることができる。
請求項３に記載の発明によれば、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の撮影手段のうち、ドライバーの位置に基づき、ドライバーの視界に近い範囲を撮影する。このため、ドライバーが姿勢を変えても、ドライバーの視界に合わせた撮影手段を起動できるので、ピラーに表示される映像を、フロントウィンドウ等を介して見える実際の風景との連続性が高い映像にすることができる。

請求項４に記載の発明によれば、運転支援装置は、ドライバーの位置を検出し、その位置に応じて、ピラーによって生じる死角の角度を算出する。そして、死角の角度に応じて、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する撮影手段を選択し、選択した撮影手段を起動する。また、起動した撮影手段によって撮影された映像を、ピラー内側に表示する。このため、ドライバーが姿勢を変えても、フロントウィンドウ等から見える実際の背景との連続性が高い画像をピラーに表示できる。

請求項５に記載の発明によれば、死角の水平軸からの最大角度が所定角度未満である場
合に、前側方を中心に撮影する第１撮影手段を選択して起動し、死角の角度の最大値が所定角度以上である場合に、前方を中心に撮影する前記第２撮影手段を選択して起動する。即ち、死角の向きがほぼ前側方である場合に、前側方を撮影する第１撮影手段を選択する。死角の向きが前方に近い場合に、前方を撮影する第２撮影手段を選択する。このため、ドライバーが姿勢を変えても、フロントウィンドウ等から見える実際の背景との連続性が高い映像をピラーに表示できる。

請求項６に記載の発明によれば、検出手段は、ドライバーの位置として、ドライバーの頭部の座標を検出するので、ドライバーの姿勢を比較的正確に特定することができる。
請求項７に記載の発明によれば、ドライバーの位置に応じた撮影手段を選択して起動するだけでなく、撮影手段から取得した映像信号に対し、ドライバーの位置に応じて画像処理を行うので、実際の風景と連続性の高い画像をピラーに表示できる。
請求項８に記載の発明によれば、車両が交差点に接近したと判断すると、起動した撮影手段から取得した映像信号に基づきピラーの内側に映像を表示する。このため、交差点付近等で、他車両や歩行者などの有無を確認することができる。

以下、本発明を具体化した一実施形態を図１〜図１７に従って説明する。図１は、自動車に実装された運転支援システム１の構成を説明するブロック図である。
運転支援システム１は、車両Ｃ（図２参照）に搭載され、図１に示すように、運転支援装置としての運転支援ユニット２、表示手段としてのディスプレイ３、プロジェクタ４、スピーカ５、撮像手段としての第１カメラ６及び第２カメラ７、第１〜３位置検出センサ８ａ〜８ｃを備えている。

運転支援ユニット２は、検出手段、起動手段、角度演算手段及び判断手段としての制御部１０、不揮発性のメインメモリ１１、ＲＯＭ１２、ＧＰＳ受信部１３を備えている。制御部１０は、ＣＰＵ、ＭＰＵ又はＡＳＩＣ等であって、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶する。

制御部１０は、ＧＰＳ衛星からＧＰＳ受信部１３が受信した、緯度・経度等の座標を示す位置検出信号を入力して、電波航法により自車両の絶対位置を算出する。また、制御部１０は、運転支援ユニット２の車両側Ｉ／Ｆ部１４を介して、自車に設けられた車速センサ３０及びジャイロ３１から車速パルス、角速度をそれぞれ入力する。そして、制御部１０は、車速パルス及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて自車位置を特定する。

また、運転支援ユニット２は、地理データ記憶部１５を備えている。地理データ記憶部１５は、内蔵ハードディスク、又は光ディスク等の外部記憶媒体である。この地理データ記憶部１５には、目的地までの経路を探索するための地図データとしての各経路ネットワークデータ（以下、経路データ１６という）と、ディスプレイ３に地図画面３ａを出力するための各地図描画データ１７とが記憶されている。

経路データ１６は、全国を区画したメッシュ内の道路に関するデータである。経路データ１６は、各メッシュの識別子であるメッシュＩＤ、メッシュ内の各リンクの識別子を示すリンクＩＤ、リンクコスト等のデータを有している。制御部１０は、この経路データ１
６を用いて、目的地までの推奨経路を探索したり、車両Ｃが交差点等の案内地点に接近しているか否かを判断する。

また、地図描画データ１７は、道路形状、背景等を描画するためのデータであって、全国の地図を分割したメッシュ毎に格納されている。制御部１０は、地図描画データ１７の道路形状に基づいて、車両Ｃの前方に、所定の曲率以上のカーブがあるか否かを判断する。

図１に示すように、運転支援ユニット２は、地図描画プロセッサ１８を備えている。地図描画プロセッサ１８は、自車位置周辺の地図を描画するための地図描画データ１７を地理データ記憶部１５から読出す。そして、地図出力用のデータを生成し、図示しないＶＲＡＭに一時記憶する。さらに、地図出力用データに基づく映像信号をディスプレイ３に出力し、図１に示すような地図画面３ａを表示する。また、地図描画プロセッサ１８は、この地図画面３ａに、自車位置を示す自車位置指標３ｂを重畳する。

また、運転支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、図示しない音声ファイルを有し、例えば目的地までの経路を案内する音声をスピーカ５から出力する。さらに、運転支援ユニット２は、外部入力Ｉ／Ｆ部２５を備えている。外部入力Ｉ／Ｆ部２５は、ディスプレイ３に隣接された操作スイッチ２６、タッチパネル式のディスプレイ３から、ユーザの入力操作に基づいた入力信号を入力し、制御部１０に出力する。

また、運転支援ユニット２は、映像信号取得手段としての映像データ入力部２２と、この映像データ入力部２２から画像データＧを入力する出力制御手段及び画像処理手段としての画像プロセッサ２０を備えている。映像データ入力部２２は、制御部１０の制御に基づいて、車両Ｃに設けられた第１カメラ６又は第２カメラ７を駆動して、第１カメラ６又は第２カメラ７によって撮影された映像信号Ｍを入力する。

第１カメラ６は、カラー画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）等を備えている。図２に示すように、この第１カメラ６は、車両Ｃの右側のフロントピラーＰ（以下、単にピラーＰという）の外側下端部に、光軸を車両Ｃの前方右側に向けて取り付けられている。本実施形態では、運転席は車両Ｃの右側に配置されているため、第１カメラ６は、運転席側に配置される。この第１カメラ６は、車両Ｃの前方右側と、車両Ｃの右側の一部を含む側方領域Ｚ１を撮像する。

第２カメラ７は、第１カメラ６と同様の構成であって、図３に示すように、ピラーＰの外側上端部に設けられている。即ち、第１カメラ６及び第２カメラ７は、斜めに傾斜したピラーＰの両端に取り付けられ、それらの位置は、車両Ｃのシャフトに略平行な長さ方向（図中Ｘ方向）、車幅方向（図中Ｙ方向）及び鉛直方向（図中Ｚ方向）において異なっている。第２カメラ７は、第１カメラ６よりも長さ方向（Ｘ方向）において後方の位置で、車両Ｃの前方を中心とした前方領域Ｚ２を撮像する。従って、第１カメラ６は、第２カメラ７よりも車両Ｃの前方右側を中心とした画角であるため、第２カメラ７に比べ、車両Ｃの前方右側にある障害物がその撮影範囲に入りやすい。

第１カメラ６又は第２カメラ７の撮影による映像信号Ｍは、映像データ入力部２２によってデジタル化されて画像データＧとなり、画像プロセッサ２０に出力される。画像プロセッサ２０は、画像データＧを画像処理して、画像処理した画像データＧをプロジェクタ４に出力する。

プロジェクタ４は、図４に示すように、ルーフＲの内側であって、ドライバーＤが着座するフロントシートＦの鉛直方向上方付近に、車両Ｃの右側のピラーＰ（図５参照）の内面に映像を投影可能に取り付けられている。図５に示すように、ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。プロジェクタ４の焦点は、このスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ４から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。

また、図１に示すように運転支援ユニット２のＲＯＭ１２には、マスクパターン４０及びピラー形状４１が製造工程時に予め記憶されている。図６に示すように、マスクパターン４０は、画像データＧにマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示部４０ａと、マスク４０ｂとから構成されている。画像プロセッサ２０は、画像表示部４０ａの領域は、第１カメラ６又は第２カメラ７により撮影された画像データＧから画素値をとり、マスク４０ｂの領域は、プロジェクタ４の非表示用の画素値にして、出力用データＯＤを生成する。出力用データＯＤを生成すると、画像プロセッサ２０は、その出力用データＯＤをプロジェクタ４に出力する。その結果、ピラーＰのスクリーンＳＣにのみ画像が投影され、そのスクリーンＳＣの周囲のフロントウィンドウＷ１又はドアウィンドウＷ２には、マスク４０ｂにより画像が投影されないようになっている。

ピラー形状４１は、ピラーの外形をパターン又は座標で示したデータであって、車両Ｃによって異なるデータである。制御部１０は、このピラー形状４１に基づき、ピラーＰの外形を示す、長さ方向、車幅方向及び鉛直方向の３次元の座標（Ｘ，Ｙ，Ｚ）を取得することができる。また、ピラーＰの幅や長さも、３次元の座標を用いたデータとして取得することができる。

また、図１に示すように、運転支援ユニット２は、検出手段を構成するセンサＩ／Ｆ部２３を備えている。センサＩ／Ｆ部２３は、第１〜３位置検出センサ８ａ〜８ｃから、検出信号を入力する。第１〜３位置検出センサ８ａ〜８ｃは、超音波センサであって、図７に示すように、車室内であって、フロントシートＦに着座したドライバーＤの周囲に取り付けられている。第１位置検出センサ８ａは、ルームミラーＲＭ近傍に取り付けられ、ドライバーＤの頭部Ｄ１とほぼ同じ高さか、若干高い位置に位置している。

図８に示すように、第２位置検出センサ８ｂは、ドアウィンドウＷ２（図５参照）の上端付近に、ドライバーＤの斜め前方右側に位置するように取り付けられている。また、本実施形態では、第２位置検出センサ８ｂは、第１位置検出センサ８ａの長さ方向（Ｘ方向）の位置がほぼ同じになっている。

図７に示すように、第３位置検出センサ８ｃは、フロントシートＦのヘッド部ＦＨに埋設されている。第３位置検出センサ８ｃは、第１及び第２位置検出センサ８ａ，８ｂよりも鉛直方向（Ｚ方向）下方に位置している。また、図８に示すように、第３位置検出センサ８ｃは、車幅方向（Ｙ方向）において第１及び第２位置検出センサ８ａ，８ｂの間に位置し、第１及び第２位置検出センサ８ａ，８ｂよりも長さ方向（図８中Ｘ方向）において、後方に位置している。

各位置検出センサ８ａ〜８ｃの図示しないセンサヘッドから発信された超音波は、ドライバーＤの頭部Ｄ１に反射する。各位置検出センサ８ａ〜８ｃは、超音波を発信してから反射波を受信するまでの時間を計測し、その計測時間に基づいて、頭部Ｄ１までの各相対距離Ｌ１〜Ｌ３をそれぞれ算出する。算出された相対距離Ｌ１〜Ｌ３は、センサＩ／Ｆ部２３を介して制御部１０に出力される。尚、各位置検出センサ８ａ〜８ｃからの信号に基づいて、センサＩ／Ｆ部２３が頭部Ｄ１までの相対距離Ｌ１〜Ｌ３を算出するようにして
もよい。

図１に示すように、不揮発性のメインメモリ１１には、頭部Ｄ１の中心座標Ｄｃを算出するための頭部座標テーブル１１ａが記憶されている。頭部座標テーブル１１ａは、第１〜３位置検出センサ８ａ〜８ｃからドライバーＤの頭部Ｄ１までの相対距離Ｌ１〜Ｌ３と、頭部Ｄ１の中心座標Ｄｃの標準値とを紐付けている。即ち、運転席に着座した状態で、標準的な体型のドライバーＤの頭部Ｄ１が移動し得る範囲と、第１〜３位置検出センサ８ａ〜８ｃの検出範囲とを合わせて、頭部移動範囲Ｚ３（図８参照）を予め設定しておく。この頭部移動範囲Ｚ３内では、第１〜３位置検出センサ８ａ〜８ｃにより検出される相対距離Ｌ１〜Ｌ３と、頭部Ｄ１の中心座標Ｄｃとの組み合わせはパターン化されているので、各相対距離Ｌ１〜Ｌ３を用いて、頭部座標テーブル１１ａを参照することにより、頭部Ｄ１の中心座標Ｄｃが得られる。尚、頭部座標テーブル１１ａとして、ドライバーの体型に応じた複数のテーブルを記憶してもよいし、ドライバーＤの座高、目の位置等の体型に関するデータを予め運転支援ユニット２に登録し、その登録データにより制御部１０が頭部座標テーブル１１ａを生成してもよい。

次に、制御部１０は、算出した中心座標Ｄｃに基づき、ピラーＰによって遮られる死角θ１，θ２を算出する。図９及び図１０を用いて詳述すると、頭部Ｄ１の中心座標ＤｃとピラーＰとの水平方向における接線Ｔ１，Ｔ２（図９参照）と、鉛直方向における接線Ｔ３，Ｔ４（図１０参照）を算出し、接線Ｔ１，Ｔ２がなす角度及び接線Ｔ３，Ｔ４がなす角度を算出する。

水平方向における接線Ｔ１，Ｔ２を算出するとき、図１０に示すように、制御部１０は、ＲＯＭ１２に記憶されたピラー形状４１に基づき、ピラーＰの長手方向の側端のうち、頭部Ｄ１の中心座標Ｄｃと同じ高さの接点Ｐ１，Ｐ２を求める。そして、図９に示すように、それらの接点Ｐ１，Ｐ２と、中心座標Ｄｃとを接続して、接線Ｔ１，Ｔ２を求める。尚、接線Ｔ１，Ｔ２を求めるための接点Ｐ１，Ｐ２は、中心座標Ｄｃと同じ高さでなくてもよく、例えば、ピラーＰの長手方向の中点でもよい。

また、制御部１０は、接線Ｔ１，Ｔ２によって形成される水平方向の死角θ１を算出する。さらに、制御部１０は、図９に示すように、車幅方向（Ｙ方向）の水平軸としての水平線Ｈｙを０度として、この水平線Ｈｙからの接線Ｔ１の角度θａ（以下、最小角度θａという）、水平線Ｈｙからの接線Ｔ２の角度θｂ（以下、最大角度θｂという）を算出する。

一方、鉛直方向における接線Ｔ３，Ｔ４を算出する際は、制御部１０は、ピラー形状４１に基づき、図１０に示すように、頭部Ｄ１の中心座標Ｄｃと、ピラーＰの下端点Ｐ３、上端点Ｐ４とを結ぶ接線Ｔ３，Ｔ４を算出する。そして、各接線Ｔ３，Ｔ４がなす角度を、鉛直方向の死角θ２とする。また、中心座標ＤｃからのＸ方向の水平線Ｈｘを０度として、水平線Ｈｘから接線Ｔ３までの角度θｃ（以下、最小角度θｃという）、水平線Ｈｘからの接線Ｔ４の角度θｄ（以下、最大角度θｄという）を算出する。

制御部１０は、死角θ１，θ２、最大角度θｂ，θｄ、最小角度θａ，θｃを算出すると、まず、水平方向の最大角度θｂが所定角度Ａ（例えば４５度）未満であるか否か、及び鉛直方向の最大角度θｄが所定角度Ｂ（例えば１５度）以上であるか否かを判断する。尚、所定角度Ａ，Ｂの大きさは、車両Ｃの構造に応じて適宜設定されるため、上記した角度に限定されない。

最大角度θｂ＜所定角度Ａ、且つ最大角度θｄ≧所定角度Ｂである場合には、ドライバーＤの視界（視野範囲）は、車両Ｃの前方右側に向き、比較的遠方まで見えるため、第１
カメラ６によって撮影を行う。それ以外の場合には、ドライバーＤは、前方右側をみても車両Ｃの近傍しか見えない姿勢をとっているため、前方を中心に撮影する第２カメラ７によって撮影する。

例えば、図９に示すように、頭部Ｄ１が頭部移動範囲Ｚ３のうち前方右側にある場合には、水平方向の最大角度θｂは、４５度以上となる。また、図１０に示すように、頭部Ｄ１が頭部移動範囲Ｚ３のうち前方右側にある場合、鉛直方向の最大角度θｄは１５度以上になる。このように、鉛直方向の最大角度θｄは所定角度Ｂ以上となるが、水平方向の最大角度θｂは所定角度Ａ以上となるので、制御部１０は、前方右側にある頭部Ｄ１の位置に近い第２カメラ７によって撮影を行う。

第２カメラ７は、撮影を行うと映像データ入力部２２を介して画像プロセッサ２０に画像データＧを出力する。画像プロセッサ２０は、上記したように画像処理を行い、マスクパターン４０を用いて出力用データＯＤを生成する。そして生成した出力用データＯＤをプロジェクタ４に出力する。従って、頭部Ｄ１が頭部移動範囲Ｚ３の前方右側にあるときにフロントウィンドウＷ１からみえる風景と連続した画像をピラーＰのスクリーンＳＣに表示できる。

同様に、例えば図１１及び図１２に示すように、頭部Ｄ１の中心座標Ｄｃが頭部移動範囲Ｚ３の右後方にあるとき、水平方向の最大角度θｂは所定角度Ａ（４５度）以上となり、鉛直方向の最大角度θｄ、所定角度Ｂ（１５度）未満となる。即ち、ドライバーＤは、前方を見た状態であるので、その視界が、第２カメラ７の画角に近くなる。従って、この場合にも、頭部Ｄ１の位置に近い第２カメラ７を起動する。

また、図１３に示すように、頭部Ｄ１の中心座標Ｄｃが頭部移動範囲Ｚ３のうち左前方にあるとき、水平方向の最大角度θｂは所定角度Ａ（４５度）未満になり、且つ鉛直方向
の最大角度θｄは所定角度Ｂ（１５度）以上になる。このような場合、ドライバーＤの頭部Ｄ１は、長さ方向（Ｘ方向）においてフロントウィンドウＷ１に近づき、鉛直方向（Ｚ方向）において比較的低い位置にあるとともに、車幅方向（Ｙ方向）においてピラーＰから比較的離れた状態になっている。即ちドライバーＤは、ピラーＰをよけて、フロントウィンドウＷ１から前方右側を覗き込んだような状態であるため、前方右側の障害物等が視認しやすく、フロントシートＦに背を付けた姿勢では見えない障害物や、障害物の一部が見えることがある。従って、制御部１０は、前方右側及び右側方を中心に撮影する第１カメラ６を駆動する。

第１カメラ６は、撮影を行うと映像データ入力部２２を介して、画像プロセッサ２０に画像データＧを出力する。画像プロセッサ２０は、上記したように、画像データＧを座標変換した後、出力用データＯＤを生成し、生成した出力用データＯＤをプロジェクタ４に出力する。このため、ドライバーが前屈みになって、前方右側の他車両や障害物等をみている場合、この姿勢で見ることができる前方右側の他車両や障害物をスクリーンＳＣに投影することができる。

さらに、図１４に示すように、頭部Ｄ１の中心座標Ｄｃが頭部移動範囲Ｚ３の左後方にあるとき、水平方向の最大角度θｂは所定角度Ａ以上になり、鉛直方向の最大角度θｄは、所定角度Ｂ未満になる。このような場合、ドライバーＤは前方を中心にみている状態であるため、第２カメラ７を起動する。

次に、本実施形態の処理手順について、図１５に従って説明する。運転支援ユニット２の制御部１０は、ピラーＰの内側に背景画像を投影する投影モードの開始を待つ（ステップＳ１）。例えば、タッチパネル操作、操作スイッチ２６が操作され、制御部１０が外部
入力Ｉ／Ｆ部２５を介して、モード開始要求を受信した場合に、投影モードを開始すると判断する。或いは、初期状態で投影モードが起動する場合には、イグニッションモジュール（図示略）からのオン信号に基づき、投影モードを開始すると判断してもよい。

投影モードを開始すると判断すると（ステップＳ１においてＹＥＳ）、制御部１０は、経路データ１６又は地図描画データ１７の道路データに基づき、交差点又はカーブに接近したか否かを判断する（ステップＳ２）。具体的には、制御部１０は、車両Ｃの現在位置が、Ｔ字路を含む交差点又は所定の曲率以上のカーブから所定距離範囲（例えば２００ｍ）内に進入したと判断すると、交差点又はカーブに接近したと判断する。

交差点又はカーブに接近したと判断すると（ステップＳ２においてＹＥＳ）、制御部１０は、各位置検出センサ８ａ〜８ｃを用いて、ドライバーＤの頭部位置を検出する（ステップＳ３）。このとき、制御部１０は、センサＩ／Ｆ部２３を介して、各位置検出センサ８ａ〜８ｃから、頭部Ｄ１までの相対距離Ｌ１〜Ｌ３を取得する。そして各相対距離Ｌ１〜Ｌ３と頭部座標テーブル１１ａとを参照して、頭部Ｄ１の中心座標Ｄｃを特定する。

続いて、制御部１０は、中心座標Ｄｃを用いて、上記したように水平方向の接線Ｔ１，Ｔ２と鉛直方向の接線Ｔ３，Ｔ４を算出し、水平方向の死角θ１、鉛直方向の死角θ２を算出する。

各死角θ１，θ２を算出すると、制御部１０は、水平方向の死角θ１の最大角度θｂが所定角度Ａ未満、且つ鉛直方向の死角θ２の最大角度θｄが所定角度Ｂ以上であるか否かを判断する（ステップＳ４）。

最大角度θｂが所定角度Ａ以上、又は最大角度θｄが所定角度Ｂ未満であると判断した場合（ステップＳ４においてＮＯ）、ドライバーＤは前方を向いた状態か、車両Ｃの前方右側のうち車両近傍をみている状態であるので、制御部１０は、そのときのドライバーＤの視界に近い画角の第２カメラ７を起動して、前方領域Ｚ２を撮影する（ステップＳ６）。第２カメラ７は、映像信号Ｍを映像データ入力部２２に出力し、映像データ入力部２２は、映像信号ＭをＡ／Ｄ変換して、画像データＧを画像プロセッサ２０に出力する。

また、画像プロセッサ２０は、映像データ入力部２２から入力した画像データＧを、頭部Ｄ１の中心座標Ｄｃに合わせて画像処理する（ステップＳ７）。即ち、中心座標Ｄｃに合わせて撮影するカメラ６，７を変更するだけでなく、そのときの中心座標Ｄｃに合わせた座標変換等の公知の画像処理をすることにより、より実際の背景に近い画像にする。このとき、画像プロセッサ２０は、ＲＯＭ１２からマスクパターン４０を読み込み、マスクパターン４０の画像表示部４０ａには、画像データＧの画素値を読み込み、その他の領域はプロジェクタ４の非表示用の画素値を読み込み、出力用データＯＤを生成する。

出力用データＯＤを生成すると、画像プロセッサ２０は出力用データＯＤをプロジェクタ４に出力し、プロジェクタ４は、その出力用データＯＤをＤ／Ａ変換して、ピラーＰのスクリーンＳＣに背景画像を投影する（ステップＳ８）。その結果、図１６に示すように、スクリーンＳＣに映像としての背景画像ＩＭが表示される。図１６に示す背景画像ＩＭは、前方を中心に撮影する第２カメラ７によって撮影されているため、前方を見ているドライバーＤが、フロントウィンドウＷ１及びドアウィンドウＷ２を介して見える実際の風景と、背景画像ＩＭとの連続性を良好にすることができる。

背景画像ＩＭをスクリーンＳＣに表示すると、制御部１０は、車両Ｃが交差点又はカーブから離れたか否かを判断する（ステップＳ９）。車両Ｃが交差点又はカーブに接近中であるか又は進入していると判断した場合には（ステップＳ９においてＮＯ）、ステップＳ
３に戻り、制御部１０は、各位置検出センサ８ａ〜８ｃを制御して、頭部Ｄ１の中心座標Ｄｃを算出する。

そして、車両Ｃが交差点に到達すると、ドライバーＤが前屈みになり、車両Ｃの進行方向と直交する方向の道路をのぞき込み、他車両や歩行者等の有無を確認し、右折する場合には、直交する道路の形状等を確認する。この場合、ドライバーＤの頭部Ｄ１は、ピラーから左側に離れ、前方に移動する。その結果、死角θ１の最大角度θｂが所定角度Ａ（４５度）未満となり，死角θ２の最大角度θｄが所定角度Ｂ（１５度）以上になる（ステップＳ４においてＹＥＳ）。このとき制御部１０は、そのときのドライバーＤの視界に近い範囲である側方領域Ｚ１を撮影する第１カメラ６により撮影を行う（ステップＳ５）。第１カメラ６は、映像信号Ｍを映像データ入力部２２に出力し、映像データ入力部２２は、映像信号ＭをＡ／Ｄ変換して、画像データＧを画像プロセッサ２０に出力する。

また、画像プロセッサ２０は、映像データ入力部２２から入力した画像データＧを、頭部Ｄ１の中心座標Ｄｃに合わせて画像処理して（ステップＳ７）、出力用データＯＤを生成する。出力用データＯＤを生成すると、画像プロセッサ２０は出力用データＯＤをプロジェクタ４に出力し、プロジェクタ４は、その出力用データＯＤをＤ／Ａ変換して、ピラーＰのスクリーンＳＣに背景画像を投影する（ステップＳ８）。その結果、図１７に示すように、スクリーンＳＣに背景画像ＩＭが表示される。背景画像ＩＭには、ドライバーＤがフロントシートＦに背を付けた状態では見えない道路形状や障害物等が表示されている。また、フロントウィンドウＷ１及びドアウィンドウＷ２を介して見える実際の風景と、背景画像ＩＭとの連続性が良好になっている。

そして、車両Ｃが交差点又はカーブから離れたと判断すると（ステップＳ９においてＹＥＳ）、制御部１０は、投影モードが終了であるか否かを判断する（ステップＳ１０）。例えば、制御部１０は、タッチパネル操作又は操作スイッチ２６が操作されたり、又はイグニッションモジュールのオフ信号を入力すると、投影モードが終了したと判断して（ステップＳ１０においてＹＥＳ）、処理を終了する。投影モードを終了しないと判断すると（ステップＳ１０においてＮＯ）、ステップＳ２に戻り、車両Ｃが交差点又はカーブに接近するまで待機する。そして、車両Ｃが交差点又はカーブに接近すると（ステップＳ２においてＹＥＳ）、上記した処理を繰り返す。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、運転支援ユニット２の制御部１０は、第１〜３位置検出センサ８ａ〜８ｃに基づき、ドライバーＤの頭部Ｄ１の中心座標Ｄｃを算出するようにした。また、その頭部Ｄ１の位置でのピラーＰによる死角θ１，θ２を算出し、各死角θ１の最大角度θｂが所定角度Ａ（４５度）未満、且つ死角θ２の最大角度θｄが所定角度Ｂ（１５度）以上の場合には、車両Ｃの側方を撮影する第１カメラ６を起動するようにした。また、これ以外の場合には、車両Ｃの側方を撮影する第２カメラ７を起動するようにした。そして、第１又は第２カメラ６，７によって撮影した画像データＧを、中心座標Ｄｃに合わせて画像処理し、生成した出力用データＯＤをプロジェクタ４に出力するようにした。プロジェクタ４は、ピラーＰの内側面のスクリーンＳＣに、その出力用データＯＤを投影するようにした。このため、ドライバーＤが前屈みになって前方右側を見たときにも、フロントシートＦに背を付けた姿勢のときにも、各姿勢に応じた画角から撮影された背景画像ＩＭが表示されるので、実際の風景との連続性が良好な背景画像ＩＭを表示することができ、ひいては安全運転も支援することができる。

（２）上記実施形態では、運転支援ユニット２の制御部１０は、ドライバーＤの頭部Ｄ１の中心座標Ｄｃを検出するようにした。そして、その中心座標Ｄｃに基づき死角θ１，θ２を算出するので、死角θ１，θ２と、最大角度θｂ及び最小角度θｃとを比較的正確
に算出することができる。

（３）上記実施形態では、ドライバーＤの姿勢に応じて第１カメラ６又は第２カメラ７を選択するだけでなく、画像プロセッサ２０により、各カメラ６，７から入力した画像データＧに対し座標変換を行うようにした。このため、フロントウィンドウＷ１及びドアウィンドウＷ２からみえる実際の風景と背景画像ＩＭとの連続性をより良好にすることができる。

（４）上記実施形態では、制御部１０は、頭部Ｄ１の中心座標Ｄｃに基づき、死角θ１の最大角度θｂと死角θ２の最大角度θｄとを算出するようにした。そして、最大角度θｂ、最大角度θｄの大きさにより、カメラ６，７を選択するようにした。このため、ドライバーＤの死角の向きに基づきカメラ６，７を選択するので、ドライバーＤの姿勢に合った、連続性の高い背景画像ＩＭを的確に表示することができる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、制御部１０は、経路データ１６に基づいて車両Ｃが交差点に接近したか否かを判断し、地図描画データ１７に基づいて車両Ｃが所定の曲率以上のカーブに接近したか否かを判断するようにしたが、地図描画データ１７又は他のデータに基づいて交差点の有無を判断してもよい。また、経路データ１６又は他のデータに基づいて、所定の曲率以上のカーブの有無を判断してもよい。

・上記実施形態では、位置検出センサ８ａ〜８ｃをルームミラーＲＭ近傍、ドアウィンドウＷ２の上端付近、フロントシートＦのヘッド部ＦＨに設けたが、その他の位置に設けてもよい。また、頭部Ｄ１の位置を検出するセンサを３つにしたが、２つ又は４つ以上でもよい。さらに、位置検出センサ８ａ〜８ｃを超音波センサとしたが、赤外線センサ等、その他のセンサでもよい。

・上記実施形態では、超音波センサからなる位置検出センサ８ａ〜８ｃによって、ドライバーＤの頭部Ｄ１を検出するようにしたが、運転席近傍にあるカメラによって、運転席周辺を撮影し、特徴点検出や、パターンマッチング処理等の画像処理により、ドライバーの頭部を検出するようにしてもよい。

・上記実施形態では、相対距離Ｌ１〜Ｌ３と頭部座標テーブル１１ａとを参照して、頭部Ｄ１の中心座標Ｄｃを算出するようにしたが、制御部１０により、テーブルを用いずに、相対距離Ｌ１〜Ｌ３に基づき算出してもよい。

・上記実施形態では、頭部Ｄ１の中心座標Ｄｃと、上記した水平方向の最大角度θｂ、鉛直方向の最大角度θｄとを関連付けたテーブルを、メインメモリ１１等に格納するようにしてもよい。そして、中心座標Ｄｃが算出された際に、そのテーブルに基づいて最大角度θｂ及び最大角度θｄを算出するようにしてもよい。

・上記実施形態では、映像データ入力部２２が画像データＧを生成するようにしたが、各カメラ６，７内でＡ／Ｄ変換して画像データＧを生成するようにしてもよい。
・上記実施形態では、水平方向の死角θ１の最大角度θｄが所定角度Ａ未満、且つ鉛直方向の死角θ２の最大角度θｄが所定角度Ｂ以上である場合に、第１カメラ６によって撮影するようにした。これ以外に、水平方向の死角θ１の最大角度θｂが所定角度Ａ未満であるか否かのみを判断するようにし、最大角度θｂが所定角度Ａ未満であるときに、第１カメラ６によって撮影するようにしてもよい。又は、鉛直方向の死角θ２の最大角度θｄが所定角度Ｂ以上であるか否かのみを判断し、最大角度θｄが所定角度Ｂ以上である場合に、第１カメラ６によって撮影するようにしてもよい。

・上記実施形態では、死角θ１，θ２の大きさによって、第１及び第２カメラ６，７のいずれかを選択するようにしてもよい。
・上記実施形態では、頭部Ｄ１の中心座標Ｄｃから、ドライバーＤの死角θ１，θ２を算出するようにしたが、中心座標Ｄｃが頭部移動範囲Ｚ３内のうち、どの範囲に含まれるかによって、第１カメラ６又は第２カメラ７を選択するようにしてもよい。例えば、ドライバーＤが前屈みになっているときには、頭部Ｄ１が頭部移動範囲Ｚ３内のうち前方左側にあると判断することにより、第１カメラ６を起動するようにしてもよい。また、頭部Ｄ１が頭部移動範囲Ｚ３内のうち前方右側又は後方にあると判断したとき、第２カメラ７を起動するようにしてもよい。このようにすると、運転支援ユニット２の処理が軽減され、車両Ｃの移動に伴って変化する実際の風景と連続する背景画像ＩＭを比較的容易に表示できる。

・上記実施形態では、車両Ｃに２つの各カメラ６，７を設けるようにしたが、３つ以上のカメラを設置してもよい。この場合でも、上記したように、ドライバーＤの死角θ１，θ２又は頭部Ｄ１の中心座標Ｄｃに基づき、各カメラの中から撮影を行うカメラを選択することにより、ドライバーの姿勢に応じた背景画像ＩＭを表示できる。

・上記実施形態では、運転席側のピラーＰ（本実施形態では右側のフロントピラー）に背景画像ＩＭを表示するようにしたが、運転席と反対側のピラーに背景画像を表示するようにしてもよい。この場合にも、頭部Ｄ１の座標と、ピラーによって遮られる死角の角度を算出し、その角度に応じて、起動するカメラを変更する。

・上記実施形態では、プロジェクタ４により、ピラーＰの内側に背景画像ＩＭを投影するようにしたが、ピラーＰの内側に薄型のディスプレイを設け、画像プロセッサ２０からそのディスプレイに出力用データＯＤを出力しても良い。

本実施形態の運転支援システムのブロック図。 第１カメラの撮像範囲の説明図。 第２カメラの撮像範囲の説明図。 プロジェクタ及びピラーの位置を説明する説明図。 ピラーを内側からみた側面図。 マスクパターンの説明図。 側面からみたセンサの説明図。 上方からみたセンサの説明図。 頭部が前方右側にあるときの水平方向の死角の説明図。 頭部が前方右側にあるときの鉛直方向の死角の説明図。 頭部が後方右側にあるときの水平方向の死角の説明図。 頭部が後方右側にあるときの鉛直方向の死角の説明図。 頭部が前方左側にあるときの水平方向の死角の説明図。 頭部が後方左側にあるときの水平方向の死角の説明図。 本実施形態の処理手順の説明図。 ピラーに投影される背景画像の説明図。 ピラーに投影される背景画像の説明図。

符号の説明

１…運転支援システム、２…運転支援装置としての運転支援ユニット、３…ディスプレイ、６…撮影手段としての第１カメラ、７…撮影手段としての第２カメラ、１０…検出手段、起動手段、角度演算手段及び判断手段としての制御部、２０…出力制御手段及び画像処理手段としての画像プロセッサ、２２…映像信号取得手段としての映像データ入力部、２３…検出手段を構成するセンサＩ／Ｆ部、Ｃ…車両、Ｄ…ドライバー、Ｄ１…頭部、Ｈｙ…水平軸としての水平線、ＩＭ…映像としての背景画像、Ｍ…映像信号、Ｐ…ピラー、θ１，θ２…死角、θｂ，θｄ…最大角度。

Claims (8)

1. 車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援方法であって、
   前記車両の運転席に着座したドライバーの位置を検出し、一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動するとともに、前記起動した撮影手段から取得した映像信号に基づき前記ピラーの内側に映像を表示することを特徴とする運転支援方法。
2. 車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援装置において、
   前記車両の運転席に着座したドライバーの位置を検出する検出手段と、
   一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動する起動手段と、
   前記起動した撮影手段から映像信号を取得する映像信号取得手段と、
   前記起動した撮影手段から取得した前記映像信号に基づき、前記車両のピラーの内側に、前記ピラーによって生じる死角領域に相当する映像を表示する出力制御手段と
   を備えたことを特徴とする運転支援装置。
3. 請求項２に記載の運転支援装置において、
   前記起動手段は、
   一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの位置に基づき、前記ドライバーの視界に近い範囲を撮影する撮影手段を選択し、前記選択した撮影手段を起動することを特徴とする運転支援装置。
4. 車両に取り付けられた撮影手段を用いて、前記車両のピラーによって生じる死角領域を撮影し、前記撮影手段によって撮影された映像を前記ピラーの内側に表示する運転支援装置において、 前記車両の運転席に着座したドライバーの位置を検出する検出手段と、
   前記検出手段によるドライバーの位置に基づき、前記ピラーによって生じる死角の角度を算出する角度演算手段と、
   一つのピラーによって生じる死角領域についてそれぞれ異なる範囲を撮影する複数の前記撮影手段のうち、前記ドライバーの死角の角度に応じて撮影を行う撮影手段を選択し、前記選択した撮影手段を起動する起動手段と、
   前記起動した撮影手段から映像信号を取得する映像信号取得手段と、
   前記起動した撮影手段から取得した前記映像信号に基づき、前記車両のピラーの内側に、前記ピラーによって生じる死角領域に相当する映像を表示する出力制御手段と
   を備えたことを特徴とする運転支援装置。
5. 請求項４に記載の運転支援装置において、
   前記起動手段は、前記ピラーによって生じる死角の車幅方向の水平軸からの最大角度が所定角度未満である場合に、前記車両の前側方を中心に撮影する第１撮影手段を選択して起動し、前記最大角度が所定角度以上である場合に、前記車両の前方を中心に撮影する第２撮影手段を選択して起動することを特徴とする運転支援装置。
6. 請求項２〜５のいずれか１項に記載の運転支援装置において、
   前記検出手段は、前記ドライバーの位置として前記ドライバーの頭部の座標を検出することを特徴とする運転支援装置。
7. 請求項２〜６のいずれか１項に記載の運転支援装置において、
   前記起動した撮影手段から取得した映像信号に対し、前記ドライバーの位置に応じた画像処理を行う画像処理手段を備えたことを特徴とする運転支援装置。
8. 請求項２〜７のいずれか１項に記載の運転支援装置において、
   前記車両が交差点に接近したか否かを判断する判断手段を備え、
   前記出力制御手段は、前記判断手段が前記車両が交差点に接近したと判断すると、前記起動した撮影手段から取得した映像信号に基づき前記ピラーの内側に映像を表示することを特徴とする運転支援装置。

Images