JP2005136561A - 車両周辺画像表示装置 - Google Patents

Abstract

【課題】 ドライバが瞬時に車両周辺の状況を認識できるような形態で車両周辺画像の表示を行えるようにする。
【解決手段】 方向検出ＥＣＵ９にてドライバの顔の向き等を検出し、その向きと運転席ドアミラー１４、助手席ドアミラー１３もしくはルームミラーの方向とが一致していた場合に、ドライバがそれらのミラーを通じて所定の方向の周辺状況を確認したいものであると判定する。そして、その方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも大きくなるように、描画ＥＣＵ６にて画像処理を行って各ディスプレイ１、２に表示する。つまり、ドライバのミラー確認動作と連動して必要な情報をディスプレイ１、２に所定時間表示するようにしている。
【選択図】 図５

Description

本発明は、運転席からの死角位置などの車両周辺画像を車載カメラで撮影し、その車両周辺画像を表示装置に表示することで、ドライバに車両周辺の状況を認識できるようにする車両周辺画像表示装置に関するものである。

従来より、ドライバが運転席から視認し難いような死角位置を車載カメラで撮影し、それによって得られた車両周辺画像を車載ＴＶに表示することで、ドライバが車両周辺の状況を認識し易くなるように運転支援を行う方法が提案されている（例えば、特許文献１参照）。この従来の車載ＴＶでの車両周辺画像の表示方法について、図１２を参照して説明する。

図１２は、従来の方法で車両周辺画像を表示したときの車載ＴＶ画面を示したものである。車両には、図１２に示されるように、車両を中心とした各領域Ａ〜Ｇを撮影できるように、それぞれ対応する車載カメラが設置されている。具体的には、車載カメラは、領域Ａである車両左後方、領域Ｂである車両右後方、領域Ｃである車両左前方、領域Ｄである車両右前方、領域Ｅである車両前方右側、領域Ｆである車両前方左側、領域Ｇである車両後方に設置され、これら各領域Ａ〜Ｇを撮影できる方向に向けられる。
特開平１４−０１９５５６号公報

しかしながら、図１２に示されるような表示形態によれば、例えば、ドライバが後方確認をしたい場合であっても、もしくは、車両左側を確認したい場合であっても、領域Ａ〜Ｇにおいて一定の大きさで画像表示が行なわれることから、ドライバが瞬時に直感的に車両周辺の状況を認識できない可能性がある。

特に、車両左側や右側における領域Ａ〜Ｄの画像は横向きに表示され、車両後方における領域Ｇの画像は上下逆向きに表示されるため、ドライバにとって認識し易い形態で表示を行わないと、好適にドライバの運転支援を行うことができない。

また、車室内に複数のディスプレイを搭載することにより、ドライバが瞬時に車両の周辺の状況を認識できるようにすることも考えられるが、その数には限度があり、少ないディスプレイを有効に使って好適に運転支援を行えるようにすることが求められる。

本発明は上記点に鑑みて、ドライバが瞬時に車両周辺の状況を認識できるような形態で車両周辺画像の表示を行える車両周辺画像表示装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、ドライバの視線方向もしくは顔の向きを検出するドライバ視認方向検出手段（９〜１１）と、車両に設置され、該車両の周辺の異なる領域における画像を取り込む車載カメラ（Ａ〜Ｊ）と、車載カメラからの映像を画像処理し、画像表示信号を出力する画像処理部（６）と、画像処理部からの画像表示信号に基づき、車両の周辺画像の表示を行う表示器（１、２、１５）とを備えた車両周辺画像表示装置であって、画像処理部は、ドライバ視認方向検出手段からの検出結果を受け取り、その検出結果に基づき、表示器にて、車載カメラが取り込んだ画像のうちドライバ視認方向と一致する部分の画像を他の画像よりも際立つように表示補正を行うようになっていることを特徴としている。

このように、ドライバが確認したい方向を検出し、その方向と一致する位置の画像が他の画像よりも際立つように表示することで、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。

請求項２に記載の発明では、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが所定時間同じであった場合に、表示補正を行うようになっていることを特徴としている。このようにすれば、ドライバが瞬間的に、もしくは偶然的に運転席ドアミラーや助手席ドアミラーもしくはルームミラー等の方向を見たときにまで、画像補正がなされることを防止することができる。

請求項３に記載の発明では、車載カメラは、車両に設置される運転席ドアミラーの死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置される運転席ドアミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、運転席ドアミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。

この場合、請求項４に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが運転席ドアミラーの方向であった場合に、複数の表示器のうち、運転席ドアミラーからのドライバの視線の動線距離が最も短い表示器（１５）、もしくは運転席ドアミラーへの視線の動線上に位置する表示器（１５）に、運転席ドアミラーの死角を含む画像を表示させることができる。

このようにすれば、よりドライバの視線の移動距離を少なくすることが可能となり、よりドライバによるディスプレイの確認を容易にすることが可能となる。

また、請求項５に記載の発明では、車載カメラは、車両に設置される助手席ドアミラーの死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置される助手席ドアミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、助手席ドアミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。

この場合、請求項６に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが助手席ドアミラーの方向であった場合に、複数の表示器のうち、助手席ドアミラーからのドライバの視線の動線距離が最も短い表示器（２）、もしくは助手席ドアミラーへの視線の動線上に位置する表示器（２）に、助手席ドアミラーの死角を含む画像を表示させることができる。このようにしても、制球項４と同様の効果を得ることができる。

請求項７に記載の発明では、車載カメラは、車両の後方の死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置されるルームミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、ルームミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。

この場合、請求項８に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きがルームミラーの方向であった場合に、複数の表示器のうち、ルームミラーからのドライバの視線の動線距離が最も短い表示器（１）、もしくはルームミラーへの視線の動線上に位置する表示器（１）に、ルームミラーの死角を含む画像を表示させることもできる。これにより、請求項４と同様の効果を得ることができる。

車載カメラが取り込んだ画像のうちドライバ視認方向と一致する位置の画像が他の画像よりも際立たせる手法としては、例えば、請求項９に示されるように、ドライバ視認方向と一致する位置の画像が他の画像よりも大きくなるように、高輝度になるように、あるいは他の部分をマスクする等、目的の画像が視認しやすいように表示補正することが挙げられる。

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。

（第１実施形態）
本発明の一実施形態を適用した車両周辺画像表示装置について説明する。図１に、車両周辺画像表示装置のシステム構成を表したブロック図を示す。この図に示される各ブロック構成は、車両各部に設置されている。

図１に示されるように、車両には、センターＴＦＴディスプレイ１と助手席ＴＦＴディスプレイ２とが備えられている。これらの配置は、図２のように示され、それぞれ、センターＴＦＴディスプレイ１がインストルメントパネル３の中央、つまり運転席４と助手席５の間の正面に備えられ、助手席ＴＦＴディスプレイ２がインストルメントパネル３の助手席正面に備えられた構成となっている。これらセンターＴＦＴディスプレイ１および助手席ＴＦＴディスプレイ２が本発明における表示器に相当するものである。

さらに、車両には、描画ＥＣＵ６が備えられている。この描画ＥＣＵ６は、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏ、ＣＰＵ、タイマ等を備えたマイクロコンピュータによって構成され、予めＲＯＭにインストールされたプルグラムに従った画像処理などを行うようになっている。この描画ＥＣＵ６には、ナビゲーションシステム７、ＴＶ受信機８、方向検出ＥＣＵ９、投光ライト１０、顔撮影カメラ１１、さらには車両の死角の画像を取得するための車載カメラＡ〜Ｇなどからの画像入力と、車両の乗員によって駆動される切り替えスイッチ１２からの切り替え信号の入力がなされるようになっている。

ナビゲーションシステム７は、一般的に知られているもので、ドライバに対して道路案内表示を行うものである。このナビゲーションシステム７は、車両が現在走行中の地図情報を含む画像信号を出力する。また、図示しない操作リモコンもしくはセンターＴＦＴディスプレイ１に備えられたタッチパネルタイプの操作スイッチがドライバによって操作されて目的地が設定されると、ナビゲーションシステム７は、上記地図情報にその目的地までの経路案内情報を加えたものを画像信号として出力するようになっている。

ＴＶ受信機８は、車両に備えられたアンテナを介して受信したＴＶ画像に応じた画像信号を出力するものである。

方向検出ＥＣＵ９、投光ライト１０および顔撮影カメラ１１は、ドライバ視認方向検出手段に相当するものである。方向検出ＥＣＵ９は、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏ、ＣＰＵ、タイマ等を備えたマイクロコンピュータで構成される。この方向検出ＥＣＵ９は、投光ライト１０および顔撮影カメラ１１を制御すると共に、顔投影カメラ１１が撮影した画像に基づいてドライバの視線方向もしくは顔の向き（以下、顔の向き等という）を検出すると共に、その検出結果に応じた要求信号を描画ＥＣＵ６に出力するものである。

投光ライト１０および顔撮影カメラ１１は、例えば運転席の正面に互いに隣り合うように配置されるもので投光ライト１０からドライバの顔に向けて例えば赤外線を照射し、その反射光を顔撮影カメラ１１で映像として捕らえるようになっている。そして、その映像データが方向検出ＥＣＵ９に入力され、方向検出ＥＣＵ９にて画像処理することで、ドライバの顔の向き等が検出されるようになっている。

複数の車載カメラＡ〜Ｇは、ドライバが運転席４から視認し難いような死角位置を撮影するもので、これら各車載カメラＡ〜Ｇが取り込んだ画像が描画ＥＣＵ６に入力されるようになっている。これら各車載カメラＡ〜Ｇは、例えば、図３のように配置される。なお、この図において、各カメラの画像取り込み範囲をハッチングで示してある。

この図に示されるように、車載カメラＡは、車両左側に備えられた助手席ドアミラー１３において車両後方を向くように設置され、車両左後方の領域のうち、ドライバが助手席ドアミラー１３を使用して視認できる領域に加え、助手席ドアミラー１３を使用しても視認することができない領域の画像まで取り込めるように設置されている。車載カメラＢは、車両右側に備えられた運転席ドアミラー１４において車両後方を向くように設置され、車両右後方の領域のうち、ドライバが助手席ドアミラー１３を使用して視認できる領域に加え、運転席ドアミラー１４を使用しても視認することができない領域の画像まで取り込めるように設置されている。

車載カメラＣは、車両左側に備えられた助手席ドアミラー１３において車両前方を向くように設置され、車両左前方の領域の画像を取り込めるようになっている。車載カメラＤは、車両右側に備えられた運転席ドアミラー１４において車両前方を向くように設置され、車両右前方の領域の画像を取り込めるようになっている。

車載カメラＥ、Ｆは、共に車両前方に設置され、それぞれ、車両前方位置において車両右側と左側の領域の画像を取り込めるようになっている。さらに、車載カメラＧは、車両後方に設置され、車両後方の画像を取り込めるようになっている。

切り替えスイッチ１２は、ドライバによって操作されるもので、地図情報画像、ＴＶ画像、車両周辺画像のいずれの画像表示を行うかを選択するためのものである。この切り替えスイッチ１２がドライバの選択に応じて押されると、その切り替え状態に応じた切り替え信号が描画ＥＣＵ６に出力され、その選択されたコンテンツの画像信号が描画ＥＣＵ６から各ＴＦＴディスプレイ１、２に向けて出力されるようになっている。すなわち、地図情報画像が選択された場合にはナビゲーションシステム７からの画像信号、ＴＶ画像が選択された場合にはＴＶ受信機８からの画像信号、車両周辺画像が選択された場合には複数の車載カメラＡ〜Ｇからの画像信号が各ＴＦＴディスプレイ１、２に出力され、これらの画像信号に基づいて画像表示が行われる。なお、この切り替えスイッチ１２は、各ＴＦＴディスプレイ１、２で共通のものであっても、また、それぞれ別々に設けられるものであっても良い。そして、双方のディスプレイ１、２で共に同じ内容の画像を表示する必要はなく、異なる内容の画像を表示することも可能である。

このように構成された車両周辺画像表示装置では、切り替えスイッチ１２を用いて、ドライバが車両周辺画像を見ることを選択した場合、複数の車載カメラＡ〜Ｇからの画像信号に基づいて各ＴＦＴディスプレイ１、２での画像表示が行われる。

そして、そのような選択がなされると、各ＴＦＴディスプレイ１、２にて車載カメラＡ〜Ｇで取り込んだ画像に基づく画像表示が行われる。この様子を図４に示す。

図４に示されるように、各ディスプレイ１、２に車両周辺画像が表示される。このとき、図４の各領域で示したように、車載カメラＡ〜Ｇで取り込んだ各画像が上下同じ向きに揃えられた状態で順につなぎ合わされ、パノラマ画像のように表示される。これにより、車両を中心とした１周分の画像が表示されることになり、ドライバが直感的に車両の周辺の状態を確認することが可能となる。

そして、このような形態で画像表示が行われる車両周辺画像表示装置において、さらに、以下の処理を実行している。図５に、車両周辺画像表示装置における方向検出ＥＣＵ９が実行する処理のフローチャートを示し、この図に基づき車両周辺画像表示装置が行う処理について説明する。

図５のフローチャートに示される処理は、例えば、図示しない切り替えスイッチによって、複数の車載カメラＡ〜Ｇからの画像信号に基づいて各ＴＦＴディスプレイ１、２での画像表示を行うことが選択された際に実行される。

まず、ステップ１００では、カウンタリセットおよびフラグリセット等の一般的な初期化処理が実行される。そして、ステップ１０１に進み、ドライバの視線方向もしくは顔の向きを検出するための処理が実行される。具体的には、方向検出ＥＣＵ９にて、投光ライト１０および顔撮影カメラ１１が制御され、顔撮影カメラ１１が撮影した画像に基づいてドライバの顔の向き等が検出される。

続く、ステップ１０２では、ステップ１０１における検出結果が運転席ドアミラー１４の方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等が運転席ドアミラー１４の方向と一致している場合には、ドライバが車両の右側を視認したい場合であると考えられる。このため、ステップ１０２で肯定判定されればステップ１０３に進む。

ステップ１０３では、ドライバの顔の向き等が運転席ドアミラー１４の方向と所定時間一致しているか否かが判定される。この判定は、方向検出ＥＣＵ９に備えられた図示しない第１のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。ここでいう所定時間とは、例えばドライバによるミラーの視認時間とされる０．２〜０．５秒程度に設定される。ただし、この時間には個人差があるため、ドライバによって任意に設定されるようにしても良い。

そして、第１のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等が運転席ドアミラー１４の方向に所定時間とどまったものとされる。なお、第１のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０２でドライバの顔の向き等が運転席ドアミラー１４の方向と一致していた場合には、ステップ１０３に戻ってくることになり、第１のタイマの計測時間が所定時間経過したか否かが判定されることになる。

そして、ステップ１０３で肯定判定されればステップ１０４に進み、車載カメラＢ、Ｄ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせられる対象が車載カメラＢ、Ｄの画像であることを示す要求信号が描画ＥＣＵ６に向けて出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＢ、Ｄの画像が他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせられるように画像処理（表示補正）がなされ、要求信号が出されてから所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。なお、ここでいう所定時間も任意に設定されるようにすることができるが、例えば、５〜１０秒程度とされる。

一方、ステップ１０４で要求信号が出力されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０２において、運転席ドアミラー１４の方向と一致していなければ、ステップ１０３、１０４には進まずにそのままステップ１０５に進むことになる。この場合、ステップ１０３で開始された第１のタイマの計測がリセットされ、車載カメラＢ、Ｄの画像を他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせるという処理を終える。

次に、ステップ１０５では、ステップ１０１における検出結果が助手席ドアミラー１３の方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等が助手席ドアミラー１３の方向と一致している場合には、ドライバが車両の左側を視認したい場合であると考えられる。このため、ステップ１０５で肯定判定されればステップ１０６に進む。

ステップ１０６では、ドライバの顔の向き等が助手席ドアミラー１３の方向と所定時間一致しているか否かが判定される。この判定も、方向検出ＥＣＵ９に備えられた図示しない第２のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。そして、第２のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等が助手席ドアミラー１３の方向に所定時間とどまったものとされる。なお、第２のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０５でドライバの顔の向き等が助手席ドアミラー１３の方向と一致していた場合には、ステップ１０６に戻ってくることになり、第２のタイマの計測時間が所定時間経過したか否かが判定されることになる。

そして、ステップ１０６で肯定判定されればステップ１０７に進み、車載カメラＡ、Ｃ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせられる対象が車載カメラＡ、Ｃの画像であることを意味する要求信号が描画ＥＣＵ６に向けて出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＡ、Ｃの画像が他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせられるように画像処理がなされ、要求信号が出されてから所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。

一方、ステップ１０７で要求信号が出されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０５において、助手席ドアミラー１３の方向と一致していなければ、ステップ１０６、１０７には進まずにそのままステップ１０８に進むことになる。この場合、ステップ１０６で開始された第２のタイマの計測がリセットされ、車載カメラＡ、Ｃの画像を他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせるという処理を終える。

続いて、ステップ１０８では、ステップ１０１における検出結果がルームミラーの方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等がルームミラーの方向と一致している場合には、ドライバが車両後方を視認したい場合であると考えられる。このため、ステップ１０８で肯定判定されればステップ１０９に進む。

ステップ１０９では、ドライバの顔の向き等がルームミラーの方向と所定時間一致しているか否かが判定される。この判定も、方向検出ＥＣＵ９に備えられた図示しない第３のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。そして、第３のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等がルームミラーの方向に所定時間とどまったものとされる。なお、第３のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０８でドライバの顔の向き等がルームミラーの方向と一致していた場合には、ステップ１０９に戻ってくることになり、第３のタイマの計測時間が所定時間経過したか否かが判定されることになる。

そして、ステップ１０９で肯定判定されればステップ１１０に進み、車載カメラＧ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＡ〜Ｆの画像よりも際立たせられる対象が車載カメラＧの画像であることを意味する要求信号が出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＧの画像が他の車載カメラＡ〜Ｆの画像よりも際立たせられるように画像処理がなされ、所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。

一方、ステップ１１０で要求信号が出力されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０８において、ルームミラーの方向と一致していなければ、ステップ１０９、１１０には進まずにそのままステップ１０８に進むことになる。この場合、ステップ１０９で開始された第３のタイマの計測がリセットされ車載カメラＧの画像を他の車載カメラＡ〜Ｆの画像よりも際立たせるという処理を終える。

なお、上記説明では、ステップ１０３、１０６、１０９でスタートされたタイマカウントが、ステップ１０２、１０５、１０８で否定判定された場合にリセットされるとしている。しかしながら、ドライバの顔の向きなどが助手席ドアミラー１３側から運転席ドアミラー１４側に切り替わった場合には、ステップ１０２で肯定判定され、ステップ１０５まで進まないことになる。したがって、このように他のステップでドライバの顔の向き等が他のミラーの方向と一致すると肯定判定された場合にも、各タイマカウントがリセットされるようになっている。

以上説明したように、本実施形態では、方向検出ＥＣＵ９にてドライバの顔の向き等を検出し、その向きと運転席ドアミラー１４、助手席ドアミラー１３もしくはルームミラーの方向とが一致していた場合に、ドライバがそれらのミラーを通じて所定の方向の周辺状況を確認したいものであると判定している。そして、ドライバが確認したい方向が分かった場合には、その方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように、描画ＥＣＵ６にて画像処理を行って各ディスプレイ１、２に表示されるようにしている。つまり、ドライバのミラー確認動作と連動して必要な情報をディスプレイ１、２に所定時間表示するようにしている。

例えば、描画ＥＣＵ６によって画像処理が行われた後における各ディスプレイ１、２での画像表示の様子は、図６のように表される。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。この図に示されるように、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合には、車両の右側に相当する車載カメラＡ、Ｃの画像が図４に示される場合よりも大きくされ、他の画像よりも大きくなって際立つようにされる。

このように、ドライバが確認したい方向を検出し、その方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示することで、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。また、時分割で車載カメラＡ〜Ｇを切り替えるようなシステム、あるいはスイッチで切り替えるシステムのような手動操作が不要であるため、煩わしさが無いという効果もある。

さらに、本実施形態では、ドライバが確認したい方向が検出されたのち、その状態が所定時間継続した場合に、その方向に一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示させるようにしている。このため、ドライバが瞬間的に、もしくは偶然的に運転席ドアミラー１４や助手席ドアミラー１３もしくはルームミラーの方向を見たときにまで、上記のような処理がなされることを防止することができる。

（第２実施形態）
本発明の第２実施形態について説明する。本実施形態では、図１〜図３に示す車両周辺画像表示装置の構成について、さらに、図５に示した車両周辺画像表示装置が行う処理については第１実施形態と同様であり、各ディスプレイ１、２の画像表示内容のみが第１実施形態と異なるものであるため、ここでは異なる部分についてのみ説明する。

図７は、本実施形態における各ディスプレイ１、２の画像表示内容を示したものである。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。車載カメラＡ、Ｃ要求を示す要求信号が出力される前には、各ディスプレイ１、２では、従来のような図１２に示される画像表示が行われるようになっている。

そして、車載カメラＡ、Ｃ要求を示す要求信号が出力されると、車両の右側に相当する車載カメラＡ、Ｃの画像が図１２に示される場合よりも大きくされ、他の画像よりも大きくなって際立つようにされる。

このようにすれば、車両を中心として、車載カメラＡ〜Ｄの画像が横向きに表示され、また、車載カメラＧの画像が下向きに表示されていても、ドライバが確認したい方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示される。これにより、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。

（第３実施形態）
本発明の第３実施形態について説明する。本実施形態も、図１〜図３に示す車両周辺画像表示装置の構成について、さらには、図５に示した車両周辺画像表示装置が行う処理については第１実施形態と同様であり、各ディスプレイ１、２の画像表示内容のみが第１実施形態と異なるものであるため、ここでは異なる部分についてのみ説明する。

図８は、本実施形態における各ディスプレイ１、２の画像表示内容を示したものである。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。車載カメラＡ、Ｃ要求を示す要求信号が出力される前には、各ディスプレイ１、２では、従来のような図１２に示される画像表示が行われるようになっている。

そして、車載カメラＡ、Ｃ要求を示す要求信号が出力されると、車両の右側に相当する車載カメラＡ、Ｃの画像が図１２に示される画像の中央部にクローズアップされて表示され、他の画像よりも大きくなって際立つようにされる。

このようにしても、ドライバが確認したい方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立ち、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。

（第４実施形態）
本発明の第４実施形態について説明する。図９は、本実施形態におけるディスプレイの配置を示した図である。本実施形態では、図１、図２に示したセンターＴＦＴディスプレイ１と助手席ＴＦＴディスプレイ２の他にもディスプレイが配置されている点が第１〜第３実施形態と異なる。なお、その他の点に関しては、本実施形態と第１〜第３実施形態とは同様である。

図９に示されるように、本実施形態では、運転席の正面に配置されるメータ内にもディスプレイが配置されている。これにより、運転席ドアミラー１４の近傍にはメータ内のディスプレイ、助手席ドアミラー１３の近傍には助手席ＴＦＴディスプレイ２、ルームミラーの近傍にはセンターＴＦＴディスプレイ１が配置された構成となる。

このように各ミラーそれぞれの近傍にディスプレイ１、２、１５が配置されるような場合には、ドライバの視認したい方向と一致するディスプレイ１、２、１５のみに、車両周辺の画像が表示されるようにすることも可能である。

すなわち、図５のフローチャートにおけるステップ１０４で車載カメラＢ、Ｄ要求がセットされた場合には、ドライバの顔の向き等は助手席ドアミラー１３の方向を向いていることになる。このような場合、ドライバの視線の移動方向に近いディスプレイ、あるいは、助手席ドアミラー１３への視線の動線上に位置しているディスプレイに車両の周辺画像を表示した方が、ディスプレイまでの視線の動線が短くなり、ドライバによるディスプレイの確認が容易となる。このため、このような場合には、助手席ＴＦＴディスプレイ２により、車両の左側に相当する車載カメラＢ、Ｄの画像が他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも大きくなって際立つようにされるようにすることで、よりドライバによる視認し易さの向上を図ることが可能となる。

また、図５のステップ１０７で車載カメラＡ、Ｃ要求がセットされた場合や、ステップ１１０で車載カメラＧ要求がセットされた場合も上記と同様である。つまり、前者の場合には、メータ内のディスプレイ１５に車載カメラＡ、Ｃの画像が他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立つように表示され、後者の場合には、センターＴＦＴディスプレイ１に車載カメラＧの画像が他の車載カメラＡ〜Ｆの画像よりも際立つように表示される。

以上のように、本実施形態によれば、よりドライバの視線の移動距離を少なくすることが可能となり、よりドライバによるディスプレイの確認を容易にすることが可能となる。

（第５実施形態）
本発明の第５実施形態について説明する。本実施形態では、第１〜第４実施形態に対して車載カメラの数を増やし、カメラによる死角が車両を中心とした３６０度すべてにおいて無くなるようにしたものである。

図１０は、本実施形態における車載カメラＡ〜Ｊの配置を示したものである。本実施形態では、図３に示した車載カメラＡ〜Ｇに加えて、車両前方の画像を取り込むための車載カメラＨと、車両左側の画像を取り込むための車載カメラＩおよび車両右側の画像を取り込むための車載カメラＪが備えられている。

このように配置された複数の車載カメラＡ〜Ｊが取り込んだ画像を用いて、完全に車両を中心とした３６０度の周辺画像を見ることができるパノラマ画像を作り出すことができることが知られているが、その場合においても、例えば図１１に示されるように、パノラマ画像の一部を拡大表示することも可能である。

（他の実施形態）
上記各実施形態では、描画ＥＣＵ６は、方向検出ＥＣＵ９からの検出結果を受け取り、その検出結果に基づき、ディスプレイにて、複数の車載カメラＡ〜Ｇのうちドライバ視認方向と一致するものが取り込んだ画像を他の車載カメラで取り込んだ画像よりも大きくなるように表示補正を行っている。しかしながら、ドライバ視認方向と一致する車載カメラが取り込んだ画像を他の車載カメラで取り込んだ画像よりも際立たせるために、他の方法を用いることも可能である。例えば、ドライバ視認方向と一致する車載カメラが取り込んだ画像のみが通常通り表示され、他の車載カメラが取り込んだ画像表示が薄くなる、もしくは暗くなるようにすることも可能である。また、その車載カメラが取り込んだ画像のみが全画面表示されるようにすることも可能である。

また、上記各実施形態では、複数の車載カメラが図３もしくは図１０に示されるように配置される場合について説明したが、車載カメラの配置および個数はこれに限定するものではない。さらに、車載カメラの種類についても限定するものではない。例えば、魚眼レンズなどで広域画像をとらえ、画像補正する等の方法を用いることも可能である。

そして、各ディスプレイ１、２、１５等の表示器の場所についても、上記各実施形態に示したものに限定されるものではなく、表示器の種類についても限定されるものではない。例えば、ＨＵＤ（ヘッドアップディスプレイ）等を表示器として用いることも可能である。

なお、各図中に示したステップは、各種処理を実行する手段に対応するものである。

本発明の第１実施形態における車両周辺画像表示装置のブロック構成を示す図である。 図１におけるセンターＴＦＴディスプレイと助手席ＴＦＴディスプレイの配置を示した模式図である。 図１における各車載カメラの配置を示した模式図である。 図１に示す車両周辺画像表示装置による画像表示の様子を示した模式図である。 図１に示す車両周辺画像表示装置における描画ＥＣＵ６が実行する処理のフローチャートである。 画像処理が行われた後における各ディスプレイでの画像表示の様子を示した模式図である。 本発明の第２実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。 本発明の第３実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。 本発明の第４実施形態における車両周辺画像表示装置のディスプレイの配置を示した模式図である。 本発明の第５実施形態における各車載カメラの配置を示した模式図である。 本発明の第５実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。 従来の車両周辺画像表示装置による画像表示の様子を示した模式図である。

符号の説明

１…センターＴＦＴディスプレイ、２…助手席ＴＦＴディスプレイ、６…描画ＥＣＵ、
７…ナビゲーションシステム、８…ＴＶ受信機、９…方向検出ＥＣＵ、
１０…投光ライト、１１…顔撮影カメラ、１２…切り替えスイッチ、
１３…助手席ドアミラー、１４…運転席ドアミラー、Ａ〜Ｊ…車載カメラ。

Claims (9)

1. ドライバの視線方向もしくは顔の向きを検出するドライバ視認方向検出手段（９〜１１）と、
   車両に設置され、該車両の周辺の異なる領域における画像を取り込む車載カメラ（Ａ〜Ｊ）と、
   前記車載カメラからの映像を画像処理し、画像表示信号を出力する画像処理部（６）と、
   前記画像処理部からの画像表示信号に基づき、前記車両の周辺画像の表示を行う表示器（１、２、１５）とを備えた車両周辺画像表示装置であって、
   前記画像処理部は、前記ドライバ視認方向検出手段からの検出結果を受け取り、その検出結果に基づき、前記表示器にて、前記車載カメラが取り込んだ画像のうち前記ドライバ視認方向とあらかじめ関連づけられたカメラ画像もしくはその一部を含む画像を他の画像よりも際立つように表示補正を行うようになっていることを特徴とする車両周辺画像表示装置。
2. 前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが所定時間所定の領域にとどまった場合に、前記表示補正を行うようになっていることを特徴とする請求項１に記載の車両周辺画像表示装置。
3. 前記車載カメラは、前記車両に設置される運転席ドアミラーの死角を含む画像を取り込むようになっており、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置される運転席ドアミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１または２に記載の車両周辺画像表示装置。
4. 前記表示器が前記車両に複数個搭載されている場合において、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記運転席ドアミラーの方向であった場合に、前記複数の表示器のうち、前記運転席ドアミラーからの前記ドライバの視線の動線距離が最も短い表示器（１５）、もしくは前記運転席ドアミラーへの視線の動線上に位置する表示器（１５）に、前記運転席ドアミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項３に記載の車両周辺画像表示装置。
5. 前記車載カメラは、前記車両に設置される助手席ドアミラーの死角を含む画像を取り込むようになっており、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置される助手席ドアミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺画像表示装置。
6. 前記表示器が前記車両に複数個搭載されている場合において、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記助手席ドアミラーの方向であった場合に、前記複数の表示器のうち、前記助手席ドアミラーからの前記ドライバの視線の動線距離が最も短い表示器（２）、もしくは前記助手席ドアミラーへの視線の動線上に位置する表示器（２）に、前記助手席ドアミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項５に記載の車両周辺画像表示装置。
7. 前記車載カメラは、前記車両の後方の死角を含む画像を取り込むようになっており、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置されるルームミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺画像表示装置。
8. 前記表示器が前記車両に複数個搭載されている場合において、
   前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記ルームミラーの方向であった場合に、前記複数の表示器のうち、前記ルームミラーからの前記ドライバの視線の動線距離が最も短い表示器（１）、もしくは前記ルームミラーへの視線の動線上に位置する表示器（１）に、前記ルームミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項７に記載の車両周辺画像表示装置。
9. 前記画像処理部は、前記表示器にて、前記車載カメラが取り込んだ画像のうち前記ドライバ視認方向とあらかじめ関連づけられたカメラ画像もしくはその一部を含む画像が他の画像よりも視認しやすくなるように表示補正するようになっていることを特徴とする請求項１ないし８に記載の車両周辺画像表示装置。
   
   
   
   

Images