JP2008141574A - 車両用視覚補助装置 - Google Patents

Abstract

【課題】運転時における前方への確認が疎かになるのを抑制し、また感覚的に理解し易い画像を得ることが可能な車両用視覚補助装置を提供する。
【解決手段】車両用視覚補助装置は、車外撮影カメラ１１ａ〜１１ｆ、ドライバー撮影カメラ１２、操作パネル１３（操作インタフェース）、角度調整器（角度調整インタフェース）１４、ＨＵＤ１５（ウインドシールドディスプレイ）および視覚補助ＥＣＵ２０を備える。視覚補助ＥＣＵ２０は、操作パネル１３の操作に応じて仮想サイドミラーのＨＵＤ１５上への表示位置を計算する。視覚補助ＥＣＵ２０は、車外撮影カメラ１１ａ〜１１ｆの撮影画像を、ドライバー撮影カメラ１２の撮影画像から検出されたドライバーの顔位置と、角度調整器１４からの仮想サイドミラーのミラー角度を表す信号とに基づいて画像変換し、仮想サイドミラー画像としてＨＵＤ１５に表示させる。
【選択図】図１

Description

本発明は、車両用視覚補助装置に関し、特にドライバーの車両後方への視野を広げることを補助する車両用視覚補助装置に関する。

この種の車両用視覚補助装置として、車両の後方を３つのカメラで撮影し、各カメラの撮影画像をウインドシールドガラスの下部に設置されたヘッドアップディスプレイのコンバイナによりドライバーに視認させるように構成されたものがあり、例えば下記特許文献１に記載されている。
特開平５−１４７４５５号公報

しかしながら、上記特許文献１に記載された車両用視覚補助装置では、各カメラの撮影画像を見るためにドライバーがヘッドアップディスプレイのコンバイナ側に視線を向ける必要があり、前方への確認が疎かになるおそれがある。また、この車両用視覚補助装置では、各カメラの撮影画像がそのまま利用されてヘッドアップディスプレイのコンバイナに投影されるので、ミラーに映る背景との整合性がとれない場合があり、ドライバーに違和感を与えるおそれもある。

本発明は、上記問題に対処するためになされたものであり、その目的は、運転時における前方への確認が疎かになることを抑制し、また感覚的に理解し易い画像を得ることが可能な車両用視覚補助装置を提供することにある。

上記目的を達成するため、本発明による車両用視覚補助装置は、車両に設置されたサイドミラーに映る視野とは異なる車両後方の視野を撮影する車外撮影カメラと、前記車外撮影カメラの撮影画像をウインドシールドディスプレイでウインドシールドガラス面に仮想サイドミラー画像として表示させる仮想サイドミラー画像表示制御手段とを備えたことを特徴とする。この場合、前記ウインドシールドディスプレイは、例えばヘッドアップディスプレイであるとよい。なお、仮想サイドミラー画像とは、そのミラーに映し出される背景画像をサイドミラーの絵柄にはめ込んだ画像を意味する。

この車両用視覚補助装置では、車外撮影カメラの撮影画像がウインドシールドガラス面に仮想サイドミラー画像として表示される。このため、実際に設置されているサイドミラーに加えて、このサイドミラーとは異なる位置に新たなサイドミラーを車両に設けたのと同様な効果が得られるようになる。

これにより、従来技術のようにヘッドアップディスプレイのコンバイナに投影された画像を見るために視線を下に向ける場合に比して、ウインドシールドガラス面に表示された仮想サイドミラー画像を見る場合の方が視線の移動量が少なくて済むので、ドライバーによる前方への確認が疎かになるのを抑制することが可能である。また、仮想サイドミラー画像が、実際のサイドミラーに映し出される画像と変わらないように画像処理される場合には、感覚的に理解し易い画像を得ることが可能である。

本発明の実施に際して、前記車外撮影カメラは、前記サイドミラーの死角を撮影するものであるとよい。仮想サイドミラー画像は、車外撮影カメラの撮影画像に基づいて作成される。このため、車外撮影カメラがサイドミラーの死角を撮影するものであれば、仮想サイドミラー画像によって実際に設置されているサイドミラーの死角を視認することができ、車両走行時の安全性を向上させることが可能である。

この場合、前記車外撮影カメラは、前記サイドミラーよりも車両前方に設置されていることも可能である。車外撮影カメラが車両前方に設置されていれば、それに対応して仮想サイドミラー画像の表示位置を車両前方に設定することができる。これによれば、ドライバーが仮想サイドミラー画像を見るときの視線の移動量をより少なく設定することが可能となる。

また、前記車外撮影カメラは、車両の両側に設置されていることも可能である。これによれば、運転席側および助手席側の車両の両側で仮想サイドミラー画像を表示させることができ、車両走行時の安全性を良好に向上させることが可能である。

また、前記車外撮影カメラは、少なくとも車両の片側にて複数設置されていることも可能である。これによれば、仮想サイドミラー画像によって実際に設置されているサイドミラーの死角となる領域を広範囲に渡って視認できるようになり、車両走行時の安全性をより一層向上させることが可能である。

また、前記車外撮影カメラのうちの一つは、車両の側方前端部に設置されていることも可能である。これによれば、仮想サイドミラー画像によって実際に設置されているサイドミラーの死角を視認でき、しかもドライバーが仮想サイドミラーを見るときの視線の移動量をより少なく設定することが可能となる。

また、本発明の実施に際して、車両用視覚補助装置は、前記仮想サイドミラー画像の前記ウインドシールドガラス面上での表示位置を設定するための操作インタフェースを備え、前記仮想サイドミラー画像表示制御手段は、前記設定された仮想サイドミラー画像の表示位置を計算する表示位置計算手段と、前記計算された仮想サイドミラー画像の表示位置に対応するように前記車外撮影カメラの撮影画像を画像変換して仮想サイドミラー画像を作成する画像作成手段とを備えてなることも可能である。

この車両用視覚補助装置では、操作インタフェースにより仮想サイドミラー画像の表示位置が設定され、表示位置計算手段により仮想サイドミラー画像の表示位置が計算され、画像作成手段により仮想サイドミラー画像の表示位置に対応するように車外撮影カメラの撮影画像が画像変換されて仮想サイドミラー画像が作成される。このため、仮想サイドミラー画像が、実際のミラーに映し出される画像と変わらなくなって、感覚的に理解し易い画像を得ることが可能となる。

この場合、前記仮想サイドミラー画像の表示位置は、前記操作インタフェースの操作に応じて複数位置を設定可能とされていて、前記仮想サイドミラー画像が複数位置に設定された場合には、同複数位置に対応して前記仮想サイドミラー画像が前記ウインドシールドガラス面上に同時に表示されるように設定されていることも可能である。これによれば、複数の仮想サイドミラー画像によって実際に設置されているサイドミラーの死角となる領域を広範囲に渡って視認することができ、車両走行時の安全性を一段と向上させることが可能である。

また、本発明の実施に際して、車両用視覚補助装置は、車室内にてドライバーを車両前方から撮影するドライバー撮影カメラを備え、前記画像作成手段は、複数設けられた前記車外撮影カメラの撮影画像を合成して連続的に接続された合成画像を作成し、前記撮影されたドライバーの顔位置に対応するように前記合成画像を画像変換して前記仮想サイドミラー画像を作成することも可能である。

これによれば、ドライバーの運転姿勢が変わった場合やドライバーが交代した場合にも、各ドライバーの視認に適合した仮想サイドミラー画像が表示されるので、車両用視覚補助装置の利便性を向上させることが可能である。

この場合、車両用視覚補助装置は、前記仮想サイドミラーのミラー角度を調整するための角度調整インタフェースを備え、前記画像作成手段は、前記調整されたミラー角度に対応するように前記合成画像を画像変換して前記仮想サイドミラー画像を作成することも可能である。

この車両用視覚補助装置では、画像作成手段により仮想サイドミラーの調整角度に対応するように合成画像が画像変換されて仮想サイドミラー画像が作成される。このため、実際のサイドミラーを使用する場合と同様、ドライバーが見たい視野の仮想サイドミラー画像が表示されるので、車両用視覚補助装置の利便性をより一層向上させることが可能である。

以下、本発明の一実施形態について図面を用いて説明する。図１は同実施形態に係る車両用視覚補助装置の全体を概略的に表す機能ブロック図であり、この車両用視覚補助装置は、車外撮影カメラ１１（１１ａ〜１１ｆ）、ドライバー撮影カメラ１２、操作パネル１３、角度調整器１４、ヘッドアップディスプレイ１５（以下、単にＨＵＤ１５という）および視覚補助電子制御ユニット２０（以下、単に視覚補助ＥＣＵ２０という）を備えている。

車外撮影カメラ１１ａ〜１１ｆ（車外撮影手段）は、例えば周知のＣＣＤカメラであり、図２に模式的に示すように、車両１０の左右フロントフェンダー１０ａ，１０ｂにそれぞれ３個ずつ間隔をおいて設置されている。具体的には、車外撮影カメラ１１ａ〜１１ｃは、左ドアミラー１０ｃよりも車両前方側で左ドアミラー１０ｃの取り付け位置とほぼ同じ高さとなるように、左フロントフェンダー１０ａの前端部上方位置、中間部上方位置、後端部上方位置にそれぞれ設置されている。また、車外撮影カメラ１１ａ〜１１ｃは、隣り合うカメラ同士の視野に重なり合う領域が形成されるように、左ドアミラー１０ｃの死角を含む車両左側後方の視野を広範囲に渡って撮影可能に車両１０に取り付けられている。

同様に、車外撮影カメラ１１ｄ〜１１ｆは、右ドアミラー１０ｄよりも車両前方側で右ドアミラー１０ｄの取り付け位置とほぼ同じ高さとなるように、右フロントフェンダー１０ｂの前端部上方位置、中間部上方位置、後端部上方位置にそれぞれ設置されている。また、車外撮影カメラ１１ｄ〜１１ｆは、隣り合うカメラ同士の視野に重なり合う領域が形成されるように、右ドアミラー１０ｄの死角を含む車両右側後方の視野を広範囲に渡って撮影可能に車両１０に取り付けられている。車外撮影カメラ１１ａ〜１１ｆは、視覚補助ＥＣＵ２０に接続されていて、各画像信号を視覚補助ＥＣＵ２０（画像作成部２２）に出力する。

ドライバー撮影カメラ１２（ドライバー撮影手段）は、昼夜を問わずドライバーを車両前方側から撮影可能な、例えばドライバーから放射される赤外線を検知して映像化可能な周知のＣＣＤカメラ（暗視カメラ）であり、図３に示すように、車室内のインストルメントパネル１０ｅに組み付けられている。ドライバー撮影カメラ１２は、視覚補助ＥＣＵ２０に接続されていて、画像信号を視覚補助ＥＣＵ２０（顔位置検出部２３）に出力する。

操作パネル１３（操作インタフェース）は、仮想サイドミラーＶＭＬ１〜ＶＭＬ３，ＶＭＲ１〜ＶＭＲ３を新規に設置したり、設置された仮想サイドミラーＶＭＬ１〜ＶＭＬ３，ＶＭＲ１〜ＶＭＲ３のうちからミラー角度を調整したい仮想サイドミラーを選択する場合等に操作される。操作パネル１３には、ナビゲーション装置のモニターと一体となった周知のタッチセンサが設けられている。このタッチセンサとしては、例えば静電容量変化式のセンサや導電フィルムを用いて抵抗変化式のセンサなどが用いられる。

この操作パネル１３は、視覚補助ＥＣＵ２０に接続されていて、確定された仮想サイドミラーの設置内容および角度調整内容を表す信号を視覚補助ＥＣＵ２０（表示位置計算部２１）に出力する。操作パネル１３には、仮想サイドミラー設定スイッチ（図示省略）のＯＮ操作により、例えば図４に示すような仮想サイドミラー設定画面Ｍｏが表示される。この仮想サイドミラー設定画面Ｍｏには、仮想サイドミラーの新規設置モードを選択するための新規設置スイッチＳＷ１、仮想サイドミラーの角度調整モードを選択するための角度調整スイッチＳＷ２、設置された仮想サイドミラーを削除するための削除スイッチＳＷ３、および仮想サイドミラーの設置内容と仮想サイドミラーの角度内容を確定するための確定スイッチＳＷ４が表示されるようになっている。

新規設置スイッチＳＷ１を押すと、新規設置画面Ｍnewが表示される。仮想サイドミラーＶＭＬ１〜ＶＭＬ３は、車両の左側に３個、すなわち車外撮影カメラ１１ａ〜１１ｃの設置位置にほぼ対応して設定可能とされている。同様に、仮想サイドミラーＶＭＲ１〜ＶＭＲ３は、車両の右側に３個、すなわち車外撮影カメラ１１ｄ〜１１ｆの設置位置にほぼ対応して設定可能とされている。仮想サイドミラーＶＭＬ１〜ＶＭＬ３，ＶＭＲ１〜ＶＭＲ３は、設置を希望する位置へのタッチ操作により設定される。図４の新規設置画面Ｍnewは、例えば仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１が既に設置されており、仮想サイドミラーＶＭＬ２，ＶＭＲ２，ＶＭＲ３が新規に設置可能であることを示している。仮想サイドミラーＶＭＬ１〜ＶＭＬ３，ＶＭＲ１〜ＶＭＲ３を必要に応じて新規設置した後、確定スイッチＳＷ４を押すことで、仮想サイドミラーの設置内容が確定されて仮想サイドミラー設定画面Ｍｏに戻る。

仮想サイドミラー設定画面Ｍｏが表示されている状態または新規設置画面Ｍnewが表示されている状態で、削除スイッチＳＷ３を押すと、削除画面Ｍdelが表示される。図４の削除画面Ｍdelは、設置済みの仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１について削除可能であることを示している。そして、この場合には、仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１へのタッチ操作により削除したい仮想サイドミラーを選択することができる。仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１を必要に応じて削除した後、確定スイッチＳＷ４を押すことで、仮想サイドミラーの設置内容が確定されて仮想サイドミラー設定画面Ｍｏに戻る。

仮想サイドミラー設定画面Ｍｏが表示されている状態または新規設置画面Ｍnewが表示されている状態で、角度調整スイッチＳＷ２を押すと、角度調整画面Ｍangleが表示される。図４の角度調整画面Ｍangleは、設定された仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１について角度調整可能であることを示している。そして、この場合には、仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１へのタッチ操作により角度調整したい仮想サイドミラーを選択することができる。角度調整画面Ｍangleには、「選択中」の文字が表示されるとともに、選択された仮想サイドミラーが選択されていない仮想サイドミラーとは異なる色で表示されるようになっている。

仮想サイドミラーの角度調整は、角度調整器１４を用いて調整することができる。仮想サイドミラーについて必要に応じて角度調整した後、確定スイッチＳＷ４を押すことで、仮想サイドミラーの設置内容および角度調整内容が確定されて仮想サイドミラー設定画面Ｍｏに戻る。なお、確定された仮想サイドミラーの設置内容および角度調整内容はメモリに記憶され、次回に仮想サイドミラー設定スイッチがＯＮ操作されたとき、その確定された内容が仮想サイドミラー設定画面Ｍｏに表示されるようになっている。

角度調整器１４（角度調整インタフェース）は、設定された仮想サイドミラーの角度を調整する際に操作されるスイッチであり、実際のドアミラーの角度を調整するためのスイッチと同様のメカニカルスイッチとされていて、通常はニュートラル位置にある左右ミラー選択スイッチ１４ａの左右何れかを押すことにより角度を調整したい側のミラーを選択することができる。この状態で、角度方向指定スイッチ１４ｃの操作キーＡを押せば、仮想サイドミラーのミラー面が略鉛直軸線回りに内向きに傾動して車両内方かつ後方の視野が得られ、操作キーＢを押せば、仮想サイドミラーのミラー面が略鉛直軸線回りに外向きに傾動して車両外方かつ後方の視野が得られる。また、操作キーＣを押せば、仮想サイドミラーのミラー面が略水平軸線回りに上向きに傾動して車両上方かつ後方の視野が得られ、操作キーＤを押せば、仮想サイドミラーのミラー面が略水平軸線回りに下向きに傾動して車両下方かつ後方の視野が得られる。なお、角度調整器１４には、仮想サイドミラーの設置位置をレバー操作により設定可能な操作レバー１４ｂも設けられている。

ＨＵＤ１５（ウインドシールドディスプレイ）は、車両１０のウインドシールド１０ｆに、設定された仮想サイドミラーの画像を表示するものであり、表示コントローラ１６を介して視覚補助ＥＣＵ２０に接続されている。ＨＵＤ１５は、図６に示すように、インストルメントパネル１０ｅの内部に組み付けられていて、仮想サイドミラー画像を映し出す液晶パネル１５ａと、その液晶パネル１５ａに光を照射するバックライト１５ｂとを備えている。バックライト１５ｂから照射された光は、液晶パネル１５ａを透過してウインドシールド１０ｅに入射し、運転席に着座したドライバーの目に向けて反射される。これにより、ウインドシールド１０ｅに投影された仮想サイドミラー画像が虚像としてドライバーの目に捉えられる。また、仮想サイドミラー画像は、無限遠の点に結像するようにウインドシールド１０ｅに投影される。なお、透過型の液晶パネル１５ａを用いたＨＵＤ１５に代えて、例えば反射型の液晶パネルを用いたＨＵＤを使用してもよい。

表示コントローラ１６は、ＨＵＤ１５の表示制御をするためのものであり、視覚補助ＥＣＵ２０から出力された仮想サイドミラーの画像データに基づいて、仮想サイドミラー画像を所定のレイアウトでＨＵＤ１５に表示させる。

視覚補助ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなるマイクロコンピュータを主要構成部品としており、仮想サイドミラー画像表示制御手段としての表示位置計算部２１（表示位置計算手段）および画像作成部２２（画像作成手段）を備えている。視覚補助ＥＣＵ２０は、仮想サイドミラー設定スイッチのオン後の所定時間ごとに図７の仮想サイドミラー設定・表示プログラムを繰り返し実行する。この仮想サイドミラー設定・表示プログラムは、仮想サイドミラー設定から表示までの一連の流れを示したものであり、視覚補助ＥＣＵ２０は、このプログラムの実行により作成された仮想サイドミラー画像を表示コントローラ１６を介してＨＵＤ１５に表示させる。

次に、上記のように構成した実施形態の作動について説明する。乗員がイグニッションキーを操作してイグニッションスイッチがオンした状態で、仮想サイドミラー設定スイッチがオンすると、視覚補助ＥＣＵ２０は、設置された仮想サイドミラーごとに、図７の仮想サイドミラー設定・表示プログラムを所定の短時間ごとに繰り返し実行する。

この仮想ドアサイドミラー設定・表示プログラムは、ステップＳ１０にて実行が開始され、ステップＳ１１にて、設置位置設定プログラムが実行される。この設置位置設定プログラムでは、図８に示すように、操作パネル１３での確定スイッチＳＷ４がＯＮ操作されたとき、仮想サイドミラーの設置内容および角度調整内容を表す信号が出力されるように構成されている。

確定スイッチＳＷ３がＯＮ操作され、仮想サイドミラーの設置内容および角度調整内容を表す信号が出力された場合には、ステップＳ１２にて、表示位置計算部２１は、仮想サイドミラーの設置内容を表す信号に基づいてＨＵＤ１５上の各仮想サイドミラー表示位置を計算する。具体的には、例えば図４の仮想サイドミラー設定画面Ｍｏに示したように、仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１が設定された場合には、ドライバーが図３に示したような仮想サイドミラー画像ＶＭＬ１，ＶＭＬ３，ＶＭＲ１を視認できるように、仮想サイドミラーＶＭＬ１，ＶＭＬ３，ＶＭＲ１のＨＵＤ１５上での表示位置（表示座標）がそれぞれ計算される。

ステップＳ１２の処理後、ステップＳ１３にて、画像作成部２２は、車外撮影カメラ１１ａ〜１１ｆから撮影画像データを取得する。次に、ステップＳ１４にて、顔位置検出部２３は、ドライバーの顔位置を検出する。このステップＳ１４の顔位置検出では、図９に示す顔位置検出プログラムが実行されるようになっている。ここで、ステップＳ１５について説明する前に、顔位置検出プログラムについて説明しておく。

顔位置検出プログラムの実行は、ステップＳ３０にて開始され、ステップＳ３１にて顔位置検出部２３は、ドライバー撮影カメラ１２から撮影画像データを取得し、ステップＳ３２にてドライバーの顔を検出する。この場合、周知の例えばAdaboost(Freund and Schapire,1977による顕著な性能を示すメタアルゴリズム方法)、Gabor wavelet(特徴点抽出方法)、SVM(パターン認識手法の一つ)、VJ法などの検出アルゴリズムを利用して、ドライバーの顔を検出することができる。具体的には、例えば平均的な顔パターンを表す基準画像データ（テンプレート）を予めメモリ等に記憶しておき、この基準画像データを画像全体に渡って移動させながら撮影画像データとの類似度の高い領域を求めていき、類似度が閾値より高い領域をドライバーの顔として検出することができる。

次に、ステップＳ３３においては、検出された顔位置を推定する。具体的には、ステップＳ３２で検出された顔を、メモリ等に記憶された人間の顔位置の基準画像データと照合することで、ドライバーの顔位置（高さ位置）を座標として推定（計算）することができる。ステップＳ３３の処理後、ステップＳ３４においては、推定された顔位置データを予めメモリ等に記憶した上で、画像作成部２２に出力する。

次に、ステップＳ３５においては、ドライバー撮影カメラ１２から次の撮影画像データを取得し、ステップＳ３６にてこの撮影画像データを、推定された先の顔位置データと照合してドライバーの顔を追跡する。これは、ドライバーが座席上で運転姿勢を変えたことに起因して、同じドライバーでも顔位置が変わる場合があるからである。この場合、周知の例えばLK法(Lucas-Kanade)、KLT法(Kanade-Lucas-Tomasi)などの追跡アルゴリズムを利用して、ドライバーの顔を追跡することができる。具体的には、動画像において、先の顔位置データの特徴点（例えば目の切れ端、瞳、鼻の穴など）が次の顔位置データのどの部分に移動したかを手掛かりとすることで、ドライバーの顔を追跡することができる。

そして、ステップＳ３７において、顔追跡に成功したと判定された場合には、ステップＳ３３以降の処理が繰り返し実行され、メモリ等に記憶された最新の顔位置データに基づいて引き続き顔追跡が実行される。一方、追跡に失敗したと判定された場合には、ステップＳ３２以降の処理が繰り返し実行され、ドライバーの顔が再度検出されてこの検出された顔データに基づいて顔追跡が再試行される。

図７に戻って、ステップＳ１４の処理の実行によりドライバーの顔位置データが検出・推定された後、ステップＳ１５にて、画像作成部２２は、角度調整器１４による仮想サイドミラーの角度調整量を表す信号を入力する。次に、ステップＳ１６にて車外撮影カメラ１１ａ〜１１ｆの撮影画像に基づいた合成画像を、ステップＳ１４で検出・推定されたドライバーの顔位置、およびステップＳ１５で取得された仮想サイドミラーの角度調整量に基づいて幾何変換、補間する。ここで、図１０，１１を用いて、ドライバーの顔位置に対応した合成画像の幾何変換について具体的に説明する。

最初に、図１０で示す撮影画像Ｇ１〜Ｇ３は、車外撮影カメラ１１ａ〜１１ｆのうち、例えば車両の右側に設置された車外撮影カメラ１１ｄ〜１１ｆの撮影画像をそれぞれ示したものである。画像作成部２２は、撮影画像Ｇ１〜Ｇ３のうちの何れか１つを基準として、例えば周知の光線空間法やモーフィング法などを用いて、撮影画像の対応点を手掛かりとして補間処理により連続的な合成画像Ｇｃ（パノラマ画像）を作成する。

そして、ドライバーＤＲの顔位置が、例えば図１１（ａ）に示す位置にある場合、ドライバーＤＲは、例えば実際のミラーＲＭにより図中一点鎖線で示す視野内の車外背景を視認することができる。したがって、このドライバーＤＲの視野と同じ視野を仮想サイドミラー画像として映し出すためには、平面視にてカメラＣ１の視点がミラーＲＭの鏡面を含む中心線Ｔに対してドライバーＤＲの顔位置と対称位置にあり、そのカメラ視点Ｃ１からミラーＲＭに向かう図中破線で示す領域内の視野を映し出す必要があるため、この場合には、合成画像Ｇｃが、図１１（ｃ）に示すように、カメラＣ１の視点から見た視点変換画像Ｇｖに幾何変換されるように、視点変換パラメータが計算され、そのパラメータに基づいて合成画像Ｇｃが視点変換画像Ｇｖに画像変換される。

一方、ドライバーＤＲの顔位置が、例えば図１１（ｂ）に示す顔位置ＤＲ’に変化した場合、ドライバーＤＲ’は、例えば実際のミラーＲＭにより図中二点鎖線で示す視野内の車外背景を視認することができる。したがって、このドライバーＤＲ’の視野と同じ視野を仮想サイドミラー画像として映し出すためには、平面視にてカメラＣ１’の視点がミラーＲＭの鏡面を含む中心線Ｔ’に対してドライバーＤＲ’の顔位置と対称位置にあり、そのカメラ視点Ｃ１’からミラーＲＭに向かう図中破線で示す領域内の視野を映し出す必要があるため、この場合には、合成画像ＧｃがカメラＣ１’の視点から見た視点変換画像Ｇｖに幾何変換されるように、視点変換パラメータが計算され、そのパラメータに基づいて合成画像Ｇｃが視点変換画像Ｇｖに画像変換される。これにより、実際のミラーＲＭに代えて仮想サイドミラーが設定された場合には、ドライバーＤＲ，ＤＲ’は、その仮想サイドミラー画像を実際のミラーＲＭによる映像と同一視することができる。

次に、図１２を用いて、仮想サイドミラー画像の角度調整に対応した合成画像の幾何変換について具体的に説明する。ドライバーＤＲが、例えば設定された仮想サイドミラーＶＭＲ２を見たとき、車外撮影カメラ１１ｅのカメラ視線と視点変換されたカメラＣ１の視線とが略同一方向となる場合には、図１２（ａ）に示すように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇｏが切り取られる。切り取られた画像部Ｇｏは仮想サイドミラーＶＭの絵柄にはめ込まれる。

仮想サイドミラーＶＭＲ２のミラー面が角度調整器１４の操作により、図１２（ａ）に示す状態から外向きに傾けられた場合には、図１２（ｂ）に示すように、車両外方側の画像部が車両内方側の画像部に比して大きなウェイトを占めるように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇoutが切り取られる。切り取られた画像部Ｇoutは、上記と同様にして、仮想サイドミラーＶＭの絵柄にはめ込まれる。

これとは逆に、仮想サイドミラーＶＭＲ２のミラー面が角度調整器１４の操作により、図１２（ａ）に示す状態から内向きに傾けられた場合には、図示は省略するが、車両内方側の画像部が車両外方側の画像部に比して大きなウェイトを占めるように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇinが切り取られ、切り取られた画像部Ｇinが、上記と同様にして、仮想サイドミラーＶＭの絵柄にはめ込まれる。

一方、仮想サイドミラーＶＭＲ２のミラー面が角度調整器１４の操作により、図１２（ａ）に示す状態から下向きに傾けられた場合には、図１２（ｃ）に示すように、車両下方側の画像部が車両上方側の画像部に比して大きなウェイトを占めるように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇdownが切り取られる。切り取られた画像部Ｇdownは、上記と同様にして、仮想サイドミラーＶＭの絵柄にはめ込まれる。

これとは逆に、仮想サイドミラーＶＭＲ２のミラー面が角度調整器１４の操作により、図１２（ａ）に示す状態から上向きに傾けられた場合には、図示は省略するが、車両上方側の画像部が車両下方側の画像部に比して大きなウェイトを占めるように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇupが切り取られる。切り取られた画像部Ｇupは、上記と同様にして、仮想サイドミラーＶＭの絵柄にはめ込まれる。

また、仮想サイドミラーＶＭＲ２のミラー面が角度調整器１４の操作により、図１２（ｂ）に示す状態から下向きに傾けられた場合、または図１２（ｃ）に示す状態から外向きに傾けられた場合には、図１２（ｄ）に示すように、車両外方側および車両下方側の画像部が車両内方側および車両上方側の画像部に比して大きなウェイトを占めるように、視点変換画像Ｇｖから仮想サイドミラーＶＭＲ２のミラー面に映し出される部位の画像部Ｇout-downが切り取られる。切り取られた画像部Ｇout-downは、上記と同様にして、仮想サイドミラーＶＭの絵柄にはめ込まれる。

図７に戻って、ステップＳ１６の処理後、ステップＳ１７にて、ステップＳ１６で得られた仮想サイドミラー画像データをＨＵＤ１５上に表示するように表示コントローラ１６を駆動制御する。この場合、表示コントローラ１６は、例えば図１２で得られた仮想サイドミラー画像を、左右反転しドライバーがミラーを介して車両後方を見たとおりの画像に変換する。

ステップＳ１７の処理後、ステップＳ１８にて操作パネル１３で仮想サイドミラーの削除が選択されていなければ、ステップＳ１８にて「Ｎｏ」と判定され、複数設置されたうちの１つの仮想サイドミラーにおいて、ステップＳ１３〜Ｓ１７の処理が繰り返し実行される。一方、ステップＳ１８にて「Ｙｅｓ」すなわち操作パネル１３で仮想サイドミラーの削除が選択されてその選択が確定した場合には、ステップＳ１９にて削除が確定した前記１つの仮想サイドミラーにおけるこのプログラムの実行が終了する。設置された残りの仮想サイドミラーについても、上記と同様であり、削除が選択されていなければ、ステップＳ１３〜Ｓ１７の処理がそれぞれ繰り返し実行され、削除が選択されてその選択が確定した場合には、その確定した仮想サイドミラーについて、このプログラムの実行が終了する。

以上の説明からも明らかなように、上記実施形態においては、車外撮影カメラ１１ａ〜１１ｆの撮影画像が，図７の仮想サイドミラー設定・表示プログラムの実行により、ウインドシールドガラス１０ｆ面に仮想サイドミラー画像として表示される。このため、実際に設置されているサイドミラーとしてのドアミラーに加えて、このドアミラーとは別に新たなサイドミラーとしてのフェンダーミラーを車両１０に設けたのと同様な効果が得られるようになる。

これにより、従来技術のようにヘッドアップディスプレイのコンバイナに投影された画像を見るために視線を下に向ける場合に比して、ウインドシールドガラス１０ｆ面に表示された仮想サイドミラー画像を見る場合の方が視線の移動量が少なくて済むので、ドライバーＤＲによる前方への確認が疎かになるのを抑制することが可能である。また、図７のステップＳ１４〜Ｓ１６の処理により、仮想サイドミラー画像が、実際のサイドミラーに映し出される画像と変わらないように幾何変換されるので、感覚的に理解し易い画像が得られる。

また、上記実施形態では、車外撮影カメラ１１ａ〜１１ｆが、ドアミラー１０ｃ，１０ｄの死角を含む視野を撮影するものとされている。これにより、仮想サイドミラー画像によって実際に設置されているドアミラー１０ｃ，１０ｄの死角を視認することができ、車両走行時の安全性を向上させることが可能である。

また、上記実施形態では、車外撮影カメラ１１ａ〜１１ｆが、ドアミラー１０ｃ，１０ｄよりも車両前方に設置されている。これにより、車外撮影カメラ１１ａ〜１１ｆの設置位置に応じて仮想サイドミラー画像の表示位置を車両の前方側に設定することができ、ドライバーＤＲが仮想サイドミラーを見るときの視線の移動量をより少なく設定することが可能となる。

また、上記実施形態では、車外撮影カメラ１１ａ〜１１ｆが、車両１０の両側に設置されている。これにより、運転席側および助手席側の車両の両側で仮想サイドミラー画像を表示させることができ、車両走行時の安全性を良好に向上させることが可能である。

また、上記実施形態では、車外撮影カメラ１１ａ〜１１ｆが、車両１０の片側にて複数設置されている。これにより、仮想サイドミラー画像によって実際に設置されているドアミラー１０ｃ，１０ｄの死角となる領域を広範囲に渡って視認できるようになり、車両走行時の安全性をより一層向上させることが可能である。

また、上記実施形態では、車外撮影カメラ１１ａ，１１ｄが、車両１０の左右側方前端部にそれそれ設置されている。これにより、仮想サイドミラー画像によって実際に設置されているドアミラー１０ｃ，１０ｄの死角を視認でき、しかもドライバーＤＲが仮想サイドミラーを見るときの視線の移動量をより少なく設定することが可能となる。

また、上記実施形態では、操作パネル１３により仮想サイドミラー画像の表示位置が設定され、表示位置計算部２１により仮想サイドミラー画像の表示位置が計算され、画像作成部２２により仮想サイドミラー画像の表示位置に対応するように車外撮影カメラ１１ａ〜１１ｆの撮影画像が画像変換されて仮想サイドミラー画像が作成される。このため、仮想サイドミラー画像が、実際のミラーに映し出される画像と変わらなくなって、感覚的に理解し易い画像を得ることが可能となる。

また、上記実施形態では、仮想サイドミラー画像の表示位置が、操作パネル１３の操作に応じて複数位置を設定可能とされていて、仮想サイドミラー画像が複数位置に設定された場合には、それら複数位置に対応して仮想サイドミラー画像がウインドシールドガラス１０ｆ面上に同時に表示されるように設定されている。これにより、複数の仮想サイドミラー画像によって実際に設置されているドアミラー１０ｃ，１０ｄの死角となる領域を広範囲に渡って視認することができ、車両走行時の安全性を一段と向上させることが可能である。

また、上記実施形態では、車室内にてドライバーＤＲを車両前方から撮影するドライバー撮影カメラ１２が設けられ、画像作成部２２により複数設けられた車外撮影カメラ１１ａ〜１１ｆの撮影画像を合成して連続的に接続された合成画像が作成され、撮影されたドライバーの顔位置に対応するように合成画像が画像変換されて仮想サイドミラー画像が作成される。これにより、ドライバーの運転姿勢が変わった場合やドライバーが交代した場合にも、各ドライバーの視認に適合した仮想サイドミラー画像が表示されるので、車両用視覚補助装置の利便性を向上させることが可能である。

また、上記実施形態では、仮想サイドミラーのミラー角度を調整するための角度調整器１４が設けられ、画像作成部２２により仮想サイドミラーの調整角度に対応するように合成画像が画像変換されて仮想サイドミラー画像が作成される。これにより、実際のサイドミラーを使用する場合と同様、ドライバーが見たい視野の仮想サイドミラー画像が表示されるので、車両用視覚補助装置の利便性をより一層向上させることが可能である。

上記実施形態においては、車外撮影カメラとして６個のカメラを用いたが、このカメラの設置数、設置位置は適宜変更可能である。

また、上記実施形態においては、車外撮影カメラが固定式のものであったが、これに限らず、車外撮影カメラが可動式のものであってもよい。

また、上記実施形態においては、仮想サイドミラーＶＭＬ１〜ＶＭＬ３，ＶＭＲ１〜ＶＭＲ３の設置位置が限定されていたが、仮想サイドミラーの設置位置を任意に設定できる仕様とすることも可能である。

また、上記実施形態においては、ウインドシールドディスプレイとしてＨＵＤを使用したが、ＨＵＤに限らず、種々のウインドシールドディスプレイを使用してもよい。

また、上記実施形態においては、ドライバーの顔位置を検出するようにしたが、これに加えてまたは代えて、例えばドライバーの視線を検出するようにして、ドライバーの視線変化に応じて仮想サイドミラー画像を作成することも可能である。

本発明の実施形態に係る車両用視覚補助装置の全体を概略的に示した機能ブロック図。 図１の車外撮影カメラが車両に設置されている状態を示す模式図。 図１の視覚補助ＥＣＵにより仮想サイドミラー画像がウインドシールドに表示されている状態を示す模式図。 図１の操作パネルの操作例を示す説明図。 図１の角度調整器の操作例を示す説明図。 図１のＨＵＤを概略的に示す模式図。 図１の視覚補助ＥＣＵによって実行される仮想サイドミラー設定・表示プログラムを示すフローチャート。 図７の仮想サイドミラー設定・表示プログラムのうちの設置位置設定ルーチンを示すフローチャート。 図７の仮想サイドミラー設定・表示プログラムのうちの顔位置検出ルーチンを示すフローチャート。 図１の車外撮影カメラの撮影画像を合成した合成画像を示す説明図。 （ａ）はドライバーの任意の顔位置に対応したカメラ視点の幾何変換を示す説明図。（ｂ）はドライバーの顔位置が（ａ）の位置から変化した場合のカメラ視点の幾何変換を示す説明図。（ｃ）は視点変換後の合成画像を示す説明図。 （ａ）は視点変換後のカメラ視線と車外撮影カメラのカメラ視線とが一致している場合に図１１（ｃ）の合成画像から切り取られる部位を示す説明図。（ｂ）は仮想サイドミラーのミラー角度が車両外方へ傾けられた場合に図１１（ｃ）の合成画像から切り取られる部位を示す説明図。（ｃ）は仮想サイドミラーのミラー角度が車両下方へ傾けられた場合に図１１（ｃ）の合成画像から切り取られる部位を示す説明図。（ｄ）は仮想サイドミラーのミラー角度が車両外方および車両下方へ傾けられた場合に図１１（ｃ）の合成画像から切り取られる部位を示す説明図。

符号の説明

１０ 車両
１１（１１ａ〜１１ｆ） 車外撮影カメラ
１２ ドライバー撮影カメラ
１３ 操作パネル（操作インタフェース）
１４ 角度調整器（角度調整インタフェース）
１５ ＨＵＤ（ウインドシールドディスプレイ）
１６ 表示コントローラ
２０ 視覚補助ＥＣＵ
２１ 表示位置計算部（表示位置計算手段）
２２ 画像作成部（画像作成手段）
２３ 顔位置検出部

Claims (11)

1. 車両に設置されたサイドミラーに映る視野とは異なる車両後方の視野を撮影する車外撮影カメラと、
   前記車外撮影カメラの撮影画像をウインドシールドディスプレイでウインドシールドガラス面に仮想サイドミラー画像として表示させる仮想サイドミラー画像表示制御手段とを備えたことを特徴とする車両用視覚補助装置。
2. 前記ウインドシールドディスプレイは、ヘッドアップディスプレイである請求項１に記載の車両用視覚補助装置。
3. 前記車外撮影カメラは、前記サイドミラーの死角を撮影するものである請求項１または２に記載の車両用視覚補助装置。
4. 前記車外撮影カメラは、前記サイドミラーよりも車両の前方に設置されている請求項３に記載の車両用視覚補助装置。
5. 前記車外撮影カメラは、車両の両側に設置されている請求項３または４に記載の車両用視覚補助装置。
6. 前記車外撮影カメラは、少なくとも車両の片側にて複数設置されている請求項３〜５のうちの何れか一つに記載の車両用視覚補助装置。
7. 前記車外撮影カメラのうちの一つは、車両の側方前端部に設置されている請求項６に記載の車両用視覚補助装置。
8. 前記仮想サイドミラー画像の前記ウインドシールドガラス面上での表示位置を設定するための操作インタフェースを備え、
   前記仮想サイドミラー画像表示制御手段は、前記設定された仮想サイドミラー画像の表示位置を計算する表示位置計算手段と、
   前記計算された仮想サイドミラー画像の表示位置に対応するように前記車外撮影カメラの撮影画像を画像変換して仮想サイドミラー画像を作成する画像作成手段とを備えてなる請求項１〜７のうちの何れか一つに記載の車両用視覚補助装置。
9. 前記仮想サイドミラー画像の表示位置は、前記操作インタフェースの操作に応じて複数位置を設定可能とされていて、前記仮想サイドミラー画像が複数位置に設定された場合には、同複数位置に対応して前記仮想サイドミラー画像が前記ウインドシールドガラス面上に同時に表示されるように設定されている請求項８に記載の車両用視覚補助装置。
10. 車室内にてドライバーを車両前方から撮影するドライバー撮影カメラを備え、
    前記画像作成手段は、複数設けられた前記車外撮影カメラの撮影画像を合成して連続的に接続された合成画像を作成し、前記撮影されたドライバーの顔位置に対応するように前記合成画像を画像変換して前記仮想サイドミラー画像を作成する請求項８または９に記載の車両用視覚補助装置。
11. 前記仮想サイドミラー画像における仮想サイドミラーのミラー角度を調整するための角度調整インタフェースを備え、
    前記画像作成手段は、前記調整されたミラー角度に対応するように前記合成画像を画像変換して前記仮想サイドミラー画像を作成する請求項１０に記載の車両用視覚補助装置。

Images