JP5051263B2 - 車両用後方視認システム - Google Patents

Description

本発明は、撮影手段による撮影画像を表示することにより後方を視認する車両用後方視認システムに関する。

例えば特許文献１には、車両の後方を撮影する少なくとも１つの後方撮影用ビデオカメラと、車両の後方を運転者が監視するインサイドミラーと、このインサイドミラー近傍に取付けられて、ビデオカメラが撮影した映像が鏡像として表示される表示装置とで構成され、インサイドミラーのミラー面を、透過性を有するハーフミラーで構成し、ハーフミラーで隠れるインサイドミラーの内部に表示装置を配置し、後方撮影用ビデオカメラ、側方撮影用ビデオカメラが撮影した映像を、表示装置の一部の表示範囲に表示させるようにした車両用監視装置が提案されている。

特開２００２−２２５６２９号公報 特開２００３−９５０２８号公報

ところで、このような発明では、従来左右ドア近傍に設置され、運転者が一定の距離離れた光学ミラーで見ていた車両側方の風景が、インサイドミラー内部の表示装置に集約して表示されるため、左右ビデオカメラ間の軽微な角度のずれにより生じる風景の傾き、ずれ等が、顕著に運転者に分り、違和感を覚えると想定される。
しかしながら、ビデオカメラの車両への組付けにはばらつきや誤差が伴うものであり、組付け精度の管理のみで解決するには限界がある。従って、カメラ角度の調整機能が必要不可欠となる。

カメラの調整方法については、例えば特許文献２のものでは、車両の一部分を含むように車両の左側を撮影する第一の撮影手段と、車両の一部分を含むように車両の右側を撮影する第ニの撮影手段と、第一の撮影手段で撮影した車両を含む範囲を切り出した第一の表示範囲と、第二の撮影手段で撮影した車両を含む範囲を切り出した第二の表示範囲とを表示する表示手段と、第一の表示範囲及び第二の表示範囲の少なくとも一方を他方の表示範囲に対して移動させる表示範囲変更手段とを有することを特徴とする車両用監視装置が提案されている。
このようは発明によると、一方の画像を基準画像として、もう一方の画像を調整する従来の光学ミラーと同様の調整方法を実現できるものの、基準画像の再調整を行った場合には、もう一方の画像の再調整も必要となり、運転者の調整操作の煩雑さを解消することはできない。

本発明は上記事情に鑑みてなされたもので、その目的は、運転者の調整操作の煩雑さを解消しながら違和感のない左右後方画像を表示することができる車両用後方視認システムを提供することにある。

請求項１及び請求項２の発明によれば、右表示手段には右後方撮影手段が撮影した撮影画像である右後方画像が鏡面表示され、第２表示手段には左後方撮影手段が撮影した撮影画像である左後方画像が鏡面表示されるので、運転者はあたかも後方確認用ミラーで確認したような画像を視認できる。ここで、運転者が調整手段に対する操作により例えば右後方画像の視野を、水平または垂直方向に調整すると、右後方画像に対して左右対称関係となるように左後方画像も同時に視野調整されるので、運転者が左後方画像の調整を行うこと無く違和感の無い後方の撮影画像を表示することができる。
請求項３の発明によれば、各後方撮影手段の撮影領域は固定されており、その撮影領域における切り出し領域が表示手段に表示されるので、ソフト処理により各表示手段に後方の撮影画像をそれぞれ表示することができ、容易に実施することができる。

請求項４の発明によれば、各後方撮影手段の撮影領域全体が各表示領域にそれぞれ表示されるので、広範囲を表示する場合に有効である。
請求項５の発明によれば、右後方画像と左後方画像との間に後方画像が表示されるので、車両の後方を統合した画像として容易に確認することができる。
請求項６の発明によれば、表示装置にはドアミラーで後方を視認したような画像が表示されるので、運転者は、あたかもドアミラーで後方確認しているような感覚となる。
請求項７の発明によれば、目線の移動を少なくしながら後方を確認することができるので、運転者の違和感が少ない。

本発明の一実施の形態におけるシステムの全体構成を各処理ブロックで示す図 車両を概略的に示す平面図 車両の前部を示す側面図 車両の側面図 車室内の前部を示す斜視図 カメラの自動調整処理を示すフローチャート 自動調整処理に応じたカメラ画像を示す図 他の実施の形態を示す図３相当図

以下、本発明の一実施の形態について図１ないし図７を参照して説明する。
図２は、車両を概略的に示す平面図である。車両１の左右両側にはそれぞれ左右ドアミラー２、３が取り付けられている。左右ドアミラー２，３の筐体には、それぞれ車両１の側面に沿って後方を広範囲に撮影する左カメラ４（左後方撮影手段に相当），右カメラ５（右後方撮影手段に相当）が取付けられている（車両の前部側面を示す図３参照）。
図２に示すように、左右カメラ４，５は、それぞれ車両１の左右側に沿って車両１の後方範囲を撮影するもので、運転者から見て左右ドアミラー２，３に映し出される範囲よりも広範囲となる領域が撮影領域となるように設定されている。例えば、右ドアミラー３には斜線で示す範囲が映るのに対して、右カメラ５ではそれよりも広範囲を撮影可能である。左ドアミラー２と左カメラ４との関係についても同様である。この場合、左右カメラ４，５は、撮影領域に車両の後方側面が含まれるように位置決めされている。尚、図２及び図３では、左右カメラ４，５を左右ドアミラー２，３の筐体に吊り下げるように図示したが、実際には、左右ドアミラー２，３の筐体の内側に設けられており、外部からの衝撃に対して保護されている。

車両の側面を示す図４にも示すように、車両１のルーフ後端には後方カメラ６（中後方撮影手段に相当）が搭載されており、車両の後方を撮影するように設定されている。この後方カメラ６は、その撮影領域が従来のルームミラーに映し出される範囲よりも広範囲となるように設定されている。尚、図４では後方カメラ６をルーフ上に搭載するように図示したが、実際には図示しない意匠部材により外部から保護された形態で搭載されている。
図５は車室内の前部を示す斜視図である。フロントガラス７には従来のルームミラーに代えて表示装置８（表示装置に相当）が取付けられている。この表示装置８はカラー液晶表示装置からなり、図示左側から左表示領域８ａ（左表示手段に相当）、中表示領域８ｂ（中表示手段に相当）、右表示領域８ｃ（右表示手段に相当）に区分けされている。この場合、左カメラ３の撮影画像の鏡面画像が左表示領域８ａに表示され、後方カメラ６の撮影画像の鏡面画像が中表示領域８ｂに表示され、右カメラ４の撮影画像の鏡面画像が右表示領域８ｃに表示される。従って、左右表示領域３ａ，３ｃの表示画像が左右ドアミラー２、３に映し出された後方視界に相当し、中表示領域３ｂの表示画像が従来のルームミラーに映し出された後方視界に相当する。

図１は、システムの全体構成を各処理ブロックで示している。左右カメラ４、５、後方カメラ６からの映像信号、及び例えば運転者側ドアの内側に設けられた調整スイッチ９（調整手段に相当）からの各信号はＥＣＵ（電子制御ユニット）の処理部１０（制御手段に相当）により処理される。
処理部１０は、マイクロプロセッサを主体として構成されており、画像切り出し部１１、カメラ画像選択部１２、画像合成部１３、補正量算出部１４（二値化処理部１５、輪郭抽出処理部１６、形状比較部１７、基準映像記憶部１８から構成される）、スイッチ処理部１９、座標演算部２０、切り出し座標記憶部２１で構成される。これらの処理ブロックはマイクロプロセッサのソフト処理により実現されるもので、次のように動作する。
スイッチ処理部１９は、調整スイッチ９の状態を取り込み、それに基づいて各処理ブロックに制御信号を送信する。
座標演算部２０は、スイッチ処理部１９からの、上下、左右スイッチの操作結果に基づく座標移動量や、後述する補正量に基づき切り出し座標値を更新するとともに、そのデータを切り出し座標記憶部２１に記憶（更新）する。

画像切り出し部１１は、左右カメラ４，５の撮影画像から、座標演算部２０で演算された切り出し座標を原点として、あらかじめ設定された所定の四角形状の画素領域で画像を切り出す処理を行う。この切り出し領域は、表示装置８の表示領域と相似形状となるように設定されている。この場合、切り出し領域と表示装置８の表示領域とは相似形状となるのが望ましいが、相似形状でない場合は、撮影画像の縦横比率を補正するようにしてもよい。
カメラ画像選択部１２は、調整スイッチ９の（左右）選択スイッチの状態から、画像処理又は表示装置８に表示するカメラ画像を選択し、補正量算出部１４へ出力する。例えば、選択スイッチが「右」の場合は右カメラ４の撮影画像を選択する。
画像合成部１３は、定められた画像モードに従ってカメラ画像を選択、拡大、合成し、表示装置８に出力する映像信号を生成する。

補正量算出部１４は、二値化処理部１５、輪郭抽出処理部１６、形状比較部１７から構成されており、運転者が調整対象としたカメラ画像を画像処理（二値化、輪郭抽出）し、車両任意位置の形状(バンパ、タイヤ、認識用マーク等)を抽出し、その結果を基準映像として、基準映像記憶部１８に記憶する。尚、認識用マークとは車両に後付けで貼るマークで、左右カメラ４，５による撮影画像として特徴点を抽出しやすい形状、色、模様が設定されており、車両の側面に左右対称位置となるように位置決めされる。
形状比較部１７は、運転者が調整対象としなかったカメラ４，５の画像(右カメラ４を選択した場合は左カメラ)を、上述した画像処理と同様の画像処理を施した後に、前述の基準映像記憶部１８に記憶された基準映像と比較し、両者のずれ量を算出し、そのずれ量に基づいて調整対象としなかったカメラ画像の（原点座標）補正量を決定する。
画像合成部１３は、カメラ画像選択部１２で選択された３つの画像（左カメラ画像、後カメラ画像、右カメラ画像）の鏡面画像を合成した映像信号を生成して表示装置８に出力する。

さて、処理部１０は、電源投入時に表示装置８に表示する画像情報を、図１の切り出し座標記憶部２１に記憶されている座標情報から取得する。この座標情報は、運転者が行った前回の切り出し操作時に記憶した座標である。従って、表示装置８には、図１に示すように左後方画像、後方画像、右後方画像が表示されるので、運転者は、左右ドアミラー２，３を見ることなく車両側後方の様子を確認することができる。これにより、目線を大きく移動することなく車両側後方を確認することができるので、運転者の疲労を軽減することができる。尚、後方画像には、車両の後方を走る車両が映し出されている。
この場合、例えば運転者が前回の運転者と異なる場合は、各々が、表示画像が適切となるように切り出し領域を変更することになる。例えば調整スイッチ９の「右」選択スイッチを操作することにより右切り出し領域を変更したときは、右カメラ画像における切り出し領域が変更され、それに応じて表示装置８に表示される右後方画像が変更される。

しかしながら、このように右後方画像を調整した場合は、左後方画像も調整する必要があり、その操作が煩わしいものの、本実施形態では、上述のように運転者が一方の切り出し領域を変更した場合は、他方の切り出し領域も対応して自動的に変更するようになっており、この動作について説明する。
図６はカメラの自動調整処理を示すフローチャートで、図７に示す自動調整処理に応じたカメラ画像を参照しながら説明する。尚、本実施形態でのカメラ画像の画素数は６４０×４８０＝３０７２００、切り出し領域の画素数は３２０×２４０＝７６８００、表示装置８の一つの表示領域の画素数は８００×６００＝４８００００という関係となっている。つまり、カメラ画像領域×１／４＝切り出し領域＝表示装置表示領域×５／２となっており、カメラ画像の一部を切り出した領域を拡大した上で表示装置８の対応する表示領域に表示するようになっている。

処理部１０は、「選択」スイッチの状態を監視するために「左」選択スイッチＯＮか（Ｓ１）、「右」選択スイッチＯＮかを判定する（Ｓ２）。運転者が例えば「右」選択スイッチをＯＮしたときは（Ｓ２：ＹＥＳ）、選択された右後方画像(図（７ａ）)を左右反転処理してから（Ｓ３）、タイムアウトしたか（Ｓ４）、「決定」スイッチＯＮしたか（Ｓ５）、切り出し領域を水平または垂直方向に移動する視野調整（パン・チルト調整）が完了したか（上下、左右スイッチ操作されていないか？）（Ｓ６）を判定する。これにより、表示装置８の右表示領域８ｃには右カメラ５の撮影画像の鏡面画像が表示される（図７（ｂ））。
運転者が切り出し領域の視野調整が完了した場合は（Ｓ６：ＹＥＳ）、右カメラ切り出し座標を算出し、データを更新する（Ｓ７）。この切り出し座標は、右カメラ５で撮影した画像から、座標演算部２０で演算された切り出し座標値を原点として、あらかじめ設定された領域となる画像に対応した座標である。図７に示す例では、撮影画像における座標（ａ、ｂ）、座標（ａ＋３２０、ｂ＋２４０）を対角位置とする四角領域が切り出し対象となる。

次に、更新後の切り出し座標で右カメラ画像を切り出してから（Ｓ８、図７（ｃ））、画像を拡大し、他の画像と合成して出力する（Ｓ９、図７（ｄ））。これにより、運転者により視野調整された切り出し領域の画像が表示装置８の右表示領域８ｃに更新表示される。この場合、左表示領域８ａ及び中表示領域８ｂの表示画像が更新表示されることはない。
運転者が切り出し領域の視野調整を終了し、タイムアウトとなるまでに（Ｓ４：ＮＯ）、「決定」スイッチをオンすると（Ｓ５：ＹＥＳ）、右カメラ画像（切り出し画像）に対して二値化・輪郭抽出処理を実行する（Ｓ１０）。つまり、右カメラ画像に含まれる車両任意位置の特徴形状（バンパー、タイヤ、認識用マーク等）を抽出し、その結果を基準映像として、基準映像記憶部１８に更新記憶する（Ｓ１１）。この場合、図７（ｃ）に示すように切り出し画像には車両の右側面後方が含まれているのが通常であることから、車両の特徴形状を抽出することは比較的容易である。また、このような特徴形状は固定的であることから、その特徴形状パターンをあらかじめ記憶することにより特徴形状の抽出は一層容易である。特徴形状の抽出としては、いずれか１つの特徴形状の抽出で行ってもよいし、複数の特徴形状を組み合せて行ってもよい。また、認識用マークとしては、車両の両側面の左右対称位置に車両の色に対して識別が容易となる色のテープ、或いはマークを貼付するのが望ましい。

次に、カメラ画像を右から左へ切り替え（Ｓ１２）、更新前の切り出し座標で右（左）カメラ画像を切り出し（Ｓ１３）、運転者が視野調整対象としなかった左カメラ画像を、上述した画像処理と同様の画像処理を施した後に（Ｓ１４）、基準映像記憶部１８に記憶された基準映像と比較し、両者のずれ量を算出し、そのずれ量に基づいて視野調整対象としなかった左カメラ画像の（原点座標）の補正量を決定する（Ｓ１５）。
次に、補正量を反映し、左カメラ切り出し座標を求め（Ｓ１６）、左右反転処理（鏡像処理）し（Ｓ１７）、更新後の切り出し座標で左カメラ画像を切り出し、画像を拡大して、他の画像と合成して出力する（Ｓ１８）。
以上のような動作の結果、運転者の操作に応じて、右カメラ画像から切り出された画像情報から、左右対称関係にある左カメラ画像の切り出し画像が表示装置８に表示されるので、運転者は、左カメラ画像に対して視野調整操作を実行することなく表示装置８に表示される左後方画像を自動的に視野調整することができる。

このような実施形態によれば、次の効果を奏することができる。
左右ドアミラー２，３に相当する車両後方の風景を左右カメラ４，５で撮影し、１つの表示装置８に統合して表示する構成において、左右ドアミラー２，３に相当する表示画像のどちらか一方の視野調整結果に基づいて、他方の表示画像を自動的に視野調整するようにしたので、運転者が面倒な操作を行うことなく違和感の無い左右後方画像を表示することができる。
左右カメラ４，５の撮影領域は固定されており、切り出し領域が表示装置８に表示されるので、ソフト処理により容易に表示装置８に左右後方画像を表示することができ、容易に実施することができる。
後方カメラ６の撮影画像を左後方画像と右後方画像との間に表示するので、車両の後方を統合した画像として容易に確認することができる。
（他の実施の形態）
表示装置８に左右後方画像と中後方画像を統合して表示したが、各画像を独立した表示装置に表示するようにしてもよく、この場合、左後方画像の表示装置を車室前方の左側、右後方画像の表示装置を車室前方の右側、中後方画像の表示装置をルームミラー位置となるように離して配置するようにしてもよい。
表示装置８に表示する画像をカメラ画像から切り出すのではなく、カメラの撮影方向をアクチュエータにより変更することにより表示してもよい。この場合、カメラの撮影領域全体が表示装置８に表示されるので、広範囲を表示する場合に有効である。
カメラ４，５をドアミラーに取付けるのに代えて、フェンダーミラーに内蔵したり、車両の側面に固定したりするようにしてもよい。
表示装置８としては、カラー液晶表示装置に限定されることなく、白黒液晶表示装置、プラズマ表示装置、ＥＬ表示装置などを用いるようにしてもよい。

表示装置８を、図８に示すように運転者の正面となるダッシュボード上(図中にＡで示す)、メーター位置の近傍（図中にＢで示す）、運転席と助手席との間のインストルメントパネル（図中にＣで示す）に搭載してもよい。尚、図中に示す表示装置８は従来と同じ後部確認用ルームミラーである。
一方の表示画像の切り出し領域において特徴点をソフト処理により抽出できない場合は、一方の切り出し領域のずれ量だけ他方の切り出し領域を変更するようにしてもよい。
車両をバックする場合に、カメラ４，５の表示画像における切り出し領域を下方にずらすことにより車両側方の地面側を自動的に表示装置８に表示するようにしてもよい。
表示装置８の中表示領域８ｂを従来のルームミラーとしてもよい。
ドアミラーでの後方視認も確保されていることから、表示装置８の左表示領域８ａ及び右表示領域８ｃをカーナビゲーション装置の表示手段として使用したり、テレビ、ＤＶＤの表示手段として使用したりするようにしてもよい。

図面中、１は車両、４は左カメラ（左後方撮影手段）、５は右カメラ（右後方撮影手段）、６は後方カメラ（中後方撮影手段）、８は表示装置（表示装置）、８ａは左表示領域（左表示手段）、８ｂは中表示領域（中表示手段）、８ｃは右表示領域（右表示手段）、１０は処理部（制御手段）である。

Claims (11)

1. 車両側右後方を撮影する右後方撮影手段と、
   車両側左後方を撮影する左後方撮影手段と、
   運転者が視認可能に設置され、前記右後方撮影手段が撮影した右後方画像を左右反転表示する右表示手段と、
   運転者が視認可能に設置され、前記左後方撮影手段が撮影した左後方画像を左右反転表示する左表示手段と、
   運転者により操作可能に設けられ、前記右表示手段に表示される右後方画像と前記左表示手段に表示される左後方画像の視野を、水平または垂直方向にそれぞれ独立して移動させることにより視野調整するための調整手段と、
   前記調整手段により前記表示手段に表示されている一方の画像が視野調整された場合は、当該視野調整後の画像を画像処理し、車両任意位置の特徴形状を特徴点として抽出し、当該特徴点と、当該特徴点に対応する他方の画像の特徴点が左右対称関係となるように他方の画像を視野調整する制御手段と、
   を備えたことを特徴とする車両用後方視認システム。
2. 車両側右後方を撮影する右後方撮影手段と、
   車両側左後方を撮影する左後方撮影手段と、
   運転者が視認可能に設置され、前記右後方撮影手段が撮影した右後方画像を左右反転表示する右表示手段と、
   運転者が視認可能に設置され、前記左後方撮影手段が撮影した左後方画像を左右反転表示する左表示手段と、
   運転者により操作可能に設けられ、前記右表示手段に表示される右後方画像と前記左表示手段に表示される左後方画像の視野を、水平または垂直方向にそれぞれ独立して移動させることにより視野調整するための調整手段と、
   前記調整手段により前記表示手段に表示されている一方の画像が視野調整された場合は、当該視野調整後の画像に映し出された車両の形状と、他方の画像に映し出された車両の形状とが左右対称関係となるように他方の画像を視野調整する制御手段と、
   を備えたことを特徴とする車両用後方視認システム。
3. 前記各後方撮影手段は、撮影領域が固定して設けられ、
   前記各表示手段は、前記各後方撮影手段による撮影画像から切り出された領域を表示し、
   前記制御手段は、運転者が前記調整手段により一方の後方撮影手段による撮影画像の切り出し領域を変更することにより一方の画像を視野調整した場合は、他方の後方撮影手段による撮影画像の切り出し領域を変更することにより他方の画像を視野調整することを特徴とする請求項１または２記載の車両用後方視認システム。
4. 前記各後方撮影手段は、撮影方向がアクチュエータにより可変に設けられ、
   前記各表示手段は、前記各後方撮影手段による撮影画像を表示し、
   前記制御手段は、運転者が前記調整手段により一方の後方撮影手段の撮影方向を変更することにより一方の画像を視野調整した場合は、他方の後方撮影手段の撮影方向を変更することにより他方の画像を視野調整することを特徴とする請求項１または２記載の車両用後方視認システム。
5. 前記右後方撮影手段及び前記左後方撮影手段は車両のドアミラーに設けられていることを特徴とする請求項１ないし４の何れかに記載の車両用後方視認システム。
6. 車両の後方を撮影する中後方撮影手段を設け、
   前記中後方撮影手段が撮影した画像を左右反転表示する中表示手段を設けたことを特徴とする請求項１ないし５の何れかに記載の車両用後方視認システム。
7. 前記右表示手段、前記中表示手段、前記左表示手段は、一つの表示装置により構成されていることを特徴とする請求項１ないし６の何れかに記載の車両用後方視認システム。
8. 前記表示装置は、ルームミラー位置に配置されていることを特徴とする請求項７記載の車両用後方視認システム。
9. 前記表示装置は、運転席の正面となるダッシュボード上に配置されていることを特徴とする請求項７記載の車両用後方視認システム。
10. 前記表示装置は、運転者の正面に位置するメーターの近傍に配置されていることを特徴とする請求項７記載の車両用後方視認システム。
11. 前記表示装置は、運転席と助手席との間のインストルメントパネルに配置されていることを特徴とする請求項７記載の車両用後方視認システム。

Images