JP2003191810A - 車両周辺監視システム及び車両移動状態検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 車両に搭載した監視カメラの視野外の状況を
もモニター表示できる様にする。 【解決手段】 後方カメラ13で撮影した画像を上空から
見た平面画像に変換して得られた鳥瞰画像を一時記憶メ
モリ23に記憶する。ＣＰＵ25は、ハンドル角信号、車速
信号、ヨーレイト信号、超音波センサ信号に基づいて、
車両の動き（車両の回転中心位置及び回転角など）を算
出し、この車両の動きに基づいて、履歴画像記憶メモリ
27から前回の演算タイミングにおいて得られた鳥瞰画像
を読み出して回転・移動させ、その結果に対して、今回
の演算タイミングにおいて得られた最新の鳥瞰画像をオ
ーバーレイして合成鳥瞰画像を作成し、これを履歴画像
記憶メモリ27及び表示用画像メモリ29に記憶する。モニ
ター31は、この表示用画像メモリ29から読み出した過去
の履歴を含む合成鳥瞰画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両周辺監視シス
テムに係り、特に、車両を所望の位置に移動させようと
するときの利便性や安全性を向上するための車両周辺監
視システムと、このシステムを実現するために有効な車
両移動状態検出装置に関するものである。

【０００２】

【従来の技術】従来、後方カメラで車両の後方を撮影
し、ダッシュボードに備え付けたモニターに後方カメラ
により撮影した画像をそのままリアルタイムに表示する
ことで、バックで駐車しようとするときの利便性を向上
する様にした後方監視システムが知られている。

【０００３】また、特開平１０−２１１８４９号公報に
記載の後方監視システムでは、後方カメラで撮影した車
両の後方の画像を、上空から見た平面図（鳥瞰画像）に
変換し、これをモニターに表示すると共に、このモニタ
ーに自車両を表示する様にしている。

【０００４】この特開平１０−２１１８４９号公報に記
載の後方監視システムによれば、自車両と後方の状態と
を鳥瞰画像でモニター表示するので、自車両と駐車枠と
の位置関係が分かり易くなるという効果が発揮される。

【０００５】

【発明が解決しようとする課題】しかし、これら従来技
術では、後方カメラの視野外の状況は表示できないの
で、依然として、バックで駐車枠に入れようとするとき
の利便性の向上は十分でない。

【０００６】そこで、本発明は、車両に搭載した監視カ
メラの視野外の状況をもモニター表示できる様にするこ
とを第１の目的とする。

【０００７】また、これまでの車両周辺監視システム
は、車庫入れ等のバックの場合だけを重視して開発さ
れ、実用化されてきているが、最近の車両においては、
前方視野を向上させるために、ボンネットの先端が低く
なったスタイルのものが多くなっている。このため、狭
い場所を前進してすり抜けようとしたり、あるいは車両
を駐車場に前進で駐車しようとするときに、特に、右ハ
ンドルの車両では、左前方の状況が十分に把握できず、
駐車場の壁面、隣の車両、あるいは電柱の様な道路上の
構造物等に接触して車両を傷つけてしまいそうになった
り、実際に傷つけてしまうといったことを経験すること
がある。

【０００８】そこで、本発明は、車両の前方の周辺状況
について正しい情報をユーザーに提供できる様にするこ
とを第２の目的とする。

【０００９】さらに、車庫入れの際には、切り返し操作
を伴うことがある。その様な場合、従来の監視システム
では、後進しているときはバックモニターを見て後方の
障害物や駐車枠の位置を確認できるが、切り返しのため
に前進するときは、モニターから目を離し、フロントガ
ラスを通して前方を見るといったことを繰り返すことに
なる。特に、前方に障害物がある様な場合、前述した様
に、右ハンドル車の左前コーナー部は視界が悪いため、
切り返し操作がやり難い場合があるといった問題が生じ
る。

【００１０】そこで、本発明は、車両の後方だけでなく
前方についても周辺状況をユーザーに提供できる様にす
ることを第３の目的とすると共に、さらに、前方、後方
共に、自車両と周辺状況との位置的関係を死角を極力少
なくして正しい情報をユーザーに提供できる様にするこ
とを第４の目的とする。

【００１１】

【課題を解決するための手段及び発明の効果】上記第１
の目的を達成しようとしてなされた請求項１の車両周辺
監視システムは、撮影手段が撮影した車両後方画像を、
鳥瞰変換手段で鳥瞰画像に変換し、この鳥瞰画像を鳥瞰
画像記憶手段に記憶する。また、車両移動状態取得手段
が取得した車両の移動状態に基づいて、画像回転・移動
手段が、鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰
画像を回転移動又は平行移動する。ここで、車両が旋回
している場合は回転移動を実行し、車両が直線移動をし
ている場合は平行移動を実行する。そして、合成鳥瞰画
像生成手段が、こうして回転・移動された過去の鳥瞰画
像と、撮影手段によって撮影されている現在の車両後方
画像を鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画
像とを合成して合成鳥瞰画像を生成する。ここでは、例
えば、現在の鳥瞰画像が前面となる様に、過去の鳥瞰画
像の上にオーバーレイする様にしておくとよい。最後
に、表示制御手段が、この合成鳥瞰画像を、車両の位置
との関係が分かる様に表示手段に表示する。車両の位置
との関係が分かる様に表示する方法としては、例えば、
表示手段の所定位置に車両の平面図に想到する画像を最
前面となる様に表示し、この車両の後端側に基準線を設
定し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線か
ら後方へ向かって表示される様に合成鳥瞰画像の表示位
置を決定する様にすればよい。

【００１２】この結果、請求項１の車両周辺監視システ
ムによれば、表示手段には、現在の鳥瞰画像だけでな
く、過去の鳥瞰画像が車両との位置関係が分かる様に表
示されるので、撮影手段の視野外の状況をもモニター表
示することができ、ドライバーに対して、車両と周辺の
状況とをより的確に判断させることができる。従って、
請求項１の車両周辺監視システムによれば、バックで駐
車する様な場合における利便性・操作性が向上するとい
う効果が発揮される。

【００１３】また、第２の目的を達成するためになされ
た請求項２の車両周辺監視システムは、車両の前部に撮
影手段を設置したものである。そして、この撮影手段が
撮影した車両前方画像を、鳥瞰変換手段が鳥瞰画像に変
換する。この鳥瞰画像は、鳥瞰画像記憶手段に記憶され
る。また、車両移動状態取得手段が、車両の移動状態を
取得する。そして、この車両移動状態取得手段が取得し
た車両の移動状態に基づいて、画像回転・移動手段が、
鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回
転移動又は平行移動する。ここで、車両が旋回している
場合は回転移動を実行し、車両が直線移動をしている場
合は平行移動を実行する。そして、合成鳥瞰画像生成手
段が、こうして回転・移動された過去の鳥瞰画像と、撮
影手段によって撮影されている現在の車両後方画像を鳥
瞰変換手段によって鳥瞰変換した現在の鳥瞰画像とを合
成して合成鳥瞰画像を生成する。ここでは、例えば、現
在の鳥瞰画像が前面となる様に、過去の鳥瞰画像の上に
オーバーレイする様にしておくとよい。最後に、表示制
御手段が、この合成鳥瞰画像を、車両の位置との関係が
分かる様に表示手段に表示する。車両の位置との関係が
分かる様に表示する方法としては、例えば、表示手段の
所定位置に車両の平面図に想到する画像を最前面となる
様に表示し、この車両の前端側に所定の基準線を設定
し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線から
前方へ向かって表示される様に合成鳥瞰画像の表示位置
を決定する様にすればよい。

【００１４】この結果、請求項２の車両周辺監視システ
ムによれば、車両の前方の状況を車両の前端角部の周辺
についてもモニター表示することが可能になる。よっ
て、例えば、狭い場所を前進してすり抜けようとした
り、あるいは車両を駐車場に前進で駐車しようとすると
きに、特に、右ハンドルの車両で死角となり易い左前方
の状況が十分に把握でき、駐車場の壁面、隣の車両、あ
るいは電柱の様な道路上の構造物等に接触してしまうの
を有効に防止することができる。

【００１５】また、第３の目的を達成するためになされ
た請求項３の車両周辺監視システムは、車両の前部及び
後部にそれぞれ撮影手段を備えたものである。そして、
シフトレンジ検出手段によって、シフトレンジが後進レ
ンジであることを検出したときは後方撮影手段を使用
し、前進レンジであることを検出したときは前方撮影手
段を使用する。従って、切り返し操作を行いながら駐車
しようといったときには、Ｒレンジにシフトチェンジす
ると表示手段には後方撮影手段からの画像が、Ｄレンジ
にシフトチェンジすると表示手段には前方撮影手段から
の画像が表示され、視線を大きく変更しなくても、特
に、駐車の際の最終的な駐車位置調整をスムーズに実行
することが可能になるといった効果が発揮される。

【００１６】また、第４の目的を達成するためになされ
た請求項４の車両周辺監視システムは、請求項３の車両
周辺監視システムによる作用に加えて、以下の様な作用
が発揮される。後方撮影手段が撮影した後方画像は、鳥
瞰変換手段によって鳥瞰画像に変換され、さらに、この
鳥瞰変換した後方画像は、鳥瞰画像記憶手段に記憶され
る。そして、車両移動状態取得手段によって取得した車
両の移動状態に基づいて、鳥瞰画像記憶手段に記憶して
おいた過去の鳥瞰画像を回転移動又は平行移動する。そ
して、合成鳥瞰画像生成手段が、この回転・移動された
過去の鳥瞰画像と、現在の鳥瞰画像とを合成して合成鳥
瞰画像を生成する。この合成鳥瞰画像が表示手段に表示
されることになる。また、シフトレンジが切り替わる
と、今度は、前方撮影手段による撮影に切り替わり、前
方撮影手段によって撮影した画像に基づき、上述と同様
の処理が実行される。

【００１７】この結果、この請求項４の車両周辺監視シ
ステムによれば、切り返しで前進するときは、表示手段
には前方の様子が、前進し始めからの履歴を反映した形
で表示手段に表示される。従って、前方の障害物等と自
車両との位置関係を的確に判断しながら車両を前進させ
ることができる。この際、車両の左前コーナー部の様
に、右ハンドル車では見えにくい領域の状況も正しく伝
達することができる。同様に、切り返しで後進するとき
は、表示手段には後方の様子が、後進し始めからの履歴
を反映した形で表示手段に表示される。従って、後方の
障害物等と自車両との位置関係を的確に判断しながら車
両を後進させることができる。そして、この様に、表示
手段に的確な周辺状況を表示できる結果として、切り返
し操作の最終局面では、一々、視線を表示手段からフロ
ントガラスへと移動させなくても、ハンドル操作するこ
とが可能となり、操作性が大幅に向上するという効果が
発揮される。

【００１８】なお、ここで、請求項５の車両周辺監視シ
ステムは、請求項１〜請求項４のいずれか記載の車両周
辺監視システムにおいて、前記鳥瞰画像記憶手段に記憶
されている過去の鳥瞰画像を、前記合成鳥瞰画像生成手
段が生成した合成鳥瞰画像に基づいて更新する過去画像
更新手段を備えていることを特徴とする。

【００１９】この請求項５の車両周辺監視システムによ
れば、過去画像更新手段を備えている結果、鳥瞰画像記
憶手段には、過去画像が更新されつつ蓄積されていき、
車両が後進又は前進を開始した後、徐々に車両の周辺状
況をより広範囲に表示可能となり、車両の後方又は前方
だけでなく、車両の側方の周辺状況をもドライバーに伝
達することができる。また、過去画像を更新すること
で、画像回転・移動手段による回転・移動後の過去の鳥
瞰画像は、現在の鳥瞰画像と正しくつなぎ合わせること
ができる。

【００２０】ところで、これら第１〜第４の目的を達成
するにことができた場合に、さらに、以下の問題が存在
する。

【００２１】まず第１に、車両の周辺の状況を表示する
ために過去の画像を用いるため、ユーザーに現時刻の車
両の周辺の状況を完全に提供できているわけではないと
いう問題がある。

【００２２】例えば、モニターだけを注視して車の車庫
入れ等を行っていると、過去の画像を表示している領域
に他の車両が侵入してきても当該他の車両の画像は表示
されないため、不用意にハンドル操作をすると、接触事
故を引き起こす危険がある。従って、本出願人等は、こ
れまでに開発をしたシステムを実用化する上では、当然
ながら、モニターにだけ頼って運転をしない様に、特
に、車両の側方領域については必ず目視による確認をす
る必要がある点を操作マニュアル等に明記し、ユーザー
の注意を喚起することを予定している。しかし、ユーザ
ーが、慣れによって、目視確認をしないままで車両の切
り返し操作等をすることが全くないとはいえない。

【００２３】そこで、本発明は、ユーザーが操作マニュ
アルの指示に従った運転を忠実に実行しない様なときに
も、特に、移動物体との間での接触事故を防止すること
を第５の目的とする。

【００２４】かかる第５の目的を達成するためになされ
た請求項６の車両周辺監視システムは、請求項１〜請求
項５のいずれか記載の車両周辺監視システムにおいて、
前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対
して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像
に対応する部分とを区別するための画像処理を施す画像
処理手段を備え、前記表示制御手段は、該画像処理手段
によって画像処理された後の合成鳥瞰画像を前記表示手
段に表示する様に構成されていることを特徴とする。

【００２５】この請求項６の車両周辺監視システムによ
れば、画像処理手段が、合成鳥瞰画像生成手段が生成し
た合成鳥瞰画像に対して、過去の鳥瞰画像に対応する部
分と現在の鳥瞰画像に対応する部分とを区別するための
画像処理を施す。画像処理の例をあげると、例えば、過
去の鳥瞰画像のみが表示される部分にはフィルター処理
によって現在の鳥瞰画像と色彩的に区別が付くようにす
ることができる。また、過去の鳥瞰画像と現在の鳥瞰画
像との境界線を明示する様にすることもできる。さら
に、過去の鳥瞰画像のみが表示される部分は階調を落と
すなどの画像処理を施すことによって、階調の差で現在
の鳥瞰画像と視覚的に区別が付くようにすることもでき
る。その他、過去の鳥瞰画像と現在の鳥瞰画像とが区別
できる様な状態とするための種々の画像処理技術を適用
することができる。

【００２６】また、同じく第５の目的を達成するために
なされた請求項７の車両周辺監視システムは、請求項１
〜請求項６のいずれか記載の車両周辺監視システムにお
いて、前記表示手段に表示される合成鳥瞰画像中の過去
の鳥瞰画像を表示している部分に、ドライバーの注意を
促すための所定の情報を表示させるための注意情報表示
手段を備えていることを特徴とする。

【００２７】この請求項７の車両周辺監視システムによ
れば、注意情報表示手段が、表示手段に表示される合成
鳥瞰画像中の過去の鳥瞰画像を表示している部分に、ド
ライバーの注意を促すための所定の情報、例えば、コー
ションマークや、アニメーション化によって人物や車両
が過去の鳥瞰画像の表示領域に出入りする様な動画表示
や、ドライバーの黙視確認を促すようなメッセージを表
示する。この結果、ドライバーは、モニター内のどの部
分については、最終的には目視確認が必要であるという
ことを容易に判断することができ、安全性を向上するこ
とができる。なお、視覚的に注意を促すだけでなく、音
声によって注意を促す様にすることもできる。従って、
第５の目的を達成するための手段として、請求項８の車
両周辺監視システムの様に、請求項１〜請求項７のいず
れか記載の車両周辺監視システムにおいて、前記表示手
段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示
している部分は、目視確認が必要であることをドライバ
ーに通知する通知手段を備えておく様にすることもでき
る。

【００２８】また、上述の様に、車庫入れ等において
は、単純にバックするだけでなく、切り返し操作の様
に、前進と後進とを繰り返す場合がある。例えば、ユー
ザーがシフトレンジをＲレンジに切り替えたときに、そ
れまでに前進していた時の画像履歴が残ってしまうと、
この前進時の画像履歴をカメラの視野外の領域の画像と
して合成してしまうことになり、正しい合成画像が得ら
れなくなるという問題もある。逆に、Ｒレンジから前進
用シフトレンジに切り替えたときにも同様の問題が生じ
る。

【００２９】そこで、本発明は、車両を前進させるとき
も後進させるときも、常に、車両の周辺状況を正しく反
映した合成画像を表示できる様にすることを第６の目的
とする。

【００３０】かかる第６の目的を達成するためになされ
た請求項９の車両周辺監視システムは、請求項１〜請求
項８のいずれか記載の車両周辺監視システムにおいて、
車両のシフトレンジの切り替わりを検出するシフトレン
ジ切り替わり検出手段と、該シフトレンジ切り替わり検
出手段によってシフトレンジが切り替わったことが検出
されたときは、前記鳥瞰画像記憶手段に記憶されている
過去の鳥瞰画像を消去する過去画像消去手段とを備えて
いることを特徴とする。

【００３１】この請求項９の車両周辺監視システムによ
れば、シフトレンジ切り替わり検出手段によってシフト
レンジが切り替わったことが検出されたときは、過去画
像消去手段が作動して、鳥瞰画像記憶手段に記憶されて
いる過去の鳥瞰画像を消去する。この結果、切り返しに
よって車両が複雑な動きをした場合には、前進時であれ
ば後進時に得られた過去の画像が、逆に後進時であれば
前進時に得られた過去の画像がモニター表示されること
がなく、車両の周辺状況を正しく反映した画像情報をド
ライバーに提供することができる。

【００３２】ここで、請求項１０の車両周辺監視システ
ムは、前記車両移動状態取得手段は、ハンドル角とヨー
レイトから旋回時の車両の回転移動量を算出する回転移
動量算出手段を備えていることを特徴とする。

【００３３】この請求項１０の車両周辺監視システムに
よれば、回転移動量算出手段が、ハンドル角とヨーレイ
トから旋回時の車両の回転移動量を算出し、この回転移
動量に基づいて、画像回転・移動手段が、過去の鳥瞰画
像を回転移動させる。この場合、車両がバック中の場合
は、後輪車軸上に回転中心があるものと推定することが
できるので、ハンドル角から回転半径を算出してやれば
回転中心が判明する。そして、ヨーレイトから回転角を
算出する。回転中心と回転角とが求められれば、回転中
心に対して車両がどの方向へどれだけ回転移動したかを
数学的に算出することができる。こうして回転移動量が
算出できれば、後は、過去の鳥瞰画像を構成する各画素
を、この回転移動量に基づいて、実際の回転方向とは逆
方向に座標変換してやる。そして、これに、現在の鳥瞰
画像をオーバーレイすれば、車両の後輪車軸をＸ方向の
基準線とし、車両の中心線をＹ方向の基準線とする座標
系についての、合成鳥瞰画像を生成することができる。
なお、前進の場合も同様の手法で容易に合成鳥瞰画像を
生成することができる。

【００３４】ところで、回転を伴わない移動状態では、
車速に基づいて車両の直線移動量を算出し、この直線移
動量分だけ過去の鳥瞰画像を移動方向とは逆方向に移動
させ、これに現在の鳥瞰画像をオーバーレイしてやれ
ば、容易に合成鳥瞰画像を生成することができる。

【００３５】これを実現しているのが請求項１１の車両
周辺監視システムであり、請求項１〜請求項１０のいず
れか記載の車両周辺監視システムにおいて、前記車両移
動状態取得手段は、車速又は車速を算出し得る所定の情
報から旋回を伴わない場合の車両の直線移動量を算出す
る直線移動量算出手段を備えていることを特徴とする。

【００３６】ところで、車両を駐車しようとする様なと
きは、車両は極低速で移動する状態になっている。こう
した極低速での車速は、通常の車速センサの検出信号を
使用したのでは、精度が良くない場合があるという問題
がある。あるいは、センサによっては所定速度以下の場
合は車速の検出が不可能なものもある。

【００３７】そこで、本発明は、低速走行時の車速又は
車両の移動量を高精度で検出することができる様にする
ことを第７の目的とする。

【００３８】この第７の目的を達成するためになされた
請求項１２の車両周辺監視システムは、請求項１〜請求
項１１のいずれか記載の車両周辺監視システムにおい
て、前記車両移動状態取得手段は、過去の鳥瞰画像と現
在の鳥瞰画像とを比較することによって車両の直線移動
量を算出する直線移動量算出手段を備えていることを特
徴とする。

【００３９】同じく第７の目的を達成するためになされ
た請求項１３の車両周辺監視システムは、請求項１〜請
求項１２のいずれか記載の車両周辺監視システムにおい
て、前記車両移動状態取得手段は、ソナーによって検出
される何らかの目標物と車両との距離の変化に基づいて
車両の直線移動量を算出する直線移動量算出手段を備え
ていることを特徴とする。

【００４０】同じく、第７の目的を達成するためになさ
れた請求項１４の車両移動状態検出装置は、車両に設置
された撮影手段と、該撮影手段が撮影した画像を、鳥瞰
画像に変換する鳥瞰変換手段と、該鳥瞰変換手段によっ
て変換された鳥瞰画像を記憶する鳥瞰画像記憶手段と、
該鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像
と、前記撮影手段によって撮影されている現在の車両後
方画像を前記鳥瞰変換手段によって鳥瞰変換した現在の
鳥瞰画像とを比較することにより、車両の移動量又は移
動速度を算出する算出手段とを備えている。

【００４１】同じく、第７の目的を達成するためになさ
れた請求項１５の車両移動状態検出装置は、車両に設置
され、進行方向の物体を検出するソナーと、該ソナーが
検出した所定の目標物と車両との距離の変化に基づい
て、車両の移動量又は移動速度を算出する算出手段とを
備えている。

【００４２】まず、請求項１４の車両移動状態検出装置
について説明する。請求項１４の車両移動状態検出装置
によれば、撮影手段が撮影した画像を、鳥瞰変換手段が
鳥瞰画像に変換し、この鳥瞰画像を鳥瞰画像記憶手段に
記憶する。そして、この鳥瞰画像記憶手段に記憶されて
いる過去の鳥瞰画像と、撮影手段によって撮影され、鳥
瞰変換手段によって鳥瞰変換された現在の鳥瞰画像とを
比較することにより、算出手段が車両の移動量又は移動
速度を算出する。請求項１４の車両周辺監視システム
は、この様にして算出された車両の移動量又は移動速度
に基づいて、鳥瞰画像の回転・移動といった処理を実行
する。

【００４３】なお、算出手段による算出方法としては、
例えば、前回の演算時刻Ｔにおける鳥瞰画像中で、最も
輝度が高い画素（最高輝度ピクセル）を抽出し、今回の
演算時刻Ｔ＋１における鳥瞰画像からも最高輝度ピクセ
ルを抽出し、この時刻Ｔから時刻Ｔ＋１までの間に、車
両が直線的に移動することにより、画像中の最高輝度ピ
クセルが移動した量を求めるといった方法をとることが
できる。

【００４４】また、この場合、最高輝度ピクセルは、鳥
瞰画像内を所定の大きさのいくつかのエリアに分割し、
各エリア毎に抽出する様にしておき、これら複数個の最
高輝度ピクセル同士の時刻Ｔにおける位置関係と、時刻
Ｔ＋１における位置関係とを比較することによって直線
移動量を算出する様にしてもよい。この様にする方が、
算出結果に対する信頼性が高まる。

【００４５】さらに、他の方法としては、時刻Ｔにおけ
る鳥瞰画像内の各ピクセルの明るさの程度を数値として
抽出し、それぞれを各ピクセルの属性として記憶する。
同様に、時刻Ｔ＋１における鳥瞰画像内の各ピクセルの
明るさの程度を数値として抽出し、それぞれを各ピクセ
ルの属性として記憶する。そして、明るさの一致するピ
クセル同士の位置関係を算出することにより、時刻Ｔか
ら時刻Ｔ＋１までの間の車両の直線移動量を算出するこ
ともできる。

【００４６】また、例えば、車両が後進中であるという
ことが分かっていれば、時刻Ｔにおける鳥瞰画像中の後
端側エッジ部分の所定の大きさの画像領域内にあるピク
セルの明るさや色彩といった画像的な特徴情報を数値デ
ータとして抽出し、時刻Ｔ＋１における鳥瞰画像につい
て、その後端側エッジから直線的に微小距離△ｙだけ離
れた位置を後端として所定の大きさの画像領域内にある
ピクセルの明るさや色彩といった画像的な特徴情報を抽
出し、両者の一致度を判定し、両者が一致していなけれ
ば、時刻Ｔ＋１における鳥瞰画像について、その後端側
エッジから２△ｙだけ離れた位置を後端とする所定の大
きさの画像領域内にあるピクセルから同様の画像的な特
徴情報を抽出し、これを時刻Ｔの鳥瞰画像から抽出した
特徴情報との一致度を判定し、両者の一致度が所定条件
を満たすまで、以下、ｎを３，４，・・・と変化させて
同様の演算処理を実行し、所定の一致度が得られたとき
のｎ△ｙを直線移動量とするといった演算処理を実行す
ることもできる。

【００４７】この様に、過去の鳥瞰画像と現在の鳥瞰画
像とを比較することにより、画像処理的に低速移動時の
車両の移動量又は移動速度を容易に算出することができ
るのである。

【００４８】次に、請求項１５の車両移動状態検出装置
について説明する。請求項１５の車両移動状態検出装置
によれば、ソナーで検出した進行方向の何らかの静止物
体と車両との距離の変化を求めることによって、車両の
移動量又は移動速度を容易に算出することができる。請
求項１５の車両周辺監視システムは、この様にして算出
された車両の移動量又は移動速度に基づいて、鳥瞰画像
の回転・移動といった処理を実行する。

【００４９】なお、センサの精度は時代と共に向上する
ので、車速センサとして極低速の場合も正確な車速を検
出できるものを使用することができれば、車速センサの
検出信号から車両の移動量又は移動速度を算出し、これ
に基づいて鳥瞰画像の回転・移動を行う様にしても本発
明の要旨を逸脱するものではない。

【００５０】

【発明の実施の形態】次に、本発明の実施の形態を図面
と共に説明する。図１は、本実施の形態の車両周辺監視
システム１の概略構成を表すブロック図である。図示の
様に、画像入力手段である前方カメラ１１及び後方カメ
ラ１３と、これらのカメラ１１，１３で撮影された画像
を鳥瞰画像に変換するための画像処理を実行する鳥瞰変
換回路１５，１７と、これら鳥瞰変換回路１５，１７に
よって変換された後の画像を一時的に記憶する一時記憶
メモリ２１，２３と、制御処理の中枢を司るＣＰＵ２５
と、このＣＰＵ２５で所定の演算処理を実行した結果と
しての画像を記憶する履歴画像記憶メモリ２７と、この
履歴画像記憶メモリ２７や一時記憶メモリ２１，２３に
記憶されている画像を合成して得られる表示用画像を記
憶する表示用画像メモリ２９と、表示用画像メモリ２９
に記憶されている画像を読み出して表示するモニター３
１と、ＣＰＵ２５に対してユーザーのハンドル操作に関
する情報を入力するためのハンドル角信号入力回路４１
と、同じくＣＰＵ２５に対して車速に関する情報を入力
するための車速信号入力回路４３と、車両の旋回状況に
関する情報をＣＰＵ２５に入力するためのヨーレイト信
号入力回路４５と、車両の移動方向に存在する障害物を
検出してその有無や障害物と車両との距離等の情報をＣ
ＰＵ２５に入力するための超音波センサ信号入力回路４
７と、シフトポジション信号入力回路４９とを備えてい
る。

【００５１】なお、鳥瞰変換回路１５，１７、一時記憶
メモリ２１，２３、ＣＰＵ２５、履歴画像記憶メモリ２
７、表示用画像メモリ２９、ハンドル角信号入力回路４
１、車速信号入力回路４３、ヨーレイト信号入力回路４
５、超音波センサ信号入力回路４７及びシフトポジショ
ン信号入力回路４９は、その全体または一部を一体化し
て一つのＬＳＩで構成してもよい。さらに、鳥瞰変換回
路１５，１７については、専用の画像処理回路を備える
代わりに、ＣＰＵ２５に対してカメラ１１，１３で撮影
した画像を入力し、これを演算処理によってソフトウェ
ア的に鳥瞰画像に変換するといった手法で実現すること
もできる。

【００５２】前方カメラ１１は、図２に示す様に、例え
ば、車両のフロントグリルの中央辺りに設置され、車両
の前方の画像を撮影することができる様になっている。
また、後方カメラ１３は、例えば、車両のラッゲージル
ームの後壁の中央辺りに設置され、車両の後方の画像を
撮影することができる様になっている。

【００５３】ここで、前方カメラ１１及び後方カメラ１
３は、それぞれ車両の幅方向に位置をずらして複数個設
置しておく様にしても構わない。但し、前方及び／又は
後方に複数個のカメラを設置した場合には、本実施の形
態のシステムを実現するための画像処理の際に、各カメ
ラ毎に撮影範囲がずれている画像同士を調整して前方の
画像及び後方の画像を決定する必要があるので、視野が
広くなってより多くの情報が得られる反面、画像処理の
ための演算処理回路やプログラムが複雑になるといった
問題もあり、コスト的な側面等も考慮して実用化する必
要がある。

【００５４】また、前方カメラ１１で撮影した画像は、
前方画像用の鳥瞰変換回路１５に入力され、画像処理を
施されて前方鳥瞰画像とされて一時記憶メモリ２１に記
憶される。撮影開始時には、この前方鳥瞰画像は、さら
に、履歴画像メモリ２７内の前方履歴画像記憶領域にも
記憶される。この前方履歴画像記憶領域に記憶されてい
る画像は、次の演算タイミングにおいて、ＣＰＵ２５に
よって読み出され、ハンドル角信号入力回路４１，車速
信号入力回路４３，ヨーレイト信号入力回路４５及び超
音波センサ信号入力回路４７を介してＣＰＵ２５に入力
される各種の情報を用いて回転や移動といった幾何学的
な画像処理を施される。この幾何学的な画像処理後の履
歴画像には、さらに、この演算タイミングにおいて前方
カメラ１１で撮影され、鳥瞰変換回路１５で鳥瞰変換さ
れて一時記憶メモリ２１に上書きされている最新の前方
鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とさ
れて、再び、履歴画像記憶メモリ２７内に上書きされ
る。

【００５５】同様に、後方カメラ１３で撮影した画像
は、後方画像用の鳥瞰変換回路１７に入力され、画像処
理を施されて後方鳥瞰画像とされて一時記憶メモリ２３
に記憶される。撮影開始時には、この後方鳥瞰画像は、
さらに、履歴画像メモリ２７内の後方履歴画像記憶領域
にも記憶される。この後方履歴画像記憶領域に記憶され
ている画像は、次の演算タイミングにおいて、ＣＰＵ２
５によって読み出され、ハンドル角信号入力回路４１，
車速信号入力回路４３，ヨーレイト信号入力回路４５及
び超音波センサ信号入力回路４７を介してＣＰＵ２５に
入力される各種の情報を用いて回転や移動といった幾何
学的な画像処理を施される。この幾何学的な画像処理後
の履歴画像には、さらに、この演算タイミングにおいて
後方カメラ１３で撮影され、鳥瞰変換回路１７で鳥瞰変
換されて一時記憶メモリ２３に上書きされている最新の
後方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像
とされて、再び、履歴画像記憶メモリ２７内に上書きさ
れる。

【００５６】なお、ＣＰＵ２５によって所定の演算処理
を施されて最終的にモニター３１に表示すべき画像は、
表示用画像メモリ２９に記憶される。モニター３１は、
運転席から見易い位置（例えば、ダッシュボードの中
央）に配置されており、カーナビゲーション装置のディ
スプレイを兼用させることもできる。

【００５７】次に、本実施の形態の車両周辺監視システ
ム１が実行する制御処理の内容を説明する。ここでは、
後方カメラ１３によって撮影される車両後方の画像につ
いて、本発明の第１，第２の目的を達成するためにどの
様な処理が実行され、モニター３１にどの様な画像が表
示されるかを説明する。

【００５８】後方カメラ１３で撮影した画像は、鳥瞰変
換回路１７において画像処理されて上空から見た鳥瞰画
像に変換される。

【００５９】鳥瞰変換は、次の様にして実行される。な
お、前提条件として、後方カメラ１３はオートフォーカ
ス機能を有する。従って、後方カメラ１３で撮影した画
像は、その画像中心に焦点距離が合致したものとなって
いる。この焦点距離は、オートフォーカス機能に基づい
てレンズを原点位置からどれだけ移動させたかという情
報に基づいて、距離を表す数値情報として取得すること
ができる。また、後方カメラ１３は、その取り付け高さ
及び取り付け角度が予め分かっている。さらに、本実施
の形態では、地面は平面であることを計算上の前提条件
としている。これらの情報及び条件により、後方カメラ
１３で撮影した画像を画素単位に分解したときの車両後
端を基準線とする各画素までの距離及び幅方向位置を算
出することができる。こうして各画素の鳥瞰変換後の位
置座標が算出できたら、この位置座標に従って、各画素
を配置し直す。これにより、後方カメラ１３で撮影した
画像を、上空から見た平面画像に鳥瞰変換することがで
きる。

【００６０】ここで、この鳥瞰変換を実行することで、
画像的には、画素と画素の間に隙間ができたり、重なっ
たりする場合が想定されるが、バックで車庫入れすると
きなどにあっては、モニター３１に表示される画像が多
少間引きされた様な画像であったとして、鳥瞰変換され
た画像となっている方が、後方カメラ１３で撮影した生
の画像を見ながら車庫入れを実行する場合よりも、操作
性がよく、本発明の目的を達成する上では、何ら問題は
ない。

【００６１】なお、鳥瞰変換についてより詳しい計算式
などを知りたければ、特開平１０−２１１８４９号公報
に詳しく説明されているのでこれを参照されたい。

【００６２】こうして得られた鳥瞰画像は、後方カメラ
１３で撮影した生の画像と共に一時記憶メモリ２３に記
憶される。一方、ＣＰＵ２５は、ハンドル角信号入力回
路４１から入力されるハンドル角信号、車速信号入力回
路４３から入力される車速信号、ヨーレイト信号入力回
路４５から入力されるヨーレイト信号、及び超音波セン
サ信号入力回路４７から入力される超音波センサ信号に
基づいて、車両の動き（車両の回転中心位置及び回転
角）を算出する。

【００６３】そして、ＣＰＵ２５は、この車両の動きに
基づいて、履歴画像記憶メモリ２７から前回の演算タイ
ミングにおいて後方カメラ１３で撮影した画像から得ら
れた鳥瞰画像を読み出して回転・移動させ、その結果に
対して、今回の演算タイミングにおいて一時記憶メモリ
２３に記憶された最新の鳥瞰画像をオーバーレイして合
成画像を得た後、この合成画像を履歴画像記憶メモリ２
７に記憶する。なお、車両が後方へ移動することによ
り、履歴画像記憶メモリ２７から読み出されて回転・移
動をされた画像に最新の鳥瞰画像をオーバーレイするこ
とで、後方カメラ１３が現在撮影している範囲よりも広
い範囲の画像を形成することができ、後方カメラ１３で
は撮影することができない車両の側方の画像をも情報と
して提供可能になる。

【００６４】この状態を図で説明する。図３に示す様
に、カーブしている部分を車両がバックでゆっくりと後
退している状態であるとする。すると、従来の技術で
は、図４（Ａ），（Ｂ）の様に、車両の現在位置から後
方カメラ１３で撮影した範囲の鳥瞰画像だけしか表示さ
れない。これに対し、本実施の形態によれば、過去の鳥
瞰画像を車両の動きに合わせて回転・移動させたもの
に、演算時点での現在の鳥瞰画像をオーバーレイして合
成鳥瞰画像としたものをモニター３１に表示するので、
図３で示した様な走行をしている車両においては、ちょ
うどカーブの部分を通過しようとしているときは、図４
（Ｃ）の様に、後方カメラ１３の死角の部分についても
画像表示することができる。

【００６５】ＣＰＵ２５はまた、この合成画像を表示用
画像メモリ２９にも記憶する。すると、モニター３１
は、この表示用画像メモリ２９内に記憶されている合成
画像を読み出し、これを表示する。

【００６６】この結果、モニター３１には、現在後方カ
メラ１３で撮影している範囲に加えて、モニター３１に
表示し得る限り、過去の情報をも表示することができ
る。しかも、この過去の情報に関しては、車両の動きに
合わせて回転・移動が施されているので、モニター３１
には、まさに、上空から車両の付近を見た状態の画像
が、後方カメラ１３の死角の部分も含めて表示されるこ
とになる（図４（Ｃ）参照）。

【００６７】次に、履歴画像を回転・移動させる画像処
理のより具体的な内容について説明する。

【００６８】ＣＰＵ２５は、ハンドル角信号入力回路４
１から入力されるハンドル角センサ信号より、自車両の
回転半径を算出する。ハンドル角θｈと回転半径ＸＣ
（ｍ）は、変換係数Ｋを用いて（式１）より算出するこ
とができる。

【００６９】

【式１】ＸＣ（ｍ）＝Ｌ（ｍ）／ｔａｎ（Ｋ・θｈ）−
Ｗ（ｍ）／２ ただし、Ｌ（ｍ）はホイールベース、Ｗ（ｍ）は車幅。

【００７０】車両の回転角θＣとしては、ヨーレイト信
号入力回路４５を介して入力されるヨーレイトセンサ信
号を利用することができる。また、車両の回転中心は、
後輪車軸上（カメラからの距離ＹＣ（ｍ）上）にあると
することができる（図５参照）。

【００７１】次に、回転中心位置、回転角及び直線移動
量を用いて、履歴画像記憶メモリ２７内の後方画像記憶
領域に記憶されている後方鳥瞰画像を回転・移動させ
る。

【００７２】回転変換は、次式の様な基本的な数学式に
基づいて行われる。

【００７３】

【式２】ＸＡ＝ＸＢ・ｃｏｓθＣ＋ＹＢ・ｓｉｎθＣ ＹＡ＝ＹＢ・ｃｏｓθＣ−ＸＢ・ｓｉｎθＣ ただし、（ＸＡ，ＹＡ）：移動前の座標、（ＸＢ，Ｙ
Ｂ）：移動後の座標。

【００７４】この式２の関係から、得られる移動後の座
標に基づいて、履歴画像記憶メモリ２７内の後方画像記
憶領域に記憶されている後方鳥瞰画像を回転・移動させ
る。なお、車両が旋回していない場合には、下記の式３
によって移動後の座標を算出することができる。

【００７５】

【式３】ＸＡ＝ＸＢ ＹＡ＝ＹＢ＋Ｖ ただし、Ｖは直線移動量。

【００７６】この式３による変換を実行するのは、回転
半径ＸＣ＜３０、またはヨーレイトセンサ信号が０のと
きとしている。なお、直線移動量Ｖは、車速信号と演算
インターバルと、車両が前進なのか後進なのかといった
移動方向とから算出することができる。車両の移動方向
は、シフトレンジが前進なのか後進なのかを判別すれば
よい。なお、車速信号入力回路４３からの車速信号が極
低速（例えば、５ｋｍ／ｈ以下）である場合、通常使用
されている車速センサでは、その信頼性が劣るとされて
いる。そこで、本実施の形態では、直線移動量Ｖを、次
の様にして画像処理で算出している。

【００７７】前回の演算時刻Ｔにおける鳥瞰画像中で、
最も輝度が高い画素（最高輝度ピクセル）を抽出する。
一例として、図６に示す様に、最高輝度ピクセルが画像
の中央で抽出されたとする。なお、最高輝度ピクセル
は、ピクセル毎の輝度を算出して差分をとることによっ
て容易に抽出することができる。次に、今回の演算時刻
Ｔ＋１における鳥瞰画像からも最高輝度ピクセルを抽出
する。この時刻Ｔから時刻Ｔ＋１までの間に、車両が直
線的に移動することにより、図６に示す様に、画像中の
最高輝度ピクセルの画像の後端側エッジからの距離が変
化する。この距離の差△Ｙ＝直線移動量Ｖとなる。な
お、Ｖの符号は、この場合、（−）となる。また、最高
輝度ピクセルは、図７に示す様に、鳥瞰画像内を所定の
大きさのいくつかのエリアに分割し、各エリア毎に抽出
する様にしておき、これら複数個の最高輝度ピクセル同
士の時刻Ｔにおける位置関係と、時刻Ｔ＋１における位
置関係とを比較することによって直線移動量Ｖを算出す
る様にしておくと、算出結果に対する信頼性が高まる。
本実施の形態によれば、こうして直線移動量Ｖが画像デ
ータから算出できる結果、極低速における車速を容易に
算出することができる。

【００７８】また、この他の方法としては、図８に示す
様に、時刻Ｔにおける鳥瞰画像内の各ピクセルの明るさ
の程度を数値として抽出し、それぞれを各ピクセルの属
性としてＣＰＵ２５の内部メモリに記憶する。同様に、
時刻Ｔ＋１における鳥瞰画像内の各ピクセルの明るさの
程度を数値として抽出し、それぞれを各ピクセルの属性
としてＣＰＵ２５の内部メモリに記憶する。そして、明
るさの一致するピクセル同士の位置関係を算出すること
により、時刻Ｔから時刻Ｔ＋１までの間の車両の直線移
動量Ｖを算出することもできる。図示の例では、時刻Ｔ
における鳥瞰画像中の後端側エッジ部分の３列分のピク
セルの明るさと、時刻Ｔ＋１における鳥瞰画像中の後端
側エッジから距離△Ｙだけ離れた位置から３列分のピク
セルの明るさとが一致している。従って、この場合は、
距離△Ｙが直線移動量Ｖとして算出される。なお、Ｖの
符号は、この場合、（−）となる。

【００７９】後進中であることが分かっていれば、時刻
Ｔにおける鳥瞰画像中の後端側エッジ部分の所定の大き
さの画像領域内にあるピクセルの明るさや色彩といった
画像的な特徴情報を数値データとして抽出し、時刻Ｔ＋
１における鳥瞰画像について、その後端側エッジから直
線的に微小距離△ｙだけ離れた位置を後端として所定の
大きさの画像領域内にあるピクセルの明るさや色彩とい
った画像的な特徴情報を抽出し、両者の一致度を判定
し、両者が一致していなければ、時刻Ｔ＋１における鳥
瞰画像について、その後端側エッジから２△ｙだけ離れ
た位置を後端とする所定の大きさの画像領域内にあるピ
クセルから同様の画像的な特徴情報を抽出し、これを時
刻Ｔの鳥瞰画像から抽出した特徴情報との一致度を判定
し、両者の一致度が所定条件を満たすまで、以下、ｎを
３，４，・・・と変化させて同様の演算処理を実行し、
所定の一致度が得られたときのｎ△ｙを直線移動量Ｖと
するといった演算処理を実行することもできる。なお、
この場合は、時刻Ｔ＋２においては、時刻Ｔ＋１におい
て算出した直線移動量Ｖ＝ｎ△ｙとほぼ同じ量の移動に
なっているとの推定を行い、演算開始条件を選定する様
にして演算時間を短縮する様にしておくとなお望まし
い。

【００８０】次に、本実施の形態においてＣＰＵ２５が
実行するメインの制御処理について図９，図１０のフロ
ーチャートに基づいて説明する。なお、この制御処理で
は、鳥瞰変換回路１５，１７において実行するとして説
明してきた鳥瞰変換は、ＣＰＵ２５がソフトウェア的に
実行するものとしている。

【００８１】本処理においては、車速信号入力回路４３
から車速センサで検出した車速信号を入力し（Ｓ１
０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ
２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ１
０，Ｓ２０の処理が繰り返し実行される。一方、車速が
１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＲ
レンジか否かを判定する（Ｓ３０）。このシフトレンジ
がＲレンジか否かについては、シフトポジションスイッ
チからの入力信号を利用すれば容易に判定できる。

【００８２】シフトレンジがＲレンジであると判定され
た場合は（Ｓ３０：ＹＥＳ）、さらに、ＤレンジからＲ
レンジに切り替わった直後であるか否かを判定する（Ｓ
４０）。ＤレンジからＲレンジに切り替わった直後であ
れば（Ｓ４０：ＹＥＳ）、履歴画像記憶メモリ２７をリ
セットする（Ｓ５０）。また、シフトレンジがＲレンジ
ではないと判断された場合は（Ｓ３０：ＮＯ）、さら
に、ＲレンジからＤレンジに切り替わった直後であるか
否かを判定する（Ｓ４５）。ＲレンジからＤレンジに切
り替わった直後であれば（Ｓ４５：ＹＥＳ）、履歴画像
記憶メモリ２７をリセットする（Ｓ５５）。

【００８３】次に、後方カメラ１３を作動させ（Ｓ６
０）、この後方カメラ１３で撮影した画像を入力する
（Ｓ７０）。続いて、ハンドル角信号入力回路４１を介
して、ハンドル角センサの検出したハンドル角信号を入
力する（Ｓ８０）。また、ヨーレイト信号入力回路４５
を介して、ヨーレイトセンサの検出したヨーレイト信号
を入力する（Ｓ９０）。さらに、超音波センサ信号入力
回路４７を介して、超音波センサ信号を入力する（Ｓ１
００）。なお、この超音波センサ信号は、超音波を利用
したバックソナーを有する車両では、このバックソナー
による検出データを用いることができる。

【００８４】こうして必要な情報を入力し終えたら、次
に、Ｓ７０で入力した画像を、既に述べた様な変換方法
を用いて、鳥瞰画像に変換する（Ｓ１１０）。そして、
この結果を、一時記憶メモリ２３に記憶する（Ｓ１２
０）。

【００８５】そして、今回の処理が初回の処理か否かを
判定する（Ｓ１３０）。この判定は、フラグ等を用いる
ことによって容易に実現することができる。具体的に
は、車速が１０Ｋｍ／ｈ以下ではないときには初回判定
フラグを０にリセットしてＳ１０へ戻る用にしておき、
初回判定フラグが０のときは初回であると判定する様に
しておけばよい。そして、Ｓ１３０でＹＥＳと判定され
たときは、この初回判定フラグを１にセットし、以下、
車速が１０Ｋｍ／ｈ以下ではなくなるまでこの初回判定
フラグをリセットしない様にしておけばよい。

【００８６】初回の処理であると判定された場合は（Ｓ
１３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセット
し（Ｓ１４０）、一時記憶メモリ２３に記憶されている
鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ１５
０）。そして、再びＳ１０に戻る。

【００８７】一方、初回ではないと判定された場合は
（Ｓ１３０：ＮＯ）、ハンドル角が０°か否かを判定す
る（Ｓ１６０）。ハンドル角が０°ではないと判定され
た場合は（Ｓ１６０：ＹＥＳ）、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する（Ｓ１７０）。そして、この
算出結果に基づいて、履歴画像記憶メモリ２７に記憶さ
れている鳥瞰画像を回転移動させる（Ｓ１８０）。次
に、この回転移動の結果に、一時記憶メモリ２３に記憶
されている最新の鳥瞰画像を、この最新の鳥瞰画像が前
面となる様にオーバーレイして合成鳥瞰画像を作成する
（Ｓ１９０）。そして、この合成鳥瞰画像を履歴画像記
憶メモリ２７に上書きして記憶し直す（Ｓ２００）。

【００８８】次に、モニター３１による表示エリア内の
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、Ｓ１９０で作成した合成鳥瞰画像を
画像処理する（Ｓ２１０）。そして、この結果を表示用
画像記憶メモリ２９に転送する（Ｓ２２０）。最後に、
この表示用顔図記憶メモリ２９から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター３１に表示
する（Ｓ２３０）。なお、車両表示用画像は、本システ
ムが搭載された車両を上空から見た状態の鳥瞰画像とな
っており、予め、ＥＥＰＲＯＭなどに記憶してある。

【００８９】次に、ハンドル角が０°ではない場合の処
理について説明する。ハンドル角が０°でない場合には
（Ｓ１６０：ＮＯ）、超音波センサ信号から判明する障
害物までの距離（超音波センサ距離）が１．５ｍ以下か
否かを判定する（Ｓ２４０）。超音波センサ距離が１．
５ｍ以下であると判定された場合は（Ｓ２４０：ＹＥ
Ｓ）、超音波センサ距離の変化状態に基づいて相対速度
を算出する（Ｓ２５０）。一方、超音波センサ距離が
１．５ｍ以下ではないと判定された場合は（Ｓ２４０：
ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画
像と、一時記憶メモリ２３に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する（Ｓ２６０）。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する（Ｓ２７０）。そして、式３で示した
様に画像の平行移動を実行し（Ｓ２８０）、以下、この
平行移動の結果に、一時記憶メモリ２３に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する（Ｓ２９
０）。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター３１に合成鳥瞰画像を表
示する（Ｓ２００〜Ｓ２３０）。

【００９０】以上の様な処理を実行した結果として、モ
ニター３１には、図１１に示すような画像が表示され
る。図示の様に、モニター３１内には、画面の上端中心
を車両の先端とする様に、車両図形５０が表示される。
また、この車両図形５０の後方及び側方には、合成鳥瞰
画像６０が表示される。この合成鳥瞰画像は、さらに、
現在、後方カメラ１３で撮影している画像を鳥瞰変換し
た画像を表示しているリアル画像表示部６１と、このリ
アル画像表示部６１以外の過去画像表示部６３とになっ
ている。そして、過去画像表示部６３の部分について
は、例えば、グレーフィルターをかけた状態とし、リア
ル画像表示部６１には、フルカラー表示による鳥瞰画像
が表示されることになる。

【００９１】この結果、本実施の形態によれば、現在の
画像だけでなく、過去の画像を反映した鳥瞰画像が表示
され、これにより、ドライバーは、バックで車両を駐車
しようとするときの車両と障害物や駐車枠などとの位置
関係が非常に分かり易くなり、操作性が大幅に向上す
る。

【００９２】また、モニター３１には、現在、実際に後
方カメラ１３で撮影している画像と、過去の画像とが容
易に区別できる様に、過去画像についてはグレーフィル
ターがかかった状態で表示されている。従って、ドライ
バーは、モニター３１に表示された鳥瞰画像の内、他の
車両が侵入している様なおそれがある部分がどこの範囲
かを理解することができる。この結果、他の車両が侵入
しているか否かなどの状況変化の目視確認を怠らない様
に、ドライバーの注意を促すことができる。

【００９３】さらに、車庫入れ等においては、単純にバ
ックするだけでなく、切り返し操作の様に、前進と後進
とを繰り返す場合があるが、本実施の形態によれば、シ
フトレンジが切り替わったタイミングで、一旦、履歴画
像記憶メモリ２７をリセットするので、ドライバーがシ
フトレンジをＤレンジからＲレンジに切り替えたときに
は、それまでに前進していた時の画像履歴が残ってしま
うことがなく、誤った情報をドライバーに与えるといっ
た問題を解決することができる。同様に、切り返しで前
進し直す様な場合にも、ＲレンジからＤレンジに切り替
わったタイミングで、一旦、履歴画像記憶メモリ２７を
リセットするので、ドライバーがシフトレンジをＲレン
ジからＤレンジに切り替えたときには、それまでに後進
していた時の画像履歴が残ってしまうことがなく、こち
らも、誤った情報をドライバーに与えるといった問題を
解決することができる。

【００９４】例えば、この様な条件でメモリリセットを
実行しない場合には、図１２に楕円で囲んだ部分の様
に、後進時に、その前の切り返し操作における前進時の
画像が残ってしまって周辺状況を正しく把握できなくな
るおそれがある。これに対して、本実施の形態では、上
述の様な条件でメモリのリセットを実行するので、図１
３に示す様に、後進時には、前進時の画像が残ることが
なく、誤った情報をドライバーに伝達することがない。

【００９５】加えて、本実施の形態によれば、画像処理
又は超音波センサ信号に基づいて極低速で移動する車両
の速度を算出することができるので、低速域での精度が
十分でない車速センサを採用した車両であっても、信頼
性の高い車両周辺画像を提供することができる。

【００９６】次に、本実施の形態の周辺監視システム１
において、前進で駐車しようとする場合のオプションの
制御処理について説明する。このオプションの制御処理
は、モニター３１に供えさせておいたカメラ切換スイッ
チを操作するといった所定の条件が成立すると実行され
る様にしておくことができる。

【００９７】このオプションの制御処理は、図１４，図
１５のフローチャートに示す様に構成されており、バッ
クで駐車しようとしている場合と同様に、車速信号入力
回路４３から車速センサで検出した車速信号を入力し
（Ｓ４１０）、この値が１０ｋｍ／ｈ以下か否かを判定
する（Ｓ４２０）。車速が１０Ｋｍ／ｈ以下になるまで
は、Ｓ４１０，Ｓ４２０の処理が繰り返し実行される。
一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフ
トレンジがＤレンジか否かを判定する（Ｓ４３０）。

【００９８】シフトレンジがＤレンジであると判定され
た場合は（Ｓ４３０：ＹＥＳ）、さらに、Ｒレンジから
Ｄレンジに切り替わった直後であるか否かを判定する
（Ｓ４４０）。ＲレンジからＤレンジに切り替わった直
後であれば（Ｓ４４０：ＹＥＳ）、履歴画像記憶メモリ
２７をリセットする（Ｓ４５０）。また、シフトレンジ
がＤレンジではないと判断された場合は（Ｓ４３０：Ｎ
Ｏ）、さらに、ＤレンジからＲレンジに切り替わった直
後であるか否かを判定する（Ｓ４４５）。Ｄレンジから
Ｒレンジに切り替わった直後であれば（Ｓ４４５：ＹＥ
Ｓ）、履歴画像記憶メモリ２７をリセットする（Ｓ４５
５）。

【００９９】次に、前方カメラ１１を作動させ（Ｓ４６
０）、この前方カメラ１１で撮影した画像を入力する
（Ｓ４７０）。続いて、ハンドル角信号入力回路４１を
介して、ハンドル角センサの検出したハンドル角信号を
入力する（Ｓ４８０）。また、ヨーレイト信号入力回路
４５を介して、ヨーレイトセンサの検出したヨーレイト
信号を入力する（Ｓ４９０）。さらに、超音波センサ信
号入力回路４７を介して、超音波センサ信号を入力する
（Ｓ５００）。なお、この超音波センサ信号は、超音波
を利用した車間距離維持や衝突防止のための前方ソナー
を有する車両では、この前方ソナーによる検出データを
用いることができる。

【０１００】こうして必要な情報を入力し終えたら、次
に、Ｓ４７０で入力した画像を、既に述べた様な変換方
法を用いて、鳥瞰画像に変換する（Ｓ５１０）。そし
て、この結果を、一時記憶メモリ２１に記憶する（Ｓ５
２０）。

【０１０１】そして、今回の処理が初回の処理か否かを
判定する（Ｓ５３０）。初回の処理であると判定された
場合は（Ｓ５３０：ＹＥＳ）、履歴画像記憶メモリ２７
をリセットし（Ｓ５４０）、一時記憶メモリ２１に記憶
されている鳥瞰画像を履歴画像記憶メモリ２７に転送す
る（Ｓ５５０）。そして、再びＳ４１０に戻る。

【０１０２】一方、初回ではないと判定された場合は
（Ｓ５３０：ＮＯ）、ハンドル角が０°か否かを判定す
る（Ｓ５６０）。ハンドル角が０°ではないと判定され
た場合は（Ｓ５６０：ＹＥＳ）、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する（Ｓ５７０）。そして、この
算出結果に基づいて、履歴画像記憶メモリ２７に記憶さ
れている鳥瞰画像を回転移動させる（Ｓ５８０）。次
に、この回転移動の結果に、一時記憶メモリ２１に記憶
されている最新の鳥瞰画像を、この最新の鳥瞰画像が前
面となる様にオーバーレイして合成鳥瞰画像を作成する
（Ｓ５９０）。そして、この合成鳥瞰画像を履歴画像記
憶メモリ２７に上書きして記憶し直す（Ｓ６００）。

【０１０３】次に、モニター３１による表示エリア内の
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、Ｓ５９０で作成した合成鳥瞰画像を
画像処理する（Ｓ６１０）。そして、この結果を表示用
画像記憶メモリ２９に転送する（Ｓ６２０）。最後に、
この表示用顔図記憶メモリ２９から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター３１に表示
する（Ｓ６３０）。

【０１０４】一方、ハンドル角が０°でない場合には
（Ｓ５６０：ＮＯ）、超音波センサ距離が１．５ｍ以下
か否かを判定する（Ｓ６４０）。超音波センサ距離が
１．５ｍ以下であると判定された場合は（Ｓ６４０：Ｙ
ＥＳ）、超音波センサ距離の変化状態に基づいて相対速
度を算出する（Ｓ６５０）。一方、超音波センサ距離が
１．５ｍ以下ではないと判定された場合は（Ｓ６４０：
ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画
像と、一時記憶メモリ２１に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する（Ｓ６６０）。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する（Ｓ６７０）。そして、式３で示した
様に画像の平行移動を実行し（Ｓ６８０）、以下、この
平行移動の結果に、一時記憶メモリ２１に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する（Ｓ６９
０）。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター３１に合成鳥瞰画像を表
示する（Ｓ６００〜Ｓ６３０）。

【０１０５】以上の様な処理を実行した結果として、モ
ニター３１には、図１６に示すような画像が表示され
る。図示の様に、モニター３１内には、画面の下端中心
を車両の後端中心とする様に、車両図形５０が表示され
る。また、この車両図形５０の前方及び側方には、合成
鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、
さらに、現在、後方カメラ１３で撮影している画像を鳥
瞰変換した画像を表示しているリアル画像表示部６１
と、このリアル画像表示部６１以外の過去画像表示部６
３とになっている。そして、過去画像表示部６３の部分
については、例えば、グレーフィルターをかけた状態と
し、リアル画像表示部６１には、フルカラー表示による
鳥瞰画像が表示されることになる。

【０１０６】この結果、本実施の形態によれば、前進駐
車の際にも、バック駐車の場合と同様に、より多くの情
報をドライバーに提供することができ、車両を前進で駐
車しようとするときの車両と障害物や駐車枠などとの位
置関係が非常に分かり易くなり、操作性が大幅に向上す
る。

【０１０７】また、バック駐車の場合と同様に、実際に
前方カメラ１１で撮影している画像と、過去の画像とが
容易に区別でき、ドライバーは、モニター３１に表示さ
れた鳥瞰画像の内、他の車両が侵入している様なおそれ
がある部分がどこの範囲かを理解することができる。こ
の結果、他の車両が侵入しているか否かなどの状況変化
の目視確認を怠らない様に、ドライバーの注意を促すこ
とができる。

【０１０８】さらに、前進駐車においても、ドライバー
が切り返し操作した様な場合に、誤った情報をドライバ
ーに与えるといった問題を解決することができる。

【０１０９】加えて、低速域での精度が十分でない車速
センサを採用した車両であっても、信頼性の高い車両周
辺画像を提供することができる。

【０１１０】次に、第２の実施の形態について説明す
る。この第２の実施の形態の周辺監視システムは、上述
した実施の形態のものとハード構成は同じであって、以
下に説明する制御処理の内容に特徴を有するものであ
る。

【０１１１】この第２の実施の形態の制御処理は、図１
７，図１８のフローチャートに示す様に構成されてお
り、まず、車速信号入力回路４３から車速センサで検出
した車速信号を入力し（Ｓ７１０）、この値が１０ｋｍ
／ｈ以下か否かを判定する（Ｓ７２０）。車速が１０Ｋ
ｍ／ｈ以下になるまでは、Ｓ４１０，Ｓ４２０の処理が
繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下に
なると、続いて、シフトレンジがＲレンジか否かを判定
する（Ｓ７３０）。

【０１１２】シフトレンジがＲレンジであると判定され
た場合は（Ｓ７３０：ＹＥＳ）、さらに、Ｄレンジから
Ｒレンジに切り替わった直後であるか否かを判定する
（Ｓ７４０）。ＲレンジからＤレンジに切り替わった直
後であれば（Ｓ７４０：ＹＥＳ）、履歴画像記憶メモリ
２７をリセットすると共に（Ｓ７５０）、後方カメラ１
３を作動させる（Ｓ７６０）。また、シフトレンジがＲ
レンジではないと判断された場合は（Ｓ７３０：Ｎ
Ｏ）、さらに、ＲレンジからＤレンジに切り替わった直
後であるか否かを判定する（Ｓ７４５）。Ｒレンジから
Ｄレンジに切り替わった直後であれば（Ｓ７４５：ＹＥ
Ｓ）、履歴画像記憶メモリ２７をリセットすると共に
（Ｓ７５５）、前方カメラ１１を作動させる（Ｓ７６
５）。

【０１１３】次に、前方カメラ１１（又は後方カメラ１
３）で撮影した画像を入力する（Ｓ７７０）。続いて、
ハンドル角信号入力回路４１を介して、ハンドル角セン
サの検出したハンドル角信号を入力する（Ｓ７８０）。
また、ヨーレイト信号入力回路４５を介して、ヨーレイ
トセンサの検出したヨーレイト信号を入力する（Ｓ７９
０）。さらに、超音波センサ信号入力回路４７を介し
て、超音波センサ信号を入力する（Ｓ８００）。

【０１１４】こうして必要な情報を入力し終えたら、次
に、Ｓ７７０で入力した画像を、既に述べた様な変換方
法を用いて、鳥瞰画像に変換する（Ｓ８１０）。そし
て、この結果を、一時記憶メモリ２１（又は一時記憶メ
モリ２３）に記憶する（Ｓ８２０）。

【０１１５】そして、今回の処理が初回の処理か否かを
判定する（Ｓ８３０）。初回の処理であると判定された
場合は（Ｓ８３０：ＹＥＳ）、履歴画像記憶メモリ２７
をリセットし（Ｓ８４０）、一時記憶メモリ２１（又は
一時記憶メモリ２３）に記憶されている鳥瞰画像を履歴
画像記憶メモリ２７に転送する（Ｓ８５０）。そして、
再びＳ７１０に戻る。

【０１１６】一方、初回ではないと判定された場合は
（Ｓ８３０：ＮＯ）、ハンドル角が０°か否かを判定す
る（Ｓ８６０）。ハンドル角が０°ではないと判定され
た場合は（Ｓ８６０：ＹＥＳ）、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する（Ｓ８７０）。そして、この
算出結果に基づいて、履歴画像記憶メモリ２７に記憶さ
れている鳥瞰画像を回転移動させる（Ｓ８８０）。次
に、この回転移動の結果に、一時記憶メモリ２１（又は
一時記憶メモリ２３）に記憶されている最新の鳥瞰画像
を、この最新の鳥瞰画像が前面となる様にオーバーレイ
して合成鳥瞰画像を作成する（Ｓ８９０）。そして、こ
の合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして
記憶し直す（Ｓ９００）。

【０１１７】次に、モニター３１による表示エリア内の
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、Ｓ８９０で作成した合成鳥瞰画像を
画像処理する（Ｓ９１０）。そして、この結果を表示用
画像記憶メモリ２９に転送する（Ｓ９２０）。最後に、
この表示用顔図記憶メモリ２９から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター３１に表示
する（Ｓ９３０）。

【０１１８】一方、ハンドル角が０°でない場合には
（Ｓ８６０：ＮＯ）、超音波センサ距離が１．５ｍ以下
か否かを判定する（Ｓ９４０）。超音波センサ距離が
１．５ｍ以下であると判定された場合は（Ｓ９４０：Ｙ
ＥＳ）、超音波センサ距離の変化状態に基づいて相対速
度を算出する（Ｓ９５０）。一方、超音波センサ距離が
１．５ｍ以下ではないと判定された場合は（Ｓ９４０：
ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画
像と、一時記憶メモリ２１に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する（Ｓ９６０）。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する（Ｓ９７０）。そして、式３で示した
様に画像の平行移動を実行し（Ｓ９８０）、以下、この
平行移動の結果に、一時記憶メモリ２１に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する（Ｓ９９
０）。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター３１に合成鳥瞰画像を表
示する（Ｓ９００〜Ｓ９３０）。

【０１１９】以上の様な処理を実行した結果、モニター
３１には、シフトレンジがＲレンジのときには図１９
（Ａ）に示すような画像が表示される。図示の様に、Ｒ
レンジとときは、モニター３１内には、画面の上端中心
を車両の前端中心とする様に、車両図形５０が表示され
る。また、この車両図形５０の後方及び側方には、合成
鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、
さらに、現在、後方カメラ１３で撮影している画像を鳥
瞰変換した画像を表示しているリアル画像表示部６１
と、このリアル画像表示部６１以外の過去画像表示部６
３とになっている。そして、過去画像表示部６３の部分
については、例えば、グレーフィルターをかけた状態と
し、リアル画像表示部６１には、フルカラー表示による
鳥瞰画像が表示されることになる。一方、シフトレンジ
がＤレンジのときは、図１９（Ｂ）に示す様に、モニタ
ー３１内には、画面の下端中心を車両の後端中心とする
様に、車両図形５０が表示される。また、この車両図形
５０の前方及び側方には、合成鳥瞰画像６０が表示され
る。この合成鳥瞰画像６０は、さらに、現在、前方カメ
ラ１１で撮影している画像を鳥瞰変換した画像を表示し
ているリアル画像表示部６１と、このリアル画像表示部
６１以外の過去画像表示部６３とになっている。そし
て、過去画像表示部６３の部分については、例えば、グ
レーフィルターをかけた状態とし、リアル画像表示部６
１には、フルカラー表示による鳥瞰画像が表示されるこ
とになる。

【０１２０】この結果、本実施の形態によれば、駐車の
際に、切り返し操作を行って後進から前進に切り替える
と、モニター３１には前方カメラ１１により撮影された
画像に基づいて作成された合成鳥瞰画像が自車両との位
置関係が分かる様に表示される。また、後進の場合は、
後方カメラ１３によって撮影された画像から生成された
合成鳥瞰画像がモニター３１に表示される。従って、切
り返し操作を繰り返しながら駐車しようとする場合に、
ドライバーは、モニター３１によって進行方向を中心と
した車両の周辺の状況を確認することができる。しか
も、このモニター３１には、前進時には前進中の過去の
履歴を含めた合成鳥瞰画像が表示され、更新時には後進
中の過去の履歴を含めた合成鳥瞰画像が表示されるの
で、ドライバーは、切り返し操作の、特に最終局面で
は、モニター３１を見ながら思った位置に正確に車両を
駐車することができるという効果が発揮される。

【０１２１】また、第１の実施の形態のメインの制御処
理及びオプションの制御処理の場合と同様に、実際に前
方カメラ１１又は後方カメラ１３で撮影している現在の
画像と、過去の画像とが容易に区別でき、ドライバー
は、モニター３１に表示された鳥瞰画像の内、他の車両
が侵入している様なおそれがある部分がどこの範囲かを
理解することができる。この結果、他の車両が侵入して
いるか否かなどの状況変化の目視確認を怠らない様に、
ドライバーの注意を促すことができる。

【０１２２】以上、本発明の実施の形態について説明し
たが、本発明はこの実施の形態に限られるものではな
く、その要旨を逸脱しない範囲内においてさらに種々の
形態を採用することができることはもちろんである。

【０１２３】例えば、図２０に示す様に、単純に境界線
８１を重ね書きして表示する様にしてもよい。また、図
２１に点線で示した様に、過去画像表示部については、
画像の階調を落とす様にしてもよい。さらに、図２２に
示す様に、過去画像表示部には、注意マーク８３やコメ
ント８５を重ね書きする様にしてもよい。これらの変形
は、前方カメラ１１により撮影した画像についてもいえ
ることである。なお、フィルター処理、境界線表示、階
調処理、注意マークの重ね書きは、これらを組み合わせ
る様にしてもよいし、さらに、モニター３１に過去画像
が表示されているときには、音声で、「側方について
は、目視確認をお願いします。」といったメッセージを
一定間隔で流す様にしてもよい。

【０１２４】また、図２３に示す様に、境界線などを表
示することなく、単純に合成鳥瞰画像をモニター表示す
る様にしたものも、本発明の第１の目的を達成したもの
であり、かかる簡単な構成とすることもできる。

【図面の簡単な説明】

【図１】 実施の形態としての車両周辺監視システムの
構成を示すブロック図である。

【図２】 実施の形態としての車両周辺監視システムの
カメラ等の配置例を示すブロック図である。

【図３】 実施の形態におけるモニター表示内容を説明
するための前提条件を示す説明図である。

【図４】 図３に示した様な走行状態のときに、実施の
形態においてモニター表示する内容を、従来技術による
場合と比較して示した説明図である。

【図５】 実施の形態において鳥瞰画像の回転移動を行
う場合の回転中心などの決定の仕方を示す説明図であ
る。

【図６】 実施の形態において鳥瞰画像から車両の移動
量を算出する方法を示す説明図である。

【図７】 実施の形態において鳥瞰画像から車両の移動
量を算出する他の方法を示す説明図である。

【図８】 実施の形態において鳥瞰画像から車両の移動
量を算出するさらに他の方法を示す説明図である。

【図９】 実施の形態においてソフトウェア的に実行す
るメインの制御処理の内容を示すフローチャートであ
る。

【図１０】 実施の形態においてソフトウェア的に実行
するメインの制御処理の内容を示すフローチャートであ
る。

【図１１】 実施の形態におけるモニター表示状況を示
す説明図である。

【図１２】 実施の形態で解決しようとしている新たな
問題を示す説明図である。

【図１３】 実施の形態において、図１２に示した新た
な問題を解決した状態においてモニターに表示される鳥
瞰画像の様子を示す説明図である。

【図１４】 実施の形態においてソフトウェア的に実行
するオプションの制御処理の内容を示すフローチャート
である。

【図１５】 実施の形態においてソフトウェア的に実行
するオプションの制御処理の内容を示すフローチャート
である。

【図１６】 実施の形態におけるモニター表示状況を示
す説明図である。

【図１７】 第２の実施の形態においてソフトウェア的
に実行するオプションの制御処理の内容を示すフローチ
ャートである。

【図１８】 第２の実施の形態においてソフトウェア的
に実行するオプションの制御処理の内容を示すフローチ
ャートである。

【図１９】 第２の実施の形態におけるモニター表示状
況を示す説明図である。

【図２０】 本発明の目的を達成する上で実施可能なそ
の他の例でのモニター表示の内容を示す説明図である。

【図２１】 本発明の目的を達成する上で実施可能なそ
の他の例でのモニター表示の内容を示す説明図である。

【図２２】 本発明の目的を達成する上で実施可能なそ
の他の例でのモニター表示の内容を示す説明図である。

【図２３】 本発明の目的を達成する上で実施可能なそ
の他の例でのモニター表示の内容を示す説明図である。

【符号の説明】

１・・・車両周辺監視システム １１・・・前方カメラ １３・・・後方カメラ １５・・・鳥瞰変換回路 １７・・・鳥瞰変換回路 ２１・・・一時記憶メモリ ２３・・・一時記憶メモリ ２５・・・ＣＰＵ ２７・・・履歴画像記憶メモリ ２９・・・表示用画像メモリ ３１・・・モニター ４１・・・ハンドル角信号入力回路 ４３・・・車速信号入力回路 ４５・・・ヨーレイト信号入力回路 ４７・・・超音波センサ信号入力回路 ４９・・・シフトポジション信号入力回路 ５０・・・車両図形 ６０・・・合成鳥瞰画像 ６１・・・リアル画像表示部 ６３・・・過去画像表示部 ８１・・・境界線 ８３・・・注意マーク ８５・・・コメント

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２４ Ｂ６０Ｒ 21/00 ６２４Ｃ ６２４Ｅ ６２６ ６２６Ｇ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｂ 3/00 １００ 3/00 １００ ３００ ３００ 3/20 3/20 3/60 3/60 Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ (72)発明者 今西 勝之 愛知県西尾市下羽角岩谷14番地 株式会社 日本自動車部品総合研究所内 (72)発明者 竹市 真和 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 (72)発明者 佐藤 善久 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 5B057 AA16 CA19 CD02 CD03 CD11 CE08 CH01 CH11 5C054 AA01 CH02 FC11 FD03 FE12 GA01 GA04 GB11 HA30 5H180 AA01 CC04 CC11 FF33 LL02 LL15 LL17

Claims (15)

【特許請求の範囲】
1. 【請求項１】 車両の後部に設置された撮影手段と、 該撮影手段が撮影した車両後方画像を、鳥瞰画像に変換
   する鳥瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を表示する
   表示手段とを備える車両周辺監視システムにおいて、 前記鳥瞰変換手段によって変換された鳥瞰画像を記憶す
   る鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
   づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
   鳥瞰画像を回転移動又は平行移動する画像回転・移動手
   段と、 該画像回転・移動手段によって回転・移動された過去の
   鳥瞰画像と、前記撮影手段によって撮影されている現在
   の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換し
   た現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成す
   る合成鳥瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
   両の位置との関係が分かる様に車両図形とともに前記表
   示手段に表示する表示制御手段とを備えていることを特
   徴とする車両周辺監視システム。
2. 【請求項２】 車両の前部に設置された撮影手段と、 該撮影手段が撮影した車両前方画像を、鳥瞰画像に変換
   する鳥瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を表示する
   表示手段と、 前記鳥瞰変換手段によって変換された鳥瞰画像を記憶す
   る鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
   づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
   鳥瞰画像を回転・移動する画像回転・移動手段と、 該画像回転・移動手段によって回転・移動された過去の
   鳥瞰画像と、前記撮影手段によって撮影されている現在
   の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換し
   た現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成す
   る合成鳥瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
   両の位置との関係が分かる様に車両図形とともに前記表
   示手段に表示する表示制御手段とを備えていることを特
   徴とする車両周辺監視システム。
3. 【請求項３】 車両の前部に設置された前方撮影手段
   と、 車両の後部に設置された後方撮影手段と、 前記前方撮影手段又は後方撮影手段が撮影した画像を表
   示する表示手段と、 シフトレンジを検出するシフトレンジ検出手段と、 該シフトレンジ検出手段がシフトレンジが後進レンジで
   あることを検出したときは、前記撮影手段として前記後
   方撮影手段を使用し、前進レンジであることを検出した
   ときは、前記前方撮影手段を使用する様に、撮影方向を
   切り替える撮影方向切替手段とを備えていることを特徴
   とする車両周辺監視システム。
4. 【請求項４】 請求項３記載の車両周辺監視システムに
   おいて、 前記撮影手段が撮影した画像を、鳥瞰画像に変換する鳥
   瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を記憶する
   鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
   づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
   鳥瞰画像を回転移動又は平行移動する画像回転・移動手
   段と、 該画像回転・移動手段によって回転・移動された過去の
   鳥瞰画像と、前記撮影手段によって撮影されている現在
   の画像を前記鳥瞰変換手段によって鳥瞰変換した現在の
   鳥瞰画像と、を合成して合成鳥瞰画像を生成する合成鳥
   瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
   両の位置との関係が分かる様に前記表示手段に表示する
   表示制御手段と、 を備えていることを特徴とする車両周辺監視システム。
5. 【請求項５】 請求項１〜請求項４のいずれか記載の車
   両周辺監視システムにおいて、 前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像
   を、前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像
   に基づいて更新する過去画像更新手段を備えていること
   を特徴とする周辺監視システム。
6. 【請求項６】 請求項１〜請求項５のいずれか記載の車
   両周辺監視システムにおいて、 前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対
   して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像
   に対応する部分とを区別するための画像処理を施す画像
   処理手段を備え、 前記表示制御手段は、該画像処理手段によって画像処理
   された後の合成鳥瞰画像を前記表示手段に表示する様に
   構成されていることを特徴とする周辺監視システム。
7. 【請求項７】 請求項１〜請求項６のいずれか記載の車
   両周辺監視システムにおいて、 前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰
   画像を表示している部分に、ドライバーの注意を促すた
   めの所定の情報を表示させるための注意情報表示手段を
   備えていることを特徴とする周辺監視システム。
8. 【請求項８】 請求項１〜請求項７のいずれか記載の車
   両周辺監視システムにおいて、 前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰
   画像を表示している部分は、目視確認が必要であること
   をドライバーに通知する通知手段を備えていることを特
   徴とする周辺監視システム。
9. 【請求項９】 請求項１〜請求項８のいずれか記載の車
   両周辺監視システムにおいて、 車両のシフトレンジの切り替わりを検出するシフトレン
   ジ切り替わり検出手段と、 該シフトレンジ切り替わり検出手段によってシフトレン
   ジが切り替わったことが検出されたときは、前記鳥瞰画
   像記憶手段に記憶されている過去の鳥瞰画像を消去する
   過去画像消去手段とを備えていることを特徴とする周辺
   監視システム。
10. 【請求項１０】 請求項１〜請求項９のいずれか記載の
    車両周辺監視システムにおいて、 前記車両移動状態取得手段は、ハンドル角とヨーレイト
    から旋回時の車両の回転移動量を算出する回転移動量算
    出手段を備えていることを特徴とする車両周辺監視シス
    テム。
11. 【請求項１１】 請求項１〜請求項１０のいずれか記載
    の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、車速又は車速を算出し得
    る所定の情報から旋回を伴わない場合の車両の直線移動
    量を算出する直線移動量算出手段を備えていることを特
    徴とする車両周辺監視システム。
12. 【請求項１２】 請求項１〜請求項１１のいずれか記載
    の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、過去の鳥瞰画像と現在の
    鳥瞰画像とを比較することによって車両の直線移動量を
    算出する直線移動量算出手段を備えていることを特徴と
    する車両周辺監視システム。
13. 【請求項１３】 請求項１〜請求項１２のいずれか記載
    の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、ソナーによって検出され
    る何らかの目標物と車両との距離の変化に基づいて車両
    の直線移動量を算出する直線移動量算出手段を備えてい
    ることを特徴とする車両周辺監視システム。
14. 【請求項１４】 車両に設置された撮影手段と、 該撮影手段が撮影した画像を、鳥瞰画像に変換する鳥瞰
    変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を記憶する
    鳥瞰画像記憶手段と、該鳥瞰画像記憶手段に記憶されて
    いる過去の鳥瞰画像と、前記撮影手段によって撮影され
    ている現在の車両後方画像を前記鳥瞰変換手段によって
    鳥瞰変換した現在の鳥瞰画像とを比較することにより、
    車両の移動量又は移動速度を算出する算出手段とを備え
    ている車両移動状態検出装置。
15. 【請求項１５】 車両に設置され、進行方向の物体を検
    出するソナーと、 該ソナーが検出した所定の目標物と車両との距離の変化
    に基づいて、車両の移動量又は移動速度を算出する算出
    手段とを備えている車両移動状態検出装置。