JP2003191810A - 車両周辺監視システム及び車両移動状態検出装置 - Google Patents
車両周辺監視システム及び車両移動状態検出装置Info
- Publication number
- JP2003191810A JP2003191810A JP2001394419A JP2001394419A JP2003191810A JP 2003191810 A JP2003191810 A JP 2003191810A JP 2001394419 A JP2001394419 A JP 2001394419A JP 2001394419 A JP2001394419 A JP 2001394419A JP 2003191810 A JP2003191810 A JP 2003191810A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- image
- vehicle
- eye
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 72
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 315
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 315
- 238000012545 processing Methods 0.000 claims description 62
- 238000006243 chemical reaction Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000015654 memory Effects 0.000 abstract description 87
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 27
- 239000002131 composite material Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000012790 confirmation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
もモニター表示できる様にする。 【解決手段】 後方カメラ13で撮影した画像を上空から
見た平面画像に変換して得られた鳥瞰画像を一時記憶メ
モリ23に記憶する。CPU25は、ハンドル角信号、車速
信号、ヨーレイト信号、超音波センサ信号に基づいて、
車両の動き(車両の回転中心位置及び回転角など)を算
出し、この車両の動きに基づいて、履歴画像記憶メモリ
27から前回の演算タイミングにおいて得られた鳥瞰画像
を読み出して回転・移動させ、その結果に対して、今回
の演算タイミングにおいて得られた最新の鳥瞰画像をオ
ーバーレイして合成鳥瞰画像を作成し、これを履歴画像
記憶メモリ27及び表示用画像メモリ29に記憶する。モニ
ター31は、この表示用画像メモリ29から読み出した過去
の履歴を含む合成鳥瞰画像を表示する。
Description
テムに係り、特に、車両を所望の位置に移動させようと
するときの利便性や安全性を向上するための車両周辺監
視システムと、このシステムを実現するために有効な車
両移動状態検出装置に関するものである。
し、ダッシュボードに備え付けたモニターに後方カメラ
により撮影した画像をそのままリアルタイムに表示する
ことで、バックで駐車しようとするときの利便性を向上
する様にした後方監視システムが知られている。
記載の後方監視システムでは、後方カメラで撮影した車
両の後方の画像を、上空から見た平面図(鳥瞰画像)に
変換し、これをモニターに表示すると共に、このモニタ
ーに自車両を表示する様にしている。
載の後方監視システムによれば、自車両と後方の状態と
を鳥瞰画像でモニター表示するので、自車両と駐車枠と
の位置関係が分かり易くなるという効果が発揮される。
術では、後方カメラの視野外の状況は表示できないの
で、依然として、バックで駐車枠に入れようとするとき
の利便性の向上は十分でない。
メラの視野外の状況をもモニター表示できる様にするこ
とを第1の目的とする。
は、車庫入れ等のバックの場合だけを重視して開発さ
れ、実用化されてきているが、最近の車両においては、
前方視野を向上させるために、ボンネットの先端が低く
なったスタイルのものが多くなっている。このため、狭
い場所を前進してすり抜けようとしたり、あるいは車両
を駐車場に前進で駐車しようとするときに、特に、右ハ
ンドルの車両では、左前方の状況が十分に把握できず、
駐車場の壁面、隣の車両、あるいは電柱の様な道路上の
構造物等に接触して車両を傷つけてしまいそうになった
り、実際に傷つけてしまうといったことを経験すること
がある。
について正しい情報をユーザーに提供できる様にするこ
とを第2の目的とする。
を伴うことがある。その様な場合、従来の監視システム
では、後進しているときはバックモニターを見て後方の
障害物や駐車枠の位置を確認できるが、切り返しのため
に前進するときは、モニターから目を離し、フロントガ
ラスを通して前方を見るといったことを繰り返すことに
なる。特に、前方に障害物がある様な場合、前述した様
に、右ハンドル車の左前コーナー部は視界が悪いため、
切り返し操作がやり難い場合があるといった問題が生じ
る。
前方についても周辺状況をユーザーに提供できる様にす
ることを第3の目的とすると共に、さらに、前方、後方
共に、自車両と周辺状況との位置的関係を死角を極力少
なくして正しい情報をユーザーに提供できる様にするこ
とを第4の目的とする。
の目的を達成しようとしてなされた請求項1の車両周辺
監視システムは、撮影手段が撮影した車両後方画像を、
鳥瞰変換手段で鳥瞰画像に変換し、この鳥瞰画像を鳥瞰
画像記憶手段に記憶する。また、車両移動状態取得手段
が取得した車両の移動状態に基づいて、画像回転・移動
手段が、鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰
画像を回転移動又は平行移動する。ここで、車両が旋回
している場合は回転移動を実行し、車両が直線移動をし
ている場合は平行移動を実行する。そして、合成鳥瞰画
像生成手段が、こうして回転・移動された過去の鳥瞰画
像と、撮影手段によって撮影されている現在の車両後方
画像を鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画
像とを合成して合成鳥瞰画像を生成する。ここでは、例
えば、現在の鳥瞰画像が前面となる様に、過去の鳥瞰画
像の上にオーバーレイする様にしておくとよい。最後
に、表示制御手段が、この合成鳥瞰画像を、車両の位置
との関係が分かる様に表示手段に表示する。車両の位置
との関係が分かる様に表示する方法としては、例えば、
表示手段の所定位置に車両の平面図に想到する画像を最
前面となる様に表示し、この車両の後端側に基準線を設
定し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線か
ら後方へ向かって表示される様に合成鳥瞰画像の表示位
置を決定する様にすればよい。
ムによれば、表示手段には、現在の鳥瞰画像だけでな
く、過去の鳥瞰画像が車両との位置関係が分かる様に表
示されるので、撮影手段の視野外の状況をもモニター表
示することができ、ドライバーに対して、車両と周辺の
状況とをより的確に判断させることができる。従って、
請求項1の車両周辺監視システムによれば、バックで駐
車する様な場合における利便性・操作性が向上するとい
う効果が発揮される。
た請求項2の車両周辺監視システムは、車両の前部に撮
影手段を設置したものである。そして、この撮影手段が
撮影した車両前方画像を、鳥瞰変換手段が鳥瞰画像に変
換する。この鳥瞰画像は、鳥瞰画像記憶手段に記憶され
る。また、車両移動状態取得手段が、車両の移動状態を
取得する。そして、この車両移動状態取得手段が取得し
た車両の移動状態に基づいて、画像回転・移動手段が、
鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回
転移動又は平行移動する。ここで、車両が旋回している
場合は回転移動を実行し、車両が直線移動をしている場
合は平行移動を実行する。そして、合成鳥瞰画像生成手
段が、こうして回転・移動された過去の鳥瞰画像と、撮
影手段によって撮影されている現在の車両後方画像を鳥
瞰変換手段によって鳥瞰変換した現在の鳥瞰画像とを合
成して合成鳥瞰画像を生成する。ここでは、例えば、現
在の鳥瞰画像が前面となる様に、過去の鳥瞰画像の上に
オーバーレイする様にしておくとよい。最後に、表示制
御手段が、この合成鳥瞰画像を、車両の位置との関係が
分かる様に表示手段に表示する。車両の位置との関係が
分かる様に表示する方法としては、例えば、表示手段の
所定位置に車両の平面図に想到する画像を最前面となる
様に表示し、この車両の前端側に所定の基準線を設定
し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線から
前方へ向かって表示される様に合成鳥瞰画像の表示位置
を決定する様にすればよい。
ムによれば、車両の前方の状況を車両の前端角部の周辺
についてもモニター表示することが可能になる。よっ
て、例えば、狭い場所を前進してすり抜けようとした
り、あるいは車両を駐車場に前進で駐車しようとすると
きに、特に、右ハンドルの車両で死角となり易い左前方
の状況が十分に把握でき、駐車場の壁面、隣の車両、あ
るいは電柱の様な道路上の構造物等に接触してしまうの
を有効に防止することができる。
た請求項3の車両周辺監視システムは、車両の前部及び
後部にそれぞれ撮影手段を備えたものである。そして、
シフトレンジ検出手段によって、シフトレンジが後進レ
ンジであることを検出したときは後方撮影手段を使用
し、前進レンジであることを検出したときは前方撮影手
段を使用する。従って、切り返し操作を行いながら駐車
しようといったときには、Rレンジにシフトチェンジす
ると表示手段には後方撮影手段からの画像が、Dレンジ
にシフトチェンジすると表示手段には前方撮影手段から
の画像が表示され、視線を大きく変更しなくても、特
に、駐車の際の最終的な駐車位置調整をスムーズに実行
することが可能になるといった効果が発揮される。
た請求項4の車両周辺監視システムは、請求項3の車両
周辺監視システムによる作用に加えて、以下の様な作用
が発揮される。後方撮影手段が撮影した後方画像は、鳥
瞰変換手段によって鳥瞰画像に変換され、さらに、この
鳥瞰変換した後方画像は、鳥瞰画像記憶手段に記憶され
る。そして、車両移動状態取得手段によって取得した車
両の移動状態に基づいて、鳥瞰画像記憶手段に記憶して
おいた過去の鳥瞰画像を回転移動又は平行移動する。そ
して、合成鳥瞰画像生成手段が、この回転・移動された
過去の鳥瞰画像と、現在の鳥瞰画像とを合成して合成鳥
瞰画像を生成する。この合成鳥瞰画像が表示手段に表示
されることになる。また、シフトレンジが切り替わる
と、今度は、前方撮影手段による撮影に切り替わり、前
方撮影手段によって撮影した画像に基づき、上述と同様
の処理が実行される。
ステムによれば、切り返しで前進するときは、表示手段
には前方の様子が、前進し始めからの履歴を反映した形
で表示手段に表示される。従って、前方の障害物等と自
車両との位置関係を的確に判断しながら車両を前進させ
ることができる。この際、車両の左前コーナー部の様
に、右ハンドル車では見えにくい領域の状況も正しく伝
達することができる。同様に、切り返しで後進するとき
は、表示手段には後方の様子が、後進し始めからの履歴
を反映した形で表示手段に表示される。従って、後方の
障害物等と自車両との位置関係を的確に判断しながら車
両を後進させることができる。そして、この様に、表示
手段に的確な周辺状況を表示できる結果として、切り返
し操作の最終局面では、一々、視線を表示手段からフロ
ントガラスへと移動させなくても、ハンドル操作するこ
とが可能となり、操作性が大幅に向上するという効果が
発揮される。
ステムは、請求項1〜請求項4のいずれか記載の車両周
辺監視システムにおいて、前記鳥瞰画像記憶手段に記憶
されている過去の鳥瞰画像を、前記合成鳥瞰画像生成手
段が生成した合成鳥瞰画像に基づいて更新する過去画像
更新手段を備えていることを特徴とする。
れば、過去画像更新手段を備えている結果、鳥瞰画像記
憶手段には、過去画像が更新されつつ蓄積されていき、
車両が後進又は前進を開始した後、徐々に車両の周辺状
況をより広範囲に表示可能となり、車両の後方又は前方
だけでなく、車両の側方の周辺状況をもドライバーに伝
達することができる。また、過去画像を更新すること
で、画像回転・移動手段による回転・移動後の過去の鳥
瞰画像は、現在の鳥瞰画像と正しくつなぎ合わせること
ができる。
するにことができた場合に、さらに、以下の問題が存在
する。
ために過去の画像を用いるため、ユーザーに現時刻の車
両の周辺の状況を完全に提供できているわけではないと
いう問題がある。
入れ等を行っていると、過去の画像を表示している領域
に他の車両が侵入してきても当該他の車両の画像は表示
されないため、不用意にハンドル操作をすると、接触事
故を引き起こす危険がある。従って、本出願人等は、こ
れまでに開発をしたシステムを実用化する上では、当然
ながら、モニターにだけ頼って運転をしない様に、特
に、車両の側方領域については必ず目視による確認をす
る必要がある点を操作マニュアル等に明記し、ユーザー
の注意を喚起することを予定している。しかし、ユーザ
ーが、慣れによって、目視確認をしないままで車両の切
り返し操作等をすることが全くないとはいえない。
アルの指示に従った運転を忠実に実行しない様なときに
も、特に、移動物体との間での接触事故を防止すること
を第5の目的とする。
た請求項6の車両周辺監視システムは、請求項1〜請求
項5のいずれか記載の車両周辺監視システムにおいて、
前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対
して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像
に対応する部分とを区別するための画像処理を施す画像
処理手段を備え、前記表示制御手段は、該画像処理手段
によって画像処理された後の合成鳥瞰画像を前記表示手
段に表示する様に構成されていることを特徴とする。
れば、画像処理手段が、合成鳥瞰画像生成手段が生成し
た合成鳥瞰画像に対して、過去の鳥瞰画像に対応する部
分と現在の鳥瞰画像に対応する部分とを区別するための
画像処理を施す。画像処理の例をあげると、例えば、過
去の鳥瞰画像のみが表示される部分にはフィルター処理
によって現在の鳥瞰画像と色彩的に区別が付くようにす
ることができる。また、過去の鳥瞰画像と現在の鳥瞰画
像との境界線を明示する様にすることもできる。さら
に、過去の鳥瞰画像のみが表示される部分は階調を落と
すなどの画像処理を施すことによって、階調の差で現在
の鳥瞰画像と視覚的に区別が付くようにすることもでき
る。その他、過去の鳥瞰画像と現在の鳥瞰画像とが区別
できる様な状態とするための種々の画像処理技術を適用
することができる。
なされた請求項7の車両周辺監視システムは、請求項1
〜請求項6のいずれか記載の車両周辺監視システムにお
いて、前記表示手段に表示される合成鳥瞰画像中の過去
の鳥瞰画像を表示している部分に、ドライバーの注意を
促すための所定の情報を表示させるための注意情報表示
手段を備えていることを特徴とする。
れば、注意情報表示手段が、表示手段に表示される合成
鳥瞰画像中の過去の鳥瞰画像を表示している部分に、ド
ライバーの注意を促すための所定の情報、例えば、コー
ションマークや、アニメーション化によって人物や車両
が過去の鳥瞰画像の表示領域に出入りする様な動画表示
や、ドライバーの黙視確認を促すようなメッセージを表
示する。この結果、ドライバーは、モニター内のどの部
分については、最終的には目視確認が必要であるという
ことを容易に判断することができ、安全性を向上するこ
とができる。なお、視覚的に注意を促すだけでなく、音
声によって注意を促す様にすることもできる。従って、
第5の目的を達成するための手段として、請求項8の車
両周辺監視システムの様に、請求項1〜請求項7のいず
れか記載の車両周辺監視システムにおいて、前記表示手
段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示
している部分は、目視確認が必要であることをドライバ
ーに通知する通知手段を備えておく様にすることもでき
る。
は、単純にバックするだけでなく、切り返し操作の様
に、前進と後進とを繰り返す場合がある。例えば、ユー
ザーがシフトレンジをRレンジに切り替えたときに、そ
れまでに前進していた時の画像履歴が残ってしまうと、
この前進時の画像履歴をカメラの視野外の領域の画像と
して合成してしまうことになり、正しい合成画像が得ら
れなくなるという問題もある。逆に、Rレンジから前進
用シフトレンジに切り替えたときにも同様の問題が生じ
る。
も後進させるときも、常に、車両の周辺状況を正しく反
映した合成画像を表示できる様にすることを第6の目的
とする。
た請求項9の車両周辺監視システムは、請求項1〜請求
項8のいずれか記載の車両周辺監視システムにおいて、
車両のシフトレンジの切り替わりを検出するシフトレン
ジ切り替わり検出手段と、該シフトレンジ切り替わり検
出手段によってシフトレンジが切り替わったことが検出
されたときは、前記鳥瞰画像記憶手段に記憶されている
過去の鳥瞰画像を消去する過去画像消去手段とを備えて
いることを特徴とする。
れば、シフトレンジ切り替わり検出手段によってシフト
レンジが切り替わったことが検出されたときは、過去画
像消去手段が作動して、鳥瞰画像記憶手段に記憶されて
いる過去の鳥瞰画像を消去する。この結果、切り返しに
よって車両が複雑な動きをした場合には、前進時であれ
ば後進時に得られた過去の画像が、逆に後進時であれば
前進時に得られた過去の画像がモニター表示されること
がなく、車両の周辺状況を正しく反映した画像情報をド
ライバーに提供することができる。
ムは、前記車両移動状態取得手段は、ハンドル角とヨー
レイトから旋回時の車両の回転移動量を算出する回転移
動量算出手段を備えていることを特徴とする。
よれば、回転移動量算出手段が、ハンドル角とヨーレイ
トから旋回時の車両の回転移動量を算出し、この回転移
動量に基づいて、画像回転・移動手段が、過去の鳥瞰画
像を回転移動させる。この場合、車両がバック中の場合
は、後輪車軸上に回転中心があるものと推定することが
できるので、ハンドル角から回転半径を算出してやれば
回転中心が判明する。そして、ヨーレイトから回転角を
算出する。回転中心と回転角とが求められれば、回転中
心に対して車両がどの方向へどれだけ回転移動したかを
数学的に算出することができる。こうして回転移動量が
算出できれば、後は、過去の鳥瞰画像を構成する各画素
を、この回転移動量に基づいて、実際の回転方向とは逆
方向に座標変換してやる。そして、これに、現在の鳥瞰
画像をオーバーレイすれば、車両の後輪車軸をX方向の
基準線とし、車両の中心線をY方向の基準線とする座標
系についての、合成鳥瞰画像を生成することができる。
なお、前進の場合も同様の手法で容易に合成鳥瞰画像を
生成することができる。
車速に基づいて車両の直線移動量を算出し、この直線移
動量分だけ過去の鳥瞰画像を移動方向とは逆方向に移動
させ、これに現在の鳥瞰画像をオーバーレイしてやれ
ば、容易に合成鳥瞰画像を生成することができる。
周辺監視システムであり、請求項1〜請求項10のいず
れか記載の車両周辺監視システムにおいて、前記車両移
動状態取得手段は、車速又は車速を算出し得る所定の情
報から旋回を伴わない場合の車両の直線移動量を算出す
る直線移動量算出手段を備えていることを特徴とする。
きは、車両は極低速で移動する状態になっている。こう
した極低速での車速は、通常の車速センサの検出信号を
使用したのでは、精度が良くない場合があるという問題
がある。あるいは、センサによっては所定速度以下の場
合は車速の検出が不可能なものもある。
車両の移動量を高精度で検出することができる様にする
ことを第7の目的とする。
請求項12の車両周辺監視システムは、請求項1〜請求
項11のいずれか記載の車両周辺監視システムにおい
て、前記車両移動状態取得手段は、過去の鳥瞰画像と現
在の鳥瞰画像とを比較することによって車両の直線移動
量を算出する直線移動量算出手段を備えていることを特
徴とする。
た請求項13の車両周辺監視システムは、請求項1〜請
求項12のいずれか記載の車両周辺監視システムにおい
て、前記車両移動状態取得手段は、ソナーによって検出
される何らかの目標物と車両との距離の変化に基づいて
車両の直線移動量を算出する直線移動量算出手段を備え
ていることを特徴とする。
れた請求項14の車両移動状態検出装置は、車両に設置
された撮影手段と、該撮影手段が撮影した画像を、鳥瞰
画像に変換する鳥瞰変換手段と、該鳥瞰変換手段によっ
て変換された鳥瞰画像を記憶する鳥瞰画像記憶手段と、
該鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像
と、前記撮影手段によって撮影されている現在の車両後
方画像を前記鳥瞰変換手段によって鳥瞰変換した現在の
鳥瞰画像とを比較することにより、車両の移動量又は移
動速度を算出する算出手段とを備えている。
れた請求項15の車両移動状態検出装置は、車両に設置
され、進行方向の物体を検出するソナーと、該ソナーが
検出した所定の目標物と車両との距離の変化に基づい
て、車両の移動量又は移動速度を算出する算出手段とを
備えている。
について説明する。請求項14の車両移動状態検出装置
によれば、撮影手段が撮影した画像を、鳥瞰変換手段が
鳥瞰画像に変換し、この鳥瞰画像を鳥瞰画像記憶手段に
記憶する。そして、この鳥瞰画像記憶手段に記憶されて
いる過去の鳥瞰画像と、撮影手段によって撮影され、鳥
瞰変換手段によって鳥瞰変換された現在の鳥瞰画像とを
比較することにより、算出手段が車両の移動量又は移動
速度を算出する。請求項14の車両周辺監視システム
は、この様にして算出された車両の移動量又は移動速度
に基づいて、鳥瞰画像の回転・移動といった処理を実行
する。
例えば、前回の演算時刻Tにおける鳥瞰画像中で、最も
輝度が高い画素(最高輝度ピクセル)を抽出し、今回の
演算時刻T+1における鳥瞰画像からも最高輝度ピクセ
ルを抽出し、この時刻Tから時刻T+1までの間に、車
両が直線的に移動することにより、画像中の最高輝度ピ
クセルが移動した量を求めるといった方法をとることが
できる。
瞰画像内を所定の大きさのいくつかのエリアに分割し、
各エリア毎に抽出する様にしておき、これら複数個の最
高輝度ピクセル同士の時刻Tにおける位置関係と、時刻
T+1における位置関係とを比較することによって直線
移動量を算出する様にしてもよい。この様にする方が、
算出結果に対する信頼性が高まる。
る鳥瞰画像内の各ピクセルの明るさの程度を数値として
抽出し、それぞれを各ピクセルの属性として記憶する。
同様に、時刻T+1における鳥瞰画像内の各ピクセルの
明るさの程度を数値として抽出し、それぞれを各ピクセ
ルの属性として記憶する。そして、明るさの一致するピ
クセル同士の位置関係を算出することにより、時刻Tか
ら時刻T+1までの間の車両の直線移動量を算出するこ
ともできる。
ことが分かっていれば、時刻Tにおける鳥瞰画像中の後
端側エッジ部分の所定の大きさの画像領域内にあるピク
セルの明るさや色彩といった画像的な特徴情報を数値デ
ータとして抽出し、時刻T+1における鳥瞰画像につい
て、その後端側エッジから直線的に微小距離△yだけ離
れた位置を後端として所定の大きさの画像領域内にある
ピクセルの明るさや色彩といった画像的な特徴情報を抽
出し、両者の一致度を判定し、両者が一致していなけれ
ば、時刻T+1における鳥瞰画像について、その後端側
エッジから2△yだけ離れた位置を後端とする所定の大
きさの画像領域内にあるピクセルから同様の画像的な特
徴情報を抽出し、これを時刻Tの鳥瞰画像から抽出した
特徴情報との一致度を判定し、両者の一致度が所定条件
を満たすまで、以下、nを3,4,・・・と変化させて
同様の演算処理を実行し、所定の一致度が得られたとき
のn△yを直線移動量とするといった演算処理を実行す
ることもできる。
像とを比較することにより、画像処理的に低速移動時の
車両の移動量又は移動速度を容易に算出することができ
るのである。
について説明する。請求項15の車両移動状態検出装置
によれば、ソナーで検出した進行方向の何らかの静止物
体と車両との距離の変化を求めることによって、車両の
移動量又は移動速度を容易に算出することができる。請
求項15の車両周辺監視システムは、この様にして算出
された車両の移動量又は移動速度に基づいて、鳥瞰画像
の回転・移動といった処理を実行する。
ので、車速センサとして極低速の場合も正確な車速を検
出できるものを使用することができれば、車速センサの
検出信号から車両の移動量又は移動速度を算出し、これ
に基づいて鳥瞰画像の回転・移動を行う様にしても本発
明の要旨を逸脱するものではない。
と共に説明する。図1は、本実施の形態の車両周辺監視
システム1の概略構成を表すブロック図である。図示の
様に、画像入力手段である前方カメラ11及び後方カメ
ラ13と、これらのカメラ11,13で撮影された画像
を鳥瞰画像に変換するための画像処理を実行する鳥瞰変
換回路15,17と、これら鳥瞰変換回路15,17に
よって変換された後の画像を一時的に記憶する一時記憶
メモリ21,23と、制御処理の中枢を司るCPU25
と、このCPU25で所定の演算処理を実行した結果と
しての画像を記憶する履歴画像記憶メモリ27と、この
履歴画像記憶メモリ27や一時記憶メモリ21,23に
記憶されている画像を合成して得られる表示用画像を記
憶する表示用画像メモリ29と、表示用画像メモリ29
に記憶されている画像を読み出して表示するモニター3
1と、CPU25に対してユーザーのハンドル操作に関
する情報を入力するためのハンドル角信号入力回路41
と、同じくCPU25に対して車速に関する情報を入力
するための車速信号入力回路43と、車両の旋回状況に
関する情報をCPU25に入力するためのヨーレイト信
号入力回路45と、車両の移動方向に存在する障害物を
検出してその有無や障害物と車両との距離等の情報をC
PU25に入力するための超音波センサ信号入力回路4
7と、シフトポジション信号入力回路49とを備えてい
る。
メモリ21,23、CPU25、履歴画像記憶メモリ2
7、表示用画像メモリ29、ハンドル角信号入力回路4
1、車速信号入力回路43、ヨーレイト信号入力回路4
5、超音波センサ信号入力回路47及びシフトポジショ
ン信号入力回路49は、その全体または一部を一体化し
て一つのLSIで構成してもよい。さらに、鳥瞰変換回
路15,17については、専用の画像処理回路を備える
代わりに、CPU25に対してカメラ11,13で撮影
した画像を入力し、これを演算処理によってソフトウェ
ア的に鳥瞰画像に変換するといった手法で実現すること
もできる。
ば、車両のフロントグリルの中央辺りに設置され、車両
の前方の画像を撮影することができる様になっている。
また、後方カメラ13は、例えば、車両のラッゲージル
ームの後壁の中央辺りに設置され、車両の後方の画像を
撮影することができる様になっている。
3は、それぞれ車両の幅方向に位置をずらして複数個設
置しておく様にしても構わない。但し、前方及び/又は
後方に複数個のカメラを設置した場合には、本実施の形
態のシステムを実現するための画像処理の際に、各カメ
ラ毎に撮影範囲がずれている画像同士を調整して前方の
画像及び後方の画像を決定する必要があるので、視野が
広くなってより多くの情報が得られる反面、画像処理の
ための演算処理回路やプログラムが複雑になるといった
問題もあり、コスト的な側面等も考慮して実用化する必
要がある。
前方画像用の鳥瞰変換回路15に入力され、画像処理を
施されて前方鳥瞰画像とされて一時記憶メモリ21に記
憶される。撮影開始時には、この前方鳥瞰画像は、さら
に、履歴画像メモリ27内の前方履歴画像記憶領域にも
記憶される。この前方履歴画像記憶領域に記憶されてい
る画像は、次の演算タイミングにおいて、CPU25に
よって読み出され、ハンドル角信号入力回路41,車速
信号入力回路43,ヨーレイト信号入力回路45及び超
音波センサ信号入力回路47を介してCPU25に入力
される各種の情報を用いて回転や移動といった幾何学的
な画像処理を施される。この幾何学的な画像処理後の履
歴画像には、さらに、この演算タイミングにおいて前方
カメラ11で撮影され、鳥瞰変換回路15で鳥瞰変換さ
れて一時記憶メモリ21に上書きされている最新の前方
鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とさ
れて、再び、履歴画像記憶メモリ27内に上書きされ
る。
は、後方画像用の鳥瞰変換回路17に入力され、画像処
理を施されて後方鳥瞰画像とされて一時記憶メモリ23
に記憶される。撮影開始時には、この後方鳥瞰画像は、
さらに、履歴画像メモリ27内の後方履歴画像記憶領域
にも記憶される。この後方履歴画像記憶領域に記憶され
ている画像は、次の演算タイミングにおいて、CPU2
5によって読み出され、ハンドル角信号入力回路41,
車速信号入力回路43,ヨーレイト信号入力回路45及
び超音波センサ信号入力回路47を介してCPU25に
入力される各種の情報を用いて回転や移動といった幾何
学的な画像処理を施される。この幾何学的な画像処理後
の履歴画像には、さらに、この演算タイミングにおいて
後方カメラ13で撮影され、鳥瞰変換回路17で鳥瞰変
換されて一時記憶メモリ23に上書きされている最新の
後方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像
とされて、再び、履歴画像記憶メモリ27内に上書きさ
れる。
を施されて最終的にモニター31に表示すべき画像は、
表示用画像メモリ29に記憶される。モニター31は、
運転席から見易い位置(例えば、ダッシュボードの中
央)に配置されており、カーナビゲーション装置のディ
スプレイを兼用させることもできる。
ム1が実行する制御処理の内容を説明する。ここでは、
後方カメラ13によって撮影される車両後方の画像につ
いて、本発明の第1,第2の目的を達成するためにどの
様な処理が実行され、モニター31にどの様な画像が表
示されるかを説明する。
換回路17において画像処理されて上空から見た鳥瞰画
像に変換される。
お、前提条件として、後方カメラ13はオートフォーカ
ス機能を有する。従って、後方カメラ13で撮影した画
像は、その画像中心に焦点距離が合致したものとなって
いる。この焦点距離は、オートフォーカス機能に基づい
てレンズを原点位置からどれだけ移動させたかという情
報に基づいて、距離を表す数値情報として取得すること
ができる。また、後方カメラ13は、その取り付け高さ
及び取り付け角度が予め分かっている。さらに、本実施
の形態では、地面は平面であることを計算上の前提条件
としている。これらの情報及び条件により、後方カメラ
13で撮影した画像を画素単位に分解したときの車両後
端を基準線とする各画素までの距離及び幅方向位置を算
出することができる。こうして各画素の鳥瞰変換後の位
置座標が算出できたら、この位置座標に従って、各画素
を配置し直す。これにより、後方カメラ13で撮影した
画像を、上空から見た平面画像に鳥瞰変換することがで
きる。
画像的には、画素と画素の間に隙間ができたり、重なっ
たりする場合が想定されるが、バックで車庫入れすると
きなどにあっては、モニター31に表示される画像が多
少間引きされた様な画像であったとして、鳥瞰変換され
た画像となっている方が、後方カメラ13で撮影した生
の画像を見ながら車庫入れを実行する場合よりも、操作
性がよく、本発明の目的を達成する上では、何ら問題は
ない。
などを知りたければ、特開平10−211849号公報
に詳しく説明されているのでこれを参照されたい。
13で撮影した生の画像と共に一時記憶メモリ23に記
憶される。一方、CPU25は、ハンドル角信号入力回
路41から入力されるハンドル角信号、車速信号入力回
路43から入力される車速信号、ヨーレイト信号入力回
路45から入力されるヨーレイト信号、及び超音波セン
サ信号入力回路47から入力される超音波センサ信号に
基づいて、車両の動き(車両の回転中心位置及び回転
角)を算出する。
基づいて、履歴画像記憶メモリ27から前回の演算タイ
ミングにおいて後方カメラ13で撮影した画像から得ら
れた鳥瞰画像を読み出して回転・移動させ、その結果に
対して、今回の演算タイミングにおいて一時記憶メモリ
23に記憶された最新の鳥瞰画像をオーバーレイして合
成画像を得た後、この合成画像を履歴画像記憶メモリ2
7に記憶する。なお、車両が後方へ移動することによ
り、履歴画像記憶メモリ27から読み出されて回転・移
動をされた画像に最新の鳥瞰画像をオーバーレイするこ
とで、後方カメラ13が現在撮影している範囲よりも広
い範囲の画像を形成することができ、後方カメラ13で
は撮影することができない車両の側方の画像をも情報と
して提供可能になる。
に、カーブしている部分を車両がバックでゆっくりと後
退している状態であるとする。すると、従来の技術で
は、図4(A),(B)の様に、車両の現在位置から後
方カメラ13で撮影した範囲の鳥瞰画像だけしか表示さ
れない。これに対し、本実施の形態によれば、過去の鳥
瞰画像を車両の動きに合わせて回転・移動させたもの
に、演算時点での現在の鳥瞰画像をオーバーレイして合
成鳥瞰画像としたものをモニター31に表示するので、
図3で示した様な走行をしている車両においては、ちょ
うどカーブの部分を通過しようとしているときは、図4
(C)の様に、後方カメラ13の死角の部分についても
画像表示することができる。
画像メモリ29にも記憶する。すると、モニター31
は、この表示用画像メモリ29内に記憶されている合成
画像を読み出し、これを表示する。
メラ13で撮影している範囲に加えて、モニター31に
表示し得る限り、過去の情報をも表示することができ
る。しかも、この過去の情報に関しては、車両の動きに
合わせて回転・移動が施されているので、モニター31
には、まさに、上空から車両の付近を見た状態の画像
が、後方カメラ13の死角の部分も含めて表示されるこ
とになる(図4(C)参照)。
理のより具体的な内容について説明する。
1から入力されるハンドル角センサ信号より、自車両の
回転半径を算出する。ハンドル角θhと回転半径XC
(m)は、変換係数Kを用いて(式1)より算出するこ
とができる。
W(m)/2 ただし、L(m)はホイールベース、W(m)は車幅。
号入力回路45を介して入力されるヨーレイトセンサ信
号を利用することができる。また、車両の回転中心は、
後輪車軸上(カメラからの距離YC(m)上)にあると
することができる(図5参照)。
量を用いて、履歴画像記憶メモリ27内の後方画像記憶
領域に記憶されている後方鳥瞰画像を回転・移動させ
る。
基づいて行われる。
B):移動後の座標。
標に基づいて、履歴画像記憶メモリ27内の後方画像記
憶領域に記憶されている後方鳥瞰画像を回転・移動させ
る。なお、車両が旋回していない場合には、下記の式3
によって移動後の座標を算出することができる。
半径XC<30、またはヨーレイトセンサ信号が0のと
きとしている。なお、直線移動量Vは、車速信号と演算
インターバルと、車両が前進なのか後進なのかといった
移動方向とから算出することができる。車両の移動方向
は、シフトレンジが前進なのか後進なのかを判別すれば
よい。なお、車速信号入力回路43からの車速信号が極
低速(例えば、5km/h以下)である場合、通常使用
されている車速センサでは、その信頼性が劣るとされて
いる。そこで、本実施の形態では、直線移動量Vを、次
の様にして画像処理で算出している。
最も輝度が高い画素(最高輝度ピクセル)を抽出する。
一例として、図6に示す様に、最高輝度ピクセルが画像
の中央で抽出されたとする。なお、最高輝度ピクセル
は、ピクセル毎の輝度を算出して差分をとることによっ
て容易に抽出することができる。次に、今回の演算時刻
T+1における鳥瞰画像からも最高輝度ピクセルを抽出
する。この時刻Tから時刻T+1までの間に、車両が直
線的に移動することにより、図6に示す様に、画像中の
最高輝度ピクセルの画像の後端側エッジからの距離が変
化する。この距離の差△Y=直線移動量Vとなる。な
お、Vの符号は、この場合、(−)となる。また、最高
輝度ピクセルは、図7に示す様に、鳥瞰画像内を所定の
大きさのいくつかのエリアに分割し、各エリア毎に抽出
する様にしておき、これら複数個の最高輝度ピクセル同
士の時刻Tにおける位置関係と、時刻T+1における位
置関係とを比較することによって直線移動量Vを算出す
る様にしておくと、算出結果に対する信頼性が高まる。
本実施の形態によれば、こうして直線移動量Vが画像デ
ータから算出できる結果、極低速における車速を容易に
算出することができる。
様に、時刻Tにおける鳥瞰画像内の各ピクセルの明るさ
の程度を数値として抽出し、それぞれを各ピクセルの属
性としてCPU25の内部メモリに記憶する。同様に、
時刻T+1における鳥瞰画像内の各ピクセルの明るさの
程度を数値として抽出し、それぞれを各ピクセルの属性
としてCPU25の内部メモリに記憶する。そして、明
るさの一致するピクセル同士の位置関係を算出すること
により、時刻Tから時刻T+1までの間の車両の直線移
動量Vを算出することもできる。図示の例では、時刻T
における鳥瞰画像中の後端側エッジ部分の3列分のピク
セルの明るさと、時刻T+1における鳥瞰画像中の後端
側エッジから距離△Yだけ離れた位置から3列分のピク
セルの明るさとが一致している。従って、この場合は、
距離△Yが直線移動量Vとして算出される。なお、Vの
符号は、この場合、(−)となる。
Tにおける鳥瞰画像中の後端側エッジ部分の所定の大き
さの画像領域内にあるピクセルの明るさや色彩といった
画像的な特徴情報を数値データとして抽出し、時刻T+
1における鳥瞰画像について、その後端側エッジから直
線的に微小距離△yだけ離れた位置を後端として所定の
大きさの画像領域内にあるピクセルの明るさや色彩とい
った画像的な特徴情報を抽出し、両者の一致度を判定
し、両者が一致していなければ、時刻T+1における鳥
瞰画像について、その後端側エッジから2△yだけ離れ
た位置を後端とする所定の大きさの画像領域内にあるピ
クセルから同様の画像的な特徴情報を抽出し、これを時
刻Tの鳥瞰画像から抽出した特徴情報との一致度を判定
し、両者の一致度が所定条件を満たすまで、以下、nを
3,4,・・・と変化させて同様の演算処理を実行し、
所定の一致度が得られたときのn△yを直線移動量Vと
するといった演算処理を実行することもできる。なお、
この場合は、時刻T+2においては、時刻T+1におい
て算出した直線移動量V=n△yとほぼ同じ量の移動に
なっているとの推定を行い、演算開始条件を選定する様
にして演算時間を短縮する様にしておくとなお望まし
い。
実行するメインの制御処理について図9,図10のフロ
ーチャートに基づいて説明する。なお、この制御処理で
は、鳥瞰変換回路15,17において実行するとして説
明してきた鳥瞰変換は、CPU25がソフトウェア的に
実行するものとしている。
から車速センサで検出した車速信号を入力し(S1
0)、この値が10km/h以下か否かを判定する(S
20)。車速が10Km/h以下になるまでは、S1
0,S20の処理が繰り返し実行される。一方、車速が
10Km/h以下になると、続いて、シフトレンジがR
レンジか否かを判定する(S30)。このシフトレンジ
がRレンジか否かについては、シフトポジションスイッ
チからの入力信号を利用すれば容易に判定できる。
た場合は(S30:YES)、さらに、DレンジからR
レンジに切り替わった直後であるか否かを判定する(S
40)。DレンジからRレンジに切り替わった直後であ
れば(S40:YES)、履歴画像記憶メモリ27をリ
セットする(S50)。また、シフトレンジがRレンジ
ではないと判断された場合は(S30:NO)、さら
に、RレンジからDレンジに切り替わった直後であるか
否かを判定する(S45)。RレンジからDレンジに切
り替わった直後であれば(S45:YES)、履歴画像
記憶メモリ27をリセットする(S55)。
0)、この後方カメラ13で撮影した画像を入力する
(S70)。続いて、ハンドル角信号入力回路41を介
して、ハンドル角センサの検出したハンドル角信号を入
力する(S80)。また、ヨーレイト信号入力回路45
を介して、ヨーレイトセンサの検出したヨーレイト信号
を入力する(S90)。さらに、超音波センサ信号入力
回路47を介して、超音波センサ信号を入力する(S1
00)。なお、この超音波センサ信号は、超音波を利用
したバックソナーを有する車両では、このバックソナー
による検出データを用いることができる。
に、S70で入力した画像を、既に述べた様な変換方法
を用いて、鳥瞰画像に変換する(S110)。そして、
この結果を、一時記憶メモリ23に記憶する(S12
0)。
判定する(S130)。この判定は、フラグ等を用いる
ことによって容易に実現することができる。具体的に
は、車速が10Km/h以下ではないときには初回判定
フラグを0にリセットしてS10へ戻る用にしておき、
初回判定フラグが0のときは初回であると判定する様に
しておけばよい。そして、S130でYESと判定され
たときは、この初回判定フラグを1にセットし、以下、
車速が10Km/h以下ではなくなるまでこの初回判定
フラグをリセットしない様にしておけばよい。
130:YES)、履歴画像記憶メモリ27をリセット
し(S140)、一時記憶メモリ23に記憶されている
鳥瞰画像を履歴画像記憶メモリ27に転送する(S15
0)。そして、再びS10に戻る。
(S130:NO)、ハンドル角が0°か否かを判定す
る(S160)。ハンドル角が0°ではないと判定され
た場合は(S160:YES)、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する(S170)。そして、この
算出結果に基づいて、履歴画像記憶メモリ27に記憶さ
れている鳥瞰画像を回転移動させる(S180)。次
に、この回転移動の結果に、一時記憶メモリ23に記憶
されている最新の鳥瞰画像を、この最新の鳥瞰画像が前
面となる様にオーバーレイして合成鳥瞰画像を作成する
(S190)。そして、この合成鳥瞰画像を履歴画像記
憶メモリ27に上書きして記憶し直す(S200)。
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、S190で作成した合成鳥瞰画像を
画像処理する(S210)。そして、この結果を表示用
画像記憶メモリ29に転送する(S220)。最後に、
この表示用顔図記憶メモリ29から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター31に表示
する(S230)。なお、車両表示用画像は、本システ
ムが搭載された車両を上空から見た状態の鳥瞰画像とな
っており、予め、EEPROMなどに記憶してある。
理について説明する。ハンドル角が0°でない場合には
(S160:NO)、超音波センサ信号から判明する障
害物までの距離(超音波センサ距離)が1.5m以下か
否かを判定する(S240)。超音波センサ距離が1.
5m以下であると判定された場合は(S240:YE
S)、超音波センサ距離の変化状態に基づいて相対速度
を算出する(S250)。一方、超音波センサ距離が
1.5m以下ではないと判定された場合は(S240:
NO)、履歴画像記憶メモリ27に記憶している過去画
像と、一時記憶メモリ23に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する(S260)。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する(S270)。そして、式3で示した
様に画像の平行移動を実行し(S280)、以下、この
平行移動の結果に、一時記憶メモリ23に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する(S29
0)。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター31に合成鳥瞰画像を表
示する(S200〜S230)。
ニター31には、図11に示すような画像が表示され
る。図示の様に、モニター31内には、画面の上端中心
を車両の先端とする様に、車両図形50が表示される。
また、この車両図形50の後方及び側方には、合成鳥瞰
画像60が表示される。この合成鳥瞰画像は、さらに、
現在、後方カメラ13で撮影している画像を鳥瞰変換し
た画像を表示しているリアル画像表示部61と、このリ
アル画像表示部61以外の過去画像表示部63とになっ
ている。そして、過去画像表示部63の部分について
は、例えば、グレーフィルターをかけた状態とし、リア
ル画像表示部61には、フルカラー表示による鳥瞰画像
が表示されることになる。
画像だけでなく、過去の画像を反映した鳥瞰画像が表示
され、これにより、ドライバーは、バックで車両を駐車
しようとするときの車両と障害物や駐車枠などとの位置
関係が非常に分かり易くなり、操作性が大幅に向上す
る。
方カメラ13で撮影している画像と、過去の画像とが容
易に区別できる様に、過去画像についてはグレーフィル
ターがかかった状態で表示されている。従って、ドライ
バーは、モニター31に表示された鳥瞰画像の内、他の
車両が侵入している様なおそれがある部分がどこの範囲
かを理解することができる。この結果、他の車両が侵入
しているか否かなどの状況変化の目視確認を怠らない様
に、ドライバーの注意を促すことができる。
ックするだけでなく、切り返し操作の様に、前進と後進
とを繰り返す場合があるが、本実施の形態によれば、シ
フトレンジが切り替わったタイミングで、一旦、履歴画
像記憶メモリ27をリセットするので、ドライバーがシ
フトレンジをDレンジからRレンジに切り替えたときに
は、それまでに前進していた時の画像履歴が残ってしま
うことがなく、誤った情報をドライバーに与えるといっ
た問題を解決することができる。同様に、切り返しで前
進し直す様な場合にも、RレンジからDレンジに切り替
わったタイミングで、一旦、履歴画像記憶メモリ27を
リセットするので、ドライバーがシフトレンジをRレン
ジからDレンジに切り替えたときには、それまでに後進
していた時の画像履歴が残ってしまうことがなく、こち
らも、誤った情報をドライバーに与えるといった問題を
解決することができる。
実行しない場合には、図12に楕円で囲んだ部分の様
に、後進時に、その前の切り返し操作における前進時の
画像が残ってしまって周辺状況を正しく把握できなくな
るおそれがある。これに対して、本実施の形態では、上
述の様な条件でメモリのリセットを実行するので、図1
3に示す様に、後進時には、前進時の画像が残ることが
なく、誤った情報をドライバーに伝達することがない。
又は超音波センサ信号に基づいて極低速で移動する車両
の速度を算出することができるので、低速域での精度が
十分でない車速センサを採用した車両であっても、信頼
性の高い車両周辺画像を提供することができる。
において、前進で駐車しようとする場合のオプションの
制御処理について説明する。このオプションの制御処理
は、モニター31に供えさせておいたカメラ切換スイッ
チを操作するといった所定の条件が成立すると実行され
る様にしておくことができる。
15のフローチャートに示す様に構成されており、バッ
クで駐車しようとしている場合と同様に、車速信号入力
回路43から車速センサで検出した車速信号を入力し
(S410)、この値が10km/h以下か否かを判定
する(S420)。車速が10Km/h以下になるまで
は、S410,S420の処理が繰り返し実行される。
一方、車速が10Km/h以下になると、続いて、シフ
トレンジがDレンジか否かを判定する(S430)。
た場合は(S430:YES)、さらに、Rレンジから
Dレンジに切り替わった直後であるか否かを判定する
(S440)。RレンジからDレンジに切り替わった直
後であれば(S440:YES)、履歴画像記憶メモリ
27をリセットする(S450)。また、シフトレンジ
がDレンジではないと判断された場合は(S430:N
O)、さらに、DレンジからRレンジに切り替わった直
後であるか否かを判定する(S445)。Dレンジから
Rレンジに切り替わった直後であれば(S445:YE
S)、履歴画像記憶メモリ27をリセットする(S45
5)。
0)、この前方カメラ11で撮影した画像を入力する
(S470)。続いて、ハンドル角信号入力回路41を
介して、ハンドル角センサの検出したハンドル角信号を
入力する(S480)。また、ヨーレイト信号入力回路
45を介して、ヨーレイトセンサの検出したヨーレイト
信号を入力する(S490)。さらに、超音波センサ信
号入力回路47を介して、超音波センサ信号を入力する
(S500)。なお、この超音波センサ信号は、超音波
を利用した車間距離維持や衝突防止のための前方ソナー
を有する車両では、この前方ソナーによる検出データを
用いることができる。
に、S470で入力した画像を、既に述べた様な変換方
法を用いて、鳥瞰画像に変換する(S510)。そし
て、この結果を、一時記憶メモリ21に記憶する(S5
20)。
判定する(S530)。初回の処理であると判定された
場合は(S530:YES)、履歴画像記憶メモリ27
をリセットし(S540)、一時記憶メモリ21に記憶
されている鳥瞰画像を履歴画像記憶メモリ27に転送す
る(S550)。そして、再びS410に戻る。
(S530:NO)、ハンドル角が0°か否かを判定す
る(S560)。ハンドル角が0°ではないと判定され
た場合は(S560:YES)、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する(S570)。そして、この
算出結果に基づいて、履歴画像記憶メモリ27に記憶さ
れている鳥瞰画像を回転移動させる(S580)。次
に、この回転移動の結果に、一時記憶メモリ21に記憶
されている最新の鳥瞰画像を、この最新の鳥瞰画像が前
面となる様にオーバーレイして合成鳥瞰画像を作成する
(S590)。そして、この合成鳥瞰画像を履歴画像記
憶メモリ27に上書きして記憶し直す(S600)。
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、S590で作成した合成鳥瞰画像を
画像処理する(S610)。そして、この結果を表示用
画像記憶メモリ29に転送する(S620)。最後に、
この表示用顔図記憶メモリ29から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター31に表示
する(S630)。
(S560:NO)、超音波センサ距離が1.5m以下
か否かを判定する(S640)。超音波センサ距離が
1.5m以下であると判定された場合は(S640:Y
ES)、超音波センサ距離の変化状態に基づいて相対速
度を算出する(S650)。一方、超音波センサ距離が
1.5m以下ではないと判定された場合は(S640:
NO)、履歴画像記憶メモリ27に記憶している過去画
像と、一時記憶メモリ21に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する(S660)。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する(S670)。そして、式3で示した
様に画像の平行移動を実行し(S680)、以下、この
平行移動の結果に、一時記憶メモリ21に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する(S69
0)。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター31に合成鳥瞰画像を表
示する(S600〜S630)。
ニター31には、図16に示すような画像が表示され
る。図示の様に、モニター31内には、画面の下端中心
を車両の後端中心とする様に、車両図形50が表示され
る。また、この車両図形50の前方及び側方には、合成
鳥瞰画像60が表示される。この合成鳥瞰画像60は、
さらに、現在、後方カメラ13で撮影している画像を鳥
瞰変換した画像を表示しているリアル画像表示部61
と、このリアル画像表示部61以外の過去画像表示部6
3とになっている。そして、過去画像表示部63の部分
については、例えば、グレーフィルターをかけた状態と
し、リアル画像表示部61には、フルカラー表示による
鳥瞰画像が表示されることになる。
車の際にも、バック駐車の場合と同様に、より多くの情
報をドライバーに提供することができ、車両を前進で駐
車しようとするときの車両と障害物や駐車枠などとの位
置関係が非常に分かり易くなり、操作性が大幅に向上す
る。
前方カメラ11で撮影している画像と、過去の画像とが
容易に区別でき、ドライバーは、モニター31に表示さ
れた鳥瞰画像の内、他の車両が侵入している様なおそれ
がある部分がどこの範囲かを理解することができる。こ
の結果、他の車両が侵入しているか否かなどの状況変化
の目視確認を怠らない様に、ドライバーの注意を促すこ
とができる。
が切り返し操作した様な場合に、誤った情報をドライバ
ーに与えるといった問題を解決することができる。
センサを採用した車両であっても、信頼性の高い車両周
辺画像を提供することができる。
る。この第2の実施の形態の周辺監視システムは、上述
した実施の形態のものとハード構成は同じであって、以
下に説明する制御処理の内容に特徴を有するものであ
る。
7,図18のフローチャートに示す様に構成されてお
り、まず、車速信号入力回路43から車速センサで検出
した車速信号を入力し(S710)、この値が10km
/h以下か否かを判定する(S720)。車速が10K
m/h以下になるまでは、S410,S420の処理が
繰り返し実行される。一方、車速が10Km/h以下に
なると、続いて、シフトレンジがRレンジか否かを判定
する(S730)。
た場合は(S730:YES)、さらに、Dレンジから
Rレンジに切り替わった直後であるか否かを判定する
(S740)。RレンジからDレンジに切り替わった直
後であれば(S740:YES)、履歴画像記憶メモリ
27をリセットすると共に(S750)、後方カメラ1
3を作動させる(S760)。また、シフトレンジがR
レンジではないと判断された場合は(S730:N
O)、さらに、RレンジからDレンジに切り替わった直
後であるか否かを判定する(S745)。Rレンジから
Dレンジに切り替わった直後であれば(S745:YE
S)、履歴画像記憶メモリ27をリセットすると共に
(S755)、前方カメラ11を作動させる(S76
5)。
3)で撮影した画像を入力する(S770)。続いて、
ハンドル角信号入力回路41を介して、ハンドル角セン
サの検出したハンドル角信号を入力する(S780)。
また、ヨーレイト信号入力回路45を介して、ヨーレイ
トセンサの検出したヨーレイト信号を入力する(S79
0)。さらに、超音波センサ信号入力回路47を介し
て、超音波センサ信号を入力する(S800)。
に、S770で入力した画像を、既に述べた様な変換方
法を用いて、鳥瞰画像に変換する(S810)。そし
て、この結果を、一時記憶メモリ21(又は一時記憶メ
モリ23)に記憶する(S820)。
判定する(S830)。初回の処理であると判定された
場合は(S830:YES)、履歴画像記憶メモリ27
をリセットし(S840)、一時記憶メモリ21(又は
一時記憶メモリ23)に記憶されている鳥瞰画像を履歴
画像記憶メモリ27に転送する(S850)。そして、
再びS710に戻る。
(S830:NO)、ハンドル角が0°か否かを判定す
る(S860)。ハンドル角が0°ではないと判定され
た場合は(S860:YES)、ハンドル角及びヨーレ
イトから、既に述べた様な演算式等を用いて車両の回転
中心と回転角とを算出する(S870)。そして、この
算出結果に基づいて、履歴画像記憶メモリ27に記憶さ
れている鳥瞰画像を回転移動させる(S880)。次
に、この回転移動の結果に、一時記憶メモリ21(又は
一時記憶メモリ23)に記憶されている最新の鳥瞰画像
を、この最新の鳥瞰画像が前面となる様にオーバーレイ
して合成鳥瞰画像を作成する(S890)。そして、こ
の合成鳥瞰画像を履歴画像記憶メモリ27に上書きして
記憶し直す(S900)。
過去画像表示部に該当する部分がカラーフィルタをかけ
た状態となる様に、S890で作成した合成鳥瞰画像を
画像処理する(S910)。そして、この結果を表示用
画像記憶メモリ29に転送する(S920)。最後に、
この表示用顔図記憶メモリ29から読み出したフィルタ
処理後の合成鳥瞰画像に対して、さらに、車両表示用画
像を最前面にオーバーレイした上でモニター31に表示
する(S930)。
(S860:NO)、超音波センサ距離が1.5m以下
か否かを判定する(S940)。超音波センサ距離が
1.5m以下であると判定された場合は(S940:Y
ES)、超音波センサ距離の変化状態に基づいて相対速
度を算出する(S950)。一方、超音波センサ距離が
1.5m以下ではないと判定された場合は(S940:
NO)、履歴画像記憶メモリ27に記憶している過去画
像と、一時記憶メモリ21に記憶している現在画像とを
用いて、前述した様な明るさや色彩といった画素の画像
的な特徴情報を利用した所定の演算処理によって車両の
動きを表す動きベクトルを算出する(S960)。次
に、この動きベクトル又は相対速度に基づいて、画像の
移動量を決定する(S970)。そして、式3で示した
様に画像の平行移動を実行し(S980)、以下、この
平行移動の結果に、一時記憶メモリ21に記憶されてい
る最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる
様にオーバーレイして合成鳥瞰画像を作成する(S99
0)。そして、以下、回転移動を行った後と同様の処理
を実行して、最終的にモニター31に合成鳥瞰画像を表
示する(S900〜S930)。
31には、シフトレンジがRレンジのときには図19
(A)に示すような画像が表示される。図示の様に、R
レンジとときは、モニター31内には、画面の上端中心
を車両の前端中心とする様に、車両図形50が表示され
る。また、この車両図形50の後方及び側方には、合成
鳥瞰画像60が表示される。この合成鳥瞰画像60は、
さらに、現在、後方カメラ13で撮影している画像を鳥
瞰変換した画像を表示しているリアル画像表示部61
と、このリアル画像表示部61以外の過去画像表示部6
3とになっている。そして、過去画像表示部63の部分
については、例えば、グレーフィルターをかけた状態と
し、リアル画像表示部61には、フルカラー表示による
鳥瞰画像が表示されることになる。一方、シフトレンジ
がDレンジのときは、図19(B)に示す様に、モニタ
ー31内には、画面の下端中心を車両の後端中心とする
様に、車両図形50が表示される。また、この車両図形
50の前方及び側方には、合成鳥瞰画像60が表示され
る。この合成鳥瞰画像60は、さらに、現在、前方カメ
ラ11で撮影している画像を鳥瞰変換した画像を表示し
ているリアル画像表示部61と、このリアル画像表示部
61以外の過去画像表示部63とになっている。そし
て、過去画像表示部63の部分については、例えば、グ
レーフィルターをかけた状態とし、リアル画像表示部6
1には、フルカラー表示による鳥瞰画像が表示されるこ
とになる。
際に、切り返し操作を行って後進から前進に切り替える
と、モニター31には前方カメラ11により撮影された
画像に基づいて作成された合成鳥瞰画像が自車両との位
置関係が分かる様に表示される。また、後進の場合は、
後方カメラ13によって撮影された画像から生成された
合成鳥瞰画像がモニター31に表示される。従って、切
り返し操作を繰り返しながら駐車しようとする場合に、
ドライバーは、モニター31によって進行方向を中心と
した車両の周辺の状況を確認することができる。しか
も、このモニター31には、前進時には前進中の過去の
履歴を含めた合成鳥瞰画像が表示され、更新時には後進
中の過去の履歴を含めた合成鳥瞰画像が表示されるの
で、ドライバーは、切り返し操作の、特に最終局面で
は、モニター31を見ながら思った位置に正確に車両を
駐車することができるという効果が発揮される。
理及びオプションの制御処理の場合と同様に、実際に前
方カメラ11又は後方カメラ13で撮影している現在の
画像と、過去の画像とが容易に区別でき、ドライバー
は、モニター31に表示された鳥瞰画像の内、他の車両
が侵入している様なおそれがある部分がどこの範囲かを
理解することができる。この結果、他の車両が侵入して
いるか否かなどの状況変化の目視確認を怠らない様に、
ドライバーの注意を促すことができる。
たが、本発明はこの実施の形態に限られるものではな
く、その要旨を逸脱しない範囲内においてさらに種々の
形態を採用することができることはもちろんである。
81を重ね書きして表示する様にしてもよい。また、図
21に点線で示した様に、過去画像表示部については、
画像の階調を落とす様にしてもよい。さらに、図22に
示す様に、過去画像表示部には、注意マーク83やコメ
ント85を重ね書きする様にしてもよい。これらの変形
は、前方カメラ11により撮影した画像についてもいえ
ることである。なお、フィルター処理、境界線表示、階
調処理、注意マークの重ね書きは、これらを組み合わせ
る様にしてもよいし、さらに、モニター31に過去画像
が表示されているときには、音声で、「側方について
は、目視確認をお願いします。」といったメッセージを
一定間隔で流す様にしてもよい。
示することなく、単純に合成鳥瞰画像をモニター表示す
る様にしたものも、本発明の第1の目的を達成したもの
であり、かかる簡単な構成とすることもできる。
構成を示すブロック図である。
カメラ等の配置例を示すブロック図である。
するための前提条件を示す説明図である。
形態においてモニター表示する内容を、従来技術による
場合と比較して示した説明図である。
う場合の回転中心などの決定の仕方を示す説明図であ
る。
量を算出する方法を示す説明図である。
量を算出する他の方法を示す説明図である。
量を算出するさらに他の方法を示す説明図である。
るメインの制御処理の内容を示すフローチャートであ
る。
するメインの制御処理の内容を示すフローチャートであ
る。
す説明図である。
問題を示す説明図である。
な問題を解決した状態においてモニターに表示される鳥
瞰画像の様子を示す説明図である。
するオプションの制御処理の内容を示すフローチャート
である。
するオプションの制御処理の内容を示すフローチャート
である。
す説明図である。
に実行するオプションの制御処理の内容を示すフローチ
ャートである。
に実行するオプションの制御処理の内容を示すフローチ
ャートである。
況を示す説明図である。
の他の例でのモニター表示の内容を示す説明図である。
の他の例でのモニター表示の内容を示す説明図である。
の他の例でのモニター表示の内容を示す説明図である。
の他の例でのモニター表示の内容を示す説明図である。
Claims (15)
- 【請求項1】 車両の後部に設置された撮影手段と、 該撮影手段が撮影した車両後方画像を、鳥瞰画像に変換
する鳥瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を表示する
表示手段とを備える車両周辺監視システムにおいて、 前記鳥瞰変換手段によって変換された鳥瞰画像を記憶す
る鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
鳥瞰画像を回転移動又は平行移動する画像回転・移動手
段と、 該画像回転・移動手段によって回転・移動された過去の
鳥瞰画像と、前記撮影手段によって撮影されている現在
の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換し
た現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成す
る合成鳥瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
両の位置との関係が分かる様に車両図形とともに前記表
示手段に表示する表示制御手段とを備えていることを特
徴とする車両周辺監視システム。 - 【請求項2】 車両の前部に設置された撮影手段と、 該撮影手段が撮影した車両前方画像を、鳥瞰画像に変換
する鳥瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を表示する
表示手段と、 前記鳥瞰変換手段によって変換された鳥瞰画像を記憶す
る鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
鳥瞰画像を回転・移動する画像回転・移動手段と、 該画像回転・移動手段によって回転・移動された過去の
鳥瞰画像と、前記撮影手段によって撮影されている現在
の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換し
た現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成す
る合成鳥瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
両の位置との関係が分かる様に車両図形とともに前記表
示手段に表示する表示制御手段とを備えていることを特
徴とする車両周辺監視システム。 - 【請求項3】 車両の前部に設置された前方撮影手段
と、 車両の後部に設置された後方撮影手段と、 前記前方撮影手段又は後方撮影手段が撮影した画像を表
示する表示手段と、 シフトレンジを検出するシフトレンジ検出手段と、 該シフトレンジ検出手段がシフトレンジが後進レンジで
あることを検出したときは、前記撮影手段として前記後
方撮影手段を使用し、前進レンジであることを検出した
ときは、前記前方撮影手段を使用する様に、撮影方向を
切り替える撮影方向切替手段とを備えていることを特徴
とする車両周辺監視システム。 - 【請求項4】 請求項3記載の車両周辺監視システムに
おいて、 前記撮影手段が撮影した画像を、鳥瞰画像に変換する鳥
瞰変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を記憶する
鳥瞰画像記憶手段と、 車両の移動状態を取得する車両移動状態取得手段と、 該車両移動状態取得手段が取得した車両の移動状態に基
づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の
鳥瞰画像を回転移動又は平行移動する画像回転・移動手
段と、 該画像回転・移動手段によって回転・移動された過去の
鳥瞰画像と、前記撮影手段によって撮影されている現在
の画像を前記鳥瞰変換手段によって鳥瞰変換した現在の
鳥瞰画像と、を合成して合成鳥瞰画像を生成する合成鳥
瞰画像生成手段と、 該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車
両の位置との関係が分かる様に前記表示手段に表示する
表示制御手段と、 を備えていることを特徴とする車両周辺監視システム。 - 【請求項5】 請求項1〜請求項4のいずれか記載の車
両周辺監視システムにおいて、 前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像
を、前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像
に基づいて更新する過去画像更新手段を備えていること
を特徴とする周辺監視システム。 - 【請求項6】 請求項1〜請求項5のいずれか記載の車
両周辺監視システムにおいて、 前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対
して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像
に対応する部分とを区別するための画像処理を施す画像
処理手段を備え、 前記表示制御手段は、該画像処理手段によって画像処理
された後の合成鳥瞰画像を前記表示手段に表示する様に
構成されていることを特徴とする周辺監視システム。 - 【請求項7】 請求項1〜請求項6のいずれか記載の車
両周辺監視システムにおいて、 前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰
画像を表示している部分に、ドライバーの注意を促すた
めの所定の情報を表示させるための注意情報表示手段を
備えていることを特徴とする周辺監視システム。 - 【請求項8】 請求項1〜請求項7のいずれか記載の車
両周辺監視システムにおいて、 前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰
画像を表示している部分は、目視確認が必要であること
をドライバーに通知する通知手段を備えていることを特
徴とする周辺監視システム。 - 【請求項9】 請求項1〜請求項8のいずれか記載の車
両周辺監視システムにおいて、 車両のシフトレンジの切り替わりを検出するシフトレン
ジ切り替わり検出手段と、 該シフトレンジ切り替わり検出手段によってシフトレン
ジが切り替わったことが検出されたときは、前記鳥瞰画
像記憶手段に記憶されている過去の鳥瞰画像を消去する
過去画像消去手段とを備えていることを特徴とする周辺
監視システム。 - 【請求項10】 請求項1〜請求項9のいずれか記載の
車両周辺監視システムにおいて、 前記車両移動状態取得手段は、ハンドル角とヨーレイト
から旋回時の車両の回転移動量を算出する回転移動量算
出手段を備えていることを特徴とする車両周辺監視シス
テム。 - 【請求項11】 請求項1〜請求項10のいずれか記載
の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、車速又は車速を算出し得
る所定の情報から旋回を伴わない場合の車両の直線移動
量を算出する直線移動量算出手段を備えていることを特
徴とする車両周辺監視システム。 - 【請求項12】 請求項1〜請求項11のいずれか記載
の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、過去の鳥瞰画像と現在の
鳥瞰画像とを比較することによって車両の直線移動量を
算出する直線移動量算出手段を備えていることを特徴と
する車両周辺監視システム。 - 【請求項13】 請求項1〜請求項12のいずれか記載
の車両周辺監視システムにおいて、 前記車両移動状態取得手段は、ソナーによって検出され
る何らかの目標物と車両との距離の変化に基づいて車両
の直線移動量を算出する直線移動量算出手段を備えてい
ることを特徴とする車両周辺監視システム。 - 【請求項14】 車両に設置された撮影手段と、 該撮影手段が撮影した画像を、鳥瞰画像に変換する鳥瞰
変換手段と、 該鳥瞰変換手段によって変換された鳥瞰画像を記憶する
鳥瞰画像記憶手段と、該鳥瞰画像記憶手段に記憶されて
いる過去の鳥瞰画像と、前記撮影手段によって撮影され
ている現在の車両後方画像を前記鳥瞰変換手段によって
鳥瞰変換した現在の鳥瞰画像とを比較することにより、
車両の移動量又は移動速度を算出する算出手段とを備え
ている車両移動状態検出装置。 - 【請求項15】 車両に設置され、進行方向の物体を検
出するソナーと、 該ソナーが検出した所定の目標物と車両との距離の変化
に基づいて、車両の移動量又は移動速度を算出する算出
手段とを備えている車両移動状態検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001394419A JP3886376B2 (ja) | 2001-12-26 | 2001-12-26 | 車両周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001394419A JP3886376B2 (ja) | 2001-12-26 | 2001-12-26 | 車両周辺監視システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006277145A Division JP2007102798A (ja) | 2006-10-11 | 2006-10-11 | 車両周辺監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003191810A true JP2003191810A (ja) | 2003-07-09 |
JP3886376B2 JP3886376B2 (ja) | 2007-02-28 |
Family
ID=27601156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001394419A Expired - Lifetime JP3886376B2 (ja) | 2001-12-26 | 2001-12-26 | 車両周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3886376B2 (ja) |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311698A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005323310A (ja) * | 2004-05-11 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム |
EP1641268A1 (en) * | 2004-06-15 | 2006-03-29 | Matsusita Electric Industrial Co., Ltd. | Monitor and vehicle periphery monitor |
JP2006151370A (ja) * | 2004-10-28 | 2006-06-15 | Denso Corp | 車両周囲視界支援システム |
JP2006327498A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2006327499A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007030564A (ja) * | 2005-07-22 | 2007-02-08 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007030630A (ja) * | 2005-07-25 | 2007-02-08 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007069830A (ja) * | 2005-09-08 | 2007-03-22 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007088577A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両周辺画像処理システム |
JP2007096496A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 車両周囲表示システム |
JP2007096497A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 車両周囲表示システム |
JP2007180622A (ja) * | 2005-12-26 | 2007-07-12 | Alpine Electronics Inc | 車両周囲監視装置 |
JP2007300181A (ja) * | 2006-04-27 | 2007-11-15 | Denso Corp | 周辺認識装置、周辺認識方法、プログラム |
CN100401323C (zh) * | 2004-08-05 | 2008-07-09 | 株式会社东芝 | 监视设备以及显示鸟瞰视图的方法 |
US8009869B2 (en) | 2006-04-12 | 2011-08-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle surrounding monitoring system and vehicle surrounding monitoring method |
JP2011213350A (ja) * | 2011-08-02 | 2011-10-27 | Pioneer Electronic Corp | 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム |
JP2012156632A (ja) * | 2011-01-24 | 2012-08-16 | Denso Corp | 周辺監視装置 |
JP2014129093A (ja) * | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
JP2014204361A (ja) * | 2013-04-08 | 2014-10-27 | 株式会社ビートソニック | 車載モニタリングシステムにおける車載カメラ用アダプター |
KR101515166B1 (ko) | 2013-09-26 | 2015-05-04 | 사단법인 한국지능형교통체계협회 | 객체인식 기반의 주차장 이벤트 검지 시스템 |
WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
JP2015171106A (ja) * | 2014-03-10 | 2015-09-28 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
WO2016147846A1 (ja) * | 2015-03-17 | 2016-09-22 | 株式会社デンソー | 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム |
KR101709009B1 (ko) * | 2015-08-18 | 2017-02-21 | 주식회사 와이즈오토모티브 | 어라운드 뷰 왜곡 보정 시스템 및 방법 |
JP2017076890A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
JP2017081445A (ja) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | 画像処理装置、及び、画像処理方法 |
EP3128738A4 (en) * | 2014-04-04 | 2017-06-28 | Wise Automotive Corporation | Apparatus and method for generating image around vehicle |
JP2017175268A (ja) * | 2016-03-22 | 2017-09-28 | 株式会社デンソー | 画像処理装置、画像処理方法、及びプログラム |
KR20170141017A (ko) * | 2016-06-14 | 2017-12-22 | 주식회사 만도 | 차량제어장치 및 차량제어방법 |
US9967526B2 (en) | 2012-08-30 | 2018-05-08 | Denso Corporation | Image processing device and storage medium |
WO2019142660A1 (ja) * | 2018-01-19 | 2019-07-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
DE112018005391T5 (de) | 2017-11-10 | 2020-06-25 | Denso Corporation | Anzeigeverarbeitungsvorrichtung |
JP2021129185A (ja) * | 2020-02-13 | 2021-09-02 | トヨタ自動車株式会社 | 車両周辺監視装置 |
CN113837936A (zh) * | 2020-06-24 | 2021-12-24 | 上海汽车集团股份有限公司 | 一种全景图像的生成方法和装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10211849A (ja) * | 1997-01-30 | 1998-08-11 | Isuzu Motors Ltd | 車両後方視界支援装置 |
JPH11314564A (ja) * | 1998-02-24 | 1999-11-16 | Daimler Chrysler Ag | 車両の制動過程の自動開始方法 |
JP2000011298A (ja) * | 1998-06-22 | 2000-01-14 | Yazaki Corp | 車両用後側方監視装置 |
JP2001187553A (ja) * | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | 駐車支援装置 |
JP2002036988A (ja) * | 2000-07-27 | 2002-02-06 | Matsushita Electric Ind Co Ltd | 車載用走行監視システム及び衝突時衝撃吸収システム |
-
2001
- 2001-12-26 JP JP2001394419A patent/JP3886376B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10211849A (ja) * | 1997-01-30 | 1998-08-11 | Isuzu Motors Ltd | 車両後方視界支援装置 |
JPH11314564A (ja) * | 1998-02-24 | 1999-11-16 | Daimler Chrysler Ag | 車両の制動過程の自動開始方法 |
JP2000011298A (ja) * | 1998-06-22 | 2000-01-14 | Yazaki Corp | 車両用後側方監視装置 |
JP2001187553A (ja) * | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | 駐車支援装置 |
JP2002036988A (ja) * | 2000-07-27 | 2002-02-06 | Matsushita Electric Ind Co Ltd | 車載用走行監視システム及び衝突時衝撃吸収システム |
Cited By (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311698A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005323310A (ja) * | 2004-05-11 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム |
EP1641268A1 (en) * | 2004-06-15 | 2006-03-29 | Matsusita Electric Industrial Co., Ltd. | Monitor and vehicle periphery monitor |
US7512251B2 (en) | 2004-06-15 | 2009-03-31 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
EP1641268A4 (en) * | 2004-06-15 | 2006-07-05 | Matsushita Electric Ind Co Ltd | MONITOR AND DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT |
US7693303B2 (en) | 2004-06-15 | 2010-04-06 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
US7916899B2 (en) | 2004-06-15 | 2011-03-29 | Panasonic Corporation | Monitoring system and vehicle surrounding monitoring system |
EP2182730A3 (en) * | 2004-06-15 | 2015-04-01 | Panasonic Intellectual Property Management Co., Ltd. | Monitor and vehicle peripheriy monitor |
CN100401323C (zh) * | 2004-08-05 | 2008-07-09 | 株式会社东芝 | 监视设备以及显示鸟瞰视图的方法 |
JP4724522B2 (ja) * | 2004-10-28 | 2011-07-13 | 株式会社デンソー | 車両周囲視界支援システム |
JP2006151370A (ja) * | 2004-10-28 | 2006-06-15 | Denso Corp | 車両周囲視界支援システム |
JP4696691B2 (ja) * | 2005-05-27 | 2011-06-08 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP2006327499A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP4595680B2 (ja) * | 2005-05-27 | 2010-12-08 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP2006327498A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007030564A (ja) * | 2005-07-22 | 2007-02-08 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP4561512B2 (ja) * | 2005-07-22 | 2010-10-13 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP2007030630A (ja) * | 2005-07-25 | 2007-02-08 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP4736650B2 (ja) * | 2005-09-08 | 2011-07-27 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP2007069830A (ja) * | 2005-09-08 | 2007-03-22 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007088577A (ja) * | 2005-09-20 | 2007-04-05 | Denso Corp | 車両周辺画像処理システム |
JP2007096497A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 車両周囲表示システム |
JP2007096496A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 車両周囲表示システム |
JP4600999B2 (ja) * | 2005-12-26 | 2010-12-22 | アルパイン株式会社 | 車両周囲監視装置 |
JP2007180622A (ja) * | 2005-12-26 | 2007-07-12 | Alpine Electronics Inc | 車両周囲監視装置 |
US8009869B2 (en) | 2006-04-12 | 2011-08-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle surrounding monitoring system and vehicle surrounding monitoring method |
JP4676373B2 (ja) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
JP2007300181A (ja) * | 2006-04-27 | 2007-11-15 | Denso Corp | 周辺認識装置、周辺認識方法、プログラム |
US8036424B2 (en) | 2006-04-27 | 2011-10-11 | Denso Corporation | Field recognition apparatus, method for field recognition and program for the same |
JP2012156632A (ja) * | 2011-01-24 | 2012-08-16 | Denso Corp | 周辺監視装置 |
JP2011213350A (ja) * | 2011-08-02 | 2011-10-27 | Pioneer Electronic Corp | 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム |
US9967526B2 (en) | 2012-08-30 | 2018-05-08 | Denso Corporation | Image processing device and storage medium |
JP2014204361A (ja) * | 2013-04-08 | 2014-10-27 | 株式会社ビートソニック | 車載モニタリングシステムにおける車載カメラ用アダプター |
KR101515166B1 (ko) | 2013-09-26 | 2015-05-04 | 사단법인 한국지능형교통체계협회 | 객체인식 기반의 주차장 이벤트 검지 시스템 |
WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
JP2015171106A (ja) * | 2014-03-10 | 2015-09-28 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
JP2014129093A (ja) * | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
EP3128738A4 (en) * | 2014-04-04 | 2017-06-28 | Wise Automotive Corporation | Apparatus and method for generating image around vehicle |
CN107079081A (zh) * | 2014-04-04 | 2017-08-18 | 伟智有限公司 | 车辆周边图像生成装置及方法 |
WO2016147846A1 (ja) * | 2015-03-17 | 2016-09-22 | 株式会社デンソー | 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム |
DE112016001238B4 (de) | 2015-03-17 | 2022-06-09 | Denso Corporation | Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm |
JP2016174300A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社デンソー | 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム |
KR101709009B1 (ko) * | 2015-08-18 | 2017-02-21 | 주식회사 와이즈오토모티브 | 어라운드 뷰 왜곡 보정 시스템 및 방법 |
JP2017076890A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
WO2017065132A1 (ja) * | 2015-10-15 | 2017-04-20 | 株式会社デンソー | 表示制御装置及び表示制御プログラムを格納した非一時的コンピュータ可読記憶媒体 |
DE112016004694B4 (de) | 2015-10-15 | 2023-05-17 | Denso Corporation | Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm |
CN108353147A (zh) * | 2015-10-15 | 2018-07-31 | 株式会社电装 | 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质 |
JP2017081445A (ja) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | 画像処理装置、及び、画像処理方法 |
JP2017175268A (ja) * | 2016-03-22 | 2017-09-28 | 株式会社デンソー | 画像処理装置、画像処理方法、及びプログラム |
KR20170141017A (ko) * | 2016-06-14 | 2017-12-22 | 주식회사 만도 | 차량제어장치 및 차량제어방법 |
KR102572707B1 (ko) * | 2016-06-14 | 2023-08-30 | 주식회사 에이치엘클레무브 | 차량제어장치 및 차량제어방법 |
DE112018005391T5 (de) | 2017-11-10 | 2020-06-25 | Denso Corporation | Anzeigeverarbeitungsvorrichtung |
WO2019142660A1 (ja) * | 2018-01-19 | 2019-07-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2021129185A (ja) * | 2020-02-13 | 2021-09-02 | トヨタ自動車株式会社 | 車両周辺監視装置 |
JP7319593B2 (ja) | 2020-02-13 | 2023-08-02 | トヨタ自動車株式会社 | 車両周辺監視装置 |
US11823463B2 (en) | 2020-02-13 | 2023-11-21 | Toyota Jidosha Kabushiki Kaisha | Vehicle periphery monitoring device |
CN113837936A (zh) * | 2020-06-24 | 2021-12-24 | 上海汽车集团股份有限公司 | 一种全景图像的生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3886376B2 (ja) | 2007-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003191810A (ja) | 車両周辺監視システム及び車両移動状態検出装置 | |
US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
US7482949B2 (en) | Parking assist method and a parking assist apparatus | |
US9639968B2 (en) | Generating an augmented view of a location of interest | |
US9418556B2 (en) | Apparatus and method for displaying a blind spot | |
JP4981566B2 (ja) | 運転支援装置および運転支援方法 | |
JP4067424B2 (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
US20150109444A1 (en) | Vision-based object sensing and highlighting in vehicle image display systems | |
JP2005001570A (ja) | 駐車支援装置 | |
US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
WO2002104032A1 (fr) | Processeur d'images peripheriques pour vehicule et support d'enregistrement | |
JP2007102798A (ja) | 車両周辺監視システム | |
JP2002166802A (ja) | 車両周辺モニタ装置 | |
KR20080020956A (ko) | 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 | |
JP2008279875A (ja) | 駐車支援装置 | |
JP6981433B2 (ja) | 運転支援装置 | |
JP7006460B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム | |
JP3521859B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP2004173048A (ja) | 車載カメラシステム | |
JP2005202787A (ja) | 車両用表示装置 | |
JP4857159B2 (ja) | 車両運転支援装置 | |
JP2008022064A (ja) | 車両用監視装置 | |
JP2007025739A (ja) | 車両用画像表示装置 | |
US11967007B2 (en) | Vehicle surroundings information displaying system and vehicle surroundings information displaying method | |
JP6700502B2 (ja) | 車両用表示制御装置および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3886376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |