JP3850271B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP3850271B2 JP3850271B2 JP2001342081A JP2001342081A JP3850271B2 JP 3850271 B2 JP3850271 B2 JP 3850271B2 JP 2001342081 A JP2001342081 A JP 2001342081A JP 2001342081 A JP2001342081 A JP 2001342081A JP 3850271 B2 JP3850271 B2 JP 3850271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- vehicle
- eye view
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【0002】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物(例えば駐車枠)の画像の相対位置関係が分かりに難いという問題がある。
【0003】
また、これとは別に、特開平10−211849号公報には、後方カメラで撮影した画像(後方カメラ画像)を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【0004】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【0005】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて(合成画像を作成し)、従来より広い範囲を表示する技術が開発されている。
【0006】
この新しい技術では、例えば画像処理による動きベクトルから、カーブ中の自車両の動きを検出し、鳥瞰図画像に用いることが可能であるが、路面の画像模様が少ない場合には誤差が発生する可能性があり、また、動きベクトルを算出するための計算量が多くなるという課題があった。
【0007】
この対策として、画像処理を用いずに、ヨーレイト信号や車速信号等の車両信号を用いることが考えられるが、車種によっては極低速の車速信号が得られない車両があり、必ずしも十分ではない。
また、これとは別に、上述した画像処理を、例えばシフトがバックギヤのタイミングで開始する場合には、その開始時点からのカメラ画像しか得られないので、モニタに表示する画像のデータが少ないという問題もあった。
【0008】
本発明は、前記課題を解決するためになされたものであり、車両信号を用いたり画像処理の技術を用いることにより、好適に車両の周囲の画像を処理することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【0009】
【課題を解決するための手段及び発明の効果】
(1)請求項1の発明は、車両周辺の画像を撮影する撮影手段(例えばカメラ)と、画像を表示する表示手段(例えばモニタ)とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【0010】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【0011】
そして、車両の移動状態に対応して、(例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な)第1鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、(第1鳥瞰図画像より)新しい第2鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
【0012】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第1鳥瞰図画像と第2鳥瞰図画像では、画像のずれ(撮影された部分の違い)が発生する。そこで、第2鳥瞰図画像に、そのずれの部分(即ち過去に視野内であったが現在視野から消えている部分)の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
【0013】
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号(即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも1種の車両信号)に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
【0014】
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両(又は低速では車速信号の精度が低下する車両)があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
【0016】
(2)請求項2の発明では、車両が回転状態であると判定された場合には、ハンドル角及びヨーレイトに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
車両が回転状態である場合には、ハンドル角やヨーレイトが分かれば、車両がどれほど回転移動したかが分かる。よって、車両の回転移動量に基づいて、鳥瞰図画像を回転移動させることにより、移動後鳥瞰図画像を作成することができる。
(3)請求項3の発明は、車両周辺の画像を撮影する撮影手段(例えばカメラ)と、画像を表示する表示手段(例えばモニタ)とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
そして、車両の移動状態に対応して、(例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な)第1鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、(第1鳥瞰図画像より)新しい第2鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第1鳥瞰図画像と第2鳥瞰図画像では、画像のずれ(撮影された部分の違い)が発生する。そこで、第2鳥瞰図画像に、そのずれの部分(即ち過去に視野内であったが現在視野から消えている部分)の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
特に本発明では、車両が所定の速度以下の低速である場合には、車速信号以外の他の車両信号(即ち、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも1種の車両信号)に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、常に正確な合成鳥瞰図画像を作成することができる。
つまり、上述した様に、車種によっては極低速の車速信号が得られない車両(又は低速では車速信号の精度が低下する車両)があるので、本発明では、車両が低速の場合には車速信号を用いずに、上述したその他の車両信号により、車両の移動量を求めて、移動後鳥瞰図画像を作成するのである。これにより、低速の場合でも正確な合成鳥瞰図画像を作成してモニタ等に表示することができる。
更に、本発明では、車両が直線状態か回転状態かを判定して、車両の移動状態を推定する。つまり、車両が直進状態又は回転状態では、車両の移動状態を推定する手法が多少異なるので、ここでは、車両の移動状態を直進か回転かで区別している。
そして、車両が直進状態であると判定された場合には、異なる時間における当該車両と周囲の物体との距離のデータから、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
つまり、車両が直進状態である場合には、例えば超音波センサにより検出した周囲の固定物(例えば他の車両や壁)との距離の変化が車両の移動距離である。従って、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。
【0020】
(4)請求項4の発明は、車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。そして、撮影手段により撮影された画像に基づいて作成された第1鳥瞰図画像を記憶し、第1鳥瞰図画像を車両の移動状態に応じて移動させて移動後鳥瞰図画像を作成し、第1鳥瞰図画像より後に撮影されて作成された第2鳥瞰図画像と、移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する。
【0021】
特に本発明では、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定することが困難な場合には、車両と周囲の物体との距離を検出する距離検出手段による信号に基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成する。
【0022】
つまり、例えば後方に他の車両等があり路面の画像を撮影できない場合(従って路面の画像から移動状態が分からない場合)には、例えば超音波センサにより検出した固定物との距離の変化が車両の移動距離であると考えられるので、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、正確な合成鳥瞰図画像をモニタ等に表示することができる。
【0023】
(5)請求項5の発明は、車両と周囲の物体との距離を、超音波センサにより検出することを例示したものである。
【0030】
(6)請求項6の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【0031】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【0032】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例(実施例)を説明する。
(実施例)
a)本実施例の基本的なシステム構成を図1及び図2を用いて説明する。
【0033】
図1に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ(例えばCCDカメラ)1と、ダッシュボードに配置された車載モニタ(例えば液晶ディスプレイ)3と、車速を検出する車速センサ5と、ハンドル角を検出するハンドル角センサ6と、ヨーレイトを検出するヨーレイトセンサ7と、車両に周囲の障害物を検出する超音波センサ8と、画像処理を行う画像処理ユニット9を備えている。
【0034】
前記画像処理ユニット9は、図2に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ1で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部(鳥瞰図変換回路)11と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリAと、画像メモリAの鳥瞰図画像を移動(例えば回転移動)して合成する等の画像処理などの演算を行うCPU13と、モニタ3に表示する鳥瞰図画像のデータを記憶する画像メモリBとを備えている。
【0035】
前記画像処理ユニット9には、ハンドル角信号を入力する車速信号入力回路15と、車速信号を入力する車速信号入力回路17と、ヨーレイト信号を入力するヨーレイト信号入力回路19と、超音波センサ8からの超音波信号を入力する超音波信号入力回路21が接続され、各信号はCPU13に入力される。
【0036】
ここで、画像メモリBに記憶する鳥瞰図画像の画像データとは、後述する様に、2回目の処理以降は、合成鳥瞰図画像の画像データである。つまり、前回(例えば時刻Tに)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第1鳥瞰図画像)を移動させた鳥瞰図画像(移動後鳥瞰図画像)と、新たに(例えば時刻T+1に)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第2鳥瞰図画像)とを合成した鳥瞰図画像(合成鳥瞰図画像)の画像データである。
【0037】
尚、画像処理ユニット3は、カメラ1と一体の構造となっていてもよく、画像処理ユニット9内の各構成は、一部又は全体で一体化してLSIで構成してもよい。い。
b)次に、本実施例における画像処理の手順等を、図3〜図6に基づいて説明する。
【0038】
ここでは、車両を後退(バック)させて駐車枠内に入れる場合を例に挙げる。
▲1▼最初に、カメラ1から入力された画像を、鳥瞰図変換回路11で上空から見た鳥瞰図画像に変換し、画像メモリAに保存する手順を説明する。
まず、カメラ1から出力される原画像(出力画像)を、図3(a)に示すが、この原画像は、車両の後部の上部に配置されたカメラ1により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両(従ってカメラ1)と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【0039】
よって、後に▲2▼にて詳述する様に、原画像の画像データを座標変換して、図3(b)に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリAに記憶する。
▲2▼次に、前記カメラ1で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術(例えば特開平10−211849号公報)を利用できる。
【0040】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像(例えば駐車枠)の位置を鳥瞰図として求める。
具体的には、図4に示す様に、地上の画像の位置データをカメラ位置Rからの焦点距離fにあるスクリーン平面Tに投影するときの透視変換を実行する。
【0041】
詳しくは、カメラ1は、Z軸上の点R(0,0,H)に位置し、見下ろし角τで地上面(xy座標面)における画像をモニタしているとする。
従って、ここでは、下記式(1)に示す様にして、スクリーン平面T上の2次元座標(α、β)を、地上面上の座標(鳥瞰図座標)に変換(逆の透視変換)できる。
【0042】
【数1】
【0043】
つまり、上記式(1)を用いることにより、投影画像データを(鳥瞰図画像を示す)モニタ3の画面に対応した画像データに変換してモニタ表示することができる。
▲3▼次に、自車両がカーブ中の場合の画像処理の手順について説明する。
【0044】
ここでは、ハンドル角とヨーレイトを用いて画像処理を行う。
ハンドル角θh[°]と回転半径XC[m]は逆比例の関係にあり、変換係数K[m・°]を用いれば、下記式(2)より算出できる。尚、直進でハンドル角θh[°]が0°のとき、XC[m]は無限大となる。
XC[m]=K[m・°]/tan(θh)[°] ・・・・(2)
図5に示す様に、ヨーレイトセンサ7から得られるヨーレイトが回転角θ[°]であり、後進時の自車両の回転中心は、後輪車軸上(カメラ1からの距離YC[m])にあるとすると、車両は、カーブ中の回転中心位置が(XC、YC)にて、回転角θ[°]移動したことになる。
【0045】
そして、この回転中心位置及び回転角を用い、画像メモリBの画像(前回の合成鳥瞰図画像)を移動させる。尚、まだ合成が実施されていない初回のみは、画像メモリBには画像メモリAと同様な鳥瞰図画像の画像データが記憶されている。
【0046】
つまり、画像メモリBに記憶された前回の合成鳥瞰図画像の画像データを、CPU13の内部メモリに転送し、前記回転中心位置(XC、YC)及び回転角θを用いて、鳥瞰図画像を回転移動する。
この回転移動を行うための変換式を、下記式(3)に示すが、この変換式を用いたCPU13の内部処理により、回転角θにて移動させた移動後の座標(XB、YB)に対して、移動前の対応する点(XA、YA)を算出し、(XA、YA)の画素値を(XB、YB)のアドレスメモリに保存する。
XA=XB・COSθ+YB・SINθ ・・・(3)
YA=YB・COSθ−XB・SINθ
但し、(XA、YA):移動前の座標
(XB、YB):移動後の座標
そして、全ての座標についてこれらの演算を行うことにより、画像メモリBに記憶された鳥瞰図画像(時刻Tにおける合成鳥瞰図画像)から、移動後の鳥瞰図画像(時刻Tにおける移動後鳥瞰図画像)を作成する。
【0047】
それとともに、新たにカメラ1により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像(時刻T+1における第2鳥瞰図画像)を、新たに画像メモリAよりCPU13に転送する。
よって、CPU13では、第2鳥瞰図画像を時刻Tと位置関係が対応する位置(移動後鳥瞰図画像との画像のずれが生じない位置)に書き込み、それによって、移動後鳥瞰図画像と第2鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成する。
【0048】
そして、この合成鳥瞰図画像を画像メモリBに記憶して、その合成鳥瞰図画像をモニタ3に表示するのである。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ1の視野角の画像なども加入して画像メモリBに記憶し、その合成鳥瞰図画像をモニタ3の画面に表示してもよいが、自車両の位置やカメラ1の視野角の画像などは画像メモリBに記憶せずに、モニタ3に画像メモリBに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ1の視野角の画像など加えて描画してもよい。
【0049】
▲4▼次に、自車両が直進中の場合の処理の手順について説明する。
ハンドル角が0°で走行中の場合には、車両は前進又は後進中であり、車両の移動は直線移動となる。
車両の速度が例えば5km/h以下の極低速の場合には、車種(従って車速センサ5)によっては、車速信号が入力しないか入力しても不正確なことがある。
【0050】
従って、ここでは、低速である場合には車速信号を用いずに、画像処理による動きベクトルにより車両の移動量を求める。
例えば時刻Tの鳥瞰図画像から時刻T+1の鳥瞰図画像に変化した場合、両鳥瞰図画像のマッチングをとって画像の動きベクトルの大きさVを求める。
【0051】
ここで、前記マッチングの手法を説明するが、画像処理における従来の各種の手法を採用できる。
例えば画像A、Bの所定の(マッチング用の)領域を、図6に示す様に、複数の細かい領域(ピクセル)に分割し、各画像A、Bのピクセルの一致する程度が最も高いものを検出し、一致するピクセルの位置関係から、画像Aと画像Bの位置関係(即ち画像Aがどれだけ移動したか)を求めることができる。
【0052】
具体的には、図6に示す様に、各ピクセルにおける例えば図形の明るさ(色彩でもよい)の程度を数字で示す場合を考えると、ここでは、画像Aの下3列のピクセルの明るさと、画像Bの上3列のピクセルの明るさとが一致する。従って、この場合には、画像Aは、1列のピクセルの幅だけ図の上下方向に移動して、画像Bと一致すると見なすことができる。この場合は、車両が図の下方に移動したことにより、画像Bの図形が上方に移動したように見える。
【0053】
従って、下記式(4)に示す様に、動きベクトルの大きさV分だけ、鳥瞰図画像を平行移動させる
XA=XB ・・・(4)
YA=YB−V
但し、(XA、YA):移動前の座標
(XB、YB):移動後の座標
そして、以後は、前記▲3▼の回転移動と同様に、全ての座標についてこれらの演算を行うことにより、画像メモリBに記憶された鳥瞰図画像から、移動後の鳥瞰図画像を作成し、それとともに、新たにカメラ1により撮影した画像に基づいて作成した鳥瞰図画像を、新たに画像メモリAよりCPU13に転送し、これらを合成して合成鳥瞰図画像の画像データを作成する。
【0054】
そして、この合成鳥瞰図画像を画像メモリBに記憶して、その合成鳥瞰図画像をモニタ3に表示するのである。
▲5▼次に、後ろに障害物がある場合の処理の手順について説明する。
後ろに障害物がある場合には、画像処理の動きベクトルで自車両の移動量を算出することができない。つまり、動きベクトルは、路面の画像に対してその動きを求めているので、後ろに他の車両が駐車しているために路面が見えない場合などには、正しい動きベクトルを求めることができない。
【0055】
この場合には、超音波センサ8の信号を用い、その検出距離の変位から移動量を算出することができる。
例えば超音波センサ8の信号が前回C1(m)、今回C2(m)となった場合には、下記式(5)により、その移動量を求めることができる(但し、直進の場合)。
XA=XB ・・・(5)
YA=YB−(C1−C2)
但し、(XA、YA):移動前の座標
(XB、YB):移動後の座標
これにより、移動前と移動後の座標の対応関係が分かるので、この対応関係に基づいて前回の合成鳥瞰図画像を移動させて移動後鳥瞰図画像を求めることができる。
【0056】
▲6▼次に、画像処理を開始するタイミングついて説明する。
上述したカメラ1による画像の撮影から合成鳥瞰図画像の作成までの処理は、例えば駐車時の様に、車両が所定の低速(例えば10km/h)以下になった場合に開始する。
【0057】
これにより、例えばバックギヤに入れるために車両が停止したときには、その直前の前進時の履歴の合成鳥瞰図画像ができているので、現時点にてカメラ1で撮影しただけの場合と比べて、車両周囲の多くの画像を表示することができる。c)次に、前記画像処理ユニット9等にて行われる処理を、図7のフローチャートに基づいて説明する。
【0058】
図7に示す様に、まず、ステップ100にて、車速センサ7からの車速信号を読み込む。
続くステップ110では、車速が所定の低速(例えば10km/h)以下か否かを判定する。ここで肯定判断されるとステップ120に進み、一方否定判断されると前記ステップ100に戻る。
【0059】
ステップ120では、カメラ1で撮影した画像のデータを入力する。
続くステップ130では、ハンドル角センサ6からハンドル角信号を入力する。
続くステップ140では、ヨーレイトセンサ7からヨーレイト信号を入力する。
【0060】
続くステップ150では、超音波センサ8から超音波信号を入力する。
続くステップ160では、カメラ1で撮影した画像の座標変換(前記鳥瞰図変換)を行って、鳥瞰図画像を作成する。
続くステップ170では、前記鳥瞰図画像を画像メモリAに記憶する。
【0061】
続くステップ180では、今回の処理が初回の処理か否かを判定する。ここで肯定判断されるとステップ190に進み、一方否定判断されるとステップ200に進む。
ステップ190では、初回の処理であるので、画像メモリAに記憶した画像データを、画像メモリBにも記憶し、前記ステップ100に戻る。尚、画像メモリBに記憶された鳥瞰図画像は、そのままモニタ3に表示される(図8(a)参照)。
一方、ステップ200では、初回の処理ではないので、車両が直進状態か否かを、ハンドル角が0°か否かによって判定する。ここで直進状態であると判定されるとステップ230に進み、一方回転状態であると判定されるとステップ210に進む。
【0062】
ステップ210では、車両が回転状態であるので、前記▲3▼にて説明した手順に従って画像の処理を行う。具体的には、ハンドル角、ヨーレイトにより、車両の回転中心及び回転角を求める。
続くステップ220では、前記ステップ210で求めた回転中心、回転角を用い、前記式(4)に基づいて、鳥瞰図画像を回転する。つまり、画像メモリBに記憶されている鳥瞰図画像(前回の合成鳥瞰図画像が記憶されている場合にはその合成鳥瞰図画像)を回転させて、移動後鳥瞰図画像を作成する。
【0063】
続くステップ280では、新たに撮影されて画像メモリAに記憶された(時刻T+1における)第2鳥瞰図画像を、画像メモリAから読み、その第2鳥瞰図画像と移動後鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
具体的には、新たな(第2鳥瞰図画像に対応する)カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、移動後鳥瞰図画像の一部(詳しくは第2鳥瞰図画像と重なる部分は除いたもの)を書き込むようにして、合成鳥瞰図画像を作成する。
【0064】
続くステップ290では、合成鳥瞰図画像を、画像メモリBに記憶する。
続くステップ300では、車両を示す画像や視野角を示す画像などを加味して、画像メモリBに記憶した合成鳥瞰図画像をモニタ3に表示し(図8(b)参照)、一旦本処理を終了する。
【0065】
一方、前記ステップ200にて肯定判断されて進むステップ230では、車両が直進状態であるので、超音波センサ8からの信号に基づいて、障害物との距離が1.5m以下であるかを判定する。ここで否定判断されるとステップ240に進み、一方肯定判断されるとステップ250に進む。
【0066】
ステップ240では、車両後方には近くに障害物が無いので、画像メモリAと画像メモリBとの画像データから動きベクトルを求める処理を行う。
続くステップ260では、動きベクトルの大きさから、画像(前回の合成鳥瞰図画像)の移動量を求める。
【0067】
続くステップ270では、画像(前回の合成鳥瞰図画像)を、前記移動量の分だけ平行移動させて移動後鳥瞰図画像を作成し、前記ステップ280〜300の処理に進んで、モニタ3に新たな合成鳥瞰図画像を表示し(図8(c)参照)、一旦本処理を終了する。
【0068】
一方、前記ステップ230にて肯定判断されて進むステップ250では、障害物との距離が1.5m以下と近いので、即ち、車両後方の路面の鳥瞰図画像から移動量を求めることができないので、超音波センサ8による障害物の検出距離の変位量からの車両の移動量を求める。
【0069】
続くステップ260では、車両の移動量は画像(前回の合成鳥瞰図画像)の移動量と方向が反対として、画像の移動量を決定し、前記ステップ270〜300の処理に進んで、モニタ3に新たな合成鳥瞰図画像を表示し、一旦本処理を終了する。
【0070】
以後同様な処理を、新たにカメラ1で撮影された画像が取り込まれる毎に実施する。つまり、順次、合成鳥瞰図画像を作成して記憶するとともに、その合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第2鳥瞰図画像とを合成して新たな合成鳥瞰図画像としてモニタ3に表示する処理を繰り返してゆく。これにより、モニタ3には、図8に示す様な連続した画像が表示される。
【0071】
d)この様に、本実施例では、車両が所定の速度以下の低速である場合(例えば10km/h)には、車速信号以外の他の車両信号(ハンドル角及びヨーレイト)や、異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、車両の移動状態を推定して、移動後鳥瞰図画像を作成するので、車速信号が得られない車種や低速では車速信号が不正確になる車種の場合でも、常に精度の高い合成鳥瞰図画像を作成して、モニタ3に表示することができる。
【0072】
また、本実施例では、例えば後方に他の車両等があり路面の画像を撮影できない場合(従って路面の画像から移動状態が分からない場合)には、超音波センサ8により検出した障害物との距離の変化を車両の移動距離とみなして、この移動距離に基づいて、移動後鳥瞰図画像を作成することができる。よって、その様な場合でも、正確な合成鳥瞰図画像をモニタ3に表示することができる。
【0073】
更に、本実施例では、合成鳥瞰図画像等を作成する画像処理の開始のタイミングを、停車の可能性のある様な低速になった場合(例えば10km/h)としているので、例えばバックで駐車を開始する様な場合には、それ以前の時点における車両の周囲の画像をも表示することができ、駐車の操作の際に非常に便利である。
【0074】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
(1)例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。
【0075】
(2)例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図1】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図2】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図3】 実施例の車両周辺画像処理装置により用いられる画像を示し、(a)はカメラにより撮影された画像の説明図、(b)は鳥瞰図画像を示す説明図である。
【図4】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図5】 実施例の車両周辺画像処理装置による車両の回転時の移動量を求めるための手法を示す説明図である。
【図6】 実施例の車両周辺画像処理装置による車両の直進時の移動量を求めるための手法を示す説明図である。
【図7】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図8】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示
【符号の説明】
1…カメラ
3…車載モニタ(モニタ)
5…車速センサ
6…ハンドル角センサ
7…ヨーレイトセンサ
8…超音波センサ
9…画像処理ユニット
Claims (6)
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第1鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第1鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第1鳥瞰図画像より後に撮影されて作成された第2鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
前記車両が所定の速度以下の低速である場合には、車速信号以外の、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも1種の車両信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 前記車両が回転状態であると判定された場合には、ハンドル角及びヨーレイトに基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする前記請求項1に記載の車両周辺画像処理装置。
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第1鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第1鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第1鳥瞰図画像より後に撮影されて作成された第2鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
前記車両が所定の速度以下の低速である場合には、車速信号以外の、ハンドル角を示す信号、ヨーレートを示す信号、及び車両の周囲物体との距離を示す信号のうち少なくとも1種の車両信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成し、
更に、前記車両が直線状態か回転状態かを判定することにより、前記車両が直進状態であると判定された場合には、異なる時間における当該車両と周囲の物体との距離のデータから、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第1鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第1鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第1鳥瞰図画像より後に撮影されて作成された第2鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えるとともに、
異なる撮影時間に対応する鳥瞰図画像間の画像データに基づいて、前記車両の移動状態を推定することが困難な場合には、前記車両と周囲の物体との距離を検出する距離検出手段による信号に基づいて、前記車両の移動状態を推定して、前記移動後鳥瞰図画像を作成することを特徴とする車両周辺画像処理装置。 - 前記車両と周囲の物体との距離を、超音波センサにより検出することを特徴とする前記請求項3又は4に記載の車両周辺画像処理装置。
- 前記請求項1〜5のいずれかに記載の車両周辺画像処理装置による処理を実行させる手段を記憶していることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342081A JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342081A JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003143597A JP2003143597A (ja) | 2003-05-16 |
JP3850271B2 true JP3850271B2 (ja) | 2006-11-29 |
Family
ID=19156001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001342081A Expired - Fee Related JP3850271B2 (ja) | 2001-11-07 | 2001-11-07 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3850271B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4724522B2 (ja) * | 2004-10-28 | 2011-07-13 | 株式会社デンソー | 車両周囲視界支援システム |
JP4449701B2 (ja) * | 2004-10-28 | 2010-04-14 | 株式会社デンソー | 駐車支援システム |
JP2006268076A (ja) * | 2005-03-22 | 2006-10-05 | Sanyo Electric Co Ltd | 運転支援システム |
US7545956B2 (en) | 2005-08-12 | 2009-06-09 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
JP4682809B2 (ja) | 2005-11-04 | 2011-05-11 | 株式会社デンソー | 駐車支援システム |
-
2001
- 2001-11-07 JP JP2001342081A patent/JP3850271B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003143597A (ja) | 2003-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP4863791B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
JP3475507B2 (ja) | 車両用周囲モニタ装置 | |
US6539288B2 (en) | Vehicle rendering device for generating image for drive assistance | |
US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
TWI468647B (zh) | 障礙物偵測系統及其障礙物偵測方法 | |
JP4067424B2 (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
JP2004297808A (ja) | 移動体周辺監視装置 | |
JP2006268076A (ja) | 運転支援システム | |
JP4759878B2 (ja) | 車両用駐車支援装置 | |
JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP4071463B2 (ja) | 車両周辺画像処理装置 | |
JP2004120661A (ja) | 移動体周辺監視装置 | |
JP3521859B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3395393B2 (ja) | 車両周囲表示装置 | |
JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3900415B2 (ja) | 車両周辺画像処理装置,プログラム及び記録媒体 | |
JP2006252577A (ja) | 地図データ生成装置 | |
JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP4493885B2 (ja) | 運転支援システム | |
TWM591940U (zh) | 全景停車輔助系統及其裝置 | |
JP5132796B2 (ja) | 車両周辺画像生成装置および画像切替方法 | |
JP2001341600A (ja) | 駐車支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060829 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3850271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |