JP3796417B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP3796417B2 JP3796417B2 JP2001195135A JP2001195135A JP3796417B2 JP 3796417 B2 JP3796417 B2 JP 3796417B2 JP 2001195135 A JP2001195135 A JP 2001195135A JP 2001195135 A JP2001195135 A JP 2001195135A JP 3796417 B2 JP3796417 B2 JP 3796417B2
- Authority
- JP
- Japan
- Prior art keywords
- bird
- eye view
- image
- view image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【0002】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物(例えば駐車枠)の画像の相対位置関係が分かりに難いという問題がある。
【0003】
また、これとは別に、特開平10−211849号公報には、後方カメラで撮影した画像(後方カメラ画像)を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【0004】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【0005】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の(広い画像領域における)時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて、従来より広い範囲を表示する技術が開発されている。
【0006】
この技術は、それ以前の技術よりも優れているものであるが、画像処理のための演算は膨大なものであるので、演算処理の負担の軽減など、一層の改善が望まれている。
本発明は、前記課題を解決するためになされたものであり、例えばカメラの視野の外に出た部分を推定して描画することができるとともに、その演算処理の負担を軽減することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段及び発明の効果】
(1)請求項1の発明は、車両周辺の画像を撮影する撮影手段(例えばカメラ)と、画像を表示する表示手段(例えばモニタ)とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【0008】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。即ち、第1鳥瞰図画像及びそれより時間的に後の画像である第2鳥瞰図画像の画像データを作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【0009】
更に、本発明では、第1鳥瞰図画像及び第2鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出し、その動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像(例えば表示手段に表示した鳥瞰図画像、例えば前回の合成鳥瞰図画像)を移動させて移動後鳥瞰図画像の画像データを作成する。この移動後鳥瞰図画像の画像データと(新しい)第2鳥瞰図画像の画像データとを合成して、表示手段に表示する合成鳥瞰図画像の画像データを作成する。
【0010】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第1鳥瞰図画像と第2鳥瞰図画像では、画像のずれ(撮影された部分の違い)が発生する。そこで、本発明では、この画像をずれを、動きベクトルとして把握し、この動きベクトルに対応するように、例えば前回までに得られた合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成するのである。
【0011】
これによって、モニタ等にカメラ等の視野から消えた部分を表示できるので、車両の周囲の状況をより明確に把握することができる。
この様に、本発明では、カメラ等の現在の視野から外れた領域を表示できるので、例えばバックで駐車する場合に、その操作が極めて容易になるという効果を奏する。
【0012】
特に、本発明では、画像の動きベクトル、即ち車両の移動状態を示す動きベクトルを用いて移動後鳥瞰図画像を作成するので、画像処理のための演算等を簡易化できるという利点がある。
よって、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【0013】
(2)請求項2の発明では、動きベクトルに基づいて、車両の動き量(平行移動した量や回転移動した量)を求め、この車両の動き量に基づいて、例えば前回までに得られた合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成する。
前記動きベクトルは、車両の動き量に対応しているので、この動きベクトルを用いれば、実際に車両がどのように移動したが分かる。よって、車両の動き量から、所定の関係式(例えば後述する式(3))などを用いて、例えば前回の合成鳥瞰図画像から移動後鳥瞰図画像を作成することができる。
【0014】
(3)請求項3の発明では、動きベクトルに基づいて、車両の回転位置を検出するとともに、動きベクトルに基づいて、車両の回転角を検出する。
本発明は、動きベクトルに基づいて、例えば前回の合成鳥瞰図画像を移動させて、移動後鳥瞰図画像を作成する手法を例示したものである。
【0015】
これにより、簡易な方法で移動後鳥瞰図画像を作成することができる。
(4)請求項4の発明では、回転中心を後輪車軸上にあるとした場合(これを拘束条件とした場合)に、動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、車両の回転中心とする。
【0016】
つまり、本発明では、回転中心を算出するにあたり、各動きベクトルの2等分点における直交線と後輪車軸の延長線の交点を算出する。この交点は、動きベクトルの誤差からバラツキをもって存在することがあるが、後輪車軸の延長線を利用することにより、そのバラツキの影響を低減することができる。
【0017】
また、ここでは、最も頻度が高く交点が存在する位置を、回転中心位置として用いることができる。これにより、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
(5)請求項5の発明では、(1又は複数の)動きベクトルの大きさ(動きベクトルの長さに対応するスカラー量)を判定し、その大きさが所定値より小さい場合には、動きベクトルに基づく移動後鳥瞰図画像の作成を中止する。
【0018】
動きベクトルが小さい場合には、画像の移動状態(従って車両の移動状態)が把握し難く、例えば車両の回転中心や回転角の演算の際に、誤差が発生する可能性が大きい。よって、動きベクトルが小さい場合には、(この動きベクトルを用いる)それ以降の画像作成の処理を中止するのである。
【0019】
尚、複数の動きベクトルを用いる場合には、前記動きベクトルの大きさを示す値として、算出した全ての動きベクトルの平均値を採用したり、所定以上の大きさの動きベクトルの平均値などを採用することができる。
(6)請求項6の発明では、動きベクトルとして、複数の動きベクトルを用いる。
【0020】
本発明では、複数の動きベクトルを用いるので、1つの動きベクトルを用いた場合と比べて、画像の移動状態(従って車両の移動状態)をより正確に把握することができる。
(7)請求項7の発明では、複数の動きベクトルの各直交線の交点に基づいて、車両の回転中心を決定する。
【0021】
画像は車両の移動に対応して移動するので、図6(a)に示す様に、複数の動きベクトルに対して、それぞれ一定の方法で直交線(例えば各動きベクトルの二等分線)を引いた場合には、それらの直交線は理論的には1点(交点)で交わる。従って、その交点が車両の回転中心である。
【0022】
この交点は、動きベクトルの誤差からバラツキをもって存在することがあるが、最も頻度が高く交点が存在する位置を、回転中心位置として用いることができる。これにより、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
【0023】
(8)請求項8の発明では、車両の回転中心に対する動きベクトルの大きさに基づいて、車両の回転角を決定する。
図6(b)に示す様に、車両の回転中心から動きベクトルを見た場合、回転角は動きベクトルの両端点間の大きさに対応している。従って、動きベクトルの大きさから回転角を求めることができる。
【0024】
(9)請求項9の発明では、合成鳥瞰図画像は、第2鳥瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像を加入した画像である。
本発明は、合成鳥瞰図画像の形成方法を例示したものである。これにより、車両の周囲の画像を連続して表示することができる。
【0025】
つまり、上述した様に、例えばカメラにより現在撮影されている画像は、第2鳥瞰図画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を、移動後鳥瞰図画像として第2鳥瞰図画像の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【0026】
(10)請求項10の発明では、メモリBに、鳥瞰図画像作成手段により作成された第1鳥瞰図画像を記憶し、メモリAに、鳥瞰図画像作成手段により作成された第2鳥瞰図画像を記憶し、メモリCに、合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶する。
【0027】
本発明は、各鳥瞰図画像を記憶するメモリを例示したものである。
(11)請求項11の発明では、メモリCに記憶された合成鳥瞰図画像を、表示手段に表示する。
これにより、合成鳥瞰図画像をモニタ等に表示することができる。
【0028】
(12)請求項12の発明では、表示手段に合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示する。
本発明では、車両の周囲の状況を示す合成鳥瞰図画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
【0029】
尚、例えばカメラは車両の所定位置に固定されているので、例えばモニタの画面における自車両の位置は常に一定である。従って、モニタの画面の決まった位置に自車両を表示することができ、更には、モニタの画面上に予めプリント等により車両を記載してもよい。
【0030】
また、カメラの視野角も通常は一定であるので、自車両だけでなく、モニタの画面に、カメラの視野角(左右の範囲)も表示してもよい。
(13)請求項13の発明は、コンピュータを、車両周辺の画像を撮影する撮影手段によって異なる時間に撮影された複数の画像に基づいて、第1鳥瞰図画像とそれより後の第2鳥瞰図画像とを作成する鳥瞰図画像作成手段、前記第1鳥瞰図画像及び第2鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段、前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段、前記第2鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段、として機能させるためのプログラムを記録した記録媒体である。
【0031】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【0032】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例(実施例)を説明する。
(実施例)
a)本実施例の基本的なシステム構成を図1及び図2を用いて説明する。
【0033】
図1に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ(例えばCCDカメラ)1と、ダッシュボードに配置された車載モニタ(例えば液晶ディスプレイ)3と、画像処理を行う画像処理ユニット5を備えている。
【0034】
前記画像処理ユニット5は、図2に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ1で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部(鳥瞰図変換回路)11と、今回作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリAと、前回作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリBと、前回と今回の鳥瞰図画像の画像データから画像の動きベクトルを算出する動きベクトル算出回路13と、モニタ3に表示する鳥瞰図画像のデータを記憶する画像メモリCと、動きベクトルに基づいて鳥瞰図画像を移動(例えば回転移動)させて合成する等の上述した一連の演算処理を行うCPU15とを備えている。
【0035】
ここで、画像メモリAに記憶する鳥瞰図画像の画像データとは、後述する様に、今回(例えば時刻T+1に)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第2鳥瞰図画像)である。
また、画像メモリBに記憶する鳥瞰図画像の画像データとは、前回(例えば時刻Tに)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第1鳥瞰図画像)である。
【0036】
更に、画像メモリCに記憶する鳥瞰図画像の画像データとは、既にモニタ3に表示されている前回までの鳥瞰図画像(前回までの合成鳥瞰図画像)を移動させた鳥瞰図画像(移動後鳥瞰図画像)と、(例えば時刻T+1に)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第2鳥瞰図画像)とを合成した鳥瞰図画像(合成鳥瞰図画像)の画像データである。
【0037】
つまり、本実施例では、後に詳述する様に、動きベクトルを用いて、実空間での車両の回転中心位置と回転角とを算出し、この結果より画像メモリCの画像データを回転移動させる。次に、その結果を画像メモリCに保存し、これに画像メモリAの結果を上書きする処理を実行し、その結果をモニタ3に表示する。そして、この様な処理を連続的に実施することにより、今までにカメラ1の視野から消えた部分を含む(時系列的に)連続したモニタ画像を得る。
【0038】
尚、画像処理ユニット3は、カメラ1と一体の構造となっていてもよく、画像処理ユニット5内の各構成は、一部又は全体で一体化してLSIで構成してもよい。い。
b)次に、本実施例における画像処理の手順等を、図3〜図7に基づいて説明する。
【0039】
ここでは、車両を後退(バック)させて駐車枠内に入れる場合を例に挙げる。
▲1▼最初に、カメラ1から入力された画像を、鳥瞰図変換回路11で上空から見た鳥瞰図画像に変換し、画像メモリAに保存する手順を説明する。
図3(a)に、カメラ1から出力される原画像(出力画像)を示すが、この原画像は、車両の後部の上部に配置されたカメラ1により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両(従ってカメラ1)と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【0040】
よって、後に▲2▼にて詳述する様に、原画像の画像データを座標変換して、図3(b)に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリAに記憶する。
尚、次に撮影が行われて新たな鳥瞰図画像が作成された場合には、前回の鳥瞰図画像が画像メモリBに記憶され、新たな鳥瞰図画像が画像メモリAに記憶される。従って、画像メモリAには、新たな時刻(T+1)における第2鳥瞰図画像が記憶され、画像メモリBには、前回の時刻(T)における第1鳥瞰図画像が記憶される。
【0041】
▲2▼次に、前記カメラ1で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術(例えば特開平10−211849号公報)を利用できる。
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像(例えば駐車枠)の位置を鳥瞰図として求める。
【0042】
具体的には、図4に示す様に、地上の画像の位置データをカメラ位置Rからの焦点距離fにあるスクリーン平面Tに投影するときの透視変換を実行する。
詳しくは、カメラ1は、Z軸上の点R(0,0,H)に位置し、見下ろし角τで地上面(xy座標面)における画像をモニタしているとする。
【0043】
従って、ここでは、下記式(1)に示す様にして、スクリーン平面T上の2次元座標(α、β)を、地上面上の座標(鳥瞰図座標)に変換(逆の透視変換)できる。
【0044】
【数1】
【0045】
つまり、上記式(1)を用いることにより、投影画像データを(鳥瞰図画像を示す)モニタ3の画面に対応した画像データに変換してモニタ表示することができる。
▲3▼次に、鳥瞰図画像の動きベクトルに基づいて、画像メモリCに記憶した鳥瞰図画像(前回の合成鳥瞰図画像)を移動させる手順(i)〜(iv)を説明する。
【0046】
(i)まず、動きベクトル算出回路13により、過去の第1鳥瞰図画像に対する現在の第2鳥瞰図画像の動きベクトルを算出する手法を説明する。
ここでは、図5に示す様に、第1鳥瞰図画像及び第2鳥瞰図画像を、同じメッシュ間隔のメッシュにて所定の分割領域に分割し、両画像のマッチング処理により、第1鳥瞰図画像の分割領域の画像データと最も類似するものを第2鳥瞰図画像にて検索する。
【0047】
例えば図5(a)に示す様に、第1鳥瞰図画像にて、座標(x0、y0)と(x0+8、y0+8)で指定された縦8ドット×横8ドットの分割領域1を設定した場合には、図5(b)に示す様に、第2鳥瞰図画像にて、分割領域1に対応する分割領域2(同図の斜線部分)を含み、分割領域2より大きな縦24ドット×横24ドットの検索領域(同図の破線の枠内)を設定する。
【0048】
次に、この検索領域にて、縦8ドット×横8ドットのマッチング領域(同図の点描部分)を設定し、このマッチング領域を1ドットづつ横方向(矢印方向)に移動し、その横方向への移動が終了すると1ドット分縦方向(下方向)に移動して、同様に左端から横方向に移動させる処理を行う。
【0049】
つまり、マッチング領域の始点を(xs、ys)とすると、その始点を同図の太線の枠内で、上述した様に1ドットづつ移動させることにより、マッチング領域を順次移動させるのである。
そして、マッチング領域を1ドットづつづらす毎に、前記分割領域1の画像データと各マッチング領域の画像データとの画像のマッチング処理を行う。
【0050】
このマッチング処理とは、分割領域1の画像データと各マッチング領域の画像データとがどの程度一致するかを示すものであり、下記式(2)により求めることができる。
【0051】
【数2】
【0052】
前記式(2)において、GBとは第2鳥瞰図画像(現在)の画像データを示し、GAとは第1鳥瞰図画像(過去)の画像データを示し、この式(2)によって得られるS(相関値)が小さいほど、両画像の一致度が高いと見なすことができる。
【0053】
従って、全てのマッチング処理が終了した後、最も相関値Sが小さいマッチング領域(選択マッチング領域)が、分割領域1と同じ画像を示していると判断することができる。
これにより、分割領域1から選択マッチング領域に、画像が移動したと見なすことができる。従って、図5(c)に示す様に、例えば各領域の中心を設定すると、分割領域1の中心から選択マッチング領域の中心に到る動きベクトルを得ることができる。
【0054】
同様に、第1鳥瞰図画像にて、数カ所分割領域を設定し、これらの分割領域と一致する選択マッチング領域を求め、両領域の位置関係から、動きベクトルを求める。
尚、上述した手法によって求めた複数の動きベクトルを、図6(a)に示すが、ベクトル算出画像領域とは、算出した全ての動きベクトルの向きと大きさとを示す画像領域であり、その原点は、例えば図6(a)に示す第2鳥瞰図画像に左下端に対応するものである。
【0055】
(ii)次に、図6(a)に示す様に、各動きベクトルの二等分点における直交線を求め、それらの直交線の交点から、車両の回転中心(XC、YC)を求める。
また、図6(b)に示す様に、回転中心(XC、YC)を中心とした各動きベクトルの始点から終点に到るまでの中心角と車両の回転角とは一致するので、その中心角を車両の回転角θとして求める。
【0056】
(iii)次に、上述した様にして求めた回転中心(XC、YC)及び回転角θを用いて、下記の様にして、鳥瞰図画像を移動する。
画像メモリCに記憶された前回までの合成鳥瞰図画像の画像データを、CPU15の内部メモリに転送し、前記回転中心(XC、YC)及び回転角θを用いて、鳥瞰図画像を回転移動する。
【0057】
この回転移動を行うための変換式を、下記式(3)に示すが、この変換式を用いたCPU15の内部処理により、回転角θにて移動させた移動後の座標(XB、YB)に対して、移動前の対応する点(XA、YA)を算出し、(XA、YA)の画素値を(XB、YB)のアドレスメモリに保存する。
【0058】
XA=XB・COSθ+YB・SINθ ・・・(3)
YA=YB・COSθ−XB・SINθ
但し、(XA、YB):移動前の座標
(XB、YB):移動後の座標
θ :回転角
そして、全ての座標についてこれらの演算を行うことにより、画像メモリCに記憶された前回までの鳥瞰図画像(合成鳥瞰図画像)から、移動後の鳥瞰図画像(時刻Tにおける移動後鳥瞰図画像)を作成する。
【0059】
(iv)それとともに、新たにカメラ1により撮影した画像に基づいて作成した鳥瞰図画像、即ち、画像メモリAに記憶した現在の鳥瞰図画像(時刻T+1における第2鳥瞰図画像)を、画像メモリAよりCPU15に転送する。
よって、CPU15では、第2鳥瞰図画像を時刻Tと位置関係が対応する位置(移動後鳥瞰図画像との画像のずれが生じない位置)に書き込み、それによって、移動後鳥瞰図画像と第2鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、その画像データを画像メモリCに記憶する。
【0060】
例えば、移動後鳥瞰図画像に第2鳥瞰図画像を上書して合成鳥瞰図画像を形成し、それを画像メモリCに記憶する。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ1の視野角の画像なども加入して画像メモリCに記憶し、その合成鳥瞰図画像をモニタ3の画面に表示してもよいが、自車両の位置やカメラ1の視野角の画像などは画像メモリCに記憶せずに、モニタ3に画像メモリCに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ1の視野角の画像など加えて描画してもよい。
【0061】
c)次に、前記画像処理ユニット5等にて行われる処理を、図7のフローチャートに基づいて説明する。
図7に示す様に、まず、ステップ100にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ110に進み、一方否定判断されるとステップ230に進む。
【0062】
尚、シフト位置は、シフト位置検出センサ(図示せず)からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ230では、以前に描画したカメラの視野外の領域の画像を消去し、即ち、現在のカメラの画像(鳥瞰図画像)のみを表示し、前記ステップ100に戻る。
【0063】
一方、ステップ110では、(時刻Tにて)カメラ1で撮影した画像の座標変換(前記鳥瞰図変換)を行って、第1鳥瞰図画像を作成する。その後、(時刻T+1にて)カメラ1で撮影した画像の鳥瞰図変換を行って、第2鳥瞰図画像を作成する。以後、所定時間毎に、順次画像を撮影して、その鳥瞰図変換を行う。
【0064】
続くステップ120では、時刻Tの第1鳥瞰図画像を画像メモリBに記憶し、時刻T+1の第2鳥瞰図画像を画像メモリAに記憶する。
つまり、今回の新しい鳥瞰図画像を画像メモリAに記憶し、そのときまでに画像メモリAに記憶されていた前回の鳥瞰図画像を画像メモリBに記憶するのである。
【0065】
続くステップ130では、前記第1鳥瞰図画像及び第2鳥瞰図画像を用いて、上述した分割領域のマッチング処理の手法により、その画像間における所定数の動きベクトルを算出する。
続くステップ140では、算出した全ての動きベクトルの大きさを求め、その平均値を算出する。
【0066】
続くステップ150では、動きベクトルの平均値が、判定値K以上か否かを判定する。ここで肯定判断されるとステップ160に進み、一方否定判断されると一旦本処理を終了する。
つまり、動きベクトルの平均値が判定値Kより小さい場合には、車両が殆ど動いていないと見なすことができ、しかも、後に、その(小さな)動きベクトルに基づいて行われる演算に誤差が発生しやすい。よって、動きベクトルが小さい場合には、その後の後鳥瞰図画像の作成等の処理を中止するのである。
【0067】
尚、この場合でも、車両は殆ど動いていないので、移動前の画像をモニタ3に表示しても、それほど支障はない。
ステップ160では、各動きベクトルの二等分点における直交線を求め、それらの直交線の交点を、車両の回転中心として算出する。尚、交点が1点に定まらない場合には、各交点の平均点を回転中心とする。
【0068】
続くステップ170では、前記回転中心に対して動きベクトルの両端点(始点と終点)がなす角を、車両の回転角として算出する。
続くステップ180では、前記式(3)に車両の移動量を示す前記回転角θを用いて、前記画像メモリCに記憶されている鳥瞰図画像(前回までの処理により得られてモニタ3に表示された合成鳥瞰図画像)を移動させて、移動後の鳥瞰図画像(時刻Tにおける移動後鳥瞰図画像)を求める。そして、この移動後鳥瞰図画像の画像データを画像メモリCに保存する。
【0069】
続くステップ190では、前記画像メモリAに記憶された(時刻T+1における)第2鳥瞰図画像を、画像メモリAから読み込む。
続くステップ200では、移動後鳥瞰図画像と第2鳥瞰図画像とを合成して、即ち今回画像メモリCに保存した画像データに画像メモリAの画像データを上書きして合成鳥瞰図画像を作成する。
【0070】
具体的には、図8に示す様に、新たな(第2鳥瞰図画像に対応する)カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、前回までの合成鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部(詳しくは第2鳥瞰図画像と重なる部分は除いたもの)を書き込むようにして、今回の合成鳥瞰図画像を作成する。
【0071】
尚、同図で車両は参考にために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。
続くステップ210では、合成鳥瞰図画像を、画像メモリCに記憶する。
続くステップ220では、車両を示す画像や視野角を示す画像などを加味して、画像メモリCに記憶した合成鳥瞰図画像をモニタ3に表示し、一旦本処理を終了する。
【0072】
d)この様に、本実施例では、カメラ1で撮影した画像を鳥瞰図画像に変換し、第1鳥瞰図画像と第2図鳥瞰図画像を用いて動きベクトルを算出し、その動きベクトルに基づいて車両の移動量を算出し、その車両の移動量に応じて、画像メモリCの前回までの合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。そして、移動後鳥瞰図画像と第2鳥瞰図画像とを合成して新たに合成鳥瞰図画像を作成し、その合成鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ3の画面に表示している。
【0073】
この一連の処理を連続して行うことにより、連続して車両後方の鳥瞰図画像をモニタ3に表示することができる。
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、図9に示す様に、自車両と駐車枠との位置関係が明瞭に把握できる。そのため、バックで駐車する操作などが、極めて容易になるという顕著な効果を奏する。
【0074】
尚、前記図9では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ3の表示画面を、(a)、(b)、(c)と順を追って示している。
特に本実施例では、第1及び第2鳥瞰図画像間の動きベクトルに基づいて移動後鳥瞰図画像を作成するので、その演算処理が容易であるという利点がある。
【0075】
つまり、多くの演算処理が必要な全画像のマッチングなどによる画像処理ではなく、任意の分割領域における動きベクトルを算出し、その動きベクトルに基づいて画像を移動させるので、演算処理の負担が軽減され、速やかに必要な画像をモニタ3に表示することができる。
【0076】
また、本実施例では、動きベクトルに基づいて車両の回転位置を検出するとともに、動きベクトルに基づいて車両の回転角を検出し、更に、回転中心を後輪車軸上にあるとして、動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、車両の回転中心としている。
【0077】
これにより、演算の負担が軽減されるとともに、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
この様に、本実施例では、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【0078】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
(1)前記実施例では、複数の動きベクトルの大きさを判定する際に、すべての動きベクトルの平均値を用いたが、ある値以上の大きさの動きベクトルを選択して採用したり、大きい方からN番目までの動きベクトルを採用するようにしてもよい。
【0079】
(2)また、動きベクトルを用いて、回転中心や回転角を算出する場合には、誤差の影響を低減するために、所定以上の大きさの動きベクトルのみを用いる様にしてもよい。
(3)更に、例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理をコンピュータにより実行させるプログラムを記憶している記録媒体も、本発明の範囲である。
【0080】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理をコンピュータにより実行させるプログラムを記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図1】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図2】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図3】 実施例の車両周辺画像処理装置により用いられる画像を示し、(a)はカメラにより撮影された画像の説明図、(b)は鳥瞰図画像を示す説明図である。
【図4】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図5】 実施例の車両周辺画像処理装置による動きベクトルを求めるための手法を示す説明図である。
【図6】 実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図7】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図8】 実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図9】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示す説明図である。
【符号の説明】
1…カメラ
3…車載モニタ(モニタ)
5…画像処理ユニット
11…鳥瞰図変換回路
13…動きベクトル算出回路
15…CPU
Claims (13)
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段によって異なる時間に撮影された複数の画像に基づいて、第1鳥瞰図画像とそれより後の第2鳥瞰図画像とを作成する鳥瞰図画像作成手段と、
前記第1鳥瞰図画像及び第2鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、
前記第2鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、前記表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
を備えたことを特徴とする車両周辺画像処理装置。 - 前記動きベクトルに基づいて、前記車両の動き量を求め、該車両の動き量に基づいて、移動後鳥瞰図画像を作成することを特徴とする前記請求項1に記載の車両周辺画像処理装置。
- 前記動きベクトルに基づいて、車両の回転位置を検出する回転位置検出手段と、
前記動きベクトルに基づいて、車両の回転角を検出する回転角検出手段と、
を備えたことを特徴とする前記請求項2に記載の車両周辺画像処理装置。 - 前記回転中心を後輪車軸上にあるとした場合に、前記動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、前記車両の回転中心とすることを特徴とする前記請求項3に記載の車両周辺画像処理装置。
- 前記動きベクトルの大きさを判定し、その大きさが所定値より小さい場合には、前記動きベクトルに基づく前記移動後鳥瞰図画像の作成を中止することを特徴とする前記請求項1〜4のいずれかに記載の車両周辺画像処理装置。
- 前記動きベクトルとして、複数の動きベクトルを用いることを特徴とする前記請求項1〜5のいずれかに記載の車両周辺画像処理装置。
- 前記複数の動きベクトルの各直交線の交点に基づいて、前記車両の回転中心を決定することを特徴とする前記請求項6に記載の車両周辺画像処理装置。
- 前記車両の回転中心に対する前記動きベクトルの大きさに基づいて、前記車両の回転角を決定することを特徴とする前記請求項3〜7のいずれかに記載の車両周辺画像処理装置。
- 前記合成鳥瞰図画像は、前記第2鳥瞰図画像を表示する表示領域以外に、前記移動後鳥瞰図画像を加入した画像であることを特徴とする前記請求項1〜8のいずれかに記載の車両周辺画像処理装置。
- 前記鳥瞰図画像作成手段により作成された第1鳥瞰図画像を記憶するメモリBと、
前記鳥瞰図画像作成手段により作成された第2鳥瞰図画像を記憶するメモリAと、
前記合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶するメモリCと、
を備えたことを特徴とする前記請求項1〜9のいずれかに記載の車両周辺画像処理装置。 - 前記メモリCに記憶された合成鳥瞰図画像を、前記表示手段に表示することを特徴とする前記請求項10に記載の車両周辺画像処理装置。
- 前記表示手段に前記合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示することを特徴とする前記請求項1〜11のいずれかに記載の車両周辺画像処理装置。
- コンピュータを、
車両周辺の画像を撮影する撮影手段によって異なる時間に撮影された複数の画像に基づいて、第1鳥瞰図画像とそれより後の第2鳥瞰図画像とを作成する鳥瞰図画像作成手段、
前記第1鳥瞰図画像及び第2鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段、
前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段、
前記第2鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段、
として機能させるためのプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001195135A JP3796417B2 (ja) | 2001-06-27 | 2001-06-27 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001195135A JP3796417B2 (ja) | 2001-06-27 | 2001-06-27 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003009141A JP2003009141A (ja) | 2003-01-10 |
JP3796417B2 true JP3796417B2 (ja) | 2006-07-12 |
Family
ID=19033164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001195135A Expired - Fee Related JP3796417B2 (ja) | 2001-06-27 | 2001-06-27 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3796417B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4310987B2 (ja) * | 2002-09-30 | 2009-08-12 | アイシン精機株式会社 | 移動体周辺監視装置 |
JP2004354134A (ja) * | 2003-05-28 | 2004-12-16 | Nippon Telegr & Teleph Corp <Ntt> | 三次元位置検出装置,三次元位置検出方法および三次元位置検出プログラム |
JP4809019B2 (ja) * | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
JP4676373B2 (ja) | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
JP5380941B2 (ja) * | 2007-10-01 | 2014-01-08 | 日産自動車株式会社 | 駐車支援装置及び方法 |
WO2014132680A1 (ja) | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | 車両の制御装置、及びプログラム |
CN105009574B (zh) | 2013-03-28 | 2018-07-17 | 爱信精机株式会社 | 周边监视装置及周边监视方法、记录介质 |
JP6156067B2 (ja) | 2013-11-01 | 2017-07-05 | 富士通株式会社 | 移動量推定装置及び移動量推定方法 |
KR102159353B1 (ko) * | 2014-04-24 | 2020-09-23 | 현대모비스 주식회사 | 어라운드 뷰 시스템의 동작방법 |
JP6340969B2 (ja) * | 2014-07-14 | 2018-06-13 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
JP6614042B2 (ja) * | 2016-06-15 | 2019-12-04 | 株式会社Jvcケンウッド | 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム |
-
2001
- 2001-06-27 JP JP2001195135A patent/JP3796417B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003009141A (ja) | 2003-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
EP2399239B1 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
US5757674A (en) | Three-dimensional position detecting apparatus | |
US20080055407A1 (en) | Apparatus And Method For Displaying An Image Of Vehicle Surroundings | |
US20110210868A1 (en) | Parking assistance apparatus | |
JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
CN111800589B (zh) | 图像处理方法、装置和***,以及机器人 | |
JP2002228442A (ja) | 位置姿勢の決定方法及び装置並びに記憶媒体 | |
US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
US11055541B2 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
JP2002159019A (ja) | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 | |
JP2006333009A (ja) | 俯瞰画像表示装置及び俯瞰画像表示方法 | |
JP4071463B2 (ja) | 車両周辺画像処理装置 | |
US20100271481A1 (en) | Maneuver Assisting Apparatus | |
JP3900415B2 (ja) | 車両周辺画像処理装置,プログラム及び記録媒体 | |
JP2002087160A (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP2006252577A (ja) | 地図データ生成装置 | |
JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JPH0850699A (ja) | 車両周囲表示装置 | |
JP3466493B2 (ja) | パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体 | |
JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP2001057652A (ja) | 画像入力装置および画像入力方法 | |
JP2009077022A (ja) | 運転支援システム及び車両 | |
JP3793343B2 (ja) | 写真測量用カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060417 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |