JP3301421B2 - 車両周囲状況提示装置 - Google Patents

車両周囲状況提示装置

Info

Publication number
JP3301421B2
JP3301421B2 JP29777799A JP29777799A JP3301421B2 JP 3301421 B2 JP3301421 B2 JP 3301421B2 JP 29777799 A JP29777799 A JP 29777799A JP 29777799 A JP29777799 A JP 29777799A JP 3301421 B2 JP3301421 B2 JP 3301421B2
Authority
JP
Japan
Prior art keywords
road surface
road
image
area
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP29777799A
Other languages
English (en)
Other versions
JP2001114047A (ja
Inventor
雅通 中川
修作 岡本
一生 登
森村  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP29777799A priority Critical patent/JP3301421B2/ja
Publication of JP2001114047A publication Critical patent/JP2001114047A/ja
Application granted granted Critical
Publication of JP3301421B2 publication Critical patent/JP3301421B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両の周囲の状況
を運転者に判りやすく表示することにより、運転者が車
両周囲の状況を、容易に把握し的確で安全な運転操作が
できるようにするための装置に関する。
【0002】
【従来の技術】従来の一般的な車両周囲監視装置は、車
両周囲を1台もしくは数台のカメラで撮影し、その画像
を変換し、車両周囲の状況を1枚の画像にして表示する
ものがる。例えば第1の従来例が特開平3−99952
号公報に開示されている。その内容は、車両に複数台の
カメラを設置し、その画像を透視変換によって、例えば
路面のような平面座標系に張り付ける。そして視点を車
両中心上方に下向きに置けば、運転者は自車とその周囲
状況との関係が一目で分かるというものである。
【0003】図2は、従来の車両周囲監視装置の実施例
を示したブロック図である。画像変換部 202 に入力さ
れたカメラ1〜N (201) からの画像が、透視変換に
より他の座標に変換され、画像表示部 203 で1枚の画
像に合成される。そして運転席に設置されたTVモニタ
204 に表示する。画像表示部203では、ギア位置、車
速、ウインカ動作に応じた信号により、自車表示位置を
画面の中心よりずらすなどし、見ようとする車両周囲環
境領域を広くとるようにするなどの工夫も可能である。
【0004】また、これをさらに発展させた第2の従来
例が特開平7−186833号公報に開示されている。
前記発明では、周囲の状況を運転者に提示する際に、路
面部分とそれ以外の部分をあらかじめ区別し、路面部分
は座標変換によって車両中心上方に下向きに視点を置い
たときに観測される画像に変換し、また路面外部分は、
前記変換画像にカメラからの映像をそのまま適切な場所
で適切な大きさに変更して重ね合わせ表示する。これに
より車両周囲の障害物の状況、特に車両後方から接近す
る他の車両などを正確に知らせるものである。
【0005】
【発明が解決しようとする課題】しかしながら、上記に
示されるような従来における車両周囲監視装置において
は、画像中の物体がすべて道路面上にあるものと仮定
し、路面を基準とする座標系への変換を行うため、例え
ば白線や路面に描かれた矢印、文字、また横断歩道な
ど、道路面上に貼り付いており高さ成分を持たないもの
は、カメラに写っている状態が正確に路面上の位置に投
影されるが、逆に、例えば車両や人物などのように、路
面から上方に高さ成分を持つ物体に関しては、高さ成分
がカメラ視線方向の奥行き成分に変換されてしまうた
め、物体の高さが高いほど、その物体を投影した画像の
歪みが大きくなってしまう。このため、路面に投影され
た画像を上方から下向きに眺めると、前記高さ成分を持
つ物体が大きく歪んで表示されてしまい、実在の物体と
の対応づけが困難になる場合があるという問題があっ
た。
【0006】図3(a)に路面上に無い物体の投影像の歪
みの様子を示す。図3(a)の直方体をカメラから撮影し
た画像を、路面へ投影した場合、直方体からカメラと反
対側に広がった投影像が生じる。この投影像は図中、灰
色で示している。
【0007】これらの問題を回避することを目的とした
前記第2の従来例では、路面が同じ色であると仮定し路
面とみなされる特定色の部分を抽出することにより、路
面と路面以外の領域を分離し、路面外物体を元のカメラ
に映った状態で切り出し、合成画像に貼り付けるという
方法を用いている。しかし実際には路面領域は単一の色
ではなく、種々の模様の入ったテクスチャとなっている
ため、色だけで路面と路面以外の分離は困難である。
【0008】また、切り出した路面外物体は元のカメラ
の視点位置からの像であるため、上方からの見おろすな
どの別の視点位置で合成された路面の像とは、視点が異
なるため遠近による像の見え方の方向などが一致せず、
一目で状況の把握が困難であることも考えられる。この
様子を図を用いて説明する。図3(b)は車載のカメラから
道路上の車を撮影した画像を示しており、物体は遠方ほ
ど小さく写り、画面左の車は右側面が、画面右の車は左
側面が見えるように見える。この画像を上空から路面を
真下に見おろした画像に変換したものが、図3(c)であ
る。真下を見おろしているので、道路の白線などは真っ
直ぐの平行線となる。この路面に図3(b)の車の領域を
切り出し、位置が合うように拡大、縮小して合成してい
る。画像の拡大、縮小だけでは、車の片方の側面が斜め
に写ったままになるなどして車の向きなどが上空から見
た視点とは一致しない。そのため、本来道路の白線など
と平行になるべき車の向きが、図3(c)の矢印の方向で
あるかのように見えてしまう。
【0009】本発明は、係る課題を解決するものであ
り、その目的は、車両に搭載したカメラで撮影している
車両周囲の様子を、運転者に提示するにあたって、歪み
の生じる路面以外の領域を判りやすく提示する車両周囲
状況提示装置を提供することにある。
【0010】
【課題を解決するための手段】上記課題を解決するため
に、本発明の車両周囲状況提示装置は次の構成を有す
る。請求項1に係る本発明の基本構成は、車両周囲の状
況を撮影し、入力する画像入力手段と、前記画像入力手
段からの画像を撮影したカメラの位置、方向、特性を示
すカメラパラメータを用いて路面へ投影変換した路面投
影像を作成する路面投影手段と、前記路面投影像から路
面以外の物体の領域を抽出する路面外領域抽出手段と、
抽出された前記路面外領域の輪郭を生成し、前記路面外
領域から路面以外の物体を区別する指標として前記路面
投影像に合成する路面外領域指標合成手段を備えたこと
を特徴とする。
【0011】請求項1に係る本発明による車両周囲状況
提示装置では、車両の周囲の画像から、路面へ投影した
路面投影像を生成するとともに、路面以外の物体の領域
を抽出する。抽出された路面外領域が他の領域と区別が
明確になるように、路面投影像に指標を合成することに
より、運転者に車両周囲の状況を任意の視点から見た画
像を提示し、かつ路面以外の物体を判断しやすいよう提
示することが可能である。
【0012】請求項2に示される本発明による車両周囲
状況提示装置では、異なる位置で撮影された画像データ
を路面へ投影した投影像を作成し、それら投影像の差を
検出することにより、路面以外の物体の領域を抽出す
る。
【0013】請求項に示される本発明による車両周囲
状況提示装置では、抽出された路面外領域が、実際の物
体の領域か投影の歪みにより生じたものかを判別し、前
記判別結果に基づいて前記路面外領域の輪郭を路面投影
像に合成表示することにより、運転者に車両周囲の状況
を任意の視点から見た画像を提示し、かつ路面以外の物
体を判断しやすいよう提示することが可能である。
【0014】
【発明の実施の形態】以下、図を用いて本発明の一実施
の形態を説明する。
【0015】図1は本発明請求項1に記載の車両周囲監
視装置の基本構成例を示したブロック図である。本発明
による車両周囲状況提示装置は、基本構成として、車両
に設置されたカメラを用いて車両の周囲を撮影する画像
入力手段101と、前記入力画像の撮影時の位置、方
向、画角などの情報であるカメラパラメータ102と、
前記入力画像に対して所定の画像処理を実行する画像処
理手段103と、前記画像処理された周囲状況の画像を
表示する表示手段104とから大きく構成されている。
【0016】画像処理手段103は、以下の機能ブロッ
クから構成されている。前記入力画像を路面へ投影した
路面投影像を作成する路面投影手段105と、前記路面
投影像から、路面以外の物体の領域を抽出する路面外領
域手段106と、抽出された前記路面外領域から路面以
外の物体を区別する指標を作成し、前記路面投影像に合
成する路面指標合成手段107とから構成されている。
【0017】次に、本発明の処理の詳細を各構成要素の
順に説明する。
【0018】画像入力手段101は、車両に取り付けら
れたカメラから周囲の状況を撮影する。なお、異なる位
置で撮影する場合は、車両の異なる位置に複数のカメラ
を設置するか、1台のカメラで車両を動かし異なる時刻
に撮影する、またはそれらの両方を行うことにより、異
なる位置で撮影した画像を取得する。
【0019】カメラパラメータ102は、画像入力手段
101で撮影された画像に対応して、カメラの焦点距
離、撮影時のカメラの位置、方向などのデータである。
図4を用いてカメラパラメータの説明を行う。図4は、
車両と路面、カメラの位置関係を示した概念図である。
【0020】カメラのレンズ中心を原点Oeとし光軸方向
をZ軸とするカメラ座標系 Xe-Ye-Ze と、車を基準に
し、車の載る路面平面に原点Owがあり、路面平面がXw-Y
w平面と一致するようにとったワールド座標系Xw-Yw-Zw
との関係は、回転行列Rと平行移動ベクトルTを用いて
(数1)のように表される。
【0021】またカメラ座標系の点(xe, ye, ze)と、
その対応する画像での座標(u, v)は、カメラの焦点距離
fを用いて(数2)のように表される。
【0022】
【数1】
【0023】
【数2】
【0024】車が移動しない場合は、ワールド座標系の
原点Owが動かないので、複数のカメラの関係は、カメラ
毎のR、Tで表現できる。一方、車が移動して同じカメラ
で、別の位置から撮影する場合は、車の動きに応じてワ
ールド座標系の原点が移動するため、車が動いた場合の
画像データの関係は、車の移動による2つのワールド座
標系の関係で表される。移動前のワールド座標系での点
をPw(Xw,Yw,Zw)とし、移動後の対応する点をPw'(Xw',Y
w',Zw')とすると、それらの関係は平行移動ベクトルT
m、回転行列Rmを用いて表される。今、全ての点が路面
上にあると考え、また車の移動も同じ路面上を移動する
と考えると、Zw,Zw'は0となり、また回転行列Tmは、Zw
軸周りの回転を表す2行2列の行列、平行移動ベクトル
Tmも、Xw,Yw方向の移動だけの2次元ベクトルで良い。こ
の関係を(数3)に示す。
【0025】
【数3】
【0026】前記Rm, Tmは、車速、舵角、左右のタイヤ
の回転数などの車の動きの情報をセンサーから得ること
などにより求めることが可能である。また衛星を使った
位置計測システム(GPS)などを用いることもでき
る。
【0027】以上、焦点距離f, カメラ座標系の回転行
列R、平行移動ベクトルT、ワールド座標系間の回転行列
Rm、平行移動ベクトルTmが 、カメラの位置、方向、画
角などを表すカメラパラメータ102である。
【0028】次に、路面投影手段105における画像デ
ータの路面投影像への投影について図5を用いて説明す
る。図5(a)は、車両に載ったカメラから、路面上の直
方体を撮影している様子を示した概略図である。
【0029】カメラで撮られた画像に写っている物体が
すべて路面(XwYw平面)に載っているとすると、物体上
の点Pw( Xw, Yw, 0 )と、対応する画像上の点Pv(u, v)
の関係は、(数1)、(数2)を用いて、(数4)のよ
うに表される。
【0030】
【数4】
【0031】(数4)を用いて、図5(a)のカメラで撮
影された画像の各画素(u,v)を、路面Xw-Yw平面へ投影す
る。Xw-Yw平面も2次元配列として表現しておき、各配列
の要素に対応するカメラの画像の画素を(数4)を用い
て当てはめることにより、画像としての投影像が得られ
る。このようにして変換した投影像を図5(b)に示す。
図5(b)で上部の斜線の部分は、カメラの視野外の部分
であり、カメラの画像にデータの無い部分である。この
ような部分は領域外を示すデータで埋めておく。また黒
点はカメラの位置を示している。路面上にない直方体
は、すべてが路面上にあると仮定した投影により歪んで
投影される。
【0032】前記直方体のような路面以外の物体の領域
を抽出するための一手法として、路面外領域抽出手段1
06において、異なる位置から撮影された画像の路面投
影像間で違いの生じている領域を求める。処理の詳細を
図を用いて説明する。図6(a)はカメラ位置P1で撮影し
た画像を路面へ投影した投影像であり、図6(b)はカメ
ラ位置P2での投影像を示している。なお図にある自車
の絵は、位置関係を分かり易く説明するために付加した
もので、実際の投影像には含まれていない。
【0033】次に、図6(a),(b)の投影像を、(数3)
を用いて、路面平面の同じ位置で重ねあわせる。(数
3)からも判るように、この変換は2次元の平行移動
と、回転であり、2次元の画像としての処理で位置合わ
せが可能である。図6(c)は、図6(b)を基準として、図
6(a)を回転、平行移動して重ね合わせた様子を示して
いる。白線などの路面上にある像はずれなく重なるが、
路面以外の物体の投影像は、カメラ位置により歪みの形
状が異なるためにずれが生じる。そこで2つの投影像の
差を計算すれば、両方の投影像とも路面が写っている領
域は同じ対象を写しているので差は0になる。また投影
像の路面以外の物体の領域は、他方の投影像では路面の
領域であったり、また路面以外の領域であってもカメラ
位置により歪み方が異なっているため、物体の他の部分
が投影されていたりするため、差を取ると0にはならな
い。例えば2つの投影像の各画素の輝度の差を計算すれ
ば、両方が路面の領域では、その差はほぼ0になる。一
方直方体の領域では差が生じる。その差分の様子を図6
(d)に示す。白線などは差が0になり消え、路面上にな
い直方体の部分だけが値を持って残る。路面以外の物体
の領域でも、たまたま違う部分の色が一致し、差が0に
なる領域が内部が生じることもあるが、対象とする物体
が内部に穴を持たないとすれば、穴となっている小領域
を埋める処理を行うことにより、領域の外形を抽出する
ことができる。これらにより路面外の領域を抽出したこ
とになる。
【0034】なお、差を計算するには、輝度の差以外に
も、色空間での差、1画素の比較でなく、各画素の周り
の局所的なテクスチャパターンの差などを利用すること
も可能である。
【0035】また、(数3)で示される2つのカメラ撮
影位置の関係を、車両の速度、舵角左右の車輪の回転
数、GPSの位置情報などから求めた場合、位置関係の
精度が十分で無いため重ね合わせにずれが生じる可能性
がある。その場合、路面上の領域でも差が生じてしま
う。その場合、(数3)の回転行列Rm、平行移動ベクト
ルTmで投影像を重ね合わせた後、その位置を中心に微少
な移動量、回転角度で重なりをずらして、前記の差の計
算を行い、画像全体での差が最小になる位置を求めるこ
とにより、Rm, Tmが精度悪くしか得られない場合にも、
路面外の領域の抽出が可能となる。例えば、画像の各画
素で輝度の差の絶対値をとり、その絶対値の画像の全画
素での和が最小になる位置を求める。
【0036】なお、これまでの説明は車両を動かして、
同一カメラで撮影する場合について述べてきたが、車両
の異なる位置にある複数のカメラから撮影された場合に
も同様の手順で、路面以外の領域を抽出することが可能
である。
【0037】前記路面外領域抽出手段106によって抽
出された図6(d)の領域を、路面外領域指標合成手段1
07により、前記路面投影像の上に運転者に分かり易い
形の指標を合成する。一例として、図6(d)の路面以外
の領域の輪郭をエッジ処理などにより求め、図6(b)の
路面投影像の上に赤色などで表示したものが、図7(a)
に示す画像である。この路面投影像を表示手段104で
運転者へ提示する。図7(a)では、位置関係をより把握
しやすいように、自車の位置に車のイラストを重ね描き
している。また、輪郭だけでなく、前記路面外領域に対
応する前記路面投影像の部分に特定色や網掛けなどを行
い合成することもできる。
【0038】路面以外の物体の輪郭を表示することによ
り、運転時に衝突するなどの可能性のある領域が強調さ
れ、一目で判りやすくなる。また、図7(b)に示すよう
に、自車からの一定の距離内にある輪郭だけを表示すれ
ば、より注意すべき近傍の物体を把握しやすくなる。ま
た距離に応じて輪郭の色を変える、近傍の輪郭を点滅表
示するなどすることも可能である。
【0039】図7(a)では、投影による歪みも含んだ路
面外の領域を表示している。一方、その中から物体の真
の輪郭の可能性の高い部分が判れば、運転などの判断に
おいてより役立つことになる。そこで次に、路面外の物
体が路面に対して垂直な面で構成されると仮定すること
により、物体の真の輪郭の可能性の高い部分を抽出する
方法について説明する。
【0040】図8(a)は、直方体を路面に投影した投影
像を示している。視点802から、点線の直方体801
を撮影した画像を、路面に投影した投影像803は、直
方体の各点の視点からの距離、高さなどにより歪みが生
じた形となる。実際に路面上で直方体が占める領域は、
点線の領域801である。同様に、図8(b)に同じ直方
体を、視点804から撮影した画像を路面へ投影した投
影像805を示す。図8(c)は、図8(a)、(b)の差分に
より抽出された路面外の領域を示している。この領域の
輪郭を、視点802、804からの表裏で分類する。視
点から直接見える、言い換えると視点と輪郭上の点を結
ぶ直線が、他の輪郭を横切らない点の集合を表の輪郭と
し、それ以外を裏の輪郭とする。例えば視点802に対
しては、白丸で区切られた部分輪郭806、807が表
の輪郭で、部分輪郭808、809は裏の輪郭である。
また輪郭810は、視点からの輪郭線への直線が外接す
る輪郭として、外接の輪郭と分類する。同様に視点80
4に対しては、表の輪郭は、806、809、810で
あり、裏の輪郭は808、外接の輪郭は807である。
【0041】ここで、真の物体の輪郭は表の輪郭の中に
含まれる。例えば、図8(a)を見ると、真の輪郭は80
6に相当する部分であり、同様に図8(b)では806
と、図8(c)では領域の中に隠れている部分の2つであ
る。これは路面に垂直な面は、必ず視点と反対の方向に
伸びる方向に歪むので、視点から可視である輪郭は、真
の輪郭と一致する。また外接する輪郭は図8(a),(b)を
見れば、視点に近い端点を下端とする垂直エッジが延び
た像である可能性が高い。よって外接する輪郭の部分の
長さからその部分の高さを計算することが出来る。
【0042】領域として得られるのは、図8(a)、(b)で
はなく、それらの領域の和である図8(c)なので、単独
の視点からの表裏の判別だけでは、たまたま他の視点か
らの像が歪んだ領域が表の領域になる可能性もある。視
点804に対して輪郭809がそうである。そこで、2
つの視点の両方で表の輪郭となる部分を、物体の真の輪
郭として抽出する。図8(c)では806が真の輪郭とし
て抽出される。また外接の輪郭807、810に関して
も、垂直エッジの可能性が高いので、その長さから、そ
の点での長さを計算する。
【0043】前記方法によって、図7(a)の太線で示し
た輪郭のうち、真の輪郭と考えられる部分だけを抽出し
表示したものが、図9(a)である。路面以外の領域を、
歪みによる輪郭を除いて、所望の視点からの画像上に表
示することにより、運転に際して注意すべき部分が明確
になり、表示された輪郭と自車の位置を見ることで、物
体との距離を把握しやすくなる。予め対象となる物体の
形状が判っていれば、真の輪郭の部分と照合することに
より、その位置に物体の形を上書きすることもできる。
【0044】また外接の輪郭から高さを求めることによ
り、物体のおおよその高さを投影像に示すこともでき
る。図9(b)は、高さが求められる可能性の高い部分
に、その領域の高さを表示した例である。
【0045】図10は、ポールなどのは柱の物体の投影
像である。この場合も前記の輪郭の分類を行うことによ
り、柱の立っている位置である根元部分が表の輪郭とし
て抽出でき、外接の輪郭より高さ情報を表示することが
できる。
【0046】なお、路面外領域の輪郭から真の輪郭部分
を求める前記の手法は、従来例2などの単独の画像から
求められた路面外領域へ対しても適用することが可能で
ある。
【0047】
【発明の効果】以上説明してきたように、請求項1に係
る本発明によれば、車に設置されたカメラからの画像を
用いて任意の視点からの画像を合成する際に、路面指標
合成手段によって路面投影像に路面以外の物体を区別す
る指標を合成するので、運転者に路面以外の物体を判断
しやすいように提示することが可能である。
【0048】また請求項に係る本発明の路面外領域の
抽出方法を用いることにより、従来の平面を用いた方法
では、高さ成分がカメラ視線方向の奥行き成分に変換さ
れてしまうため、路面から上方に高さ成分を持つ物体
は、路面に投影すると大きく歪むことが問題であった
が、歪んだ物体の投影像のうち、真の物体の輪郭の部分
を抽出し、判り易く表示することが可能となった。
【0049】また、請求項1に係る本発明によれば、
ある部分においては、物体の高さを計算し、路面投影像
に合成することも可能となった。
【0050】従って、運転者は、路面投影の合成画像だ
けを提示される場合に比べて、路面外領域の情報の提示
により、路面外の物体の位置など周囲の状況がよりいっ
そう認識しやすくなり、適確な運転操作を行えることが
期待できる。
【図面の簡単な説明】
【図1】本発明請求項1に記載の車両周囲状況提示装置
の基本構成例を示したブロック図
【図2】従来の車両周囲監視装置の構成例を示したブロ
ック図
【図3】(a)路面外の物体の投影像の歪みに関する説明
図(b),(c)従来の車両周囲監視装置による路面外の物体
の貼り付け合成の説明図
【図4】カメラ座標系とワールド座標系、路面、カメラ
パラメータの関係を示した図
【図5】直方体の路面投影の例を示した図
【図6】路面外領域抽出手段106の処理の流れを示した
【図7】路面外領域の表示方法を示した図
【図8】路面外領域の輪郭の分類処理を示した図
【図9】輪郭の分類を用いて、真の輪郭を表示した例を
示した図
【図10】輪郭の分類を用いて、柱状物体を表示した例
を示した図
【符号の説明】
101 画像入力手段 102 カメラパラメータ 103 画像処理手段 104 表示手段 105 路面投影手段 106 路面外領域抽出手段 107 路面外領域指標合成手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI B60R 21/00 628 B60R 21/00 628C 628H 628Z G06T 1/00 280 G06T 1/00 280 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平7−186833(JP,A) 特開 平8−305999(JP,A) 特開 平8−242443(JP,A) 特開 平3−99952(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 B60R 1/00 B60R 21/00 G06T 1/00 G08G 1/16

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】車両周囲の状況を撮影し、入力する画像入
    力手段と、 前記画像入力手段からの画像を撮影したカメラの位置、
    方向、特性を示すカメラパラメータを用いて路面へ投影
    変換した路面投影像を作成する路面投影手段と、 前記路面投影像から路面以外の物体の領域を抽出する路
    面外領域抽出手段と、 抽出された前記路面外領域の輪郭を生成し、前記路面外
    領域から路面以外の物体を区別する指標として前記路面
    投影像に合成する路面外領域指標合成手段とを備えたこ
    とを特徴とする車両周囲状況提示装置。
  2. 【請求項2】前記路面外領域抽出手段は、異なる位置で
    撮影された画像を路面投影した路面投影像を重ね合わ
    せ、路面外領域を抽出することを特徴とする請求項1記
    載の車両周囲状況提示装置。
  3. 【請求項3】前記路面外領域抽出手段は、車両の位置の
    情報により路面投影像を重ね合わせることを特徴とする
    請求項2記載の車両周囲状況提示装置。
  4. 【請求項4】前記路面外領域抽出手段は、車両の位置の
    情報を車速センサー、舵角センサー、タイヤの回転数、
    衛星による位置計測の少なくとも1つにより求めること
    を特徴とする請求項3記載の車両周囲状況提示装置。
  5. 【請求項5】前記路面外領域抽出手段は、路面投影像を
    投影像の2次元的な回転、平行移動を行い、差が最小に
    なる位置に重ね合わせることを特徴とする請求項2記載
    の車両周囲状況提示装置。
  6. 【請求項6】前記路面外領域抽出手段において、路面投
    影像を車両の位置の情報により重ね合わせた後、投影像
    の2次元的な回転、平行移動を行い、差が最小になる位
    置に修正することを特徴とする請求項2記載の車両周囲
    状況提示装置。
  7. 【請求項7】前記路面外領域指標合成手段は、前記路面
    外領域を、撮影位置からの距離に応じて異なる表現で、
    前記路面投影像に合成することを特徴とする請求項1記
    載の車両周囲状況提示装置。
  8. 【請求項8】前記路面外領域指標合成手段は、歪みより
    生じた部分と物体の輪郭に分類し、前記分類結果に基づ
    いて前記路面外領域の輪郭を前記路面投影像に合成する
    ことを特徴とする請求項記載の車両周囲状況提示装
    置。
  9. 【請求項9】前記路面外領域指標合成手段は、前記路面
    外領域の輪郭を、カメラ位置との関係により、歪みより
    生じた部分と、物体の輪郭に分類し、前記路面投影像に
    合成することを特徴とする請求項記載の車両周囲状況
    提示装置。
  10. 【請求項10】前記路面外領域指標合成手段は、前記路
    面外領域の輪郭から物体の部分の高さを求め、前記路面
    投影像に合成することを特徴とする請求項記載の車両
    周囲状況提示装置。
JP29777799A 1999-10-20 1999-10-20 車両周囲状況提示装置 Expired - Lifetime JP3301421B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29777799A JP3301421B2 (ja) 1999-10-20 1999-10-20 車両周囲状況提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29777799A JP3301421B2 (ja) 1999-10-20 1999-10-20 車両周囲状況提示装置

Publications (2)

Publication Number Publication Date
JP2001114047A JP2001114047A (ja) 2001-04-24
JP3301421B2 true JP3301421B2 (ja) 2002-07-15

Family

ID=17851053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29777799A Expired - Lifetime JP3301421B2 (ja) 1999-10-20 1999-10-20 車両周囲状況提示装置

Country Status (1)

Country Link
JP (1) JP3301421B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP4156214B2 (ja) 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4071463B2 (ja) * 2001-07-16 2008-04-02 株式会社デンソー 車両周辺画像処理装置
JP4769397B2 (ja) * 2001-09-28 2011-09-07 クラリオン株式会社 車載用情報機器
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4556494B2 (ja) * 2004-05-31 2010-10-06 日産自動車株式会社 車両周囲表示装置及び車両周囲表示方法
JP4573242B2 (ja) 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP4696925B2 (ja) * 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2008085710A (ja) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 運転支援システム
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
WO2009131152A1 (ja) * 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 3次元画像処理カメラおよび3次元画像処理システム
WO2010044127A1 (ja) * 2008-10-16 2010-04-22 三菱電機株式会社 車外障害物高度検出装置
JP5436086B2 (ja) 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
WO2012144053A1 (ja) * 2011-04-21 2012-10-26 トヨタ自動車株式会社 車両用周辺障害物表示装置及び車両用周辺障害物表示方法
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display

Also Published As

Publication number Publication date
JP2001114047A (ja) 2001-04-24

Similar Documents

Publication Publication Date Title
JP3301421B2 (ja) 車両周囲状況提示装置
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
EP1462762B1 (en) Circumstance monitoring device of a vehicle
JP3286306B2 (ja) 画像生成装置、画像生成方法
WO2012169355A1 (ja) 画像生成装置
EP1383332A1 (en) Method and apparatus for displaying pickup image of camera installed in vehicle
JP5190712B2 (ja) 障害物検出装置
WO2009119110A1 (ja) 死角表示装置
WO2002104032A1 (fr) Processeur d'images peripheriques pour vehicule et support d'enregistrement
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
CN104859538A (zh) 车辆图像显示***中基于视觉的物体感测和突出显示
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2002335524A (ja) 運転支援装置
JP2006268076A (ja) 運転支援システム
JP5516998B2 (ja) 画像生成装置
EP2079053A1 (en) Method and apparatus for calibrating a video display overlay
JP2009151524A (ja) 画像表示方法および画像表示装置
CN102555905B (zh) 产生车辆周围环境中至少一个物体的影像的方法和设备
JP2017520133A (ja) 車両周辺イメージ生成装置および方法
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2004240480A (ja) 運転支援装置
JP5516997B2 (ja) 画像生成装置
WO2016102304A1 (en) Method for presenting an image overlay element in an image with 3d information, driver assistance system and motor vehicle
JP3521859B2 (ja) 車両周辺画像処理装置及び記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R151 Written notification of patent or utility model registration

Ref document number: 3301421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080426

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110426

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120426

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140426

Year of fee payment: 12

EXPY Cancellation because of completion of term