JPH09223227A - 車両用環境認識装置 - Google Patents
車両用環境認識装置Info
- Publication number
- JPH09223227A JPH09223227A JP8027830A JP2783096A JPH09223227A JP H09223227 A JPH09223227 A JP H09223227A JP 8027830 A JP8027830 A JP 8027830A JP 2783096 A JP2783096 A JP 2783096A JP H09223227 A JPH09223227 A JP H09223227A
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- image
- vehicle
- pitch angle
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
発生しても、左右の対応画像をエピポーラーラインに沿
った狭い帯状領域を検索することのみで確実に検出でき
るようにする。 【解決手段】ピッチ角演算器97により車体Mのピッチ
角θapを演算する際、車高センサ91、92検出され
たピッチ方向の傾斜量の低域通過成分Hr′、Hf′か
ら得られる傾斜量θhと、ピッチレートセンサ93によ
り検出されたピッチレートから求めたピッチ量の高域通
過成分θp′との合成値を車体のピッチ角θap(θa
p=θh+θp′)として演算し、対応処理手段で、演
算されたピッチ角θapに応じた分だけ画像間の対応を
採るための小領域を画像の上下方向に移動するようにし
たので、たとえ、路面の凹凸や搭乗者の数等に応じて車
体にピッチングが発生した場合においても、対応しよう
とする物体がエピポーラーラインの近傍に存在すること
から、複数の画像間で対応物体を確実に検出することが
できる。
Description
用した車両用環境認識装置に関し、一層詳細には、例え
ば、自動車等の車両に搭載され、当該自動車の位置を基
準として、風景や先行車等を含む情景に係る周囲環境を
認識する車両用環境認識装置に関する。
場合、ステレオ視を利用したステレオカメラにより得ら
れる2枚の画像(ステレオ画像ともいう。)から三角測
量の原理に基づき対象物(単に、物体ともいう。)まで
の距離を求め、対象物の位置を認識する、いわゆるステ
レオ法が採用されている。
める際に、レンズを通じて撮像した2枚の画像上におい
て同一物体の対応が採れることが前提条件となる。
対応を採る技術として、画像中の領域に着目する方法が
ある。
サイズのウィンドウを設定し、他方の画像においてこの
ウィンドウに対応する領域を求めるために、他方の画像
に前記ウィンドウと同一サイズの領域を設定する。
(単に、ウィンドウ画像ともいう。)を構成する対応す
る各画素(詳しく説明すると、マトリクス位置が対応す
る各画素)についての画素データ値を引き算して差を
得、さらに差の絶対値を得る。
記ウィンドウ内の和、いわゆる総和を求める。
の差の絶対値の総和を求める計算を他方の画像上のウィ
ンドウの位置を変えて順次行い、前記総和が最小になる
他方の画像のウィンドウを、前記一方の画像のウィンド
ウに対応する領域であると決定する方法である。
像中の領域に着目する方法を採用している。
中に路面の凹凸により車両にピッチング(縦揺れ:車両
の前後が反対に上下する振動)が発生した場合、車両の
周囲環境は静止しているのにもかかわらず、例えば、車
両に搭載されている対応処理手段は、周囲環境が縦揺れ
しているように解釈し、捉えようとする物体が対応領域
から外れてしまい、結局、距離を求めることができなく
なってしまうという問題があった。
えば、特開平5−110906号公報に開示された技術
を挙げることができる。この公報には、車両にピッチン
グが発生したとき、ビデオカメラの視野の中心(視線)
をピッチングした方向と反対の方向に角度を変えて、常
に、車両の前方の同一位置を撮像するようにするピッチ
補正技術が開示されている。しかしながら、この補正技
術は、視線を変更するためにカメラ自体の角度を機械的
に変更するようにした技術であり、この技術では、撮像
角度変更のための構造が複雑になるという問題があっ
た。
れたものであり、車両にピッチングが発生した場合で
も、簡単な構成で物体を確実に検出することを可能とす
る車両用環境認識装置を提供することを目的とする。
1、図6、図8および図16に示すように、複数の撮像
手段1R、1Lと、前記複数の撮像手段からそれぞれ得
られる画像IL、IRの対応を複数の画像の小領域3
1、32間で採る対応処理手段6と、対応の採れた物体
までの距離を三角測量の原理に基づき演算する位置演算
手段7と、車両のピッチ方向の傾斜を検出する傾斜量検
出手段91、92と、車両のピッチレートを検出するピ
ッチレート検出手段93と、入力側が前記傾斜量検出手
段と前記ピッチレート検出手段とに接続されるピッチ角
演算手段97とを備え、前記ピッチ角演算手段は、前記
傾斜量の低域通過成分と前記ピッチレートから求めたピ
ッチ量の高域通過成分θp′とを合成した値を車体のピ
ッチ角θapとして演算して、前記対応処理手段に供給
し、前記対応処理手段は、演算されたピッチ角に応じた
分、複数の画像の対応を採るための前記小領域を画像の
垂直方向に移動するようにしたことを特徴とする。
り車体のピッチ角を演算する際、傾斜量検出手段により
検出されたピッチ方向の傾斜量の低域通過成分と、ピッ
チレート検出手段により検出されたピッチレートから求
めたピッチ量の高域通過成分との合成値を車体のピッチ
角として演算し、演算されたピッチ角に応じた分だけ対
応処理手段で対応を採る小領域を画像の垂直方向に移動
するようにしたので、複数の画像間で対応物体を確実に
検出することができる。
ように、前記ピッチ角演算手段の入力側にヨーレートを
検出するヨーレート検出手段94を備え、前記ピッチ角
演算手段は、前記傾斜量の低域通過成分と、前記ピッチ
レートから求めたピッチ量の高域通過成分と、予め求め
てあるピッチ量換算係数を前記ヨーレートに掛けた換算
成分とを合成した値を車体のピッチ角として演算し、前
記対応処理手段に供給するようにしたことを特徴とす
る。
切られて(操舵されて)車両にヨーイング(首振り:車
両を上からみた場合、車体が回転運動すること)が発生
し、これを原因としてロール(車両の左右が反対に上下
する傾き)が発生し、見かけ上、ピッチレート(積分す
ると前後の傾斜量になる。)が変動した場合であって
も、ヨーレートにピッチ量換算係数を掛けた換算ピッチ
量を演算し、この換算成分を前記演算されたピッチ角に
合成するようにしているので、例えば、車両に旋回が発
生した場合であっても、対応物体を確実に検出すること
ができる。
ついて、図面を参照して説明する。
すブロック図である。
のビデオカメラ(以下、単にカメラまたは右カメラとも
いう。)1Rと、左側のビデオカメラ(同様に、カメラ
または左カメラともいう。)1Lとにより構成されてい
る。左右のカメラ1R、1Lは、図2に示すように、自
動車(車両ともいう。)Mのダッシュボード上に予め定
めた所定の間隔、いわゆる基線長Dを隔てて設置してあ
る。また、カメラ1R、1Lはダッシュボード上に水平
面に対して平行に、かつ水平面上に配された車両Mの正
面方向にある無限遠点が画像の中心となるように設置し
てある。さらに、カメラ1R、1Lはダッシュボード上
に設置してあるために、カメラ1R、1Lを一体として
連結することができ、上述の基線長Dを維持できる。
パーのワイパー拭き取り範囲内に配置し、かつワイパー
が左右にあって同方向に回動する場合には、左右のワイ
パーブレードの始点から同一位置になるように配置する
ことで、ワイパーブレードによる遮光位置の変化が左右
のカメラ1R、1Lで同一となり、認識対象物体(物
体、対象物、対象物体、または、単に、対象ともい
う。)の撮像に対してワイパーブレードの撮像の影響を
少なくすることができる。左右のカメラ1R、1Lの光
軸15R、15L(図1参照)は、同一水平面上におい
て平行になるように設定されている。
R、1Lには、光軸15R、15Lに略直交する方向
に、画像情報を有する光Icrをとらえる同一の焦点距
離Fを有する対物レンズ11R、11Lと、減光フィル
タとしてのNDフィルタ組立体12R、12Lと、対物
レンズ11R、11Lによって結像された像を撮像する
エリアセンサ型のCCDイメージセンサ(CCDエリア
センサ、撮像素子部)13R、13Lとが配設されてい
る。この場合、それぞれの光学系(光学部ともいう。)
とも、例えば、右側の光学系で説明すれば、対物レンズ
11R、NDフィルタ組立体12Rを構成する1つのN
Dフィルタ(または素通しの状態)およびCCDイメー
ジセンサ13Rは、いわゆる共軸光学系を構成する。
ンサ13R、13Lの読み出しタイミング、電子シャッ
タ時間等の各種タイミングを制御したり、CCDイメー
ジセンサ13R、13Lを構成する撮像素子群を走査し
て得られる光電変換信号である撮像信号を、いわゆる映
像信号に変換するための信号処理回路14R、14Lが
配設されている。
換えれば、信号処理回路14R、14Lの出力信号であ
る映像信号は、増幅利得等を調整するCCU2R、2L
を通じて、例えば、8ビット分解能のAD変換器3R、
3Lに供給される。
である映像信号がデジタル信号に変換され、水平方向の
画素数768列、垂直方向の画素数240行の画素の信
号の集合としての画像信号(以下、必要に応じて、画素
データの集合としての画像データともいい、実際上は濃
度を基準とする画像信号ではなく輝度を基準とする映像
信号データであるので、映像信号データともいう。)と
してフレームバッファ等の画像メモリ4R、4Lに格納
される。画像メモリ4R、4Lには、それぞれ、Nフレ
ーム(Nコマ)分、言い換えれば、ラスタディスプレイ
上の画面N枚分に相当する画面イメージが保持される。
一実施の形態においてはNの値として、N=2〜6まで
の値が当てはめられる。2枚以上を保持できるようにし
たために、画像の取り込みと対応処理とを並行して行う
ことが可能である。
する場合には、画素メモリともいう。)4R、4Lは、
この実施の形態においては、上記水平方向の画素数×垂
直方向の画素数と等しい値の1フレーム分の画素メモリ
を有するものと考える。各画素メモリ4R、4Lは8ビ
ットのデータを格納することができる。なお、各画素メ
モリ4R、4Lに格納されるデータは、上述したよう
に、映像信号の変換データであるので輝度データであ
る。
は、上述したように1枚の画面イメージ分の画像である
ので、これを明確にするときには、必要に応じて、全体
画像ともいう。
データ(ウィンドウ画像ともいう。)に対して、左側の
画像メモリ4Lの同じ大きさの領域の画像データ(ウィ
ンドウ画像ともいう。)を位置(実際には、アドレス)
を変えて順次比較して所定演算を行い、物体の対応領域
を求める対応処理装置6が、画像メモリ4R、4Lに接
続されている。
応領域(対応アドレス位置)に応じ三角測量法(両眼立
体視)に基づいて、対象の相対位置を演算する位置演算
装置7が対応処理装置6に接続されている。
するように、車両Mの姿勢角であるピッチ角θapを推
定し、これを姿勢角メモリ10に送出する。姿勢推定装
置9により新たなピッチ角θapが推定され、姿勢角メ
モリ10に送出されたとき、姿勢角メモリ10の内容が
更新される。
角θapは、露光量調整装置8および対応処理装置6に
より読み取られるようになっている。
ける対応処理・位置演算に先立ち、入力側が画像メモリ
4Rに接続される露光量調整装置8の制御により、CC
Dイメージセンサ13R、13Lに入射される画像情報
を有する光Icrの露光量が適正化される。
び画像メモリ4Rの所定領域の画像データに基づいて、
ルックアップテーブル等を参照して露光量を決定し、C
CU2R、2Lの増幅利得と、CCDイメージセンサ1
3R、13Lの電子シャッタ時間と、NDフィルタ組立
体12R、12Lのうちの所望のフィルタとを、それぞ
れ、同じ値、同じものに同時に決定する。
ち、所望のNDフィルタが、駆動回路5R、5Lを通じ
て切り換え選定されるが、この切り換えには、NDフィ
ルタを使用しない場合、いわゆる素通し(必要に応じ
て、素通しのNDフィルタとして考える。)の場合も含
まれる。
応じてさらに詳細な構成について説明する。
対象物体Sを含む情景を左右のカメラ1R、1Lにより
撮像している状態の平面視的図を示している。対象物体
Sの相対位置をRPで表すとき、相対位置RPは、既知
の焦点距離FからのZ軸方向(奥行き方向)の距離Zd
と右カメラ1RのX軸方向(水平方向)中心位置からの
水平方向のずれ距離DRとによって表される。すなわ
ち、相対位置RPがRP=RP(Zd、DR)で定義さ
れるものとする。もちろん、相対位置RPは、既知の焦
点距離Fからの距離Zdと左カメラ1LのX軸(水平方
向)中心位置からの水平方向のずれ距離DLとによって
表すこともできる。すなわち、相対位置RPをRP=R
P(Zd、DL)と表すことができる。
された対象物体Sを含む画像(右画像または右側画像と
もいう。)IRを示し、図4Bは、左側のカメラ1Lに
よって撮像された同一対象物体Sを含む画像(左画像ま
たは左側画像ともいう。)ILを示している。これら画
像IRと画像ILとがそれぞれ画像メモリ4Rおよび画
像メモリ4Lに格納されていると考える。右側画像IR
中の対象物体画像SRと左側画像IL中の対象物体画像
SLとは、画像IR、ILのX軸方向の中心線35、3
6に対してそれぞれ視差dRと視差dLとを有してい
る。対象物体画像SRと対象物体画像SLとは、エピポ
ーラーライン(視線像)EP上に存在する。
状態において、対象物体Sが無限遠点に存在するとき、
対象物体画像SRと対象物体画像SLとは、中心線3
5、36上の同一位置に撮像され、視差dR、dLは、
dR=dL=0になる。
上における図3に示す視差dR、dLとは、画像IR、
IL上の図4A、図4Bに示す視差dR、dLとは極性
が異なるが、CCDエリアセンサ13R、13Lからの
読み出し方向を変えることで同一極性とすることができ
る。光学部に配設するレンズの枚数を適当に設定するこ
とによりCCDエリアセンサ13R、13L上における
視差dR、dLと画像IR、IL上の視差dR、dLの
極性とを合わせることもできる。
立つことが分かる。
とずれ距離DLとをそれぞれ(4)式〜(6)式で求め
ることができる。
離DLとをクラスタリングして、対象物体Sについての
識別符号としての、いわゆるアイディ(ID:Identifi
cation)を付けることで、車両追従装置等への応用を図
ることができる。
ジセンサ13R、13Lの実効1画素の物理的な大きさ
の測定や焦点距離Fの測定は困難であるため、比較的正
確に測定可能な画角を利用して距離Zd、ずれ距離D
R、DLを求める。
平画角をθ、カメラ1R、1Lの水平方向の実効画素数
(画像メモリ4R、4Lの水平画素数に等しい画素数)
をN、視差dR、dLに対応する画像メモリ4R、4L
上の画素数をNR、NLとすると、次に示す(7)式〜
(9)式から距離Zdとずれ距離DRとずれ距離DLと
をそれぞれ求めることができる。
実効画素数N(この実施の形態では、上述したようにN
=768)は予め定められており、視差dR、dLに対
応する画素数NRおよびNLも取り込んだ画像から分か
る値である。
けるまでの過程をフローチャートを利用して全体的に説
明すれば、図5に示すようになる。
される映像信号データがそれぞれ画像メモリ4R、4L
に取り込まれて格納される(ステップS1)。
記憶されたある領域の画像に対応する画像を画像メモリ
4Lから求め、いわゆる画像の左右の対応を採る(ステ
ップS2)。
る視差dR、dLを求め、位置情報に変換する(ステッ
プS3)。
プS4)、IDを付ける(ステップS5)。
られた出力は、本発明の要部ではないので、詳しく説明
しないが、図示していない、例えば、道路・障害物認識
装置等に送出されて自動運転システムを構成することが
できる。この自動運転システムでは、運転者に対する警
告、自動車(ステレオカメラ1を積んだ車両)Mの衝突
回避、前走車の自動追従等の動作を行うことができる。
像の対応を採るステップS2では、いわゆる特徴に着目
した方法ではなく、基本的には、従来技術の項で説明し
た画像中の領域に着目する方法を採用している。
らかの特徴を抽出し、それらの特徴が一致する部分が対
応の取れた部分であるとする特徴に着目する方法は、取
り扱う情報量が低下するので採用せず、一方の画像、こ
の実施の形態では、右画像IRから対象物体画像SRを
囲む小領域、いわゆるウィンドウを切り出し、この小領
域に似た小領域を他方の左画像ILから探すことにより
対応を決定する方法を採用している。
領域に着目する方法では、2枚の画像IL、IR上にお
いて同一対象物体Sの対応を採る技術として、一方の画
像上に適当なサイズのウィンドウを設定し、他方の画像
においてこのウィンドウに対応する領域を求めるため
に、他方の画像に前記ウィンドウと同一サイズの領域を
設定する。
(単に、ウィンドウ画像ともいう。)を構成する対応す
る各画素(詳しく説明すると、ウィンドウ画像中のマト
リクス位置が対応する各画素)についての画素データ
値、すなわち、輝度値を引き算して差を得、さらに輝度
差の絶対値を得る。
の絶対値の前記ウィンドウ内の和、いわゆる総和を求め
る。
いう。)Hと定義する。このとき、右画像IRと左画像
ILのウィンドウ内の対応座標点(x,y)の輝度(画
素データ値)をそれぞれIR(x,y)、IL(x,
y)とし、ウィンドウの横幅をn画素(nは画素数)、
縦幅をm画素(mも画素数)とするとき、ずらし量をd
x(後述する)とすれば、一致度Hは、次の(10)式
により求めることができる。
dx,y+j)| である。記号Σ(i=1→n)は、|Id|についての
i=1からi=nまでの総和を表し、記号Σ(j=1→
m)は、Σ(i=1→n)|Id|の結果についてのj
=1からj=mまでの総和を表すものとする。
ど、言い換えれば、輝度差の絶対値の総和が小さいほ
ど、左右のウィンドウ画像が良く一致していることが分
かる。
すなわち小領域の大きさが大きすぎると、その領域内に
相対距離Zdの異なる他の物体が同時に存在する可能性
が大きくなって、誤対応の発生する可能性が高くなる。
一方、小領域の大きさが小さすぎると、誤った位置で対
応してしまう誤対応、あるいは、ノイズを原因とする誤
対応が増加してしまうという問題がある。本発明者等
は、種々の実験結果から、最も誤対応が少なくなる小領
域の大きさは、横方向の画素数nがn=7〜9程度、縦
方向の画素数mがm=12〜15程度の大きさであるこ
とをつきとめた。
致度Hを求める対応計算を行う際の領域の動かし方の概
念を示している。
画像IR上の所定領域(小領域、原領域またはウィンド
ウ画像ともいう。)31は、左右画像IL、IRを横断
して水平方向に延びる帯状領域33中をX軸方向左端位
置から右へ1画素ずつ640画素分移動していき、対応
を採られる左画像ILの所定領域(小領域、検索領域ま
たはウィンドウ画像ともいう。)32は、右画像IRの
原領域31の左端位置に対応する位置(以下、原領域3
1の水平方向の変移位置という。)から対応計算を行
い、ずらし量dxを右方向にエピポーラーラインEP上
を0〜最大127画素分だけ1画素ずつ移動させて対応
計算を行うようにしている。最大127画素のずれが有
効な一致度Hの計算は、合計で(640−n)×128
回行われる。
力結果を利用する側の要求から水平画角θがθ=40
°、最短の距離ZdがZd=5m、使用できるステレオ
カメラ1(カメラ1Rとカメラ1L)の水平方向の画素
数NがN=768、設置できる基線長DがD=0.5m
から、下記の(11)式に当てはめると、NL+NR=
105画素となり、ハードウエアにおいて都合のよい2
の累乗でこれに近い値の2=128を選んだからであ
る。
像された対象が、かならず、左画像ILのずらし量dx
がdx=0〜127に対応する0番目の画素位置から1
27番目の画素位置内に撮像されていることを意味す
る。したがって、X座標値(変移位置ともいう。)Xが
X=0を基準とする原領域31内の撮像対象は、左画像
ILのX座標値XがX=0を基準として、ずらし量dx
がdx=0〜127の範囲に撮像されていることを意味
する。同様にして右画像IRのX座標値XがX=640
−nを基準とする原領域31内の撮像対象は、左画像I
LのX座標値XがX=640−nを基準として、ずらし
量dxがdx=0〜127の範囲に撮像されていること
になる。
X座標値XがX=640+n+127=767(768
番目)の最右端の画素になるので、それ以上、右画像I
Rの原領域31を右方向にずらすことは、一般に、無意
味である。右画像IR中、X座標値XがX=640−n
より右側の撮像対象は、左画像ILに撮像されないから
である。しかし、遠方の画像については対応がとれるた
め、有意なこともあるので、本発明においては、対応す
べき画像のない部分の画素については8ビットの最大値
255があるものとして一応計算を行っている。メモリ
や計算時間を節約するためにはX座標値XをX=640
−nまでで打ち切ることが有効である。
に、まず、右画像IR中のX座標値XがX=0を変移位
置とする原領域31を取り出し(ステップS11)、左
画像ILの検索領域32のずらし量dxをdx=0に設
定する(ステップS12)。
る値であるかどうか、すなわちdx=128であるかど
うかを判定する(ステップS13)。
Hの計算をするために、左画像ILの検索領域(小領
域)32分の画素データを取り出す(ステップS1
4)。
の差の絶対値の総和、すなわち、(10)式に示す一致
度Hを求め記憶する(ステップS15)。
の場合、dx=1)として1画素分増加する(ステップ
S16)。
ないので、次に、ずらし量dxがdx=1を基準に検索
領域32を取り出し(再び、ステップS14)、このず
らし量dxがdx=1を基準の検索領域32とX座標値
(変移位置ともいう。)XがX=0の原領域31とで一
致度Hを計算して記憶する(再び、ステップS15)。
になるまで(ステップS13の判定が成立するまで)X
座標値XがX=0の原領域31についての一致度Hを計
算する。
き、すなわち、X座標値XがX=0の原領域31につい
て計算した一致度Hのうち、負のピーク値である最小値
Hminとその近傍の値を求め、記憶しておく(ステッ
プS17)。
ート中には記載しないが、右画像IR中の変移位置Xが
X=1〜767(または640−n)まで、上述のステ
ップS11〜S17を繰り返し、各変移位置Xにおける
右画像IRの原領域31に最も対応する左画像ILの検
索領域32を検出する。
チャートに基づいて、一致度Hの計算等を行う対応処理
装置6の詳細な構成を示すブロック図である。
て、対応処理を行おうとする右画像IRに対する原領域
31と左画像ILに対する検索領域32の座標(上述の
図6に示す変移位置Xとずらし量dxおよびエピポーラ
ーラインEPのY座標値)が生成される。なお、後に説
明するように、座標を生成する際に、姿勢角メモリ10
からのピッチ角θapが考慮される。
座標(X,Y)に基づいて、画像メモリ4R、4Lから
読み出す小領域のアドレスデータが画像メモリアドレス
生成部64により生成される。
モリ4R、4Lに対する読み出しアドレスデータが生成
され、それぞれ、画像メモリ4R、4Lに供給される。
像データに基づく一致度Hの計算、いわゆる相関演算が
相関演算部65で行われ、相関演算結果が相関メモリ6
7に記憶される。また、ずらし量dxに対応して相関演
算結果のピーク値、すなわち一致度Hの最小値Hmin
等がピーク値検出部66により検出され、検出されたピ
ーク値がピーク値メモリ68に記憶される。
した一致度Hを求めるための相関演算部65の詳細な構
成を示している。
〜第4の演算ブロック81、82、83、84を有す
る、いわゆるパイプライン方式的処理である並列処理方
式を採用している。
ン方式的処理を考慮しないで、具体的には、FIFOメ
モリ65iが存在しないものとして、第1演算ブロック
81のみで、図6、図7を参照して説明した一致度Hを
求めるための動作について説明する。そして、上述のよ
うに、誤対応が最も少なくなるそれぞれの小領域(原領
域31と検索領域32)の大きさとしては、横方向の画
素数nがn=7〜9画素程度、縦方向の画素数mがm=
12〜15画素程度であるが、ここでは、理解を容易に
するために、n=4、m=5として説明する。
ピポーラーラインEP上に乗る仮想的な右画像データI
rdの例を示している。原領域31の対象となる全画素
データ数は、m×640=5×640箇であるものとす
る。
P上に乗る仮想的な左画像データIldの例を示してい
る。検索領域32の対象となる全画素データ数は、m×
768=5×768箇であるものとする。
5を通じて原領域31の右画像データIrdが減算器6
5aの被減算入力端子に供給され、画像メモリ4Lから
端子86を通じて検索領域32の左画像データIldが
減算器65aの減算入力端子に供給される。
では、縦方向の左右の画素データの差を取り、その差の
絶対値が絶対値演算器65bで取られる。加算器65c
は、縦方向の左右の画素データの差の絶対値の和を取る
とともに、ラッチ65dにラッチされている前列の縦方
向の左右の画素データの差の絶対値の和を加算する。
数nに対応するn段分、この実施の形態では、当該列の
分を除いて左側(前側)に4(=n)列分の縦方向の左
右の画素データの差の絶対値の和が保持される。すなわ
ち、この実施の形態において、FIFOメモリ65e
は、最初(入力側)のメモリ65e1〜最後(出力側)
のメモリ65e4までの4段ある。
1行目)で加算器65cの出力側には、1列1行目の左
右の画素データの差の絶対値|A1−a1|が現れ、か
つ、この値|A1−a1|がラッチ65dに保持され
る。
の左右の画素データの差の絶対値|A2−a2|とラッ
チ65dに保持されているデータ|A1−a1|との
和、すなわち、|A2−a2|+|A1−a1|が加算
器65cの出力側に現れる。
(12)式に示す1列目の左右の画素データの差の絶対
値の和(データ)Σ(以下、2列目以降を順次、Σ
、Σ、Σ、…Σ641とする。)が加算器65c
の出力側に現れ、この和Σは、ラッチ65dに保持さ
れる。また、このデータΣは、FIFOメモリ65e
の最初のメモリ65e1に格納される。
が、最初のメモリ65e1に格納された後、ラッチ65
dは、端子89から供給される制御信号によりリセット
される。
=0での小領域31、32間での全ての1回目の計算が
終了する4列(4=n)5行(5=m)目の演算終了後
のラッチ65dに格納されるデータ値とFIFOメモリ
65eに格納されるデータ値とラッチ65hに格納され
るデータ値等を図12に模式的に示す。
=0の場合における次の(13)式に示す最初に求めら
れる一致度H0が加算器65gの出力側に現れている点
に留意する。
図13に示す。図13から分かるように、ずらし量dx
の値がdx=0の場合の検索領域32に対する一致度H
0が出力端子90に現れる。
列目のデータΣと1列目のデータΣとの差Σ−Σ
が現れるので、加算器65gの出力側には、ずらし量
dxの値がdx=1の場合の検索領域32に対する次の
(14)式に示す一致度H1が現れることになる。
〜639まで移動し、ずらし量dxをdx=128まで
の各一致度Hを求める際に、この実施の形態では、原領
域31の左画像IL上で1画素分右にずらした位置での
対応度Hを求めるとき、左端の縦方向の和(上例ではΣ
)を減じて右に加わる新たな列の縦方向の和(上例で
はΣ)を加えるようにしているので、演算回数を15
×640×128=1,228,800回にすることが
できる。すなわち、小領域の横方向の幅(画素数)は計
算時間に無関係になる。
15の小領域を移動させこの小領域毎に各領域を構成す
る画素データの差を取って、一致度Hを、水平方向Xを
XがX=0〜639まで、ずらし量dxを128まで計
算することにすると、演算回数は15×15×640×
128=18,432,000回となり、最も演算時間
のかかる絶対値演算器65bの1回の演算時間を100
nsで実行した場合でも、総演算時間が1843msか
かることになる。これに対して上例では、総演算時間が
123msであり、約1/15に低減することができ
る。
TSC方式のフレームレートである33msより大きい
ので、フレームレート毎に、言い換えれば、1画面毎に
一致度Hを計算する場合には、総演算時間123msを
約1/4以下の時間にする必要がある。
たように、第1演算ブロック81と同一構成の第2〜第
4演算ブロック82、83、84を設け、縦方向の画素
数mと同数のFIFOメモリ65iを直列に接続してい
る。
と同じ画像データを利用してパイプライン方式的処理動
作を説明すれば、最初に、第1と第2の演算ブロック8
1、82を構成するFIFOメモリ65eを通じて、第
3演算ブロック83を構成するFIFOメモリ65iに
左1列目の画素データa1〜a5までを転送する。した
がって、この転送時点で、第2演算ブロック82を構成
するFIFOメモリ65iには2列目の画素データb1
〜b5が転送され、第1演算ブロック81を構成するF
IFOメモリ65iには3列目の画素データc1〜c5
が転送される。
を第1演算ブロック81のFIFOメモリ65iに順次
転送したとき、第4演算ブロック84では右1列目の画
素データA1〜A5と左1列目の画素データa1〜a5
に関連する上述の演算が行われ、第3演算ブロック83
では右1列目の画素データA1〜A5と左2列目の画素
データb1〜b5に関連する上述の演算が行われ、第2
演算ブロック82では右1列目の画素データA1〜A5
と左3列目の画素データc1〜c5に関連する上述の演
算が行われ、第1演算ブロック81では右1列目の画素
データA1〜A5と左4列目の画素データd1〜d5に
関連する上述の演算が行われる。
の転送に同期して次の左5列目の画素データe1〜e5
を第1演算ブロック81のFIFOメモリ65iに順次
転送したとき、第4演算ブロック84では右2列目の画
素データB1〜B5と左2列目の画素データb1〜b5
に関連する演算が行われ、第3演算ブロック83では右
2列目の画素データB1〜B5と左3列目の画素データ
c1〜c5に関連する演算が行われ、第2演算ブロック
82では右2列目の画素データB1〜B5と左4列目の
画素データd1〜d5に関連する演算が行われ、第1演
算ブロック81では右2列目の画素データB1〜B5と
左5列目の画素データe1〜e5に関連する上述の演算
が行われる。
ータC1〜C5の転送に同期して次の左6列目の画素デ
ータf1〜f5を順次同期して転送するようにすれば、
第4演算ブロック84では、ずらし量dxがdx=0、
dx=4、……についての一致度Hを計算でき、同様
に、第3演算ブロック83では、ずらし量dxがdx=
1、dx=5、……についての一致度Hを計算でき、第
2演算ブロック82では、ずらし量dxがdx=2、d
x=6、……についての一致度Hを計算でき、第1演算
ブロック81では、ずらし量dxがdx=3、dx=
7、……についての一致度Hを同時に計算することでき
る。
並列にすれば、演算時間を約1/4に低減することがで
きる。なお、上述の説明から理解できるように、第4演
算ブロック84中のFIFOメモリ65iは不要であ
る。
れば、1フレームレートで1フレームの画像についての
640点の距離情報が求まり、左画像ILの横768画
素×縦15画素の帯領域の処理が完了するが、これは1
画像領域が768×240画素であることを考えると、
全画像領域の1/16になる。
の取付位置がずれた場合等を想定すると、当初のエピポ
ーラーラインEP上に対応する対象物画像が存在しなく
なる場合も考えられる。この場合、図示はしないが、例
えば、図9の対応処理装置6の構成を4並列にし、画像
の縦方向の処理を4並列にすることにより、横768画
素、縦15画素の帯領域4つをフレームレート内で処理
することが可能となる。この場合に、領域が重ならない
ようにすることで、最大127画素のずれまで検出でき
る距離情報を1フレームレート内で(640−n)×4
点出力できる。
本のエピポーラーラインEP上における右画像IR中の
640個の原領域31のそれぞれに対して、ずらし量d
xがdx=0〜127の検索領域32についての128
個の一致度Hが演算され、この演算結果の一致度Hが、
相関メモリ67に格納される。
移位置Xに対する128個の検索領域32のうち、一致
度Hが最小値となる値(ピーク値ともいう。)をピーク
値検出部66で検出し、検出したピーク値(最小値)H
minを、そのときの変移位置Xとずらし量dxに対応
させてピーク値メモリ68に記憶する。ピーク値メモリ
68は、一致度Hのピーク値(最小値)記憶テーブルと
して機能する。
て一致度Hが記憶されている相関メモリ67と、その最
小値としてのピーク値Hminが記憶されているピーク
値メモリ68が位置演算装置7に接続されている。
値Hminとを参照し、図14に示すフローチャートに
基づいて、対象物体Sの3次元空間での位置Pを求め
る。
pの原領域31についての位置Pの算出方法について説
明する。
ついての一致度Hのピーク値Hminと、そのときのず
らし量dx(このずらし量dxをずらし量dxminと
呼ぶ)をピーク値メモリ68から取り込む(ステップS
21)。
右各2個の一致度H、すなわち、ずらし量dxがずらし
量dxminより3つ少ないずれ量dxmin-2および
3つ多いずれ量dxmin+2の各位置における一致度H
min-2、Hmin+2を取り込む(ステップS22)。
(ピーク深さともいう。)Qを求める(ステップS2
3)。
ら2つ隣の一致度Hmin-2、Hmin+2の大きさの各
比のうち、最小値を取ることを意味する。
以上の値であるかどうか(Q≧TH)を判定し(ステッ
プS24)、所定の閾値TH以上の値である場合には、
ピーク値Hminであり、ずらし量dxminの検索領
域32が所定の変移位置Xpの原領域31に対応する領
域であると同定して次のステップS25に進む。
る場合には、ピーク値Hminであり、ずらし量dxm
inの検索領域32が所定の変移位置Xpの原領域31
に対応する領域ではないと判断して、次の変移位置Xp
+1の原領域31に対する対応する検索領域32を求め
る処理が全て終了したかどうかを判定し(ステップS2
8)、全ての変移位置Xに対応する処理が終了していな
い場合には、そのステップS21〜S24の処理を繰り
返す。
ク値Hminを変移位置Xpの原領域31に対応する検
索領域32であると直ちに同定しないで、その近傍を見
て(ステップS22)、その谷の深さQを計算し(ステ
ップS23)、その谷の深さQが所定の閾値TH以上の
場合にのみ、一致度Hのピーク値Hminが得られるず
らし量dxminの検索領域32が、変移位置Xpの原
領域31に対応する検索領域32であると同定する理由
は、雑音の混入または画像IR、ILの被写体の画像濃
度が一様である場合等に、一致度Hのピーク値Hmin
が得られ、ずらし量dxminの検索領域32が、変移
位置Xpの原領域31に必ずしも対応するとは限らない
からである。
傍領域を考慮して、谷の深さQが、所定の閾値THより
小さいものは、対応がよく取れていないと判断し、その
一致度Hのピーク値Hminは利用しないこととした。
なお、所定の閾値THは、この実施の形態においては、
TH=1.2とした。
き、ずらし量dxの真の値(真のピーク位置という)d
sを次に示す補間処理により求める(ステップS2
5)。すなわち、図15に示すように、最小位置座標を
(dxmin,Hmin)とし、その前後の位置座標を
それぞれ(dxmin-1,Hmin-1)、(dxmin
+1,Hmin+1)とするとき、前後の一致度Hmin-
1、Hmin+1の大きさを比較して、それぞれ次の(1
6)式〜(18)式で示す値に推定する。
ク位置dsを求めた場合には、補間しない場合に比較し
て、位置精度が3倍向上することを実験的に確認するこ
とができた。
に、変移位置Xpの原領域31に最も対応する検索領域
32の真のピーク位置dsが求まることになる。
真のピーク位置dsは、それぞれ、図5に示す右画像I
R上の対象物体画像SRの視差dRと左画像IL上の対
象物体画像SLの視差dLに対応する。
1R、1Lの対物レンズ11R、11Lの光学特性によ
って、左右の画像IR、ILには、例えば、ピンクッシ
ョン的歪み、あるいはバレル的歪みが存在するので、こ
れらによる歪み補正を行った視差dRと視差dLとを求
める(ステップS26)。
と視差dLを測定値として、上述の(4)式〜(6)式
から対象物体Sまでの奥行き方向の距離Zdと、その距
離Zdからの左右の偏差にかかるずれ距離DRとずれ距
離DLとの3次元位置情報を求めることができる(ステ
ップS27)。
EP上の全ての変移位置Xでの原領域31に対応する検
索領域32中の真のピーク位置dsを求める演算が終了
したかどうか、すなわち、変移位置XがX=767であ
るかどうかを確認して処理を終了する。
元位置情報である距離Zdとずれ距離DRとずれ距離D
Lとはクラスタリングされ、対象物体Sについての識別
符号としての、いわゆるアイディ(ID:Identificati
on)が付けられて、出力端子101を通じて、次の処理
過程である、図示しない道路・障害物認識装置等に接続
される。
テムを構成し、運転者に対する警告、車体の自動衝突回
避、前走車への自動追従走行などの動作を行うことがで
きる装置である。この場合、例えば、自動追従走行を行
うシステムとして、本出願人の出願による「物体検出装
置およびその方法」(特願平7−249747号)を挙
げることができる。
に示した姿勢推定装置9の詳細な構成を示している。
中の車体Mの揺れや、乗車人員の数や荷物の重量による
車体の傾きにより、距離検出領域が消失点よりずれるこ
とを補正する装置である。なお、消失点とは、エピポー
ラーラインEPが通る点であって、車両Mの正面方向に
ある無限遠点に対応する画像の中心とした点である。消
失点は、例えば、車両Mの前方に真っ直ぐな道路が存在
するとき、画像上、その道路の両側の線の延長線の前方
での交点と考えることができる。
センサ91が固定され、後部のホイールハウスの下部に
後部車高センサ92が固定されている。傾斜量検出手段
を構成する車高センサ91、92は、例えば、レーザ測
長器または超音波測長器等を用いることができる。ま
た、トランクの近くに、それぞれ、角速度センサである
ピッチレートセンサ93とヨーレートセンサ94とが、
ピッチレートとヨーレートを検出する方向に固定されて
いる。これらセンサ91〜94は、車体を上側から見た
場合、ロールによるピッチ角の誤差の発生を防止するた
めに、車体の前後を結ぶ中心線から同じ方向に同じだけ
離れた位置に配置されている。
との車軸上での間隔(長さ)はLとされている。傾きの
ない路面102からの前部車高センサ91および後部車
高センサ92で測定される高さをそれぞれHfo、Hr
oとし、ある状態における路面102からの高さをそれ
ぞれHf、Hrとするとき、ピッチ方向の傾き(傾斜
量)θhは、(19)式で与えられる。
路面102の細かい凹凸による影響を避ける等の理由に
より、それぞれ、ローパスフィルタ95、96を通して
演算器97にその低域通過成分である高さHf′とH
r′とが供給されるように構成されている。これら高さ
Hf′、Hr′から求められるピッチ方向の傾きは、θ
h′とする。
は、各速度信号であるので、それを1回積分器98で積
分することでピッチ方向の傾きを求めることができる。
求めた傾き(傾斜量)をθpとする。
常、ドリフト等の誤差を有しているため、長時間積分す
ると誤差が累積されてしまうという問題が発生する。
を通過させてその高域通過成分である傾きθp′を演算
器97に供給するようにする。ハイパスフィルタ99を
通過させることで、静止していると傾きθp′は0値に
近づくことになる。このようにすることで、坂道のよう
に路面に傾斜がある場合でも路面の向きに沿った方向を
推定することができる。
ッチ方向の傾きθapを、傾きθh′と傾きθp′とを
合成した(20)式で示す式で求めるようにしている。
ルタ99との時定数を同一の値にしておくことで、車体
の揺れと傾斜を好適に検出することができる。
突然傾きθα°だけ傾いたとする。このとき、車高セン
サ91、92の出力を基に得られる傾きθh′は、ロー
パスフィルタ95、96を挿入しているので時間の経過
とともに傾きθα°に近づき、ピッチレートセンサ93
に基づく傾きθp′は、ハイパスフィルタ99を挿入し
ているので時間の経過とともに傾き0°に近づくことに
なる。したがって、これを合成した傾きθap(θap
=θh′+θp′)は、突然傾いた時点からステップ関
数的に立ち上がることになるので、車体Mの揺れと傾斜
を直ちにしかも正確に検出することができる。
は、後部車高センサ92の位置を相対的な原点として路
面102から時計方向に回転する方向を正方向としてい
る。
は、車体Mにヨーイングが発生する転回時などにおいて
は、車体Mがロールし、このロールを原因としてピッチ
レートが発生するので、正しく路面との平行面を推定で
きなくなる。
を設けて車体Mの軸回転を推定して、ピッチ方向の傾き
θapを求めるようにしてもよいが、ヨーレートとロー
ル量は比例関係にあり、したがって、ヨーレートからロ
ール量を推定することが可能となり、結果として、ヨー
レートからピッチレートを擬似的に補正することが可能
となる。
への換算係数(ピッチ量換算係数)をKとして予め求め
ておくことで、ヨーレートセンサ94により検出された
ヨーレートRyawに、この換算係数Kを掛けること
で、ピッチ方向の傾斜θapの補正量を求めることがで
きる。
方向の傾斜(ピッチ角)θapを(21)式により算出
することとする。
じて図1に示す姿勢角メモリ10に格納される。
6(図8参照)内で相関演算をする際にスキャン座標生
成装置61により読み取られる。
pが正の値であった場合には、傾斜θapに対応するS
個の画素分だけ、左右画像IL、IR(図6参照)の対
応を採る領域(ウィンドウ画像)32、31を選択する
際の帯状領域33の座標を下側に下げる。したがって、
傾斜θapが負の値であった場合には、傾斜θapに対
応するS個の画素分だけ、左右画像IL、IRの対応を
採る領域32、31を選択する際の帯状領域33の座標
を上側に上げる。
pと帯状領域33(エピポーラーラインEP)との対応
関係は、予め測定してルックアップテーブルまたは演算
式としてスキャン座標生成装置61に格納しておく。
縦方向の画角がθv、縦方向のカメラの画素数がNv
(この実施の形態では、上述したように、Nv=24
0)であるとき、距離検出用対応領域32、31の縦方
向の中央付近に消失点を含む帯状領域33が入るよう
に、次の(22)式に基づいて、画素数Sを求めればよ
い。
モリ10の内容を読み取ることができるように構成して
いるのは、露光調整基準領域も(21)式に基づいて補
正できるようにするためである。
ず、この発明の要旨を逸脱することなく種々の構成を採
り得ることはもちろんである。
ば、ピッチ角演算手段により車体のピッチ角を演算する
際、傾斜量検出手段により検出されたピッチ方向の傾斜
量の低域通過成分と、ピッチレート検出手段により検出
されたピッチレートから求めたピッチ量の高域通過成分
との合成値を車体のピッチ角として演算し、演算された
ピッチ角に応じた分だけ対応処理手段で対応を採るため
の小領域を画像の垂直方向に移動するようにしたので、
たとえ、路面の凹凸や搭乗者の数等に応じて車体にピッ
チングが発生したり、車両が傾斜したり、旋回により車
体が傾斜した場合においても路面と平行な方向が安定し
て推定でき、対応しようとする物体がエピポーラーライ
ンの近傍に存在することから、複数の画像間で対応物体
を確実に検出することができるという効果が達成され
る。これにより、車両の環境の認識を正確に行うことが
できるという利点が得られる。
にカメラ自体の角度を機械的に変更することなく、画像
領域上で対応領域を移動するようにしているので、機械
的構成が必要なくなり、構成がきわめて簡単になり信頼
性も向上するという効果も達成される。
図である。
る概略斜視図である。
れる平面視的図である。
供される線図であって、Aは左側画像、Bは右側画像を
それぞれ表す図である。
ローチャートである。
る図である。
る。
示すブロック図である。
である。
を模式的に表す線図である。
を模式的に表す線図である。
されるブロック図である。
される他のブロック図である。
ャートである。
る。
オカメラ 2R、2L…CCU 4R、4L…画像
メモリ 5R、5L…駆動回路 6…対応処理装置 7…位置演算装置 8…露光量調整装
置 9…姿勢推定装置 10…姿勢角メモ
リ 13R、13L…CCDイメージセンサ 31、32…小領域(ウィンドウ画像) 33…帯状領域 91、92…車高センサ 93…ピッチレー
トセンサ 94…ヨーレートセンサ 95、96…ロー
パスフィルタ 97…演算器 θap…傾斜(ピッチ角)
Claims (2)
- 【請求項1】複数の撮像手段と、 前記複数の撮像手段からそれぞれ得られる画像の対応
を、複数の画像の小領域間で採る対応処理手段と、 対応の採れた物体までの距離を三角測量の原理に基づき
演算する位置演算手段と、 車両のピッチ方向の傾斜を検出する傾斜量検出手段と、 車両のピッチレートを検出するピッチレート検出手段
と、 入力側が前記傾斜量検出手段と前記ピッチレート検出手
段とに接続されるピッチ角演算手段とを備え、 前記ピッチ角演算手段は、前記傾斜量の低域通過成分と
前記ピッチレートから求めたピッチ量の高域通過成分と
を合成した値を車体のピッチ角として演算して、前記対
応処理手段に供給し、 前記対応処理手段は、演算されたピッチ角に応じた分、
複数の画像の対応を採るための前記小領域を画像の垂直
方向に移動するようにしたことを特徴とする車両用環境
認識装置。 - 【請求項2】前記ピッチ角演算手段の入力側にヨーレー
トを検出するヨーレート検出手段を備え、 前記ピッチ角演算手段は、前記傾斜量の低域通過成分
と、前記ピッチレートから求めたピッチ量の高域通過成
分と、予め求めてあるピッチ量換算係数を前記ヨーレー
トに掛けた換算成分とを合成した値を車体のピッチ角と
して演算し、前記対応処理手段に供給するようにしたこ
とを特徴とする車両用環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02783096A JP3765862B2 (ja) | 1996-02-15 | 1996-02-15 | 車両用環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02783096A JP3765862B2 (ja) | 1996-02-15 | 1996-02-15 | 車両用環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09223227A true JPH09223227A (ja) | 1997-08-26 |
JP3765862B2 JP3765862B2 (ja) | 2006-04-12 |
Family
ID=12231868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02783096A Expired - Fee Related JP3765862B2 (ja) | 1996-02-15 | 1996-02-15 | 車両用環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3765862B2 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001111990A (ja) * | 1999-10-12 | 2001-04-20 | Calsonic Kansei Corp | 車両用画像信号処理回路 |
JP3300340B2 (ja) * | 1999-09-20 | 2002-07-08 | 松下電器産業株式会社 | 運転支援装置 |
JP2003237509A (ja) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2004038877A (ja) * | 2002-07-08 | 2004-02-05 | Yazaki Corp | 車両用周辺監視装置及び画像処理装置 |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
JP2006275969A (ja) * | 2005-03-30 | 2006-10-12 | Clarion Co Ltd | 傾斜角算出装置及びナビゲーション装置 |
JP2007509794A (ja) * | 2003-10-31 | 2007-04-19 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 制御装置および加速度センサ装置 |
JP2008523403A (ja) * | 2004-12-15 | 2008-07-03 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 単一軌道の車両の傾斜角度の測定方法及び装置 |
JP2010187413A (ja) * | 2010-05-21 | 2010-08-26 | Yazaki Corp | 車両用表示装置 |
JP2011064594A (ja) * | 2009-09-17 | 2011-03-31 | Sony Corp | 角速度補正装置、角速度補正方法、ナビゲーション装置及びナビゲーション機能付携帯電話機 |
JP2012517055A (ja) * | 2009-02-06 | 2012-07-26 | アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | ビデオに基く車両の運転者援助システムの作動方法及び装置 |
KR20140032283A (ko) * | 2012-09-06 | 2014-03-14 | 현대모비스 주식회사 | 스테레오 영상 처리 방법 및 장치 |
US9365195B2 (en) | 2013-12-17 | 2016-06-14 | Hyundai Motor Company | Monitoring method of vehicle and automatic braking apparatus |
JP2017034623A (ja) * | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | ピッチ角推定装置 |
JP2017222312A (ja) * | 2016-06-17 | 2017-12-21 | 三菱電機株式会社 | 駐車支援装置 |
JP2019089354A (ja) * | 2017-11-10 | 2019-06-13 | 株式会社Soken | 表示制御装置、及び表示制御プログラム |
CN112937486A (zh) * | 2021-03-16 | 2021-06-11 | 吉林大学 | 一种道路积水车载在线监测与驾驶辅助***及方法 |
WO2022049880A1 (ja) * | 2020-09-02 | 2022-03-10 | 日立Astemo株式会社 | 画像処理装置 |
-
1996
- 1996-02-15 JP JP02783096A patent/JP3765862B2/ja not_active Expired - Fee Related
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300340B2 (ja) * | 1999-09-20 | 2002-07-08 | 松下電器産業株式会社 | 運転支援装置 |
JP2002335524A (ja) * | 1999-09-20 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
US6993159B1 (en) | 1999-09-20 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Driving support system |
JP2001111990A (ja) * | 1999-10-12 | 2001-04-20 | Calsonic Kansei Corp | 車両用画像信号処理回路 |
JP2003237509A (ja) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
JP2004038877A (ja) * | 2002-07-08 | 2004-02-05 | Yazaki Corp | 車両用周辺監視装置及び画像処理装置 |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
JP2007509794A (ja) * | 2003-10-31 | 2007-04-19 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 制御装置および加速度センサ装置 |
JP2008523403A (ja) * | 2004-12-15 | 2008-07-03 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 単一軌道の車両の傾斜角度の測定方法及び装置 |
JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
JP2006275969A (ja) * | 2005-03-30 | 2006-10-12 | Clarion Co Ltd | 傾斜角算出装置及びナビゲーション装置 |
JP2012517055A (ja) * | 2009-02-06 | 2012-07-26 | アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | ビデオに基く車両の運転者援助システムの作動方法及び装置 |
JP2011064594A (ja) * | 2009-09-17 | 2011-03-31 | Sony Corp | 角速度補正装置、角速度補正方法、ナビゲーション装置及びナビゲーション機能付携帯電話機 |
JP2010187413A (ja) * | 2010-05-21 | 2010-08-26 | Yazaki Corp | 車両用表示装置 |
KR20140032283A (ko) * | 2012-09-06 | 2014-03-14 | 현대모비스 주식회사 | 스테레오 영상 처리 방법 및 장치 |
US9365195B2 (en) | 2013-12-17 | 2016-06-14 | Hyundai Motor Company | Monitoring method of vehicle and automatic braking apparatus |
JP2017034623A (ja) * | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | ピッチ角推定装置 |
JP2017222312A (ja) * | 2016-06-17 | 2017-12-21 | 三菱電機株式会社 | 駐車支援装置 |
JP2019089354A (ja) * | 2017-11-10 | 2019-06-13 | 株式会社Soken | 表示制御装置、及び表示制御プログラム |
US11264000B2 (en) | 2017-11-10 | 2022-03-01 | Denso Corporation | Display control device and non-transitory computer readable medium |
WO2022049880A1 (ja) * | 2020-09-02 | 2022-03-10 | 日立Astemo株式会社 | 画像処理装置 |
CN112937486A (zh) * | 2021-03-16 | 2021-06-11 | 吉林大学 | 一种道路积水车载在线监测与驾驶辅助***及方法 |
CN112937486B (zh) * | 2021-03-16 | 2022-09-02 | 吉林大学 | 一种道路积水车载在线监测与驾驶辅助***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3765862B2 (ja) | 2006-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3765862B2 (ja) | 車両用環境認識装置 | |
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
US9105080B2 (en) | Method and a system for calibrating an image capture device | |
US6184781B1 (en) | Rear looking vision system | |
KR100550299B1 (ko) | 차량 주변 이미지 처리 장치 및 기록 매체 | |
EP1087336A2 (en) | Apparatus and method for stereoscopic image processing | |
EP1087205A2 (en) | Stereo range finder | |
JP3349121B2 (ja) | ステレオカメラの取付構造 | |
US8477191B2 (en) | On-vehicle image pickup apparatus | |
JP5421819B2 (ja) | 車線認識装置 | |
US20020196423A1 (en) | Range finder for finding range by image realization | |
JP2012019552A (ja) | 運転支援装置 | |
JP3599255B2 (ja) | 車両用環境認識装置 | |
JP3348939B2 (ja) | 車輌用距離検出装置 | |
JP7232005B2 (ja) | 車両の走行環境検出装置及び走行制御システム | |
CN111260538B (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JPH09126758A (ja) | 車両用環境認識装置 | |
JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 | |
JP2635232B2 (ja) | 車間距離検出装置 | |
JPH09259282A (ja) | 移動障害物検出装置及びその方法 | |
JP2019151307A (ja) | 駐車エリア検知装置および駐車エリア検知方法 | |
US20230421739A1 (en) | Robust Stereo Camera Image Processing Method and System | |
CN114463439B (zh) | 一种基于图像标定技术的车载相机修正方法及装置 | |
JP7301476B2 (ja) | 画像処理装置 | |
JPH09163359A (ja) | 車両用環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060125 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110203 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |