JP4156780B2 - 障害物検出装置 - Google Patents

障害物検出装置 Download PDF

Info

Publication number
JP4156780B2
JP4156780B2 JP2000159177A JP2000159177A JP4156780B2 JP 4156780 B2 JP4156780 B2 JP 4156780B2 JP 2000159177 A JP2000159177 A JP 2000159177A JP 2000159177 A JP2000159177 A JP 2000159177A JP 4156780 B2 JP4156780 B2 JP 4156780B2
Authority
JP
Japan
Prior art keywords
image
region
obstacle
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000159177A
Other languages
English (en)
Other versions
JP2001283204A (ja
Inventor
寛 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000159177A priority Critical patent/JP4156780B2/ja
Priority to US09/659,815 priority patent/US6963661B1/en
Publication of JP2001283204A publication Critical patent/JP2001283204A/ja
Priority to US11/116,307 priority patent/US7362881B2/en
Priority to US12/028,646 priority patent/US7706572B2/en
Application granted granted Critical
Publication of JP4156780B2 publication Critical patent/JP4156780B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、障害物検出装置に係り、特に自車両の周囲の先行車、駐車車両、または歩行者等の道路上に存在する障害物を検出する障害物検出装置に関する。
【0002】
【従来の技術】
自動車の安全運転の支援や自動走行を実現するために、自車両の周囲に存在する障害物を検知することは重要である。
【0003】
従来、障害物を検知するための技術には、レーザや超音波等を利用するものと、テレビカメラを利用するものがあった。レーザを利用するものは装置が高価となり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題が生じる可能性があり実用性は低かった。また、レーザや超音波等を用いる能動センサ単独では走行レーンを認識することができなかった。
【0004】
これに対し、テレビカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。テレビカメラを用いる場合には、1台のカメラを使用する方法と複数台のカメラ(ステレオカメラ)を使用する方法がある。
【0005】
1台のカメラを使用する方法は、そのカメラで撮像した1枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域とを分離する。
【0006】
例えば、撮像された画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出して道路領域とすることや、テクスチャの少ない領域を求めて、この領域を道路領域として抽出し、それ以外の領域を障害物領域とする場合もある。しかしながら、道路と似た輝度、色、あるいはテクスチャを持った障害物も数多く存在するため、この方法では障害物領域と道路領域とを切り分けるのは困難であった。
【0007】
これに対し、複数台のカメラを用いる方法は3次元情報を手がかりにして障害物を検出する。この方法は一般にステレオ視と呼ばれており、例えば2つのカメラを左右に配置し、3次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の3次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さを得ることができる。
【0008】
このようなステレオ視の技術によって、高さの有無を求め障害物領域と道路領域とを分離することができる。
しかし、通常のステレオ視には、カメラキャリブレーションと対応点探索という2つの問題がある。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系(以下ではステレオカメラ座標系と呼ぶ)に対する3次元位置を求める技術であり、このためには、あらかじめ各カメラのステレオカメラ座標系に対する位置や姿勢等に関するパラメータを求める必要がある。これらを求める作業をカメラキャリブレーションと呼ぶ。カメラキャリブレーションは、ステレオカメラ座標系に対する3次元位置が既知な多数のサンプル点を用意し、各サンプル点の投影位置を求め、これらのデータからステレオカメラ座標系に対するカメラの位置や姿勢、カメラレンズの焦点距離等を未知パラメータとする連立方程式を立て、最小自乗法等によって解くという手順で行なわれる。
しかしながら、この作業は多大な計算時間と労力とを必要とする。
一方、対応点探索とは、空間中で同一である点を左右の画像間で対応づける際に必要な探索計算を意味する。対応点探索は計算量が多いという問題がある。この様にカメラキャリブレーションと対応点探索は、ステレオ視の実用化を妨げる要因となっている。
【0009】
しかし、画像上で道路領域と障害物領域とを分離すればよいのであれば、対応点探索は必要でなく、道路平面からの高さの有無は、例えば以下のようにして判別できる。
【0010】
道路平面上の点の左右画像への投影点を各々(u,v),(u',v')とすれば、
【数1】
Figure 0004156780
という関係式が成り立つ。
【外1】
Figure 0004156780
点Pが道路平面上に存在すれば、点PとP'が正しい対応点の組となるので、2点の輝度は一致する。したがって、点PとP'の輝度が異なる場合には、点Pは障害物領域に属すると判定することができる。この方式は、式(1)のみから直接的に画像上の任意の点の道路面からの高さの有無を判定可能であり、式(1)の係数は道路上の4点以上の特徴点の左右画像への投影点だけから求めることができ、左右画像間の対応点探索と、3次元位置が既知であるサンプル点を用いるカメラキャリブレーションが不要である。
【外2】
Figure 0004156780
しかしながら、車両が屋外を走行する場合には、車両自身の振動や道路の傾斜の変化等のため、道路平面と各カメラの相対的な位置や姿勢との関係は時々刻々変化する。
【外3】
Figure 0004156780
ラメータに含まれる誤差の影響で道路上の模様などが障害物として誤検出され、検出精度が著しく低下するという問題があった。
ここで、差異検出部の動作の一例について図1乃至図5を参照して説明する。
【0011】
まず、図1の動作を説明するための斜視図に示す通り、受光部10a1、10b1を所定距離をおいて離間させた2台のカメラ10a、10bが搭載された車両を傾きのない平坦な道路面上に配置する。道路面上には車両の進行方向に互いに平行に引かれている白線があり、この白線をl、l'とする。
【0012】
これら2台のカメラ10a、10bの互いの位置や姿勢の関係は障害物検出装置にとっては未知であり、エピポーラ拘束のみが既知であるとし、車両の走行中ではカメラ10a、10bの位置、姿勢、エピポーラ拘束は変化しないものとする。
【0013】
尚、このエピポーラ拘束とは、一般的なステレオ画像に対して成り立つ拘束であり、図2のエピポーラ拘束の説明図に示す通り、カメラ10aにて撮像された画像(左画像)上の任意の点Pは、カメラ10bにより撮像された画像(右画像)上の対応点P'を含む所定の直線上に存在するよう拘束される状態をいう。この直線をエピポーララインと呼ぶ。
【0014】
例えば、各カメラの光軸を互いに平行になるよう配置した場合には、左画像の任意の点Pの対応点は、右画面上では同一走査線上に存在するため、エピポーララインと走査線とは一致することになる。エピポーラ拘束は、ステレオカメラ間の相対的な位置、姿勢の関係と、各カメラの内部パラメータ、すなわちカメラレンズの焦点距離、画像原点に依存するため、エピポーラ拘束が変更せず不変であることはステレオカメラの相対的な位置関係や、内部パラメータが車両の走行中に変化しないことを意味している。
【0015】
このエピポーラ拘束は、以下に示す式(2)のとおり定式化される。
【数2】
Figure 0004156780
【外4】
Figure 0004156780
Fは3×3の行列であり、基礎行列と呼ばれる。式(2)を展開して整理すると以下に示す(3)のように表せる。
【数3】
Figure 0004156780
【外5】
Figure 0004156780
行列Fは9つの要素からなるが各要素は独立ではなく、理論的には7つ以上の対応点の組から各要素を求めることができる。各対応点の組の3次元位置は不要であるので、行列F、つまりエピポーラ拘束の算出は比較的容易である。
【0016】
各画像におけるl,l'は3次元空間中では互いに平行であるが、左右のカメラが撮像した画像上では、図3の各カメラが撮像した白線領域に示すとおり、各画像のl,l'は画面上では消失点と呼ばれる無限遠方の点で交差する。
【0017】
次に、道路面上の対応点同士の間に成り立つ関係式を求めていく。図4の対応点を説明する図に示す通り、左画像において直線l上の任意の2点をA、Cとし、直線l'上の任意の2点をB、Dとする。
【0018】
これら4点の右画像上の対応点を、A'、B'、C'、D'は予め求め得ていたエピポーラ拘束を用いることで容易に算出することができる。すなわち、点Aの対応点A'は、右画像上において直線lと点AのエピポーララインLAとの交点に一致する。同様に、点B'、C'、D'についても、各点B、C、Dと各エピポーララインLB、LC、LDとの交点として求めることができる。
【外6】
Figure 0004156780
【数4】
Figure 0004156780
【外7】
Figure 0004156780
【数5】
Figure 0004156780
このようにして求めた変換は、例えば図5の変換画像例に示す通り、ステレオ画像では、左カメラ画像(a)を右カメラ視点に変換した場合、(c)に示されるような画像となる。つまり、道路面上の画素、同図中では車両のタイヤと道路路面との接地点では正しく対応点に変換されることができるのに対し、空間的に高さを持った物体は画像中で倒れ込むような歪みを伴って変換される。
【外8】
Figure 0004156780
【数6】
Figure 0004156780
(ただし、||は絶対値を示す。)
として、D≠0、あるいは左右のカメラの特性の違い等の誤差を考慮して、閾値Thrを設定し、D>Thrとなる点Pを障害物領域に属すると判定することが可能である。
【0019】
しかしながら実際には、車両の移動に伴うカメラの振動や道路面の傾きなど様々な変化が発生し、上述した式(6)によって障害物を判別することは困難である。例えば、ランドマーク(「止」や速度制限表示、白線等)と道路面との輝度差が大きいため、仮定している道路面とカメラとの幾何学的関係(前述の画像変換パラメータを求めた時のカメラと路面の関係)と実際の道路面とカメラとの幾何学的関係のずれによって、障害物ではないにもかかわらず式(6)はランドマーク周辺(=エッジ周辺)で大きな値を持つからである。
【0020】
【発明が解決しようとする課題】
上述にように従来のテレビカメラを利用する障害物検出装置では、使用環境が限定されていたり、多大な時間と労力とを必要とするキャリブレーションや計算費用(量)が高い対応探索が必要であったり、車両の走行中の振動や道路の傾斜に対処できないため、屋外環境では検出性能が著しく悪くなるという問題があった。
そこで、本発明は上記従来の問題点に鑑みてなされたもので、エピポーラ拘束のみ既知とする複数のテレビカメラを用いて撮影した画像から、道路両端の2本の白線の投影像を抽出し、その2本の白線が交差する消失点を用いて、検出した障害物の相対的な高さを計算し、その相対的な高さの大小によって真の障害物か否かを判別することによって、カメラキャリブレーションを不要とし、走行中に自車両に振動が発生した場合や走行している道路自身に傾斜がある場合においても、道路平面上に存在する障害物を安定して検出することができる障害物検出装置の提供を目的とする。
【0021】
【課題を解決するための手段】
上記目的を達成するために、本発明の障害物検出装置は、互いに実質的に離間し自車両に搭載された受光部からこの車両の走行空間を画像として同時に撮像する複数の撮像部と、前記撮像手段により撮像された画像を記憶する画像蓄積部と、前記画像蓄積部に記憶された第1の撮像手段によって撮像された第1の画像および第2の撮像手段によって撮像された第2の画像中から前記自車両が走行可能な面上に互いに略平行に設けられる物体に対応する領域を抽出してこの抽出された領域が前記第1および第2の画像中で交差する交差点を求める特徴抽出部と、抽出された前記領域と前記第1及び第2の画像間に成立するエピポーラ拘束とから前記第1の画像中の任意の領域に対応する第2の画像中の対応領域を前記任意の領域が前記面に起因するとして求めて前記任意の領域と前記対応領域との輝度を比較し実質的に異なる輝度を有する領域を障害物領域として抽出しこの抽出された結果から障害物領域画像を得る差異検出部と、前記障害物領域画像中の基準値以上の輝度からなる多角形領域を抽出してこの多角形領域の前記障害物領域画像中の上下方向の大きさと前記多角形領域の下端から前記交差点を含む前記障害物領域画像中の走査線までの大きさとから求められた比のうち閾値以上のみの前記多角形領域を真の障害物領域として検出する高さ計算部とから構成される。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態の構成を図面を参照して説明する。
図6乃至図9は本発明の障害物検出装置を示す図である。
図6は本発明の障害物検出装置の実施の形態のブロック構成図であり、障害物検出装置は、使用者が乗車する自車両に設けられており、受光部10a1、10b1が所定距離おいて離間され配置される2台のステレオカメラからなる画像入力部1、1(撮像部)と、画像入力部1、1により撮像された画像を記憶する画像蓄積部2と、画像蓄積部2に記憶された複数の画像から白線部分を抽出する特徴抽出部3と、障害物領域であるか否かを検出する差異検出部4と、差異検出部4の検出結果から障害物の高さを計算し真の障害物領域を検出する高さ計算部5と、から構成される。
尚、障害物の検出は、自車両が走行する際に発生するであろう振動や道路面に傾斜変化などが存在する条件のもとで、歩行者、先行車両、または道路面上に存在しえる障害物を検出する状況を想定している。また、左側に配置された画像入力部1によって撮像された画像を第1の画像なる左カメラ画像とし、右側に配置された画像入力部1によって撮像された画像を第2の画像なる右カメラ画像とする。
このような構成からなる障害物検出装置の動作について説明する。
まず、2台のテレビカメラを用いて、自車両の進行方向の領域を2枚の画像として同時に撮像する。
【0024】
次に、画像蓄積部2は、画像入力部1により入力された2枚の画像を画像メモリに蓄積する。
【0025】
次に、特徴抽出部3は、画像蓄積部に記憶された第1の画像および第2の画像中の、自車両の進行方向の領域では互いに略平行に道路上に設けられる物体例えば白線などの2本の直線l,l'をエッジ抽出処理とHough変換などにより抽出する。また、抽出された直線l,l'は画面中で交差する交差点を消失点として求める。この消失点は、直線l,l'が第1の画像および第2の画像中の無限遠方の点で交差する点である。
【0026】
次に、差異検出部4は、画像蓄積部2に記憶された第1の画像なる左カメラ画像を読み出してエピポーラ拘束と道路面上の2本の線から、前述したような方法で変換パラメータを求め、一方の画像入力部1(例えば左側のステレオカメラ)で撮像された左カメラ画像中の任意の領域(例えば1画素)に対する他方の右カメラ画像中の対応領域(1画素)を求める。このとき左カメラ画像中の点は全て道路面上に存在するものとする。具体的には、ステレオ画像に成立つエピポーラ拘束と特徴抽出部3により各画像において抽出した2本の線を用いて対応関係を求める。
【0027】
そして、この任意の領域と、この任意の領域に対応する対応領域との輝度を比較する。比較した結果互いの領域の輝度が異なっており、かつ使用者が設定する基準値以上の輝度差があれば、その任意の領域を障害物領域であるとして、計算された輝度差の結果から障害物領域画像を得る。なお、この障害物領域画像は、道路面から高さを有する領域(画素)が検出されたものでもある。
【0028】
次に、高さ計算部5は、差異検出部4により検出された障害物領域画像から各領域(画素)の道路面からの高さを推定し、この推定された高さによって障害物領域が真の障害物であるか否かを判別する。
【0029】
詳しくは、図7の高さ計算部5の動作の説明図を参照して説明する。
【0030】
例えば、障害物領域画像中の使用者が設定した基準値以上の輝度差を有する障害物領域があったとする。ここで、この障害物領域の下辺中の点をUbとし、上辺中の点をUtとし、UbとUtとの距離(図中上下方向の大きさ)をdvとする。また、直線l,l'とが交差する消失点をU∞とし、Ubから道路面の消失線(道路平面の無限遠方の投影像)までの距離(図中上下方向の大きさ)をVとする。尚、抽出される障害物領域は、障害物領域画像を上下左右方向に分割した正方形な1画素を最小単位として、複数の1画素から構成されたものである。
ここで、画像入力部1のロール角が小さい場合には、道路平面の消失線は、2直線l,l'の消失点U∞を通る走査線とほぼ一致する。自車両走行に伴う画像入力部1の振動や、道路の傾斜変化によって、厳密には道路平面の消失線は画像中を上下するが、画像入力部1の横揺れは縦揺れに比べて非常に小さく、また、道路の傾斜も横方向の傾斜は前後方向の傾斜に比べればはるかに小さいので、自車両走行時にも道路平面の消失線は、2直線l,l'の消失点U∞を通る走査線に近似可能である。
また、図8の差異検出部4の動作の説明図に示すとおり、実空間における地面から画像入力部1が設置されている場所までの距離(画像入力部1の地面からの高さ)をHとし、障害物の高さ(障害物の地面からの高さ)をhとすれば、
h/H≒dv/V…(7)
なる近似式が成り立つ。
ここで、式(7)の左辺は、画像入力部1の地面からの高さに対する障害物の地面からの高さの比、つまり、相対的な高さである。
この比をγとすれば、
γ=dv/V…(8)
と表すことができる。
したがって、相対的な高さγは、障害物の縦方向の大きさdvと、下辺点Ubと道路平面の消失線の垂直方向の距離Vから求めることができる。
画像上で検出された各障害物の道路平面からの高さを式(8)を用いて計算し、あらかじめ設定した高さ、つまり閾値γminよりも小さい場合には、この抽出された多角形領域は真の障害物領域ではなくノイズであるとして障害物検出から除去する。
ここで、閾値γminは、画像入力部1が取り付けられた位置と、検出すべき障害物の高さの最小値によって設定される値であり、例えば、画像入力部1の地面からの高さHを1.5mとし、高さh=1m以上の障害物を検出したい場合には、
γ=h/H=1[m]/1.5[m]≒0.67…(9)
と設定する。
次に、出力部6では、検出された真の障害物の位置などの情報を使用者に、音声、光(画像)、振動などにより提示したり、自律走行を行う場合にはこれらの情報を制御系などに伝達する。
【0031】
以上述べたような第1の実施の形態では、走行中に自車両に振動が発生したり、走行している道路自身に傾斜がある場合において、自車両が走行する道路面に描かれる模様などを障害物であると誤検出するようなことをなくして、撮像領域の明るさの変動や影の影響を防止し、道路面の真の障害物を安定して検出することができる。
【0032】
次に本発明の障害物検出装置の第2の実施の形態の構成について図9〜図12を参照して説明する。
【0033】
尚、以下の各実施の形態において、第1の実施の形態と同一構成要素は同一符号を付し重複する説明は省略する。
【0034】
第2の実施の形態の特徴は、差異検出部が画像変換部4−1と差異計算部4−2とから構成され、左カメラ画像を右カメラ視点の画像に変換したのち、この変換された画像の任意の領域と、この任意の領域に対応する右カメラ画像の対応領域とを比較して障害物検出を行うことである。
【0035】
図9は第2の実施の形態のブロック構成図であり、差異検出部4は、特徴検出部3からの信号が入力される画像変換部4−1と、高さ計算部5へ信号を出力する差異計算部4−2とから構成される。尚、画像入力部1、画像蓄積部2、特徴抽出部3、高さ計算部5および出力部6の構成、動作は第1の実施の形態と同様である。
【0036】
このような構成からなる第2の実施の形態の動作について図10〜図12を参照して説明する。
【0037】
尚、以下では、右カメラ画像から変換画像を求める場合について説明するが、左カメラ画像から変換画像を得る場合も同様である。
【外9】
Figure 0004156780
例えば、図11の第2の実施の形態の動作の説明図に示す通り、右カメラ画像を上述した式を用いて画像変換すれば、同図右側に示す変換画像を得ることができる。
【0038】
また、図12の第2の実施の形態の動作の説明図に示す通り、道路平面上に存在する点の投影点は、左カメラ画像と変換画像とで同一となるのに対し、道路平面上にない点、すなわち、障害物(この場合は先行車両)上の点は、道路からの高さに応じて異なる位置に投影される。
したがって、この左カメラ画像と変換画像との対応する画素ごとの画素値の差分を取ることにより、道路平面上の障害物を検出する。
【外10】
Figure 0004156780
また、第1の実施の形態の差異検出部4は、各画像中の対応する画素間の画素値の差分をとることによって2枚の画像の差異を検出したが、差異計算部4−2では、各点に対して(2w+1)×(2w+1)(ただし、wは自然数とする)のウィンドウを設定し、ウィンドウ内の輝度値の正規化相互相関Cを計算して各画像の差異を検出することもできる。
2枚の画像
【外11】
Figure 0004156780
【数7】
Figure 0004156780
【外12】
Figure 0004156780
検出された障害物領域は、障害物領域画像として高さ計算部5に送られる。
【0039】
以上述べたような第2の実施の形態では、2台のカメラ間の特性の違いを吸収し、道路面の真の障害物を安定して検出することができる。
【0040】
次に本発明の障害物検出装置の第3の実施の形態について説明する。
【0041】
第3の実施の形態の特徴は、特徴抽出部を不要としたことである。
【0042】
2台のテレビカメラは自車両以外の空間に固定されている。自車両などの移動体に固定されていないため、テレビカメラと道路面との幾何学的関係が変わらず、道路面上の点のステレオ画像間の変換パラメータおよび道路面の消失線の位置を不変とすることができる。使用者が例えばテレビカメラを設置しその後一度変換パラメータと道路面の消失線を予め設定しておけばよい。
【0043】
このようにステレオカメラと道路面の木が書く関係が不変である場合には、第1、2の実施の形態にある特徴抽出部を不要とすることができる。
【0044】
尚、本発明は上記実施の形態には限定されず、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。例えば、画像入力部は左右に並べた2台のテレビカメラを用いているが、互いの受光部が離間して自車両の周囲を画像として同時に撮像できれば、例えば自車両後部などのどのような位置に配置されても、また3台以上配置することもできる。
【0045】
また、特徴抽出部では、任意の4点の対応関係を求めて変換パラメータを設定しているが、5組以上の対応関係を用いることも可能であり、その場合には10式以上の連立方程式を最小自乗法などを用いて解けばよい。
【0046】
また、特徴抽出部にて抽出する領域は、自車線を示す2本の白線を想定して説明しているが、道路が曲がっている場合には白線が曲線となり、この場合には白線を曲線として抽出することで、直線の白線となんら変わりなく障害物検出の動作をさせることができる。
また、道路面は平面を仮定しているが、地表に対して垂直方向に曲面を有している場合でも、平面と同様に障害物を検出することが可能である。
また、自車両は自動車、バイクなどを想定しているが、航空機、ヘリコプターなどの離着陸するような機体にも搭載し、離着陸する場所に存在する障害物の検出を行うこともできる。
【0047】
また、上記2台のカメラを離して設置した例を示したが、複数の受光部を光学的に離間しカメラを一箇所に集中させたものを含むことは言うまでもない。
【0048】
【発明の効果】
以上述べたような本発明によれば、走行中に自車両に振動が発生した場合や、走行している道路自身に傾斜がある場合において、自車両が走行する道路面に描かれる模様などを障害物であると誤検出するようなことをなくして、道路面の真の障害物を安定して検出することができる。
【図面の簡単な説明】
【図1】 道路面とステレオカメラの位置関係の説明図。
【図2】 本発明の障害物検出装置のエピポーラ拘束の説明図。
【図3】 特徴抽出部の動作の説明図。
【図4】 差異検出部の動作の説明図。
【図5】 差異検出部の動作の別の説明図。
【図6】 本発明の障害物検出装置の第1の実施の形態のブロック図。
【図7】 本発明の障害物検出装置の第1の実施の形態の高さ検出部の動作の説明図。
【図8】 本発明の障害物検出装置の第1の実施の形態の高さ検出部の動作の別の説明図。
【図9】 本発明の障害物検出装置の第2の実施の形態のブロック構成図。
【図10】 本発明の障害物検出装置の第2の実施の形態の差異検出部の動作の説明図。
【図11】 本発明の障害物検出装置の第2の実施の形態の差異検出部の説明図。
【図12】 本発明の障害物検出装置の第2の実施の形態の差異検出部の説明図。
【符号の説明】
1 画像入力部
2 画像蓄積部
3 特徴抽出部
4 差異検出部
5 高さ計算部
6 出力部

Claims (1)

  1. 自車両に互いに実質的に離間して設けられる受光部が向けられた方向の領域を画像として同時に撮像する複数の撮像部と、
    前記撮像手段により撮像された画像を記憶する画像蓄積部と、
    前記画像蓄積部に記憶される第1の撮像手段によって撮像された第1の画像および第2の撮像手段によって撮像された第2の画像中から前記撮像部により撮像される領域の前記自車両が走行可能な面上で互いに略平行に設けられる平行体に対応する領域を抽出してこの抽出された領域が前記第1および第2の画像中で交差する交差点を求める特徴抽出部と、
    抽出された前記領域と前記第1及び第2の画像間に成立するエピポーラ拘束とから前記第1の画像中の任意の領域に対応する第2の画像中の対応領域を前記任意の領域が前記面に起因するとして求めて前記任意の領域と前記対応領域との輝度を比較し実質的に異なる輝度を有する領域を障害物領域として抽出しこの抽出された結果から障害物領域画像を得る差異検出部と、
    前記障害物領域画像中の基準値以上の輝度からなる多角形領域を抽出してこの多角形領域の前記障害物領域画像中の上下方向の大きさと前記多角形領域の下端から前記交差点を含む前記障害物領域画像中の走査線までの大きさとから求められた比のうち閾値以上のみの前記多角形領域を真の障害物領域として検出する高さ計算部と
    を具備したことを特徴とする障害物検出装置。
JP2000159177A 1999-09-09 2000-03-31 障害物検出装置 Expired - Fee Related JP4156780B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000159177A JP4156780B2 (ja) 2000-03-31 2000-03-31 障害物検出装置
US09/659,815 US6963661B1 (en) 1999-09-09 2000-09-11 Obstacle detection system and method therefor
US11/116,307 US7362881B2 (en) 1999-09-09 2005-04-28 Obstacle detection system and method therefor
US12/028,646 US7706572B2 (en) 1999-09-09 2008-02-08 Obstacle detection system and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000159177A JP4156780B2 (ja) 2000-03-31 2000-03-31 障害物検出装置

Publications (2)

Publication Number Publication Date
JP2001283204A JP2001283204A (ja) 2001-10-12
JP4156780B2 true JP4156780B2 (ja) 2008-09-24

Family

ID=18663538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000159177A Expired - Fee Related JP4156780B2 (ja) 1999-09-09 2000-03-31 障害物検出装置

Country Status (1)

Country Link
JP (1) JP4156780B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5034253B2 (ja) * 2006-02-08 2012-09-26 パナソニック株式会社 オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法
JP4935769B2 (ja) * 2008-06-25 2012-05-23 株式会社豊田中央研究所 平面領域推定装置及びプログラム
JP5818091B2 (ja) * 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム

Also Published As

Publication number Publication date
JP2001283204A (ja) 2001-10-12

Similar Documents

Publication Publication Date Title
JP3868876B2 (ja) 障害物検出装置及び方法
JP3759429B2 (ja) 障害物検出装置及びその方法
US7362881B2 (en) Obstacle detection system and method therefor
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
US20210365699A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US8477191B2 (en) On-vehicle image pickup apparatus
JP2004198212A (ja) 移動体周辺監視装置
KR20080024776A (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN109895697B (zh) 一种行车辅助提示***及方法
JP2000293693A (ja) 障害物検出方法および装置
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP4256992B2 (ja) 障害物検出装置
JP2004355139A (ja) 車両認識装置
JP4156780B2 (ja) 障害物検出装置
JP2001243456A (ja) 障害物検出装置及び障害物検出方法
JP4106163B2 (ja) 障害物検出装置及びその方法
JP4462533B2 (ja) 路面走行レーン検出装置
JPH07271978A (ja) 画像処理装置
JP2008040965A (ja) 路面推定装置
JP4432730B2 (ja) 車両用道路標示検出装置
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050304

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080710

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees