JPH09152334A - 物体検出装置 - Google Patents
物体検出装置Info
- Publication number
- JPH09152334A JPH09152334A JP31267795A JP31267795A JPH09152334A JP H09152334 A JPH09152334 A JP H09152334A JP 31267795 A JP31267795 A JP 31267795A JP 31267795 A JP31267795 A JP 31267795A JP H09152334 A JPH09152334 A JP H09152334A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- rectangular area
- plane
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 ３次元情報の入力方法として用いられるステ
レオ画像処理において、物体までの距離の時間的変化を
検出することにより、物体の有無を正確且つ安定に検出
できるようにすると共に、ステレオ画像の対応付け処理
の演算量を削減する。 【解決手段】 時間的距離変化によって、物体の有無を
検出する物体検出装置において、道路、床、壁等の平面
の位置を平面推定部17によって推定して、平面の矩形領
域の中で距離が計測できなかった矩形領域の距離を計測
できた矩形領域の平面までの距離に基づいて演算して補
完することにより、物体の検出が安定且つ確実に行える
ようになると共に、視差探索範囲を撮像装置と平面との
間に限定することにより、対応付け処理部７における対
応付け処理の演算量が削減される。
レオ画像処理において、物体までの距離の時間的変化を
検出することにより、物体の有無を正確且つ安定に検出
できるようにすると共に、ステレオ画像の対応付け処理
の演算量を削減する。 【解決手段】 時間的距離変化によって、物体の有無を
検出する物体検出装置において、道路、床、壁等の平面
の位置を平面推定部17によって推定して、平面の矩形領
域の中で距離が計測できなかった矩形領域の距離を計測
できた矩形領域の平面までの距離に基づいて演算して補
完することにより、物体の検出が安定且つ確実に行える
ようになると共に、視差探索範囲を撮像装置と平面との
間に限定することにより、対応付け処理部７における対
応付け処理の演算量が削減される。
Description
【０００１】
【発明の属する技術分野】本発明は、ステレオ画像測距
法によって物体の監視、障害物の検知等を行う物体検出
装置に関するものである。
法によって物体の監視、障害物の検知等を行う物体検出
装置に関するものである。
【０００２】
【従来の技術】図３は、実吉敬二他著「３次元画像認識
技術を用いた運転支援システム」(自動車技術学会 学術
講演会前刷集9241992−10)に記載された理論に基づいて
物体を検出する従来の物体検出装置の構成図で、以下、
この物体検出装置の動作について説明する。
技術を用いた運転支援システム」(自動車技術学会 学術
講演会前刷集9241992−10)に記載された理論に基づいて
物体を検出する従来の物体検出装置の構成図で、以下、
この物体検出装置の動作について説明する。
【０００３】左側の撮像装置１によって撮影された画像
は、基準となる左画像２(図４参照)として左画像メモリ
３に記憶される。又、光軸が撮像装置１の光軸と平行に
なるように配置された右側の撮像装置４によって撮影さ
れた画像は、右画像５(図５参照)として右画像メモリ６
に記憶される。
は、基準となる左画像２(図４参照)として左画像メモリ
３に記憶される。又、光軸が撮像装置１の光軸と平行に
なるように配置された右側の撮像装置４によって撮影さ
れた画像は、右画像５(図５参照)として右画像メモリ６
に記憶される。
【０００４】そこで、対応付け処理部７は、先ず、図４
に示すように、左画像２を水平方向(図４においてＸ軸
方向)にＭ、垂直方向(図４においてＹ軸方向)にＮの(Ｍ
×Ｎ)個の矩形領域８に分割すると共に、各矩形領域８
を更に水平方向にｍ、垂直方向にｎの(ｍ×ｎ)個の画素
９に分割した上、(ｍ×ｎ)個の画素９の中でｉ番目の明
るさＬiを有する画素９を矩形領域８毎に検出する。
に示すように、左画像２を水平方向(図４においてＸ軸
方向)にＭ、垂直方向(図４においてＹ軸方向)にＮの(Ｍ
×Ｎ)個の矩形領域８に分割すると共に、各矩形領域８
を更に水平方向にｍ、垂直方向にｎの(ｍ×ｎ)個の画素
９に分割した上、(ｍ×ｎ)個の画素９の中でｉ番目の明
るさＬiを有する画素９を矩形領域８毎に検出する。
【０００５】又、右画像５の中で左画像２の矩形領域８
の画像に類似する画像の存在する可能性のある探索範囲
10において、水平方向にｍ、垂直方向にｎの(ｍ×ｎ)個
の画素からなる探索矩形領域を水平方向に１画素分移動
させる毎に、探索矩形領域の画素の中でｉ番目の明るさ
Ｒiを有する画素を検出する。
の画像に類似する画像の存在する可能性のある探索範囲
10において、水平方向にｍ、垂直方向にｎの(ｍ×ｎ)個
の画素からなる探索矩形領域を水平方向に１画素分移動
させる毎に、探索矩形領域の画素の中でｉ番目の明るさ
Ｒiを有する画素を検出する。
【０００６】そして、左画像２の矩形領域８の各画素９
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)によって求める。
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)によって求める。
【０００７】
【数１】
【０００８】その結果、両画像の類似度評価値Ｃが最小
になったときの右画像５における探索矩形領域の位置を
左画像２の矩形領域８に対応する領域(以下「対応領
域」という)と判定した上、左画像２の矩形領域８の座
標Ｘと右画像５の対応領域の座標ＸRとのずれから視差
ｄを(数２)によって求めて、出力する。
になったときの右画像５における探索矩形領域の位置を
左画像２の矩形領域８に対応する領域(以下「対応領
域」という)と判定した上、左画像２の矩形領域８の座
標Ｘと右画像５の対応領域の座標ＸRとのずれから視差
ｄを(数２)によって求めて、出力する。
【０００９】
【数２】ｄ ＝ Ｘ − ＸR なお、左画像２の矩形領域８の画像と右画像５の探索矩
形領域の画像との類似度評価値Ｃを求めた上、左画像２
の矩形領域の座標Ｘと右画像５の対応領域の座標ＸRと
のずれから視差ｄを求める動作は、左画像２の全ての座
標の矩形領域８に対して順次行う。
形領域の画像との類似度評価値Ｃを求めた上、左画像２
の矩形領域の座標Ｘと右画像５の対応領域の座標ＸRと
のずれから視差ｄを求める動作は、左画像２の全ての座
標の矩形領域８に対して順次行う。
【００１０】そこで、距離計測部11は、対応付け処理部
７において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)によって
求めた上、矩形領域８毎の距離を示す画像(以下「距離
画像」という)に変換して出力する。
７において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)によって
求めた上、矩形領域８毎の距離を示す画像(以下「距離
画像」という)に変換して出力する。
【００１１】
【数３】
【００１２】但し、２ａ：撮像装置１の光軸と撮像装置
４の光軸との間隔 ｆ：撮像装置１及び撮像装置４のレンズの焦点距離 すると、初期距離画像メモリ12は、距離計測部11から計
測基準時刻ｔ0に出力された距離画像を初期距離画像と
して記憶し、又、距離画像メモリ13は、距離計測部11か
ら計測基準時刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)に出力さ
れた距離画像を順次記憶する。
４の光軸との間隔 ｆ：撮像装置１及び撮像装置４のレンズの焦点距離 すると、初期距離画像メモリ12は、距離計測部11から計
測基準時刻ｔ0に出力された距離画像を初期距離画像と
して記憶し、又、距離画像メモリ13は、距離計測部11か
ら計測基準時刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)に出力さ
れた距離画像を順次記憶する。
【００１３】距離差検出部14は、初期距離画像メモリ12
に記憶された初期距離画像と距離画像メモリ13に記憶さ
れた距離画像とにおいて同一座標の矩形領域８を座標順
に比較して、初期距離画像と距離画像との距離差が閾値
以上の座標の矩形領域８を識別した上、閾値以上の座標
の矩形領域８に新たな物体が現出したか、存在した物体
が消失したものと判断して、検出した物体の画像15を出
力する。
に記憶された初期距離画像と距離画像メモリ13に記憶さ
れた距離画像とにおいて同一座標の矩形領域８を座標順
に比較して、初期距離画像と距離画像との距離差が閾値
以上の座標の矩形領域８を識別した上、閾値以上の座標
の矩形領域８に新たな物体が現出したか、存在した物体
が消失したものと判断して、検出した物体の画像15を出
力する。
【００１４】
【発明が解決しようとする課題】このように、従来の物
体検出装置は、計測基準時刻ｔ0の初期距離画像と時刻
ｔの距離画像とにおいて距離差の生じた矩形領域８が有
るか、否かを判別することにより、物体を検出している
が、この場合、ほとんどの矩形領域８において初期距離
画像と距離画像とが得られることを前提としている。
体検出装置は、計測基準時刻ｔ0の初期距離画像と時刻
ｔの距離画像とにおいて距離差の生じた矩形領域８が有
るか、否かを判別することにより、物体を検出している
が、この場合、ほとんどの矩形領域８において初期距離
画像と距離画像とが得られることを前提としている。
【００１５】ところが、道路，床，壁等のように形状に
特徴がなく、明度或いは輝度の変化の小さい物体までの
距離を求めるときには、類似度評価値Ｃの最小値が不明
確になる矩形領域８が増加して、初期距離画像或いは距
離画像が得られない場合がある。この場合、距離の計測
が困難になって、物体の検出ができなくなるが、特に距
離計測の基準となる初期距離画像が得られないと、誤検
出率が増加して、物体の検出が当初からできなくなると
いう重大な問題点があった。
特徴がなく、明度或いは輝度の変化の小さい物体までの
距離を求めるときには、類似度評価値Ｃの最小値が不明
確になる矩形領域８が増加して、初期距離画像或いは距
離画像が得られない場合がある。この場合、距離の計測
が困難になって、物体の検出ができなくなるが、特に距
離計測の基準となる初期距離画像が得られないと、誤検
出率が増加して、物体の検出が当初からできなくなると
いう重大な問題点があった。
【００１６】又、対応付け処理部７は、距離計測しよう
とする物体が存在している距離に応じた視差ｄの最大値
ｄmaxと最小値ｄminとの間を視差探索範囲とする(図６
及び図７参照)もので、この視差探索範囲は左画像２と
右画像５との全面に一様に設定されている。
とする物体が存在している距離に応じた視差ｄの最大値
ｄmaxと最小値ｄminとの間を視差探索範囲とする(図６
及び図７参照)もので、この視差探索範囲は左画像２と
右画像５との全面に一様に設定されている。
【００１７】ところが、検出すべき物体は、ほとんどの
場合、道路，床，壁等の平面16よりも手前、即ち撮像装
置１及び４の側に存在するので、撮像装置１及び４のア
ングルが図６のように平面16に対して直角のときは、視
差ｄの最小値ｄminと平面16の位置の視差ｄとを等価に
して処理できるが、撮像装置１及び４のアングルが図７
のように平面16に対して角度θだけ傾いていると、物体
が存在しない空間平面16よりも遠い位置についても一様
に視差探索を行わなければならなくなる。このため、ス
テレオ画像測距法による物体検出装置で最も演算量の多
い対応付け処理部７における演算量が更に増加して、物
体の距離計測が非効率的になると共に、誤検出率が増加
させるという問題点があった。
場合、道路，床，壁等の平面16よりも手前、即ち撮像装
置１及び４の側に存在するので、撮像装置１及び４のア
ングルが図６のように平面16に対して直角のときは、視
差ｄの最小値ｄminと平面16の位置の視差ｄとを等価に
して処理できるが、撮像装置１及び４のアングルが図７
のように平面16に対して角度θだけ傾いていると、物体
が存在しない空間平面16よりも遠い位置についても一様
に視差探索を行わなければならなくなる。このため、ス
テレオ画像測距法による物体検出装置で最も演算量の多
い対応付け処理部７における演算量が更に増加して、物
体の距離計測が非効率的になると共に、誤検出率が増加
させるという問題点があった。
【００１８】
【課題を解決するための手段】本発明は、このような問
題点を解決するためになされたもので、道路，床，壁等
の平面は左画像及び右画像の中の大部分を占める平面と
仮定できることに着目し、平面の距離計測できなかった
座標の矩形領域における距離Ｋ(Ｘ，Ｙ)を、平面から部
分的に得られた複数の座標の距離Ｋ(Ｘ，Ｙ)から最小二
乗法等によって推定して補完することにより、平面の位
置が推定できるようになって、物体の検出漏れが少なく
なり、物体の検出が安定して行えるようになる。
題点を解決するためになされたもので、道路，床，壁等
の平面は左画像及び右画像の中の大部分を占める平面と
仮定できることに着目し、平面の距離計測できなかった
座標の矩形領域における距離Ｋ(Ｘ，Ｙ)を、平面から部
分的に得られた複数の座標の距離Ｋ(Ｘ，Ｙ)から最小二
乗法等によって推定して補完することにより、平面の位
置が推定できるようになって、物体の検出漏れが少なく
なり、物体の検出が安定して行えるようになる。
【００１９】又、推定した平面の位置に応じて視差探索
範囲を設定して、各座標の矩形領域において無駄の少な
い視差探索範囲を設定することにより、ステレオ画像処
理において最も演算量の多い対応付け処理量を大幅に削
減できるようになる。
範囲を設定して、各座標の矩形領域において無駄の少な
い視差探索範囲を設定することにより、ステレオ画像処
理において最も演算量の多い対応付け処理量を大幅に削
減できるようになる。
【００２０】本発明は、第１に、画像を水平方向及び垂
直方向に複数に分割してなる矩形領域毎に計測した物体
までの距離から同一の平面の位置を推定した後、平面の
矩形領域の中で距離が計測できなかった矩形領域の距離
を計測できた矩形領域の平面までの距離に基づいて演算
して補完する、或いは、画像を水平方向及び垂直方向に
複数に分割してなる矩形領域毎に計測した物体までの距
離は、距離を示す距離画像に変換された上、距離画像か
ら同一の平面の位置を推定した後、平面の矩形領域の中
で距離画像が得られなかった矩形領域の距離画像を距離
画像が得られた矩形領域の平面までの距離画像に基づい
て演算して補完することにより、距離が計測できなかっ
た矩形領域が減少して、正確かつ安定した物体検出が行
えるようになると共に、安定した物体検出が行えると同
時に処理量が削減できる。
直方向に複数に分割してなる矩形領域毎に計測した物体
までの距離から同一の平面の位置を推定した後、平面の
矩形領域の中で距離が計測できなかった矩形領域の距離
を計測できた矩形領域の平面までの距離に基づいて演算
して補完する、或いは、画像を水平方向及び垂直方向に
複数に分割してなる矩形領域毎に計測した物体までの距
離は、距離を示す距離画像に変換された上、距離画像か
ら同一の平面の位置を推定した後、平面の矩形領域の中
で距離画像が得られなかった矩形領域の距離画像を距離
画像が得られた矩形領域の平面までの距離画像に基づい
て演算して補完することにより、距離が計測できなかっ
た矩形領域が減少して、正確かつ安定した物体検出が行
えるようになると共に、安定した物体検出が行えると同
時に処理量が削減できる。
【００２１】本発明は、第２に、矩形領域毎に当初に計
測した物体までの距離から同一の平面の位置を推定した
後、次以降の物体までの距離の計測は、撮像装置と平面
との間の視差探索範囲に限定する、或いは、矩形領域毎
に当初に計測した物体までの距離から同一の平面の位置
を推定した後、撮像装置と平面との間に限定した視差探
索範囲で物体像のずれを検出して、物体までの距離を計
測することにより、平面の推定が物体検出開始当初のみ
行えばよく、且つ、道路等の平面の裏側等のように物体
が存在し得ない空間について対応付け処理を行わなくて
すむので、対応付け処理部における対応付け処理の演算
量が削減できるようになる。
測した物体までの距離から同一の平面の位置を推定した
後、次以降の物体までの距離の計測は、撮像装置と平面
との間の視差探索範囲に限定する、或いは、矩形領域毎
に当初に計測した物体までの距離から同一の平面の位置
を推定した後、撮像装置と平面との間に限定した視差探
索範囲で物体像のずれを検出して、物体までの距離を計
測することにより、平面の推定が物体検出開始当初のみ
行えばよく、且つ、道路等の平面の裏側等のように物体
が存在し得ない空間について対応付け処理を行わなくて
すむので、対応付け処理部における対応付け処理の演算
量が削減できるようになる。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。なお、図３乃至図７の
参照符号と同一符号のものは、同一部分を示す。
て図面を参照しながら説明する。なお、図３乃至図７の
参照符号と同一符号のものは、同一部分を示す。
【００２３】(実施の形態１)図１は本発明の第１の実施
の形態における物体検出装置の構成図で、以下、この物
体検出装置の動作について説明する。
の形態における物体検出装置の構成図で、以下、この物
体検出装置の動作について説明する。
【００２４】左側の撮像装置１によって撮影された画像
は、基準となる左画像２(図４参照)として左画像メモリ
３に記憶される。又、光軸が撮像装置１の光軸と平行に
なるように配置された右側の撮像装置４によって撮影さ
れた画像は、右画像５(図５参照)として右画像メモリ６
に記憶される。
は、基準となる左画像２(図４参照)として左画像メモリ
３に記憶される。又、光軸が撮像装置１の光軸と平行に
なるように配置された右側の撮像装置４によって撮影さ
れた画像は、右画像５(図５参照)として右画像メモリ６
に記憶される。
【００２５】そこで、対応付け処理部７は、先ず、図４
に示すように、左画像２を(Ｍ×Ｎ)個の矩形領域８に分
割して、各矩形領域８を(ｍ×ｎ)個の画素９に分割した
上、(ｍ×ｎ)個の画素９の中でｉ番目の明るさＬiを有
する画素９を矩形領域８毎に検出する。
に示すように、左画像２を(Ｍ×Ｎ)個の矩形領域８に分
割して、各矩形領域８を(ｍ×ｎ)個の画素９に分割した
上、(ｍ×ｎ)個の画素９の中でｉ番目の明るさＬiを有
する画素９を矩形領域８毎に検出する。
【００２６】又、右画像５の中で左画像２の矩形領域８
の画像に類似する画像の存在する可能性のある探索範囲
10において、(ｍ×ｎ)個の画素からなる探索矩形領域を
水平方向に１画素分移動させる毎に、探索矩形領域の画
素の中でｉ番目の明るさＲiを有する画素を検出する。
の画像に類似する画像の存在する可能性のある探索範囲
10において、(ｍ×ｎ)個の画素からなる探索矩形領域を
水平方向に１画素分移動させる毎に、探索矩形領域の画
素の中でｉ番目の明るさＲiを有する画素を検出する。
【００２７】そして、左画像２の矩形領域８の各画素９
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)の式によって求めた上、両画像の類似度評価値Ｃが
最小になったときの右画像５における探索矩形領域の位
置を左画像２の矩形領域８に対応する領域(以下「対応
領域」という)と判定し、左画像２の矩形領域８の座標
Ｘと右画像５の対応領域の座標ＸRとのずれから視差ｄ
を(数２)の式によって求めて、出力する。
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)の式によって求めた上、両画像の類似度評価値Ｃが
最小になったときの右画像５における探索矩形領域の位
置を左画像２の矩形領域８に対応する領域(以下「対応
領域」という)と判定し、左画像２の矩形領域８の座標
Ｘと右画像５の対応領域の座標ＸRとのずれから視差ｄ
を(数２)の式によって求めて、出力する。
【００２８】なお、左画像２の矩形領域８の画像と右画
像５の探索矩形領域の画像との類似度評価値Ｃを求めた
上、左画像２の矩形領域の座標Ｘと右画像５の対応領域
の座標ＸRとのずれから視差ｄを求める動作は、左画像
２の全ての座標の矩形領域８に対して順次行う。
像５の探索矩形領域の画像との類似度評価値Ｃを求めた
上、左画像２の矩形領域の座標Ｘと右画像５の対応領域
の座標ＸRとのずれから視差ｄを求める動作は、左画像
２の全ての座標の矩形領域８に対して順次行う。
【００２９】そこで、距離計測部11は、対応付け処理部
７において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によ
って求めた上、矩形領域８毎の距離を示す画像(以下
「距離画像」という)に変換して出力する。
７において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によ
って求めた上、矩形領域８毎の距離を示す画像(以下
「距離画像」という)に変換して出力する。
【００３０】平面推定部17は、距離計測部11から計測基
準時刻ｔ0に出力された矩形領域８の距離画像の内の平
面16に対応する距離画像を用いて最小二乗法等の方法で
実空間上の平面16の位置を推定することにより、距離計
測部11から計測基準時刻ｔ0に出力されなかった平面の
矩形領域８の距離画像を補完して、出力する。
準時刻ｔ0に出力された矩形領域８の距離画像の内の平
面16に対応する距離画像を用いて最小二乗法等の方法で
実空間上の平面16の位置を推定することにより、距離計
測部11から計測基準時刻ｔ0に出力されなかった平面の
矩形領域８の距離画像を補完して、出力する。
【００３１】初期距離画像メモリ12は、平面推定部17か
ら出力された距離画像とを初期距離画像として記憶し、
又、距離画像メモリ13は、距離計測部11から計測基準時
刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)に出力された距離画像
を順次記憶する。
ら出力された距離画像とを初期距離画像として記憶し、
又、距離画像メモリ13は、距離計測部11から計測基準時
刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)に出力された距離画像
を順次記憶する。
【００３２】そこで、距離差検出部14は、初期距離画像
メモリ12に記憶された初期距離画像と距離画像メモリ13
に記憶された距離画像とにおいて同一座標の矩形領域８
を座標順に比較して、初期距離画像と距離画像との距離
差が閾値ＴＨ以上の座標の矩形領域８を識別した上、閾
値ＴＨ以上の座標の矩形領域８に新たな物体が現出した
か、存在した物体が消失したものと判断して、検出した
物体の画像15を出力する。
メモリ12に記憶された初期距離画像と距離画像メモリ13
に記憶された距離画像とにおいて同一座標の矩形領域８
を座標順に比較して、初期距離画像と距離画像との距離
差が閾値ＴＨ以上の座標の矩形領域８を識別した上、閾
値ＴＨ以上の座標の矩形領域８に新たな物体が現出した
か、存在した物体が消失したものと判断して、検出した
物体の画像15を出力する。
【００３３】このように、ステレオ画像測距方法におい
て矩形領域８の対応付けが困難とされていた道路，床，
壁等の特徴が少ない平面でも、矩形領域８の距離画像の
内の平面に対応する距離画像を用いて最小二乗法等の方
法で実空間上の平面の位置を推定して、距離計測部11か
ら計測基準時刻ｔ0に出力されなかった矩形領域８の距
離画像を補完することにより、時間的な距離変化による
物体の検出が確実にできる。
て矩形領域８の対応付けが困難とされていた道路，床，
壁等の特徴が少ない平面でも、矩形領域８の距離画像の
内の平面に対応する距離画像を用いて最小二乗法等の方
法で実空間上の平面の位置を推定して、距離計測部11か
ら計測基準時刻ｔ0に出力されなかった矩形領域８の距
離画像を補完することにより、時間的な距離変化による
物体の検出が確実にできる。
【００３４】(実施の形態２)図２は本発明の第２の実施
の形態における物体検出装置の構成図で、以下、この物
体検出装置の動作について説明する。なお、図１の参照
符号と同一符号のものは同一部分を示す。
の形態における物体検出装置の構成図で、以下、この物
体検出装置の動作について説明する。なお、図１の参照
符号と同一符号のものは同一部分を示す。
【００３５】対応付け処理部18は、先ず、前述の対応付
け処理部７と同様に、図４に示すように、左画像２を
(Ｍ×Ｎ)個の矩形領域８に分割して、各矩形領域８を
(ｍ×ｎ）個の画素９に分割した上、（ｍ×ｎ)個の画素
９の中でｉ番目の明るさＬiを有する画素９を矩形領域
８毎に検出する。
け処理部７と同様に、図４に示すように、左画像２を
(Ｍ×Ｎ)個の矩形領域８に分割して、各矩形領域８を
(ｍ×ｎ）個の画素９に分割した上、（ｍ×ｎ)個の画素
９の中でｉ番目の明るさＬiを有する画素９を矩形領域
８毎に検出する。
【００３６】又、右画像５の中で左画像２の矩形領域８
の画像に類似する画像が存在する可能性のある探索範囲
10において、(ｍ×ｎ)個の画素からなる探索矩形領域を
水平方向に１画素分移動させる毎に、探索矩形領域の画
素の中でｉ番目の明るさＲiを有する画素を検出する。
の画像に類似する画像が存在する可能性のある探索範囲
10において、(ｍ×ｎ)個の画素からなる探索矩形領域を
水平方向に１画素分移動させる毎に、探索矩形領域の画
素の中でｉ番目の明るさＲiを有する画素を検出する。
【００３７】そして、左画像２の矩形領域８の各画素９
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)の式によって求めた上、両画像の類似度評価値Ｃが
最小になったときの右画像５における探索矩形領域の位
置を左画像２の矩形領域８に対応する領域(以下「対応
領域」という)と判定し、左画像２の矩形領域８の座標
Ｘと右画像５の対応領域の座標ＸRとのずれから計測基
準時刻ｔ0における視差ｄを(数２)の式によって求め
て、出力する。
と右画像５の探索矩形領域において左画像２の矩形領域
８の各画素９の位置に対応する位置の画素との明るさを
画素単位に対照して、左画像２の矩形領域８の画像と右
画像５の探索矩形領域の画像との類似度評価値Ｃを(数
１)の式によって求めた上、両画像の類似度評価値Ｃが
最小になったときの右画像５における探索矩形領域の位
置を左画像２の矩形領域８に対応する領域(以下「対応
領域」という)と判定し、左画像２の矩形領域８の座標
Ｘと右画像５の対応領域の座標ＸRとのずれから計測基
準時刻ｔ0における視差ｄを(数２)の式によって求め
て、出力する。
【００３８】なお、左画像２の矩形領域８の画像と右画
像５の探索矩形領域の画像との類似度評価値Ｃを求めた
上、左画像２の矩形領域の座標Ｘと右画像５の対応領域
の座標ＸRとのずれから視差ｄを求める動作は、左画像
２の全ての座標の矩形領域８に対して順次行う。
像５の探索矩形領域の画像との類似度評価値Ｃを求めた
上、左画像２の矩形領域の座標Ｘと右画像５の対応領域
の座標ＸRとのずれから視差ｄを求める動作は、左画像
２の全ての座標の矩形領域８に対して順次行う。
【００３９】そこで、距離計測部11は、対応付け処理部
18において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によ
って求めた上、矩形領域８毎の距離を示す画像(以下
「距離画像」という)に変換して出力する。
18において左画像２の矩形領域８毎に得た視差ｄに基づ
いて、矩形領域８毎に計測される撮像装置１或いは撮像
装置４から物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦
Ｍ，０＜Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によ
って求めた上、矩形領域８毎の距離を示す画像(以下
「距離画像」という)に変換して出力する。
【００４０】すると、平面推定部19は、距離計測部11か
ら計測基準時刻ｔ0に出力された矩形領域８の距離画像
の内の平面16に対応する距離画像を用いて最小二乗法等
の方法で実空間上の平面16の位置を推定することによ
り、距離計測部11から計測基準時刻ｔ0に出力されなか
った平面の矩形領域８の距離画像を補完して、出力し、
初期距離画像メモリ20に記憶させる。
ら計測基準時刻ｔ0に出力された矩形領域８の距離画像
の内の平面16に対応する距離画像を用いて最小二乗法等
の方法で実空間上の平面16の位置を推定することによ
り、距離計測部11から計測基準時刻ｔ0に出力されなか
った平面の矩形領域８の距離画像を補完して、出力し、
初期距離画像メモリ20に記憶させる。
【００４１】そして、対応付け処理部18は、計測基準時
刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)になると、視差探査範
囲を初期距離画像メモリ20に記憶されている実空間上の
平面16の位置までに限定した状態で、前述の如く、左画
像２の矩形領域８の画像と右画像５の探索矩形領域の画
像との類似度評価値Ｃを求めた上、左画像２の矩形領域
の座標Ｘと右画像５の対応領域の座標ＸRとのずれから
計測時刻ｔにおける視差ｄを求めて、出力する。
刻ｔ0以降の計測時刻ｔ(ｔ＞ｔ0)になると、視差探査範
囲を初期距離画像メモリ20に記憶されている実空間上の
平面16の位置までに限定した状態で、前述の如く、左画
像２の矩形領域８の画像と右画像５の探索矩形領域の画
像との類似度評価値Ｃを求めた上、左画像２の矩形領域
の座標Ｘと右画像５の対応領域の座標ＸRとのずれから
計測時刻ｔにおける視差ｄを求めて、出力する。
【００４２】距離計測部11は、対応付け処理部18におい
て左画像２の矩形領域８毎に得た視差ｄに基づいて、矩
形領域８毎に計測される撮像装置１或いは撮像装置４か
ら物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦Ｍ，０＜
Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によって求め
た上、矩形領域８毎の距離を示す画像(以下「距離画
像」という)に変換して出力し、距離画像メモリ13に記
憶させる。
て左画像２の矩形領域８毎に得た視差ｄに基づいて、矩
形領域８毎に計測される撮像装置１或いは撮像装置４か
ら物体までの距離Ｋ(Ｘ，Ｙ)〔但し、０＜Ｘ≦Ｍ，０＜
Ｙ≦Ｎ〕を、一般的に知られる(数３)の式によって求め
た上、矩形領域８毎の距離を示す画像(以下「距離画
像」という)に変換して出力し、距離画像メモリ13に記
憶させる。
【００４３】そこで、距離差検出部14は、初期距離画像
メモリ20に記憶された初期距離画像と距離画像メモリ13
に記憶された距離画像とにおいて同一座標の矩形領域８
を座標順に比較して、初期距離画像と距離画像との距離
差が閾値ＴＨ以上の座標の矩形領域８を識別した上、閾
値ＴＨ以上の座標の矩形領域８に新たな物体が現出した
か、存在した物体が消失したものと判断して、検出した
物体の画像15を出力する。
メモリ20に記憶された初期距離画像と距離画像メモリ13
に記憶された距離画像とにおいて同一座標の矩形領域８
を座標順に比較して、初期距離画像と距離画像との距離
差が閾値ＴＨ以上の座標の矩形領域８を識別した上、閾
値ＴＨ以上の座標の矩形領域８に新たな物体が現出した
か、存在した物体が消失したものと判断して、検出した
物体の画像15を出力する。
【００４４】このように、本実施の形態によれば、推定
した平面16よりも遠い位置の物体に対する距離計測を行
わないので、対応付け処理部18における演算処理量が大
幅に削減できる。
した平面16よりも遠い位置の物体に対する距離計測を行
わないので、対応付け処理部18における演算処理量が大
幅に削減できる。
【００４５】なお、対応付け処理部７或いは18から出力
される視差ｄを距離計測部11において距離画像に変換し
た後、平面16の位置を平面推定部17及び19において推定
する例で説明したが、距離計測部11において距離画像に
変換することなく、対応付け処理部７或いは18から出力
される視差ｄから平面16の位置を平面推定部17及び19に
おいて推定させてもよい。
される視差ｄを距離計測部11において距離画像に変換し
た後、平面16の位置を平面推定部17及び19において推定
する例で説明したが、距離計測部11において距離画像に
変換することなく、対応付け処理部７或いは18から出力
される視差ｄから平面16の位置を平面推定部17及び19に
おいて推定させてもよい。
【００４６】
【発明の効果】以上説明したように、本発明によれば、
次のような効果を奏するものである。即ち、道路，床，
壁等のように対応付けによる距離計測が難しい平面上の
距離を、平面の位置を推定して、補完することにより、
平面の全ての矩形領域の距離画像が得られるようになっ
て、物体の検出が安定且つ確実にできる。
次のような効果を奏するものである。即ち、道路，床，
壁等のように対応付けによる距離計測が難しい平面上の
距離を、平面の位置を推定して、補完することにより、
平面の全ての矩形領域の距離画像が得られるようになっ
て、物体の検出が安定且つ確実にできる。
【００４７】又、道路，床，壁等の平面の位置を推定し
て、視差探索範囲をその平面よりも前方に限定すること
により、ステレオ画像処理法による物体検出装置の中で
最も演算量を必要とする対応付け処理部における演算量
を大幅に削減できる。
て、視差探索範囲をその平面よりも前方に限定すること
により、ステレオ画像処理法による物体検出装置の中で
最も演算量を必要とする対応付け処理部における演算量
を大幅に削減できる。
【図１】本発明の第１の実施の形態における物体検出装
置の構成図である。
置の構成図である。
【図２】本発明の第２の実施の形態における物体検出装
置の構成図である。
置の構成図である。
【図３】従来の物体検出装置の構成図である。
【図４】左画像での矩形領域及び画素の関係を示す図で
ある。
ある。
【図５】右画像での探索範囲を示す説明図である。
【図６】平面が撮像装置の光軸に対して垂直のときの視
差探索範囲をを説明する図である。
差探索範囲をを説明する図である。
【図７】平面が撮像装置の光軸に対して傾斜していると
きの視差探索範囲をを説明する図である。
きの視差探索範囲をを説明する図である。
１，４…撮像装置、 ２…左画像、 ３…左画像メモ
リ、 ５…右画像、 ６…右画像メモリ、 ７，18…対
応付け処理部、 ８…矩形領域、 ９…画素、 10…探
索範囲、 11…距離計測部、 12，20…初期距離画像メ
モリ、 13…距離画像メモリ、 14…距離差検出部、
15…物体検出画像、 16…平面、 17，19…平面推定
部。
リ、 ５…右画像、 ６…右画像メモリ、 ７，18…対
応付け処理部、 ８…矩形領域、 ９…画素、 10…探
索範囲、 11…距離計測部、 12，20…初期距離画像メ
モリ、 13…距離画像メモリ、 14…距離差検出部、
15…物体検出画像、 16…平面、 17，19…平面推定
部。
Claims (4)
- 【請求項１】 所定の間隔で配置された複数の撮像装置
からそれぞれ出力された複数の画像の中の物体像のずれ
から、三角測量の原理で物体までの距離を計測するステ
レオ画像測距法を用いた物体検出装置において、 前記画像を水平方向及び垂直方向に複数に分割してなる
矩形領域毎に計測した前記物体までの距離から同一の平
面の位置を推定した後、前記平面の矩形領域の中で距離
が計測できなかった前記矩形領域の距離を計測できた前
記矩形領域の平面までの距離に基づいて演算して補完す
ることを特徴とする物体検出装置。 - 【請求項２】 前記画像を水平方向及び垂直方向に複数
に分割してなる矩形領域毎に計測した前記物体までの距
離は、距離を示す距離画像に変換された上、前記距離画
像から同一の平面の位置を推定した後、前記平面の矩形
領域の中で距離画像が得られなかった前記矩形領域の距
離画像を前記距離画像が得られた前記矩形領域の平面ま
での距離画像に基づいて演算して補完することを特徴と
する請求項１記載の物体検出装置。 - 【請求項３】 前記矩形領域毎に当初に計測した前記物
体までの距離から同一の平面の位置を推定した後、次以
降の前記物体までの距離の計測は、前記撮像装置と前記
平面との間の視差探索範囲に限定して行うことを特徴と
する請求項１記載の物体検出装置。 - 【請求項４】 前記矩形領域毎に当初に計測した前記物
体までの距離から同一の平面の位置を推定した後、前記
撮像装置と前記平面との間に限定した視差探索範囲で前
記物体像のずれを検出して、前記物体までの距離を計測
することを特徴とする請求項１記載の物体検出装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31267795A JPH09152334A (ja) | 1995-11-30 | 1995-11-30 | 物体検出装置 |
| CA002184561A CA2184561C (en) | 1995-09-12 | 1996-08-30 | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| US08/704,895 US5825915A (en) | 1995-09-12 | 1996-08-30 | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| EP96114009A EP0762326B1 (en) | 1995-09-12 | 1996-09-02 | Object detecting apparatus in which the position of a planar object is estimated by using Hough transform |
| DE69625423T DE69625423T2 (de) | 1995-09-12 | 1996-09-02 | Vorrichtung zur Erkennung eines Objektes, in welchem die Position eines ebenen Objektes mit Hilfe einer Houghtransformation geschätzt wird |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31267795A JPH09152334A (ja) | 1995-11-30 | 1995-11-30 | 物体検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09152334A true JPH09152334A (ja) | 1997-06-10 |
Family
ID=18032103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31267795A Pending JPH09152334A (ja) | 1995-09-12 | 1995-11-30 | 物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09152334A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| KR20110084028A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 이미지 데이터를 이용한 거리 측정 장치 및 방법 |
| JP2014142832A (ja) * | 2013-01-24 | 2014-08-07 | Canon Inc | 画像処理装置、画像処理装置の制御方法、およびプログラム |
-
1995
- 1995-11-30 JP JP31267795A patent/JPH09152334A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| KR20110084028A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 이미지 데이터를 이용한 거리 측정 장치 및 방법 |
| JP2014142832A (ja) * | 2013-01-24 | 2014-08-07 | Canon Inc | 画像処理装置、画像処理装置の制御方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| US9886649B2 (en) | Object detection device and vehicle using same | |
| US7769227B2 (en) | Object detector | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| US5825915A (en) | Object detecting apparatus in which the position of a planar object is estimated by using hough transform | |
| EP0686942A2 (en) | Stereo matching method and disparity measuring method | |
| US20050008220A1 (en) | Method, apparatus, and program for processing stereo image | |
| JP2001324305A (ja) | 画像対応位置検出装置および該装置を備える測距装置 | |
| JPH11252587A (ja) | 物体追跡装置 | |
| JPH09226490A (ja) | 横断物の検出装置 | |
| JP3710548B2 (ja) | 車両検出装置 | |
| KR20140056790A (ko) | 영상 인식 장치 및 그 방법 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP2000207693A (ja) | 車載用障害物検出装置 | |
| US20170228602A1 (en) | Method for detecting height | |
| JP2001351193A (ja) | 歩行者検知装置 | |
| JP7445501B2 (ja) | 画像処理装置および画像処理方法 | |
| JP6188860B1 (ja) | オブジェクト検出装置 | |
| JPH1144533A (ja) | 先行車両検出装置 | |
| US20130142388A1 (en) | Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus | |
| JPH09152334A (ja) | 物体検出装置 | |
| JPH1096607A (ja) | 物体検出装置および平面推定方法 | |
| JPH10187974A (ja) | 物流計測装置 | |
| JP2000331169A (ja) | 画像の動きベクトル計測方法及び装置 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 |