JP3904988B2 - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP3904988B2 JP3904988B2 JP2002187091A JP2002187091A JP3904988B2 JP 3904988 B2 JP3904988 B2 JP 3904988B2 JP 2002187091 A JP2002187091 A JP 2002187091A JP 2002187091 A JP2002187091 A JP 2002187091A JP 3904988 B2 JP3904988 B2 JP 3904988B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- image
- area
- candidate area
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラの画像を用いて、自車両の走行の障害となる物体を検出する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式では、レーザーレーダー(特願平９-３０７９８)やミリ波レーダー(特開２００１-４２０２５)が多く用いられている。レーザーレーダーは雨など悪天候に弱いという問題ある。ミリ波レーダーには路面からの反射波と静止障害物からの反射波が区別できないという問題や、装置が高価になるという問題がある。さらに、これらレーダーを用いた方式では、自車両の走行経路上の障害物かどうかが分からないという問題点がある。
【０００４】
これに対して、画像を用いる方式では、自車両の走行レーンを検出し(中山，窪田，谷口，小野口，`「逆投影画像上での候補追跡処理による白線検出」，電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. １５--２２, ２００１)、路面と路面内にない障害物を区別できるため(P２００１-２８３２０４、岡田、谷口、小野口、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'', 電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. ２９--３６,２００１)、自車両の走行レーン上にある衝突の危険性のある障害物のみを検出できる。また、装置も安価に構成することができる。
【０００５】
画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラを用いる方式がある。
【０００６】
複数のＴＶカメラを用いる方式には、三角測量の原理によって距離を計測することにより障害物を検出する方式(特開２０００−２０７６９３)、路面より高い位置にあるものを障害物として検出する方式(特開２０００−２９３６９３)がある。複数のカメラを用いる場合には、カメラ間の位置合わせ(キャリブレーション)の作業が必要となり、装置構成が複雑になる。また、カメラの数が複数ある場合の方が１台の場合より高価な装置になる。
【０００７】
単一のＴＶカメラを用いる方式として、水平なエッジ線を前方の車両の接地線として検出する方式(特開平７-２８０５１７、特開平７-２８９７５)がある。この手法では、見付けたエッジ線が路面上のペイントやアスファルトの継ぎ目などの可能性もあるため、誤検出を起こす場合がある。
【０００８】
S.CarlssonとJ.-O.Eklundhは、``Object detection using model based prediction and motion parallax'', Proc. of ECCV, pp.~２９７--３０６, １９９０において、路面の動きを画面内の点の動きを用いて推定し、路面の動きと異なる動きをする領域を障害物領域として求めている。
【０００９】
この手法のように、路面の動きを推定する手法は、画像上で路面が比較的大きい面積を占めており、かつ、その路面に明瞭なテクスチャ(白線や横断歩道などのペイント)を必要とする。実際の走行環境ではこの様な条件が満たされないことも多い。
【００１０】
胡と内村は「変動背景における複数移動物体の検出及び同時追跡」、電学論D、１２０巻１０号において、自車の進行方向を画面内の点の動きから推定し、背景の運動方向以外の動きを持っている領域を障害物として検出している。さらに、ＴＶカメラと路面との幾何学的な関係を用いて、自車から障害物までの距離の変化を計算し、自車と路面の相対速度と異なる動きをしている移動物体を障害物として検出している。この手法では、路上に静止している物体が検出できないという問題がある。
【００１１】
Zhangらは、``OBSTACLE DETECTION BASED ON QUALITATIVE AND QUANTITATIVE ３D RECONSTRACTION'', IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. １９, No. １, pp.１５-２６, １９９７において、画面内の特徴点のいくつかが路面上にあり、その他が障害物に属しているとき、これらの特徴点の運動が３次元平面の運動で記述できないことを利用して、ある特徴点集合の運動が平面運動で記述できない場合に障害物があると判断している。この手法は、路面と障害物の両方に十分な数の特徴点を必要とするが、実際の道路シーンでは、路面上にほとんど特徴点が無いことがある。また、特徴点の画像間の対応づけに間違いが含まれていると誤検出となるため、実際の環境下で用いることが難しい。
【００１２】
これに対して、岡田らは、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'', 電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. ２９--３６,２００１において、仮想的にシーン内に配置した路面と障害物に相当する複数の面を画像内で追跡し、追跡結果と現在の画像が最も良く一致する仮想平面を選択することにより障害物か路面かを区別している。
【００１３】
この手法も、路面と障害物の運動視差を利用した手法であるが、路面に特徴点を必要としないので、実際の道路シーンに適用しやすく、また、局所的な情報に基づく点の対応付けではなく、平面を追跡しているため安定性が向上する。しかし、多数の平面の追跡を行うため、計算量が多い点が問題となる。
【００１４】
【発明が解決しようとする課題】
前記、路面と障害物の運動視差に着目した方式を、実際の環境下で実現するためには、処理の高速性と検出結果の正確さが求められる。そのためには、運動視差を安定かつ高速に求める必要がある。
【００１５】
本発明は、１台のＴＶカメラを用い、路面と障害物の運動視差に着目して障害物を検出する手法を、高速かつ安定に実現する画像処理装置およびその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置においては、時系列画像を入力する画像入力手段と、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡手段と、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証手段と、前記平面仮定の検証結果を用いて障害物を検出する障害物検出手段とを具備した画像処理装置において、前記障害物候補領域追跡手段は、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出手段と、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成手段と、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定手段と、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索手段とを具備したことを特徴とする。
【００１７】
また本発明の画像処理装置において、前記障害物候補領域追跡手段は、追跡された障害物候補領域の追跡軌跡が滑らかでない場合に、当該障害物候補領域を追跡対象から削除することを特徴とする。
【００１８】
また本発明の画像処理装置において、前記平面仮定検証手段は、３つ以上の候補領域を一組とする候補領域の組を選択する候補領域組選択手段と、当該候補領域組の動きについて、所定の平面への適合度を計算し、前記適合度からその平面に属するかを決定する平面仮定評価部を具備することを特徴とする。
【００１９】
また本発明の画像処理装置において、前記障害物検出手段は、前記平面仮定検証手段によって車両が走行している平面に属さないと判断された障害物候補領域の数が、所定の条件を満たしたときに障害物と判定する障害物判定手段を具備したことを特徴とする。
【００２０】
また本発明の画像処理装置において、過去に検出された前記障害物候補領域の動きから現在のフレームの障害物位置を推定する障害物位置推定手段を具備したことを特徴とする。
【００２１】
また本発明の画像処理方法において、時系列画像を入力する画像入力ステップと、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡ステップと、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証ステップと、前記平面仮定の検証結果を用いて障害物を検出する障害物検出ステップとを具備した画像処理方法において、前記障害物候補領域追跡ステップは、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出ステップと、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成ステップと、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定ステップと、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索ステップとを含むことを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２３】
図１は、本発明の画像処理装置を用いた実施形態の基本的な構成例を示す。始めに車両に搭載された画像入力部１０で撮像手段たる１台のＴＶカメラにより車外の画像、特に車両前方の画像を撮像して、時系列画像を取得する。障害物候補領域追跡部１１のうち、候補領域追跡部１２では、この撮像された画像について、障害物候補領域を設定し画像内で追跡する。平面仮定検証部１３では、画像内の３つ以上の候補領域を一組とする候補領域組を追跡し、その結果を用いて、候補領域組が特定の平面（例えば道路面）に属しているかどうかを判定する。障害物検出部１４では、平面仮定検証部の結果に基づいて、障害物を検出しその位置を計算する。
【００２４】
以下では、障害物候補領域追跡部１１のうち、候補領域追跡部１２、平面仮定検証部１３、障害物検出部１４について詳しく説明する。説明を簡単にするため、ＴＶカメラは路面が画像上で下になり、光軸が路面と平行かつ進行方向に平行に取り付けられているものとする。これ以外の設置方法についても簡単な拡張により同様の方法が適用できる。
【００２５】
図２に候補領域追跡部１２の詳細な構成例を示す。線分検出ブロックＳ２１では、障害物を検出するための検出領域内で特定の方向の線分を検出する。検出領域には様々な設定方法がある。例えば、以下のような方法がある。
【００２６】
１. 画面全体を検出領域とする。
【００２７】
２. 消失点よりも下側の領域を検出領域とする。
【００２８】
３. 消失点に近づくに従って横幅が狭くなる固定の領域を検出領域とする。
【００２９】
４. 画像処理により画像で自車両が走行しているレーンまたは道路を検出し、それらの内部領域を検出領域とする。
【００３０】
５. ハンドル舵角センサーや、ジャイロなどの車両の走行状態を取得するセンサーの計測値から、自車両の走行予測経路を算出し、その周辺の領域を検出領域とする。
【００３１】
車両には、道路と車両の接地線や車両、バンパーの外縁、ウィンドウの枠など水平線が多い。現在仮定しているカメラ配置では、これらの水平線は画像内でも水平線となるので、これら水平線を検出する。以下では、水平線を用いる場合について述べるが、その他の方向の線分を用いてもよい。
【００３２】
水平線は画像内のエッジ(輝度変化が大きい点)として観測されるので、その検出方法には、sobelオペレータ等のエッジ検出オペレータを用いる。エッジ検出オペレータの出力強度が大きく、かつ、水平に近い方向をもつエッジを連結して水平線とする。他にも、２つの領域間の輝度値等の特徴量の分離度(K. Fukui, ''Edge Extraction Method based on Separability of Image Features'', IEICE Trans. Inf. & Syst., Vol. E-７８-D, No.１２, １９９５)を用いる方法もある。
【００３３】
図３は「消失点」に近づくに従って横幅が狭くなる固定の領域を「検出領域」とし、「分離度フィルタ」を用いて水平線を検出する場合の説明図である。水平線を検出するので、フィルタの形状は図３のような上下に分かれた２つの領域とし、分離度フィルタの適応領域を検出領域内の様々な場所に移動させながら、この２つの領域間の輝度値の分離度を計算する。
【００３４】
垂直方向、または、消失点に向かう方向に関する分離度の分布図(プロファイル)を求め、分離度が極大となる位置における分離度フィルタの２つの領域の境界線を水平線とする。フィルタの大きさは、例えば、検出領域内で消失点からの縦方向の距離に応じて変化させる。つまり、消失点からの縦方向の距離が小さくなるほど、フィルタの大きさを小さくするよう設定する。
【００３５】
次に、図２の候補領域生成ブロックＳ２２では、検出された「水平線」周辺に候補領域を設定する。水平線が路面と車両の接地線となる場合があることを考えると、水平線の上部が車両なので、検出された水平線の上部に候補領域（障害物領域）を設定する。図４はこの場合の説明図である。候補領域の大きさは、例えば、消失点に近くなるほど小さくなるように設定する。また、車両にはテールランプ、ヘッドライト、ナンバープレート等、テクスチャが存在するので、上で設定した候補領域のうち、その内部にテクスチャがある領域のみ選択する。
【００３６】
図２の探索領域設定ブロックＳ２３では、あるフレームｆの障害物候補領域が次のフレームｆ＋１でどこに動いたかを探索する範囲(領域)を設定する。障害物候補領域は、水平線の上部に設定されているので、次のフレームにおいて移動したであろう障害物候補領域も水平線の上部にあるものと仮定される。そこで、図５のように、探索領域はフレームfの候補領域Ａの位置周辺において、次のフレームｆ＋１で観測された「水平線」の上部の横長の領域とする。探索領域の高さは候補領域と同じとし、探索領域の幅は候補領域Ａの幅よりすこし大きくとる。
【００３７】
図２の障害物候補領域探索ブロックＳ２４では、フレームｆ＋１で設定した探索領域内部の様々な位置にフレームfの候補領域(テンプレート)と同じ形状の領域を配置し、それらの領域内部の輝度値とフレームfの候補領域内部の輝度値の差の絶対値和(ＳＡＤ)を計算し、最もＳＡＤが小さくなる領域をフレームｆ＋１の障害物候補領域とする。毎フレームの追跡処理終了後に、テンプレートを追跡結果の位置に更新する。
【００３８】
障害物候補領域の大きさは、上記のように固定しておく方法以外に、障害物候補領域の消失点からの相対的な位置に応じて、毎フレームテンプレートを更新する時に変化させる方法がある。例えば、消失点から障害物候補領域までの縦方向の距離が小さくなるほど、障害物候補領域の大きさも小さくすることが考えられる。また、輝度値の差の絶対値和以外にも、輝度値の差の二乗和、輝度値の相関係数、輝度値の微分値の差の絶対値和や二乗和、エッジの方向の差(Orientation Code Matichig: F. Ullah, S. Kaneko, and S. Igarashi, "Object Search Using Orientation Code Matching", Proc. of IAPR Workshop on Machine Vision Applications, pp. ２６２-２６６, ２０００)、カラー画像のＲＧＢ値の差の絶対値和や二乗和等、様々な特徴量を用いて探索を行うことができる。
【００３９】
さらに、テンプレートの更新方法として、ここで述べたように１フレーム毎に更新を行う方法以外に、障害物候補領域を設定した最初のフレームのテンプレートを更新しない方法や、障害物候補領域が、あらかじめ設定したある一定の距離動いた時にテンプレートを更新する方法がある。
【００４０】
図２の障害物候補領域削除ブロックＳ２５では、追跡に失敗している候補領域を選択し削除する。次のような条件のうち、少なくとも１つ以上の条件を満たす場合に削除する。
【００４１】
１. 候補領域が画面の端に来た場合。
【００４２】
２. 候補領域を探索したときの評価値(SAD等)が悪い場合。
【００４３】
３. 候補領域内部にテクスチャが無い場合。
【００４４】
４. 候補領域の移動軌跡が不規則な場合。(例えば、等速運動から大きく外れる場合)
図１の平面仮定検証部１３は、３つ以上の候補領域を一組とする候補領域組を選択する候補領域組選択ブロックＳ３１と、その候補領域組がどの平面に属するかの判定を行うか否かを判断する非検証判断ブロックＳ３２と、候補領域組がどの平面に属するかの判定を行う平面仮定評価ブロックＳ３３からなる(図６参照)。
【００４５】
ここでは、候補領域組が、路面と、路面と車両の進行方向に垂直な平面(以下垂直平面と呼ぶ)の２つの平面のどちらに属するかを判定する場合について述べる。候補領域組選択ブロック３１では、現在追跡中の候補領域から水平方向の位置が近い３つの候補領域をランダムに選択する。
【００４６】
図７は、候補領域組が、垂直平面(例えば車両後部)に属する場合の説明図である。
【００４７】
【数１】
【００４８】
非検証判断ブロック３２では、候補領域組の動きが、上記のどちらの平面の動きにも適合しないことを検出する。以下のいずれか１つ以上を用いて判断基準とする。
【００４９】
１. 候補領域組の縦方向の動きの大きさが消失点に近つくに従って単調に減少していない。
【００５０】
２. 候補領域組の縦方向の動きが同じ方向ではない。
【００５１】
３. 候補領域組の上下の位置関係が追跡の前後で変化(逆転)している。
【００５２】
４. 候補領域組の水平方向の速度が大きく異なる。
【００５３】
判断基準を満たす場合、この候補領域組については属する平面を決定する平面仮定評価ブロック３３の処理を行わない。または、判断基準を満たす候補領域組に属する候補領域の中から、動きの等速性等の基準を用いて削除する候補領域を決定し、１つ以上の１つ候補を削除してもよい。
【００５４】
平面仮定評価ブロック３３では、候補領域組の動きが路面と垂直面のどちらに適合するかを決定する。候補領域の動きの垂直面に関する拘束(式(１))に対する適合度と、路面に関する拘束(式(２))に対する適合度を計算し、適合度が高い方の平面を選択することによって適合する平面を決定する。
【００５５】
【数２】
【００５６】
適合度Ｓｖ、Ｓｈは小さいほど各平面に関する拘束に適合しているので、Ｓ＝Ｓｈ−Ｓｖまたは、Ｓを時間的に蓄積した値が、ある正の閾値を上回ったとき垂直面に属すると判断し、負の閾値を下回ったとき路面に属すると判断する。
【００５７】
【数３】
【００５８】
適合度の計算の方法は、拘束式(１)、(２)の選択の仕方によって上記以外の式も選択可能である。また、一組の候補領域に属する候補領域の数も３に限定されるものではなく、それ以上の数であっても同様の議論で容易に拡張可能である。
【００５９】
障害物検出部１４は、障害物判定ブロック４１、障害物位置検出ブロック４２、障害物位置推定ブロック４３からなる(図８参照)。
【００６０】
障害物判定ブロック４１では、候補領域組が属する平面に関する多数の判定結果を用いて、障害物(垂直面)が存在するかどうかを決定する。ある１つの候補領域Ａを選択し、Ａが属する候補領域組のうち、Ａが画面上で最も下の位置にある候補領域組がＮA組あったとする。ＮAの内、平面仮定評価部３３で垂直面であると判断された組の数をＮvとすると、Ｎv／ＮAがある閾値を超えたとき、障害物が存在すると判定する。
【００６１】
次に、障害物位置検出ブロック、障害物であると判定された候補領域の集合を画像上の障害物領域とする。また、障害物領域の最も下の位置を、路面と障害物の接地線として検出することもできる。さらに、ＴＶカメラの路面に対する取り付け位置や角度、ＴＶカメラの内部パラメータが既知であれば、画像内の接地線の位置を用いて自車両から障害物までの距離を計算することができる。
【００６２】
障害物位置推定ブロック、障害物がＴＶカメラに近づきすぎて、その接地線が画面外に出た場合や、なんらかの理由で接地線が検出できなかった場合、候補領域の追跡結果から現在の接地線の位置(障害物までの距離)を推定する(図９参照)。
【００６３】
過去のフレームにおいて、「接地線」として観測された位置のすぐ上にあった候補領域は、障害物(垂直平面)に属すると仮定できる。そこでこれらの候補領域の追跡結果から、時間的に連続する（時刻ｔ、時刻ｔ＋Δｔ）のフレーム間で、これら候補領域同士の縦方向の間隔（Ｄ１、Ｄ２、Ｄ１’、Ｄ２’）の拡大率(縮小率)：ｍ＝Ｄ１’／Ｄ１を計算し、式(４)と同様にして現在のフレームで観測できなかった接地線（予測接地線位置）を推定する。
【００６４】
なお本発明の実施の形態においては、車両の前方（進行方向）に向かって撮影した画像を用いて、車両の前方に存在する障害物（先行車両など）を検出する技術について説明したが、本発明はこの実施の形態に限られない。
【００６５】
例えば車両の後方（車両進行方向と逆向き）に向かって撮影した画像を用いた場合でも、同様の手法を用いて、車両の後方に存在する立体物（後行車両など）を障害物として検出することも可能である。この場合には、先行車両から見た後行車両の追突防止のための後行車両検出に利用することができる。また、車両の後側方を撮影した画像を用いて、自車両を追い抜いたり追い越したりする車両をや、自車両が追い抜いたり追い越したりした車両を検出することもできる。
【００６６】
【発明の効果】
本発明によれば、１台のＴＶカメラを用いて、路面と障害物の運動視差の分布の違いに基づいて高速かつ安定に障害物を検出することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図。
【図２】 図１の候補領域追跡部の一実施形態を示すブロック図。
【図３】 水平線検出方法の説明図。
【図４】 障害物候補領域の設定方法の説明図。
【図５】 障害物候補領域の追跡処理における、候補領域の探索範囲の設定方法の説明図。
【図６】 図１の平面仮定検証部の一実施形態の構成を示すブロック図。
【図７】 候補領域が路面とＴＶカメラの光軸に垂直な平面に属する場合の拘束条件の説明図。
【図８】 図１の障害物検出部の一実施形態を示すブロック図。
【図９】 接地線の推定手法の説明図。
【符号の説明】
１０ 画像入力部
１１ 障害物候補領域追跡部
１２ 候補領域追跡部
１３ 平面仮定検証部
１４ 障害物検出部
１５ 出力部
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラの画像を用いて、自車両の走行の障害となる物体を検出する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、大きく分けてレーダーを用いる方式と、画像を用いる方式が提案されている。
【０００３】
レーダーを用いる方式では、レーザーレーダー(特願平９-３０７９８)やミリ波レーダー(特開２００１-４２０２５)が多く用いられている。レーザーレーダーは雨など悪天候に弱いという問題ある。ミリ波レーダーには路面からの反射波と静止障害物からの反射波が区別できないという問題や、装置が高価になるという問題がある。さらに、これらレーダーを用いた方式では、自車両の走行経路上の障害物かどうかが分からないという問題点がある。
【０００４】
これに対して、画像を用いる方式では、自車両の走行レーンを検出し(中山，窪田，谷口，小野口，`「逆投影画像上での候補追跡処理による白線検出」，電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. １５--２２, ２００１)、路面と路面内にない障害物を区別できるため(P２００１-２８３２０４、岡田、谷口、小野口、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'', 電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. ２９--３６,２００１)、自車両の走行レーン上にある衝突の危険性のある障害物のみを検出できる。また、装置も安価に構成することができる。
【０００５】
画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラを用いる方式がある。
【０００６】
複数のＴＶカメラを用いる方式には、三角測量の原理によって距離を計測することにより障害物を検出する方式(特開２０００−２０７６９３)、路面より高い位置にあるものを障害物として検出する方式(特開２０００−２９３６９３)がある。複数のカメラを用いる場合には、カメラ間の位置合わせ(キャリブレーション)の作業が必要となり、装置構成が複雑になる。また、カメラの数が複数ある場合の方が１台の場合より高価な装置になる。
【０００７】
単一のＴＶカメラを用いる方式として、水平なエッジ線を前方の車両の接地線として検出する方式(特開平７-２８０５１７、特開平７-２８９７５)がある。この手法では、見付けたエッジ線が路面上のペイントやアスファルトの継ぎ目などの可能性もあるため、誤検出を起こす場合がある。
【０００８】
S.CarlssonとJ.-O.Eklundhは、``Object detection using model based prediction and motion parallax'', Proc. of ECCV, pp.~２９７--３０６, １９９０において、路面の動きを画面内の点の動きを用いて推定し、路面の動きと異なる動きをする領域を障害物領域として求めている。
【０００９】
この手法のように、路面の動きを推定する手法は、画像上で路面が比較的大きい面積を占めており、かつ、その路面に明瞭なテクスチャ(白線や横断歩道などのペイント)を必要とする。実際の走行環境ではこの様な条件が満たされないことも多い。
【００１０】
胡と内村は「変動背景における複数移動物体の検出及び同時追跡」、電学論D、１２０巻１０号において、自車の進行方向を画面内の点の動きから推定し、背景の運動方向以外の動きを持っている領域を障害物として検出している。さらに、ＴＶカメラと路面との幾何学的な関係を用いて、自車から障害物までの距離の変化を計算し、自車と路面の相対速度と異なる動きをしている移動物体を障害物として検出している。この手法では、路上に静止している物体が検出できないという問題がある。
【００１１】
Zhangらは、``OBSTACLE DETECTION BASED ON QUALITATIVE AND QUANTITATIVE ３D RECONSTRACTION'', IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. １９, No. １, pp.１５-２６, １９９７において、画面内の特徴点のいくつかが路面上にあり、その他が障害物に属しているとき、これらの特徴点の運動が３次元平面の運動で記述できないことを利用して、ある特徴点集合の運動が平面運動で記述できない場合に障害物があると判断している。この手法は、路面と障害物の両方に十分な数の特徴点を必要とするが、実際の道路シーンでは、路面上にほとんど特徴点が無いことがある。また、特徴点の画像間の対応づけに間違いが含まれていると誤検出となるため、実際の環境下で用いることが難しい。
【００１２】
これに対して、岡田らは、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'', 電子情報通信学会技術研究報告書，Vol. １０１, No. ３０２, pp. ２９--３６,２００１において、仮想的にシーン内に配置した路面と障害物に相当する複数の面を画像内で追跡し、追跡結果と現在の画像が最も良く一致する仮想平面を選択することにより障害物か路面かを区別している。
【００１３】
この手法も、路面と障害物の運動視差を利用した手法であるが、路面に特徴点を必要としないので、実際の道路シーンに適用しやすく、また、局所的な情報に基づく点の対応付けではなく、平面を追跡しているため安定性が向上する。しかし、多数の平面の追跡を行うため、計算量が多い点が問題となる。
【００１４】
【発明が解決しようとする課題】
前記、路面と障害物の運動視差に着目した方式を、実際の環境下で実現するためには、処理の高速性と検出結果の正確さが求められる。そのためには、運動視差を安定かつ高速に求める必要がある。
【００１５】
本発明は、１台のＴＶカメラを用い、路面と障害物の運動視差に着目して障害物を検出する手法を、高速かつ安定に実現する画像処理装置およびその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置においては、時系列画像を入力する画像入力手段と、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡手段と、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証手段と、前記平面仮定の検証結果を用いて障害物を検出する障害物検出手段とを具備した画像処理装置において、前記障害物候補領域追跡手段は、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出手段と、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成手段と、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定手段と、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索手段とを具備したことを特徴とする。
【００１７】
また本発明の画像処理装置において、前記障害物候補領域追跡手段は、追跡された障害物候補領域の追跡軌跡が滑らかでない場合に、当該障害物候補領域を追跡対象から削除することを特徴とする。
【００１８】
また本発明の画像処理装置において、前記平面仮定検証手段は、３つ以上の候補領域を一組とする候補領域の組を選択する候補領域組選択手段と、当該候補領域組の動きについて、所定の平面への適合度を計算し、前記適合度からその平面に属するかを決定する平面仮定評価部を具備することを特徴とする。
【００１９】
また本発明の画像処理装置において、前記障害物検出手段は、前記平面仮定検証手段によって車両が走行している平面に属さないと判断された障害物候補領域の数が、所定の条件を満たしたときに障害物と判定する障害物判定手段を具備したことを特徴とする。
【００２０】
また本発明の画像処理装置において、過去に検出された前記障害物候補領域の動きから現在のフレームの障害物位置を推定する障害物位置推定手段を具備したことを特徴とする。
【００２１】
また本発明の画像処理方法において、時系列画像を入力する画像入力ステップと、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡ステップと、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証ステップと、前記平面仮定の検証結果を用いて障害物を検出する障害物検出ステップとを具備した画像処理方法において、前記障害物候補領域追跡ステップは、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出ステップと、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成ステップと、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定ステップと、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索ステップとを含むことを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２３】
図１は、本発明の画像処理装置を用いた実施形態の基本的な構成例を示す。始めに車両に搭載された画像入力部１０で撮像手段たる１台のＴＶカメラにより車外の画像、特に車両前方の画像を撮像して、時系列画像を取得する。障害物候補領域追跡部１１のうち、候補領域追跡部１２では、この撮像された画像について、障害物候補領域を設定し画像内で追跡する。平面仮定検証部１３では、画像内の３つ以上の候補領域を一組とする候補領域組を追跡し、その結果を用いて、候補領域組が特定の平面（例えば道路面）に属しているかどうかを判定する。障害物検出部１４では、平面仮定検証部の結果に基づいて、障害物を検出しその位置を計算する。
【００２４】
以下では、障害物候補領域追跡部１１のうち、候補領域追跡部１２、平面仮定検証部１３、障害物検出部１４について詳しく説明する。説明を簡単にするため、ＴＶカメラは路面が画像上で下になり、光軸が路面と平行かつ進行方向に平行に取り付けられているものとする。これ以外の設置方法についても簡単な拡張により同様の方法が適用できる。
【００２５】
図２に候補領域追跡部１２の詳細な構成例を示す。線分検出ブロックＳ２１では、障害物を検出するための検出領域内で特定の方向の線分を検出する。検出領域には様々な設定方法がある。例えば、以下のような方法がある。
【００２６】
１. 画面全体を検出領域とする。
【００２７】
２. 消失点よりも下側の領域を検出領域とする。
【００２８】
３. 消失点に近づくに従って横幅が狭くなる固定の領域を検出領域とする。
【００２９】
４. 画像処理により画像で自車両が走行しているレーンまたは道路を検出し、それらの内部領域を検出領域とする。
【００３０】
５. ハンドル舵角センサーや、ジャイロなどの車両の走行状態を取得するセンサーの計測値から、自車両の走行予測経路を算出し、その周辺の領域を検出領域とする。
【００３１】
車両には、道路と車両の接地線や車両、バンパーの外縁、ウィンドウの枠など水平線が多い。現在仮定しているカメラ配置では、これらの水平線は画像内でも水平線となるので、これら水平線を検出する。以下では、水平線を用いる場合について述べるが、その他の方向の線分を用いてもよい。
【００３２】
水平線は画像内のエッジ(輝度変化が大きい点)として観測されるので、その検出方法には、sobelオペレータ等のエッジ検出オペレータを用いる。エッジ検出オペレータの出力強度が大きく、かつ、水平に近い方向をもつエッジを連結して水平線とする。他にも、２つの領域間の輝度値等の特徴量の分離度(K. Fukui, ''Edge Extraction Method based on Separability of Image Features'', IEICE Trans. Inf. & Syst., Vol. E-７８-D, No.１２, １９９５)を用いる方法もある。
【００３３】
図３は「消失点」に近づくに従って横幅が狭くなる固定の領域を「検出領域」とし、「分離度フィルタ」を用いて水平線を検出する場合の説明図である。水平線を検出するので、フィルタの形状は図３のような上下に分かれた２つの領域とし、分離度フィルタの適応領域を検出領域内の様々な場所に移動させながら、この２つの領域間の輝度値の分離度を計算する。
【００３４】
垂直方向、または、消失点に向かう方向に関する分離度の分布図(プロファイル)を求め、分離度が極大となる位置における分離度フィルタの２つの領域の境界線を水平線とする。フィルタの大きさは、例えば、検出領域内で消失点からの縦方向の距離に応じて変化させる。つまり、消失点からの縦方向の距離が小さくなるほど、フィルタの大きさを小さくするよう設定する。
【００３５】
次に、図２の候補領域生成ブロックＳ２２では、検出された「水平線」周辺に候補領域を設定する。水平線が路面と車両の接地線となる場合があることを考えると、水平線の上部が車両なので、検出された水平線の上部に候補領域（障害物領域）を設定する。図４はこの場合の説明図である。候補領域の大きさは、例えば、消失点に近くなるほど小さくなるように設定する。また、車両にはテールランプ、ヘッドライト、ナンバープレート等、テクスチャが存在するので、上で設定した候補領域のうち、その内部にテクスチャがある領域のみ選択する。
【００３６】
図２の探索領域設定ブロックＳ２３では、あるフレームｆの障害物候補領域が次のフレームｆ＋１でどこに動いたかを探索する範囲(領域)を設定する。障害物候補領域は、水平線の上部に設定されているので、次のフレームにおいて移動したであろう障害物候補領域も水平線の上部にあるものと仮定される。そこで、図５のように、探索領域はフレームfの候補領域Ａの位置周辺において、次のフレームｆ＋１で観測された「水平線」の上部の横長の領域とする。探索領域の高さは候補領域と同じとし、探索領域の幅は候補領域Ａの幅よりすこし大きくとる。
【００３７】
図２の障害物候補領域探索ブロックＳ２４では、フレームｆ＋１で設定した探索領域内部の様々な位置にフレームfの候補領域(テンプレート)と同じ形状の領域を配置し、それらの領域内部の輝度値とフレームfの候補領域内部の輝度値の差の絶対値和(ＳＡＤ)を計算し、最もＳＡＤが小さくなる領域をフレームｆ＋１の障害物候補領域とする。毎フレームの追跡処理終了後に、テンプレートを追跡結果の位置に更新する。
【００３８】
障害物候補領域の大きさは、上記のように固定しておく方法以外に、障害物候補領域の消失点からの相対的な位置に応じて、毎フレームテンプレートを更新する時に変化させる方法がある。例えば、消失点から障害物候補領域までの縦方向の距離が小さくなるほど、障害物候補領域の大きさも小さくすることが考えられる。また、輝度値の差の絶対値和以外にも、輝度値の差の二乗和、輝度値の相関係数、輝度値の微分値の差の絶対値和や二乗和、エッジの方向の差(Orientation Code Matichig: F. Ullah, S. Kaneko, and S. Igarashi, "Object Search Using Orientation Code Matching", Proc. of IAPR Workshop on Machine Vision Applications, pp. ２６２-２６６, ２０００)、カラー画像のＲＧＢ値の差の絶対値和や二乗和等、様々な特徴量を用いて探索を行うことができる。
【００３９】
さらに、テンプレートの更新方法として、ここで述べたように１フレーム毎に更新を行う方法以外に、障害物候補領域を設定した最初のフレームのテンプレートを更新しない方法や、障害物候補領域が、あらかじめ設定したある一定の距離動いた時にテンプレートを更新する方法がある。
【００４０】
図２の障害物候補領域削除ブロックＳ２５では、追跡に失敗している候補領域を選択し削除する。次のような条件のうち、少なくとも１つ以上の条件を満たす場合に削除する。
【００４１】
１. 候補領域が画面の端に来た場合。
【００４２】
２. 候補領域を探索したときの評価値(SAD等)が悪い場合。
【００４３】
３. 候補領域内部にテクスチャが無い場合。
【００４４】
４. 候補領域の移動軌跡が不規則な場合。(例えば、等速運動から大きく外れる場合)
図１の平面仮定検証部１３は、３つ以上の候補領域を一組とする候補領域組を選択する候補領域組選択ブロックＳ３１と、その候補領域組がどの平面に属するかの判定を行うか否かを判断する非検証判断ブロックＳ３２と、候補領域組がどの平面に属するかの判定を行う平面仮定評価ブロックＳ３３からなる(図６参照)。
【００４５】
ここでは、候補領域組が、路面と、路面と車両の進行方向に垂直な平面(以下垂直平面と呼ぶ)の２つの平面のどちらに属するかを判定する場合について述べる。候補領域組選択ブロック３１では、現在追跡中の候補領域から水平方向の位置が近い３つの候補領域をランダムに選択する。
【００４６】
図７は、候補領域組が、垂直平面(例えば車両後部)に属する場合の説明図である。
【００４７】
【数１】
非検証判断ブロック３２では、候補領域組の動きが、上記のどちらの平面の動きにも適合しないことを検出する。以下のいずれか１つ以上を用いて判断基準とする。
【００４９】
１. 候補領域組の縦方向の動きの大きさが消失点に近つくに従って単調に減少していない。
【００５０】
２. 候補領域組の縦方向の動きが同じ方向ではない。
【００５１】
３. 候補領域組の上下の位置関係が追跡の前後で変化(逆転)している。
【００５２】
４. 候補領域組の水平方向の速度が大きく異なる。
【００５３】
判断基準を満たす場合、この候補領域組については属する平面を決定する平面仮定評価ブロック３３の処理を行わない。または、判断基準を満たす候補領域組に属する候補領域の中から、動きの等速性等の基準を用いて削除する候補領域を決定し、１つ以上の１つ候補を削除してもよい。
【００５４】
平面仮定評価ブロック３３では、候補領域組の動きが路面と垂直面のどちらに適合するかを決定する。候補領域の動きの垂直面に関する拘束(式(１))に対する適合度と、路面に関する拘束(式(２))に対する適合度を計算し、適合度が高い方の平面を選択することによって適合する平面を決定する。
【００５５】
【数２】
適合度Ｓｖ、Ｓｈは小さいほど各平面に関する拘束に適合しているので、Ｓ＝Ｓｈ−Ｓｖまたは、Ｓを時間的に蓄積した値が、ある正の閾値を上回ったとき垂直面に属すると判断し、負の閾値を下回ったとき路面に属すると判断する。
【００５７】
【数３】
適合度の計算の方法は、拘束式(１)、(２)の選択の仕方によって上記以外の式も選択可能である。また、一組の候補領域に属する候補領域の数も３に限定されるものではなく、それ以上の数であっても同様の議論で容易に拡張可能である。
【００５９】
障害物検出部１４は、障害物判定ブロック４１、障害物位置検出ブロック４２、障害物位置推定ブロック４３からなる(図８参照)。
【００６０】
障害物判定ブロック４１では、候補領域組が属する平面に関する多数の判定結果を用いて、障害物(垂直面)が存在するかどうかを決定する。ある１つの候補領域Ａを選択し、Ａが属する候補領域組のうち、Ａが画面上で最も下の位置にある候補領域組がＮA組あったとする。ＮAの内、平面仮定評価部３３で垂直面であると判断された組の数をＮvとすると、Ｎv／ＮAがある閾値を超えたとき、障害物が存在すると判定する。
【００６１】
次に、障害物位置検出ブロック、障害物であると判定された候補領域の集合を画像上の障害物領域とする。また、障害物領域の最も下の位置を、路面と障害物の接地線として検出することもできる。さらに、ＴＶカメラの路面に対する取り付け位置や角度、ＴＶカメラの内部パラメータが既知であれば、画像内の接地線の位置を用いて自車両から障害物までの距離を計算することができる。
【００６２】
障害物位置推定ブロック、障害物がＴＶカメラに近づきすぎて、その接地線が画面外に出た場合や、なんらかの理由で接地線が検出できなかった場合、候補領域の追跡結果から現在の接地線の位置(障害物までの距離)を推定する(図９参照)。
【００６３】
過去のフレームにおいて、「接地線」として観測された位置のすぐ上にあった候補領域は、障害物(垂直平面)に属すると仮定できる。そこでこれらの候補領域の追跡結果から、時間的に連続する（時刻ｔ、時刻ｔ＋Δｔ）のフレーム間で、これら候補領域同士の縦方向の間隔（Ｄ１、Ｄ２、Ｄ１’、Ｄ２’）の拡大率(縮小率)：ｍ＝Ｄ１’／Ｄ１を計算し、式(４)と同様にして現在のフレームで観測できなかった接地線（予測接地線位置）を推定する。
【００６４】
なお本発明の実施の形態においては、車両の前方（進行方向）に向かって撮影した画像を用いて、車両の前方に存在する障害物（先行車両など）を検出する技術について説明したが、本発明はこの実施の形態に限られない。
【００６５】
例えば車両の後方（車両進行方向と逆向き）に向かって撮影した画像を用いた場合でも、同様の手法を用いて、車両の後方に存在する立体物（後行車両など）を障害物として検出することも可能である。この場合には、先行車両から見た後行車両の追突防止のための後行車両検出に利用することができる。また、車両の後側方を撮影した画像を用いて、自車両を追い抜いたり追い越したりする車両をや、自車両が追い抜いたり追い越したりした車両を検出することもできる。
【００６６】
【発明の効果】
本発明によれば、１台のＴＶカメラを用いて、路面と障害物の運動視差の分布の違いに基づいて高速かつ安定に障害物を検出することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図。
【図２】 図１の候補領域追跡部の一実施形態を示すブロック図。
【図３】 水平線検出方法の説明図。
【図４】 障害物候補領域の設定方法の説明図。
【図５】 障害物候補領域の追跡処理における、候補領域の探索範囲の設定方法の説明図。
【図６】 図１の平面仮定検証部の一実施形態の構成を示すブロック図。
【図７】 候補領域が路面とＴＶカメラの光軸に垂直な平面に属する場合の拘束条件の説明図。
【図８】 図１の障害物検出部の一実施形態を示すブロック図。
【図９】 接地線の推定手法の説明図。
【符号の説明】
１０ 画像入力部
１１ 障害物候補領域追跡部
１２ 候補領域追跡部
１３ 平面仮定検証部
１４ 障害物検出部
１５ 出力部
Claims (6)
- 時系列画像を入力する画像入力手段と、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡手段と、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証手段と、前記平面仮定の検証結果を用いて障害物を検出する障害物検出手段とを具備した画像処理装置において、前記障害物候補領域追跡手段は、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出手段と、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成手段と、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定手段と、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索手段とを具備したことを特徴とする画像処理装置。
- 前記障害物候補領域追跡手段は、追跡された障害物候補領域の追跡軌跡が滑らかでない場合に、当該障害物候補領域を追跡対象から削除することを特徴とする請求項１記載の画像処理装置。
- 前記平面仮定検証手段は、３つ以上の候補領域を一組とする候補領域の組を選択する候補領域組選択手段と、当該候補領域組の動きについて、所定の平面への適合度を計算し、前記適合度からその平面に属するかを決定する平面仮定評価部を具備することを特徴とする請求項１記載の画像処理装置。
- 前記障害物検出手段は、前記平面仮定検証手段によって車両が走行している平面に属さないと判断された障害物候補領域の数が、所定の条件を満たしたときに障害物と判定する障害物判定手段を具備したことを特徴とする請求項１記載の画像処理装置。
- 過去に検出された前記障害物候補領域の動きから現在のフレームの障害物位置を推定する障害物位置推定手段を具備したことを特徴とする請求項１記載の画像処理装置。
- 時系列画像を入力する画像入力ステップと、入力された時系列画像の特定の領域内で障害物候補領域を設定し、その候補領域を画像内で追跡する障害物候補領域追跡ステップと、３つ以上の候補領域の追跡結果の組を用いて、それら候補領域が特定の平面に属しているかどうかを判定する平面仮定検証ステップと、前記平面仮定の検証結果を用いて障害物を検出する障害物検出ステップとを具備した画像処理方法において、前記障害物候補領域追跡ステップは、入力された時系列画像の特定の領域内で特定の方向の線分を検出する線分検出ステップと、検出された線分周辺に障害物候補領域を生成する障害物候補領域生成ステップと、画像フレーム毎に検出される特定の方向の線分位置の周辺を障害物候補領域の探索領域として設定する探索領域設定ステップと、前記探索領域内で、前記障害物候補領域の画像の特徴量と類似した特徴量を持つ領域を探索する障害物候補領域探索ステップとを含むことを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187091A JP3904988B2 (ja) | 2002-06-27 | 2002-06-27 | 画像処理装置およびその方法 |
| US10/607,045 US7612800B2 (en) | 2002-06-27 | 2003-06-27 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187091A JP3904988B2 (ja) | 2002-06-27 | 2002-06-27 | 画像処理装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032460A JP2004032460A (ja) | 2004-01-29 |
| JP3904988B2 true JP3904988B2 (ja) | 2007-04-11 |
Family
ID=31182232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002187091A Expired - Fee Related JP3904988B2 (ja) | 2002-06-27 | 2002-06-27 | 画像処理装置およびその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7612800B2 (ja) |
| JP (1) | JP3904988B2 (ja) |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| JP4176430B2 (ja) * | 2002-09-18 | 2008-11-05 | 富士重工業株式会社 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| JP3977802B2 (ja) * | 2003-12-16 | 2007-09-19 | 株式会社東芝 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| JP4703136B2 (ja) * | 2004-06-02 | 2011-06-15 | トヨタ自動車株式会社 | 線図形化処理装置 |
| JP3931891B2 (ja) * | 2004-07-05 | 2007-06-20 | 日産自動車株式会社 | 車載用画像処理装置 |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
| JP4358147B2 (ja) * | 2005-04-28 | 2009-11-04 | 本田技研工業株式会社 | 車両及びレーンマーク認識装置 |
| JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
| JP2007006165A (ja) * | 2005-06-24 | 2007-01-11 | Fujifilm Holdings Corp | 撮像装置、撮像方法、及び撮像プログラム |
| JP2007018340A (ja) * | 2005-07-08 | 2007-01-25 | Victor Co Of Japan Ltd | 障害物検出装置 |
| US7804980B2 (en) * | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
| JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
| CN101029823B (zh) * | 2006-02-28 | 2010-09-15 | 东软集团股份有限公司 | 基于车辆状态分类的车辆跟踪方法和装置 |
| KR101195942B1 (ko) * | 2006-03-20 | 2012-10-29 | 삼성전자주식회사 | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| JP2009042181A (ja) * | 2007-08-10 | 2009-02-26 | Denso Corp | 推定装置 |
| WO2009052578A1 (en) * | 2007-10-24 | 2009-04-30 | Sensen Networks Pty Ltd | Verification of identification of an image characteristic over multiple images |
| JP2009129165A (ja) * | 2007-11-22 | 2009-06-11 | Toshiba Corp | 画像処理装置及びその方法 |
| US8264542B2 (en) * | 2007-12-31 | 2012-09-11 | Industrial Technology Research Institute | Methods and systems for image processing in a multiview video system |
| US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| GB2462071A (en) * | 2008-07-18 | 2010-01-27 | Innovative Vehicle Systems Ltd | Method for determining the separation distance between automotive vehicles |
| JP5430213B2 (ja) * | 2009-04-24 | 2014-02-26 | 本田技研工業株式会社 | 車両周辺監視装置 |
| EP2246806B1 (en) * | 2009-04-29 | 2014-04-02 | Autoliv Development AB | Vision method and system for automatically detecting objects in front of a motor vehicle |
| JP4858574B2 (ja) * | 2009-05-19 | 2012-01-18 | トヨタ自動車株式会社 | 物体検出装置 |
| EP2254091B1 (en) * | 2009-05-19 | 2020-03-25 | Veoneer Sweden AB | Vision system and method for a motor vehicle |
| FR2947937B1 (fr) * | 2009-07-08 | 2012-03-02 | Valeo Vision Sas | Procede de determination d'une region d'interet dans une image |
| FR2947935B1 (fr) * | 2009-07-08 | 2012-03-02 | Valeo Vision Sas | Procede de definition d'une fenetre de recherche |
| US8885049B2 (en) * | 2010-03-19 | 2014-11-11 | Sony Corporation | Method and device for determining calibration parameters of a camera |
| JP5108057B2 (ja) * | 2010-05-21 | 2012-12-26 | 矢崎総業株式会社 | 車両用表示装置 |
| TWI417207B (zh) * | 2010-12-28 | 2013-12-01 | Automotive Res & Testing Ct | Image - based obstacle detection reversing warning system and method |
| JP5830876B2 (ja) * | 2011-02-18 | 2015-12-09 | 富士通株式会社 | 距離算出プログラム、距離算出方法及び距離算出装置 |
| JP5741195B2 (ja) * | 2011-05-09 | 2015-07-01 | スズキ株式会社 | 車両周辺監視装置 |
| JP5240328B2 (ja) * | 2011-08-08 | 2013-07-17 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| US9734429B2 (en) * | 2011-10-24 | 2017-08-15 | Texas Instruments Incorporated | Method, system and computer program product for detecting an obstacle with a camera |
| JP5916199B2 (ja) * | 2011-12-22 | 2016-05-11 | シャープ株式会社 | 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム |
| JP5459324B2 (ja) * | 2012-01-17 | 2014-04-02 | 株式会社デンソー | 車両周辺監視装置 |
| JP2014115978A (ja) | 2012-11-19 | 2014-06-26 | Ricoh Co Ltd | 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体 |
| WO2014169238A1 (en) | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
| US9489765B2 (en) * | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
| JP6543050B2 (ja) * | 2015-03-06 | 2019-07-10 | 株式会社デンソーテン | 障害物検出装置および障害物検出方法 |
| JP6350374B2 (ja) * | 2015-04-17 | 2018-07-04 | トヨタ自動車株式会社 | 路面検出装置 |
| WO2017012743A1 (de) * | 2015-07-17 | 2017-01-26 | Robert Bosch Gmbh | Verfahren zur plausibilisierung einer ansteuerentscheidung für sicherheitsmittel |
| KR102535617B1 (ko) * | 2016-01-04 | 2023-05-24 | 한국전자통신연구원 | 깊이 영상에서의 객체 검출 시스템 및 방법 |
| CN105740802A (zh) * | 2016-01-28 | 2016-07-06 | 北京中科慧眼科技有限公司 | 基于视差图的障碍物检测方法和装置及汽车驾驶辅助*** |
| TWI605963B (zh) * | 2017-01-23 | 2017-11-21 | 威盛電子股份有限公司 | 行車輔助方法及裝置 |
| IT201600094858A1 (it) * | 2016-09-21 | 2018-03-21 | St Microelectronics Srl | Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4970653A (en) * | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JPH0554276A (ja) * | 1991-08-23 | 1993-03-05 | Matsushita Electric Ind Co Ltd | 障害物検出装置 |
| US5461357A (en) * | 1992-01-29 | 1995-10-24 | Mazda Motor Corporation | Obstacle detection device for vehicle |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JP3169483B2 (ja) | 1993-06-25 | 2001-05-28 | 富士通株式会社 | 道路環境認識装置 |
| JP3226415B2 (ja) | 1994-04-13 | 2001-11-05 | 三菱電機株式会社 | 自動車用移動体認識装置 |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
| US6185314B1 (en) * | 1997-06-19 | 2001-02-06 | Ncr Corporation | System and method for matching image information to object model information |
| US6205242B1 (en) * | 1997-09-29 | 2001-03-20 | Kabushiki Kaisha Toshiba | Image monitor apparatus and a method |
| JP4157620B2 (ja) * | 1998-06-19 | 2008-10-01 | 株式会社東芝 | 移動物体検出装置及びその方法 |
| JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
| JP3714116B2 (ja) * | 1999-08-09 | 2005-11-09 | トヨタ自動車株式会社 | 操縦安定性制御装置 |
| US6993159B1 (en) * | 1999-09-20 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Driving support system |
| US6901110B1 (en) * | 2000-03-10 | 2005-05-31 | Obvious Technology | Systems and methods for tracking objects in video sequences |
| EP1150252B1 (en) * | 2000-04-28 | 2018-08-15 | Panasonic Intellectual Property Management Co., Ltd. | Synthesis of image from a plurality of camera views |
| US20020134151A1 (en) * | 2001-02-05 | 2002-09-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for measuring distances |
| US7409092B2 (en) * | 2002-06-20 | 2008-08-05 | Hrl Laboratories, Llc | Method and apparatus for the surveillance of objects in images |
-
2002
- 2002-06-27 JP JP2002187091A patent/JP3904988B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-27 US US10/607,045 patent/US7612800B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20040057599A1 (en) | 2004-03-25 |
| US7612800B2 (en) | 2009-11-03 |
| JP2004032460A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904988B2 (ja) | 画像処理装置およびその方法 | |
| US11348266B2 (en) | Estimating distance to an object using a sequence of images recorded by a monocular camera | |
| JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| JP3671825B2 (ja) | 車間距離推定装置 | |
| EP2605185B1 (en) | Detection of obstacles at night by analysis of shadows | |
| US20190188498A1 (en) | Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking | |
| JP4246766B2 (ja) | 車両から対象物を位置測定して追跡する方法および装置 | |
| JP3977802B2 (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
| US8406472B2 (en) | Method and system for processing image data | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2008123462A (ja) | 物体検知装置 | |
| US8160300B2 (en) | Pedestrian detecting apparatus | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| JP2006140636A (ja) | 障害物検出装置および方法 | |
| JP2004280194A (ja) | 前方監視装置及びその方法 | |
| JP2007199932A (ja) | 画像処理装置及びその方法 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP4575315B2 (ja) | 物体検出装置及びその方法 | |
| JP3742759B2 (ja) | 画像処理装置及びその方法 | |
| JP4015036B2 (ja) | 障害物検出装置および障害物検出方法 | |
| WO2020036039A1 (ja) | ステレオカメラ装置 | |
| WO2021250934A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070110 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3904988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |