JP4887520B2 - 物体検出装置、物体検出方法及び物体検出プログラム - Google Patents

物体検出装置、物体検出方法及び物体検出プログラム Download PDF

Info

Publication number
JP4887520B2
JP4887520B2 JP2008043340A JP2008043340A JP4887520B2 JP 4887520 B2 JP4887520 B2 JP 4887520B2 JP 2008043340 A JP2008043340 A JP 2008043340A JP 2008043340 A JP2008043340 A JP 2008043340A JP 4887520 B2 JP4887520 B2 JP 4887520B2
Authority
JP
Japan
Prior art keywords
image
feature
feature point
correspondence
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008043340A
Other languages
English (en)
Other versions
JP2008282386A (ja
Inventor
守道 西垣
アリモノス ヤニス
ドンキ ジャスティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2008282386A publication Critical patent/JP2008282386A/ja
Application granted granted Critical
Publication of JP4887520B2 publication Critical patent/JP4887520B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両に搭載されたカメラを介して取得した画像から、車両の周辺に存在する移動物体を検出する物体検出装置、物体検出方法及び当該装置の処理をコンピュータに実行させるための物体検出プログラムに関する。
近年、車両の周辺の状況を監視して接近する物体を検出し、検出した結果に基づいて運転者への情報提示や車両の走行制御等を行う技術が提案されている。このとき、物体を検出する手法として、車両にカメラを搭載して周辺を撮像し、撮像された画像を処理して移動物体を検出する技術が知られている。この手法の一つとして、単一のカメラを介して取得された画像の時系列から算出されるオプティカルフローを用いる手法が挙げられる。なお、オプティカルフローは、異なる時刻に取得された複数の画像から検出される、画像上における見かけの動きを示すベクトルである。このとき、車両に搭載されているカメラの場合、カメラ自体が移動するため、この移動により画像上における見かけの動きが生じる。このため、オプティカルフローを用いて移動物体を検出する際に、カメラ自体の移動量を推定してその影響を除去することにより、移動物体を適切に検出する技術が提案されている(例えば、特許文献1を参照)。
特許文献1の車両用監視装置は、カメラによって撮影された画像からオプティカルフローを求めるオプティカルフロー検出部と、カメラ画像のフロー(カメラ自体の移動により生じるフロー)である背景フローを求める背景フロー推定部と、オプティカルフローと背景フローとを比較して、車両の周囲にある物体の動きを検出する接近物検出部とを備えている。背景フロー推定部は、自車動き推定部によって推定された車両の動きと、空間モデル推定部によって推定された空間モデル(カメラが撮影している空間のモデル)とを基にして背景フローを求める。
特開2004−56763号公報
しかしながら、特許文献1の装置では、自車動き推定部は、車輪速と舵角等に基づいて自車の動きを推定し、この自車の動きから背景フローを求める。この場合、車輪速と舵角等を検出するセンサの精度や、カメラの回転中心と車両の回転中心との相違の影響により、高速走行時やカーブ走行時には背景フローの推定精度が低下してしまう。また、特許文献1の装置では、背景フローを求めるために、前方道路に存在する物体の距離を計測したり、GPS等から道路情報を取得したり、空間についての予備知識や路面、壁等のモデル等を用いて、空間モデル推定部により空間モデルを推定する必要がある。このため、処理が複雑となると共に、背景フローが精度良く推定されない場合がある。そして、特許文献1の装置では、オプティカルフローと背景フローとを比較することにより物体の動きを検出するため、背景フローが誤推定されると大きな誤差が生じて移動物体が適切に検出できない恐れがある。
本発明は、上記事情に鑑み、車両に搭載されたカメラを介して取得される画像から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動体を精度良く検出することができる物体検出装置、方法及び当該装置の処理をコンピュータに実行させる物体検出プログラムを提供することを目的とする。
かかる目的を達成するために、本発明の物体検出装置は、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出装置において、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部と、互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出部により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出部により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部と、前記対応度算出部により前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定部と、
前記運動推定部により推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出部とを備えることを特徴とする(第1発明)。
第1発明の物体検出装置において、特徴点抽出部により、画像上で例えば形状や色等が特徴的な領域である特徴領域に含まれる特徴点が抽出され、対応度算出部により、特徴点の1対多数の対応関係が対応度として算出される。そして、この対応度に基づいて移動物体が検出されるので、画像間の1対1の対応関係や空間モデルからカメラの運動を明示的に求めて移動物体を検出する場合に比べて、画像のみから移動物体が検出でき処理が簡易であり、また、カメラの運動を算出する際に生じる誤差が検出結果に与える影響が排除される。なお、移動物体は、移動中の歩行者や他車両等の、対地速度を有する物体である。よって、第1発明によれば、車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
さらに、車両の運動等に起因するカメラの運動は、取得される画像の時系列において、画像上の見かけの動きとして現れる。よって、異なる時刻に撮像された画像間の対応関係に基づいて、カメラの運動を推定することが可能である。このとき、本発明によれば、互いに異なる時刻に撮像された2つの画像における各特徴点の1対多数の対応度に基づいて、カメラの運動状態を示すパラメータが推定される。ここで、運動状態を示すパラメータは、カメラの運動を明示的に求めた値ではなく、カメラの並進運動や回転運動が混合された状態で含まれている値である。
これにより、1対1の対応関係に基づいて車両の運動を推定する場合や、カメラの運動を明示的に求める場合よりも、カメラの運動の推定結果の誤差が低減され、カメラの運動の推定や移動物体の検出が安定に行われる。また、車両の運動を検出するセンサや空間モデルを用いることなく、画像のみからカメラの運動を推定することができる。よって、第2発明によれば、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
また、第1発明の物体検出装置において、前記運動推定部は、前記複数の画像間特徴点組のうち、エピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度に基づいて、前記カメラの運動状態を示すパラメータを推定することが好ましい(第2発明)。このエピポーラ拘束条件は、画像間特徴点組を構成する特徴点が背景(移動物体以外の領域)である場合に満たすべき条件である。よって、このエピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度を用いることで、背景に含まれる特徴点であることを仮定してカメラの運動により生じる画像の変化を評価し、カメラの運動状態を示すパラメータを適切に推定することができる。
また、第1又は第2発明の物体検出装置において、前記特徴点抽出部は、方位及びスケールの異なる複数のガボールフィルタを用いて前記特徴点を抽出し、前記対応度算出部は、前記特徴点抽出部により抽出された特徴点に、前記複数のガボールフィルタを用いてフィルタ処理を施して得られた特徴量を用いて前記対応度を算出することが好ましい(第3発明)。この場合、方位及びスケールの異なる複数のガボールフィルタにより、画像上における物体の回転や大きさ等の影響を低減して、特徴点が適切に抽出される。そして、各画像の特徴点に各ガボールフィルタを用いてフィルタ処理を施して得られた特徴量(例えば、出力の位相成分等)を用いて対応度を算出するものであるから、特徴点間の対応関係が適切に算出される。
または、第1又は第2発明の物体検出装置において、カメラを介して取得される画像がカラー画像の場合に、本発明の物体検出装置において、前記特徴点抽出部は、画像上の色の変化を用いて前記特徴点を抽出し、前記対応度算出部は、前記特徴点抽出部により抽出された特徴点の色に関する特徴量を用いて前記対応度を算出することが好ましい(第4発明)。この場合、画像上で、一般に、歩行者等に相当する特徴点は路面等の背景に対比して色が相違するので、色の変化を用いることにより特徴点を適切に抽出することができる。そして、各画像の特徴点の色に関する特徴量を用いて対応度を算出するものであるから、特徴点間の対応関係が適切に算出される。
次に、本発明の物体検出方法は、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出方法であって、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出ステップと、互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出ステップにより抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出ステップにより抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出ステップと、前記対応度算出ステップで前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定ステップと、前記運動推定ステップで推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出ステップとを備えたことを特徴とする。
この物体検出方法によれば、第1発明の前記物体検出装置に関して説明したように、対応度に基づいて移動物体が検出されるので、画像間の1対1の対応関係や空間モデルからカメラの運動を明示的に求めて移動物体を検出する場合に比べて、画像のみから移動物体が検出でき処理が簡易であり、また、カメラの運動を求める際の誤差が検出結果に与える影響が排除される。よって、本発明によれば、車両に搭載されたカメラを介して取得される画像の時系列から、カメラの運動の影響を簡易な処理で適切に除去して、車両周辺の移動物体を精度良く検出することができる。
次に、本発明の物体検出プログラムは、車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する処理を、コンピュータに実行させる物体検出プログラムであって、前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出処理と、互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出処理により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出処理により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出処理と、前記対応度算出処理により前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定処理と、前記運動推定処理により推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出処理とを前記コンピュータに実行させる機能を有することを特徴とする。
この物体検出プログラムによれば、第1発明の物体検出装置に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
本発明の一実施形態を、図1〜図4を参照して説明する。図1は、本発明の第1実施形態による物体検出装置の機能ブロック図、図2は、図1の物体検出装置の画像処理ユニットにおける物体検出処理を示すフローチャート、図3は、図2の物体検出処理における取得画像例及びカメラの運動状態を示すパラメータを推定する処理の説明図、図4は、図2の物体検出処理における移動物体の検出結果を示す画像例である。
図1に示すように、本発明の実施形態である物体検出装置1は車両2に搭載され、物体検出装置1は、車両2のフロント部分に取り付けられて車両2の前方の画像を撮像するカメラ3(CCDカメラ等)に接続されている。そして、物体検出装置1は、カメラ3を介して取得された画像から、車両2の前方に存在する歩行者等の移動物体を検出する処理を実行する。
物体検出装置1は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するA/D変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス(読み出し及び書き込み)するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ(CPU,メモリ,入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ)等で構成される電子ユニットからなる。カメラ3の出力信号は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
また、物体検出装置1は、その機能として、カメラ3を介して画像を取得する画像取得部4と、画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部5と、互いに異なる時刻に撮像された2つの画像間の対応度を算出する対応度算出部6と、対応度に基づいてカメラ3の運動状態を示すパラメータを推定する運動推定部7と、対応度に基づいて移動物体を検出する検出部8とを備えている。
物体検出装置1の機能は、物体検出装置1のメモリに予め実装されたプログラムを物体検出装置1により実行することにより実現される。このプログラムは、本発明の物体検出プログラムを含んでいる。なお、当該プログラムはCD−ROM等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両2に搭載された通信機器により受信された上でメモリに格納されてもよい。
画像取得部4は、カメラ3を介して、画素データにより構成される画像(車両2の前方の画像)を取得する。カメラ3の出力(本実施形態では、カラー画像の映像信号)は、所定の処理周期で画像取得部4に取り込まれる。画像取得部4は、入力されたカメラ3の撮像画像の各画素の映像信号(アナログ信号)をA/D変換し、該A/D変換により得られたデジタルデータを図示しない画像メモリに記憶する。
特徴点抽出部5は、画像取得部4により取得された画像に、所定の向きとスケールとを有する複数のガボールフィルタを用いてフィルタ処理を施して特徴領域に含まれる特徴点を抽出する。ここで、特徴領域は、画像上で形状や色等が特徴的な領域である。例えば、路面や空のような比較的一様な領域に対比して形状や色等が特徴的な、歩行者や他車両等の移動物体や、道路周辺の樹木や塀や建物等の静止物体等の物体に対応する画像上の領域が特徴領域に該当する。また、ガボールフィルタは、出力が複素数となるバンドパスフィルタである。
対応度算出部6は、互いに異なる時刻に取得された2つの画像のうちの一方の画像から特徴点抽出部5により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から特徴点抽出部5により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴量組に対し、その各画像間特徴点組を構成する特徴点同士の対応度を算出する。このとき、対応度算出部6は、所定の向きとスケールとを有する複数のガボールフィルタを用いてフィルタ処理を施して得られた出力を特徴量として対応度を算出する。
運動推定部7は、対応度算出部6により算出された対応度に基づいて、車両2の運動等に起因するカメラ3の運動状態を示すパラメータを推定する。本実施形態では、運動状態を示すパラメータは、カメラの並進運動と回転運動とが混合されて含まれている3×3行列である。
検出部8は、対応度算出部6により算出された対応度に基づいて移動物体を検出する。具体的には、検出部8は、運動推定部7により推定された運動状態を示すパラメータと、複数の画像間特徴点組に含まれる一方の画像の各特徴点に対して対応度が最も高い画像間特徴点組の有する特徴量とに基づいて、移動物体を検出する。
次に、本実施形態の物体検出装置の作動(物体検出処理)を、図2に示したフローチャートに従って説明する。まず、STEP1で、物体検出装置1は、カメラ3の出力信号であるカラー画像を取得して、A/D変換し、画像メモリに格納する。
ここで、図3に、カメラ3を介して取得される画像の時系列I,It+Δtを例示する。画像Iは時刻tに撮像された画像であり、画像It+Δtは時刻t+Δtに撮像された画像である。画像I,It+Δtにおいて、車両2の前方には、移動物体である歩行者T1〜T3と、静止物体である樹木、建物、停止車両が存在する。なお、歩行者T1〜T3が物体検出装置2の検出対象である。以下では、図3に示す場合を例にして説明する。
次に、STEP2で、特徴点抽出部5は、方位及びスケールの異なる複数のガボールフィルタを用いて、それぞれのガボールフィルタ毎に、画像I,It+Δtにそれぞれフィルタ処理を施す。
次に、STEP3で、特徴点抽出部5は、フィルタ処理後のデータが所定の条件を満たす画素を特徴点として抽出する。具体的には、特徴点抽出部5は、例えば、各ガボールフィルタを用いてフィルタ処理を施して得られた出力を要素とするベクトル(ガボールフィルタの個数分の要素を持つベクトル)を求める。そして、特徴点抽出部5は、求められたベクトルの絶対値が所定値以上となるような画素を特徴点とする。
次に、STEP4で、対応度算出部6は、互いに異なる時刻に撮像された2つの画像I,It+Δt間の対応度を算出する。具体的には、対応度算出部6は、2つの画像の特徴領域に含まれる各特徴点について、各ガボールフィルタを用いてフィルタ処理を施して得られた出力の位相成分を要素とするベクトルを求める。そして、求められた2つのベクトルの相関値を当該特徴点の対応度Pとして算出する。
例えば、図3に、画像I上の特徴点Rと、画像It+Δt上の特徴点A,B,C,Dとを代表的に示す。この場合、対応度算出部6は、対応度Pを算出する処理において、画像I上の特徴点Rと、画像It+Δt上の特徴点A,B,C,Dとの画像間特徴点組に対し、この各画像間特徴点組を構成する特徴点同士の対応度Pを算出する。例えば、点Rと点Aとの対応度P(R,A)=1、点Rと点Bとの対応度P(R,B)=0.5、点Rと点Cとの対応度P(R,C)=0と算出される。対応度算出部6は、この処理を画像I上の全ての特徴点について行う。なお、対応度算出部6は、例えば計算量等を考慮して、特徴点抽出部5により抽出された特徴点のうちの所定数の特徴点を選択し、この選択された特徴点のみを用いて対応度を算出するようにしてもよい。
次に、STEP5で、運動推定部7は、STEP4で算出された対応度を用いて、カメラ3の運動状態を示すパラメータを算出する。具体的には、運動推定部7は、次式(1)の値を最大にする3×3行列Eを算出する。なお、Eはカメラの並進運動と回転運動とが混合された形で含まれる行列である。
上式(1)で、pは時刻tにおける画像I上の第i番の特徴点、qは時刻t+Δtにおける画像It+Δt上の第j番の特徴点、Aはカメラの焦点距離や画素ピッチや主点が混合された形で含まれる3×3行列、kは0以上の所定の閾値、P(p,q)はpとqの対応度を表す。式(1)は、画像I上の各特徴点pに対して、次式(2)の条件を満たす最大のP(p,q)を、全ての特徴点pに対して加え合わせることを意味する。
この式(1)を最大にするEが最も画像の変化と良く適合すると言える。すなわち、まず、所定のEが与えられていると仮定する。すると、所定のpに対して、qのうち次式(2)
で示される条件を満たすqだけが式(1)でmaxをとる対象(式(1)の演算対象)になる。Eが与えられた場合、pが背景(移動物体以外の領域)に含まれる特徴点と仮定すると、時刻tにおける画像のpが時刻t+Δtの時に画像上のどの位置に写るかには制限が生じる。式(2)の条件はその制限であるエピポーラ拘束条件を表す。なお、kは理想的には0であるが、実際には誤差等の影響があるため、この誤差等を考慮した所定値をとるものとしている。対象となっているqのうちで最大の対応度であるものを選び加え合わせることを全てのpについて行うと、仮定したEが、実際の画像の変化と適合する程度が数値(適合度)で表される。この適合度を最大にするEを求めることで、非明示的にカメラの運動が推定される。なお、適合度を最大にするEは、例えば、一般的な最適化処理により探索的に求めることができる。
次に、STEP6で、検出部8は、画像Iの全ての特徴点について、対応度算出部6により算出された対応度が最も高い画像間特徴点組を求める。
次に、STEP7で、STEP6で求められた画像間特徴点組の有する特徴量と、STEP5で推定された運動状態を示すパラメータEとを用いて、次式(3)に示す値Xを算出する。
すなわち、背景については式(2)が成り立つので、成り立たなければ背景でない(移動物体である)となる。よって、検出部8は、値Xが所定の閾値m(m>k)以上の点を移動物体に属すると判定する。これにより、図4に白色領域(点描を付した領域以外の領域)で例示するように、移動物体に属する点が抽出される。
次に、STEP8で、検出部8は、STEP7で移動物体に属すると判定された点について、クラスタリング等の処理を行ってノイズを除去して、移動物体を検出する。これにより、図4に例示するように、移動物体T1〜T3が検出される。
以上の処理により、カメラ3を介して取得される画像の時系列I,It+Δtから、移動物体T1〜T3を精度良く検出することができる。
なお、本実施形態では、特徴点抽出部5は、ガボールフィルタを用いて特徴点を抽出し、対応度算出部6は、抽出された特徴点にガボールフィルタを施して得られた特徴量を用いて対応度を算出したが、他の実施形態として、特徴点抽出部5は、画像上の色の変化を用いて特徴点を抽出し、対応度算出部6は、抽出された特徴点の色に関する特徴量を用いて対応度を算出してもよい。
本発明の第1実施形態による物体検出装置の機能ブロック図。 図1の物体検出装置の画像処理ユニットにおける物体検出処理を示すフローチャート。 図2の物体検出処理における取得画像例及びカメラの運動状態を示すパラメータを推定する処理の説明図。 図2の物体検出処理における移動物体の検出結果を示す画像例。
符号の説明
1…物体検出装置、2…車両、3…カメラ(撮像手段)、4…画像取得部、5…特徴点抽出部、6…対応度算出部、7…運動推定部、8…検出部。

Claims (6)

  1. 車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出装置において、
    前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出部と、
    互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出部により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出部により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出部と、
    前記対応度算出部により前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定部と、
    前記運動推定部により推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出部とを備えることを特徴とする物体検出装置。
  2. 請求項記載の物体検出装置において、
    前記運動推定部は、前記複数の画像間特徴点組のうち、エピポーラ拘束条件を満たす画像間特徴点組を構成する特徴点同士の対応度に基づいて、前記カメラの運動状態を示すパラメータを推定することを特徴とする物体検出装置。
  3. 請求項1又は2記載の物体検出装置において、
    前記特徴点抽出部は、方位及びスケールの異なる複数のガボールフィルタを用いて前記特徴点を抽出し、
    前記対応度算出部は、前記特徴点抽出部により抽出された特徴点に、前記複数のガボールフィルタを用いてフィルタ処理を施して得られた特徴量を用いて前記対応度を算出することを特徴とする物体検出装置。
  4. 請求項1又は2記載の物体検出装置において、
    前記特徴点抽出部は、画像上の色の変化を用いて前記特徴点を抽出し、
    前記対応度算出部は、前記特徴点抽出部により抽出された特徴点の色に関する特徴量を用いて前記対応度を算出することを特徴とする物体検出装置。
  5. 車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する物体検出方法であって、
    前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出ステップと、
    互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出ステップにより抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出ステップにより抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出ステップと、
    前記対応度算出ステップで前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定ステップと、
    前記運動推定ステップで推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出ステップとを備えたことを特徴とする物体検出方法。
  6. 車両に搭載されたカメラを介して取得した画像の時系列から、該車両周辺の移動物体を検出する処理を、コンピュータに実行させる物体検出プログラムであって、
    前記画像の時系列の各画像の特徴領域に含まれる特徴点を抽出する特徴点抽出処理と、
    互いに異なる時刻に撮像された2つの画像のうちの一方の画像から前記特徴点抽出処理により抽出された特徴点のうちの1つ以上の特徴点のそれぞれと、他方の画像から該特徴点抽出処理により抽出された特徴点のうちの複数の特徴点のそれぞれとの組である複数の画像間特徴点組を求めるにあたって、一方の画像の1つの特徴点に対して他方の画像の複数の特徴点のそれぞれを組み合わせて画像間特徴点組を求め、その各画像間特徴点組を構成する特徴点同士の対応度を算出する対応度算出処理と、
    前記対応度算出処理により前記一方の画像の特徴点のそれぞれに応じて算出された対応度が最大となる画像間特徴点組のそれぞれを構成する特徴点同士の対応度を加算し、この加算値が最大となる前記カメラの運動状態を表わすパラメータを推定する運動推定処理と、
    前記運動推定処理により推定された運動状態を示すパラメータと、前記対応度が最大となる画像間特徴点組のそれぞれが有する特徴量とに基づいて、前記移動物体を検出する検出処理とを前記コンピュータに実行させる機能を有することを特徴とする物体検出プログラム。
JP2008043340A 2007-05-10 2008-02-25 物体検出装置、物体検出方法及び物体検出プログラム Expired - Fee Related JP4887520B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/801,576 2007-05-10
US11/801,576 US8300887B2 (en) 2007-05-10 2007-05-10 Object detection apparatus, object detection method and object detection program

Publications (2)

Publication Number Publication Date
JP2008282386A JP2008282386A (ja) 2008-11-20
JP4887520B2 true JP4887520B2 (ja) 2012-02-29

Family

ID=39969140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008043340A Expired - Fee Related JP4887520B2 (ja) 2007-05-10 2008-02-25 物体検出装置、物体検出方法及び物体検出プログラム

Country Status (2)

Country Link
US (1) US8300887B2 (ja)
JP (1) JP4887520B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5421072B2 (ja) * 2008-11-19 2014-02-19 クラリオン株式会社 接近物体検知システム
JP5365408B2 (ja) * 2009-08-19 2013-12-11 アイシン精機株式会社 移動体認識装置、移動体認識方法及びプログラム
EP2674914B1 (en) * 2012-06-11 2018-08-08 Volvo Car Corporation Method for determining a body parameter of a person
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
DE102014204914A1 (de) * 2014-03-17 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betätigen eines Schließelements für ein Fahrzeug
EP2998178B1 (en) 2014-09-17 2022-01-26 Volvo Car Corporation Vehicle control through machine learning
JP6493877B2 (ja) * 2015-08-25 2019-04-03 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
US10019637B2 (en) * 2015-11-13 2018-07-10 Honda Motor Co., Ltd. Method and system for moving object detection with single camera
DE112022002874T5 (de) 2021-09-02 2024-03-28 Hitachi Astemo, Ltd. Bildverarbeitungsvorrichtung

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2873338B2 (ja) * 1991-09-17 1999-03-24 富士通株式会社 動物体認識装置
US5414474A (en) * 1992-03-04 1995-05-09 Fujitsu Limited Moving body recognition apparatus
JPH0696210A (ja) * 1992-09-11 1994-04-08 Fuji Photo Film Co Ltd 画像の動き検出方法
US5751838A (en) * 1996-01-26 1998-05-12 Nec Research Institute, Inc. Correction of camera motion between two image frames
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JPH1091795A (ja) 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP4086422B2 (ja) * 1999-07-21 2008-05-14 日本放送協会 被写体認識装置
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
JP3776094B2 (ja) 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
EP1580687A4 (en) 2003-10-17 2006-01-11 Matsushita Electric Ind Co Ltd METHOD FOR DETERMINING MOBILE UNIT MOTION, DEVICE AND NAVIGATION SYSTEM
JP4345622B2 (ja) 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
EP1843294B1 (en) * 2005-01-14 2010-09-15 Morpho Inc. Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
JP2006202049A (ja) 2005-01-20 2006-08-03 Omron Corp 顔認識装置
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
JP4102386B2 (ja) 2005-05-31 2008-06-18 三菱電機株式会社 3次元情報復元装置
ITTO20060214A1 (it) * 2006-03-22 2007-09-23 Kria S R L Sistema di rilevamento di veicoli
US7684651B2 (en) * 2006-08-23 2010-03-23 Microsoft Corporation Image-based face search
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
US8300887B2 (en) 2012-10-30
JP2008282386A (ja) 2008-11-20
US20080278576A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
JP4887520B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN106096525B (zh) 一种复合型车道识别***及方法
EP2824425B1 (en) Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object
CN109977776B (zh) 一种车道线检测方法、装置及车载设备
WO2010047015A1 (ja) 車両周辺監視装置
JP4702569B2 (ja) 車両用画像処理装置
CN112798811B (zh) 速度测量方法、装置和设备
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
US20130188837A1 (en) Positioning system
JP2011180982A (ja) 区画線検出装置
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
WO2008009966A2 (en) Determining the location of a vehicle on a map
JP2009198445A (ja) 対象物検出装置及び方法
CN113223064B (zh) 一种视觉惯性里程计尺度的估计方法和装置
JP5107154B2 (ja) 運動推定装置
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
JP2018073275A (ja) 画像認識装置
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
CN115841660A (zh) 距离预测方法、装置、设备、存储介质及车辆
JP2018120303A (ja) 物体検出装置
JP5903901B2 (ja) 車両位置算出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees