JP2016505181A

JP2016505181A - 移動物体を検出するための方法及びシステム

Info

Publication number: JP2016505181A
Application number: JP2015555524A
Authority: JP
Inventors: ユンゾウ，; チュヤンホン，; ヤンクンザン，; ノーマンウェイリッチ，
Original assignee: ハーマンインターナショナルインダストリーズインコーポレイテッド
Priority date: 2013-02-04
Filing date: 2013-02-04
Publication date: 2016-02-18
Anticipated expiration: 2033-02-04
Also published as: EP2951783A1; CN104969261A; US9852341B2; WO2014117403A1; EP2951783B1; US20150379354A1; JP6139706B2; EP2951783A4; CN104969261B

Abstract

移動物体検出方法が開示される。本方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。移動物体検出システムもまた提供される。【選択図】図１

Description

本出願は、概して、移動物体検出方法及び移動物体検出システムに関する。

今日では、歩行者及び車両等の移動物体を検出するための多くの画像に基づく検出方法があり、これらの方法を用いて、車両周辺の移動物体を検出し、運転者に検出された移動物体に気づかせ、このようにして交通事故の可能性を減少させることができる。しかしながら、従来の検出方法は、誤検知を低減するために反復アルゴリズムを用い、この演算は複雑である。したがって、より効率的な移動物体検出方法及びシステムが必要とされる。

一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

いくつかの実施形態では、２つの特徴点の間の相関は、等式（１）：
に従って計算され得、式中、Ｃ_１２は、２つの特徴点Ｐ_１及びＰ_２の間の相関を表し、
ｄｓ_１２は、２つの特徴点の間の距離を表し、
ｄｖ_１２は、２つの特徴点の間の移動差分を表し、
σ_ｄｉｓ及びσ_ｖは、それぞれ、距離及び移動の統計的分散を表す。

いくつかの実施形態では、ｄｓ_１２がσ_ｄｉｓよりも大きい場合、または、ｄｖ_１２がσ_ｖの２倍よりも大きい場合、相関Ｃ_１２はゼロに設定され得る。このようにして、「緩慢な」関係を有する特徴点のための相関計算は回避され、それによって演算の負荷及び複雑さを軽減し得る。

いつくかの実施形態では、σ_ｄｉｓは
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。いくつかの実施形態では、σ_ｖは６〜１０の範囲内の値に設定され得る。

いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、本方法は、第１のグループ及び第２のグループが共通の特徴点を有する場合、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、によって、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類することをさらに含み得、２つのセグメントは、更新された第１のグループ及び第２のグループに基づいて特定され得る。

いくつかの実施形態では、第１の基準点はまた、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定することと、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算することと、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定することと、によって特定され得る。同方法を用いて、第２の基準点を特定することができる。

いくつかの実施形態では、特徴点の所定の割合は、第１グループ中の特徴点の半数であり得る。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。

いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、本方法は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、主要平面上の特徴点に基づいて、基本行列を計算することと、特徴点の更新された第１のグループ及び第２のグループの移動が基本行列に適合するかどうかを判定して、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別することと、をさらに含み得る。

一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ように構成された、処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

いくつかの実施形態では、移動物体検出システムは、映像フレームをキャプチャするためのカメラをさらに含み得る。

いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。

いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算し、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、特徴点の第３のグループのそれぞれの特徴点に対して、特徴点の第３のグループの他の特徴点とのその相関の和を計算し、第１のグループに対して、特徴点の第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、第２のグループのそれぞれの特徴点に対して、第２のグループの他の特徴との相関の和を計算し、第２のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第４のグループを取得し、特徴点の第４のグループのそれぞれの特徴点に対して、特徴点の第４のグループの他の特徴点との相関の和を計算し、第２のグループに対して、特徴点の第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類し、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。

いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、処理装置は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、主要平面上の特徴点に基づいて、基本行列を計算し、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別する、ようにさらに構成され得る。

本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成し、少なくとも１つの映像フレームの中で、検出された移動物体として、特徴点のグループに基づいたセグメントを特定する、ようにさらに構成された処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、共通の特徴点を有しない特徴点の更新された第１のグループ及び第２のグループを取得し、少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の更新された第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得る。

本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。

本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループ及び第２のグループとのその相関に基づいて、共通の特徴点を第１のグループ及び第２のグループに分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の更新された第１のグループ及び第２のグループによって画定された２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得る。

従来の方法と比較して、本出願の方法は、より低い演算複雑性を有し、このようにして、移動物体検出の効率が改善される。

本開示の上記及び他の特徴は、添付の図面と併せて以下の説明及び添付の特許請求の範囲からより完全に明らかになるであろう。これらの図面が、本開示に従ったいくつかの実施形態のみを描写し、したがって、その範囲を限定するものと見なされるべきではないことを理解して、本開示は、添付の図面の使用を通じてさらに具体的かつ詳細に説明される。

本出願の一実施形態による移動物体検出方法の概略フローチャートを図解する。本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。共通の特徴点を有する特徴点の２つのグループの例を図解する。図４に図解されるようなグループの基準点との特徴点の相関を示す表１を図解する。共通の特徴点を有しない２つの更新されたグループの例を図解する。

以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。文脈が別様に指示しない限り、図面において、同様の符号は、典型的には、同様の構成要素を特定する。詳細な説明、図面、及び特許請求の範囲に記載の例示的な実施形態は限定を意図するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。また、本開示の態様は、概して、本明細書に記載され、図に図解されるように、多種多様な異なる構成において、配列され、置換され、組み合わされ、設計され得、それらの構成のすべてが明示的に企図され、本開示の部分をなすことが、容易に理解されるであろう。

図１を参照して、本出願の一実施形態による移動物体検出方法Ｓ１０の概略フローチャートを図解する。

Ｓ１１では、複数の映像フレームを取得する。いくつかの実施形態では、本方法を用いて、車両周辺の移動物体を検出するとき、車両上に搭載された単眼カメラを用いて、移動物体の検出のために映像フレームをキャプチャし得る。いくつかの実施形態では、複数の映像フレームは、等間隔の時間点でキャプチャされ得る。いくつかの実施形態では、複数の映像フレームは、所定の時間間隔でキャプチャされ得る。

Ｓ１２では、複数の映像フレームに基づいて、複数の特徴点を特定する。いくつかの実施形態では、複数の特徴点は、特徴点の検出及び追跡方法を用いて特定され得る。

いくつかの実施形態では、Ｔｏｍａｓｉ及びＳｈｉによって提案された「追跡するために好適な特徴（ＧｏｏｄＦｅａｔｕｒｅｓｔｏＴｒａｃｋ）」方法を用いて、映像フレームから複数の特徴点を検出することができる。いくつかの実施形態では、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）追跡方法を用いて、複数の映像フレームから検出された特徴点を追跡することができる。上記特徴点検出及び追跡方法は、当業者に周知であり、本明細書に詳細に記載されていない。「追跡するために好適な特徴」方法及びＫＬＴ追跡方法の他に、他の特徴点検出及び追跡方法を用いてもよい。

Ｓ１３では、基本行列を計算する。

いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、静的特徴点のグループは、にＲＡＮＳＡＣ基ずいたホモグラフィーを用いて特定され得る。次いで、基本行列によって表される消失点によるカメラの移動は、静的特徴点のグループに基づいて計算され得る。基本行列の計算は、当業界で周知であるので、本明細書では詳細には説明しない。

Ｓ１４では、あらゆる２つの特徴点に対する相関を、それらの距離及び移動差分に基づいて、計算する。

いくつかの実施形態では、特徴点Ｐ_１（ｘ_１ｎ、ｙ_１ｎ）及びＰ_２（ｘ_２ｎ、ｙ_２ｎ）は、映像フレーム中で無作為に選択され得、式中、（ｘ_１ｎ、ｙ_１ｎ）はＰ_１の座標を表し、（ｘ_２ｎ、ｙ_２ｎ）はＰ_２の座標を表し、ｎは、対応する追跡映像フレームのフレームインデックスを表す。いくつかの実施形態では、２つの特徴点のＰ_１とＰ_２との間の相関Ｃ_１２は、等式（１）：

この場合、等式（１）に従って計算され得、式中、演算子「ｅｘｐ」は指数関数を表し、

ｄｓ_１２は、２つの特徴点Ｐ_１とＰ_２との間のユークリッド距離を表し、ｄｓ_１２＝（ｘ_１ｎ−ｘ_２ｎ）^２＋（ｙ_１ｎ−ｙ_２ｎ）^２によって与えられ得、

ｄｖ_１２は、２つの特徴点Ｐ_１とＰ_２の蓄積された運動ベクトルを表し、これは等式（２）：

によって与えられ得、式中、
は、Ｐ_１の運動ベクトルを表し、
はＰ_２の運動ベクトルを表し、
は、それぞれｊ＋１のフレームインデックスを有する映像フレーム中の、Ｐ_１及びＰ_２の座標であり、
は、それぞれフレームインデックスｊを有する映像フレーム中の、Ｐ_１及びＰ_２の座標であり、

σ_ｄｉｓ及びσ_ｖは、それぞれ、距離及び運動ベクトルの統計的分散を表す。

いくつかの実施形態では、ユークリッド距離以外の他に、ｄｓ_１２はまた、絶対距離（ＳＡＤ）の和または自乗距離（ＳＳＤ）の和であり得る。いくつかの実施形態では、ｄｖ_１２はまた、運動ベクトルのｌ２Ｎｏｒｍ距離または運動ベクトルの正規化内積であり得る。

Ｓ１５では、複数の特徴点から選択して、計算された相関に基づいて、特徴点の第１のグループ及び第２のグループを形成する。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点がゼロより大きい相関を有するように形成される。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点が所定の値より大きい相関を有するように形成され得る。

いくつかの実施形態では、２つの特徴点の間の距離が所定の第１の閾値よりも大きい場合、または、２つの特徴点の間の移動差分が所定の第２の閾値よりも大きい場合、２つの特徴点の相関はゼロに設定され得る。

いくつかの実施形態では、ｄｓ_１２がσ_ｄｉｓよりも大きい（ｄｓ_１２＞σ_ｄｉｓ）場合、相関Ｃ_１２はゼロに設定され得る。

σ_ｄｉｓがキャプチャされた映像フレームの解像度に基づいて設定され得ることに留意されたい。いくつかの実施形態では、σ_ｄｉｓが
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。σ_ｄｉｓの動的範囲は、キャプチャされた映像フレームの解像度に基づいて変更され得る。

いくつかの実施形態では、ｄｖ_１２がσ_ｖ（ｄｖ_１２＞２σ_ｖ）の２倍よりも大きい場合、相関Ｃ_１２はゼロに設定され得る。

いくつかの実施形態では、σ_ｖは、車両の速度に基づいて設定され得る。いくつかの実施形態では、車両が、例えば、２０ｋｍ／ｈ未満の低速で走行する場合、σ_ｖは６〜１０の範囲内の値に設定され得る。

これを行うことにより、２つの特徴点Ｐ_１及びＰ_２が「緩慢な関係」、例えば、ｄｓ_１２＞σ_ｄｉｓまたはｄｖ_１２＞２σ_ｖを有する場合、２つの特徴点Ｐ_１及びＰ_２の相関Ｃ_１２が計算され得、それによって、計算量は低減される。

いくつかの実施形態では、２つの異なるグループが共通の特徴点を有し得る。本出願の一実施形態は、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類すための方法をさらに提供し、それは、Ｓ１６〜Ｓ１８に図解される。

Ｓ１６では、特徴点の第１のグループの位置及び移動を実質的に表し得る特徴点の第１のグループから、第１の基準点を特定する。

いくつかの実施形態では、相関の最大の和を有する特徴点が基準点としての機能を果たす場合。その基準点は、その基準点が属するグループの位置及び移動を実質的に表し得る。いくつかの実施形態では、特徴点Ｐ_ｊがグループＧを実質的に表し得る場合、それは、等式（３）：
として表され得るエネルギー最大化を満たすべきであり、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数
がその最大値に達するための所与の引数の点の集合を表す。

図２は、本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法Ｓ１６の概略フローチャートを図解する。方法Ｓ１６は、Ｓ１６０１において、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、Ｓ１６０２において、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、を含む。

Ｓ１７では、特徴点の第２のグループの位置及び移動を実質的に表し得る特徴点の第２のグループから、第２の基準点を特定する。

第２のグループの第２の基準点を特定することは、第１のグループの第１の基準点を特定することに類似しており、本明細書では詳細に説明されない。

映像フレームは、グループの基準点を特定する正確性に影響を与えるようなノイズ点等のいくつかの「無関係な」情報を含み得るので、それ故、特徴点のグループの基準点を特定するための、よりロバストな方法が必要とされる。図３は、第１のグループ中で第１の基準点を特定するための別の方法の概略フローチャートを図解する。

図３を参照して、Ｓ１６１１では、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算する。より良い理解のために、第１のグループがＮ個の特徴点を含むことを想定する。

Ｓ１６１２では、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定する。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。いくつかの実施形態では、Ｓ１６１１における計算された結果によれば、第１のグループの相関の最大の和を有するＭ個の特徴点が選択され得、ＭはＮよりも小さい。いくつかの実施形態では、ＭはＮの半分であり得る。

Ｓ１６１３では、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算する。言い換えれば、Ｍ個の特徴点のそれぞれの特徴点の、Ｍ個の特徴点の他の特徴点との相関の和が計算される。

Ｓ１６１４では、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定する。第１の基準点は、第１グループの位置及び移動を実質的に表し得る。

Ｓ１６１１〜Ｓ１６１４によって、ノイズ点によって引き起こされる干渉を低減し得る。Ｓ１６１１〜Ｓ１６１４はまた、第２の基準点を特定するために用いることができることに留意されたい。

図４は、共通の特徴点を有する２つのグループの例を図解する。図４を参照すると、２つのグループ（例えば、Ｇ１及びＧ２）が存在し、特徴点Ｐ２は、Ｇ１及びＧ２の共通の特徴点である。特徴点の２つのグループが共通の特徴点を有する場合、２つのグループに対応する検出された移動物体は重複領域を有することになる。より明確に移動物体をセグメント化するために、共通の特徴点は、１つのグループにのみ分類する必要がある。

図５は、図４に図解されるような２つのグループの基準点との特徴点Ｐ１〜Ｐ３の相関を示す表１を図解する。表１において、Ｌ１及びＬ２は、それぞれグループＧ１及びＧ２の基準点を表す。Ｐ１〜Ｐ３のグループＧ１及びＧ２との相関は、それぞれＰ１〜Ｐ３の基準点Ｌ１及びＬ２との相関によって表され得る。

Ｐ２を例に取ると、Ｐ２の２つの基準点Ｌ１及びＬ２との相関は、等式（１）を用いて計算され得るＣ_２Ｌ１及びＣ_２Ｌ２であり得る。Ｐ２がグループＧ１及びＧ２に属するので、Ｃ_２Ｌ１及びＣ_２Ｌ２はゼロと等しくない。Ｐ１がグループＧ２に属さず、Ｐ３がＧ１に属さないので、Ｃ_１Ｌ２及びＣ_３Ｌ１はゼロと等しい。

Ｓ１８では、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類する。

いくつかの実施形態では、特徴点が、特徴点が共通の特徴点である複数のグループのうちの１つに分類される場合、それは、等式（４）：
として表され得る相関の最大化を満たすものとし、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数Ｃ_ｐｌがその最大値に達するための所与の引数の点の集合を表す。
Ｃ_ｐｌは、特徴点Ｐの、特徴点Ｐが属するグループの基準点との相関を表す。

いくつかの実施形態では、複数のグループが共通の特徴点を有する場合、複数のグループのうち、その基準点が共通の特徴点との最大の相関を有する１つに分類されて、共通の特徴点を有しない複数の更新されたグループを取得し得る。

図６は、共通の特徴点を有しない２つの更新されたグループの例を図解する。Ｐ２の場合は、Ｃ_２Ｌ２がＣ_２Ｌ１よりも大きいことを想定して、Ｐ２はグループＧ２に属するものとして特定される。

異なるグループ間で共通する特徴点が存在しない場合は、Ｓ１６〜Ｓ１８が任意選択的であることに留意されたい。この場合、第１の移動物体及び第２の移動物体は、特徴点の第１のグループ及び第２のグループに従って少なくとも１つの映像フレーム中で特定され得る。

Ｓ１９では、共通点を有しない特徴点の更新された第１のグループ及び第２のグループに基づいて特定された物体のうちのいずれかが静的であるかどうかを、特徴点のこれらのグループが基本行列に適合するかどうかを判定することよって、判定する。

本出願の発明者は、移動物体のセグメントが完成された後、基本行列を特徴点のグループに適用して、検出率が上昇され、このように移動物体検出の効率が改善され得ることを見出した。

いくつかの実施形態では、特徴点の第１のグループの移動が基本行列に適合する場合、特徴点の第１のグループは静止点として特定される。さもなければ、特徴点の第１のグループの移動が基本行列に適合しない場合、特徴点の第１のグループは移動点として特定される。基本行列はまた、特徴点の第２のグループに適用されて、第２の移動物体の検出を改良することができる。

例えば、基本行列は、図６のグループＧ１’、Ｇ２’、及びＧ３’に適用され得る。移動物体の検出を改良する必要がない場合、Ｓ２０が任意選択的であることに留意されたい。

いくつかの実施形態では、移動物体の検出を精密化するように、反復アルゴリズムを本発明の方法に使用することができる。しかしながら、実験結果によれば、本出願の発明者は、反復なしの本出願の方法が移動物体検出の必要を実質的に満たし得る。したがって、従来技術と比較して、演算の負荷及び複雑さが大幅に低減され、移動物体検出の効率が大幅に改善される。

本開示の実施形態による方法は、移動物体検出システムで実施され得る。いくつかの実施形態では、移動物体検出装置は、車両に搭載されて、車両の近傍で移動物体を検出し得る。

移動物体検出システムは、カメラ及び処理装置を含み得る。カメラは、複数の映像フレームをキャプチャするように適合される。処理装置は、本開示の実施形態によれば、上述の方法を実行するように構成され得る。いくつかの実施形態では、処理装置は、ＣＰＵ、ＧＰＵ、ＤＳＰ等、またはそれらの任意の組み合わせであり得る。いくつかの実施形態では、処理ユニットは、複数のコンピューティングコンポーネントと他のコンポーネントとの組み合わせであり得る。

様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書で開示される様々な態様及び実施形態は例示の目的のためであり、限定することを意図するものではなく、真の範囲及び趣旨は以下の特許請求の範囲によって示される。

Claims

移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。
２つの特徴点の間の相関が、等式（１）：
に従って計算され得、式中、Ｃ_１２は、２つの特徴点Ｐ_１及びＰ_２の間の相関を表し、
ｄｓ_１２は、前記２つの特徴点の間の距離を表し、
ｄｖ_１２は、前記２つの特徴点の間の移動差分を表し、
σ_ｄｉｓ及びσ_ｖは、それぞれ、距離及び移動の統計的分散を表す、請求項１に記載の方法。
ｄｓ_１２がσ_ｄｉｓよりも大きい場合、または、ｄｖ_１２がσ_ｖの２倍よりも大きい場合、前記相関Ｃ_１２がゼロに設定される、請求項２に記載の方法。
σ_ｄｉｓが
の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項３に記載の方法。
σ_ｖが６〜１０の範囲内の値に設定される、請求項３に記載の方法。
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、をさらに含み、前記２つのセグメントが、前記更新された第１のグループ及び前記第２のグループに基づいて特定される、請求項１に記載の方法。
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得することと、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定することと、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴とのその相関の和を計算することと、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得することと、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算することと、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、をさらに含む、請求項１に記載の方法。
前記所定の割合が５０％である、請求項７に記載の方法。
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、
前記主要平面上の特徴点に基づいて、基本行列を計算することと、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類することと、をさらに含む、請求項１に記載の方法。
移動物体検出システムであって、
カメラと、
処理装置であって、
前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定し、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定するように構成された、処理装置と、を備え、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、移動物体検出システム。
２つの特徴点の間の相関が、等式（１）：
に従って計算され得、式中、Ｃ_１２は、２つの特徴点Ｐ_１及びＰ_２の間の相関を表し、
ｄｓ_１２は、前記２つの特徴点の間の前記距離を表し、
ｄｖ_１２は、前記２つの特徴点の間の前記移動差分を表し、
σ_ｄｉｓ及びσ_ｖは、それぞれ、距離及び移動の統計的分散を表す、請求項１０に記載の移動物体検出システム。
ｄｓ_１２がσ_ｄｉｓよりも大きい場合、または、ｄｖ_１２がσ_ｖの２倍よりも大きい場合、前記相関Ｃ_１２がゼロに設定される、請求項１１に記載の移動物体検出システム。
σ_ｄｉｓが
の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項１２に記載の移動物体検出システム。
σ_ｖが６〜１０の範囲内の値に設定される、請求項１２に記載の移動物体検出システム。
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され、前記２つのセグメントが、特徴点の前記更新された第１のグループ及び前記第２のグループに基づいて特定される、請求項１０に記載の移動物体検出システム。
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴との相関の和を計算し、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得し、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算し、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類し、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得する、ようにさらに構成される、請求項１０に記載の移動物体検出システム。
前記所定の割合が５０％である、請求項１６に記載の移動物体検出システム。
前記処理装置が、
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、
前記主要平面上の特徴点に基づいて、基本行列を計算し、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類する、ようにさらに構成される、請求項１０に記載の移動物体検出システム。
移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、
前記複数の映像フレームのうちの少なくとも１つの中で、移動物体として、特徴点の前記グループによって画定されたセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。