JP6665110B2 - 非同期光センサーによって観測されたシーン内の形状を追跡する方法 - Google Patents

非同期光センサーによって観測されたシーン内の形状を追跡する方法 Download PDF

Info

Publication number
JP6665110B2
JP6665110B2 JP2016565241A JP2016565241A JP6665110B2 JP 6665110 B2 JP6665110 B2 JP 6665110B2 JP 2016565241 A JP2016565241 A JP 2016565241A JP 2016565241 A JP2016565241 A JP 2016565241A JP 6665110 B2 JP6665110 B2 JP 6665110B2
Authority
JP
Japan
Prior art keywords
event
model
objects
detected event
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016565241A
Other languages
English (en)
Other versions
JP2017521746A (ja
Inventor
リャド・ベノスマン
シオホイ・エン
ステファーノ・レニェ
ニ・ジェンジエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Original Assignee
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS filed Critical Centre National de la Recherche Scientifique CNRS
Publication of JP2017521746A publication Critical patent/JP2017521746A/ja
Application granted granted Critical
Publication of JP6665110B2 publication Critical patent/JP6665110B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、光センサーによって観測されたシーン内の動いている物体を検出し、追跡するための方法に関する。
画像内の物体を検出するための知られている技法の中に、最近点(closest point)を探索するための反復的アルゴリズム、すなわち、ICP (反復最近点(Iterative Closest Point))型のアルゴリズムが存在する。これらのICPアルゴリズムは、距離データ位置合わせ(range data registration)、3D再構築、物体追跡、およびモーション分析などの応用におけるそれらのアルゴリズムの有効性で知られている。たとえば、S. RusinkiewiczおよびM. Levoyによる論文「Efficient Variants of the ICP Algorithm」、3rd International Conference on 3D Digital Imaging and Modeling、2001年6月、145〜152頁を参照されたい。
ICPアルゴリズムの原理は、物体の外形の境界を定めるモデルとして使用される点の集合を、その集合を獲得されたデータの一部である点の集合と一致させるために使用することである。知られているモデルの集合とデータの点の集合との間の変換が、誤差関数を最小化することによって、それらの集合の幾何学的関係を表すために推定される。任意の形状の追跡は、この形状のモデルが与えられるとき、ICP技法によって解決され得る。
M. Herschらによる論文「Iterative Estimation of Rigid Body Transformations -- Application to robust object tracking and Iterative Closest Point」、Journal of Mathematical Imaging and Vision、2012年、Vol. 43、No. 1、1〜9頁は、ICPアルゴリズムを実行するための反復的方法を示す。画像内で、画像の点{yi}がそれぞれ対応する点の集合{xi}によって画定されるパターンを検出することを可能にする剛体(rigid)空間変換Tを決定するために、総和がパターンの点xiの集合に関係する形状の誤差の基準
を最小化することによって変換Tを探すことである典型的な解析的な閉じた形の解法が、反復的な解法によって置き換えられ、変換Tの初期推定が行われ、各繰り返しは、パターンから点xiを無作為に取り出すことと、画像内のその点xiの対応する点yiを見つけることと、変換Tの移動および回転のパラメータに比して傾き∇||yi - Txi||2に比例する項を差し引くことによって変換Tを更新することとである。変換Tが反復するごとに変動しなくなるとき、反復が停止し、画像内のパターンを検出することを可能にする変換の最終的な推定としてTが保持される。
連続的に獲得された画像に基づく通常のビジョン(vision)において、(たとえば、約60画像毎秒の)カメラの画像のレートは、ICP技法には不十分であることが多い。また、連続的な画像内の同じ情報の反復的計算は、ICPアルゴリズムのリアルタイムの実行を制限する。実際には、それらのICPアルゴリズムは、余り速く動かない単純な形状を検出する場合に制限される。
規則的なサンプリングの瞬間に連続的な画像を記録する通常のカメラとは対照的に、生体網膜は、視覚化されるべきシーンに関して冗長な情報をほんのわずかしか送らず、これは、非同期的に実行される。非同期的なイベントに基づく視覚センサーは、イベントの形態で圧縮されたデジタルデータを送出する。「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426-2429頁におけるそのようなセンサーの提示が、参照され得る。イベントに基づく視覚センサーは、通常のカメラに対して冗長性を取り除き、レイテンシー時間を減らし、ダイナミックレンジを拡げるという利点を有する。
そのような視覚センサーの出力は、各ピクセルアドレスに関して、シーンの反射率(reflectance)の変化が起こるときにそれらの変化を表す一連の非同期的なイベントである可能性がある。センサーの各ピクセルは、独立しており、最後のイベントの放射以降の閾値(たとえば、強度に関する対数で15%のコントラスト)を超える強度(intensity)の変化を検出する。強度の変化が閾値の組を超えるとき、オンまたはオフイベントが、強度が高まるのかまたは低下するのかに応じてピクセルによって生成される。特定の非同期的なセンサーは、検出されたイベントを光度(light intensity)の測定値に関連付ける。センサーは、通常のカメラのようにクロックにあわせてサンプリングされないので、(たとえば、約1μsの)非常に高い時間の精度でイベントの順序付けを考慮に入れることができる。そのようなセンサーが画像のシーケンスを再構築するために使用される場合、通常のカメラの数十ヘルツに比べて、数キロヘルツの画像フレームレートが実現され得る。
イベントに基づく視覚センサーは有望な見通しがあり、そのようなセンサーによって送出される信号を使用して動いている物体を追跡するための効果的な方法を提案することが望ましい。
「Fast sensory motor control based on event-based hybrid neuromorphic-procedural system」、ISCAS 2007、New Orleans、2007年5月27〜30日、845-848頁において、T. DelbruckおよびP. Lichtsteinerは、たとえば、イベントに基づく視覚センサーを使用してサッカーのゴールキーパーのロボットを制御するために使用され得るクラスタを追跡するためのアルゴリズム(クラスタトラッカー)を説明する。各クラスタは、移動可能な物体をイベントのソースとしてモデル化する。クラスタに入るイベントは、後者の位置を変える。クラスタは、閾値を超えるいくつかのイベントを受け取った場合にのみ可視であると考えられる。
「Asynchronous event-based visual shape tracking for stable haptic feedback in microrobotics」、Z. Niら、IEEE Transactions on Robotics、2012年、Vol. 28、No. 5、1081-1089頁には、解析的な形態のコスト関数を最小化することに基づく、ICPアルゴリズムのイベントに基づくバージョンが示されている。
米国特許出願第2008/0135731(A1)号 国際公開第2013/093378(A1)号
S. RusinkiewiczおよびM. Levoyによる論文「Efficient Variants of the ICP Algorithm」、3rd International Conference on 3D Digital Imaging and Modeling、2001年6月、145〜152頁 M. Herschらによる論文「Iterative Estimation of Rigid Body Transformations -- Application to robust object tracking and Iterative Closest Point」、Journal of Mathematical Imaging and Vision、2012年、Vol. 43、No. 1、1〜9頁 「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426-2429頁 「Fast sensory motor control based on event-based hybrid neuromorphic-procedural system」、ISCAS 2007、New Orleans、2007年5月27〜30日、845-848頁 「Asynchronous event-based visual shape tracking for stable haptic feedback in microrobotics」、Z. Niら、IEEE Transactions on Robotics、2012年、Vol. 28、No. 5、1081-1089頁 「A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁 A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁 R. Benosmanらによる論文「Event-based Visual Flow」、IEEE Transaction On Neural Networks and Learning Systems、Vol. 25、No. 2、2013年9月、407〜417頁
迅速で、良好な時間的精度を有する、形状を追跡するための方法に対するニーズが存在する。
シーン内の形状を追跡する方法であって、
- シーンに向かい合って配列されたピクセルの行列を有する光センサーから非同期的な情報を受け取るステップであって、非同期的な情報が、行列の各ピクセルに関して、前記ピクセルから非同期に生じる連続的なイベントを含む、ステップと、
- 非同期的な情報内の物体に帰せられるイベントを検出した後、点の集合を含み、前記物体の追跡される形状を表すモデルを更新するステップとを含む、方法が提供される。
更新するステップは、イベントの検出に続いて、
- 検出されたイベントが生じる行列のピクセルに関連する最小の距離を有するモデルの点を検出されたイベントに関連付けること、および
- 検出されたイベントが生じる行列のピクセルおよび関連付けられた点に従って、前記イベントの検出の前に実行された関連付けとは独立して更新されたモデルを決定することを含む。
観測された点のモデルとのマッチングは、完全な画像、またはさらにはシーン内の追跡される形状に関連する十分な数のイベントの獲得の後、グループ化された方法で実行されない。反復的アルゴリズムによる形状の追跡が、非同期的なイベントが到着するときにずっと速く実行される。
モデルが更新されることを可能にする空間変換を決定することは、通常、以下の形態のコスト関数を最小化することに基づく。
ΣD(p[ev],Ft(A[ev])) (1)
ここで、p[ev]は、イベントevが生じたピクセルの行列の位置を示し、
A[ev]は、イベントevに関連するモデルの点を示し、
Ft(.)は、空間変換を示し、
D(.,.)は、行列の平面内の距離の測定値であり
総和は、実行された特定の数の関連付け(p[ev]⇔A[ev])に対して実行される。
提案される方法においては、現在のイベントとそれに関連付けられたモデルの点との間の関連付けが考慮に入れられるが、前の関連付けは考慮に入れられないので手法が異なる。コスト関数がこれだけに基づいて最小化され得ないときに、それぞれの繰り返しが、後者をシーン内の形状を正しく追跡する解に収束させるためにモデルに適用される、勾配降下(gradient descent)によく似た補正項を計算することを可能にする。そのような収束は、ダイナミクス(dynamics)と、動きが引き起こすイベントの多い数とのおかげで、たとえ物体が動いているとしても保証される。
獲得雑音(acquisition noise)をフィルタリングするために、モデルの点が、この場合、物体に帰せられない検出されたイベントを生じるピクセルに関連する閾値未満の距離にないときに、モデルを更新することを控える可能性がある。
方法の興味深い実施形態は、
- 物体の変位の平面を推定するステップであって、変位の平面が、現在の瞬間に終わる時間窓(time window)の間に物体に帰せられた検出されたイベントを示す点の集合に関連する距離の基準を最小化することによって、三次元、すなわち、ピクセルの行列の2つの方向に対応する2つの空間的次元および1つの時間の次元を有する空間内で推定される、ステップと、
- イベントの検出に続いて、前記イベントを物体に帰すべきか否かを判断するために物体の変位の推定された平面を考慮に入れるステップとをさらに含む。
上述の「変位の平面」の特性は、特に、複数の物体がシーン内で追跡されるそれぞれの形状を有する場合にいくつかの有用な処理を可能にし、物体のうちのそれぞれの物体は、その物体に帰せられるイベントの検出後に更新されたそれぞれのモデルおよび変位の推定された平面を有する。
たとえば、物体のうちの少なくとも2つに帰せられ得るイベントの検出に続いて、検出されたイベントを示す点と前記物体に関してそれぞれ推定された変位の平面との間の三次元空間内のそれぞれの距離を計算し、検出されたイベントを計算された距離が最小である物体に帰することがあり得る。これは、検出されたイベントが帰せられ得るいくつかの物体の間の曖昧性を削除するために、空間的制約と時間的制約とを組み合わせることを可能にする。
別の可能性は、物体の変位の平面と物体に帰せられた検出されたイベントを示す点との間の距離の統計的分布を推定し、それから、イベントの検出の後に、イベントを物体に帰すべきかどうかを判断するために、物体の変位の推定された平面および推定された統計的分布を考慮に入れることである。これは、非同期的なセンサーがそれ自体動いているときにシーンの背景のあり得る動きを考慮に入れることを可能にする。特に、推定された統計的分布に基づいて許容可能な距離の値の間隔を決定することと、三次元空間内の検出されたイベントを示す点が、変位の推定された平面に関連して、許容可能な距離の値の間隔から外れる距離を有する場合、検出されたイベントを物体に帰さないこととがあり得る。
複数の物体がシーン内で追跡されるそれぞれの形状を有し、物体のうちのそれぞれの物体がその物体に帰せられるイベントの検出後に更新されるそれぞれのモデルを有するとき、その他の特徴が提供される可能性がある。
たとえば、イベントの検出に続いて、物体のうちの1つのみが、検出されたイベントが生じる行列のピクセルに関連する閾値未満の距離を有する点を物体のモデル内に有する条件を満たす場合に、検出されたイベントを物体のうちの前記1つに帰することがあり得る。
物体のうちの少なくとも2つに帰せられ得るイベントの検出に続いて、曖昧性を削除するために空間的制約を考慮に入れることがあり得る。可能性は、検出されたイベントが帰せられ得る各物体に関して、検出されたイベントが生じる行列のピクセルに関連するそれぞれの距離の基準を最小化することによって、この物体のモデルの点を検出されたイベントに関連付け、検出されたイベントを、最小化された距離の基準が最も小さい物体に帰することである。代替は、検出されたイベントを物体のいずれにも割り当てないことである。
別の代替は、検出されたイベントが帰せられ得る物体の各々に検出されたイベントを割り当てることである。検出されたイベントが帰せられる物体のモデルを更新することは、前記物体に関してそれぞれ最小化される距離の基準に依存する重み付けを用いて実行される可能性がある。
少なくとも2つの物体に帰せられ得るイベントの検出に続いて、曖昧性を削除するために時間的制約を考慮に入れることもあり得る。可能性は、各物体に関して、その物体に帰せられるイベントのレートを推定し、その物体に帰せられる最後のイベントが検出された瞬間を記憶することである。それから、少なくとも2つの物体に帰せられ得るイベントは、イベントの推定されたレートに記憶された瞬間と前記イベントの検出の瞬間との間の時間間隔を掛けた積が1に最も近い物体のうちの1つに帰せられる。
方法の実施形態において、更新されたモデルを決定することは、パラメータの組によって定義された空間変換を推定することと、推定された空間変換をモデルに適用することとを含む。空間変換を推定することは、検出されたイベントが生じる行列のピクセルと検出されたイベントに関連するモデルの点に空間変換を適用することによって得られた点との間のピクセルの行列の平面内の距離の勾配の関数として前記パラメータを計算することを含む。
特定の場合は、空間変換がピクセルの行列の平面内の移動および回転を含む剛体変換である場合である。可能性は、移動に関して、-η1.∇Tf(Δθ0, ΔT0)に等しいベクトルΔTを選択し、回転に関して、-η2.∇θf(Δθ0, ΔT0)に等しい角度Δθを選択することであり、η1およびη2は、予め定義された正の収束ステップであり、Δθ0およびΔT0は、回転の角度の特定の値および移動のベクトルの特定の値である。たとえば、
および
が選択される可能性があり、pは、検出されたイベントが生じる行列のピクセルを示し、mは、検出されたイベントに関連するモデルの点を示し、cは、回転の中心を示し、cpは、cからpを指すベクトルを示し、cmは、cからmを指すベクトルを示し、
は、中心cの、角度Δθ0の回転である。
関心のある別の場合は、空間変換が、ピクセルの行列に含まれる2つの軸に応じたそれぞれの倍率(scaling factor)の適用をさらに含むアフィン変換である場合である。2つの軸x、yに応じた倍率sx、syは、sx=1+η3.(|px|-|mx|)およびsy=1+η3.(|py|-|my|)に従ってそれぞれ計算される可能性があり、η3は、予め定義された正の収束ステップであり、pxおよびpyは、検出されたイベントが生じる行列のピクセルの、軸xおよびyに沿った座標であり、mxおよびmyは、検出されたイベントに関連するモデルの点の、軸xおよびyに沿った座標である。
本発明の別の態様は、光センサーから受け取られた非同期的な情報を使用して、上で定義されたような方法を実行するように構成されたコンピュータを含む、シーン内の形状を追跡するためのデバイスに関する。
本発明のその他の特徴および利点は、添付の図面を参照すると、以降の説明において明らかになるであろう。
本発明の実装に適合されたデバイスのブロック図である。 非同期的なセンサーのピクセル上の光度のプロファイルの例を示す図である。 図2Aの強度のプロファイルに応じて非同期的なセンサーによって送出される信号の例を示す図である。 図2Bの信号を使用する強度のプロファイルの再構築を示す図である。 方法の別の実施形態において使用され得る光の獲得のための方法を示す、図2Aの図と同様の図である。 方法の別の実施形態において使用され得る光の獲得のための方法を示す、図2Bの図と同様の図である。 ATIS型の非同期的な光センサーのブロック図である。 回転する星を含むシーンに向かい合って配置された非同期的なセンサーによって生成されたイベントを示す図である。 本発明による形状を追跡する方法の動作を試験するために使用される機器の図である。 図6Aの構成において得られたイベント累積カード(event accumulation card)の例を示す図である。 回転する星の例におけるICPアルゴリズムの動作を示すために様々な画像を示す図である。 本発明の特定の実装において使用され得るアルゴリズムの例の流れ図である。 本発明の特定の実施形態を説明するために使用される幾何学的要素を示す図である。 本発明の特定の実施形態を説明するために使用される幾何学的要素を示す図である。 本発明のその他の実装において使用され得るアルゴリズムの例の流れ図である。 図11に従う方法の実施形態の反復中に空間変換を計算するための方法を示す図である。 非同期的なセンサーの視野内の動いているエッジに帰せられたイベントが記録される、2つの空間的次元および1つの時間の次元を含む三次元の空間の点と、変位の平面によるそれらの点の補間とを示すグラフである。 図11のステップ44において使用され得る手順の例の流れ図である。 図14のステップ56において使用され得る手順の例の論理図である。 図14のステップ56において使用され得る手順の例の論理図である。 イベントと、図13において示された変位の平面のタイプの変位の平面との間の距離の分布を示すブラフである。 図17に示されたような距離に関する許容され得る値の間隔を推定するために使用され得る手順の流れ図である。 図6および図7の条件で実行された実験において3つの異なる追跡方法を適用することによって観測された追跡誤差を示すグラフである。 本発明の実施形態における物体の3つの形状の追跡を示す図である。 本発明の実施形態の物体のモデルに適用される空間変換において倍率sx、syを考慮に入れることによって実行された実験の結果を示すグラフである。 本発明の別の実験において得られた画像を示す図である。 図22の実験において追跡の異なる方法を適用することによって観測された追跡誤差を示すグラフである。 図22の実験において追跡の異なる方法を適用することによって観測された追跡誤差を示すグラフである。 本発明の別の実験におけるいくつかの物体の間の曖昧性を削除するためのあり得る方法を示すグラフである。 本発明の別の実験におけるいくつかの物体の間の曖昧性を削除するためのあり得る方法を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。 図32に示される結果において追跡の枠組の中でイベントが物体に帰すると決定するために使用される、図13による変位の2つの平面を示すグラフである。 非同期的なセンサー自体が動いていた本発明の実験において得られたモデルの速度を示すグラフである。 非同期的なセンサー自体が動いていた本発明の実験において得られたモデルの速度を示すグラフである。
図1に示されるデバイスは、シーンに面して配置され、1つまたは複数のレンズを含む獲得のための光学部品15を通じてシーンの光の流れを受け取る、イベントに基づく非同期的な視覚センサー10を含む。センサー10は、獲得のための光学部品15の画像平面内に配置される。センサー10は、ピクセルの行列に編成された感光素子のグループを含む。感光素子に対応する各ピクセルは、シーン内の光の変化に応じて連続的なイベントを生成した。
コンピュータ20は、センサー10から生じた非同期的な情報、すなわち、様々なピクセルpから非同期的に受け取られたイベントev(p, t)のシーケンスを、シーン内の変化する特定の形状に関する情報Ftをそれらのシーケンスから抽出するために処理する。コンピュータ20は、デジタル信号に対して動作する。コンピュータ20は、好適なプロセッサをプログラミングすることによって実装される可能性がある。特別な論理回路(ASIC、FPGA、...)を用いるコンピュータ20のハードウェアの実装も、あり得る。
行列の各ピクセルpに関して、センサー10は、センサーの視野内に現れるシーン内のピクセルによって検出された光の変化を使用してイベントに基づく非同期の信号のシーケンスを生成する。
非同期的なセンサーは、たとえば、図2A〜図2Cによって示される原理に従って獲得を実行する。センサーによって送出される情報は、アクティブ化閾値Qが達せられる一連の瞬間tk (k=0, 1, 2, ...)を含む。図2Aは、センサーの行列のピクセルによって見られた光度のプロファイルP1の例を示す。この強度が、時間tkにおける状態から始まってアクティブ化閾値Qに等しい量だけ増加するたびに、新しい瞬間tk+1が特定され、正のスパイク(図2Bのレベル+1)がこの瞬間tk+1に発せられる。対称的に、ピクセルの強度が、時間tkにおける状態から始まって量Qだけ減少するたびに、新しい瞬間tk+1が特定され、負のスパイク(図2Bのレベル-1)がこの瞬間tk+1に発せられる。そのとき、ピクセルに関する非同期の信号のシーケンスは、ピクセルに関する光のプロファイルに応じた、時間の経過とともに瞬間tkに位置付けられる一連の正のまたは負のパルスまたはスパイクである。これらのスパイクは、正のまたは負のディラック(Dirac)のピークによって数学的に示される可能性があり、それぞれが放出の瞬間tkおよび符号ビットによって特徴付けられる。そして、センサー10の出力は、アドレスイベント表現(AER: address-event representation)の形態である。図2Cは、図2Bの非同期信号の時間積分によってプロファイルP1の近似として再構築され得る強度のプロファイルP2を示す。
アクティブ化閾値Qは、図2A〜図2Cの場合と同様に設定され得るか、または図3A〜図3Bの場合と同様に光度に応じて適応し得る。たとえば、閾値±Qは、イベントの±1の生成のために光度の対数の変化と比較される可能性がある。
例として、センサー10は、「A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁または米国特許出願第2008/0135731(A1)号に記載された種類の動的視覚センサー(DVS: dynamic vision sensor)である可能性がある。数ミリ秒の網膜のダイナミクス(活動電位(action potential)の間の最小の継続時間)は、この種のDVSによって近づかれ得る。性能は、動的に、いずれの場合も、現実的なサンプリング周波数を有する通常のビデオカメラによって達成され得る性能を遙かに超えている。示されたイベントはイベントに基づく非同期信号の任意の時間的な幅または振幅または波形を有する可能性があるので、コンピュータ20の入力信号を構成するDVS 10によってピクセルに関して送出される非同期信号の形状は一連のディラックのピークと異なる可能性があることに留意されたい。
本発明に関連して有利に使用され得る非同期的なセンサーの別の例は、論文「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol.46、No.1、2011年1月、259〜275頁に説明が与えられている非同期時間ベースイメージセンサー(ATIS: asynchronous time-based image sensor)である。
図4は、ATISの原理を示す。センサーを構成する行列のピクセル16は、電子的な検出回路18a、18bにそれぞれ関連するフォトダイオードなどの2つの感光素子17a、17bを含む。センサー17aおよびその回路18aは、上述のDVSの動作と同様の動作を有する。センサー17aおよびその回路18aは、フォトダイオード17aによって受け取られた光度が予め定義された量だけ変化するときにパルスP0を生じる。強度のこの変化を示すパルスP0は、他方のフォトダイオード17bに関連する電子的な回路18bをトリガする。そして、この回路18bは、第1のパルスP1を生成し、それから、所与の量の光(所与の数の光子)がフォトダイオード17bによって受け取られるとすぐに第2のパルスP2を生成する。パルスP1とP2との間の時間シフトδtは、パルスP0が現れた直後にピクセル16によって受け取られる光度に反比例する。ATISから生じる非同期的な情報は、各ピクセルに関する2つのパルス列を含む別の形態のAER表現であり、すなわち、パルスP0の第1の列が、光度が検出の閾値を超えて変化した瞬間を示し、一方、第2の列は、時間シフトδtが対応する光度またはグレイレベルを示すパルスP1およびP2からなる。そのとき、ATISの行列内の位置pのピクセル16から来るイベントev(p, t)は、2つの種類の情報、すなわち、イベントの瞬間tを与える、パルスP0の位置によって与えられる時間情報と、パルスP1とP2との間の時間シフトδtによって与えられるグレイスケール情報とを含む。
センサー10がピクセルの二次元行列からなる場合、ピクセルから生じたイベントが、図5に示されるような三次元空間-時間表現内に置かれる可能性がある。この図において、各点は、差し込み図Aに図示されるように一定の角速度で星が回転する動きによって位置
を有するセンサーのピクセルp上で瞬間tに非同期に生成されたイベントev(p, t)を示す。これらの点の大部分は、概してらせん状である表面の近傍に分散される。さらに、図は、星の実効的な移動に対応せずに測定される、らせん状の表面から離れた特定の数のいくつかのイベントを示す。これらのイベントは、獲得雑音である。
ICPアルゴリズムの原理は、たとえば、物体の外形を示す物体の形状を表すモデルを形成する点の集合を獲得データ(acquisition data)によって与えられる点の集合に合わせ、それから、誤差関数を最小化することによって点の集合とモデルとの間の幾何学的関係を計算するために、その点の集合を使用することである。
図6Aは、星形が描かれている回転板11に面して配置される、たとえばDVSまたはATIS型の本発明の実験において使用された機器、センサー10を示す。センサー10は、平坦部上の星形の回転を使用してデータを獲得する。比較および例示のみを目的として、図6Bは、星の黒い形状の上に重ね合わされた、約数ミリ秒の時間間隔の間に観測されたイベントを図式的に示す。
図7は、例として、星形を追跡する例を示す。この図において、一番上の行は、図6Aの場合と同様に、その板の上で回転する星を示す画像の通常のシーケンスである。真ん中の行は、時間期間内のイベントを検出するための正確な瞬間とは独立して、イベント累積マップ(event accumulation map)、すなわち、時間期間の間に起こったイベントのすべての平面への射影を示す。最後に、一番下の行は、獲得点(acquisition point)との(実線として示される)モデルのマッチングを示す。左側の列(a)に、星が回転を始める初期状態が示される。アルゴリズムは、モデルを最も近いイベントとマッチングしようとする。イベントからそれほど離れていないモデルの初期位置は、アルゴリズムが大域的な最小に収束するために有用である。列(b)においては、星が、モデルの初期位置の近傍を通り、後者が、星の位置に収束する。最後に、列(c)および(d)においては、星が、回転し続け、モデルが、パラメータが誤差関数を最小化することによって計算される回転RΔθおよび移動ΔTをそのモデルに適用することによって更新される。
シーンが通常のカメラではなくイベントに基づく非同期的なセンサーによって観測される場合、イベントは、それらのイベントが起こるときに正確なタイムスタンプを付けられて受け取られる。ICP型のアルゴリズムは、シーンが含むすべてのイベントを同時に処理することができるように、シーンの全体に関する情報を持つまで待つ必要がない。
イベントev(p, t)は、空間-時間領域における活動を記述する。図8に示されるICPアルゴリズムのイベントに基づくバージョンにおいては、生体ニューロンと同様に、各イベントはそのイベントが現れた後に特定の時間が経過する間影響を及ぼすと考えられる。イベントのこの時間的特性は、持続性関数(persistence function)の形態で導入され得る。そのとき、S(t)は、瞬間tにアクティブであるイベントの空間-時間集合を表す。
S(t)={ev(p, t')/0<t - t'≦Δt} (2)
ここで、Δtは、持続時間(persistence time)である。時間間隔Δtがイベントのアクティブ化後に経過した後、このイベントは集合S(t)から削除される。
モデルと獲得データとの間の点をマッチングすることは、計算リソースの点で最も要求の厳しいステップを構成する。G(t)は、瞬間tにおける物体の形状を定義する二次元モデルの点の位置の集合を表す。獲得点とモデルの点との間の関連付けは、逐次的に実行される可能性がある。新しいイベントがアクティブ化されるたびに、そのイベントがG(t)の要素、好ましくは、S(t)のイベントにまだ関連付けられていないG(t)の要素とマッチングされる。雑音、または探索される形状の一部ではないその他の点を拒絶するために、距離の基準の検証をこのステップに追加することがあり得る。
センサーが非同期であるので、関連する点の数はかなり大きく変わる。概して、持続時間Δtの間に関連付けられた数個の点から数百個の点が存在する。これは、通常のフレームに基づく手法と大きく異なる。動かない物体は、いかなる刺激も生成せず、したがって、それらの物体の位置を更新する必要はない。シーンがほとんど動きを含まないとき、計算リソースのわずかな部分だけが使用される一方、非常に動的な状況において、アルゴリズムは、情報を更新するためにすべての能力を必要とする。
図8の例において、P(n)およびT(n)は、モデルの位置情報の更新のために保持される第nのイベントの位置および検出時間を表し、M(n)は、この第nのイベントに関連するモデルの点を表す。検出時間T(n)は、アルゴリズムを開始する前に任意に大きな値に初期化される(T(n)=+∞)。時間tにおけるイベントev(p, t)を検出すると、整数のインデックスaは、S(t)の中の最も古いイベントを示し、一方、整数のインデックスbは、S(t)の最も最近のイベントを示し、したがって、S(t)={ev(P(a), T(a)), ev(P(a+1), T(a+1)), ..., ev(P(b), T(b))}である。モデルG(t)は、単にGと記され、Mは、S(t)のイベントに関連付けられたモデルの点の集合を表し、つまり、M={M(a), M(a+1),…, M(b)}である。アルゴリズムが初期化されるとき(ステップ20)、整数のインデックスaおよびbは、それぞれ、1および0に初期化される。
図8に示されるアルゴリズムのバージョンにおいて、モデルの点を検出されたイベントの位置にマッチングする空間変換Ftが、解析的形態の通常の解決策によって、たとえば、特異値に分解すること(SVD、「特異値分解」)によって周期的に推定される。ステップ21において、アルゴリズムは、空間変換の更新期間が経過していない限り、センサー10から生じる新しいイベントを待つ。
時間tにおいて行列内の位置pのピクセルから生じるイベントev(p, t)を受け取った(ステップ22)後、2つの動作、すなわち、集合S(t)を更新することと、モデルGの点を検出されたイベントに関連付けることとが実行される。ループ23〜24において、Δtを超えて古くなるイベントはS(t)から削除され、テスト23が、時間T(a)がt -Δtを超えているかどうかを調べる。T(a)がt -Δtを超えていない場合、数aが、ステップ24において1単位だけインクリメントされ、テスト23が、再び繰り返される。古すぎるイベントは、テスト23においてT(a) > t -Δtであるとき、削除される。
それから、アルゴリズムは、ステップ25においてGの点を新しいイベントに関連付けることによって進行する。この関連付けられた点は、集合S(t)の点にまだ関連付けられていないモデルの点の中で、つまり、集合G - Mの点の中でイベントev(p, t)を生じるピクセルpに位置mが最も近い点である。
このステップ25において使用される距離の基準d(.,.)は、たとえば、行列の平面内のユークリッド距離である。イベントev(p, t)が集合S(t)に含まれるかどうかを判断する前に、アルゴリズムは、ステップ26において、最小化された距離が閾値dmax未満であるかどうかを調べる。例として、閾値dmaxは、6ピクセルに対応するように選択される可能性がある。テストが異なる閾値が特定の応用により適していることを示す場合、その異なる閾値が当然保持され得る。d(p, m)≧dmaxである場合、イベントは破棄され、アルゴリズムは次のイベントを待つステップ21に戻る。
イベントが探索される物体に帰せられる(テスト26においてd(p, m)<dmax)場合、インデックスbが、ステップ27において1単位だけインクリメントされ、検出時間t、このイベントの位置p、およびこのイベントに関連付けられたばかりのモデルの点mが、ステップ28においてT(b)、P(b)、およびM(b)として記録される。それから、イベントev(p, t)の検出に連続する処理が終了され、アルゴリズムは次のイベントを待つステップ21に戻る。
空間変換の更新期間が過ぎると、更新に貢献するために集合S(t)内に十分な数のイベントが存在し、たとえば、L=5イベントであることを保証するためにテスト30が実行される。したがって、b<a+L - 1(テスト30)である場合、更新は実行されず、アルゴリズムは次のイベントを待つステップ21に戻る。
十分なイベントが存在する(b≧a+L - 1)場合、モデルGを使用することによって探索される空間変換Ftが角度Δθの回転RΔθおよびベクトルΔTの移動の組合せである場合、回転角Δθおよび移動のベクトルΔTを選択するために最小化動作31が実行される。
図9は、本明細書において使用される表記を与える。Hは、決まった位置に配置された、シーン内で追跡される形状を定義する点のパターンを表し、Oは、点のこの集合Hの重心を表す。瞬間tにおいて、このパターンHは、ベクトルの移動Tおよびそのパターンの重心Oの周りの角度θの回転に従って移動され、これは、時間tに受け取られたイベントの処理中に参照されるモデルG=G(t)を与える。処理は、回転の角度θおよび移動ベクトルTの変化Δθ、ΔTの推定値を生じる。
最小化動作31は、たとえば、以下の形態の総和のような距離の基準を最小化するパラメータΔθ、ΔTを見つけることである。
これは、推定されるパラメータが行列
によって定義される回転RΔθの角度ΔθおよびベクトルΔTの座標である式(1)の特定の場合である。式(4)において、表記cP(n)およびcM(n)は、原点に関して回転RΔθの中心cを有し、それぞれP(n)およびM(n)を指すベクトルを表す。回転RΔθの中心cの位置は、モデルG(t)に関連して定義される可能性がある。たとえば、図9に示されるように、点cをモデルG(t)の点の重心に配置することがあり得る(そのとき、大域的な移動のベクトルTは、ベクトルOcに等しい)。
ここで、回転RΔθおよび移動ΔTからなる空間変換Ftは、最近考慮に入れられたイベント、すなわち、集合S(t)のイベントが検出されたピクセルのできるだけ近くにモデルG(t)を近づけるためにそのモデルG(t)を動かす変換である。これが、図10に示されることであり、ここで、記号+は、S(t)のイベントが検出されたピクセルP(n)の位置を表し、記号・は、これらのイベントに関連付けられたモデルGの点M(n)の位置を表し、G'は、点M(n)をピクセルP(n)のできるだけ近くに配置し、回転RΔθおよびベクトルの移動ΔTに従ってGの移動の結果として生じる、中心c'の次のモデルを表す。
基準(4)を最小化する回転RΔθおよび移動ΔTは、空間変換の更新の瞬間とその前の更新の瞬間との間のモデルGに対応する形状の動きを明らかにする。ステップ32において、これら2つの集合を更新するために集合GおよびMの点に同じ変換が適用される。モデルGの(または集合Mの)各位置Xは、cY=RΔθ[cX]+ΔTとなるような位置Yによって置き換えられる。ステップ32の後、アルゴリズムは、次のイベントを待つステップ21に戻る。
連続的に推定された回転RΔθの角度Δθおよび移動の対応するベクトルΔTによってそのように特徴付けられる空間変換Ftは、シーン内で追跡される形状の動きを表す。それらのパラメータが、図1のコンピュータ20の出力である。形状Hの決まった基準の位置に関連して定義される角度θおよび移動のベクトルTを得るために連続的に決定された値ΔθおよびΔTを累積することがあり得る。
図8に示された実施形態は、シーン内で探索される形状の追跡情報、すなわち、空間変換Ftのパラメータの更新周波数を制御することを可能にする。概して、この更新周波数は、10μsと1msとの間の周期に対応する。したがって、この更新周波数は、通常のカメラのフレーム周波数よりも速い可能性がある。
持続時間Δtは、シーンの動的な内容に応じて設定される。SVD計算に基づく実装においては、探索される移動可能な物体の完全な外形の点のほとんどすべてがイベントとの対応に含められ得るようにして、集合S(t)がこの完全な外形を保持するように時間間隔Δtが十分に長いことが望ましい。一方、あまりに長い継続時間Δtは、計算の負荷を高め、高速な物体を正しく追跡することを可能にしない。概して、継続時間Δtは、10μsから20msまでの間で選ばれる。
非同期的なセンサー10によって見られるシーン内の形状の追跡における別の手法が、図11に示される。より少ない計算をやはり必要としながらより優れたダイナミクスを提供するこの手法においては、更新されるモデルを更新することを可能にする空間変換Ftが、イベントev(p, t)の検出の前に実行される関連付けとは独立して、(このイベントが探索される物体に帰せられたので)検出されるイベントev(p, t)が生じる行列のおよび関連する点mのピクセルpに応じて決定される。
図11の実施形態においては、非同期的なセンサーによって観測されるシーン内でK個の物体が探索されると考えられる。これらの物体は、整数k(k=1, 2, ..., K)を付番され、それぞれの物体が、Gk(t)または単にGkと表記される点のモデルを有する。単一の物体が追跡されるよくある場合は、K=1とすることによって含められる。
各物体kの追跡を開始するために、その物体のモデルGkが、センサー10の視野内のこの物体の位置取りにかなり近い位置取りによって初期化される(ステップ40)。そして、ステップ41において、アルゴリズムは、センサー10から生じる新しいイベントを待つ。
時間tにおいて行列内の位置pのピクセルから生じるイベントev(p, t)を受け取った(ステップ42)後、モデルGkの点mkを検出されたイベントに関連付けるステップ43が、各物体k(k=1, 2, ..., K)に関して実行される。各物体kに関して、ステップ43は、アルゴリズムがイベントev(p, t)との以前の関連付けを記憶しないので、距離の基準d(mk, p)を最小化するモデルGkの点mkが、イベントに前に関連付けられた点を除外することなく選択されことを除いて、図8を参照して上で説明されたステップ25と同じである。
ステップ44において、ステップ42において検出されたイベントev(p, t)は、物体kに帰せられるか、またはこれが欠けている場合、シーン内の追跡される物体の動きに関連しないものとして除外される。イベントev(p, t)がいずれの物体にも帰せられない場合、アルゴリズムは、次のイベントを待つステップ41に戻る。物体kに帰せられる場合、空間変換Ftが、この物体のモデルGkに関してステップ45において計算される。
イベントev(p, t)を物体kに帰すべきか否かを判断するためにいくつかのテストまたはフィルタリングがステップ44において実行され得る。
最も単純なのは、図8を参照して上で説明されたステップ26と同様に、距離d(mk, p)を閾値dmaxと比較することによって進行することである。d(mk, p)<dmaxである場合、モデルGkの点mkとのピクセルpの関連付けが確認され、物体がこの条件を満たさない場合、帰属の決定は行われない。しかし、ある物体が別の物体を隠す可能性がありつつ、いくつかの追跡される物体がこの条件を満たすことが起こり得る。物体の間の遮蔽の場合を含むこれらの曖昧な場合を解決するために、空間的制約かまたは時間的制約かのどちらかを使用するいくつかの技法が適用される可能性がある。これらの技法が、以降で吟味される。
ステップ44において行われ得る別の処理は、背景のあり得る動きを考慮に入れている。特に、非同期的なセンサー10がそれ自体動いている場合、固定の背景は相対的に移動しており、関心のある物体の追跡に関する処理から除外されるべきである多くのイベントの検出を生じる。背景の動きを考慮に入れる方法が、以降で説明される。
イベントev(p, t)が物体kに帰せられていると、空間変換Ftのパラメータが、ステップ45において計算され、それから、この変換Ftが、ステップ46において後者を更新するためにモデルGkに適用される。最後に、Πkと表記される物体kの変位の平面が、ステップ47において推定される。それから、アルゴリズムは、次のイベントを待つステップ41に戻る。
空間変換Ftを計算するためにモデルGkの点mに関連する1つの現在のイベントpに限定していることは、コスト関数の構成要素fを導入する結果となる。
f=d[p, Ft(m)] (5)
ここで、d[., .]は、ピクセルの行列の平面内の距離の測定値である。d[., .]は、特に、二次の距離(quadratic distance)である可能性がある。
剛体空間変換がモデルGkの更新のために考慮される場合、所与の中心cの回転RΔθの角度Δθおよび移動のベクトルΔTの決定がなされなければならず、二次の距離によるコスト関数の構成要素は、次のように記述される。
f=||cp - RΔθ[cm] -ΔT||2 (6)
ここで、cpおよびcmは、原点に関して回転RΔθの中心cを有し、それぞれ点pおよびmを指すベクトルを示する。
この構成要素fは、任意の角度Δθに関して、選択ΔT=cp - RΔθ[cm]がf=0をもたらすので、無限のペア(Δθ, ΔT)に関して最小化され得る。目的は、fが単なる構成要素である大域的なコスト関数を最小化することである。しかし、この構成要素fは、モデルGkの更新中にある種の勾配降下を実行するために、回転の角度θ(またはΔθ)および移動のベクトルT (またはΔT)に関連する勾配の項∇θf、∇Tfの推定を可能にする。その他の観点では、空間変換Ftに関してパラメータの値が保持される。
ΔT= -η1.∇Tf(Δθ0, ΔT0) (7)
Δθ= -η2.∇θf(Δθ0, ΔT0) (8)
ここで、η1およびη2は、予め定義された正の収束ステップである。例として、η1=0.25およびη2=0.025が、良好な感度を得るために選ばれる可能性がある。η1およびη2の好適な値は、いくつかのシミュレーションまたは実験を行うことによって必要に応じてそれぞれの応用に関して調整されるべきである。(7)および(8)において、偏導関数∇θf、∇Tfが、回転の角度および移動ベクトルの好適な値Δθ0、ΔT0に関して取得される。
fの偏微分は、式に関して、
を有し、ここで、(.)Tは、転置の演算を表し、
である。これらの偏微分は、ΔT0およびΔθ0の特定の値に関して計算されることになる。それから、結果∇Tf(Δθ0, ΔT0)、∇θf(Δθ0, ΔT0)が、モデルGkを更新するためにステップ46において使用されるパラメータΔTおよびΔθを得るために(7)および(8)に入れられる。
方法の実施形態において、偏微分は、Δθ0に関して角度
を選択し、ΔT0に関してベクトルcp - cm'を選択することによって(9)および(10)に従って計算され、
である。回転のこの角度Δθ0および移動のこのベクトルΔT0は、もし点mに適用されるとするならば、図12に示されるように、その点mをイベントev(p, t)の位置pに一致させる。方法のこの実施形態において、ステップ45は、したがって、(8)〜(9)に従って勾配∇Tf(Δθ0, ΔT0)、∇θf(Δθ0, ΔT0)を計算し、それから、(6)〜(7)に従って空間変換FtのパラメータΔT、Δθを計算する際に
および
とすることにである。
計算(9)〜(10)に関して、その他の選択、たとえば、Δθ0=0およびΔT0=mp(mをp上に持ってくる単純な移動)またはΔθ0=ΔT0=0があり得る。2回の反復の間の基本的な変位は振幅が小さいので、偏微分(9)〜(10)が計算される正確な点(ΔT0, Δθ0)は、(0, 0)において、またはmとpとの間の距離に関して選択される場合、おそらくほとんど影響がない。さらに、この選択は、回転の中心cの選択の取り決めに応じて変わる。回転の中心cは、概して、モデルGkの点の重心であるが、これは必須ではない。
方法の多くの応用において、空間変換Ftは、上述のように、回転と移動との組合せによって表される可能性がある。しかし、物体のモデルGkの変形を可能にすることによる代替があり得る。
特に、アフィン変換Ftを考慮に入れることがあり得る。これは、画像平面に制限された動きのみでなく、探索される物体の三次元の動きを考慮に入れることを可能にする。2Dアフィン行列は、2つの軸に沿った倍率sx、syの適用によって回転の行列RΔθから生じる。これは、形態
の関係に従って点mおよびpをマッチングしようとすることに戻り、この形態において、点cは、やはり、モデルGkの点の重心において選択される可能性がある。倍率sx、syに関連したコスト関数の構成要素fの偏微分の計算によって、勾配降下の同じ原理が、これらの倍率を推定するために適用され得る。第1の近似として、(6)および(7)に従ってΔTおよびΔθの推定を完了するために、別の収束ステップη3を使用し、
sx=1+η3.( |px| - |mx| ) (11)
sy=1+η3.( |py| - |my| ) (12)
とすることがあり得る。式(11)および(12)において、|px|および|py|は、ベクトルcpの座標の絶対値であり、|mx|および|my|は、ベクトルcmの座標の絶対値である。
センサーの非同期信号において追跡される物体kが単に一定速度
で移動されているエッジである場合、図13は、三次元、すなわち、ピクセルの2D行列の2つの方向に対応する2つの空間的次元x、yおよび時間の次元tを有する空間内のこのエッジに帰せられるイベントを示す。エッジは、この平面内に含まれ、
に比例する速度ベクトルVに従って平面Πk(t)をスキャンする。実際は、イベントを物体に帰することの獲得雑音およびあり得る誤差は、最近物体に帰せられたイベントによって通り抜けられた平均平面(mean plane)として延びる平面Πk(t)のまわりにイベントの特定のばらつきがあるようなものである。
平面Πk(t)、または表記を簡単にするために時間インデックスtが省略される場合Πkは、その平面の点gk(t)またはgkのいずれかと、その平面の法線の方向を与えるベクトルnk(t)またはnkによって定義され得る。図13の表現において、点gkは、瞬間t -Δtとtとの間の物体kに帰せられるイベントの重心に一致し、Δt=40msである。主成分分析(PCA)等の特定の基準で、平面Πkと、瞬間t -Δtとtとの間の物体kに帰せられるイベントとの間の距離の合計を最小化することによって平面Πkのベクトルnkおよび点gkを推定するために、最小二乗法(least square fit)が使用され得る。
この最小化する計算は、物体kの瞬間的な変位を表す平面Πkを推定するためにステップ47において実行される。
変位の平面Πkを決定する方法に関するさらなる詳細に関しては、R. Benosmanらによる論文「Event-based Visual Flow」、IEEE Transaction On Neural Networks and Learning Systems、Vol. 25、No. 2、2013年9月、407〜417頁または特許出願国際公開第2013/093378(A1)号を参照し得る。
追跡される物体が単純なエッジではなく、センサーによって見られる形状が二次元に広がる物体である場合、物体kに割り当てられた最近のイベントと平面のパラメータnk、gkによって定義される平面との間の距離の合計を最小化することによって変位の平面Πkを決定することがやはり可能である。三次元空間-時間表現において、この平面Πkは、物体kの局所的な変位全体を明らかにする。
物体kに関して推定された変位の平面Πkは、新しいイベントev(p, t)を物体kに帰すべきか否かを判断するために、図11のステップ44においていくつかの方法で使用される可能性がある。
ステップ44に戻ると、そのステップは、特に、いくつかの物体が追跡される(K>1)場合、イベントの帰属を決定するために、遮蔽の場合を解決すること、またはいくつかの物体の間の曖昧性のより広い場合を解決することを含む可能性がある。ステップ43において、イベントev(p, t)と追跡される様々な物体のモデルGkに最も近い点mkとの間のそれぞれの距離d(mk, p)が計算された。これらの距離d(mk, p)のうちの1つのみが閾値dth、たとえば、dth=3ピクセル未満である場合、イベントはこの物体に帰せられる。対称的に、いくつかの異なる物体に帰せられ得るイベントは、曖昧なイベントと考えられる。
この処理が、図14に示される。この処理は、ステップ50において、それぞれ1および0へのインデックスkおよびjの初期化から始まる。ステップ43において最小化された距離d(mk, p)が閾値dth未満であるかどうかが、テスト51において調べられ、肯定的である場合、ステップ52において、インデックスjが1単位だけインクリメントされ、ステップ53において、テーブルの第jのエントリk(j)がkに等しくされる。ステップ53の後、またはテスト51においてd(mk, p)≧dthであるとき、テスト54において、すべての物体が調べられた(k=K)かどうかが調べられる。k < Kである場合、テスト54の後に、ステップ55においてインデックスkを1単位だけインクリメントすることと、それから、次のテスト51に戻ることとが続く。テスト54においてk=Kであるとき、整数jが評価される。j=0である場合、いずれの物体も、検出されたイベントev(p, t)に十分に近いその物体のモデルを持たないと考えられ、イベントは、拒絶される(図11のステップ41に戻る)。j=1である場合、イベントev(p, t)が、物体k=k(1)に帰せられる(図11のステップ45への経路)。j>1である場合、曖昧性の削除56が、物体k(1)、...、k(j)の間で実行されなければならない。
曖昧性の削除56において空間的制約を考慮に入れることは、以下のいくつかの方針に従って行われ得る。
・最近に帰する: 新しいイベントev(p, t)は、モデルGkが最も近い(k(1)、...、k(j)の中の)物体k、すなわち、d(mk, p)を最小化する物体に帰せられる。理論的には、この方針は、新しいイベントがモデルGkに完璧に対応する場合、およびデータがいかなる雑音も含まない場合で、遮蔽による曖昧性がないときに正しく働く。
・すべてを拒絶する: この手法は、単純に、曖昧なイベントを無視し、つまり、図11のステップ45〜47が、イベントev(p, t)に関して実行されない。この手法は、事前に明確な判断をし得ないので論理的であるように見える。しかし、追跡は、形状のダイナミクスを損なう恐れがあるので失敗する可能性がある。
・すべてを更新する: 曖昧なイベントev(p, t)の近くのすべてのモデルGkが更新される。その他の観点では、図11のステップ45〜47が、d(mk, p)≦dthであるような各物体kに関して実行される。
・重み付けされた更新: 曖昧なイベントev(p, t)は、距離の反対方向の変化する重み付けによってそれぞれの近くのモデルGkに寄与する。言い換えれば、図11のステップ45〜47は、それぞれの重み係数αkが、たとえば、d(mk, p)に反比例する距離d(mk, p)の減少関数として計算され、Σαk=1であるようにして、d(mk, p)≦dthであるような各物体kに関して実行される。
イベントに基づく獲得プロセスの非常に高い時間解像度は、曖昧な状況の解決のためのさらなる情報を提供する。物体kの情報を含み、部分的に、この物体のダイナミクスを符号化する現在のイベントのレートrkが、追跡される各形状Gkに関して決定され得る。
本明細書において、tk,0、tk,1、...、tk,N(k)は、長さΔtがおよそ数ミリ秒から数十ミリ秒までである可能性がある時間窓の間に物体kに帰せられた、番号がN(k)+1である最も最近のイベントの時間のラベルを表し、tk,0<tk,1<...<tk,N(k)である(したがって、tk,N(k)において検出されたイベントが、物体kに関して最も新しい)。これらの時間のラベルは、
によって定義されるイベントのレートrkの移動平均を各物体kに関して計算することを可能にする。
現在のイベントのレートrkのこの計算は、瞬間tk,N(k)におけるこのイベントの検出に続いてイベントが物体kに帰せられたら(ステップ44)すぐに実行される可能性がある。
そして、次のイベントev(p, t)がいくつかの追跡される物体の間の曖昧性を生じるとき、ステップ44は、以下の式による、曖昧なイベントev(p, t)が帰せられ得る各物体kに関するスコアCkの計算を含む可能性がある。
Ck=(t - tk,N(k)) rk (14)
このスコアCkは、各物体kとの曖昧なイベントev(p, t)の時間コヒーレンシー(time coherency)を評価することを可能にする。イベントev(p, t)が物体kに属する場合、継続時間t - tk,N(k)が現在のレートrkの逆数に近いことが予測され得る。そのとき、ステップ44において時間的制約を考慮に入れることは、(14)に従ってスコアCkを計算した後、イベントev(p, t)が帰せられ得る様々な物体kからスコアが1に最も近い物体を選択することである。この選択がなされると、レートrkが、選択された物体に関して更新される可能性があり、制御が、図11のステップ45にわたる可能性がある。
曖昧性を削除するために時間的制約を考慮に入れ、図14のステップ56の実行のモードを形成する処理が、図15に示される。その処理は、ステップ60においてインデックスiの1への初期化から始まり、物体kのインデックスが、k(1)に初期化され、スコアCが、(t - tk(1),N(k(1))) rk(1)に初期化される。ループ61〜65は、イベントev(p, t)が帰せられ得る様々な物体のスコアCk(i)を評価するために実行される。ステップ61において、インデックスiが、1単位だけインクリメントされる。ステップ62において、物体k(i)のスコアCk(i)が、C'=(t - tk(i),N(k(i))) rk(i)に従って計算される。|C' - 1|≧|C - 1|(テスト63)である場合、インデックスiを候補の物体の番号jと比較するためにループ脱出テスト65が実行される。テスト63において|C' - 1|<|C - 1|である場合、ループ脱出テスト65に抜ける前にインデックスkをk(i)で置き換え、C=C'の更新を行うためにステップ64が実行される。テスト65においてi < jである限り、プロセスは、次の反復のためにステップ61に戻る。j=jであるとき、イベントを物体kに帰することが、完了しており、アルゴリズムは、選択された物体kに関する数N(k)および時間のラベルtk,0、tk,1、...、tk,N(k)を更新するステップ66に移る。そのとき、レートrkは、ステップ67において(12)に従って更新され、アルゴリズムは、図11のステップ45に移る。
ステップ56において曖昧性を削除するための別の方法は、イベントev(p, t)に帰せられ得る様々な物体k(1)、...、k(j)の変位の平面Πk(1)、...、Πk(j)を参照することによって空間的制約と時間的制約とを組み合わせることである。
特に、イベントev(p, t)の帰属の決定のために、k(1)、...、k(j)の中で、イベントev(p, t)と各平面Πk(1)、...、Πk(j)との間の、三次元空間-時間表現内で測定された距離を最小化する物体kを保持することがあり得る。そのとき、イベントは、以下であるように物体kに帰せられ、
であり、D(i)= |egk(i). nk(i)| (16)
であり、ここで、「.」は、三次元空間内の2つのベクトルの間のスカラ積を示し、nk(i)は、平面Πk(i)の法線の方向を与えるベクトルであり、egk(i)は、三次元空間内の検出されたイベントev(p, t)を示す点eから平面Πk(i)の点gk(i)のうちの1つを指すベクトルである。
曖昧性を削除し、図14のステップ56の別の実施形態を形成するために空間的制約と時間的制約とを組み合わせる処理が、図16に示される。その処理は、ステップ70においてインデックスiの1への初期化から始まり、物体kのインデックスが、k(1)に初期化され、距離Dが、|egk(1). nk(1)|に初期化される。ループ71〜75は、イベントev(p, t)が帰せられ得る様々な物体の距離D(i)を評価するために実行される。ステップ71において、インデックスiが、1単位だけインクリメントされる。ステップ72において、物体k(i)に関する距離D(i)が、D=|egk(i). nk(i)|に従って計算される。D'≧D (テスト73)である場合、インデックスiを候補の物体の番号jと比較するためにループ脱出テスト75が実行される。テスト73においてD'<Dである場合、テスト75に抜ける前にインデックスkをk(i)で置き換え、D=D'の更新を行うためにステップ74が実行される。テスト75においてi<jである限り、プロセスは、次の反復のためにステップ71に戻る。i=jであるとき、イベントを物体kに帰することが、完了しており、アルゴリズムは、図11のステップ45に移る。
非同期的なセンサー10が動いているとき、イベントは、シーンの固定の背景によっても生成される。図17は、追跡される物体kに属するイベントとこの物体に関して推定された変位の平面Πkとの間の距離の典型的な分布(曲線78)と、固定の背景に属するイベントと物体の変位の平面との間の距離の典型的な分布(距離79)とを示す。これは、変位の平均平面Πkが追跡される物体kに関するイベントを背景を含む追跡されない物体に関するイベントと分けるための区別の基準を与えることができることを示す。追跡される物体とコヒーレント(coherent)でない、すなわち、変位の平面Πkから「遠すぎる」イベントは、単純に無視される。
そのとき、シーンの背景から生じたイベントをフィルタリングするための1つの方法は、(図11のステップ47において推定された)追跡される物体の変位の平面Πkと時間窓Δtの間のステップ44においてこの物体に帰せられた検出されたイベントev(p, t)を示す点との間の距離の統計的な分布を推定することである。この統計的な分布は、図17の曲線78に対応する。この統計的な分布は、変位の平面Πkと物体に帰せられたイベントとの間の平均の距離dkと、分布の標準偏差σkとを評価することを可能にする。これらのパラメータを使用して、許容可能な距離の値に関して間隔Ikが決定される。新しい検出されたイベントev(p, t)が追跡される物体に割り当てられるべきであるかどうかに関して判断がなされるべきであるとき、三次元空間内のイベントev(p, t)を示す点と平面Πkとの間の距離D=|egk.nk|(16)に従って計算が行われる。この距離Dが間隔Ikから外れる場合、イベントは、物体kに帰せられない。対照的に、イベントは、物体kに帰せられるか、または、特に、図14〜図16を参照して上で検討されたような任意の遮蔽を考慮に入れるためにその他のフィルタリングにかけられる。
たとえば、間隔Ikは、平均の距離dkの値に中心を置き、その間隔の幅は、標準偏差σkの倍数である。
背景のあり得る動きを考慮に入れるために、図11のステップ44は、図18に示される処理を含み得る(単一の物体kが追跡される特定の場合。この場合は、K > 1である場合に容易に一般化され得る)。ステップ42におけるイベントev(p, t)の検出の後、距離D=|egk.nk|がステップ80において計算され、この距離Dが間隔Ik内に入るかどうかを判定するためにテスト81が実行される。DがIkの外にある場合、プロセスは、図11のステップ41に戻る。DがIk内に入る場合、イベントev(p, t)は、背景の動きではなく物体kに帰せられる。そのとき、物体kの変位の平面Πkと相対的な距離の分布(曲線78)が、ステップ82において距離Dによって更新され、それから、間隔Ikが、ステップ83において再計算される。そして、プロセスは、図11のステップ45に移る。
図14〜図18を参照して説明されたプロセスは、図11による本発明の実施形態に関連して示された。しかし、追跡される複数の物体の間のあり得る遮蔽およびシーンの背景のあり得る動きを考慮に入れるために使用されるこの処理が、特に、図8を参照して説明されたSVD型の技法に頼るとき、形状を追跡する方法のその他の実施形態によっても使用され得ることが気づかれるであろう。
デジタル試験(digital experiment)が、上で開示された方法の性能を明らかにするために行われた。これらの試験は、以下の例に包含される。
試験は、剛体空間変換Ft、すなわち画像の平面内の移動および回転からなる空間変換を探すことによって、図6Aおよび図7を参照して上で示された、回転するディスクに描かれた星の場合に行われた。
ディスクは、毎分670回転の速度で回転された。モデルGの形状を与えるパターンHが、スナップショットから星のエッジごとに6つの点を選択することによって手動で生成された。6ピクセルの距離の閾値が、雑音の影響を取り除き、計算の負荷を削減するために使用された。図7によって示されたように、アルゴリズムは、高い回転速度にもかかわらず効果的な方法で回転する形状を追跡することに成功する。
図19は、以下の追跡の3つの方法によって得られた星形の追跡の精度を比較することを可能にする。
・出力信号がフレームからなる通常のカメラの画像を処理するICPアルゴリズム(図19の曲線85)。比較が正確であるために、フレームを区別した後に残っているピクセルの位置のみがICPアルゴリズムによって考慮される。
・50μsの期間にわたって収集されたイベントを考慮することによって、図8を参照して示された方法で、SVDの手法に基づく解析的な形態の推定とともに非同期的なイベントに基づくセンサー10を使用する形状追跡の方法(曲線86)。
・図11を参照して示された方法で、イベントev(p, t)の検出の前に実行された関連付けとは独立して、このイベントev(p, t)を生じる行列のピクセルpとモデルの点mとの間の現在の関連付けに従って更新されたモデルの推定とともに非同期的なイベントに基づくセンサー10を使用する形状追跡の方法(曲線87)。
形状追跡の精度を評価するために、モデルの集合とアクティブなイベントの位置との間の平均の距離が200μsごとに計算される。平均誤差は、曲線85、86、および87に関してそれぞれ2.43、1.83、および0.86ピクセルであり、それぞれの標準偏差は、0.11、0.19、および0.20ピクセルである。センサーの非同期信号を考慮に入れることは、特に、図11の場合、形状追跡の方法の著しい改善を可能にする。
より優れた時間の精度は、より正確な追跡につながる。誤差の曲線は、刺激の反復的な回転による振動(図19の差し込み図)を示す。追跡誤差は、アルゴリズムの再現性および信頼性の良好な特性を示す。残余誤差(residual error)は、形状の角度位置に関連して等方性応答(isotropic response)を与えない、センサーの制限された空間解像度と組み合わされたピクセルの正方形の行列の幾何学的配置によるものである。
モデルGに関して保持される点の数は、計算のコストおよび精度に影響を与える。
図11による実施形態の場合、等しい画像レート(image rate)を1つのイベントを処理するために必要とされる計算の時間の逆数として定義することがあり得る。
例において、追跡プログラムは、2.8GHzでクロック制御される「Intel Core i5」型の中央演算処理装置(CPU)を備えたコンピュータ上で実行され、このCPUの能力の25%を占有していた。この構成において、モデルの90点のサイズは、200kHzの等しい画像レートに対応する検出の周波数を提供できるように見えた。モデル内の最大で約2000点まで、後者は、少なくとも11kHzの等しい画像レートで更新され得る。経験により、60点から70点までのモデルに関して、アルゴリズムが最大1250rpmの速度で移動される形状をリアルタイムで追跡することができることが示された。
概して、物体の外形の角をモデルに含めることに対する関心が存在する。しかし、物体の形状の直線的なエッジに沿って、追跡の最終的な精度に悪影響を与えることなく点の数を減らすことが可能である。
点の数が増えるとき、追跡誤差は、ゼロに向かって下がらず、非同期的なセンサーの空間解像度の限界に関係がある値である約0.84ピクセルに向かって下がる。必然的に、モデルがより多くの点を含むほど、追跡の精度はより良くなるが、計算コストはより高くなる。モデルに関する60点から100点のサイズは、高い追跡周波数(約200kHz)を保つことによって相応の精度(約0.90ピクセル)を得るためのほどよい妥協点である。
実験は、図11による実施形態において式(6)、(7)、(11)、および(12)を使用して計算されたアフィン空間変換を考慮に入れることによっていくつかの形状(H形、自動車形、および星形)の場合に行われた。この実験中、物体の形状は、図20(H形のa〜d、自動車形のe〜h、星形のi〜l)に示される方法で変形され、サイズを変更される。
図21は、自動車形の追跡中の形状の元のサイズに関連する倍率sx、syを示す(それぞれ、曲線90および91)。縮尺の関係は、パースペクティブ(perspective)の変化が実験中に水平軸に沿ってよりも垂直軸に沿ってより頻繁に起こるので2つの軸に沿って異なる。(92として描かれた)トラッキング誤差は、0.64ピクセルの平均値および0.48ピクセルの標準偏差を明らかにした。
したがって、図11を参照して上で説明された方法は、アフィン変換に関して探索中に良好な性能をもたらす。
この実験においては、自動車の交通データが、非同期的なセンサーによって獲得された。図22に示されるように、4つの連続的な瞬間に、数台の車両が、いくつかのレーンを同時に走っていた。図22の列(a)は、数マイクロ秒の間に非同期的なセンサーによって生成され、蓄積されたイベントを示し、列(b)は、対応するグレイスケール画像を示す。選択されたシーンは、動かない物体(木、燈柱、...)が原因である大きな遮蔽があり、堅牢な追跡に関する大きな課題を形成する移動可能な物体(車両)がある決定的な瞬間を有することが分かる。
自動車およびトラックに対応する2つの形状95、96が、アフィン変換Ftを探すことによる図11に示された方法によって追跡された。式(6)、(7)、(11)、および(12)の収束ステップη1、η2、およびη3は、それぞれ、0.1、0.002、および10-5に設定された。自動車に関するモデルG1が67点を含んでおり、トラックに関するモデルG2は、102点を含んでいた。これらのモデルは、獲得された画像のピクセルを手動で指し示すことによって生成された。
図23は、図11による方法およびイベントに基づく非同期的なセンサーを用いて観測された追跡誤差を示し、一方、図24は、フレームベース(frame base)によりカメラから生じる画像を用いる通常の方法を用いて観測された同じ誤差を示す。比較が適切であるために、通常のフレームに基づくICP技法が、100フレーム毎秒の頻度で再構築されたグレイスケール画像に適用された。各画像は、連続するフレームの間の違いを計算し、閾値演算を適用することによって移動し得るエッジを得るために前処理される。イベントに基づく方法の時間的精度は、約1μsであった。
図11によるイベントに基づく方法に関して、平均追跡誤差は、0.86ピクセルであり、標準偏差は0.19ピクセルであり(図23)、一方、通常のフレームに基づく方法は、5.70ピクセルの平均追跡誤差を生じ、標準偏差は2.11ピクセルであった(図24)。図23のサムネイル(a1)〜(a5)および図24の(b1)〜(b5)は、「トラック」の物体が遮蔽に遭い、追跡誤差の最大を生じる状況を示す。
本発明による方法によって得られるより高い時間的精度が、通常のフレームに基づく方法よりも優れた追跡の安定性によって達成されることは注目に値する。通常の方法において、獲得頻度を増やすことである(高価な)解決策は、常に遮蔽の状況を正しく処理するために十分であるとは限らない。反対に、非同期的なセンサーによって生成されるイベントに基づく信号の動的な内容は、アルゴリズムのためのより安定した入力データをもたらす。動かない障害物は、いかなるイベントも生じず、したがって、実質的に、追跡プロセスに影響を与えない。
曖昧性を削除するためのいくつかの方針が、遮蔽される可能性がある複数の物体の追跡に関してテストされた。
同じ方向に異なる速度で移動される「自動車」の物体および「トラック」の物体の形状が、自動車の交通を含む実際のシーン内で同時に追跡された。しばらくの間、トラックおよび自動車の形状は、トラックが自動車を追い越すまでセンサー10の視野内で重ね合わされる。トラックおよび自動車以外の物体は、背景雑音として処理される。
図25は、
・「トラック」の物体から生じるイベントと物体「トラック」の重心との間で観測された距離(曲線100)と、
・「自動車」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線101)と、
・「トラック」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線102)と、
・「トラック」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線103)とを示す。
曖昧性は、これらの曲線が同様の値を通過するときに生み出され、つまり、2つの車両の形状が、(約2.2sから2.9sの間)視野内で重なる。この場合、空間的な情報の使用は、共通領域のサイズが非常に小さくない限り不十分である可能性がある。
図26は、「トラック」の物体の平均のイベントのレートrk (曲線105)および「自動車」の物体の平均のイベントのレートrk (曲線106)を示す。この実験においては、自動車に関する約3000イベント毎秒のイベントのレートおよびトラックに関する約5000イベント毎秒のイベントのレートに関連するシーケンス全体の間、2つの車両の形状が分離可能であり続けるように、2つの曲線が分けられることが分かる。しかし、分けられ得るこの特性は、必ずしもすべてのシーケンスに関して保証されるとは限らない。
概して、通常、時間的制約を、たとえば空間的制約としてのさらなる制約と組み合わせることが好ましい。
図27〜図32は、「トラック」の物体のモデルの速度(曲線110)および「自動車」の物体のモデルの速度(曲線111)を、連続的な画像上の対応する点を特定することによって手動で決定された実際の速度(それぞれ、点線の曲線112および113)と比較することによって図11による方法の実施中に推定されたそれらのモデルの速度を示す。平均速度は、それぞれ、トラックに関して42.0ピクセル/sおよび自動車に関して24.3ピクセル/sであった。6つの図は、曖昧性を削除するための6つの異なる方針、すなわち、「最近に帰する」(図27)、「すべてを拒絶する」(図28)、「すべてを更新する」(図29)、「重み付けされた更新」(図30)、「レートrkに基づく時間的制約」(図31)、および「変位の平面Πkを使用する空間的制約と時間的制約との組合せ」(図32)に対応する。図27〜図32に含まれるサムネイルは、方法の間の違いを学ぶための最も興味深い瞬間を示す。各曲線の始まりは、遮蔽が起こっていない限り同じである。グラフの右側部分に示される百分率は、一方の曲線110と曲線112との間および他方の曲線111と曲線113との間の平均の相対偏差に対応する。
「最近に帰する」方針は、トラックのモデルが自動車のモデルによるそのトラックのモデルの遮蔽の後に見失われるので、比較的悪い結果をもたらすことが図27において分かる。「すべてを拒絶する」方針(図28)は、今度は、遮蔽の後に見失われるのが自動車のモデルであるので、もはや十分でない。
「すべてを更新する」方針(図29)は、2つの車両の形状が見失われることなく追跡されたままであるので好ましいように見える。シーケンスの最後に、トラックによって生成されたイベントは、自動車に関する結果として得られる軌跡がトラックの結果として得られる軌跡に向かってわずかにそれ、自動車の推定された速度が増えるときにトラックの推定された速度が減るようにして自動車のモデルを引きつける(図29の(c3)参照)。
「重み付けされた更新」の方針は、距離に依存する重み付けによって様々な物体の間の曖昧なイベントによってもたらされるダイナミクスを分散させる。図30は、トラックおよび自動車が見失われることなく追跡され、速度の曲線が実際の速度により一致することを示す。「すべてを更新する」方針と同じ理由で、シーケンスの最後にまだ違いがあるが、これらの誤差の大きさはより小さい。「重み付けされた更新」の方針は、複数の物体が交差または衝突するとき、空間的制約に基づいてそれらの中で好ましい。
「レートrkに基づく時間的制約」の方針(図31)は、この実験の枠組の中で良好な結果をもたらす。しかし、その方針の信頼性は、目標の物体が同様のイベントのレートを有するとき、保証されない。
「変位の平面Πkを使用する空間的制約と時間的制約との組合せ」の方針は、「トラック」の物体の変位の平面Π1および「自動車」の物体の変位の平面Π2を推定するために期間Δt 3 sとともに使用された(図33)。図32に示されるように、この方針は、2つの車両の追跡において最も小さな誤差を生じる方針である。これは、誤った帰属の決定を削除し、雑音に対するより優れた堅牢性を獲得することによって局所的な空間-時間平面Π1、Π2が近傍を実質的に制限するという事実によって説明され得る。より信頼性の高い帰属の決定のプロセスのおかげで誤差がトラックと自動車との間でより一様に分散されるに留意することは、興味深い。
移動可能なセンサーによって生成された非同期信号の2つのシーケンスが、図16を参照して説明された背景によって生成されたイベントを削除するための方法を適用することによってテストされた。
第1のシーケンスにおいては、非同期的なセンサーが手元に保持され、同時に動かされながら星形が屋内環境内で移動された。図34は、シーン(a1)〜(a5)のいくつかのスナップショットを示す。
結果を評価するために、(星の動きとセンサーとの動きとを組み合わせる)図11による方法によって計算された星の速度が、図34の曲線116によって示され、手動で取得され、点線の曲線117によって示される実際の速度と比較される。推定されたデータと実際のデータとの間の平均誤差は、6%と推定される。シーンは背景の多くのエッジを含むが、追跡プロセスは堅牢なままである。
第2のシーケンスは、自動車の交通をやはり有する屋外のシーンから来る。自動車の形状が、手動で移動される非同期的な視覚センサー10を用いて追跡される。
図35は、自動車の速度の推定の結果を示し(曲線118)、その結果を手動で決定された実際の速度と比較する(曲線119)。(たとえば、歩道または横断歩道が車に近いかまたは重ね合わされるときの)処理するのが難しい状況にもかかわらず、アルゴリズムの良好な時間-空間特性が、受け入れられ得る結果をもたらす。速度に対する平均推定誤差は、15%である。追跡の品質は、自動車がパースペクティブの実質的な変化にさらされ始めるとき、約3.5秒から劣化させられる(図35のb5)。
全体的に、上で明らかにされたようなイベントに基づく追跡は、センサーおよび追跡される物体が動いているときでさえも堅牢である。
上述の実施形態は、本発明の例示である。添付の請求項に由来する本発明の範囲を逸脱することなくそれらの実施形態に対して様々な修正がなされ得る。
10 センサー
11 回転板
15 光学部品
16 ピクセル
17a 感光素子
17b 感光素子
18a 検出回路
18b 検出回路
20 コンピュータ
78 曲線
79 曲線
85 曲線
86 曲線
87 曲線
90 曲線
91 曲線
92 トラッキング誤差
95 形状
96 形状
100 曲線
101 曲線
102 曲線
103 曲線
105 曲線
106 曲線
110 曲線
111 曲線
112 曲線
113 曲線
116 曲線
117 曲線
118 曲線
119 曲線

Claims (18)

  1. シーン内の形状を追跡する方法であって、
    前記シーンに向かい合って配列されたピクセルの行列を有する光センサー(10)から非同期的な情報を受け取るステップであって、前記非同期的な情報が、前記行列の各ピクセルに関して、前記ピクセルから非同期に生じる連続的なイベントを含む、ステップと、
    前記非同期的な情報内の物体に帰せられるイベントを検出した後、点の集合を含みかつ前記物体の追跡される形状を表すモデル(G)を更新するステップとを含み、前記更新するステップが、イベント(ev(p, t))の検出に続いて、
    前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連する最小の距離を有する前記モデルの点(m)を前記検出されたイベントに関連付けること、および
    前記検出されたイベントが生じる前記行列の前記ピクセル(p)および前記関連付けられた点(m)に従って、前記イベント(ev(p, t))の前記検出の前に実行された関連付けとは独立して前記更新されたモデルを決定することを含む、方法。
  2. 前記モデル(G)の点が、検出されたイベント(ev(p, t))が生じる前記ピクセル(p)に関連する閾値(dmax、dth)未満の距離にないとき、前記モデルが、前記物体に帰せられない前記イベントの前記検出に続いて更新されない、請求項1に記載の方法。
  3. 前記物体の変位の平面を推定するステップであって、変位の前記平面(Πk)が、現在の瞬間に終わる時間窓の間に前記物体に帰せられた検出されたイベントを示す点の集合に関連する距離の基準を最小化することによって、三次元、すなわち、ピクセルの前記行列の2つの方向に対応する2つの空間的次元および1つの時間の次元を有する空間内で推定される、ステップと、
    イベント(ev(p, t))の検出に続いて、前記イベントを前記物体に帰すべきか否かを判断するために前記物体の変位の推定された平面を考慮に入れるステップとをさらに含む、請求項1または請求項2に記載の方法。
  4. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)および変位の推定された平面(Πk)を有し、前記方法が、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、
    前記検出されたイベントを示す点と前記物体に関してそれぞれ推定された変位の前記平面との間の三次元空間内のそれぞれの距離を計算するステップと、
    前記検出されたイベントを、前記計算された距離が最小である前記物体に帰するステップとをさらに含む、請求項3に記載の方法。
  5. 前記物体の変位の前記平面(Πk)と前記物体に帰せられた検出されたイベントを示す点との間の距離の統計的分布を推定するステップと、
    イベント(ev(p, t))の検出に続いて、前記イベントを前記物体に帰すべきか否かを判断するために前記物体の変位の前記推定された平面および前記推定された統計的分布を考慮に入れるステップとをさらに含む、請求項3または請求項4に記載の方法。
  6. 前記推定された統計的分布に基づいて許容可能な距離の値の間隔(Ik)を決定するステップと、
    三次元空間内の検出されたイベントを示す前記点が、変位の前記推定された平面に関連して、前記許容可能な距離の値の前記間隔から外れる距離を有する場合、前記検出されたイベントを前記物体に帰さないステップとをさらに含む、請求項5に記載の方法。
  7. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記物体の各々が、前記物体に帰せられるイベントの検出の後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、イベント(ev(p, t))の検出に続いて、
    前記物体のうちの1つのみが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連する閾値(dth)未満の距離を有する点をそのモデル内に有する条件を満たす場合に、前記検出されたイベントを前記物体のうちの1つに帰するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記物体のそれぞれの物体が、前記物体に帰せられるイベントの検出の後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、
    前記検出されたイベントが帰せられ得る各物体に関して、前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連するそれぞれの距離の基準を最小化することによって、前記物体のモデル(Gt)の点(m)を前記検出されたイベントに関連付けるステップと、
    前記検出されたイベントを、距離の前記最小化された基準が最も小さい、物体に帰するステップとをさらに含む、請求項1から7のいずれか一項に記載の方法。
  9. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、前記検出されたイベントが、前記物体のうちの前記少なくとも2つのいずれにも割り当てられない、請求項1から7のいずれか一項に記載の方法。
  10. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、前記検出されたイベントが、前記検出されたイベントが帰せられ得る前記物体のそれぞれの物体に割り当てられる、請求項1から7のいずれか一項に記載の方法。
  11. 前記検出されたイベントが帰せられる物体の前記モデル(Gk)を更新するステップが、前記物体に関してそれぞれ最小化される距離の基準に依存する重み付けを用いて実行される、請求項10に記載の方法。
  12. 複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、
    各物体に関して、前記物体に帰せられるイベントのレートを推定し、前記物体に帰せられる最後のイベントが検出された瞬間を記憶するステップと、
    前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、イベントの前記推定されたレートに前記記憶された瞬間と前記イベントの検出の前記瞬間との間の時間間隔を掛けた積が1に最も近い前記物体のうちの1つに前記検出されたイベントを帰するステップとをさらに含む、請求項1から7のいずれか一項に記載の方法。
  13. 前記更新されたモデルを決定することが、パラメータの組によって定義された空間変換(Ft)を推定すること(45)と、前記推定された空間変換を前記モデル(Gk)に適用すること(46)とを含み、前記空間変換を推定することが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)と前記検出されたイベントに関連する前記モデルの前記点(m)に前記空間変換を適用することによって得られた点との間のピクセルの前記行列の平面内の距離の勾配の関数として前記パラメータを計算することを含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記空間変換(Ft)が、ピクセルの前記行列の前記平面内の移動および回転を含み、前記移動が、-η1.∇Tf(Δθ0, ΔT0)に等しい選択されたベクトルΔTを有し、前記回転が、-η2.∇θf(Δθ0, ΔT0)に等しい選択された角度Δθを有し、η1およびη2が、予め定義された正の収束ステップであり、Δθ0およびΔT0が、回転の前記角度の特定の値および前記移動のベクトルの特定の値である、請求項13に記載の方法。
  15. 回転の前記角度の前記特定の値および前記移動のベクトルの前記特定の値が、それぞれ、
    であり、pが、前記検出されたイベントが生じる前記行列の前記ピクセルを示し、mが、前記検出されたイベントに関連する前記モデルの前記点を示し、cが、前記回転の中心を示し、cpが、cからpを指すベクトルを示し、cmが、cからmを指すベクトルを示し、
    が、中心cの、角度Δθ0の回転である、請求項14に記載の方法。
  16. 前記空間変換(Ft)が、ピクセルの前記行列に含まれる2つの軸に応じたそれぞれの倍率の適用をさらに含むアフィン変換である、請求項14または請求項15に記載の方法。
  17. 前記2つの軸x、yに応じた前記倍率sx、syが、sx=1+η3.(|px|-|mx|)およびsy=1+η3.(|py|-|my|)に従ってそれぞれ計算され、η3が、予め定義された正の収束ステップであり、pxおよびpyが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)の、軸xおよびyに応じたそれぞれの座標であり、mxおよびmyが、前記検出されたイベントに関連する前記モデルの前記点(m)の、前記軸xおよびyに応じたそれぞれの座標である、請求項16に記載の方法。
  18. 光センサー(10)から受け取られた非同期的な情報を使用して請求項1から17のいずれか一項に記載の方法を実行するように構成されたコンピュータ(20)を含む、シーン内の形状を追跡するためのデバイス。
JP2016565241A 2014-04-30 2015-04-24 非同期光センサーによって観測されたシーン内の形状を追跡する方法 Expired - Fee Related JP6665110B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1454003A FR3020699A1 (fr) 2014-04-30 2014-04-30 Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
FR1454003 2014-04-30
PCT/FR2015/051129 WO2015166176A1 (fr) 2014-04-30 2015-04-24 Procédé de suivi de forme dans une scène observée par un capteur asynchrone de lumière

Publications (2)

Publication Number Publication Date
JP2017521746A JP2017521746A (ja) 2017-08-03
JP6665110B2 true JP6665110B2 (ja) 2020-03-13

Family

ID=51570522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565241A Expired - Fee Related JP6665110B2 (ja) 2014-04-30 2015-04-24 非同期光センサーによって観測されたシーン内の形状を追跡する方法

Country Status (7)

Country Link
US (1) US10109057B2 (ja)
EP (1) EP3138079B1 (ja)
JP (1) JP6665110B2 (ja)
KR (1) KR102326789B1 (ja)
CN (1) CN106462976B (ja)
FR (1) FR3020699A1 (ja)
WO (1) WO2015166176A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
EP3120897A1 (en) * 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) * 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US9934557B2 (en) 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
US11138742B2 (en) * 2017-02-14 2021-10-05 The Trustees Of The University Of Pennsylvania Event-based feature tracking
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN108564014B (zh) * 2017-04-17 2022-08-09 佳能株式会社 对象形状跟踪装置和方法以及图像处理***
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
CN107610069B (zh) * 2017-09-29 2020-10-09 西安电子科技大学 基于共享k-svd字典的dvs可视化视频去噪方法
CN111417983B (zh) * 2017-11-14 2023-11-24 苹果公司 基于事件相机的可变形对象跟踪
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
JP7227926B2 (ja) * 2018-01-05 2023-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置および固体撮像素子の制御方法
JP7357624B2 (ja) * 2018-01-26 2023-10-06 プロフジー イベントベースセンサからの信号を処理する方法および装置
EP3518529A1 (en) * 2018-01-26 2019-07-31 Prophesee Method and apparatus of processing a signal from an event-based sensor
JP2019176334A (ja) * 2018-03-28 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、テストシステム、および、固体撮像素子の制御方法
KR20210003118A (ko) * 2018-04-30 2021-01-11 프로페시 비동기식 시간 기반 이미지 감지를 위한 시스템 및 방법
CN108764078B (zh) * 2018-05-15 2019-08-02 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
JP7031947B2 (ja) 2018-05-22 2022-03-08 オムニビジョン センサー ソリューション （シャンハイ） カンパニー リミテッド オプティカルフロー計算方法及びコンピューティング機器
KR102503543B1 (ko) 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
TWI684956B (zh) * 2018-12-04 2020-02-11 中華電信股份有限公司 物體辨識與追蹤系統及其方法
US20220036110A1 (en) 2018-12-13 2022-02-03 Prophesee Method of tracking objects in a scene
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
CN113615161A (zh) * 2019-03-27 2021-11-05 索尼集团公司 对象检测装置、对象检测***以及对象检测方法
JP2020161987A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 車両用撮影システム
CN113647089B (zh) * 2019-03-27 2024-06-04 索尼集团公司 成像***
TWI831962B (zh) * 2019-04-26 2024-02-11 日商索尼半導體解決方案公司 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
JP7315918B2 (ja) * 2019-06-05 2023-07-27 株式会社デンソーアイティーラボラトリ 画像処理装置、画像処理プログラムおよび画像処理方法
JP7120180B2 (ja) * 2019-08-07 2022-08-17 トヨタ自動車株式会社 イメージセンサ
US11340624B2 (en) 2019-08-29 2022-05-24 Ford Global Technologies, Llc Vehicle neural network
EP3879816B1 (en) * 2020-03-11 2024-02-28 Prophesee Event filtering method for operating an event-based image sensor
CN111829573B (zh) * 2020-06-01 2022-06-24 惠州市德赛西威汽车电子股份有限公司 一种光感传感器耐久测试设备及方法
CN111814602B (zh) * 2020-06-23 2022-06-17 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
US11500086B2 (en) * 2020-09-28 2022-11-15 Mitsubishi Electric Research Laboratories, Inc. System and method for tracking a deformation
KR102635416B1 (ko) * 2021-05-14 2024-02-08 서울대학교산학협력단 이벤트 카메라 기반의 물체 추적 장치 및 방법
CN114777764B (zh) * 2022-04-20 2023-06-30 中国科学院光电技术研究所 一种基于事件相机的高动态星敏感器星点提取方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0325622D0 (en) * 2003-11-03 2003-12-10 Cambridge Consultants System for determining positional information
US7706571B2 (en) * 2004-10-13 2010-04-27 Sarnoff Corporation Flexible layer tracking with weak online appearance model
US20060197664A1 (en) 2005-01-18 2006-09-07 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
AT502551B1 (de) * 2005-06-15 2010-11-15 Arc Seibersdorf Res Gmbh Verfahren und bildauswertungseinheit zur szenenanalyse
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
JP4766495B2 (ja) * 2007-09-28 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
US8282222B2 (en) * 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
CN101753133B (zh) * 2008-12-05 2014-06-25 飞思卡尔半导体公司 异步采样率转换中的快速追踪和抖动改善的方法
JP5289022B2 (ja) * 2008-12-11 2013-09-11 キヤノン株式会社 情報処理装置及び情報処理方法
FR2944363B1 (fr) * 2009-04-14 2011-11-18 Onera (Off Nat Aerospatiale) Procede et systeme d'imagerie active a champ large
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
CN101925178B (zh) * 2010-09-16 2012-11-28 上海交通大学 异步无线传感器网络的运动目标跟踪方法
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
FR2985065B1 (fr) 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
KR102070562B1 (ko) * 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
KR102017688B1 (ko) * 2012-07-18 2019-09-04 삼성전자주식회사 반사광의 광량 변화를 이용한 근접 센서
JP2014186004A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム
FR3005188A1 (fr) * 2013-04-26 2014-10-31 Univ Paris Curie Suivi visuel d'objet
WO2015157341A1 (en) * 2014-04-07 2015-10-15 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US10043064B2 (en) * 2015-01-14 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object using event-based sensor
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor

Also Published As

Publication number Publication date
JP2017521746A (ja) 2017-08-03
KR20170015306A (ko) 2017-02-08
CN106462976B (zh) 2020-11-03
WO2015166176A1 (fr) 2015-11-05
CN106462976A (zh) 2017-02-22
EP3138079A1 (fr) 2017-03-08
FR3020699A1 (fr) 2015-11-06
EP3138079B1 (fr) 2019-09-18
KR102326789B1 (ko) 2021-11-16
US20170053407A1 (en) 2017-02-23
US10109057B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
JP6665110B2 (ja) 非同期光センサーによって観測されたシーン内の形状を追跡する方法
EP3504682B1 (en) Simultaneous localization and mapping with an event camera
Zhu et al. Event-based feature tracking with probabilistic data association
Ni et al. Visual tracking using neuromorphic asynchronous event-based cameras
JP4686663B2 (ja) 歩行者トラッキング方法及び歩行者トラッキング装置
US9213902B2 (en) Method of estimating optical flow on the basis of an asynchronous light sensor
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP2016006626A (ja) 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
Xiang et al. Monocular multiview object tracking with 3d aspect parts
CN106228570B (zh) 一种真值数据确定方法和装置
JP2014071902A5 (ja)
Sternig et al. Multi-camera multi-object tracking by robust hough-based homography projections
Fernando et al. Identification of moving obstacles with pyramidal Lucas Kanade optical flow and k means clustering
Schulz et al. Video-based pedestrian head pose estimation for risk assessment
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Parameshwara et al. MOMS with Events: Multi-object motion segmentation with monocular event cameras
CN106485283B (zh) 一种基于Online Boosting的粒子滤波行人目标跟踪方法
Wang et al. PointIT: A fast tracking framework based on 3D instance segmentation
Marban et al. Estimating position & velocity in 3d space from monocular video sequences using a deep neural network
Panda et al. Blending of Learning-based Tracking and Object Detection for Monocular Camera-based Target Following
CN107977957B (zh) 基于静态单目相机的土体失稳综合信息测量方法
Tuncer et al. Sequential distance dependent chinese restaurant processes for motion segmentation of 3d lidar data
Rezaee et al. Vehicle tracking by fusing multiple cues in structured environments using particle filter
Daubney et al. Real-time pose estimation of articulated objects using low-level motion
Mathiesen Low-latency detection and tracking of aircraft in very high-resolution video feeds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200219

R150 Certificate of patent or registration of utility model

Ref document number: 6665110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees