JP2018522348A - センサーの３次元姿勢を推定する方法及びシステム - Google Patents

Abstract

センサーの３次元（３Ｄ）姿勢を推定する方法およびシステムは、最初に、センサーによって３次元（３Ｄ）シーンのシーンデータを取得することによって、センサーの３次元（３Ｄ）姿勢を推定する。２次元（２Ｄ）線は、シーンデータにおいて検出され、また２Ｄ線は、シーンの３次元（３Ｄ）モデルの３Ｄ線とマッチングされて、マッチング線が生成される。その次に、センサーの３次元（３Ｄ）姿勢がマッチング線を用いて推定される。

Description

本発明は、包括的には、コンピュータビジョンに関し、より詳細には、センサーの姿勢の推定に関する。

従来のカメラは、通常、固定のフレームレートで取得される画像のシーケンスとしてシーンを観測する。この画像に基づく表現は、シーンの不十分で冗長な符号化であり、パワー、メモリ及び時間を浪費する。各画像の露出時間は同じであるため、これによって、高ダイナミックレンジを有するシーン、すなわち、非常に暗い領域及び非常に明るい領域を含むシーンの撮像が困難になる可能性もある。

ダイナミックビジョンセンサー（ＤＶＳ）は、従来のカメラと異なる。ＤＶＳは、実際のピクセル輝度値を出力しない。代わりに、ＤＶＳは、信号ピクセルレベルの変化、すなわち、ピクセルの輝度が増加するか又は減少するかを出力する。ＤＶＳは、人間の網膜モデルによって着想を得ている。これについては非特許文献１を参照されたい。これらのセンサーは、固定フレームレートにおいて画像全体を送信しない。代わりに、ＤＶＳは、網膜神経節細胞からの信号と同様に０及び１のバイナリイベントとして、ピクセルレベル変化のみを、変化が生じたまさにその時点に送信する。例えば、０は、輝度における減少を示し、１は、特定のピクセルの輝度における増加を示す。結果として、イベントは、毎秒数千フレームで動作する従来の高速カメラと同等か又はより良好なマイクロ秒時間分解能で送信される。すなわち、固定フレームレートで画像全体を無駄に送信する代わりに、本発明が対象とする用途では、ＤＶＳは、イベントの発生時にセンサーの動きによって生じるローカルピクセルレベル変化のみを送信する。

特許文献１「Apparatus and method for recognizing gesture using sensor」２０１５において、ジェスチャ認識のためにダイナミックビジョンセンサー（ＤＶＳ）が用いられている。特許文献２「Apparatus and method for processing user input using motion of object」２０１４において、動いている物体を追跡するためにＤＶＳが用いられている。オプティカルフロー等の従来の手順がＤＶＳのために開発されている。特許文献３「Method of estimating optical flow on the basis of an asynchronous light sensor」２０１４を参照されたい。

いくつかの方法は、従来のカメラを用いてビジュアルオドメトリをＤＶＳに拡張する。非特許文献２を参照されたい。Censi他は、ＤＶＳ及び相補型金属酸化膜半導体（ＣＭＯＳ）カメラと共に用いられるビジュアルオドメトリ手順を開示している。新規の較正手順は、ＤＶＳ及びＣＭＯＳカメラの時空間較正を実行する。それらの手法は、以前のＣＭＯＳフレームに関するＤＶＳイベントの相対運動を推定する。本方法は、回転推定値について正確であるのに対し、並進推定値はノイズが多い傾向にある。

ＳＬＡＭ技法及び３Ｄ再構成方法もＤＶＳのために開発された。これについては非特許文献３及び非特許文献４を参照されたい。オプティカルフロー推定のためのＬｕｃａｓ−Ｋａｎａｄｅ追跡手順がＤＶＳのために拡張された。反復最近傍点（ＩＣＰ）等の或る特定のレジストレーション方法が、マイクログリッパーを制御するためにＤＶＳのために拡張された。ＤＶＳは、クワッドローターの回避操縦にも有用とすることができる。一対のＤＶＳを、衝突を予測し回避するためにクワッドローター付近でオブジェクトを再構成するためのステレオカメラとして用いることができる。

非同期ＤＶＳの場合、エピポーラ幾何学の概念を直接用いることができない。エピポーラ幾何学は、様々な観点から取得された画像の対における対応する点間の関係を提供する。最近では、非同期イベントベースのステレオ構成のために適用可能なエピポーラ幾何学の一般的なバージョンが開発された。これについては、非特許文献５を参照されたい。

ステレオマッチングは、イベントヒストグラムを用いて行うことができ、ジェスチャ認識のために推定深度を用いることができる。ステレオを超えて、いくつかの方法は、３Ｄ再構成のために３つ以上のイベントセンサーを用いる。

ＤＶＳベースの解決策は、粒子フィルターベースの位置特定及びマッピングについても知られている。更なるセンサーなしでＤＶＳのみを用いてシーンのモザイクを構築することが可能である。これは、センサーの運動を追跡し、データのレジストレーション及び統合のために推定運動を用いることによって達成される。

米国特許出願公開第２０１５／０１６０７３７号明細書 米国特許出願公開第２０１４／０３５４５３７号明細書 欧州特許第２７９５５８０号明細書

Delbruck他「A silicon early visual system as a model animal」Vision Research, 2004 Censi他「Low-latency event-based visual odometry」ICRA, 2014 Weikersdorfer他「Simultaneous localization and mapping for event-based vision systems」Computer Vision Systems, 2013 Carneiro他「Event-based 3D reconstruction from neuromorphic retinas」Neural Networks, 2013 Benosman他「Asynchronous event-based Hebbian epipolar geometry」IEEE Trans. Neural Network, 2011 Mahony他「Nonlinear complementary filters on the special orthogonal group」Automatic Control, IEEE Transactions on, 53(5):1203-1218, 2008

一方、欠点として、通常のＤＶＳのコストは、数千ドルの範囲内にある。

本発明の実施の形態は、シーンデータを取得するセンサーを用いた位置特定及び追跡のための方法及びシステムを提供する。本発明は、２つの主要な実施の形態を提供する。低速の用途及び低コストのシステムの場合、センサーは、従来のカメラとすることができる。高速の用途の場合、ダイナミックビジョンセンサー（ＤＶＳ）を用いることができるが、そのようなセンサーのコストは、２０ドル未満とすることができるカメラのコストよりも２桁高くなり得る。

ＤＶＳにより、通常、大きな時間勾配を有するピクセルについてイベントがシグナリングされる。時間勾配は、通常、センサーがシーンに対して動くときに、シーン内のエッジ（高空間勾配）によって生じる。実施の形態は、高速時空間ビニング方式を用いて、垂直エッジに関連付けられたこれらのイベントから２Ｄ線を検出する。シーンの３Ｄモデルは、シーンデータにおいて観測された２Ｄ線のうちのいくつかに関連付けられた３Ｄ垂直エッジを含む。２Ｄ線と３Ｄエッジとの正しい対応を確立することにより、３Ｄモデルに対するセンサーの位置特定が可能になる。

実施の形態は、センサーを用いた正確な絶対位置推定方法を提供する。特に、エッジベースの３Ｄモデルを用いて現実世界のシーンを表し、シーンデータから取得された２Ｄ線を３Ｄシーンモデルの３Ｄ線とマッチングすることによってセンサーを位置特定する。

本発明の実施の形態によるセンサーの姿勢を推定する方法及びシステムの概略図である。 本発明の実施の形態によるセンサー位置合わせの概略図である。 本発明の実施の形態による時空間ビニングの概略図である。 姿勢を推定するタスクのための、平面上の３つの２Ｄ点への３つの３Ｄ点の投影の概略図である。

本発明の実施の形態は、センサーの姿勢を推定する方法及びシステムを提供する。センサーは、デジタルビジョンセンサー等のカメラ又はイベントセンサーとすることができ、ピクセルが、減少又は増加の輝度の変化を検知するときにのみイベントをシグナリングする。そのようなピクセルは、通例、センサーが動かされるときのワールド内のエッジ等の大きな勾配に関連付けられる。

高速応答を達成するために、本発明は、例えば、３Ｄ垂直線に対応する強い特徴を有する現実世界のシーンに焦点を当てる。本方法は、時空間ビニング方式を用いて垂直線を検出することができる。

姿勢推定方法は、シーンデータから得られた（２Ｄ）線と、シーンモデルによって表されるようなワールド内の３次元（３Ｄ）線との間の対応を用いる。

慣性計測装置（ＩＭＵ）は、絶対ロール角及び絶対ピッチ角を測定して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。

本発明者らの知る限り、本明細書において記載される垂直線ベースの姿勢推定問題は、従来のフレームベースのセンサー及びカメラ、並びにデジタルビジョンセンサーにおいては解決されていない。

ダイナミックビジョンセンサー
例示的なイベントセンサーは、ｉｎｉＬａｂｓ ＤＡＶＩＳ ２４０Ｂダイナミックビジョンセンサー（ＤＶＳ）である。このセンサーは、アクティブピクセルセンサー（ＡＰＳ）回路、（ＤＶＳ）回路、及び単一の基板上のＩＭＵを含む。ピクセル内のＡＰＳ回路及びＤＶＳ回路は、単一のフォトダイオードを共有する。ＡＰＳフレームの解像度は、２４０×１８０ピクセルであり、シーンデータの寸法は、１９０×１８０である。ＡＰＳフレームレートは２３Ｈｚであり、ＩＭＵは２３００Ｈｚで動作する。ＩＭＵは、６次元で位置合わせデータ、例えば加速度及び角速度を提供する。ＡＰＳデータを用いて、結果を視覚化することができる。ＩＭＵデータに依拠して、シーンデータを、現実世界のシーンにおける垂直方向と位置合わせする。

ＤＶＳは、バイナリ状態を用いてピクセルレベルの輝度変化をシグナリングする。各ピクセルは、非同期で、対数圧縮された輝度が所定の量だけ増大する場合、ＯＮイベントを発し、輝度が減少するとき、ＯＦＦイベントを発する。イベントＥがタプル＜ｘ，ｙ，ｔ，ｓ＞として記される。ここで、（ｘ，ｙ）はピクセルロケーションであり、ｔは時点であり、ｓはイベント状態である。１はＯＮを表し、０はＯＦＦを表す。センサーは、毎秒約百万個のイベントを生成することができる。

センサーは、従来のカメラ又はビデオカメラとすることができることが理解される。なぜなら、カメラのフレームレートはより低速であるが、カメラはイベントセンサーをエミュレートすることができるためである。そのようなエミュレーションは、連続フレーム間の差異を取得し、各ピクセルにおける差異を、差異の大きさに基づいてイベント又は非イベントとして分類することによって行うことができる。０からの或る閾値距離内の差は、非イベントとみなされる。閾値よりも大きい差は、正のイベントであり、＜ｘ，ｙ，１＞として符号化される。ここで、（ｘ，ｙ）はピクセル座標である。閾値よりも小さい差は、＜ｘ，ｙ，０＞として符号化される。カメラフレームレートは、ＤＶＳのフレームレートと比較して相対的に低速であるため、イベントは通常、フレームごとの単位でグループ化され、フレーム数の時間的変動を保持する必要がない。ただし、ＤＶＳと完全に類似させるためにこれを行ってもよい。

姿勢推定方法
図１に示すように、本方法は、イベントセンサー１０３によるシーン１０２のシーンデータ（ｘ，ｙ，ｔ，ｓ）及びＩＭＵ１０７による位置合わせデータを含むデータ１０１を同時に取得する（１１０）。位置合わせデータを用いて、シーンに対するイベントセンサー１０３のロール及びピッチを求めることができる。シーンデータは、位置合わせデータを用いて、シーンの垂直方向１０６に対し位置合わせされ（１２０）、位置合わせされたシーンデータが生成される。次に、位置合わせされたシーンデータにおいて２Ｄ垂直線が検出される（１３０）。検出は、時空間領域内のイベントデータに平面を当てはめることによって、空間領域内の２Ｄ線を当てはめる。

２Ｄ垂直線は、シーンの３Ｄモデルにおける垂直線とマッチングされ（１４０）、マッチング線が生成される。次に、姿勢１０５は、マッチング線から推定することができる（１５０）。当該技術分野において既知のセンサー及びメモリに接続されたプロセッサ１００において実行することができるステップは、センサーが異なる観点及び姿勢に動く（１０４）間、繰り返すことができる。センサーが動いている場合、本方法は、複数の観点においてイベントセンサーのための姿勢の軌道を推定する。軌道は、カルマンフィルターを用いて平滑化することができる。

本発明では、シーンの３Ｄ（ワールド）モデルを所与として、垂直線を特徴として用いて、センサー１０３の姿勢１０５を推定する。高さを無視することによって、６自由度（ＤＯＦ）の位置特定問題が３ＤＯＦ問題に簡略化される。３ＤＯＦ（平面ロケーション及びヨー）は、車両及び移動ロボットの位置特定においてより重要である一方で、残りの変数（高さ、ロール、ピッチ）はＩＭＵを用いて及び他の形で得ることができる。垂直線のみを検出することにより、特徴抽出が、異なる向きを有する全ての線を見つけるよりはるかに速くなる。

ＩＭＵを用いるセンサー位置合わせ
ＩＭＵ位置合わせデータを用いて、（ワールド）シーン内の垂直方向にシーンデータを位置合わせする（１２０）。これによって、検知された２Ｄ線がセンサーの姿勢に関わらず、シーン内の現実の垂直線に対応することが確実になる。ＩＭＵジャイロスコープは、大きな時間依存のドリフトを有する可能性がある。したがって、ワールド座標系におけるセンサーの姿勢を得るために姿勢機首基準（ＡＨＲＳ）手順を適用する。これについては非特許文献６を参照されたい。加速度計は重力ベクトルのみを測定するため、ＩＭＵは、正確なヨー角を取得することができない。したがって、ＩＭＵからのロール角及びピッチ角のみを用いる。

ＩＭＵによって測定される姿勢に基づいて、Ｒを用いてセンサーの垂直ビューとワールドの垂直方向とを位置合わせするための回転オフセットを表す。位置合わせされたシーンデータ内のピクセルｐ’（ｘ’，ｙ’）と、取得されたシーンデータ内のロケーションｐ（ｘ，ｙ）との間の関係は、

であり、ここで、Ｋはセンサーのための固有パラメーターの行列であり、ｓは、関係がスケール次第であることを示すスケール係数である。

図２は、位置合わせを図式的に示す。左側において、立方体２１０の画像を取得するセンサーを示す。３Ｄ点Ｐ（Ｘ_１，Ｙ_１，Ｚ_１）２２０が画像ピクセルｐ（ｘ_１，ｙ_１）２３０上に投影される。立方体を用いて、ワールド座標系がどのセンサーに対して僅かに回転されるかを示す。ＩＭＵを用いて、ロール軸及びピッチ軸における、カメラ座標系（原点Ｏ_ｃを有する）とワールド座標系（原点Ｏ_ｗを有する）との間の回転オフセットＲを求める。右側において、回転オフセットＲ及び較正行列を用いた画像補正を示す。ｐ（ｘ_１，ｙ_１）及びｐ’（ｘ’_１，ｙ’_１）が、それぞれ位置合わせ前及び位置合わせ後のピクセルを示す。見てとることができるように、２つのピクセルｐ’（ｘ’_１，ｙ’_１）及びｑ’（ｘ’_２，ｙ’_２）は、位置合わせ後、ｘ’_１＝ｘ’_２を有する垂直軸２４０上に位置合わせされている。

時空間ビニングを用いた線検出
イベントのピクセルロケーション及び関連付けられた時間に基づく投票手順を用いて、位置合わせされたシーンデータ内の線を、時空間ビニング手順を用いて検出する（１３０）。手順は、同じ垂直線又はエッジ上のピクセルが、類似のｘ座標及び類似の輝度コントラストを有することに基づく。

図３に示すように、薄いストリップビンＶ_ｄｘ（ｘ_ｉ）３１０を用いて、（ｘ_ｉ，１）から（ｘ_ｉ＋ｄｘ，ｙ_ｍａｘ）へのピクセルの矩形エリアを表す。ワールド内のエッジの輝度コントラストは、複数のイベントが同じピクセルについてシグナリングされているとき、時間間隔に密に関係している。これは、同じワールドエッジが、センサー運動中、同じピクセルにおける複数のイベントを引き起こし、これにより、高コントラストエッジにおけるピクセルが、同じ時間間隔内で更なるイベントを引き起こすことに起因する。これは、同じロケーションについてシグナリングされた２つのイベント間の時間間隔Δｔが、高コントラストエッジの場合に、より短いことを暗に意味する。ビンＶ_{ｄｘ，ｄｔ}（ｘ_ｉ，Δｔ_ｊ）を用いて、Ｖ_ｄｘ（ｘ_ｉ）内にありかつΔｔ_ｊとΔｔ_ｊ＋ｄｔとのシグナリング間隔を有するピクセルを表す。

図３に示すように、空間間隔の重複する組をプリセットし、ビンが、近傍のビンに対して極大である、所定の閾値よりも多くのイベント数を有するとき、このビンが線を含むとみなす。特に、以下の条件が満たされるとき、ビンＶ_{ｄｘ，ｄｔ}（ｘ_ｉ，Δｔ_ｊ）を選択することを確実にする。
１．空間近傍ピクセルが、以下の制約によって与えられるような、より少ない票を有する。

２．Δｔ_ｋ＜Δｔ_ｊのとき、上記の閾値条件を満たす他のビンＶ_{ｄｘ，ｄｔ}（ｘ_ｉ，Δｔ_ｊ）が存在しない。

ビンが選択された後、ＩＭＵベースの位置合わせにおける任意の誤差を考慮するために、最小二乗手順を用いて、線をビン内のイベントと当てはめる。

垂直線を用いた姿勢推定
ＩＭＵを利用して、現実世界の垂直方向１０６を取得し、これにより、３つの未知の運動パラメーター、すなわち、２つの並進パラメーター及び１つの回転角を復元するための３点姿勢推定問題を解決する。３ＤＯＦを復元した後、合計６つの未知数のうち、５つの未知の運動パラメーターを有する。６番目のパラメーター（高さ＝Ｙ）が必要とされる場合、任意の非垂直線を用いて高さを容易に復元することができる。

本発明の焦点は、優勢な垂直構造（dominant vertical structures）を有するシーンに対してセンサーを位置特定及び追跡することを可能にする３つの重要な運動パラメーター（Ｘ、Ｚ及びヨー）を抽出することである。

線投影
図４は、平面上の３つの２Ｄ点への３つの３Ｄ点の投影を概略的に示す。左側に、立方体２１０から画像平面４１０への線の投影を示す。右側に、シーン内の垂直線が２Ｄ点（Ｘ_１，Ｚ_１）、（Ｘ_２，Ｚ_２）、（Ｘ_３，Ｚ_３）によって表され、画像（シーンデータ）内の垂直線が２Ｄ点（ｘ_１，ｚ_１）、（ｘ_２，ｚ_２）、（ｘ_３，ｚ_３）によって表され、原点がＯによって表される投影の上面図を示す。

ワールド座標系における３Ｄ点

は、変換（Ｒ，ｔ）を用いてセンサー座標系に転送することができる。

図４に示すように、シーン内の垂直線と、画像（シーンデータ）内の対応する２Ｄ線との間の変換は、以下によって与えられる。

式（２）を再構成し、スケール変数ｓ_ｉを消去し、３つの３Ｄ対２Ｄの対応のための等式をスタックして、連立方程式ＡＸ＝０を得る。ここで、Ａ及びＸは以下となる。

３つの線により、解は通常一意となる。被約階段行列（reduced row-echelon form）を用いて、上記の式から以下の連立方程式を得る。

ここで、α、β及びγは、行列Ａのための被約階段行列を求める間に得られる定数である。

上記の連立方程式を用いて、３つの未知の動きパラメーターθ、Ｔ_ｘ及びＴ_ｚを以下のように求める。

ｎ個の２Ｄ対３Ｄの線対応の組を所与として、全ての対応を用いて連立方程式ＡＸ＝０を形成し、最小二乗手順を用いて運動変数を解くことができる。ここで、ｎは３以上である。

本発明の方法は２つのモジュールを用いる。信頼性のある以前の姿勢を有しないとき、２Ｄ対３Ｄ線対応を求めて全数探索を用いてセンサーを位置特定する。以前の姿勢を有するとき、２Ｄ対３Ｄの線対応が既知であり、小さな変化について位置を更新するのみでよい。位置特定のための全数探索には、更新よりも多くの時間がかかる。

上記で説明したように、従来のカメラはＤＶＳをエミュレートすることができる。一方、そのようなエミュレーションは、本発明による方法の用途に必要でない。線は、２Ｄエッジ抽出によって単一のカメラ画像から直接抽出することができ、ＩＭＵデータに基づく垂直線への制限は、高速な姿勢推定を可能にする。

対応探索
姿勢推定は、２Ｄ対３Ｄの線対応を必要とする。対応探索は、線検出における繰り返されるシーン幾何学、ノイズの多いシーンデータ、欠落した線及びスプリアス線、並びにワールドの誤ったモデリング等の多くの要因に起因して非常に困難である。１つの明確な解決策は、全ての可能なマッチを検討し、いくつかの誤差判断基準に基づいて最良のマッチを選ぶことである。一方、この戦略は、２０本ほどの少ない線の場合であっても失敗する可能性がある。

探索問題を解決するために、線の視認方向間の角度に基づいて制約を用いるグリッド探索方法を用いる。この場合、最良の対応を探索することは、全ての線対応についての再投影誤差を用いて決定される最小マッチングコストとの対応の最も大きな組を得ることを意味する。

再投影誤差
推定姿勢を用いて、３Ｄ線を画像に再投影し、再投影誤差、すなわち、イベントに関連付けられたピクセルと、再投影された３Ｄ線との間の距離を測定する。姿勢推定のための再投影誤差は、通常、姿勢推定が正確であることを示す２ピクセル未満である。

本発明を好ましい実施の形態の例として説明したが、本発明の趣旨及び範囲内で様々な他の適応及び変更を行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨及び範囲に入る全てのそのような変形及び変更を包含することである。

本発明のセンサーの３次元（３Ｄ）姿勢を推定するための方法及びシステムは、多くの分野におけるセンサーに適用可能である。

Claims (17)

1. センサーの３次元（３Ｄ）姿勢を推定する方法であって、
   前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
   前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
   前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成するステップと、
   前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄは垂直線であるもとの、
   を含み、前記ステップはプロセッサにおいて実行される、方法。
2. 慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
   前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
   を更に含む、請求項１に記載の方法。
3. 前記シーンデータはピクセルを含み、
   前記検出することは、
   空間領域内の前記２Ｄ線を、高い空間勾配を有する前記ピクセルに当てはめること、
   を更に含む、請求項１に記載の方法。
4. 姿勢機首基準（ＡＨＲＳ）手順を適用して、ワールド座標系内の前記センサーの姿勢を得ること、を更に含む、請求項１に記載の方法。
5. 前記位置合わせデータから回転オフセットＲを求めること、を更に含み、
   前記位置合わせ後の前記シーンデータ内のピクセルｐ’（ｘ’，ｙ’）と、前記シーンデータ内のロケーションｐ（ｘ，ｙ）との間の関係は、
   

   

   であり、ここで、Ｋは前記イベントセンサーのための固有パラメーターの行列であり、ｓは前記関係がスケール次第であることを示すスケール係数である、請求項２に記載の方法。
6. 前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項１に記載の方法。
7. 前記２Ｄ線は、最小二乗手順を用いて当てはめられる、請求項３に記載の方法。
8. ３つの２Ｄ線及び３つの３Ｄ線の最小値が前記推定に用いられる、請求項１に記載の方法。
9. センサーの３次元（３Ｄ）姿勢を推定する方法であって、
   前記センサーによって３Ｄシーンのシーンデータを取得するステップと、
   前記シーンデータ内の２次元（２Ｄ）線を検出するステップと、
   前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成するステップと、
   前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するステップであって、前記センサーはデジタルイベントセンサーであり、前記３Ｄ線は垂直であるものと、
   を含み、前記ステップはプロセッサにおいて実行される、方法。
10. 慣性計測装置（ＩＭＵ）を用いて前記センサーのための位置合わせデータを取得することであって、前記位置合わせデータは前記センサーのロール角及びピッチ角を含むものと、
    前記位置合わせデータを用いて、前記シーンデータを、前記シーンの垂直方向に位置合わせすることと、
    を更に含む、請求項９に記載の方法。
11. 前記検出することは、
    時空間領域内の前記シーンデータに平面を当てはめることによって、空間領域内の前記２Ｄ線を当てはめること、
    を更に含む、請求項９に記載の方法。
12. 前記２Ｄ線を検出することは、時空間ビニング及び投票手順を用いる、請求項９に記載の方法。
13. 前記イベントデータは＜ｘ，ｙ，ｔ，ｓ＞であり、ここで、（ｘ，ｙ）は前記シーンデータにおけるピクセルのロケーションであり、ｔは時点であり、ｓは状態であり、ここで、０は前記ピクセルの輝度における減少を示し、１は前記ピクセルの輝度における増加を示す、請求項９に記載の方法。
14. センサーの３次元（３Ｄ）姿勢を推定するシステムであって、
    ３Ｄシーンのシーンデータを取得するように構成されたセンサーと、
    前記センサーに接続され、前記シーンデータ内の２次元（２Ｄ）線を検出し、前記２Ｄ線を前記シーンの３Ｄモデルの３Ｄ線とマッチングして、マッチング線を生成し、前記マッチング線を用いて前記センサーの前記３Ｄ姿勢を推定するように構成されたプロセッサと、
    を備え、
    前記センサーはカメラであり、前記２Ｄ線及び前記３Ｄは垂直線である、システム。
15. 前記センサーのための位置合わせデータを取得するように構成された内部計測装置（ＩＭＵ）を更に備え、
    前記位置合わせデータは、前記センサーのロール角及びピッチ角を含む、請求項１４に記載のシステム。
16. 前記シーンデータは、前記位置合わせデータを用いて前記シーンの垂直方向に位置合わせされる、請求項１４に記載のシステム。
17. 前記センサーは、デジタルビジョンセンサーである、請求項１４に記載のシステム。

Images