JP2023553238A - セマンティックオブジェクトに基づくローカライゼーション - Google Patents

Abstract

センサーを用いて環境における車両のロケーションを決定し、センサーに関連付けられたキャリブレーション情報を決定するための技法が本明細書に述べられる。車両は、マップデータを用いて環境を横切って進むことが可能である。マップデータは、トラフィックライト、レーンマーキングなどのセマンティックマップオブジェクトを含むことが可能である。車両は、画像センサーなどのセンサーを用いて、センサーデータをキャプチャすることが可能である。セマンティックマップオブジェクトは、センサーデータにプロジェクションされ、センサーデータにおけるオブジェクトとマッチングさせることが可能である。上記のセマンティックオブジェクトは、中心点および共分散データとして表されることが可能である。プロジェクションされたセマンティックマップオブジェクト、および感知された物体に関連付けられた距離または尤度は、最適化されて、車両のロケーションを決定することが可能である。感知された物体は、セマンティックマップオブジェクトとのマッチングに基づいて同一であると決定されることが可能である。エピポーラ幾何は、センサーが、矛盾がないデータをキャプチャしているかどうかを決定するのに用いられることが可能である。

Description

関連出願の相互参照
本特許出願は、２０２０年１２月１１日に出願された米国実用新案出願第１７／１１９，５１８号、および２０２０年１２月１１日に出願された米国実用新案出願第１７／１１９，５６２号の優先権を主張する。出願シリアル番号１７／１１９，５１８および１７／１１９，５６２は、参照により本明細書に組み入れられる。

データは、環境においてキャプチャされ、環境のマップとして表されることができる。よくあることだが、上記のマップは、環境内を進む車両によって用いられることができるが、マップは、いろいろな目的に対して用いられることができる。車両は、センサーデータをキャプチャすることができ、マップに関して車両のロケーションを決定することができる。上記のように、センサーが、キャリブレーションされて、車両コンピューティングシステムに正確な入力を提供することは重要である。

詳細な説明は、添付の図面を参照して説明される。図面において、参照符号の最も左の数字（複数可）は、参照符号が最初に現れる図面を特定する。別の図面における同一の参照符号の使用は、同様のまたはまったく同じのコンポーネントまたは特徴を示す。

センサーデータをキャプチャし、センサーデータにマップデータをプロジェクションし、センサーデータおよびマップデータに基づいて距離を決定し、距離に基づいて作動をすることの例示的な処理について絵を使ったフロー図である。 センサーデータをキャプチャし、第１の物体が第２の物体に対応することを決定し、エピポーラ幾何に基づいてキャリブレーションパラメーターを決定する例示的な処理について絵を使ったフロー図である。 オブジェクトタイプおよび距離に基づいてマップデータを決定することの例の図解である。 少なくとも部分的に重なる視野を含む複数のセンサーを用いて物体を表すセンサーデータをキャプチャすることの図解である。 重ならない視野を含む複数のセンサーを用いて物体を表すセンサーデータをキャプチャすることの図解である。 本明細書に説明される技法を実装するための例示的なシステムのブロック図を描く。 環境における車両のロケーションを決定することのための例示的な処理である。 マップデータに基づいてセンサーに対してキャリブレーションパラメーターを決定することのための例示的な処理である。

センサーを用いて環境における車両のロケーションを決定し、センサーに関連付けられたキャリブレーション情報を決定するための技法が本明細書に述べられる。いくつかの例では、車両は、マップデータに基づいて環境におけるロケーションを決定することができる。マップデータは、環境におけるセマンティックオブジェクトについてデータを含むことができる。上記のセマンティックオブジェクトは、たとえば、トラフィックライト、レーンマーキング、および同類のものなど、「一般的な」特徴を含むことができる。車両は、環境を表すセンサーデータをキャプチャするために、たとえば画像センサーなどのセンサーを用いることができる。セマンティックオブジェクトを表すマップデータは、センサーデータにプロジェクションされ、センサーデータに表された物体（複数可）とマッチングさせることができる。上記のセマンティックオブジェクトは、画像データにおいて中心点として表されることができ、共分散データと関連付けられることができる。センサーデータにプロジェクションされたセマンティックオブジェクトとセンサーデータに表された物体との間の距離は、最小にされて、環境における車両のロケーションを決定されることが可能である。

いくつかの例では、セマンティックマップデータは、センサーデータをキャプチャするのに用いられるセンサーについて、キャリブレーション情報を決定するのに用いられることができる。いくつかの例では、車両は、第１の視野を有する第１のセンサーと、第１の視野と少なくとも部分的に重なる第２の視野を有する第２のセンサーとを含むことがある。第１のセンサーデータは、キャプチャされ環境における第１の物体を表すことができ、第２のセンサーデータは、キャプチャされ環境における第２の物体を表すことができる。セマンティックマップデータに基づいて、第１のセンサーデータにおける第１の物体は、第２のセンサーデータにおける第２の物体に対応すると決定されることができる。したがって、第１のセンサーデータにおける第１の物体の特定の点（例えば、中心点）は、第２のセンサーデータにおける第２の物体の特定の点に対応することができる。キャリブレーションデータに基づいて、特定の点とエピポーラ線との間の距離は決定されることができる。経時的な距離が、キャプチャされ、第１のセンサーおよび第２のセンサーは矛盾がないかどうか、あるいは別のやり方にてキャリブレーションされるかどうかに関する誤差統計値を決定するのに用いられることができる。

いくつかの例では、誤差統計値は、センサーの性能を予測するのに用いられることができる、および／または、センサーが故障することがあるときを示すことができる。いくつかの例では、予測保守は、上記の履歴データメトリクスに基づいて、スケジューリングされる、開始される、あるいは別のやり方にて決定されることが可能である。

いくつかの例では、環境は、マップデータを用いて表されることが可能である。マップデータは、セマンティックオブジェクトを表すことができ、たとえば、トラフィックライト、ポール、サイン、レーンマーキング（車線マーカーとも呼ばれる）、および同類のものなど、「一般的な」物体を含むことがある。セマンティックオブジェクトまたはセマンティックマップデータは、３次元ロケーションおよび共分散データとして表されることができる。上記のセマンティックオブジェクトは、特定のセマンティッククラス（例えば、分類タイプ、たとえば、トラフィックライト、ライト、ポール、レーンマーキングなど）と関連付けられることが可能である。

いくつかの例では、環境における車両の初期のロケーションが決定されることができる。上記の初期のロケーションは、たとえば、ＧＰＳデータ、ライダーデータ、ＩＭＵデータなどの他のセンサーデータに基づいて決定されることが可能である、または以前に決定されたロケーションに基づいて決定されることが可能である。初期のロケーション、および／またはセマンティックオブジェクトの分類タイプに基づいて、マップオブジェクトのリストは、メモリーにロードされる、あるいは別のやり方にてマップオブジェクトをセンサーデータによって表される物体とマッチングするとき考慮されることが可能である。いくつかの例では、マップオブジェクトは、マップオブジェクトが車両のしきい値距離内にあることに基づいて考慮されることができる。ある場合には、しきい値距離は、分類タイプおよび／または環境における物体（複数可）の頻度に少なくとも部分的に基づくことが可能である。例えば、環境において、相対的に多くのレーンマーキングがあり、したがって、レーンマーキングを考慮するためのしきい値距離が、たとえば、トラフィックライトなどの別のセマンティックオブジェクトよりも相対的に低いことがある。例としておよび限定ではなく、レーンマーキングを表すマップデータをロードするためのしきい値距離は５０mであり得る一方、トラフィックライトを表すマップデータをロードするためのしきい値距離は１００mであり得るが、他の距離の値は考慮される。

いくつかの例では、センサーデータは、重複する視野を有するセンサーによってキャプチャされることが可能である。上記の例では、センサーデータは、実質的に同時にキャプチャされることが可能である。したがって、センサーデータをキャプチャする間の位置の変化は、最小にされることが可能であり、マップロケーションおよび／またはキャリブレーション情報は、車両の向きおよび／またはロケーションの変化を考慮することなく、決定されることが可能である。キャリブレーション情報は、２つのセンサー、３つのセンサー、またはあらゆる数のセンサーに関して決定されることが可能である。

いくつかの例では、センサーデータは、重複しない視野を有するセンサーによってキャプチャされることが可能である。上記の例では、物体が第２のセンサーの視野の中にあるときに、物体の第１のセンサーデータは、第１のセンサーによって第１の時間にキャプチャされることが可能であり、第２のセンサーデータは、第２のセンサーにおいて第２の時間にキャプチャされることが可能である。したがって、車両の向きおよび／またはロケーションの変化は、第１のセンサーデータにおける物体のロケーションを第２のセンサーデータに変換するのに用いられることが可能である。ゆえに、キャリブレーション情報は、異なった視野を有するセンサーに対して決定されることが可能である。さらに、キャリブレーション情報は、重複する視野または重複しない視野を有するあらゆるセンサーのあらゆるグループ（例えば、少なくとも２つ）に対して決定されることが可能である。

本明細書に説明されるローカライゼーションおよびキャリブレーション技法は、世界における位置を決定するロバストな方法を提供することによってコンピューティングデバイスの機能することを改善し、矛盾があるセンサーデータを決定する。ローカライゼーションの状況において、本明細書に述べられる技法は、別のローカライゼーションシステムとは別にまたは別のローカライゼーションシステムとの組み合わせにおいて、用いられることが可能である直交ローカライゼーションシステムを提供することができる。ある場合には、セマンティックマップの特徴の使用は、メッシュベースのマップに関して、マップのより小さいデータサイズを提供することができ、メモリーまたは処理能力に、他の動作のために用いられることを可能にすることがある。さらに、安全な軌道が、環境における車両の位置を知ることによってプランニングされることがある。キャリブレーションの状況において、１つのセンサーデータの物体が別のセンサーデータの物体と同じであると決定するセマンティックな特徴を用いることは、後に続くキャリブレーションのために共通の特徴を特定するロバストな方法を提供する。キャリブレーション情報は、センサー（複数可）がアライメントされていないとき、またはキャリブレーションデータが正しくないときを決定するのに用いられることができ、キャリブレーションされたセンサーなしでは困難または不可能であり得る、たとえば、データを融合すること、セグメント化すること、分類すること、およびデータをトラッキングすることなど、他の作動に対する問題を避けることができる。コンピューターの機能することに対して、今述べたことおよび他の改善が本明細書に述べられる。

本明細書に説明される技法は、いくらかのやり方において実装されることが可能である。例示的な実装は、次の図面を参照して以下に提供される。自律車両の状況において述べられるが、本明細書に説明される方法、装置、およびシステムは、いろいろなシステム（例えば、センサーシステムまたはロボットプラットフォーム）に適用されることが可能であり、自律車両に限定されない。一例では、同様の技法は、システムが、様々の操縦を行うことが安全であるかどうかのインディケーションを提供することがある、操縦者制御の車両（driver-controlled vehicle）に利用されることがある。別の例では、本技法は、製造業の組立ラインの状況において、航空測量の状況において、または航海の状況において利用されることが可能である。加えて、本明細書に説明される技法は、（例えば、センサー（複数可）を用いてキャプチャされた）実データを、（例えば、シミュレーターによって生成された）シミュレーションデータを、または２つのあらゆる組み合わせを有して用いられることができる。

図１は、センサーデータをキャプチャし、センサーデータにマップデータをプロジェクションし、センサーデータおよびマップデータに基づいて距離を決定し、距離に基づいて作動をすることの例示的な処理１００について絵を使ったフロー図である。

動作１０２は、環境のセンサーデータを受信することを含むことができる。上記のセンサーデータの例は、画像データ１０４として例示されている。画像データ１０４は、あらゆる数およびタイプの物体を含むことが可能である。例示されるように、画像データ１０４は、物体１０６（例えば、トラフィックライト）、物体１０８（例えば、レーンマーキング）、および物体１１０（例えば、サイン）を含む。画像データの状況において述べられるが、動作１０２は、ライダーデータ、レーダーデータ、オーディオデータ、タイムオブフライトデータ、および同類のものを受信することを含むことができる。さらに、動作１０２は、単一のセンサーまたは複数のセンサーからセンサーデータを受信することを含むことができる。動作１０２は、単一の時間に関連付けられたセンサーデータ（または技術的な許容範囲に基づいて実質的に同一の時間に関連付けられたセンサーデータ）または時間の期間にわたってキャプチャされたセンサーデータを受信することを含むことができる。いくつかの例では、動作１０２は、環境を横切って進むような自律車両によって行われることができる。

いくつかの例では、動作１０２は、物体を検出すること、物体を分類すること、物体に関連付けられたバウンディングボックスを決定すること、および同類のものを含むことができる。さらに、動作１０２は、上記のオブジェクトの中心点を、物体に関連付けられた共分散データも同様に、決定することを含むことができる。いくつかの例では、共分散データは、物体のエクステント（例えば、長さ、幅、高さ）に基づくことができる、または関連付けられることができる。動作１０２は、センサーデータに表される物体に関連付けられた２次元バウンディングボックスおよび／または３次元バウンディングボックスを受信する、あるいは別のやり方にて決定することを含むことができる。物体の中心点、および共分散データは、下に述べられる他の動作に用いられることができる。

動作１１２は、環境に関連付けられたマップデータを受信することを含むことができる。上記のマップデータの例は、マップデータ１１４として例示されている。いくつかの例では、マップデータ１１４は、環境におけるセマンティックオブジェクトを表すことができる。上記のセマンティックオブジェクトは、たとえば、トラフィックライト、レーンマーキング、ポール、サイン、木、消火栓、電気的なコンポーネント（例えば、変圧器、電気ボックス）、郵便箱、パーキングメーター、サイクルラック、木、広告板、および同類のものなど、「一般的な」物体であり得る。いくつかの例では、マップデータ１１４は、物体の識別子、物体の分類タイプ（例えば、トラフィックライト、レーンマーキング、サインなど）のインディケーション、環境における物体の３次元位置、および物体に関連付けられた共分散データなどを含むことができる。いくつかの例では、マップデータ１１４は、物体のエクステント（例えば、長さ、幅、高さ）および／または物体についてのあらゆる他の情報を含むことができる。

いくつかの例では、マップデータは、ライダーデータまたは他の画像データに基づいて生成されることが可能である。例えば、上記のマップデータを生成する例は、例えば、発明の名称「Mesh Decimation based on Semantic Information」、出願日２０１８年３月８日の米国特許出願第１５／９１３，６４７号、および、発明の名称「Updating Map Data」、出願日２０１９年１１月２７日の米国特許出願第１６／６９８，３３６号に見つけられることが可能であり、両方の全体がすべての目的のために全体の参照により本明細書に組み入れられる。

いくつかの例では、動作１１２は、時間的に先行するロケーション、推定される位置、粗い位置推定、他のセンサーモダリティ、および同類のものに基づくことがある、車両の初期の位置を決定することを含むことができる。さらに、動作１１２は、分類タイプに基づく、および／または、たとえば、車両に関連付けられたロケーションなど、別のロケーションに対するマップオブジェクトのしきい値距離に基づくマップオブジェクトを受信することを含むことができる。マップデータをロードすること、あるいは別のやり方にて受信することの追加の詳細は、図３に関連して、本開示の至る所にも同様に、述べられている。

動作１１６は、センサーデータにマップオブジェクトをプロジェクションすることを含むことができる。いくつかの例では、動作１１６は、マップオブジェクトの３次元位置、車両の姿勢（例えば、位置および／または向き）、および／またはセンサーの姿勢に少なくとも部分的に基づいて、マップオブジェクトをセンサーデータにプロジェクションすることを含むことができる。マップオブジェクトは、動作１１２にて受信したマップデータの多数のオブジェクトのうちの１つを表すことがある。いくつかの例では、動作１１６は、環境における車両の推定されるおよび／または予期されるロケーションに少なくとも部分的に基づくことができる。いくつかの例では、推定位置は、環境における予期される運動に基づいて更新された以前に決定した位置に基づく（例えば、慣性運動ユニット（ＩＭＵ）からのデータに基づく、ＩＭＵデータから外挿されたデータに基づく、および同類のもの）ことができる。

いくつかの例では、マップオブジェクトの３次元位置は、２次元の中心点としてセンサーデータにプロジェクションされることができる。いくつかの例では、３次元共分散データは、２次元共分散データとしてセンサーデータにプロジェクションされることができる。

センサーデータにプロジェクションされるマップオブジェクトの例は、例１１８として例示されている。

例１１８は、画像データ１０４に表された物体（複数可）の表現、およびセンサーデータにプロジェクションされたマップデータの表現を、他のデータも同様に、含む。たとえば、例１１８は、物体１０６を、共分散データ１２０（物体１２０とも呼ばれる）および関連する中心点として表す。例１１８は、共分散データ１２２、および関連する中心点として、物体１０８を表す。例１１８は、共分散データ１２４、および関連する中心点として、物体１１０を表す。

さらに、例１１８は、画像データ１０４にプロジェクションされるマップオブジェクト１２６を例示する。視覚化が容易なため、いくつかのマップオブジェクトは、図１において符号を付けなかった。

いくつかの例では、動作１１６は、マップオブジェクト（複数可）をセンサーデータに表される対応する物体（複数可）とマッチングすることを含む。例えば、マップオブジェクトは、ハンガリー法割当メソッド、グリーディサーチアルゴリズム、最近傍法アルゴリズム、オブジェクトのロケーション、エクステント、分類、および同類のものに基づいて物体とマッチングされることができる。

いくつかの例では、マップオブジェクトは、マッチングの前提条件として、センサーデータにおける物体と同じ分類タイプを有さなければならない。

いくつかの例では、動作１１６は、分類データ、中心点ロケーション（複数可）、共分散データ、および同類のものに少なくとも部分的に基づいて、マップオブジェクト（複数可）を、センサーデータに表される物体（「感知された物体」とも呼ばれる）とマッチングすることを含む。

動作１２８は、マップオブジェクトと、センサーデータに表される物体との間の距離を決定することを含むことができる。例えば、マップオブジェクト１２６が、共分散データ１２０とマッチングされる、あるいは別のやり方にて関連付けられると決定されると、２つのオブジェクト間の距離が決定されることができる。例えば、距離１３０は、物体１２６に関連付けられた第１の中心点と、共分散データ１２０に関連付けられた第２の中心点との間の距離を表すことができる。

いくつかの例では、距離１３０は、マハラノビス距離を表すことが可能である。いくつかの例では、距離１３０は、ピクセルにおける距離、またはユークリッド距離を表すことが可能である。

いくつかの例では、動作１２８は、マップオブジェクトが、感知された物体に対応する尤度を決定することを含むことができる。いくつかの例では、尤度は、距離１３０に加えて、または距離１３０の代わりに決定されることが可能である。いくつかの例では、尤度は、マッピングされたオブジェクトおよび／または感知された物体に関連付けられた共分散データの対数に少なくとも部分的に基づくことが可能である。いくつかの例では、尤度は、マッピングされたオブジェクトおよび／または感知されたオブジェクトに関連付けられた共分散データの絶対値の対数を表すことが可能である。いくつかの例では、尤度を否定することは、距離を表すことが可能である。いくつかの例では、マップオブジェクトが、感知された物体に対応するという尤度は、マップオブジェクトまたは感知された物体に関連付けられたマハラノビス距離、および共分散の大きさに少なくとも部分的に基づく。すなわち、大きい共分散を有する物体が、大きい距離と関連付けられることがあることによって、マップオブジェクトが、感知された物体に対応するという尤度を減らす。

動作１２８は、センサーデータに表され、マップデータに関連付けられたいくつかのまたはすべての物体に対して、距離（複数可）を決定することを含むことができる。例えば、動作１２８は、マップオブジェクトと、物体１０８、１１０に、他の符号がない物体も同様に、関連付けられたセンサーデータとの間の距離を決定することを含むことができる。

動作１３２は、距離に基づいて作動をすることを含むことができる。限定されないが、例示的な作動（複数可）１３４は、ロケーションを決定すること、キャリブレーションを決定すること、車両を制御すること、および同類のものを含むことができる。

ロケーションを決定する状況において、距離（複数可）は、車両の状態に関連付けられた状態グラフに入力されることが可能であり、車両のロケーションは、マップオブジェクト（複数可）と、感知された物体（複数可）との間の距離を最小にすることに基づいて決定されることが可能である。いくつかの例では、距離データは、車両のロケーションを決定する他のライダーデータ、レーダーデータ、および同類のものと関連して用いられることができる。いくつかの例では、ロケーションを決定することは、ＳＬＡＭ（simltaneous localization and mapping）アルゴリズム、パーティクルフィルタリング、および同類のものに基づくことが可能である。いくつかの例では、本明細書に述べられる動作は、別のローカライゼーションアルゴリズムに冗長性を提供するようにという、独立したロケーション推定を提供するように行われることができる。

キャリブレーション情報を決定することの追加の詳細は、図２に関連して、本開示の至る所にも同様に、述べられている。

車両を制御する状況において、いくつかの例では、作動は、軌道を生成すること、軌道を変えることまたは修正すること、安全停止軌道を開始すること、リモートオペレータに指示の要求を送ること、および同類のものを含むことができる。

図２は、センサーデータをキャプチャし、第１の物体が第２の物体に対応することを決定し、エピポーラ幾何に基づいてキャリブレーションパラメーターを決定する例示的な処理２００について絵を使ったフロー図である。

動作２０２において、処理は、第１のセンサーからの第１のセンサーデータ、および第２のセンサーからの第２のセンサーデータを受信することを含む。例２０４は、環境における交差点の車両２０４を示すシーンの上から下へのビューを例示する。第１のダッシュからなる線２０８（半ダッシュからなる線により例示されている）は、第１のセンサーの視野を表し、第２のダッシュからなる線２１０（完全なダッシュからなる線により図示されている）は、第２のセンサーの第２の視野を表す。画像データの状況において、第１の画像センサー（例えば、左の画像センサー）によってキャプチャされた画像データの例は、画像データ２１２として例示される。第２の画像センサー（例えば、右の画像センサー）によってキャプチャされた画像データの例は、画像データ２１４として例示される。

画像データの状況において述べられるが、動作２０２は、ライダーデータ、レーダーデータ、オーディオデータ、タイムオブフライトデータ、および同類のものを受信することを含むことができる。

例２０４に例示されたセンサーの特定の向きは、限定していなく、車両２０６は、あらゆる組み合わせの視野（または感知されたエリア）を有するあらゆる数のセンサーを含むことができる。

画像データ２１２は、第１のダッシュからなる線２０８に関連付けられた視野に関連付けられた画像データを表す。画像データ２１４は、第２のダッシュからなる線２１０に関連付けられた視野に関連付けられた画像データを表す。

動作２１６は、セマンティックマップデータに基づいて、第１のセンサーデータにおける第１の物体が第２のセンサーデータにおける第２の物体であることを決定することを含むことができる。例えば、動作２１６は、図１の状況において述べられたのと同様の動作を含むことができる。すなわち、限定されないが、動作２１６は、画像データ２１２および／または画像データ２１４において物体（複数可）を検出すること、マップデータを受信すること、物体（複数可）に関連付けられた中心点を決定すること、物体（複数可）に関連付けられた共分散データを決定すること、セマンティックオブジェクトがセンサーデータにおける物体に（たとえば、ハンガリー法アルゴリズム、点の間の距離、または他のマッチングアルゴリズムに基づいて）対応すると決定すること、および、画像データ２１２、２１４において表された２つの物体が同一の物体であると決定することを含むことができる。追加の詳細は、下に述べる物体２１８および２２０に関して提供される。

画像データ２１２は、物体２１８の表現を含む一方、画像データ２１４は、物体２２０の表現を含む。物体２１８を含む画像データ２１２に関連付けられた詳細なビューは、例２２２に提供される。物体２２０を含む画像データ２１４に関連付けられた詳細なビューは、例２２４に提供される。

たとえば、例２２２は、物体２１８に関連付けられた中心点および共分散データを、物体２１８に関連付けられたセマンティックマップデータとともに例示する。例えば、物体２１８は、例２２２に中心点２２６および共分散データ２２８によって表される。セマンティックマップオブジェクトは、例２２２に中心点２３０および共分散データ２３２として表される。

動作２１６は、中心点２２６と中心点２３０との間の距離２３４を決定することを含むことができる。いくつかの例では、距離２３４は、中心点２２６、２３０および／または共分散データ２２８、２３０に少なくとも部分的に基づく。いくつかの例では、距離２３４は、マハラノビス距離に対応することが可能である。

例２２４は、物体２２０に関連付けられた中心点および共分散データと、物体２２０に関連付けられたセマンティックマップデータとを例示する。例えば、物体２２０は、例２２４に中心点２３６および共分散データ２３８によって表される。セマンティックマップオブジェクトは、例２２４に中心点２４０および共分散データ２４２として表される。

さらに、動作２１６は、中心点２３６と中心点２４０との間の距離２４４を決定することを含むことができる。いくつかの例では、距離２４４は、中心点２３６、２４０および／または共分散データ２３８、２４０に少なくとも部分的に基づく。いくつかの例では、 距離２４４は、マハラノビス距離に対応することが可能である。

したがって、物体２１８、２２０が、同一の物体に対応することを決定されることできるので、中心点２２６、２３６は、下に述べるさらなる動作に用いられることができる。

動作２４６は、エピポーラ幾何に少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なく１つに関連付けられたキャリブレーションパラメーターを決定することを含むことができる。

例２４８は、中心点２２６および共分散データ２２８によって表される物体２１８の詳細なビューを例示する。例２４８は、さらに、エピポーラ線２５０を例示する。エピポーラ線２５０は、キャリブレーションパラメーターまたは関数（例えば、伝達関数）に基づくことができ、画像データ２１４からの点が、画像データ２１２にプロジェクションされることが可能である線を表すことができる。すなわち、画像データ２１２、２１４をキャプチャする画像センサー間のキャリブレーションが完全であるならば、中心点２２６は、エピポーラ線２５０とアライメントするだろう。しかしながら、動作２４６は、中心点２２６とエピポーラ線２５０との間の距離２５２を決定することを含むことができる。いくつかの例では、距離２５２は、中心点２２６とエピポーラ線２５０との間の最短距離を表すことができる。

いくつかの例では、エピポーラ線２５０は、感知された物体（複数可）に少なくとも部分的に基づいて、分散データまたは共分散データと関連付けられることが可能である（例えば、共分散データ２２８および／または共分散データ２３８に関連付けられる）。

同様に、動作２４６は、例２５４において、画像データ２１４に関して例示される。例２５４は、中心点２３６および共分散データ２３８によって表される物体２２０の詳細なビューを例示する。例２５４は、さらに、エピポーラ線２５６を例示する。エピポーラ線２５６は、キャリブレーションパラメーターまたは関数に基づくことができ、画像データ２１２からの点が、画像データ２１４にプロジェクションされることが可能である線を表すことができる。すなわち、画像データ２１２、２１４をキャプチャする画像センサー間のキャリブレーションが完全であるならば、中心点２３６は、エピポーラ線２５６とアライメントするだろう。しかしながら、動作２４６は、中心点２２６とエピポーラ線２５６との間の距離２５８を決定することを含むことができる。いくつかの例では、距離２５８は、中心点２３６とエピポーラ線２５６との間の最短距離を表すことができる。

いくつかの例では、距離２５２および距離２５６は、両方、決定されることが可能である一方、いくつかの例では、距離２５２または距離２５６のうちの１つが決定されることが可能である。場合によっては、距離２５２および／または距離２５６は、ユークリッド距離に対応することができる。

いくつかの例では、動作２４６は、画像データ２１２および／または画像データ２１４を仮想カメラ空間にプロジェクションして、レンズの歪みを除去し、画像データが線形であることを確実にすることを含むことができる。

距離２５２、２５６は、経時的に決定され、トラッキングされることができる。例えば、距離は、たとえば、秒、時間、日、週など、時間の期間にわたってキャプチャされたセンサーデータに対して決定されることが可能である。距離の値は、平均化されて、あるいは別のやり方にて統計的に蓄積されて、経時的な誤差（error over time）を決定されることが可能である。

いくつかの例では、第１のしきい値以上である瞬間の距離の値は、画像データ２１２、２１４が、矛盾があることを示し、キャリブレーションエラーを示すことがある。いくつかの例では、第２のしきい値以上である経時的な誤差は、画像データ２１２、２１４が、矛盾があることを示し、キャリブレーションエラーを示すことがある。いくつかの例では、第１のしきい値は、第２のしきい値と同じである、または異なることが可能である。いくつかの例では、センサーは、他のセンサーに関して矛盾がないまたは矛盾があるというキャリブレーション状態を含むことができる。

いくつかの例では、動作２４６は、キャリブレーションパラメーターに基づく作動を含むことがある。限定されないが、今述べた作動は、軌道を（例えば、軌道の修正なしに）たどること、センサーデータまたはセンサーデータから導出されるデータ（例えば、バウンディングボックス、エクステント、姿勢、速度、分類データ、分割データ、予測データなど）に関連付けられた信頼度を減らすこと（例えば、ダウンウェイトすること）、クリーニング動作を開始すること、メンテナンスをスケジューリングすること（例えば、キャリブレーションパラメーターおよび／またはセンサーデータのインディケーションをリモートコンピューティングデバイスに送ることを含むことがある）、軌道に関連付けられた速度を減らすこと（または軌道に関するいくつかの他の様相を修正すること）、停止軌道を生成すること、および同類のものを含むことがある。

２つのセンサーからの画像データの状況において述べたが、あらゆる数のセンサーおよび／または画像データを用いて、キャリブレーションデータを決定することが可能である。追加の詳細は、図４Ａおよび図４Ｂに関連して、本開示の至る所にも同様に、下に述べられる。

図３は、オブジェクトタイプ（object type）および距離に基づいてマップデータを決定することの例３００の図解である。

例３００は、環境３０２およびマップデータ３０４の上から下へのビューを例示する。環境３０２は、たとえば自律車両などの車両３０６を含むことがある。

マップデータ３０４は、たとえば、トラフィックライトデータ３０８、サインデータ３１０、ポールデータ３１２、レーンマーキングデータ３１４、および同類のものなど、異なったセマンティックオブジェクト（セマンティックマップオブジェクトとも呼ばれる）に関連付けられたデータを含むことがある。もちろん、マップデータ３０４は、他のセマンティックオブジェクトに関連付けられたデータを含むことがあり、本明細書に述べられる例に限定されない。

本明細書に述べられる技法（例えば、動作１１２および／または動作２１６）は、車両３０６のロケーションに基づいてマップデータを受信する、ロードする、あるいは別のやり方にて決定することを含むことが可能である。いくつかの例では、マップデータは、マップデータに表されるマップオブジェクトの車両３０６への近接度に基づいて、受信される、ロードされる、あるいは別のやり方にて決定されることが可能である。例えば、マップデータは、マップオブジェクトのロケーション（例えば、３次元位置）が車両３０６に対してしきい値距離内にあることに基づいて受信されることができる。

いくつかの例では、しきい値距離は、セマンティックマップオブジェクトのタイプに基づくことができる。例えば、トラフィックライトデータ３０８は第１のしきい値距離３１６と関連付けられることができ、サインデータ３１０およびポールデータ３１２は第２のしきい値距離３１８と関連付けられることができ、レーンマーキングデータ３１４は第３のしきい値距離３２０と関連付けられることができる。もちろん、サインデータ３１０およびポールデータ３１２は、個々のしきい値距離と関連付けられることができ、同じである必要はない。いくつかの場合では、種々のしきい値は、あらゆるサイズまたは形状であることが可能であり、本明細書に明示的に説明される例に限定されない。

さらに、しきい値距離（複数可）は、一般に、分類タイプに基づくことができる、および／またはマップにおける特定のロケーションに基づくことができる。例えば、第１のロケーションは、セマンティックオブジェクトの第１の頻度または数を有することがあり、第２のロケーションは、第１の頻度より低いセマンティックオブジェクトの第２の頻度または数を有することがある。いくつかの例では、第１のロケーションに関連付けられた第１のしきい値距離は、第２のロケーションに関連付けられた第２のしきい値距離よりも小さいことがある。しかしながら、第１のしきい値および第２のしきい値は同一であり得る、または第の１のしきい値の距離は、第２しきい値の距離より大きくできる。

いくつかの例では、マップデータを受信すること、ロードすること、あるいは別のやり方にて決定することは、全体のセマンティックオブジェクトの数（例えば、車両のしきい値距離内の）、しきい値距離内の特定のオブジェクトタイプに関連付けられたセマンティックオブジェクトの数、ローカライゼーションの精度、センサーデータによって表される物体とマップオブジェクトとをマッチングするのに用いられるアルゴリズム、センサーデータに表される物体に関連付けられた距離（例えば、感知された物体と車両と間の最大距離、平均距離など）、他のセンサーに関する可視性（例えば、オクルージョンマップに関連付けられる）、および同類のものに基づくことが可能である。マップデータを作業メモリーにロードする追加の例は、例えば、発明の名称「Multi-Resolution Maps for Localization」、出願日２０１８年６月２８日の米国特許出願第１６／０２２，０４８号に見つけることが可能であり、全体がすべての目的のために全体の参照により本明細書に組み入れられる。

図４Ａは、少なくとも部分的に重なる視野を含む複数のセンサーを用いて物体を表すセンサーデータをキャプチャすることの図解４００である。

環境４０２は、第１の視野（ＦＯＶ）４０６、第２のＦＯＶ４０８、および第３のＦＯＶ４１０を有するセンサーを含む車両４０４を例示する。例示されるように、環境４０２は、物体４１２がＦＯＶ４０６、４０８、４１０に関連付けられたセンサーデータに表されることが可能であるように置かれた物体４１２を含む。

いくつかの例では、車両４０４は、本明細書に述べられる技法を用いて、ロケーションを決定する、および／またはキャリブレーションパラメーター（複数可）を決定することができる。すなわち、複数のセンサーからのデータは、実質的に同時にキャプチャされ、本明細書に述べられる技法により用いられることができる。いくつかの例では、キャリブレーションパラメーターは、センサーの異なるペアに対して決定されることができて、および／またはセンサーのグループに対して決定されることができて、センサーが他のセンサーに関してミスキャリブレーションされているかどうかを決定する。

図４Ｂは、重ならない視野を含む複数のセンサーを用いて物体を表すセンサーデータをキャプチャすることの図解４１４である。

例えば、例４１６は、第１の時間Ｔ₁における環境を例示し、例４１８は、第１の時間の後の第２の時間Ｔ₂における環境を例示する。第１の時間Ｔ₁において、車両４２０は、第１の視野４２４に関連付けられたセンサーにより物体４２２のセンサーデータをキャプチャすることができる。いくつかの例では、車両４２０は、異なった視野をキャプチャする複数のセンサーを含むことがある。例えば、車両４２０は、第１の視野４２４と重ならない第２の視野４２６に関連付けられた第２のセンサーを含むことがある。したがって、物体４２２は、時間Ｔ₁における第２の視野に関連付けられたあらゆるセンサーデータにおいて表されない。

例４１８に例示されるように、車両４２０は、物体４２２が時間Ｔ₂において第２の視野４２６に関連付けられた第２のセンサーデータによって表されことがあるように、第１の時間Ｔ₁から第２の時間Ｔ₂まで環境を通って動くことが可能である。

したがって、本明細書に述べられる技法は、例４１６、４１８においてキャプチャされたセンサーデータに少なくとも部分的に基づいて、ロケーションを決定すること、および／またはキャリブレーションパラメーターを決定することを含むことができる。すなわち、第１のロケーションは、第１の時間にキャプチャされた物体４２２を表すセンサーデータを用いて決定されることが可能であり、第２のロケーションは、第２の時間にキャプチャされた物体４２２を表すセンサーデータを用いて決定されることが可能である。第１の時間と第２の時間との間の車両のロケーションおよび向きの変化は、時間の間の運動を説明するのに用いられることが可能である。

同様に、第１の時間にキャプチャされた物体４２２を表すセンサーデータ、および第２の時間にキャプチャされた物体４２２を表すセンサーデータは、車両の１つまたは複数のセンサーのキャリブレーションパラメーターを決定するのに用いられることができる。第１の時間と第２の時間との間の車両のロケーションおよび向きの変化は、時間の間の運動を説明するのに用いられることが可能である。

図５は、本明細書に説明される技法を実装するための例示的なシステム５００のブロック図を描く。少なくとも一例では、システム５００は、車両５０２を含むことが可能である。例示された例示的なシステム５００において、車両５０２は、自律車両であるが、しかしながら、車両５０２は、どんな他の種類の車両でもあることが可能である。

車両５０２は、たとえば、ドライバー（または乗員）がいかなる時点においても車両を制御することが期待されない、全行程にすべてのセーフティ-クリティカルの機能を果たす性能がある車両を記述する、米国連邦道路交通***によって発行されるレベル５分類に応じて、動作するように構成された自律車両などのような無人運転車両であることが可能である。上記の例では、車両５０２が、すべての駐車機能を含む、行程の開始から完了までのすべての機能を制御するように構成されることができるので、ドライバー、ならびに／または、たとえば、ハンドル、アクセルペダル、および／もしくはブレーキペダルなど、車両５０２を運転するための制御を含まないことがある。今述べたことは、単に例であり、本明細書に説明されるシステムおよび方法は、常にドライバーによって手動により制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、陸上輸送の、航空輸送の、または水上輸送のどんな車両にでも組み入れられることがある。

車両５０２は、１つまたは複数のコンピューティングデバイス（複数可）５０４、１つまたは複数のセンサーシステム（複数可）５０６、１つまたは複数のエミッター（複数可）５０８、１つまたは複数の通信接続（複数可）５１０（通信デバイスおよび／またはモデムとも呼ばれる）、少なくとも１つの直接接続５１２（例えば、車両５０２と物理的に接続してデータを交換するおよび／または電力を供給するための）、および、１つまたは複数のドライブシステム５１４を含むことができる。１つまたは複数のセンサーシステム（複数可）５０６は、環境に関連付けられたセンサーデータをキャプチャするように構成されることができる。

１つまたは複数のセンサーシステム（複数可）５０６は、タイムオブフライトセンサー、ロケーションセンサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープなど）、ライダーセンサー、レーダーセンサー、ソナーセンサー、赤外線センサー、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、マイクロフォンセンサー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）、超音波トランスデューサー、ホイールエンコーダーなどを含むことが可能である。１つまたは複数のセンサーシステム（複数可）５０６は、今述べたまたは他の種類のセンサーの各々に関する複数のインスタンスを含むことができる。たとえば、タイムオブフライトセンサーは、車両５０２の角、前面、後面、側面、および／または上面に位置される個々のタイムオブフライトセンサーを含むことが可能である。別の例として、カメラセンサーは、車両５０２の外部および／または内部のあちこちに、種々のロケーションに配置された複数のカメラを含むことができる。１つまたは複数のセンサーシステム（複数可）５０６は、入力を、コンピューティングデバイス５０４に提供することができる。

さらに、車両５０２は、光および／または音を発するための１つまたは複数のエミッター（複数可）５０８を含むこともできる。今述べた例における１つまたは複数のエミッター（複数可）５０８は、車両５０２の乗客と通信する内部のオーディオおよびビジュアルのエミッターを含む。例として限定しないが、内部のエミッターは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚に関するエミッター（例えば、振動および／またはフォースフィードバック）、メカニカルアクチュエーター（たとえば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）、および同類のものなどを含むことが可能である。さらに、今述べた例における１つまたは複数のエミッター（複数可）５０８は、外部のエミッターも含む。例および非限定として、今述べた例における外部のエミッターは、進む方向、または車両の作動に関する他のインディケーション（例えば、インジケーターライト、サイン、ライトアレイなど）を合図するライト、および歩行者または他の近くの車と聞こえるほどに通信する１つまたは複数のオーディオエミッター（例えば、スピーカー、スピーカーアレイ、ホーンなど）、アコースティックビームステアリング技術を含むことがある１つまたは複数を含む。

さらに、車両５０２は、車両５０２と、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）（例えば、リモートテレオペレーションコンピューティングデバイス）との間の、または、リモートサービスとの間の通信を可能にする通信接続（複数可）５１０を含むことも可能である。たとえば、１つまたは複数の通信接続（複数可）５１０は、車両５０２の他のローカルコンピューティングデバイス（複数可）との、および／またはドライブシステム（複数可）５１４との通信を容易にすることができる。さらに、１つまたは複数の通信接続（複数可）５１０は、車両５０２に、他の近くのコンピュータデバイス（複数可）（例えば、他の近くの車両、交通信号機など）と通信できるようにすることも可能である。

１つまたは複数の通信接続（複数可）５１０は、コンピューティングデバイス５０４を、別のコンピューティングデバイスに、または、１つまたは複数の外部ネットワーク（複数可）５４２（例えば、インターネット）に接続するための物理インターフェースおよび／または論理インターフェースを含むことが可能である。例えば、１つまたは複数の通信接続（複数可）５１０は、たとえば、ＩＥＥＥ８０２．１１規格によって定義された周波数、たとえばＢＬＵＥＴＯＯＴＨ（登録商標）、セルラー通信（例えば２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、衛星通信、狭域通信（-ＤＳＲＣ、）などのショートレンジのワイヤレス周波数、またはそれぞれのコンピューティングデバイスに他のコンピューティングデバイス（複数可）とインターフェースできるようにするどんな適切なワイヤードもしくはワイヤレスの通信プロトコルでも介してなど、Ｗｉ－Ｆｉベースの通信を可能にすることができる。

少なくとも１つの例では、車両５０２は、１つまたは複数のドライブシステム（複数可）５１４を含むことができる。いくつかの例では、車両５０２は、単一のドライブシステム５１４を有することができる。少なくとも１つの例では、車両５０２が複数のドライブシステム５１４を有するならば、個々のドライブシステム５１４は、車両５０２の向き合う端部（例えば、前方および後方など）に置かれることができる。少なくとも１つの例では、ドライブシステム（複数可）５１４は、ドライブシステム（複数可）５１４の状態を、および／または車両５０２の周囲の状態を検出する１つまたは複数のセンサーシステム（複数可）５０６を含むことが可能である。例および非限定として、センサーシステム（複数可）５０６は、ドライブシステムの車輪の回転を感知する１つまたは複数のホイールエンコーダー（たとえば、ロータリーエンコーダー）、ドライブシステムの向きおよび加速度を測定する慣性センサー（たとえば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサー、ドライブシステムの周囲のオブジェクトを聴覚的に検出する超音波センサー、ライダーセンサー、レーダーセンサーなどを含むことが可能である。いくつかのセンサー、たとえばホイールエンコーダーなどは、ドライブシステム（複数可）５１４に一意的であることが可能である。ある場合には、ドライブシステム（複数可）５１４のセンサーシステム（複数可）５０６は、車両５０２の対応するシステム（例えば、センサーシステム（複数可）５０６）に対して重ねる、または補うことができる。

ドライブシステム（複数可）５１４は、高電圧バッテリー、車両を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、（電気で動くことが可能である）ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、ライティング（例えば車両の外部の周囲を照らすヘッド／テールライトなどのライティング）、および１つまたは複数の他のシステム（例えば、冷却システム、安全性システム、オンボード充電システム、たとえば、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気コンポーネント）を含む、多くの車両システムを含むことが可能である。加えて、ドライブシステム（複数可）５１４は、センサーシステム（複数可）５０６からのデータを受信し前処理することができ、種々の車両システムの動作を制御するためのドライブシステムコントローラーを含むことができる。いくつかの例では、ドライブシステムコントローラーは、１つまたは複数のプロセッサー（複数可）と、１つまたは複数のプロセッサー（複数可）に通信接続されたメモリーとを含むことが可能である。メモリーは、ドライブシステム（複数可）５１４の種々の機能性を行う１つまたは複数のコンポーネントを格納することができる。その上さらに、ドライブシステム（複数可）５１４は、それぞれのドライブシステムによって、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）との通信を可能にする１つまたは複数の通信接続（複数可）を含むこともある。

コンピューティングデバイス５０４は、１つまたは複数のプロセッサー（複数可）５１６と、１つまたは複数のプロセッサー（複数可）５１６に通信接続されたメモリー５１８とを含むことが可能である。例示される例では、コンピューティングデバイス５０４のメモリー５１８は、オブジェクトディテクタ５２２、エピポーラコンポーネント５２４、およびエラーコンポーネント５２６を含むパーセプションコンポーネント５２０、プロジェクションコンポーネント５３０および距離コンポーネント５３２を含むローカライゼーションコンポーネント５２８、予測コンポーネント５３４、プランニングコンポーネント５３６、マップコンポーネント５３８、および、１つまたは複数のシステムコントローラー（複数可）５４０を格納する。例示の目的のためにメモリー５１８に常駐するように描かれるが、パーセプションコンポーネント５２０、オブジェクトディテクタ５２２、エピポーラコンポーネント５２４、エラーコンポーネント５２６、ローカライゼーションコンポーネント５２８、プロジェクションコンポーネント５３０、距離コンポーネント５３２、予測コンポーネント５３４、プランニングコンポーネント５３６、マップコンポーネント５３８、および１つまたは複数のシステムコントローラー（複数可）５４０が、追加的に、または代替的に、コンピューティングデバイス５０４にアクセスできる（例えば、車両５０２の異なるコンポーネントに格納される）および／または車両５０２にアクセスできる（例えば、遠隔に格納される）ことが可能であることは想定される。

パーセプションコンポーネント５２０は、物体の検出、分割、および／または分類を行う機能性を含むことができる。いくつかの例では、パーセプションコンポーネント５２０および／またはオブジェクトディテクタ５２２は、車両５０２に最も近いエンティティの存在（presence）、および／またはエンティティの種類（例えば、車、歩行者、サイクリスト、建物、木、路面、縁石、歩道、不明など）としてエンティティの分類を示す処理されたセンターデータを提供することがある。追加および／または代替の例において、パーセプションコンポーネント５２０は、検出されるエンティティおよび／またはエンティティが置かれる環境に関連付けられた１つまたは複数の特性を示す処理されたセンサーデータを提供することが可能である。いくつかの例では、限定されないが、エンティティに関連付けられた特性は、ｘ位置（グローバルポジション）、ｙ位置（グローバルポジション）、ｚ位置（グローバルポジション）、向き、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティのエクステント（大きさ）などを含むことが可能である。限定されないが、環境に関連付けられた特性は、環境における別のエンティティの存在、環境における別のエンティティの状態、時刻、曜日、季節、気象条件、闇／光のインディケーションなどを含むことができる。

さらに、パーセプションコンポーネント５２０は、パーセプションコンポーネント５２０によって生成されたパーセプションデータを格納する機能性を含むことができる。場合によっては、パーセプションコンポーネント５２０は、オブジェクトタイプとして分類された物体に対応するトラックを決定することができる。例示のみの目的のために、センサーシステム（複数可）５０６を用いて、パーセプションコンポーネント５２０は、環境の１つまたは複数の画像をキャプチャすることができる。センサーシステム（複数可）５０６は、たとえば、歩行者などの物体を含む環境の画像をキャプチャすることができる。歩行者は、時間Ｔに第１の位置にいて、時間Ｔ＋ｔに第２の位置にいることが可能である（例えば、時間Ｔの後の時間ｔのスパンの間の動き）。言い換えると、歩行者は、今述べた時間スパンの間に、第１の位置から第２の位置まで動くことが可能である。上記の動きは、例えば、オブジェクトに関連付けられた格納されたパーセプションデータとしてロギングされることが可能である。

格納されたパーセプションデータは、いくつかの例では、車両によってキャプチャされた融合されたパーセプションデータを含むことができる。-融合されたパーセプションデータは、たとえば、画像センサー、ライダーセンサー、レーダーセンサー、-タイムオブフライトセンサー、ソナーセンサー、全地球測位システムセンサー、内部センサー、および／またはあらゆる組み合わせなど、センサーシステム（複数可）５０６からのセンサーデータの融合または他の組み合わせを含むことができる。格納されたパーセプションデータは、追加的または代替的に、センサーデータに表される物体（例えば、歩行者、車両、建物、路面など）のセマンティック分類を含む分類データを含むことができる。格納されたパーセプションデータは、追加的または代替的に、環境を通る動的な物体として分類された物体の運動に対応するトラックデータ（位置、向き、センサー特徴など）を含むことができる。トラックデータは、経時的に、複数の異なる物体の複数のトラックを含むことができる。今述べたトラックデータをマイニングして、あるタイプの物体（歩行者、動物など）が静止している（例えば、立ったままでいる）または運動している（例えば、歩いている、走っているなど）時間の物体の画像を識別することが可能である。今述べた例では、コンピューティングデバイスは、歩行者に対応するトラックを決定する。

一般に、オブジェクトディテクタ５２２は、センサーデータによって表されるセマンティックオブジェクトを（とりわけ）検出することができる。いくつかの例では、オブジェクトディテクタ５２２は、上記のセマンティックオブジェクトを識別することができ、物体に関連付けられた２次元または３次元バウンディングボックスを決定することができる。オブジェクトディテクタ５２２は、本明細書に述べられるように、物体に関連付けられた共分散データおよび／または物体に関連付けられた中心点を決定することができる。オブジェクトディテクタ５２２は、たとえば、オブジェクトに関連付けられたロケーション、向き、姿勢、および／またはサイズ（例えば、長さ、幅、高さなど）などの追加情報を決定することができる。オブジェクトディテクタ５２２は、本明細書に述べられるように、ローカライゼーションのためにおよび／またはキャリブレーション情報の決定のために、システム５００の他のコンポーネントにデータを送ることができる。

一般に、エピポーラコンポーネント５２４は、エピポーラ幾何に基づいてキャリブレーション情報を決定することができる。例えば、エピポーラコンポーネント５２４は、２つの物体が同一の物体であり、種々のセンサーによってキャプチャされたセンサーデータに表されているというインディケーションを受信することができる。エピポーラコンポーネント５２４は、本明細書に述べられるように、センサーの一貫性を評価するためのエピポーラ平面および／またはエピポーラ線を決定することができる。例えば、エピポーラコンポーネント５２４は、物体に関連付けられた中心点と、２つのセンサーからのセンサーデータに関連するエピポーラ線との間の距離を決定することができる。エピポーラコンポーネント５２４は、種々のセンサー（複数可）の姿勢を表す固有のおよび／または固有でないセンサーキャリブレーションパラメーターに基づいて、エピポーラ平面および／またはエピポーラ線を決定することができる。

一般に、エラーコンポーネント５２６は、エピポーラコンポーネント５２４から距離データを受信することができ、距離を集約して、１つまたは複数のセンサーに関連付けられた経時的な誤差を決定することができる。いくつかの例では、経時的な誤差は、エピポーラ線を中心とした誤差のガウス分布を表すことがある（または表すと予期されることがある）。距離を集計することにより、エラーコンポーネント５２６は、誤差が許容可能な誤差の範囲外であるかどうかを決定することができる。誤差が決定されるならば、エラーコンポーネント５２６は、２つのセンサーが、矛盾があると決定することができ、本明細書に述べられるように、さらなるメンテナンスまたは他の作動のためにセンサーにフラグを立てることができる。

ローカライゼーションコンポーネント５２８は、センサーシステム（複数可）５０６および／または他のコンポーネントからデータを受信して、車両５０２の位置を決定する機能性を含むことができる。例えば、ローカライゼーションコンポーネント５２８は、環境の３次元マップを含むおよび／または要求する／受信することができ、マップ内の自律車両のロケーションを連続的に決定することができる。場合によっては、ローカライゼーションコンポーネント５２８は、ＳＬＡＭ（simultaneous localization and mapping）またはＣＬＡＭＳ（calibration, localization and mapping, simultaneously）を用いて、タイムオブフライトデータ、画像データ、ライダーデータ、レーダーデータ、ソナーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータ、またはあらゆる組み合わせ、および同類のものを受信して、自律車両のロケーションを正確に決定することができる。場合によっては、ローカライゼーションコンポーネント５２０は、データを、車両５０２の種々のコンポーネントに提供して、本明細書に述べられるように、候補の軌道を生成するために自律車両の初期の位置を決定することができる。

さらに、ローカライゼーションコンポーネント５２８は、セマンティックオブジェクトを表すマップデータを受信することができ、本明細書に述べられるように、車両５０２のロケーションを決定するためのセンサーデータにおける上記のセマンティックオブジェクトの検出を受信することができる。

プロジェクションコンポーネント５３０は、本明細書に述べられるように、セマンティックオブジェクト（複数可）を表すセンサーデータを、オブジェクトマッチングのためにキャプチャされたセンサーデータにプロジェクションする機能性を含むことができる。

距離コンポーネント５３２は、セマンティックマップオブジェクトと対応する感知された物体との間の距離を決定する機能性を含むことができる。距離コンポーネント５３２は、車両の推定ロケーションを更新して、距離を大域的に最小にすることができる。すなわち、距離の大域的な最小値は、推定ロケーションがローカライゼーションコンポーネント５２８によって決定されたことを示すことがある。

予測コンポーネント５３４は、環境における１つまたは複数の物体の可能性のあるロケーションの予測確率を表す１つまたは複数の確率マップを生成することができる。例えば、予測コンポーネント５３４は、車両５０２からしきい値距離内にある車両、歩行者、動物、および同類のものに対して、１つまたは複数の確率マップを生成することができる。場合によっては、予測コンポーネント５３４は、物体のトラックを測定し、観測され予測される挙動に基づいて、物体に対して、離散化予測確率マップ、ヒートマップ、確率分布、離散化確率分布、および／または軌道を生成することができる。場合によっては、１つまたは複数の確率マップは、環境における１つまたは複数の物体のインテントを表すことができる。

プランニングコンポーネント５３６は、自律車両５０２が、環境を通って横切って進むために従うパスを決定することができる。例えば、プランニングコンポーネント５３６は、種々のルートおよびパスおよび種々の詳細のレベルを決定することができる。場合によっては、プランニングコンポーネント５３６は、第１のロケーション（たとえば、現在のロケーション）から第２のロケーション（たとえば、目標のロケーション）まで進むルートを決定することが可能である。本議論の目的のために、ルートは、２つのロケーション間を進むためのウェイポイントのシーケンスであることが可能である。限定でない例として、ウェイポイントは、街路、交差点、ＧＰＳ（全地球測位システム）座標などを含む。さらに、プランニングコンポーネント５３６は、自律車両を、第１のロケーションから第２のロケーションまでの少なくとも一部分のルートに沿って、導くためのインストラクションを生成することができる。少なくとも一例では、プランニングコンポーネント５３６は、自律車両を、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントまで、どのように導くかを決定することができる。いくつかの例では、命令は、パス、またはパスの一部であることが可能である。いくつかの例では、複数のパスは、レシーディングホライズン（receding horizon）の技法にしたがって、実質的に同時に（すなわち、技術的な許容範囲内に）生成されることが可能である。最も高い信頼レベルを有するレシーディングデータホライズンにおける複数のパスのうちの単一のパスが、選択されて車両を動作させることがある。

他の例では、プランニングコンポーネント５３６は、代替的に、または追加的に、パーセプションコンポーネント５２０および／または予測コンポーネント５３４からのデータを用いて、車両５０２が環境を通って横切って進むために従うパスを決定することができる。例えば、プランニングコンポーネント５３６は、環境に関連付けられた物体に関するパーセプションコンポーネント５２０および／または予測コンポーネント５３４からのデータを受信することができる。今述べたデータを用いて、プランニングコンポーネント５３６は、環境における物体を避けるように、第１のロケーション（たとえば、現在のロケーション）から第２のロケーション（たとえば、目標のロケーション）まで進むルートを決定することが可能である。少なくともいくつかの例では、プランニングコンポーネント５３６は、上記の衝突のないパスがないと決定し、今度は、車両５０２を、すべての衝突を回避するおよび／または別のやり方にて損傷を軽減する安全停止の状態にするパスを提供することがある。

メモリー５１８は、環境内をナビゲートするために車両５０２によって用いられることできる１つまたは複数のマップ５３８を、さらに含むことできる。議論の目的のために、マップは、たとえば、限定されないが、トポロジー（たとえば、交差点など）、街路、山脈、道路、地形、および一般に環境など、環境について情報を提供する能力がある２次元、３次元、またはＮ次元のモデル化されたいくつものデータ構造であることが可能である。マップは、物体識別子、物体分類、３次元ロケーション、共分散データ（例えば、画像データ、または多重解像度ボクセル空間に表される）、および同類のものをさらに含むことができる。限定されないが、場合によっては、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）、および同類のもの）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報、および同類のもの）、空間情報（例えば、メッシュの上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射情報、再帰反射率（retroreflectivity）情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報、および同類のもの）を含むことが可能である。１つの例では、マップは、環境の３次元メッシュを含むことができる。場合によっては、本明細書に述べられるように、マップは、たとえば、マップの個々のタイルが環境の離散的な部分を表すなど、タイルフォーマットに格納されることが可能であり、必要に応じてワーキングメモリーにロードされることが可能である。少なくとも１つの例では、１つまたは複数のマップ５３８は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例では、車両５０２は、マップ（複数可）５３８に少なくとも部分的に基づいて制御されることができる。すなわち、マップ（複数可）５３８が、パーセプションコンポーネント５２０（およびサブコンポーネント）、ローカライゼーションコンポーネント５２８（およびサブコンポーネント）、予測コンポーネント５３４、および／またはプランニングコンポーネント５３６に関連して用いられて、車両５０２のロケーションを決定する、環境におけるオブジェクトを識別する、物体および／または車両５０２に関連付けられた予測確率（複数可）を生成する、および／または環境内をナビゲートするルートおよび／または軌道を生成することができる。

少なくとも１つの例では、コンピューティングデバイス５０４は、車両５０２の操舵、推進、制動、安全、エミッター、通信、および他のシステムを制御するように構成されることができる１つまたは複数のシステムコントローラー（複数可）５４０を含むことができる。今述べたシステムコントローラー（複数可）５４０は、ドライブシステム（複数可）５１４の対応するシステムおよび／または車両５０２の他のコンポーネントに対して通信するおよび／または制御することができ、プランニングコンポーネント５３６から提供されるパスにしたがって動作するように構成されることがある。

車両５０２は、ネットワーク５４２を介してコンピューティングデバイス（複数可）５４４に連結されることができ、１つまたは複数のプロセッサー（複数可）５５６と、１つまたは複数のプロセッサー（複数可）５５６に通信接続されたメモリー５４８とを含むことができる。少なくとも１つの例では、１つまたは複数のプロセッサー（複数可）５５６は、プロセッサー（複数可）５１６と同様であることが可能であり、メモリー５４８は、メモリー５１８と同様であることが可能である。例示される例では、コンピューティングデバイス（複数可）５４４のメモリー５４８は、遠隔操作コンポーネント５５０および／またはモデルコンポーネント５５２を格納する。少なくとも１つの例では、モデルコンポーネント５５２は、経験的なテスティングおよび／またはシミュレーションの後、本明細書に述べられるように、ロケーションを決定するためのモデルおよび／またはキャリブレーションパラメーターを決定するためのモデルを含むことができる。例示の目的のためにメモリー５４８に常駐するように描かれるが、遠隔操作コンポーネント５５０およびモデルコンポーネント５５２が、追加的に、または代替的に、コンピューティングデバイス（複数可）５４４にアクセスできる（例えば、コンピューティングデバイス（複数可）５４４の異なるコンポーネントに格納される、および／またはコンピューティングデバイス（複数可）５４４にアクセスできる（たとえば遠隔に格納される））ことが可能であることは想定される。

本明細書に述べられるように、遠隔操作コンポーネント５５０は、キャリブレーションパラメーター（複数可）のインディケーション、上記のキャリブレーションパラメーター（複数可）に関連付けられたセンサーデータ、および／または予防保守の要求を受信する機能性を含むことができる。いくつかの例では、遠隔操作コンポーネント５５０は、キャリブレーションパラメーターに基づいて、またはキャリブレーションパラメーターが、低下した状態を示すという車両５０２による決定に基づいて、保守動作をスケジューリングすることができる。いくつかの例では、遠隔操作コンポーネント５５０は、車両５０２を制御することができるか、またはキャリブレーションパラメーターに基づいて車両に命令を提供することができるテレオペレーターまたはオペレーターを含むことができる。

モデルコンポーネント５５２は、本明細書に述べられるように、ロケーションを決定するためのモデルを生成する、および／またはキャリブレーションパラメーターを決定する機能性を含むことができる。例えば、モデルコンポーネント５５２は、センサーデータを受信することができ、上記のセンサーデータに関連付けられたキャリブレーションパラメーター（複数可）を決定することができる。モデルコンポーネント５５２は、複数の車両（例えば、車両のフリート）にわたるデータを集約して、正常な動作を示すキャリブレーションパラメーターおよび低下した動作を示すキャリブレーションパラメーターを決定することができる。さらに、モデルコンポーネント５５２は、本明細書に述べられるように、センサーを動作させる時間期間と、上記のメトリクスに関連付けられたコンポーネントの性能とに、キャリブレーションパラメーターを関連付けて、種々のセンサーに関連付けられた予測保守スケジュールを決定することができる。

コンピューティングデバイス５０４のプロセッサー（複数可）５１６およびコンピューティングデバイス（複数可）５４４のプロセッサー（複数可）５５６は、本明細書に説明されるように、データを処理し、動作をする命令を実行する性能があるどんな適切なプロセッサーでもあることが可能である。例としておよび限定ではない、プロセッサー（複数可）５１６、５５６は、１つまたは複数のＣＰＵ（中央処理装置）、ＧＰＵ（Graphics Processing Unit）、または電子データを処理して、その電子データを、レジスターおよび／もしくはメモリーに格納されることが可能である他の電子データに変換するどんな他のデバイスもしくはデバイスの部分でも含むことが可能である。いくつかの例では、さらに、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスは、エンコードされた命令を実装するように構成される限り、考慮されるプロセッサーであることもできる。

コンピューティングデバイス５０４のメモリー５１８およびコンピューティングデバイス（複数可）５４４のメモリー５４８は、非一時的なコンピューター読取り可能媒体の例である。メモリー５１８、５４８は、本明細書に説明される方法と、種々のシステムに帰する機能とを実装するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納することができる。種々の実装において、メモリー５１８、５４８は、どんな適切なメモリー技術でも、例えば、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、不揮発性／フラッシュ型メモリー、または情報を格納する性能があるどんな他のタイプのメモリーでも用いて、実装されることが可能である。本明細書に説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的な、プログラム的な、および物理的なコンポーネントを含むことが可能であり、添付の図面に示されるそれらは、本明細書の説明に関係する単なる例である。

場合によっては、本明細書に述べられるコンポーネントのいくつかまたはすべての様相は、どんなモデル、アルゴリズム、および／または-機械学習アルゴリズムでも含むことが可能である。例えば、場合によっては、メモリー５１８、５４８におけるコンポーネントは、ニューラルネットワークとして実装されることが可能である。

本明細書に説明されるように、典型的なニューラルネットワークは、一連の連結された層を通じて入力データを通して出力を生成する生物学的にインスパイアされたアルゴリズムである。さらに、ニューラルネットワークにおける各層は、別のニューラルネットワークを含むことが可能である、またはあらゆる数の層を（畳み込みかどうかにかかわらず）含むことが可能である。本開示という状況において理解されることが可能であるように、ニューラルネットワークは、出力が学習パラメーターに基づいて生成される上記のアルゴリズムの幅広いクラスを参照することが可能である機械学習を利用することが可能である。

ニューラルネットワークの文脈において述べられるが、機械学習のあらゆるタイプが、本開示と矛盾することなく使用されることが可能である。例えば、限定されないが、機械学習または機械-学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、ディシジョンツリーアルゴリズム（例えば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付きディシジョンツリー）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、プロジェクション追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、準教師あり学習など含むことがある。

アーキテクチャの追加の例は、ニューラルネットワーク、たとえば、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ、および同類のものなどを含む。

したがって、本明細書に述べられる技法は、環境において車両をローカライズするための、および車両のセンサーに関連付けられたキャリブレーション情報を決定するための技法を提供する。

図１、２、６、７は、本開示の例にしたがう例示的な処理を示す図である。今述べた処理は、各動作が、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることがある可能である動作のシーケンスを表す、ロジカルフローグラフとして例示される。ソフトウェアの状況において、動作は、１つまたは複数のコンピューター読取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を行う。一般に、コンピューター実行可能命令は、特定の機能を行うまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および同類のものを含む。動作が説明される順序は、限定として解釈されることを意図せず、説明される動作をいくらでも、処理を実装するのに省略されるまたはどんな順序でもおよび／または並列に組み合わせることが可能である。

図６は、環境における車両のロケーションを決定することのための例示的な処理である。例えば、処理６００のいくつかまたはすべては、本明細書に説明されるように図５における１つまたは複数のコンポーネントによって行われることが可能である。例えば、処理６００のいくつかまたはすべては、パーセプションコンポーネント５２０および／またはローカライゼーションコンポーネント５２８によって行われることが可能である。

動作６０２において、処理は、車両に関連付けられたセンサーからセンサーデータを受信することを含むことができる。いくつかの例では、動作６０２は、自律車両が環境を横切って進む時、自律車両の１つまたは複数の画像センサーから画像データを受信するまたはキャプチャすることを含むことができる。いくつかの例では、動作６０２は、自律車両が環境を横切って進む時、自律車両の１つまたは複数の画像センサーからライダーデータを受信するまたはキャプチャすることを含むことができる。もちろん、他のセンサータイプが本明細書に想定される。

動作６０２は、環境における、たとえばセマンティックオブジェクトなどの物体に関連付けられたバウンディングボックスを受信するまたは決定することを含むことができる。限定されないが、セマンティックオブジェクトの例は、トラフィックライト、レーンマーキング、サイン、ポール、および同類のものを含む。セマンティックオブジェクトがない（例えば、動作６０４にて決定される）ならば、処理は、動作６０２に戻り、環境の追加データをキャプチャする。センサーデータに表されたセマンティックオブジェクトがある（例えば、動作６０４にて「はい」）ならば、動作は、６０８に続く。

動作６０６において、処理は、環境における車両の初期のロケーションを決定することを含むことができる。いくつかの例では、動作６０６は、ロケーションの粗い推定を決定して、マップデータを受信するために、動作６０８にロケーションを提供することを含むことができる。初期のロケーションは、本明細書に述べられるあらゆる技法に従って決定されることが可能である。

動作６０８において、処理は、環境に関連付けられたマップデータを受信することを含むことができる。いくつかの例では、マップデータは、環境における車両の初期のロケーションに基づいて、および／または動作６０２にてキャプチャされた物体の分類タイプに基づいて受信されることができる。マップデータを受信することまたは決定することの追加の詳細は、図３に関連して、本開示の至る所にも同様に、述べられている。

動作６１０において、処理は、マップデータからセンサーデータにマップオブジェクトをプロジェクションすることを含むことができる。動作６１０は、マップオブジェクトの３次元ロケーションと、センサーデータをキャプチャするセンサーの向きとに基づいて行うことができる。いくつかの例では、動作６１０は、３次元マップオブジェクトを、たとえば画像データなどの２次元表現にプロジェクションすることを含むことができる。

動作６１２において、処理は、マップオブジェクトがセンサーデータに表される物体に対応することを決定することを含むことができる。例えば、動作６１２は、マップオブジェクトが、感知された物体と同じであることを、サイズ、形状、分類タイプに基づいてマッチングする、あるいは別のやり方にて決定することを含むことができる。いくつかの例では、動作６１２は、ハンガリー法、グリーディサーチアルゴリズム、および同類のものに少なくとも部分的に基づくことができる。

動作６１４において、処理は、物体とマップオブジェクトとの間の距離、または物体がマップオブジェクトである尤度を決定することを含むことができる。図１および図２に関連して説明したように、距離は、マップオブジェクトの中心点と、センサーデータに表される物体の中心点との間の距離に対応することが可能である。

動作６１６において、処理は、距離または尤度に少なくとも部分的に基づいて、環境における車両のロケーションを決定することを含むことができる。いくつかの例では、動作６１６は、たとえば、ＳＬＡＭ（simultaneous localization and mapping）、パーティクルフィルタリング、および同類のものなどのローカライゼーションアルゴリズムに少なくとも部分的に基づくことができる。

動作６１８において、処理は、ロケーションに少なくとも部分的に基づいて車両を制御することを含むことができる。いくつかの例では、限定されないが、動作６１８は、車両が従う軌道を受信すること、車両が従う軌道を決定すること、軌道に従うよう車両を制御すること、リモートテレオペレーターに情報を送ること、停止軌道を決定すること、および同類のものを含むことができる。

図７は、マップデータに基づいてセンサーに対してキャリブレーションパラメーターを決定することのための例示的な処理である。例えば、処理７００のいくつかまたはすべては、本明細書に説明されるように図５における１つまたは複数のコンポーネントによって行われることが可能である。例えば、処理７００のいくつかまたはすべては、パーセプションコンポーネント５２０および／またはローカライゼーションコンポーネント５２８によって行われることが可能である。

動作７０２において、処理は、第１のセンサーによってキャプチャされた第１のセンサーデータを受信することを含むことができる。

動作７０４は、第２のセンサーによってキャプチャされた第２のセンサーデータを受信することを含むことができる。

いくつかの例では、第１のセンサーおよび／または第２のセンサーは、画像センサー、ライダーセンサー、レーダーセンサー、タイムオブフライトセンサー、および同類のものを含むことができる。いくつかの例では、第１のセンサーの視野は、第２のセンサーの第２の視野と少なくとも部分的に重なることが可能である。いくつかの例では、第１および第２のセンサーの視野は重ならないことがある。

いくつかの例では、動作７０２および動作７０４は、実質的に（技術的な許容範囲内に）行われる。いくつかの例では、動作７０２および動作７０４は、異なる時間に起こることがあるが、上記の場合、第１のセンサーおよび第２のセンサーのロケーションは、キャリブレーションパラメーターを決定する目的のために、センサーのポーズ／ロケーションの変化を補償する、調整する、あるいは別のやり方にて考慮するために決定されことがある。

動作７０６は、マップデータを受信することを含むことができる。マップデータを受信することの様相は、図１、２、３に関連して、本開示の至る所にも同様に、述べられている。

動作７０８において、処理は、マップデータに少なくとも部分的に基づいて、第１のセンサーデータに表される第１の物体が第２のセンサーデータに表される第２の物体であることを決定することを含むことができる。動作７０８を行うための技法は、図１、２に関連して、本開示の至る所にも同様に、述べられている。

動作７１０において、処理は、キャリブレーションデータに少なくとも部分的に基づいて、第１のセンサーデータに関連付けられたエピポーラ線を決定することを含むことができる。いくつかの例では、キャリブレーションデータは、１つまたは複数の固有でないパラメーターおよび／または固有のパラメーターを含むことができる。いくつかの例では、キャリブレーションデータは、エピポーラ線を生成するデータを含むことができ、限定されないが、第１のセンサーおよび／または第２のセンサーに関連付けられた基本行列、第１または第２のセンサーに関連付けられた基礎行列、向き情報、および同類のものを含むことができる。

動作７１０は、第１のセンサーに対してエピポーラ線を決定する状況において述べられているが、動作７１０は、追加的にまたは代替的に、第２のセンサーの状況において行われることがある。

動作７１２において、処理は、第１のオブジェクトに関連付けられた点とエピポーラ線との間の距離を、または点がエピポーラ線と関連付けられる尤度を決定することを含むことができる。動作７１２に関連付けられた追加の詳細は、図２に関連して、本開示の至る所にも同様に、述べられている。

動作７１４において、処理は、距離または尤度に少なくとも部分的に基づいて、キャリブレーションパラメーターを決定することを含むことができる。いくつかの例では、キャリブレーションパラメーターは、第１のセンサーと第２のセンサーとの間の一貫性のレベルを表すことができる。動作７１４に関連付けられた追加の詳細は、図２に関連して、本開示の至る所にも同様に、述べられている。

動作７１６において、処理は、キャリブレーションパラメーターに少なくとも部分的に基づいて車両を制御することを含むことができる。いくつかの例では、限定されないが、動作７１６は、車両が従う軌道を受信すること、車両が従う軌道を決定すること、軌道に従うよう車両を制御すること、リモートテレオペレーターに情報を送ること、停止軌道を決定すること、センサーがミスキャリブレーションされていることを決定すること、および同類のものを含むことができる。

第１のセンサーおよび第２のセンサーの状況において述べたが、処理７００は、あらゆる数のセンサーからセンサーデータを受信することに基づいて実装されることが可能である。

例示的な箇条
Ａ：１つまたは複数のプロセッサーと、実行されると、１つまたは複数のプロセッサーに、環境における自律車両に関連付けられた画像センサーからセンサーデータを受信することと、環境に関連付けられたマップデータを受信することと、センサーデータに少なくとも部分的に基づいて、センサーデータに表される感知された物体を決定することと、自律車両の第１のロケーションに少なくとも部分的に基づいて、マップデータからセンサーデータにマップオブジェクトをプロジェクションすることと、感知された物体がマップオブジェクトに関連付けられることを決定することと、感知された物体とマップオブジェクトとの間の距離を決定することと、距離に少なくとも部分的に基づいて、環境における自律車両の第２のロケーションを決定することと、ロケーションに少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を行わせるコンピューター実行可能命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体と、を含むシステム。

Ｂ：動作は、マップデータにおける自律車両の第１のロケーションまたはオブジェクトタイプのうちの少なくとも１つに少なくとも部分的に基づいて、しきい値距離を決定することと、しきい値距離に少なくとも部分的に基づいてマップデータを受信することと、をさらに含む、項Ａのシステム。

Ｃ：動作は、感知された物体が分類と関連付けられることを決定することと、マップオブジェクトが分類と関連付けられることを決定することと、をさらに含む、項ＡまたはＢのシステム。

Ｄ：マップオブジェクトは、第１の中心点および第１の共分散データを含み、動作は、感知された物体に関連付けられた第２の中心点および第２の共分散データを決定することと、第１の中心点、第２の中心点、第１の共分散データ、および第２の共分散データに少なくとも部分的に基づいて距離を決定することとをさらに含む、項Ａ～Ｃのいずれかのシステム。

Ｅ：物体は、トラフィックライト、サイン、ポール、またはレーンマーキングのうちの少なくとも１つを含む、項Ａ～Ｄのいずれかのシステム。

Ｆ：環境における車両に関連付けられたセンサーからセンサーデータを受信することと、環境に関連付けられたマップデータを受信し、マップデータがマップオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、センサーデータに表される感知された物体を決定することと、マップオブジェクトをセンサーデータにプロジェクションすることと、感知された物体とマップオブジェクトとの間の距離または感知された物体がマップオブジェクトと関連付けられる尤度のうちの少なくとも１つを決定することと、距離または尤度に少なくとも部分的に基づいて、環境における車両のロケーションを決定することと、を含む方法。

Ｇ：ロケーションに少なくとも部分的に基づいて車両を制御すること、をさらに含む、項Ｆの方法。

Ｈ：環境における車両の推定ロケーションに少なくとも部分的に基づいて、センサーデータにマップオブジェクトをプロジェクションすること、をさらに含む、項ＦまたはＧの方法。

Ｉ：マップデータにおける車両のロケーションまたはオブジェクトタイプに少なくとも部分的に基づいて、しきい値距離を決定することと、しきい値距離に少なくとも部分的に基づいてマップデータを受信することと、をさらに含む、項Ｆ～Ｈのいずれかの方法。

Ｊ：センサーデータが第１のセンサーデータであり、センサーが第１のセンサーであり、感知された物体が第１の物体であり、マップオブジェクトが第１のマップオブジェクトであり、距離が第１の距離であり、尤度が第１の尤度であり、方法は、車両に関連付けられた第２のセンサーから第２のセンサーデータを受信することと、第２のセンサーデータおよびマップデータに少なくとも部分的に基づいて、第２のセンサーデータに表される第２の物体と第２のマップオブジェクトとの間の第２の距離、または感知された物体がマップオブジェクトに関連付けられるという第２の尤度のうちの少なくとも１つを決定することと、さらに第２の距離または第２の尤度に少なくとも部分的に基づいて環境における車両のロケーションを決定することと、をさらに含む、項Ｆ～Ｉのいずれかの方法。

Ｋ：マップオブジェクトは、感知された物体と関連付けられることを決定すること、をさらに含む、項Ｆ～Ｊのいずれかの方法。

Ｌ：マップオブジェクトは、３次元位置、および第１の共分散データを含み、方法は、３次元位置をセンサーデータにプロジェクションして第１の中心点を決定することと、第１の共分散データをセンサーデータにプロジェクションして２次元共分散データを決定し、第１の共分散データは３次元共分散データを表すことと、物体に関連付けられた第２の中心点および第２の共分散データを決定することと、第１の中心点、第２の中心点、２次元共分散データ、および第２の共分散データに少なくとも部分的に基づいて距離または尤度を決定することと、をさらに含む、項Ｆ～Ｋのいずれかの方法。

Ｍ：距離がマハラノビス距離である、または、尤度が共分散データのサイズ、感知された物体に関連付けられた共分散データ、またはマップオブジェクトに少なくとも部分的に基づく、のうちの少なくとも１つである、項Ｆ～Ｌのいずれかの方法。

Ｎ：センサーが、画像センサー、ライダーセンサー、レーダーセンサー、またはタイムオブフライトセンサーのうちの少なくとも１つを含む、項Ｆ～Ｍのいずれかの方法。

Ｏ：感知された物体が分類タイプに関連付けられることを決定することと、マップオブジェクトが分類タイプに関連付けられることを決定することと、感知された物体およびマップオブジェクトが分類タイプに関連付けられることに少なくとも部分的に基づいて距離または尤度を決定することと、をさらに含む、項Ｆ～Ｎのいずれかの方法。

Ｐ：命令は、実行されると、プロセッサーに、環境における車両に関連付けられたセンサーからセンサーデータを受信することと、環境に関連付けられたマップデータを受信し、マップデータがマップオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、センサーデータに表される感知された物体を決定することと、マップオブジェクトをセンサーデータにプロジェクションすることと、感知された物体とマップオブジェクトとの間の距離または感知された物体がマップオブジェクトと関連付けられる尤度のうちの少なくとも１つを決定することと、距離または尤度に少なくとも部分的に基づいて、環境における車両のロケーションを決定することと、を含む動作を行わせる、プロセッサーによって実行可能な命令を格納する非一時的なコンピューター読取り可能媒体。

Ｑ：センサーデータが第１のセンサーデータであり、センサーが第１のセンサーであり、感知された物体が第１の物体であり、マップオブジェクトが第１のマップオブジェクトであり、距離が第１の距離であり、尤度が第１の尤度であり、動作は、車両に関連付けられた第２のセンサーから第２のセンサーデータを受信することと、第２のセンサーデータおよびマップデータに少なくとも部分的に基づいて、第２のセンサーデータに表される第２の物体と第２のマップオブジェクトとの間の第２の距離、または第２の物体が第２のマップオブジェクトに関連付けられるという第２の尤度のうちの少なくとも１つを決定することと、さらに第２の距離または第２の尤度に少なくとも部分的に基づいて環境における車両のロケーションを決定することと、をさらに含む、項Ｐの非一時的なコンピューター読取り可能媒体。

Ｒ：マップオブジェクトは、３次元位置、および第１の共分散データを含み、動作は、３次元位置をセンサーデータにプロジェクションして第１の中心点を決定することと、物体に関連付けられた第２の中心点および第２の共分散データを決定すること、第１の中心点、第２の中心点、第１の共分散データ、および第２の共分散データに少なくとも部分的に基づいて距離または尤度を決定することと、をさらに含む、項ＰまたはＱの非一時的なコンピューター読取り可能媒体。

Ｓ：動作は、感知された物体が分類タイプに関連付けられることを決定することと、マップオブジェクトが分類タイプに関連付けられることを決定することと、感知された物体およびマップオブジェクトが分類タイプに関連付けられることに少なくとも部分的に基づいて距離または尤度を決定することと、をさらに含む、項Ｐ～Ｒのいずれかの非一時的なコンピューター読取り可能媒体。

Ｔ：感知された物体は、トラフィックライト、サイン、ポール、またはレーンマーキングのうちの少なくとも１つを含む、項Ｐ～Ｓのいずれかの非一時的なコンピューター読取り可能媒体。

Ｕ：１つまたは複数のプロセッサーと、実行されると、１つまたは複数のプロセッサーに、環境における自律車両に関連付けられた第１のセンサーからセンサーデータを受信することと、自律車両に関連付けられた第２のセンサーからセンサーデータを受信することと、環境に関連付けられたセマンティックマップデータを受信することと、第１のセンサーからの第１のセンサーデータおよび第２のセンサーからの第２のセンサーデータが、セマンティックマップデータに少なくとも部分的に基づいて決定されるセマンティックオブジェクトに対応することを決定することと、キャリブレーションデータ、第１のセンサーデータ、およびエピポーラ幾何に少なくとも部分的に基づいて、第２のセンサーデータに関連付けられた点とエピポーラ線との間の距離を決定することと、距離に少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なくとも１つに関連付けられたキャリブレーションパラメーターを決定することと、キャリブレーションパラメーターに少なくとも部分的に基づいて自律車両を制御することと、を含む動作を行わせるコンピューター実行可能命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体と、を含むシステム。

Ｖ：動作は、距離に少なくとも部分的に基づいて、経時的な誤差を決定することと、経時的な誤差に少なくとも部分的に基づいて、キャリブレーションパラメーターを決定することと、をさらに含み、キャリブレーションパラメーターは、第１のセンサーおよび第２のセンサーが、矛盾があるかどうかを示す、項Ｕのシステム。

Ｗ：第１のセンサーは、第１の視野を含む第１の画像センサーであり、第２のセンサーは、第１の視野に少なくとも部分的に重なる第２の視野を含む第２の画像センサーである、項ＵまたはＶのシステム。

Ｘ：動作は、第２のオブジェクトに関連付けられた共分散データに少なくとも部分的に基づいて、第２のオブジェクトに関連付けられた点を決定することをさらに含む、項Ｕ～Ｗのいずれかのシステム。

Ｙ：動作は、キャリブレーションパラメーターに少なくとも部分的に基づいて、自律車両に対して作動を決定すること、をさらに含む、項Ｕ～Ｘのいずれかのシステム。

Ｚ：第１のセンサーから第１のセンサーデータを受信することと、第２のセンサーから第２のセンサーデータを受信することと、環境に関連付けられたセマンティックマップデータを受信することと、セマンティックマップデータに基づいて、セマンティックオブジェクトが第１のセンサーデータおよび第２のセンサーデータに表されることを決定することと、エピポーラ幾何、第１のセンサーデータ、および第２のセンサーデータに少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なくとも１つに関連付けられたキャリブレーションパラメーターを決定することと、を含む方法。

ＡＡ：キャリブレーションパラメーターに少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なくとも１つからのデータをダウンウェイトすること、車両の進行の方向を制限すること、車両の速さを減らすこと、または車両を停止させること、のうちの少なくとも１つを行うように車両を制御することをさらに含む、項Ｚの方法。

ＡＢ：第１のセンサーは、第１の視野を含む第１の画像センサーであり、第２のセンサーは、第１の視野に少なくとも部分的に重なる第２の視野を含む第２の画像センサーである、項ＺまたはＡＡの方法。

ＡＣ：第１のセンサーは、第１の視野を含む第１の画像センサーであり、第２のセンサーは、第１の視野と重ならない第２の視野を含む第２の画像センサーである、項Ｚ～ＡＢのいずれかの方法。

ＡＤ：第１のセンサーデータは、第２のセンサーデータと実質的に同時にキャプチャされる、項Ｚ～ＡＣのいずれかの方法。

ＡＥ：キャリブレーションデータ、および第１のセンサーデータに関連付けられた第１の点に少なくとも部分的に基づいて、エピポーラ線を決定することと、第２のセンサーデータに関連付けられた第２の点とエピポーラ線との間の距離、または第２の点がエピポーラ線に関連付けられるという尤度のうちの少なくとも１つを決定することと、距離または尤度に少なくとも部分的に基づいてキャリブレーションパラメーターを決定することと、をさらに含む、項Ｚ～ＡＤのいずれかの方法。

ＡＦ：キャリブレーションデータは、第１のセンサーの第１のポーズおよび第２のセンサーの第２のポーズに少なくとも部分的に基づく、項ＡＥの方法。

ＡＧ：キャリブレーションパラメーターに少なくとも部分的に基づいて、経時的な誤差を決定すること、をさらに含み、キャリブレーションパラメーターは、第１のセンサーおよび第２のセンサーが、矛盾があるかどうかを示す、項Ｚ～ＡＦのいずれかの方法。

ＡＨ：セマンティックオブジェクトが第１のセンサーデータおよび第２のセンサーデータに表されることを決定することは、第１のセンサーデータに少なくとも部分的に基づいて、第１のセンサーデータに表される第１の感知された物体を決定することと、第１の感知された物体の分類タイプを決定することと、分類タイプに少なくとも部分的に基づいて、セマンティックマップデータから第１のセンサーデータにマップオブジェクトをプロジェクションすることと、を含む、項Ｚ～ＡＧのいずれかの方法。

ＡＩ：キャリブレーションパラメーターが第１のキャリブレーションパラメーターであり、方法は、車両に関連付けられた第３のセンサーから第３のセンサーデータを受信することと、セマンティックマップデータに基づいて、セマンティックオブジェクトが第３のセンサーデータに表されることを決定することと、エピポーラ幾何に少なくとも部分的に基づいて、第１のセンサーまたは第３のセンサーのうちの少なくとも１つに関連付けられた第２のキャリブレーションパラメーターを決定することと、第１のキャリブレーションパラメーターおよび第２のキャリブレーションパラメーターに少なくとも部分的に基づいて、第１のセンサーのキャリブレーション状態を決定することと、をさらに含む、項Ｚ～ＡＨのいずれかの方法。

ＡＪ：命令は、実行されると、プロセッサーに、第１のセンサーから第１のセンサーデータを受信することと、第２のセンサーから第２のセンサーデータを受信することと、環境に関連付けられたセマンティックマップデータを受信することと、セマンティックマップデータに基づいて、セマンティックオブジェクトが第１のセンサーデータおよび第２のセンサーデータに表されることを決定することと、エピポーラ幾何、第１のセンサーデータ、および第２のセンサーデータに少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なくとも１つに関連付けられたキャリブレーションパラメーターを決定することと、を含む動作を行わせる、プロセッサーによって実行可能な命令を格納する非一時的なコンピューター読取り可能媒体。

ＡＫ：動作は、キャリブレーションパラメーターに少なくとも部分的に基づいて、第１のセンサーまたは第２のセンサーのうちの少なくとも１つからのデータをダウンウェイトすること、車両の進行の方向を制限すること、車両の速さを減らすこと、または車両を停止させること、のうちの少なくとも１つを行うように車両を制御することをさらに含む、項ＡＪの非一時的なコンピューター読取り可能媒体。

ＡＬ：動作は、キャリブレーションデータ、および第１のセンサーデータに関連付けられた第１の点に少なくとも部分的に基づいて、エピポーラ線を決定することと、第２のセンサーデータに関連付けられた第２の点とエピポーラ線との間の距離、または第２の点がエピポーラ線に関連付けられるという尤度のうちの少なくとも１つを決定することと、距離または尤度に少なくとも部分的に基づいてキャリブレーションパラメーターを決定することと、をさらに含む、項ＡＪ～ＡＫのいずれかの非一時的なコンピューター読取り可能媒体。

ＡＭ：動作は、キャリブレーションパラメーターに少なくとも部分的に基づいて、経時的な誤差を決定すること、をさらに含み、キャリブレーションパラメーターは、第１のセンサーおよび第２のセンサーが、矛盾があるかどうかを示す、項ＡＪ～ＡＬのいずれかの非一時的なコンピューター読取り可能媒体。

ＡＮ：セマンティックオブジェクトが第１のセンサーデータおよび第２のセンサーデータに表されることを決定することは、第１のセンサーデータに少なくとも部分的に基づいて、第１のセンサーデータに表される第１の感知された物体を決定することと、第１の感知された物体の分類タイプを決定することと、分類タイプに少なくとも部分的に基づいて、セマンティックマップデータから第１のセンサーデータにマップオブジェクトをプロジェクションすることと、を含む、項ＡＪ～ＡＭのいずれかの非一時的なコンピューター読取り可能媒体。

上に説明される例示的な箇条が、１つの特定の実装に関して説明されるが、本文書の状況において、さらに、例示的な箇条の内容は、方法、デバイス、システム、コンピューター読取り可能媒体、および／または別の実装を介して実装されることができることが理解されるべきである。さらに加えて、例Ａ～ＡＮのいずれかは、単独にて、または例Ａ～ＡＮのうちの他の１つまたは複数との組み合わせにおいて、実装されることがある。

終結
本明細書に説明される技法に関する１つまたは複数の例が説明されたが、種々の代替、追加、置換および均等は、本明細書に説明される技法の範囲内に含まれる。

例の説明において、参照は、主張される主題の特定の例を実例として示す、一部を形成する添付の図面に対してされる。他の例が用いられることが可能であること、および、変更または代替、たとえば構造的な変更などがされることが可能であることは、理解されることである。上記の例、変更、または代替は、意図され主張される主題に関して、必ずしも範囲からの逸脱でない。本明細書におけるステップが、ある順において与えられることができるが、ある場合には、順は、ある入力が、説明されるシステムおよび方法の機能を変更することなしに異なる時間に、または別個の順に提供されるように、変更されることができる。さらに、開示される手順は、異なる順において実行されることも可能だろう。さらに加えて、本明細書にある種々の計算は、開示された順において行われる必要がなく、計算の代替えの順にすることを用いる他の例は、難なく実装されることが可能であろう。並べ替えられることに加えて、さらに、計算は、同一の結果を有する部分計算に分解されることも可能であろう。

Claims (15)

1. 環境における車両に関連付けられたセンサーからセンサーデータを受信することと、
   前記環境に関連付けられたマップデータを受信することであって、前記マップデータは、マップオブジェクトを含む、ことと、
   前記センサーデータに少なくとも部分的に基づいて、前記センサーデータに表された感知された物体を決定することと、
   前記センサーデータに前記マップオブジェクトをプロジェクションすることと、
   前記感知された物体と前記マップオブジェクトとの間の距離、または前記感知された物体が前記マップオブジェクトと関連付けられるという尤度のうちの少なくとも１つを決定することと、
   前記距離または前記尤度に少なくとも部分的に基づいて、前記環境における前記車両のロケーションを決定することと
   を備えることを特徴とする方法。
2. 前記ロケーションに少なくとも部分的に基づいて前記車両を制御すること
   をさらに備えることを特徴とする請求項１に記載の方法。
3. 前記環境における前記車両の推定ロケーションに少なくとも部分的に基づいて、前記センサーデータに前記マップオブジェクトをプロジェクションすること、または
   前記マップオブジェクトが前記感知された物体と関連付けられることを決定することと
   のうちの少なくとも１つをさらに備えることを特徴とする請求項１または２に記載の方法。
4. マップデータにおける前記車両のロケーション、またはオブジェクトタイプに少なくとも部分的に基づいて、しきい値距離を決定することと、
   前記しきい値距離に少なくとも部分的に基づく前記マップデータを受信することと
   をさらに備えることを特徴とする請求項１ないし３のいずれか一項に記載の方法。
5. 前記センサーデータは第１のセンサーデータであり、前記センサーは第１のセンサーであり、前記感知された物体は第１の物体であり、前記マップオブジェクトは第１のマップオブジェクトであり、前記距離は、第１の距離であり、前記尤度は、第１の尤度であり、前記方法は、
   前記車両に関連付けられた第２のセンサーから第２のセンサーデータを受信することと、
   前記第２のセンサーデータおよび前記マップデータに少なくとも部分的に基づいて、前記第２のセンサーデータに表される第２の物体と第２のマップオブジェクトとの間の第２の距離、または前記感知された物体が前記マップオブジェクトと関連付けられるという第２の尤度のうちの少なくとも１つを決定することと、
   前記第２の距離または前記第２の尤度に少なくとも部分的に基づいて、前記環境における前記車両の前記ロケーションをさらに決定することと
   をさらに備えることを特徴とする請求項１ないし４のいずれか一項に記載の方法。
6. 前記マップオブジェクトは、第１の中心点および第１の共分散データを含み、前記距離または前記尤度のうちの少なくとも１つを決定することは、距離を決定することを含み、前記方法は、
   前記感知された物体に関連付けられた第２の中心点および第２の共分散データを決定することと、
   前記第１の中心点、前記第２の中心点、前記第１の共分散データ、および前記第２の共分散データに少なくとも部分的に基づいて、前記距離を決定することと
   をさらに備える請求項１ないし５のいずれか一項に記載の方法。
7. 前記マップオブジェクトは、３次元位置、および第１の共分散データを含み、前記方法は、
   前記センサーデータに前記３次元位置をプロジェクションして、第１の中心点を決定することと、
   前記センサーデータに前記第１の共分散データをプロジェクションして、２次元共分散データを決定することであって、前記第１の共分散データは３次元共分散データを表す、ことと、
   前記感知された物体に関連付けられた第２の中心点および第２の共分散データを決定することと、
   前記第１の中心点、前記第２の中心点、前記２次元共分散データ、および前記第２の共分散データに少なくとも部分的に基づいて、前記距離または前記尤度を決定することと
   をさらに備えることを特徴とする請求項１ないし６のいずれか一項に記載の方法。
8. 前記距離はマハラノビス距離である、または
   前記尤度は、共分散データのサイズ、前記感知された物体に関連付けられた前記共分散データ、または前記マップオブジェクトに少なくとも部分的に基づく
   のうちの少なくとも１つであることを特徴とする請求項１ないし７のいずれか一項に記載の方法。
9. 前記センサーは、画像センサー、ライダーセンサー、レーダーセンサー、またはタイムオブフライトセンサーのうちの少なくとも１つを含むことを特徴とする請求項１ないし８のいずれか一項に記載の方法。
10. 前記感知された物体が分類タイプと関連付けられることを決定することと、
    前記マップオブジェクトが前記分類タイプと関連付けられることを決定することと、
    前記分類タイプに関連付けられている前記感知された物体および前記マップオブジェクトに少なくとも部分的に基づいて、前記距離または前記尤度を決定することと
    をさらに備えることを特徴とする請求項１ないし９のいずれか一項に記載の方法。
11. １つまたは複数のプロセッサーによって実行されると、１つまたは複数のコンピューティングデバイスに、請求項１ないし１０のいずれか一項に記載の方法を行わせる命令を格納することを特徴とする１つまたは複数の非一時的なコンピューター読取り可能媒体。
12. システムであって、
    １つまたは複数のプロセッサーと、
    前記１つまたは複数のプロセッサーによって実行可能な命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体であって、前記命令は、実行されると、前記システムに、
    環境における車両に関連付けられたセンサーからセンサーデータを受信することと、
    前記環境に関連付けられたマップデータを受信することであって、前記マップデータは、マップオブジェクトを含む、ことと、
    前記センサーデータに少なくとも部分的に基づいて、前記センサーデータに表された感知された物体を決定することと、
    前記センサーデータに前記マップオブジェクトをプロジェクションすることと、
    前記感知された物体と前記マップオブジェクトとの間の距離、または前記感知された物体が前記マップオブジェクトと関連付けられるという尤度のうちの少なくとも１つを決定することと、
    前記距離または前記尤度に少なくとも部分的に基づいて、前記環境における前記車両のロケーションを決定することと
    を含む動作を行わせる、１つまたは複数の非一時的なコンピューター読取り可能媒体と
    を備えたことを特徴とするシステム。
13. 前記マップオブジェクトは、３次元位置、および第１の共分散データを含み、前記動作は、
    前記センサーデータに前記３次元位置をプロジェクションして、第１の中心点を決定することと、
    前記物体に関連付けられた第２の中心点および第２の共分散データを決定することと、
    前記第１の中心点、前記第２の中心点、前記第１の共分散データ、および前記第２の共分散データに少なくとも部分的に基づいて、前記距離または前記尤度を決定することと
    をさらに含むことを特徴とする請求項１２に記載のシステム。
14. 前記動作は、
    前記感知された物体が分類タイプと関連付けられることを決定することと、
    前記マップオブジェクトが前記分類タイプと関連付けられることを決定することと、
    前記分類タイプに関連付けられている前記感知された物体および前記マップオブジェクトに少なくとも部分的に基づいて、前記距離または前記尤度を決定することと
    をさらに含むことを特徴とする請求項１２または１３に記載のシステム。
15. 前記感知された物体は、
    トラフィックライト、
    サイン、
    ポール、または
    レーンマーキング
    のうちの少なくとも１つを含むことを特徴とする請求項１２ないし１４のいずれか一項に記載のシステム。

Images