JP2021524026A - 姿勢判断システムおよび方法 - Google Patents

Abstract

本開示は姿勢判断方法を提供する。方法は、第1の時点における対象物の第1の姿勢を取得するステップを含んでよい。方法は、道路に関連する1つ以上の第1の特徴をデータベースから取り出すステップをさらに含んでよい。道路は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。方法は、第2の時点に対象物によって撮影される画像を取得するステップをさらに含んでよい。方法は、道路に関連する1つ以上の第2の特徴を画像から抽出するステップをさらに含んでよい。方法は、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴に比較することに少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するステップをも含んでよい。

Description

関連出願の相互参照
本願は、参照により全内容が本願に組み込まれる、2018年6月19日に提出された中国特許出願第201810631712．1号の優先権を主張する。

本開示は、一般的には測位および航法システムおよび方法に関し、具体的には対象物の姿勢を判断するシステムおよび方法に関する。

精密な測位および航法は、自動運転やロボット工学や移動測定などの用途にとって基本的な技術の1つである。現在は、全地球航法衛星システム（GNSS）と高精度慣性航法システム（INS）が測位および航法に幅広く利用されている。GNSSと高精度INSは、測位サービスと航法サービスを高精度で提供できるが、比較的高いコストをともなう。高い測位精度を低いコストで提供する測位技術を提供することが望ましい。

本開示の一態様によると、システムが提供される。システムは、1組の命令を含む少なくとも1つの記録媒体と、少なくとも1つの記録媒体と通信する少なくとも1つのプロセッサとを含んでよい。少なくとも1つのプロセッサは、命令を実行するときに、操作を遂行することをシステムに指図するように構成されてよい。操作は、第1の時点における対象物の第1の姿勢を取得するステップを含んでよい。操作は、道路に関連する1つ以上の第1の特徴をデータベースから取り出すステップをさらに含んでよい。第1の道路は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。操作は、第2の時点に対象物によって撮影される画像を取得するステップをさらに含んでよい。操作は、道路に関連する1つ以上の第2の特徴を画像から抽出するステップをさらに含んでよい。さらに操作は、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴に比較することに少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するステップをも含んでよい。

いくつかの実施形態において、第1の時点における対象物の第1の姿勢を取得するステップは、第1の時点における対象物の予備姿勢を判断するステップと、対象物の予備姿勢に基づいて、道路に関連する1つ以上の第3の特徴をデータベースから取り出すステップと、第1の時点に対象物によって撮影される第2の画像を取得するステップと、道路に関連する1つ以上の第4の特徴を第2の画像から抽出するステップと、道路に関連する1つ以上の第3の特徴と道路に関連する1つ以上の第4の特徴とに基づいて、第1の時点における対象物の第1の姿勢を判断するステップとを含んでよい。

いくつかの実施形態において、少なくとも1つのプロセッサは、操作を遂行することをシステムに指図するようにさらに構成されてよい。操作は、第1の時点における対象物の第1の場所と第2の時点における対象物の第2の場所を判断するステップを含んでよい。さらに操作は、対象物の第1の場所と対象物の第2の場所との距離が第1の閾値以上である場合に、第2の時点に対象物によって撮影される画像がキーフレームであると判断するステップをさらに含んでよい。

いくつかの実施形態において、少なくとも1つのプロセッサは、操作を遂行することをシステムに指図するようにさらに構成されてよい。操作は、第2の時点に対象物によって撮影される画像と第1の時点に対象物によって撮影される第2の画像との一致スコアが第2の閾値を下回る場合に、第2の時点に対象物によって撮影される画像がキーフレームであると判断するステップを含んでよい。

いくつかの実施形態において、道路に関連する1つ以上の第1の特徴または第2の特徴は、道路要素の1つ以上の属性を含んでよい。

いくつかの実施形態において、1つ以上の第2の特徴は道路要素の算出サイズを含んでよい。さらに、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴に比較することに少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するステップは、道路要素の基準サイズを取得するステップと、道路要素の算出サイズと道路要素の基準サイズとに基づいて第2の時点における対象物の第2の姿勢を判断するステップとを含んでよい。

いくつかの実施形態において、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴に比較することに少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するステップは、少なくとも1対の整合済み特徴を生成するため、1つ以上の第1の特徴を1つ以上の第2の特徴と整合させるステップと、コスト関数に従って対象物の第2の姿勢を判断するステップとを含んでよい。コスト関数のコスト尺度は、少なくとも1対の整合済み特徴間の距離誤差を含んでよい。

いくつかの実施形態において、少なくとも1対の整合済み特徴は、第1の整合済み特徴と第2の整合済み特徴とを含んでよく、少なくとも1対の整合済み特徴間の距離誤差は、第1の整合済み特徴に対応する第1の位置と第2の整合済み特徴に対応する第2の位置との差を含んでよい。

いくつかの実施形態において、データベースは事前構築地図を含んでよい。

本開示の一態様によると、少なくとも1つの記録媒体と少なくとも1つのプロセッサとを有する計算装置上で実施される方法が提供される。方法は、第1の時点における対象物の第1の姿勢を取得するステップを含んでよい。方法は、道路に関連する1つ以上の第1の特徴をデータベースから取り出すステップをさらに含んでよい。第1の道路は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。方法は、第2の時点に対象物によって撮影される画像を取得するステップをさらに含んでよい。方法は、道路に関連する1つ以上の第2の特徴を画像から抽出するステップをさらに含んでよい。さらに方法は、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴に比較することに少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するステップをも含んでよい。

本開示の一態様によると、測位方法が提供される。方法は、第1の時点における測位装置の姿勢と、第2の時点に撮影される画像とを取得するステップを含んでよい。方法は、第1の時点における測位装置の姿勢に基づいて、画像の視野角範囲内にある第1の道路要素の1つ以上の属性を事前構築地図データベースから取得するステップをさらに含んでよい。方法は、第2の時点に撮影される画像から第2の道路要素の1つ以上の属性を抽出するステップをさらに含んでよい。さらに方法は、第1の道路要素の1つ以上の属性を第2の道路要素の1つ以上の属性に比較することに基づいて、第2の時点における測位装置の姿勢を判断するステップをも含んでよい。

いくつかの実施形態において、方法は、第2の時点に撮影される画像がキーフレームであると判断するステップをさらに含んでよい。

いくつかの実施形態において、第2の時点に撮影される画像がキーフレームであると判断するステップは、測位装置の慣性測定装置によって取得される第1の時点から第2の時点までの測位装置の移動距離が第1の閾値以上である場合に、または第1の時点に撮影される画像と第2の時点に撮影される画像とで一致する画素の数が第2の閾値以下である場合に、第2の時点に撮影される画像をキーフレームと判断するステップを含んでよい。

いくつかの実施形態において、第1の道路要素の1つ以上の属性を第2の道路要素の1つ以上の属性に比較することに基づいて、第2の時点における測位装置の姿勢を判断するステップは、第1の道路要素の1つ以上の属性が第2の道路要素の1つ以上の属性と合致する場合に、第1の道路要素の三次元座標と画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するステップを含んでよい。

いくつかの実施形態において、方法は、第2の時点における測位装置の地理的位置を取得するステップをさらに含んでよい。第1の道路要素の三次元座標と画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するステップは、第2の時点における測位装置の地理的位置と、第1の道路要素の三次元座標と、画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するステップを含んでよい。

いくつかの実施形態において、方法は、画像内の第2の道路要素の二次元座標に基づいて第2の道路要素の算出サイズを割り出すステップをさらに含んでよい。第2の時点における測位装置の地理的位置と、第1の道路要素の三次元座標と、画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するステップは、第2の道路要素の基準サイズと、第2の道路要素の算出サイズと、第2の時点における測位装置の地理的位置と、第1の道路要素の三次元座標と、画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するステップを含んでよい。

いくつかの実施形態において、事前構築地図データベースは高精度地図データベースであってよい。

いくつかの実施形態において、第1の道路要素の1つ以上の属性、または第2の道路要素の1つ以上の属性は、第1の道路要素または第2の道路要素のタイプ、色、規模、または相対位置関係を含んでよい。

いくつかの実施形態において、方法は、第2の時点における測位装置の姿勢を出力するステップをさらに含んでよい。

本開示の一態様によると、測位機器が提供される。機器は、第1の時点における測位装置の姿勢と、第2の時点に撮影される画像とを取得するように構成された取得モジュールを含んでよい。機器は、第1の時点における測位装置の姿勢に基づいて、画像の視野角範囲内にある第1の道路要素の1つ以上の属性を事前構築地図データベースから取得するように構成された取り出しモジュールをさらに含んでよい。機器は、第2の時点に撮影される画像から第2の道路要素の1つ以上の属性を抽出するように構成された抽出モジュールをさらに含んでよい。さらに機器は、第1の道路要素の1つ以上の属性を第2の道路要素の1つ以上の属性に比較することに基づいて、第2の時点における測位装置の姿勢を判断するように構成された姿勢判断モジュールをも含んでよい。

いくつかの実施形態において、姿勢判断モジュールは、第2の時点に撮影される画像がキーフレームであると判断するように構成されてよい。

いくつかの実施形態において、姿勢判断モジュールは、測位装置の慣性測定装置によって取得される第1の時点から第2の時点までの測位装置の移動距離が第1の閾値以上である場合に、または第1の時点に撮影される画像と第2の時点に撮影される画像とで一致する画素の数が第2の閾値以下である場合に、第2の時点に撮影される画像がキーフレームであると判断するようにさらに構成されてよい。

いくつかの実施形態において、姿勢判断モジュールは、第1の道路要素の1つ以上の属性が第2の道路要素の1つ以上の属性と合致する場合に、第1の道路要素の三次元座標と画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するように構成されてよい。

いくつかの実施形態において、取得モジュールは、第2の時点における測位装置の地理的位置を取得するようにさらに構成されてよい。姿勢判断モジュールは、第2の時点における測位装置の地理的位置と、第1の道路要素の三次元座標と、画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するようにさらに構成されてよい。

いくつかの実施形態において、姿勢判断モジュールは、画像内の第2の道路要素の二次元座標に基づいて第2の道路要素の算出サイズを割り出すように構成されてよい。さらに姿勢判断モジュールは、第2の道路要素の基準サイズと、第2の道路要素の算出サイズと、第2の時点における測位装置の地理的位置と、第1の道路要素の三次元座標と、画像内の第2の道路要素の二次元座標とに基づいて、第2の時点における測位装置の姿勢を判断するようにさらに構成されてよい。

いくつかの実施形態において、事前構築地図データベースは高精度地図データベースであってよい。

いくつかの実施形態において、第1の道路要素の1つ以上の属性、または第2の道路要素の1つ以上の属性は、第1の道路要素または第2の道路要素のタイプ、色、規模、または相対位置関係を含んでよい。

いくつかの実施形態において、姿勢判断モジュールは、第2の時点における測位装置の姿勢を出力するように構成されてよい。

さらなる特徴は、ある程度は以降の説明に示され、ある程度は以降の説明と添付の図面を精査した当業者に明白となり、あるいは例の製作または操作によって知ることができる。本開示の特徴は、以下で論述する詳しい例に示された方法、手段、および組み合わせの様々な態様の実践または使用によって実現し達成することができる。

本開示を例示的な実施形態の観点からさらに説明する。これらの例示的な実施形態は図面を参照しながら詳しく説明する。これらの実施形態は非限定的で例示的な実施形態であり、図面のいくつかの図で同様の参照番号は同様の構造を表している。

本開示のいくつかの実施形態による例示的な自動運転システムを示す概略図である。 本開示のいくつかの実施形態による例示的な計算装置の例示的なハードウェアおよび／またはソフトウェアコンポーネントを示す概略図である。 本開示のいくつかの実施形態による例示的な計算装置を示すブロック図である。 本開示のいくつかの実施形態による対象物の姿勢を判断する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態によるコスト関数によって対象物の姿勢を判断する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による或る姿勢にある対象物によって視認される例示的な道路要素を示す概略図である。 本開示のいくつかの実施形態による対象物の姿勢を判断するもうひとつの例示的なプロセスを示すフローチャートである。

以下の説明は、当業者が本開示を製作し使用することを可能にするために提示され、或る特定の用途とその所要条件の脈絡に沿って提供されている。当業者なら開示されている実施形態に対する様々な修正がすぐ分かり、本書で明らかにされる一般原則は、本開示の精神と範囲から逸脱せずに他の実施形態や用途に応用できる。このため、本開示は提示されている実施形態に限定されず、クレームと一致する最も幅広い範囲が与えられるべきものである。

本書で用いられている用語は、専ら或る特定の例示的な実施形態を説明することを目的としており、制限することは意図していない。本書で使われる単数形「a」、「an」、および「the」は、複数形をも含むことを意図し得るが、文脈がそうではないことを明示する場合はこの限りではない。本開示で使われる用語「comprise」、「comprises」、および／または「comprising」、「include」、「includes」、および／または「including」は、記述された特徴、整数、ステップ、操作、要素、および／またはコンポーネントの存在を明示するが、1つ以上の他の特徴、整数、ステップ、操作、要素、コンポーネント、および／またはこれらのグループの存在や追加を排除するものではないことはさらに理解されるであろう。

これらの特徴と他の特徴、および本開示の特色、ならびに関連する構造要素の操作方法および機能、および製造物の部品の組み合わせおよび経済性は、本開示の一部をなす添付の図面を参照しながら以降の説明を検討することでさらに明白となり得る。ただし、図面が専ら例証と説明を目的とし、本開示の範囲を制限することを意図するものではないことは明確に理解されたい。図面が正確な縮尺になっていないことは理解される。

本開示で用いられているフローチャートは、システムが本開示のいくつかの実施形態に従って実施する操作を例証するものである。フローチャートの操作が一定の順序で実施されなくてもよいことは明確に理解されたい。逆に、これらの操作は逆の順序で、または同時に、実施されてもよい。さらに、1つ以上の他の操作がフローチャートに追加されてもよい。1つ以上の操作がフローチャートから削除されてもよい。

さらに、本開示で開示されるシステムおよび方法は、主に陸上の輸送システムに関して説明されているが、これが例示的な一実施形態に過ぎないことを理解されたい。本開示のシステムおよび方法は、別種の輸送システムに応用することもできる。例えば、本開示のシステムおよび方法は、海、航空宇宙、または同様のもの、もしくはこれらの組み合わせを含む、様々な環境の輸送システムに応用することもできる。これらの輸送システムの乗り物は、乗用車、バス、電車、地下鉄、船舶、航空機、宇宙船、熱気球、または同様のもの、もしくはこれらの組み合わせを含み得る。

本開示で使用される測位技術は、全地球測位システム（GPS）、全地球航法衛星システム（GLONASS）、コンパス航法システム（COMPASS）、ガリレオ測位システム、準天頂衛星システム（QZSS）、ワイヤレスフィディリティ（WiFi）測位技術、北斗衛星導航系統（BDS）、GNASS、または同様のもの、もしくはこれらの組み合わせを基礎としてよい。本開示では、上記の測位システムのいずれか1つ以上が互換的に使用されることがある。

本開示の一態様は、対象物の姿勢を判断するシステムおよび方法に関する。いくつかの実施形態において、これらのシステムおよび方法は、第2の時点における対象物の姿勢を、第2の時点より前の第1の時点における対象物の第1の姿勢と、第2の時点に対象物によって撮影される画像とに基づいて判断できる。具体的に述べると、システムおよび方法は、第1の時における対象物の第1の姿勢に基づいて、データベースから道路に関連する第1の特徴を取り出すことができる。例えば、道路に関連する第1の特徴は、第1の姿勢にある対象物によって視認可能な1つ以上の道路要素の属性であってよい。さらに、システムおよび方法は、道路に関連する第2の特徴を画像から抽出できる。その後、システムおよび方法は、第1の特徴を第2の特徴に比較し整合させることができ、整合された第1の特徴と第2の特徴との距離誤差を含むコスト関数に基づいて、第2の時点における対象物の姿勢を判断することができる。システムおよび方法は、データベースから取り出したデータ（例えば、道路に関連する第1の特徴）を採り入れることにより、対象物の姿勢の判断にあたって高い精度を達成できる。

図1は、本開示のいくつかの実施形態による例示的な自動運転システムを示す概略図である。以下で説明する自動運転システムが例証の目的で提示される例示的なシステムに過ぎないことに注意されたい。当業者なら、ロボットシステム、移動測定システム、または測位サービスを含むシステムなどの他のシステムを、以下で説明する1つ以上のコンポーネントで同様に実現できる。いくつかの実施形態において、自動運転システム100は、計算装置110、ネットワーク120、車両130、およびストレージ140を含んでよい。

いくつかの実施形態において、計算装置110は単一のサーバーかサーバーグループであってよい。サーバーグループは集中型であってよく、あるいは分散型であってもよい（例えば、計算装置110は分散システムであってもよい）。いくつかの実施形態において、計算装置110は自動運転システム100の他のコンポーネント（例えば、車両130）に近くてよく、あるいは該コンポーネントから離れていてもよい。例えば、計算装置110は、ネットワーク120を経由して車両130および／またはストレージ140に保管された情報および／またはデータにアクセスできる。もうひとつの一例として、計算装置110は、車両130および／またはストレージ140に直接接続されて、保管された情報および／またはデータにアクセスすることもできる。いくつかの実施形態において、計算装置110は、クラウドプラットフォーム上に、または車載コンピュータ上に、実装されてよい。単なる一例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウド、または同様のもの、もしくはこれらの組み合わせを含み得る。いくつかの実施形態において、計算装置110は、本開示の図2に示された1つ以上のコンポーネントを含む計算装置200上に実装されてよい。

いくつかの実施形態において、計算装置110は、本開示で説明する1つ以上の機能を遂行するため、道路（例えば、車両130が進む道路）に関連する情報および／またはデータを処理できる。例えば、計算装置110は、データベースから道路に関連する1つ以上の第1の特徴を取り出すことができる。具体的に述べると、道路は、第1の時点に第1の姿勢にある対象物（例えば、撮影機能を有する車両130の測位装置）によって視認可能であってよい。計算装置110は、対象物の第1の姿勢に基づいて、データベースで道路に関連する1つ以上の第1の特徴を検索できる。もうひとつの一例として、計算装置110は、道路に関連する1つ以上の第2の特徴を画像から抽出できる。この画像は、第2の時点に対象物によって撮影されるものであってよい。さらに、計算装置110は、道路に関連する1つ以上の第1の特徴と道路に関連する1つ以上の第2の特徴との比較に少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断できる。本書で用いられている対象物の姿勢は、或る特定の時点における対象物の位置および／または向き（例えば、オイラー角）を含み得る。道路に関連する特徴は、1つ以上の道路要素の属性などの特性情報を含み得る。いくつかの実施形態において、計算装置110は、1つ以上の処理エンジン（例えば、シングルコア処理エンジン、またはマルチコアプロセッサ）を含んでよい。単なる一例として、計算装置110は、中央処理装置（CPU）、特定用途向け集積回路（ASIC）、特定用途向け命令セットプロセッサ（ASIP）、グラフィックス処理装置（GPU）、フィジクス処理装置（PPU）、デジタルシグナルプロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、プログラム可能論理装置（PLD）、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ（RISC）、マイクロプロセッサ、または同様のもの、もしくはこれらの組み合わせを含み得る。

いくつかの実施形態において、計算装置110は、自動運転システム100の1つ以上のコンポーネント（例えば、車両130、ストレージ140）と通信するため、ネットワーク120に接続されてよい。いくつかの実施形態において、計算装置110は、自動運転システム100の1つ以上のコンポーネント（例えば、車両130、ストレージ140）に直接接続されてよく、あるいは該コンポーネントと通信してよい。いくつかの実施形態において、計算装置110は、車両130に組み込まれてよい。例えば、計算装置110は、車両130に設置された計算装置（例えば、車載コンピュータ）であってよい。

ネットワーク120は、情報および／またはデータのやり取りを促進できる。いくつかの実施形態において、自動運転システム100の1つ以上のコンポーネント（例えば、計算装置110、車両130、またはストレージ140）は、ネットワーク120を経由して自動運転システム100の他のコンポーネントへ情報および／またはデータを送信できる。例えば、計算装置110は、データベースからネットワーク120を経由して道路に関連する1つ以上の特徴を取り出すことができる。いくつかの実施形態において、ネットワーク120は、何らかのタイプの有線、または無線ネットワーク、もしくはこれらの組み合わせであってよい。単なる一例として、ネットワーク120は、ケーブルネットワーク、ワイヤーラインネットワーク、光ファイバーネットワーク、遠隔通信ネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、無線ローカルエリアネットワーク（WLAN）、メトロポリタンエリアネットワーク（MAN）、公衆交換電話網（PSTN）、ブルートゥース(登録商標)ネットワーク、ジグビーネットワーク、近距離通信（NFC）ネットワーク、または同様のもの、もしくはこれらの組み合わせを含み得る。いくつかの実施形態において、ネットワーク120は、1つ以上のネットワークアクセスポイントを含んでよい。例えば、ネットワーク120は、有線または無線ネットワークアクセスポイントを含んでよく、これを通じて自動運転システム100の1つ以上のコンポーネントがネットワーク120に接続されて、データおよび／または情報をやり取りできる。

車両130は、環境情報を感知でき、人の操作ありで、またはなしで、進むことができる。いくつかの実施形態において、車両130は従来の車両の構造を含んでよい。例えば、車両130は、車両130の動作を制御するように構成された複数の制御コンポーネントを含んでよい。複数の制御コンポーネントは、操縦装置（例えば、ハンドル）、ブレーキ装置（例えば、ブレーキペダル）、アクセル、その他を含んでよい。操縦装置は、車両130の方位および／または方向を調節するように構成されてよい。ブレーキ装置は、車両130を止めるために、制動操作を遂行するように構成されてよい。アクセルは、車両130の速度および／または加速を制御するように構成されてよい。

車両130はまた、車両130が車線150上を進んでいるときに、車両130に関連する周囲の環境（例えば、道路情報）を検出するように構成された複数の検出ユニットを内蔵する測位装置を含んでよい。複数の検出ユニットは、カメラ、全地球位置システム（GPS）モジュール、慣性測定装置（IMU）、加速度センサー（例えば、圧電センサー）、速度センサー（例えば、ホールセンサー）、距離センサー（例えば、レーダー、LIDAR、赤外線センサー）、ステアリング角センサー（例えば、チルトセンサー）、牽引力関連センサー（例えば、力センサー）、その他を含み得る。いくつかの実施形態において、車両130に関連する道路情報は、車両130の測位装置によって検出される1つ以上の道路要素の特性情報を含み得る。

ストレージ140は、データおよび／または命令を保管できる。いくつかの実施形態において、ストレージ140は、測位装置によって取得される車両130に関連する道路情報など、車両130から得られるデータを保管できる。いくつかの実施形態において、ストレージ140は、道路に関連する特性情報を提供できるデータベースを含んでよい。いくつかの実施形態において、ストレージ140は、本開示で説明される例示的な方法を遂行するために計算装置110が実行または使用できるデータおよび／または命令を保管できる。いくつかの実施形態において、ストレージ140は、大容量ストレージ、取り外し可能ストレージ、揮発性読み取り書き込みメモリー、読み取り専用メモリー（ROM）、または同様のもの、もしくはこれらの組み合わせを含み得る。例示的な大容量ストレージは、磁気ディスク、光ディスク、ソリッドステートドライブ、その他を含み得る。例示的な取り外し可能ストレージは、フラッシュドライブ、フロッピーディスク、光ディスク、メモリーカード、ジップディスク、磁気テープ、その他を含み得る。例示的な揮発性読み取り書き込みメモリーは、ランダムアクセスメモリー（RAM）を含み得る。例示的なRAMは、ダイナミックRAM（DRAM）、ダブルデートレートシンクロナスダイナミックRAM（DDR SDRAM）、スタティックRAM（SRAM）、サイリサRAM（T−RAM）、ゼロキャパシタRAM（Z−RAM）、その他を含み得る。例示的なROMは、マスクROM（MROM）、プログラム可能ROM（PROM）、消去可能プログラム可能ROM（EPROM）、電気的消去可能プログラム可能ROM（EEPROM）、コンパクトディスクROM（CD−ROM）、およびデジタル多用途ROM、その他を含み得る。いくつかの実施形態において、ストレージ140は、クラウドプラットフォーム上で実装されてよい。単なる一例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウド、または同様のもの、もしくはこれらの組み合わせを含み得る。

いくつかの実施形態において、ストレージ140は、自動運転システム100の1つ以上のコンポーネント（例えば、計算装置110、車両130）と通信するため、ネットワーク120に接続されてよい。自動運転システム100の1つ以上のコンポーネントは、ネットワーク120を経由してストレージ140に保管されたデータや命令にアクセスできる。いくつかの実施形態において、ストレージ140は、自動運転システム100の1つ以上のコンポーネント（例えば、計算装置110、車両130）に直接接続されてよく、あるいは該コンポーネントと通信してよい。いくつかの実施形態において、ストレージ140は、計算装置110の一部であってよい。いくつかの実施形態において、ストレージ140は、車両130に組み込まれてよい。

自動運転システム100が例証の目的のために提示されているに過ぎず、本開示の範囲を制限することを意図するものではないことに注意されたい。当業者なら、本開示の教示のもとで数多くの変更または修正を行うことができる。例えば、自動運転システム100は、データベース、情報源、その他をさらに含んでよい。もうひとつの一例として、自動運転システム100は、同様の機能や異なる機能を実現するため、他の装置上で実装されてよい。しかしながら、それらの変更と修正は本開示の範囲から外れない。

図2は、本開示のいくつかの実施形態による例示的な計算装置の例示的なハードウェアおよび／またはソフトウェアコンポーネントを示す概略図である。いくつかの実施形態において、計算装置110は計算装置200上に実装されてよい。例えば、計算装置110は、計算装置200上に実装され、本開示で開示される計算装置110の機能を遂行するように構成されてよい。

計算装置200は、本開示の自動運転システム100のいずれかのコンポーネントを実装するために使用されてよい。例えば、自動運転システム100の計算装置110は、計算装置200上で、そのハードウェア、ソフトウェアプログラム、ファームウェア、またはこれらの組み合わせにより、実装されてよい。便宜上そのようなコンピュータが1つだけ図示されているが、本書で説明する自動運転システム100に関連するコンピュータ機能は、処理負荷を分散するため、いくつかの同様のプラットフォーム上で分散的に実行されてよい。

計算装置200は、例えば、データ通信を促進するため、これに接続されたネットワーク（例えば、ネットワーク120）へ接続され、なおかつ該ネットワークから接続される、通信（COMM）ポート250を含んでよい。計算装置200はまた、プログラム命令を実行する1つ以上のプロセッサ（例えば、論理回路）の形でプロセッサ（例えば、プロセッサ220）を含んでよい。例えば、プロセッサは、その内部に、インターフェース回路と処理回路とを含んでよい。インターフェース回路は、バス210から電子信号を受信するように構成されてよく、電子信号は、処理回路が処理する構造化されたデータおよび／または命令を符号化する。処理回路は、論理計算を行うことができ、その後、電子信号として符号化された結論、結果、および／または命令を判断できる。その後、インターフェース回路は、処理回路からバス210を通じて電子信号を送出できる。

計算装置200は、形態が異なるプログラムストレージとデータストレージ、例えばディスク270と、計算装置200によって処理および／または伝送される様々なデータファイルを保管する読み取り専用メモリー（ROM）230またはランダムアクセスメモリー（RAM）240とをさらに含んでよい。計算装置200はまた、ROM 230、RAM 240、および／または別種の持続性記録媒体に保管され、プロセッサ220によって実行される、プログラム命令を含んでよい。本開示の方法および／またはプロセスは、プログラム命令として実施されてよい。計算装置200はまた、計算装置200とその中にある他のコンポーネントとの間で入力／出力を支援するI／Oコンポーネント260を含んでよい。計算装置200は、ネットワーク通信を通じてプログラミングとデータを受け取ることもできる。

専ら例証のため、計算装置200ではただ1つのプロセッサが説明されている。ただし、本開示の計算装置200は複数のプロセッサを含んでもよく、このため、本開示で説明しているように1つのプロセッサによって遂行される操作が、複数のプロセッサによって共同で、または別々に、遂行されてもよいことに注意されたい。例えば、計算装置200のプロセッサは、操作Aと操作Bの両方を実行する。もうひとつの一例として、操作Aと操作Bは、計算装置200にて2つの別々のプロセッサによって共同で、または別々に、遂行されてもよい（例えば、第1のプロセッサが操作Aを実行し、第2のプロセッサが操作Bを実行する、または第1および第2のプロセッサが操作AおよびBを共同で実行する）。

図3は、本開示のいくつかの実施形態による例示的な処理エンジンを示すブロック図である。計算装置110は、取得モジュール310と、取り出しモジュール320と、抽出モジュール330と、姿勢判断モジュール340とを含んでよい。

取得モジュール310は、第1の時点における対象物の第1の姿勢を取得するように構成されてよい。いくつかの実施形態において、第1の時点における対象物の第1の姿勢は、対象物が稼働している（例えば、対象物を携える車両が自動モードで稼働している）時点における対象物の姿勢であってよい。代わりに、または加えて、第1の時点における対象物の第1の姿勢は、所定の条件が成立したときの対象物の姿勢であってよい。第1の時点における対象物の第1の姿勢の判断に関する例示的な詳しい説明は、本開示の他所に見ることができる。図6とこれの関連説明を参照されたい。

取得モジュール310はまた、第2の時点に対象物によって撮影される画像を取得するように構成されてよい。第2の時点は第1の時点の後であってよい。画像は、対象物内のカメラの視野角範囲内にある周囲環境を含んでよい。対象物によって撮影される画像は、RGB画像、グレースケール画像、デプス画像、点の群、その他を含み得る。いくつかの実施形態において、対象物によって撮影される画像はまた、画像に関連する時間情報を提供するため、タイムスタンプを含んでよい。いくつかの実施形態において、或る時点に対象物によって撮影される画像は、画像フレームと呼ばれることもある。

取り出しモジュール320は、道路に関連する1つ以上の第1の特徴をデータベースから取り出すように構成されてよい。道路は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。いくつかの実施形態において、対象物の視野角範囲内にある1つ以上の道路要素は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。道路に関連する1つ以上の第1の特徴は、1つ以上の道路要素の各々の1つ以上の属性を含み得る。道路要素の属性は、道路要素のタイプ（例えば、交通標識、交通信号機、道路標識、車線境界線、看板）、道路要素の色、道路要素の幾何学的情報（例えば、形、サイズ、規模）、道路要素の地理的位置情報（例えば、測地系の経度、緯度、および高度）、1つ以上の道路要素の（例えば、他の道路要素に対する）相対位置、または同様のもの、もしくはこれらの組み合わせを含み得る。

取り出しモジュール320はまた、対象物の予備姿勢に基づいて、道路に関連する1つ以上の第3の特徴をデータベースから取り出すように構成されてよい。いくつかの実施形態において、道路に関連する1つ以上の第3の特徴は、予備姿勢にある対象物によって視認される1つ以上の道路要素の1つ以上の属性を含み得る。関連する説明は、本開示の他所に、例えば、図4A、図5、およびこれらの説明に、見ることができる。

抽出モジュール330は、道路に関連する1つ以上の第2の特徴を画像から抽出するように構成されてよい。第2の時点に撮影される画像内の道路もまた、1つ以上の道路要素を含んでよい。道路に関連する1つ以上の第2の特徴は、第2の時点に撮影される画像内の1つ以上の道路要素の各々の1つ以上の属性を含み得る。計算装置110は、様々な技術を用いて道路に関連する1つ以上の第2の特徴を画像から抽出できる。いくつかの実施形態において、道路に関連する第2の特徴の少なくともいくつかは、上述した道路に関連する1つ以上の第1の特徴と同じであってよく、またはこれと同様であってよい。

抽出モジュール330はまた、道路に関連する1つ以上の第4の特徴を画像から抽出するように構成されてよい。道路に関連する1つ以上の第4の特徴は、画像内の1つ以上の道路要素の1つ以上の属性を含み得る。第4の特徴は、第1／第2の特徴と同様であってよく、関連する説明は、本開示の他所に、例えば、図4Aとこれの説明に、見ることができる。

姿勢判断モジュール340は、道路に関連する1つ以上の第1の特徴と道路に関連する1つ以上の第2の特徴との比較に少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断するように構成されてよい。いくつかの実施形態において、第1の特徴と第2の特徴との比較は、第1の特徴と第2の特徴との照合／整合結果を出す照合／整合操作を含んでよい。いくつかの実施形態において、姿勢判断モジュール340は、道路に関連する第1の特徴を道路に関連する第2の特徴に照合することによって、1つ以上の特定の第1の特徴と対応する特定の第2の特徴との対応関係（3D−2D関係とも呼ばれる）を確立できる。

いくつかの実施形態においては、道路に関連する1つ以上の第1の特徴を道路に関連する1つ以上の第2の特徴と比較することに少なくとも基づいて第2の時点における対象物の第2の姿勢を判断するため、姿勢判断モジュール340は、第2の時点に対象物によって撮影される画像がキーフレームであるか否かを判断するように構成されてよい。第2の時点に対象物によって撮影される画像がキーフレームであるという判断に応じて、姿勢判断モジュール340は、少なくとも1対の整合済み特徴を生成するため、1つ以上の第1の特徴を1つ以上の第2の特徴と整合させるように構成されてよい。少なくとも1対の整合済み特徴は、第1の整合済み特徴と第2の整合済み特徴とを含み得る。また、姿勢判断モジュール340は、コスト関数に従って対象物の第2の姿勢を判断するようにさらに構成されてよい。コスト関数のコスト尺度は、少なくとも1対の整合済み特徴間の距離誤差を含んでよい。

計算装置110のモジュールは、有線接続か無線接続で互いに接続されてよく、あるいは互いに通信してよい。有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブル、または同様のもの、もしくはこれらの組み合わせを含み得る。無線接続は、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、ブルートゥース(登録商標)、ジグビー、近距離通信（NFC）、または同様のもの、もしくはこれらの組み合わせを含み得る。いずれか2つのモジュールが1つのモジュールに組み合わされてよく、いずれか1つのモジュールが2つ以上のユニットに分割されてもよい。

例えば、取得モジュール310と抽出モジュール330は、複数の交通物体に関連する検出情報を受信でき、なおかつ各交通物体の複数の特徴の特徴値を抽出できる1つのモジュールに組み合わされてよい。

図4Aは、本開示のいくつかの実施形態による対象物の姿勢を判断する例示的なプロセスを示すフローチャートである。プロセス400は、自動運転システム100によって実行されてよい。例えば、プロセス400は、ストレージROM 230またはRAM 240に保管された1組の命令として実施されてよい。プロセッサ220および／または図3のモジュールは、1組の命令を実行でき、プロセッサ220および／またはモジュールは、命令を実行するときに、プロセス400を遂行するように構成されてよい。以下で例証するプロセスの各操作は、説明に役立てることを意図している。いくつかの実施形態において、プロセス400は、説明されていない1つ以上の操作を加えて、および／または論述されている操作のいずれか1つ以上を省いて、やり遂げられてよい。加えて、図4に示され以下で説明されるプロセス400の操作の順序は、制限することを意図していない。

本書で用いられている対象物は、地上にあって、生命がある、またはない、有機物および／または無機物からなる組成物を指し得る。いくつかの実施形態において、対象物は、本開示の他所（例えば、図1と関連説明）で説明されているように車両（例えば、車両130）内の測位装置であってよい。測位機能をより良く達成するため、いくつかの実施形態において、対象物はまた、単眼カメラ、双眼カメラ、デプスカメラ、IMU、GPS、または同様のもの、もしくはこれらの組み合わせなど、1つ以上のセンサーを含んでよい。いくつかの実施形態において、対象物は、車両内の適当な位置（例えば、車両130の上部上、車両130の前端）に取り付けられてよい。対象物と車両との相対位置が一定である場合は、車両の姿勢（例えば、車両の位置または向き）が対象物の姿勢に反映されてよい。いくつかの実施形態において、対象物の位置および／または向きを含む対象物の姿勢は、座標系との関係で説明されてよい。座標系は、測地系など、固定された原点、および／または固定された軸がある、何らかの適当な座標系であってよい。座標系は、任意の数（または個数）の次元を有してよい。例えば、座標系は、二次元（2D）または三次元（3D）座標系であってよい。

いくつかの実施形態において、座標系内の対象物の位置は、座標系における座標で表されてよい。対象物の向きは、座標系にて1つ以上のオイラー角で表されてよい。X軸とY軸とZ軸とを有する3D座標系を一例にとると、この3D座標系における対象物の位置は、X軸沿いのX座標、Y軸沿いのY座標、およびZ軸沿いのZ座標のいずれか1つ以上で表されてよい。3D座標系に対する対象物の向きは、ヨー角α、ピッチ角β、および／またはロール角γのいずれか1つ以上で表されてよい。この状況下で、時点tにおける対象物の姿勢Pは、P_t＝［X_t，Y_t，Z_t，α_t，β_t，γ_t］と表されてよい。

いくつかの実施形態において、車両（例えば、車両130）は周囲環境の中にあってよい。車両の周囲環境は、車両を取り囲む1つ以上の物体（生物と無生物を含む）を含んでよい。周囲環境の少なくとも一部分は対象物（例えば、車両130の測位装置）の視野角範囲内にあり、対象物によって視認可能であってよい。いくつかの実施形態において、対象物の最大視野角範囲は、対象物内のカメラの視野角範囲とほぼ同じか同じであってよい。対象物が2つ以上のカメラを含み得る状態では、最大視野角範囲は各カメラのそれぞれの視野角範囲の重複部分であってよい。いくつかの実施形態において、対象物の視野角範囲は、対象物によって撮影される画像内の視野に反映されてよい。いくつかの実施形態において、対象物の最大視野角範囲は、実際のニーズに基づいてユーザーによって決定されてよい。例えば、対象物の手前で対象物の位置から既定の距離（例えば、50メートル）内にある物体は、対象物の視野角の範囲内にあるとみなされてよい。

具体的に述べると、いくつかの実施形態において、車両（例えば、車両130）は道路（例えば、図1に示された車線150）上を進むことができる。道路は、対象物によって視認可能で道路の特定の位置を識別するために使用できる1つ以上の道路要素（例えば、地上線、道路標識、交通標識、交通信号機、看板、縁石、道路照明）を含んでよい。計算装置110はプロセス400を遂行し、対象物によって視認可能な1つ以上の道路要素の特性情報を解析することによって、対象物の姿勢を判断できる。

410で、計算装置110（例えば、取得モジュール310）は、第1の時点における対象物の第1の姿勢を取得できる。いくつかの実施形態において、第1の時点における対象物の第1の姿勢は、対象物が稼働している（例えば、対象物を携える車両が自動モードで稼働している）時点における対象物の姿勢であってよい。代わりに、または加えて、第1の時点における対象物の第1の姿勢は、所定の条件が成立したときの対象物の姿勢であってよい。例示的な所定の条件は、対象物の初期化、車両の1つ以上のコンポーネントの故障、車両の経路からの逸脱、ユーザーコマンドの検出、または同様のもの、もしくはこれらの組み合わせを含み得る。第1の時点における対象物の第1の姿勢の判断に関する例示的な詳しい説明は、本開示の他所に見ることができる。図6とこれの関連説明を参照されたい。

420で、計算装置110（例えば、取り出しモジュール320）は、道路に関連する1つ以上の第1の特徴をデータベースから取り出すことができる。道路は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。上述したように、対象物の視野角範囲内にある1つ以上の道路要素は、第1の時点に第1の姿勢にある対象物によって視認可能であってよい。道路に関連する1つ以上の第1の特徴は、1つ以上の道路要素の各々の1つ以上の属性を含み得る。道路要素の属性は、道路要素のタイプ（例えば、交通標識、交通信号機、道路標識、車線境界線、看板）、道路要素の色、道路要素の幾何学的情報（例えば、形、サイズ、規模）、道路要素の地理的位置情報（例えば、測地系の経度、緯度、および高度）、1つ以上の道路要素の（例えば、他の道路要素に対する）相対位置、または同様のもの、もしくはこれらの組み合わせを含み得る。

図5を参照すると、測位装置512を備え道路501上を進む車両510が一例として示されている。測位装置512は、複数の検出ユニットを有してよい。四角柱形区域520は、車両510の測位装置512の視認可能区域を表してよい。上述したように、四角柱形区域520の範囲は、測位装置512の性能（例えば、測位装置512内の1つ以上のカメラの視野角範囲）に基づいて決定されてよく、あるいはユーザーによって事前に設定されてよい。測位装置512のその姿勢で、測位装置512によって視認される道路要素は、四角柱形区域520の中にある何らかの道路要素を含んでよい。図に示されているように、四角柱形区域520の中にある道路要素は、道路標識502と横断歩道504の一部分とを含んでよい。単なる一例として、道路標識502の属性は、道路標識502のタイプ（すなわち、交通標識以外の道路標識）、道路標識502の色（例えば、青および白）、道路標識502の幾何学的情報（例えば、長方形）、道路標識502の地理的位置情報（例えば、測地系の経度、緯度、および／または高度）、道路標識502の相対位置（例えば、道路の右側）、その他を含み得る。横断歩道504の一部分の属性は、横断歩道504の一部分のタイプ（すなわち、道路標識の交通標識）、横断歩道504の一部分の色（例えば、白）、横断歩道504の一部分の幾何学的情報（例えば、複数の縞）、横断歩道504の一部分の地理的位置情報（例えば、測地系の経度、緯度、および／または高度）、横断歩道504の相対位置（例えば、道路の中央）、その他を含み得る。

データベースは、道路の1つ以上の道路要素の属性情報を含む何らかの3D位置情報データベースであってよい。いくつかの実施形態において、データベースは事前構築地図データベースであってよく、例えば、高精細度地図データベースであってよい。事前構築地図データベースは、特定地域（例えば、都市）の多次元情報を含んでよい。特定地域の多次元情報は、例えば、地域内の1つ以上の物体（例えば、道路、道路要素、建築物、ランドマーク）の位置情報、1つ以上の物体の属性情報、または同様のもの、もしくはこれらの組み合わせを含み得る。いくつかの実施形態において、事前構築地図データベースは、事前に自動運転システム100（例えば、計算装置110またはストレージ140）に読み込まれてよく、自動運転システム100にてローカルデータベースとして機能してよい。例えば、アップロードされた事前構築地図データベースは、ストレージ140、ROM 230、および／またはRAM 240に保管されてよい。加えて、または代わりに、事前構築地図データベースは、ネットワーク120経由で計算装置110によってアクセスできる、クラウドデータベースなどのリモートデータベースであってもよい。

事前構築地図データベースがリモートデータベースである場合、計算装置110はネットワーク120経由で事前構築地図データベースへ要求を伝送できる。この要求は、第1の時点における対象物の第1の姿勢を少なくとも含んでよい。事前構築地図データベースは、この要求に応じて、第1の姿勢にある対象物によって視認可能な道路に関連する1つ以上の第1の特徴を相応に伝送できる。

いくつかの実施形態において、事前構築地図データベースは、道路の全道路要素の属性情報を保管できる。単なる一例として、事前構築地図データベースは、事前に移動測定システム（例えば、1つ以上の道路情報取得車両）によって取得されたデータに基づいて生成されてよい。移動測定システムでは、データ取得のために道路情報取得車両が使用されてよい。例えば、道路情報取得車両には、GPSシステム（またはINSシステム）、レーザー装置、IMU、またはカメラが装備されてよい。道路情報取得車両が道路上を進んでいるときに、カメラはリアルタイムで画像を撮影でき、レーザー装置はカメラによって撮影される画像と同期する点群を捕捉できる。レーザー装置によって取得される点群とカメラによってリアルタイムで撮影される画像は、2つの異なる座標系に置かれてよい。2つの異なる座標系間の関係は、固定されたシーンのデータを取得することによって得ることができるカメラとレーザー装置との相対位置によって測定されてよい。

移動測定システムの処理装置（自動システム110の計算装置110と同様）は、レーザー装置によって取得される点群の座標系とカメラによってリアルタイムで撮影される画像の座標系を統一座標系に変換できる。例えば、移動測定システムの処理装置は、道路情報取得車両のリアルタイム姿勢に基づいて、レーザー装置によって取得される点群とカメラによってリアルタイムで撮影される画像を測地系に変換できる。いくつかの実施形態において、道路情報取得車両のリアルタイム姿勢は、GPSとIMUとによってそれぞれ収集されるデータに基づいて判断されてよい。移動測定システムの処理装置は、組み合わせ調整原則に従って、点群データと、GPSデータに基づく道路情報取得車両のリアルタイム姿勢と、IMUデータに基づく道路情報取得車両のリアルタイム姿勢とを組み合わせることによって、姿勢精度を最適化できる。道路情報取得車両の処理装置はまた、レーザー装置によって取得される点群の明度情報と、カメラによって撮影される画像の色情報とを組み合わせることによって、1つ以上の道路要素を抽出できる。同時に、移動測定システムの処理装置は、道路要素（例えば、道路上の車線境界線）の空間関係に基づいて、道路要素（例えば、車線境界線）間の連結関係を確立できる。移動測定システムの処理装置はまた、カメラによって撮影された画像から道路要素の各々の情報（例えば、質感、文字、標識）を認識し、それらの情報を道路の道路要素の属性として使用することができる。その後、事前構築地図データベースが生成されてよい。

430で、計算装置110（例えば、取得モジュール310）は、第2の時点に対象物によって撮影される画像を取得できる。第2の時点は第1の時点の後であってよく、第1の時点と第2の時点との時間間隔はΔtと表されてよい。画像は、対象物内のカメラの視野角範囲内にある周囲環境を含んでよい。対象物によって撮影される画像は、RGB画像、グレースケール画像、デプス画像、点の群、その他を含み得る。いくつかの実施形態において、対象物によって撮影される画像はまた、画像に関連する時間情報を提供するため、タイムスタンプを含んでよい。いくつかの実施形態において、或る時点に対象物によって撮影される画像は、画像フレームと呼ばれることもある。

440で、計算装置110（例えば、抽出モジュール330）は、道路に関連する1つ以上の第2の特徴を画像から抽出できる。第2の時点に撮影される画像内の道路もまた、1つ以上の道路要素を含んでよい。道路に関連する1つ以上の第2の特徴は、第2の時点に撮影される画像内の1つ以上の道路要素の各々の1つ以上の属性を含み得る。計算装置110は、様々な技術を用いて道路に関連する1つ以上の第2の特徴を画像から抽出できる。例示的な技術は、画像認識技術、セマンティックセグメンテーション技術、機械学習技術、その他を含み得る。いくつかの実施形態において、道路に関連する第2の特徴の少なくともいくつかは、上述した道路に関連する1つ以上の第1の特徴と同じであってよく、またはこれと同様であってよい。

450で、計算装置110（例えば、姿勢判断モジュール340）は、道路に関連する1つ以上の第1の特徴と道路に関連する1つ以上の第2の特徴との比較に少なくとも基づいて、第2の時点における対象物の第2の姿勢を判断できる。いくつかの実施形態において、第1の特徴と第2の特徴との比較は、第1の特徴と第2の特徴との照合／整合結果を出す照合／整合操作を含んでよい。いくつかの実施形態において、計算装置110は、道路に関連する第1の特徴を道路に関連する第2の特徴に照合することによって、1つ以上の特定の第1の特徴と対応する特定の第2の特徴との対応関係（3D−2D関係とも呼ばれる）を確立できる。例えば、或る第1の特徴と或る第2の特徴がいずれも同じ道路要素の同じ属性を表している場合は、或る第1の特徴は或る第2の特徴に対応しているとみなされてよい。そこで、特定の第1の特徴に対応する事前構築地図データベース内の1つ以上の道路要素の3D座標と、特定の第2の特徴に対応する画像内の1つ以上の道路要素の2D座標との対応関係が生成されてよい。例えば、3D−2D関係は次のように表されてよい。
m_2d＝F（P_i，X_3D） （1）
ここで、F（P_i，X_3D）は透視投影関数を表し、iはi番目の画像フレーム（すなわち、第2の時点に対象物によって撮影される画像）を表し、m_2dは特定の第2の特徴に対応するi番目の画像フレーム内の1つ以上の道路要素の2D座標を表し、X_3Dは特定の第1の特徴に対応する事前構築地図データベース内の1つ以上の道路要素の3D座標を表し、P_iは対象物がi番目の画像フレームを撮影するときの姿勢を表す。

いくつかの実施形態において、対象物の第2の姿勢は、コスト関数に基づいて、特定の第1の特徴に対応する事前構築地図データベース内の1つ以上の道路要素の座標と、特定の第2の特徴に対応する画像内の1つ以上の道路要素の座標との対応関係に従ってさらに判断されてよい。対象物の第2の姿勢の判断に関するさらなる詳細は、図4Bに見ることができる。

図4Bは、本開示のいくつかの実施形態による第2の時点における対象物の第2の姿勢を判断する例示的なプロセス500を示すフローチャートである。いくつかの実施形態において、操作450はプロセス500に従って遂行されてよい。

452で、計算装置110（例えば、姿勢判断モジュール340）は、第2の時点に対象物によって撮影される画像がキーフレームであるか否かを判断できる。

いくつかの実施形態において、計算装置110は、第2の時点に対象物によって撮影される画像（i番目の画像フレームとも呼ばれる）がキーフレームであるか否かを、第1の時点における画像（（i−1）番目の画像フレームとも呼ばれる）の撮影からi番目の画像フレームの撮影までの対象物の移動距離に基づいて、判断できる。例えば、計算装置110は、IMUの測定値に基づいて、第1の時点における対象物の第1の場所と第2の時点における対象物の第2の場所を判断できる。計算装置110は、対象物の第1の場所と対象物の第2の場所との距離が第1の閾値以上である場合に、第2の時点に対象物によって撮影される画像（すなわち、i番目の画像フレーム）がキーフレームであると判断できる。

いくつかの実施形態において、計算装置110は、（i−1）番目の画像（すなわち、第2の時点より前の第1の時点に対象物によって撮影される画像）フレームとi番目の画像フレームとの一致スコアに基づいて、第2の時点に対象物によって撮影される画像（すなわち、i番目の画像フレーム）がキーフレームであるか否かを判断できる。一致スコアは、（i−1）番目の画像フレームとi番目の画像フレームとで一致する画素の数（または個数）に基づいて評価されてよい。（i−1）番目の画像フレームとi番目の画像フレームとで一致する画素の数（または個数）が多いほど、一致スコアは高くなってよい。いくつかの実施形態において、計算装置110は、（i−1）番目の画像フレームとi番目の画像フレームとの一致スコアが第2の閾値を下回る場合に、第2の時点に対象物によって撮影される画像がキーフレームであると判断できる。本書で用いられている第1の閾値と第2の閾値は、自動運転システム100のユーザーによって予め設定されてよい。

454で、計算装置110（例えば、姿勢判断モジュール340）は、第2の時点に対象物によって撮影される画像がキーフレームであるという判断に応じて、1つ以上の第1の特徴を1つ以上の第2の特徴に整合させることで、少なくとも1対の整合済み特徴を生成できる。少なくとも1対の整合済み特徴は、第1の整合済み特徴と第2の整合済み特徴とを含み得る。第1の整合済み特徴は、道路要素の第1の位置に対応する特定の第1の特徴であってよく、第2の整合済み特徴は、道路要素の第2の位置に対応する特定の第2の特徴であってよい。いくつかの実施形態において、少なくとも1対の整合済み特徴間の距離誤差は、第1の整合済み特徴に対応する第1の位置と第2の整合済み特徴に対応する第2の位置との差を含み得る。いくつかの実施形態において、1つ以上の第1の特徴と1つ以上の第2の特徴との整合は、図4Aの操作450との関係で説明したように、第1の特徴と第2の特徴との対応関係に基づいて生成されてよい。

456で、計算装置110（例えば、姿勢判断モジュール340）は、コスト関数に従って対象物の第2の姿勢を判断できる。コスト関数のコスト尺度は、少なくとも1対の整合済み特徴間の距離誤差を含んでよい。例えば、計算装置110は、次のように表されるバンドル調整（BA）アルゴリズムのコスト関数に従って対象物の第2の姿勢を判断できる。

ここで、iは画像フレームiを表し、jは画像フレームiのj番目の3D地図点を表し、dは差を表し、F（P_i，X_j）は透視投影関数を表し、P_iは対象物がi番目の画像フレームを撮影するときの姿勢（すなわち、第2の姿勢）を表し、X _jはj番目の3D地図点の3D座標を表し、m_ijはj番目の3D地図点と整合されるi番目の画像フレーム内の画像点の2D座標を表し、P_IMUは対象物がi番目の画像フレームを撮影するときにIMUによって測定される相対的姿勢を表し、W_IMUはIMUによって測定される相対的姿勢の重みを表し、T_gpsは対象物がi番目の画像フレームを撮影するときにGPSが取得する地理的位置を表し、T_iは対象物によって計算される地理的位置を表し、W_gpsはGPSが取得する地理的位置の重みを表す。いくつかの実施形態において、相対的姿勢P_IMUは、IMUの測定値に対してプレインテグレーションを行うことに基づいて得られてよい。W_IMUの値は、IMUによって取得されるデータの質に関係してよい。いくつかの実施形態において、重みW_gpsはGPSによって取得される信号の質に関係してよい。例えば、GPSは、場合によっては、信号遮断が原因して地理的位置T_gpsをほとんど取得できないことがあり、この場合、重みW_gpsはゼロの近くになるように設定されてよく、それ故、式（3）のd（T_gpsT_i）^TW_gpsd（T_gps，T_i）は無視されてよく、あるいは省かれてよい。式（1）で説明されているように、F（P_i，X_3D）は、i番目の画像フレーム内の1つ以上の道路要素の2D座標に対する、事前構築地図データベース内の1つ以上の道路要素の3D座標X_3Dの投影を表す。したがって、d（F（P_i，X_3D），m_2d）は少なくとも1対の整合済み特徴間の差（例えば、距離誤差）を表す。

式（2）で説明されているように、透視投影関数F（P_i，X_j）は、j番目の3D地図点と整合されるi番目の画像フレーム内の画像点の2D座標に対するj番目の3D地図点X_jの3D座標の投影を意味してよい。いくつかの実施形態において、透視投影関数F（P_i，X_j）は、3D地図点とi番目の画像フレーム内の画像点の2D座標との対応関係に基づいて割り出されてよく、この点については以下で詳述する。

まず、計算装置110は、i番目の画像フレームの3D地図を生成できる。この3D地図の点（すなわち、3D地図点）は、第2の時点に撮影される画像（すなわち、i番目の画像フレーム）内の特徴点の3D座標を含んでよい。例証を目的として述べると、画像内の特徴点の3D座標は、視覚的な同時位置決め地図作成（SLAM）技術と第1の時点に対象物によって撮影される画像（すなわち、（i−1）番目の画像フレーム）とに基づいて生成されてよい。

次に、計算装置110は、3D地図（例えば、特徴点の3D座標）に基づいて、特徴点の各々について1つ以上の視覚的特徴（例えば、形、サイズ、色）を判断できる。さらに、計算装置110は、1つ以上の視覚的特徴をi番目の画像フレームに照合することによって、i番目の画像フレーム内の視覚的特徴に対応する2D座標（投影2D座標とも呼ばれる）を判断できる。いくつかの実施形態において、計算装置110は、予測技術によって特徴点の各々の1つ以上の視覚的特徴をi番目の画像フレームに照合できる。例えば、計算装置110は、次のように表される式に従って第2の時点における予備姿勢

を判断できる。

ここで、P_i−1は対象物が（i−1）番目の画像フレームを撮影するときの姿勢を表し、V_iは対象物の速度（例えば、線速度と角速度）を表し、Δtは（i−1）番目の画像フレームの撮影とi番目の画像フレームの撮影との時間間隔を表す。予備姿勢

に従い、3D−2D関係に基づいてそれぞれの視覚的特徴の3D座標がi番目の画像フレームに投影されてよく、その結果、それらの視覚的特徴に対応する投影2D座標が得られてよい。

いくつかのさらなる実施形態において、計算装置110（例えば、姿勢判断モジュール340）は、道路要素の基準サイズを得ることができ、道路要素の算出サイズと道路要素の基準サイズとに基づいて第2の時点における対象物の第2の姿勢を判断できる。道路要素の基準サイズは、事前構築地図データベースから取り出されてよい。道路要素の算出サイズは、次のように表される式に従って割り出されてよい。
dis_prediction＝｜｜V1−V2｜｜ （4）
ここで、V1とV2はi番目の画像フレーム内の道路要素の2つの頂点であり、dis_predictionはi番目の画像フレーム内の道路要素の算出サイズを表す。

計算装置110は、次のように調整されたコスト関数に従って道路要素の算出サイズと道路要素の基準サイズとに基づいて第2の時点における対象物の第2の姿勢を判断できる。

dis_predictionはi番目の画像フレーム内の道路要素の基準サイズを表し、dis_predictionはi番目の画像フレーム内の道路要素の算出サイズを表し、W_sizeはサイズ差の重みを表す。いくつかの実施形態において、GPSは、信号遮断が原因して地理的位置T_gpsをほとんど取得できないことがあり、この場合、重みW_gpsはゼロの近くになるように設定されてよく、それ故、式（5）における項d（T_gpsT_i）^TW_gpsd（T_gps，T_i）の寄与は無視されてよく、あるいは省かれてよい。

式（2）の少なくとも1対の整合済み特徴間の差（例えば、距離誤差）が、第2の姿勢を判断するにあたって、IMUの測定値と視覚慣性オドメトリ（VIO）技術とも呼ばれるSLAM技術との組み合わせで生じるスケール誤差を補正できることを保証し得ることに注意されたい。本書で用いられているスケール誤差は、視覚的特徴の投影2D座標と第2の時点に撮影される画像内の2D座標との差によって生じる誤差を意味してよい。

いくつかの実施形態において、第2の点で撮影される画像がキー画像ではない場合は、式（2）で少なくとも1対の整合済み特徴間の差（例えば、距離誤差）を表す項は取り除かれてよく、それ故、対象物の第2の姿勢は以下のコスト関数に従って判断されてよい。

同様に、道路要素の基準サイズと算出サイズを考慮に入れる場合は、対象物の第2の姿勢は以下のコスト関数に従って判断されてよい。

いくつかの実施形態においては、第2の点に撮影される画像がキー画像である場合でも、式（6）または（7）に従って対象物の第2の姿勢が判断されてもよい。
いくつかの実施形態において、GPSは、信号遮断が原因して地理的位置T_gpsをほとんど取得できないことがあり、この場合、重みW_gpsはゼロの近くになるように設定されてよく、それ故、式（5）または（6）における項d（T_gpsT_i）^TW_gpsd（T_gps，T_i）は無視されてよく、あるいは省かれてよい。

上記の説明が例証の目的のために提示されているに過ぎず、本開示の範囲を制限することを意図するものではないことに注意されたい。当業者なら、本開示の教示のもとで数多くの変更と修正を行うことができる。しかしながら、それらの変更と修正は本開示の範囲から外れない。例えば、1つ以上の他の任意の操作（例えば、対象物の第2の姿勢を出力する保管操作）がプロセス400内のどこかに加えられてもよい。もうひとつの一例として、第2の時点に対象物によって撮影される画像がキーフレームであるか否かの判断は、プロセス400の操作（例えば、操作420、430、または440）の前に遂行されてもよい。

図6は、本開示のいくつかの実施形態による第1の姿勢を判断する例示的なプロセスを示すフローチャートである。プロセス600は、自動運転システム100によって実行されてよい。例えば、プロセス600は、ストレージROM 230またはRAM 240に保管された1組の命令として実施されてよい。プロセッサ220および／または図3のモジュールは、1組の命令を実行でき、プロセッサ220および／またはモジュールは、命令を実行するときに、プロセス600を遂行するように構成されてよい。以下で例証するプロセスの各操作は、説明に役立てることを意図している。いくつかの実施形態において、プロセス600は、説明されていない1つ以上の操作を加えて、および／または論述されている操作のいずれか1つ以上を省いて、やり遂げられてよい。加えて、図6に示され以下で説明されるプロセス600の操作の順序は、制限することを意図していない。

610で、計算装置110（例えば、姿勢判断モジュール340）は、第1の時点における対象物の予備姿勢を判断できる。対象物の予備姿勢は、対象物の予備位置および／または予備向きを含み得る。いくつかの実施形態において、対象物の予備位置はGPSによって得られてよく、対象物の予備向きはIMUの測定値に基づいて得られてよい。

620で、計算装置110（例えば、取り出しモジュール320）は、対象物の予備姿勢に基づいて、道路に関連する1つ以上の第3の特徴をデータベースから取り出すことができる。本開示の他所で説明されている第1／第2の特徴と同様、道路に関連する1つ以上の第3の特徴は、第1の時点に予備姿勢にある対象物によって視認される1つ以上の道路要素の1つ以上の属性を含み得る。道路要素の属性は、道路要素のタイプ（例えば、交通標識、交通信号機、道路標識、車線境界線、看板）、道路要素の色、道路要素の幾何学的情報（例えば、形、サイズ）、道路要素の地理的位置情報（例えば、測地系の経度、緯度、および高度）、1つ以上の道路要素の（例えば、他の道路要素に対する）相対位置、または同様のもの、もしくはこれらの組み合わせを含み得る。関連する説明は、本開示の他所に、例えば、図4A、図5、およびこれらの説明に、見ることができる。

630で、計算装置110（例えば、取得モジュール310）は、第1の時点に対象物によって撮影される画像を取得できる。いくつかの実施形態において、第1の時点に対象物によって撮影される画像は、第1の画像フレーム（すなわち、i＝1）を指してよい。対象物によって撮影される第2の画像は、RGB画像、グレースケール画像、デプス画像、点の群、その他を含み得る。

640で、計算装置110（例えば、抽出モジュール330）は、道路に関連する1つ以上の第4の特徴を画像から抽出できる。道路に関連する1つ以上の第4の特徴は、画像内の1つ以上の道路要素の1つ以上の属性を含み得る。第4の特徴は、第1／第2の特徴と同様であってよく、関連する説明は、本開示の他所に、例えば、図4Aとこれの説明に、見ることができる。いくつかの実施形態において、計算装置110は、様々な技術を用いて道路に関連する1つ以上の第4の特徴を画像から抽出できる。例示的な技術は、画像認識技術、セマンティックセグメンテーション技術、その他を含み得る。

650で、計算装置110（例えば、姿勢判断モジュール340）は、道路に関連する1つ以上の第3の特徴と道路に関連する1つ以上の第4の特徴とに基づいて、第1の時点における対象物の第1の姿勢を判断できる。いくつかの実施形態において、式（1）に従って、計算装置110は、道路に関連する第3の特徴を道路に関連する第4の特徴に照合することによって、道路に関連する1つ以上の第3の特徴と道路に関連する1つ以上の第4の特徴との対応関係を確立できる。計算装置110は次に、式（1）を解くことによって、道路に関連する1つ以上の第3の特徴と道路に関連する1つ以上の第4の特徴とに基づいて、第1の時点における対象物の第1の姿勢を判断できる。

上記の説明が例証の目的のために提示されているに過ぎず、本開示の範囲を制限することを意図するものではないことに注意されたい。当業者なら、本開示の教示のもとで数多くの変更と修正を行うことができる。しかしながら、それらの変更と修正は本開示の範囲から外れない。例えば、1つ以上のさらなる操作（例えば、保管操作）がプロセス600内のどこかに加えられてもよい。この保管操作では、計算装置110が本開示の他所で開示されている記録装置（例えば、ストレージ140）に対象物に関連する情報および／またはデータを保管できる。

このように基本的なコンセプトを説明したが、この詳しい開示を読んだ当業者なら、上記の詳しい開示がほんの一例として提示されることを意図するものであって制限的ではないことがはっきり分かる。様々な改変、改良、および修正は、本書で明確に述べられていなくとも、当業者が思い付くことができるものであり、当業者に向けられている。これらの改変、改良、および修正は、本開示によって示唆されることを意図しており、本開示の例示的な実施形態の精神と範囲の中にある。

さらに、本開示の実施形態を説明するために或る種の用語が用いられている。例えば、用語「一実施形態」、「実施形態」、および／または「いくつかの実施形態」は、実施形態との関係で説明されている或る特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれていることを意味する。したがって、本明細書の様々な部分における「実施形態」、「一実施形態」、または「代替実施形態」への2回以上の言及がいずれも同じ実施形態に必ずしも言及するものではないことを強調するし、またそのように理解されるべきである。さらに、或る特定の特徴、構造、または特性は、本開示の1つ以上の実施形態で適宜組み合わされてよい。

さらに、本書において、新規で有益なプロセス、機械、製造物、または組成物、またはこれらの新規で有益な改良を含む、数々の特許性のある部類または脈絡のいずれかで本開示の態様が例証および説明され得ることは、当業者によって理解されるであろう。したがって、本開示の態様は、全面的にハードウェアによって、全面的にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む）によって、またはソフトウェアおよびハードウェア実装を組み合わせることによって、実装されてよく、これらはいずれも本書で「ブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、または「システム」と総称されることがある。さらに、本開示の態様は、コンピュータ可読プログラムコードが組み入れられた1つ以上のコンピュータ可読媒体に組み入れられたコンピュータプログラム製品の形をとってもよい。

コンピュータ可読信号媒体は、例えば、ベースバンドにて、または搬送波の一部として、コンピュータ可読プログラムコードが組み入れられた伝播データ信号を含み得る。かかる伝播信号は、電磁形態、光形態、または同様のもの、もしくはこれらの適切な組み合わせを含む、様々な形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記録媒体ではなく、なおかつ命令実行システム、機器、または装置によって使用される、もしくはこれとの関係で使用される、プログラムを、伝達、伝播、または移送できる、何らかのコンピュータ可読媒体であってよい。コンピュータ可読信号媒体に組み入れられるプログラムコードは、ワイヤレス、ワイヤーライン、光ファイバーケーブル、RF、または同様のもの、もしくはこれらの適切な組み合わせを含む、何らかの適切な媒体を用いて伝送されてよい。

本開示の態様の操作を遂行するコンピュータプログラムコードは、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C＋＋、C＃、VB．NET、Python、または同様のものなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、およびGroovyなどの動的プログラミング言語、または他のプログラミング言語を含む、1つ以上のプログラミング言語の組み合わせで記述されてよい。プログラムコードは、全面的にユーザーのコンピュータ上で実行してよく、部分的にユーザーのコンピュータ上で実行してよく、スタンドアロンソフトウェアパッケージとして実行してよく、部分的にユーザーのコンピュータ上と部分的にリモートコンピュータ上で実行してよく、もしくは全面的にリモートコンピュータまたはサーバー上で実行してよい。このうちの最後の状況で、リモートコンピュータは、ローカルエリアネットワーク（LAN）またはワイドエリアネットワーク（WAN）を含む何らかのタイプのネットワークを通じてユーザーのコンピュータに接続されてよく、あるいは接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータに対して行われてよく、またはクラウドコンピューティング環境内で行われてよく、またはサービス型ソフトウェア（SaaS）などのサービスとして提供されてよい。

さらに、記述されている処理要素またはシーケンスの順序は、あるいは数字、文字、またはその他名称の使用は、したがって、クレームに明記されている場合を除き、クレームのプロセスや方法を何らかの順序に制限することを意図しない。上記の開示では、本開示の様々な有益な実施形態であると現在考えられるものを様々な例を挙げて論述しているが、そのような詳細が専らその目的のためのものであること、また添付のクレームが開示されている実施形態に限定されず、むしろ開示されている実施形態の精神と範囲の中にある修正や同等のアレンジに及ぶことを意図するものであることを理解されたい。例えば、上述した様々なコンポーネントの実装はハードウェア装置に組み入れられてもよいが、例えば既存のサーバーまたはモバイル装置上でのインストールなど、ソフトウェアのみのソリューションとして実装されてもよい。

同様に、本開示の実施形態の上記の説明では、開示を円滑化して様々な実施形態の1つ以上に対する理解を助けるために、様々な特徴が1つの実施形態、図、またはそれらの説明にまとめられている場合があることを理解されたい。しかしながら、この開示方法は、クレームの主題が、それぞれのクレームに明記されているものより多くの特徴を必要とするという意図を反映すると解釈されるべきものではない。むしろ、クレームの主題は、上で開示されている1つの実施形態の全ての特徴に満たない場合もある。

100 自動運転システム
110 計算装置
120 ネットワーク
130 車両
140 ストレージ
150 車線
200 計算装置
210 バス
220 プロセッサ
230 読み取り専用メモリー（ROM）
240 ランダムアクセスメモリー（RAM）
250 通信ポート
260 I／Oコンポーネント
270 ディスク
310 取得モジュール
320 取り出しモジュール
330 抽出モジュール
340 姿勢判断モジュール
400 プロセス
500 プロセス
501 道路
502 道路標識
504 横断歩道
510 車両
512 測位装置
520 四角柱形区域
600 プロセス

Claims (36)

1. システムであって、
   1組の命令を含む少なくとも1つの記録媒体と、
   前記少なくとも1つの記録媒体と通信する少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサが、前記命令を実行するときに、
   第1の時点における対象物の第1の姿勢を取得するステップと、
   道路に関連する1つ以上の第1の特徴をデータベースから取り出すステップであって、前記道路が前記第1の時点に前記第1の姿勢にある前記対象物によって視認可能である、ステップと、
   第2の時点に前記対象物によって撮影される画像を取得するステップと、
   前記道路に関連する1つ以上の第2の特徴を前記画像から抽出するステップと、
   前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の第2の姿勢を判断するステップとを含む操作を遂行することを前記システムに指図するように構成される、少なくとも1つのプロセッサとを含む、システム。
2. 前記第1の時点における前記対象物の前記第1の姿勢を取得するステップが、
   前記第1の時点における前記対象物の予備姿勢を判断するステップと、
   前記対象物の前記予備姿勢に基づいて、前記道路に関連する1つ以上の第3の特徴を前記データベースから取り出すステップと、
   前記第1の時点に前記対象物によって撮影される第2の画像を取得するステップと、
   前記道路に関連する1つ以上の第4の特徴を前記第2の画像から抽出するステップと、
   前記道路に関連する前記1つ以上の第3の特徴と前記道路に関連する前記1つ以上の第4の特徴とに基づいて、前記第1の時点における前記対象物の前記第1の姿勢を判断するステップとを含む、請求項1に記載のシステム。
3. 前記少なくとも1つのプロセッサが、
   前記第1の時点における前記対象物の第1の場所と前記第2の時点における前記対象物の第2の場所を判断するステップと、
   前記対象物の前記第1の場所と前記対象物の前記第2の場所との距離が第1の閾値以上である場合に、前記第2の時点に前記対象物によって撮影される前記画像がキーフレームであると判断するステップとを含む操作を遂行することを前記システムに指図するようにさらに構成される、請求項1または2に記載のシステム。
4. 前記少なくとも1つのプロセッサが、
   前記第2の時点に前記対象物によって撮影される前記画像と前記第1の時点に前記対象物によって撮影される前記第2の画像との一致スコアが第2の閾値を下回る場合に、前記第2の時点に前記対象物によって撮影される前記画像がキーフレームであると判断するステップを含む操作を遂行することを前記システムに指図するようにさらに構成される、請求項2に記載のシステム。
5. 前記道路に関連する前記1つ以上の第1の特徴または第2の特徴が、道路要素の1つ以上の属性を含む、請求項1から4のいずれか一項に記載のシステム。
6. 前記1つ以上の第2の特徴が前記道路要素の算出サイズを含み、前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の前記第2の姿勢を判断するステップが、
   前記道路要素の基準サイズを取得するステップと、
   前記道路要素の前記算出サイズと前記道路要素の前記基準サイズとに基づいて前記第2の時点における前記対象物の前記第2の姿勢を判断するステップとを含む、請求項5に記載のシステム。
7. 前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の前記第2の姿勢を判断するステップが、
   少なくとも1対の整合済み特徴を生成するため、前記1つ以上の第1の特徴を前記1つ以上の第2の特徴と整合させるステップと、
   コスト関数に従って前記対象物の前記第2の姿勢を判断するステップであって、前記コスト関数のコスト尺度が前記少なくとも1対の整合済み特徴間の距離誤差を含む、ステップとを含む、請求項1から6のいずれか一項に記載のシステム。
8. 前記少なくとも1対の整合済み特徴が、第1の整合済み特徴と第2の整合済み特徴とを含み、前記少なくとも1対の整合済み特徴間の前記距離誤差が、前記第1の整合済み特徴に対応する第1の位置と前記第2の整合済み特徴に対応する第2の位置との差を含む、請求項7に記載のシステム。
9. 前記データベースが事前構築地図を含む、請求項1から8のいずれか一項に記載のシステム。
10. 少なくとも1つの記録媒体と少なくとも1つのプロセッサとを有する計算装置上で実施される方法であって、前記方法が、
    第1の時点における対象物の第1の姿勢を取得するステップと、
    道路に関連する1つ以上の第1の特徴をデータベースから取り出すステップであって、前記道路が前記第1の時点に前記第1の姿勢にある前記対象物によって視認可能である、ステップと、
    第2の時点に前記対象物によって撮影される画像を取得するステップと、
    前記道路に関連する1つ以上の第2の特徴を前記画像から抽出するステップと、
    前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の第2の姿勢を判断するステップとを含む、方法。
11. 前記第1の時点における前記対象物の前記第1の姿勢を取得するステップが、
    前記第1の時点における前記対象物の予備姿勢を判断するステップと、
    前記対象物の前記予備姿勢に基づいて、前記道路に関連する1つ以上の第3の特徴を前記データベースから取り出すステップと、
    前記第1の時点に前記対象物によって撮影される第2の画像を取得するステップと、
    前記道路に関連する1つ以上の第4の特徴を前記第2の画像から抽出するステップと、
    前記道路に関連する前記1つ以上の第3の特徴と前記道路に関連する前記1つ以上の第4の特徴とに基づいて、前記第1の時点における前記対象物の前記第1の姿勢を判断するステップとを含む、請求項10に記載の方法。
12. 前記第1の時点における前記対象物の第1の場所と前記第2の時点における前記対象物の第2の場所を判断するステップと、
    前記対象物の前記第1の場所と前記対象物の前記第2の場所との距離が第1の閾値以上である場合に、前記第2の時点に前記対象物によって撮影される前記画像がキーフレームであると判断するステップとを含む、
    請求項10または11に記載の方法。
13. 前記方法が、
    前記第2の時点に前記対象物によって撮影される前記画像と前記第1の時点に前記対象物によって撮影される前記第2の画像との一致スコアが第2の閾値を下回る場合に、前記第2の時点に前記対象物によって撮影される前記画像がキーフレームであると判断するステップをさらに含む、請求項11に記載の方法。
14. 前記道路に関連する前記1つ以上の第1の特徴または第2の特徴が、道路要素の1つ以上の属性を含む、請求項10から13のいずれか一項に記載の方法。
15. 前記1つ以上の第2の特徴が前記道路要素の算出サイズを含み、前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の前記第2の姿勢を判断するステップが、
    前記道路要素の基準サイズを取得するステップと、
    前記道路要素の前記算出サイズと前記道路要素の前記基準サイズとに基づいて前記第2の時点における前記対象物の前記第2の姿勢を判断するステップとを含む、請求項14に記載の方法。
16. 前記道路に関連する前記1つ以上の第1の特徴を前記道路に関連する前記1つ以上の第2の特徴に比較することに少なくとも基づいて、前記第2の時点における前記対象物の前記第2の姿勢を判断するステップが、
    少なくとも1対の整合済み特徴を生成するため、前記1つ以上の第1の特徴を前記1つ以上の第2の特徴と整合させるステップと、
    コスト関数に従って前記対象物の前記第2の姿勢を判断するステップであって、前記コスト関数のコスト尺度が前記少なくとも1対の整合済み特徴間の距離誤差を含む、ステップとを含む、請求項10から15のいずれか一項に記載の方法。
17. 前記少なくとも1対の整合済み特徴が、第1の整合済み特徴と第2の整合済み特徴とを含み、前記少なくとも1対の整合済み特徴間の前記距離誤差が、前記第1の整合済み特徴に対応する第1の位置と前記第2の整合済み特徴に対応する第2の位置との差を含む、請求項16に記載の方法。
18. 前記データベースが事前構築地図を含む、請求項10から17のいずれか一項に記載の方法。
19. 第1の時点における測位装置の姿勢と、第2の時点に撮影される画像とを取得するステップと、
    前記第1の時点における前記測位装置の前記姿勢に基づいて、前記画像の視野角範囲内にある第1の道路要素の1つ以上の属性を事前構築地図データベースから取得するステップと、
    前記第2の時点に撮影される前記画像から第2の道路要素の1つ以上の属性を抽出するステップと、
    前記第1の道路要素の前記1つ以上の属性を前記第2の道路要素の前記1つ以上の属性に比較することに基づいて、前記第2の時点における前記測位装置の姿勢を判断するステップと
    を含む、測位方法。
20. 前記第2の時点に撮影される前記画像がキーフレームであると判断するステップ
    をさらに含む、請求項19に記載の方法。
21. 前記第2の時点に撮影される前記画像がキーフレームであると判断する前記ステップが、
    前記測位装置の慣性測定装置によって取得される前記第1の時点から前記第2の時点までの前記測位装置の移動距離が第1の閾値以上である場合に、または前記第1の時点に撮影される画像と前記第2の時点に撮影される前記画像とで一致する画素の数が第2の閾値以下である場合に、前記第2の時点に撮影される前記画像をキーフレームと判断するステップを含む、請求項20に記載の方法。
22. 前記第1の道路要素の前記1つ以上の属性を前記第2の道路要素の前記1つ以上の属性に比較することに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断する前記ステップが、
    前記第1の道路要素の前記1つ以上の属性が前記第2の道路要素の前記1つ以上の属性と合致する場合に、前記第1の道路要素の三次元座標と前記画像内の前記第2の道路要素の二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するステップを含む、請求項19に記載の方法。
23. 前記第2の時点における前記測位装置の地理的位置を取得するステップ
    をさらに含み、
    前記第1の道路要素の前記三次元座標と前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断する前記ステップが、
    前記第2の時点における前記測位装置の前記地理的位置と、前記第1の道路要素の前記三次元座標と、前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するステップを含む、請求項22に記載の方法。
24. 前記画像内の前記第2の道路要素の前記二次元座標に基づいて前記第2の道路要素の算出サイズを割り出すステップ
    をさらに含み、
    前記第2の時点における前記測位装置の前記地理的位置と、前記第1の道路要素の前記三次元座標と、前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断する前記ステップが、
    前記第2の道路要素の基準サイズと、前記第2の道路要素の前記算出サイズと、前記第2の時点における前記測位装置の前記地理的位置と、前記第1の道路要素の前記三次元座標と、前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するステップを含む、請求項23に記載の方法。
25. 前記事前構築地図データベースが高精度地図データベースである、請求項19から24のいずれか一項に記載の方法。
26. 前記第1の道路要素の前記1つ以上の属性、または前記第2の道路要素の前記1つ以上の属性は、前記第1の道路要素または前記第2の道路要素のタイプ、色、規模、または相対位置関係を含む、請求項19から24のいずれか一項に記載の方法。
27. 前記第2の時点における前記測位装置の前記姿勢を出力するステップ
    をさらに含む、請求項19から24のいずれか一項に記載の方法。
28. 第1の時点における測位装置の姿勢と、第2の時点に撮影される画像とを取得するように構成された取得モジュールと、
    前記第1の時点における前記測位装置の前記姿勢に基づいて、前記画像の視野角範囲内にある第1の道路要素の1つ以上の属性を事前構築地図データベースから取得するように構成された取り出しモジュールと、
    前記第2の時点に撮影される前記画像から第2の道路要素の1つ以上の属性を抽出するように構成された抽出モジュールと、
    前記第1の道路要素の前記1つ以上の属性を第2の道路要素の前記1つ以上の属性に比較することに基づいて、前記第2の時点における前記測位装置の姿勢を判断するように構成された姿勢判断モジュールと
    を含む、測位機器。
29. 前記姿勢判断モジュールが、前記第2の時点に撮影される前記画像がキーフレームであると判断するように構成される、請求項28に記載の機器。
30. 前記姿勢判断モジュールが、
    前記測位装置の慣性測定装置によって取得される前記第1の時点から前記第2の時点までの前記測位装置の移動距離が第1の閾値以上である場合に、または前記第1の時点に撮影される画像と前記第2の時点に撮影される前記画像とで一致する画素の数が第2の閾値以下である場合に、前記第2の時点に撮影される前記画像がキーフレームであると判断するようにさらに構成される、請求項29に記載の機器。
31. 前記姿勢判断モジュールが、
    前記第1の道路要素の前記1つ以上の属性が前記第2の道路要素の前記1つ以上の属性と合致する場合に、前記第1の道路要素の三次元座標と前記画像内の前記第2の道路要素の二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するように構成される、請求項28に記載の機器。
32. 前記取得モジュールが、
    前記第2の時点における前記測位装置の地理的位置を取得するようにさらに構成され、
    前記姿勢判断モジュールが、
    前記第2の時点における前記測位装置の前記地理的位置と、前記第1の道路要素の前記三次元座標と、前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するようにさらに構成される、請求項31に記載の機器。
33. 前記姿勢判断モジュールが、
    前記画像内の前記第2の道路要素の前記二次元座標に基づいて前記第2の道路要素の算出サイズを割り出し、
    前記第2の道路要素の基準サイズと、前記第2の道路要素の前記算出サイズと、前記第2の時点における前記測位装置の前記地理的位置と、前記第1の道路要素の前記三次元座標と、前記画像内の前記第2の道路要素の前記二次元座標とに基づいて、前記第2の時点における前記測位装置の前記姿勢を判断するように構成される、請求項32に記載の機器。
34. 前記事前構築地図データベースが高精度地図データベースである、請求項28から33のいずれか一項に記載の機器。
35. 前記第1の道路要素の前記1つ以上の属性、または前記第2の道路要素の前記1つ以上の属性は、前記第1の道路要素または前記第2の道路要素のタイプ、色、規模、または相対位置関係を含む、請求項28から33のいずれか一項に記載の機器。
36. 前記姿勢判断モジュールが、前記第2の時点における前記測位装置の前記姿勢を出力するように構成される、請求項28から33のいずれか一項に記載の機器。

Images