JP6862409B2 - 地図生成及び移動主体の位置決めの方法及び装置 - Google Patents

Description

本発明の実施形態は、主に位置決め技術分野に関するもので、より具体的に、地図生成及び地図による移動主体の位置決めの方法及び装置に関するものである。

人々の日常生活の中で、移動主体（例えば、移動中の人、走行中の交通手段など）の位置を取得し、ナビケーション、交通状況情報の提供のような、位置によるサービス（例えば、運行）を提供するように、常に様々な移動主体に対して位置決めを行う必要がある。位置決めの精度が高いほど、提供するサービスは、ユーザのニーズをよりよく満足することができる。

一方、人工知能技術分野の発展に伴い、自律走行技術はすでに注目を受けて、ますます多くの研究機関や民間企業から自律走行技術への投資と配置を進めている。自律走行技術分野において、必要不可欠な一つの技術は、高精度の位置決めである。自律走行交通手段の量産生産を実現するために、どのように低コストの方法で高精度の位置決め結果を取得するのかとの問題が存在する。

本発明の例示的実施形態によれば、地図生成方法及び移動主体の位置決め方法を提供する。

本発明の第１の態様において、地図生成方法を提供する。この方法は、収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するステップであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の３次元情報を示すものである、ステップを含む。この方法は、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第１の要素を生成するステップをさらに含む。この方法は、前記画像と前記点群データに基づいて、第１の要素に対応する、前記地図の局部特徴層中の第２の要素を生成するステップをさらに含む。

本発明の第２の態様において、移動主体の位置決め方法を提供する。この方法は、前記移動主体の進行過程で収集された画像を取得するステップを含む。この方法は、前記画像が収集されるときの前記移動主体の位置データを取得するステップをさらに含む。この方法は、前記画像と、前記位置データと、請求項１から請求項４のうちいずれか１項の地図とに基づいて、前記移動主体の位置決めを確定するステップをさらに含む。

本発明の第３の態様において、地図生成装置を提供する。この装置は、収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び位置データとを取得するように構築された取得モジュールであって、前記位置データは、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記位置データは、前記画像の３次元情報を示すものである、取得モジュールと、前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第１の要素を生成するように構築された全域特徴層生成モジュールと、前記画像と前記点群データに基づいて、第１の要素に対応する、前記地図の局部特徴層中の第２の要素を生成するように構築された局部特徴層生成モジュールを含む。

本発明の第４の態様において、移動主体の位置決め装置を提供する。この装置は、前記移動主体の進行過程で収集された画像を取得するように構築された画像取得モジュールと、前記画像が収集されるときの前記移動主体の位置データを取得するように構築された位置取得モジュールと、前記画像と、前記位置データと、請求項１から請求項４のうちいずれか１項の地図とに基づいて、前記移動主体の位置決めを確定するように構築された位置決めモジュールを含む。

本発明の第５の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置を含む機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが本発明の第１の態様による方法を実現する機器を提供する。

本発明の第６の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置を含む機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが本発明の第２の態様による方法を実現する機器を提供する。

本発明の第７の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、本発明の第１の態様による方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

本発明の第８の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、本発明の第２の態様による方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

発明の内容の部分で説明した内容は、本願の実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本願の範囲を限定するためのものではないことを理解されたい。本願の他の特徴は、下の説明を介して容易に理解できるだろう。

以下の図面による非限定的な実施例についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。

図１は、本発明の複数の実施形態を実現可能な例示的な環境の概略図を示す。 図２は、本発明の実施形態による地図生成方法のフローチャートを示す。 図３は、本発明の実施形態に係る移動主体の位置決め方法のフローチャートを示す。 図４は、本発明の実施形態に係る移動主体の位置決め方法のフローチャートを示す。 図５は、本発明の実施形態に係る地図生成装置のブロック図を示す。 図６は、本発明の実施形態に係る移動主体の位置決め装置のブロック図を示す。 図７は、本発明の複数の実施形態を実施可能な計算装置のブロック図を示す。

以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本願を例示するためのものであり、限定するものとして解釈されるべきではない。本願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合に、本願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

本願の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」に理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるか、同じ対象物を示す可能性もある。以下、他の明確な定義と暗黙的定義を含める可能性もある。

前述したように、ユーザへより良好なロケーションベースのサービスを提供するために、正確な位置決めを行う必要がある。特に、自律走行技術分野では、相対的に低コストで車両の正確な自動位置決めを実現することはより重要である。

従来の位置決め方法は、一般的に、レーザー点群ベースの位置決め方法および画像ベースの位置決め方法に区分することができる。レーザー点群ベースの位置決め方法の利点は、位置決めの精度が高く、技術が相対的に成熟しているが、欠陥も非常に明確であり、コストが非常に高く、量産化を実現しにくい。画像ベースの位置決め方法は、コストが相対的に低く、量産化を実現しやすいが、その精度は高くなく、自律走行の要求を満足することができない。

本発明の実施形態によれば、地図ベースの移動主体の位置決め方法を提供する。この案は、レーザーレーダーの位置決めの精度が高い利点とカメラのコストが低い利点とを十分に利用する。この案は、主に２つの部分を含み、ここで、第１の部分は、オフラインでの画像の特徴層を備える地図を生成することであり、第２の部分は、オンラインで生成された地図を利用して、移動主体に対して位置決めを行うことである。

本発明の文脈において、用語「移動主体」は、例えば人、車両、または移動可能な他のデバイスのような移動可能な任意の主体である。本発明の実施形態において、移動主体に対して正確に位置決めを行うことができるため、移動主体は、画像データを収集することができるカメラ、例え、高精度カメラ、パノラマカメラ、モノカメラなどが装着されることができる。

本発明の文脈において、用語「収集主体」は、点群データ、画像データ、位置データ、および／またはその他の適切なデータを収集することができる主体である。収集主体は、例えば車両、人や移動可能な他のデバイスのような特定の移動主体であることができる。収集主体は、カメラ、位置センサおよび／またはレーザーレーダーなどの装置が装着されることができるが、移動主体は、カメラ、位置センサが装着され、レーザーレーダーが装着されなくてもよい。カメラは、高精度カメラ、パノラマカメラ、モノカメラなどであってもよい。位置センサは、ＧＰＳユニット、Ａ−ＧＰＳ（補助型ＧＰＳ）装置、ＳＰＡＮ−ＣＰＴ等であってもよい。レーザーレーダーは、単一ラインのレーザーレーダー、複数のラインのレーザーレーダー、３Ｄレーザーレーダー等であってもよい。

前記車両は、自律走行車および／または非自律走行車などを含むことができる。自律走行車は、無人走行車とも呼ばれ、部分的または全体的に自律走行操作を実行可能な車である。非自律走行車は、完全に人によって走行操作指令が提供される車両を指す。

本発明の実施形態において、収集主体と移動主体は、相互に関連するものであることは、技術分野の当業者により理解すべきである。例えば、データを収集する際に収集主体が移動状況であれば、このとき、収集主体は移動主体と見なされることができる。一方、移動主体に対して位置決めを行う場合に、移動主体が画像を収集してその画像に基づいて位置決めを行うと、この時点で、移動主体は、収集主体と見なされることができる。

地図生成過程では、カメラで収集した画像と位置センサで取得した位置情報を利用して、地図の全域特徴層を作成し、カメラにより収集された画像やレーザーレーダーにより取得された点群を利用して、地図の局部特徴層を生成する。全域特徴層では、大体の位置情報と画像の全域特徴を関連させ、局部の特徴層では、正確な３次元空間座標情報と、その画像の局部特徴とを関連させる。これにより、画像の全域特徴と局部特徴によって、大体の位置情報と正確な３次元情報を関連させる。

移動主体に対して位置決めを行う過程において、移動主体の進行過程で収集された画像と、その画像が収集されるときの移動主体の一つの大体の位置を用いて、生成された全域特徴層と局部特徴層を備える地図に基づいて、当該画像に関連する３次元空間座標情報を確定し、３次元空間座標情報に基づいて移動主体の位置をより正確に確定する。第１の部分で生成された高精度の地図に基づいて、移動主体は、画像を収集するためのカメラと、大体の位置を取得するための位置センサ（例えば、ＧＰＳデバイス）だけを備えれば、レーザーレーダーが完備されていなくても、リアルタイムの３次元情報を取得することができる。

以下の説明において、説明の便宜のために、本発明の下の実施形態は、車両を例に挙げて、各実施形態を説明する。しかしながら、本発明の方法は、同様の方法で他の種類の収集主体および／または移動主体に適用されることもできることを、その技術分野の当業者は理解すべきである。

以下、添付された図面を参照して、本発明の実施形態を具体的に説明する。

図１は、本発明の複数の実施形態を実現可能な例示的環境１００の概略図を示す。この例示的環境１００において、計算装置１２０によって地図１１０を生成し、当該地図１１０は、画像の特徴層を備える。地図１１０を生成するために、計算装置１２０は、まず、画像データ、位置データ、および点群データなどを収集する。収集主体（例えば、車両１４０）上に、既に同期された位置センサ、レーザーレーダーとカメラが設置される。データ収集のステップにおいて、カメラは、車両１４０の運行過程に画像を収集し、位置センサは、画像が収集されるときの車両１４０の位置を取得し、レーザーレーダーは、画像に関連する点群データを取得し、当該点群データは、その画像の３次元情報を示す。記憶装置１３０は、車両１４０の運行過程で収集した画像、画像が収集されるときの車両１４０の位置、及び画像に関連点群データなどを、これらを関連させる方法で記憶することができる。一部の実施形態において、記憶装置１３０は、地図１１０を記憶することもできる。

本発明のいくつかの実施形態において、カメラ、位置センサ、レーザーレーダーの周波数は、互いに異なる可能性があるので、位置センサで取得した位置は、画像が収集されるときの車両１４０の位置と必ず正確に対応し、レーザーレーダーに収集した点群データは、画像と必ずしも正確に対応するわけではない。そのために、収集した画像、位置、および点群間が対応するように、これらに対して補間などの操作を行うことができ、相互に対応する画像、位置、点群は関連して記憶装置１３０に記憶することができる。

計算装置１２０は、記憶装置１３０から、車１４０の進行過程で収集した画像、画像が収集されるときの車両１４０の位置を示す位置データ、及び画像の３次元情報を示す点群データを取得する。計算装置１２０は、画像と位置データに基づいて、地図の全域特徴層を生成する。計算装置１２０は、画像や点群データに基づいて、地図の局部特徴層も生成する。収集された各画像は、全域特徴層においてすべて一つの対応する全域要素を備え、収集された各画像は、局部特徴層においてすべて一つの対応する局部要素を備え、同じ画像の全域要素と局部要素は、相互に対応するものである。図２は、全域特徴層のうち１つの全域要素と局部特徴層のうち一つの局部要素をどのように生成するかを具体的に示し、以下に詳細に説明する。

この例示的環境１００において、計算装置１６０により移動主体（例えば、車両１５０）の位置決めを確定する。車両１５０には、カメラ（例えば、低コストの単眼カメラカメラ）と位置センサ（例えば、ＧＰＳデバイス）が設置される。計算装置１６０は、車両１５０の運行過程にカメラで収集した画像と、その画像が収集されるときの位置センサで取得した位置データを取得する。計算装置１６０は、取得した画像、位置データおよび計算装置１２０で生成した地図１１０に基づいて、車両１５０の位置決めを確定する。図３は、計算装置１６０がどのように車両１５０に対して位置決めを行うかどうかを具体的に示し、以下に詳細に説明する。

図１に車両１４０と車両１５０が異なる車両に図示されるが、これらは同じ車であってもよく、当該車両は地図を構築するのに使用することができるだけでなく、構築された地図を利用して位置決めを行うことができることを、その技術分野の当業者は理解すべきである。また、計算装置１６０と計算装置１２０は、異なる部材で図示されるが、これらは同じ部材であってもよく、同じ計算装置で地図生成と車両の位置決めの両者を完成してもよい。計算装置１６０は、車両１５０と分離されているもので図示れるが、計算装置１６０は、車両１５０の内部に位置することもできることを理解すべきである。

また、図１に示された各部材の数、構造、接続関係および配置はすべて例示的なものに過ぎず、限定的なものではなく、そのうちのいくつかの部材は、選択可能なものであり、当該技術分野の当業者は、本発明の範囲内で数、構造、接続関係および配置などの方面で調整することができることを理解すべきである。

以下、図２を組み合わせて、全域特徴層中の全域要素と局部特徴層中の局部要素の生成過程を具体的に説明する。図２は、本発明の実施形態による地図生成方法２００のフローチャートを示す。方法２００は、例えば図１中の計算装置１２０によって実行されることができる。

ブロック２０２において、計算装置１２０は、収集主体（例えば、車両１４０）の運行過程で収集した画像、当該画像に関連する位置データ、及び当該画像に関連する点群データを取得する。位置データは、その画像が収集されるときの車両１４０の位置を示し、点群データは、その画像の３次元情報（例えば、その画像の中の対象物の現実の世界での３次元座標）を示す。

本発明のいくつかの実施形態において、カメラは、車両１４０と関連して設定され、例えば車両１４０の上部、側面、前方車窓、後方車窓などの位置に設置され、車両１４０の運転手や乗客が携帯したカメラや撮像機能を備えた他のデバイス（例えば、携帯電話、タブレットＰＣなど）であってもよい。さらに、位置センサ（例えば、ＧＰＳデバイス）、及びレーザーレーダーは、すべてカメラと同期されるように設定することができる。一部の実施形態において、計算装置１２０は、カメラから収集した画像を取得することができ、ＧＰＳデバイスから対応するカメラと同期的に収集した車両１４０の位置データを取得することができ、レーザーレーダーから、カメラと同期的に収集された点群データを取得することができる。

ブロック２０４において、計算装置１２０は、取得した画像と位置データに基づいて、全域特徴層中の第１の要素（つまり、全域要素）を生成する。一部の実施形態において、計算装置１２０は、取得した画像の全域特徴を抽出する。画像の全域特徴は、画像の全体的属性、例えば、色、テクスチャ、形状、空間包絡などを表示する。本発明のいくつかの実施形態において、抽出された全域特徴は、画像の空間包絡である。その後の計算が便利するために、計算装置１２０は、抽出された全域特徴を一つの技術語（例えば、一定の次元のベクトル）で表示することができ、これは全域特徴技術語と呼ばれることもできる。計算装置１２０は、画像から抽出した全域特徴と画像が収集されるときの車両１４０の位置を関連させて、地図の全域特徴層のうち１つの全域要素を生成する。例えば、全域要素の形式は、｛全域特徴技術語、位置｝であることができる。

ブロック２０６において、計算装置１２０は、取得した画像と、点群データに基づいて、地図の局部特徴層中の第２の要素（つまり、局部要素）を生成する。一部の実施形態において、計算装置１２０は、画像の複数の局部特徴（例えば、Ｎ個）を抽出する。局部特徴は、画像の局部領域（例えば、画像の一つの画素の周囲の領域）の属性、例えば、エッジ、角点、線、曲線などを表示する。同様に、その後の計算が便利するために、計算装置１２０は、抽出された複数の局部特徴中の各局部特徴を一つの技術語を表示することができ、これは局部特徴技術語と呼ばれることもできる。

一部の実施形態において、計算装置１２０は、点群データから画像の各局部特徴に関連する３次元情報を抽出する。例えば、一つの局部特徴により反映されるのが、画像の中のピクセル（Ｘ、Ｙ）の周囲の局部領域の属性である場合、計算装置１２０は、点群データからピクセル（Ｘ、Ｙ）に対応する空間３次元座標を抽出する。計算装置１２０は、抽出された各局部特徴とその局部特徴に関連する３次元情報を関連させて、地図の局部特徴層の一つの局部要素を生成する。例えば、局部要素の形式は、｛（局部特徴技術語１、３次元情報１）、（局部特徴技術語２、３次元情報２）．．．．．（局部特徴技術語Ｎ、３次元情報Ｎ）｝であることができる。局部特徴層はレーザーレーダーにより収集された３次元情報を含むので、生成された地図の精度はさらに高くなる。

このように、一つの画像を対象にして、大体の位置情報を利用して、全域特徴層のうち１つの全域要素を作成し、点群データを利用して局部特徴層の一つの局部要素を生成することができる。同じ画像から生成された全域要素と局部要素は、相互に対応するものである。

記憶装置１３０に格納された各画像を対象にして、または後続的に地図を更新するために収集した他の画像を対象にして、図２に示された方法２００を繰り返すことにより、地図１１０の全域特徴層と局部特徴層を絶えず豊かにすることができる。生成された地図は、クラウドサーバ側に記憶されることができる。

生成された地図１１０において、全域特徴層では、画像の全域特徴と大体の位置情報を関連させ、局部特徴層では、画像の局部特徴と精密な３次元情報を関連させることで、画像の全域特徴と局部特徴を橋で、大体の位置情報と精密な３次元情報を関連させる。これらの地図を利用して、レーザーレーダーがインストールされていない車両に対して高精度の位置決めを行うこともできる。

以下、図３を組み合わせて、どのよう本発明の実施形態に係る生成された地図を利用して、車両のような移動主体に対して位置決めを行うかを説明する。図３は、本発明の実施形態に係る移動主体の位置決め方法３００のフローチャートを示す。方法３００は、図１に示された計算装置１６０によって実行されることができる。

ブロック３０２において、計算装置１６０は、移動主体（例えば、車両１５０）の運行過程で収集した画像を取得する。本発明のいくつかの実施形態において、計算装置１６０は、車両１５０の内部のカメラからの画像を取得することができる。

ブロック３０４において、計算装置１６０は、画像が収集されるときの車両１５０の位置データを取得する。例えば、計算装置１６０は、車両１５０の内部のＧＰＳデバイスから位置データを取得することができる。本発明のいくつかの実施形態において、カメラは、車両１５０と関連して設定され、例えば、車両１５０の上部、側面、前方車窓、後方車窓などの位置に設置され、車両１５０の運転手や乗客が携帯したカメラや撮像機能を備えた他のデバイス（例えば、携帯電話、タブレットＰＣなど）であってもよい。さらに、ＧＰＳデバイスは、カメラと同期されるように設定することができる。

ブロック３０６において、計算装置１６０は、取得した画像と、位置データと、本発明の実施形態に係る画像特徴層を備える地図とに基づいて、車両１５０の位置決めを確定する。本発明の実施形態に係る全域特徴層と局部特徴層を備える地図を利用して、車両１５０上に低コストのカメラとＧＰＳデバイスだけがインストールされば、高価なレーザーレーダーがインストールされてなくても、高精度の位置決めを実現することができる。図４は、さらにどのように画像、位置データ、及び画像特徴層を備える地図に基づいて、車両の位置決めを行うのかに対するより詳細なプロセスを示し、以下これに対する詳細に説明する。

選択可能に、計算リソースを節約するために、計算装置１６０は、まず、車両１５０から１つまたは複数の計画経路を取得し、続いて、クラウドサーバからその計画経路に関連する地図の一部をダウンロードすることができる。この方法により、計算装置１６０は、全体的な地図を利用する必要がなく、ただその地図の一部分だけを利用するので、コストの支出を節約し、処理効率と速度を向上させる。

図４は、本発明の一部の実施形態に係る移動主体の位置決め方法４００を示す。以下、図４を組み合わせて移動主体の位置決め過程を詳細に説明する。方法４００は、図１に示された計算装置１６０によって実行されることができる。

ブロック４０２において、計算装置１６０は、画像の全域特徴と局部特徴を抽出する。上述したように、全域特徴は、画像の全体的属性、例えば、画像の空間包絡を表示する。局部特徴は、画像の局部領域（つまり、画像の一部分）の属性を表示する。本発明のいくつかの実施形態において、計算装置１６０は、全域特徴技術語を利用して抽出した全域特徴を表示し、局部特徴技術語を利用して抽出した局部特徴を表示する。本発明のいくつかの実施形態において、抽出された局部特徴は、複数個であり、例えば、局部特徴１’乃至局部特徴Ｎ’である。

ブロック４０４において、計算装置１６０は、位置データに基づいて、全域特徴層から候補要素のセットを確定する。本発明のいくつかの実施形態において、計算装置１６０は、全域特徴層から候補要素のセットの中の候補要素として、全域要素に関連した場所と位置データにより表示される位置との間の距離が所定の閾値内に位置する全域要素を選択する。前記所定の閾値は、例えば、１００メートル、２００メートルなどである。

ブロック４０６において、計算装置１６０は、候補要素のセットから、画像から抽出した全域特徴に一致する全域マッチング要素を確定する。本発明のいくつかの実施形態において、計算装置１６０は、抽出された全域特徴と候補要素のセット中の各候補要素の全域特徴とを比較し、前記比較に基づいて、候補要素のセットから全域特徴にマッチングされる全域マッチング要素を確定する。

ブロック４０８において、計算装置１６０は、局部特徴層から全域マッチング要素に対応する局部マッチング要素を確定する。上述したように、全域マッチング要素に対応する局部マッチング要素は、Ｎ個のエントリを含むことができ、それぞれのエントリは、単一の局部特徴と相応する３次元情報とを備え、例えば、その形式は、｛（局部特徴技術語１、３次元情報１）、（局部特徴技術語２、３次元情報２）．．．（局部特徴技術語Ｎ、３次元情報Ｎ）｝であることができる。

ブロック４１０において、計算装置１６０は、局部マッチング要素に基づいて、画像から抽出した局部特徴に関連する３次元情報を確定する。具体的に、画像から抽出した複数の局部特徴中の各局部特徴Ｉ’（１’≦Ｉ’≦Ｎ’）に対して、計算装置１６０は、これを局部マッチング要素のＮ個の局部特徴のそれぞれと比較し、局部マッチング要素の局部特徴Ｉ’にマッチングされる局部マッチング特徴を確定する。また、局部特徴Ｉ’に関連する３次元情報として、局部マッチング特徴に関連する３次元情報を取得する。

ブロック４１２において、計算装置１６０は、確定した３次元情報に基づいて、移動主体の位置決めを確定する。本発明のいくつかの実施形態において、確定した３次元情報に基づいて、例えば、ＰＮＰ（ＰＥＲＳＰＥＣＴＩＶＥ−Ｎ−ＰＯＩＮＴ）アルゴリズムを使用して、カメラ姿に対して解を求めれて、移動主体の位置決めを確定する。

地図は全域特徴と局部特徴を介して大体の位置と精密な３次元座標を関連させるので、実際の位置決めのプロセスにおいて、車両１５０は、単にカメラ（例えば、単目カメラ）と位置センサ（例えば、ＧＰＳ）をインストールするだけで、高価な高精度のレーザーレーダーがインストールされてなくても、車両１５０の高精度の位置決めを実現することができる。

図５は、本発明の実施形態に係る地図生成装置５００のブロック図を示す。図５に示すように、装置５００は、収集主体の進行過程で収集した画像と、当該画像が収集されるときの収集主体の位置を示す画像に関連した位置データと、当該画像の３次元情報を示すその画像に関連する点群データを取得するように構築された取得モジュール５１０と、当該画像と当該位置データに基づいて、地図の全域特徴層中の第１の要素を生成するように構築された全域特徴層生成モジュール５２０と、当該画像と当該点群データに基づいて、第１の要素に対応する地図の局部特徴層中の第２の要素を生成するように構築された局部特徴層生成モジュール５３０を含む。

本発明のいくつかの実施形態において、取得モジュール５１０は、収集主体と関連して設定されたカメラにより収集された前記画像を取得するように構築された画像取得モジュールと、位置センサによりカメラに同期的に収集された収集主体の位置データを取得するように構築された位置取得モジュールと、レーザーレーダーによりカメラに同期的に収集された点群データを取得するように構築された点群取得モジュールを含む。

本発明のいくつかの実施形態において、全域特徴層の生成モジュール５２０は、画像の全体的属性を表示する画像の全域特徴を抽出するように構築された全域特徴抽出モジュールと、位置データと全域特徴を関連させて全域特徴層のうちの第１の要素を生成するように構築された関連付けモジュールを含む。

本発明のいくつかの実施形態において、局部特徴層の生成モジュール５３０は、画像の一部に関する属性を表示する画像の局部特徴を抽出するように構築された局部特徴抽出モジュールと、点群データから局部特徴に関連する３次元情報を抽出するように構築された３次元情報抽出モジュールと、局部特徴と３次元情報を関連させて局部特徴層中の第２の要素を生成するように構築された関連付けモジュールを含む。

図６は、本発明の実施形態に係る移動主体の位置決め装置６００のブロック図を示す。図６に示すように、装置６００には、移動主体の運行過程で収集した画像を取得するように構築された画像取得モジュール６１０と、当該画像が収集されるときの移動主体の位置データを取得するように構築された位置取得モジュール６２０と、当該画像、当該位置データ、及び本発明の実施形態に係る地図に基づいて、移動主体の位置決めを確定するように構築された位置決めモジュール６３０を含む。

本発明のいくつかの実施形態において、位置決めモジュール６３０は、画像の全体的属性を表示する画像の全域特徴と、画像の一部に関する属性を表示する画像の局部特徴とを抽出するように構築された特徴抽出モジュールと、移動主体の位置データに基づいて、地図の全域特徴層から候補要素のセットを確定するように構築された候補要素確定モジュールと、候補要素のセットから全域特徴にマッチングされる全域マッチング要素を確定するように構築された全域マッチング要素確定モジュールと、地図の局部特徴層から全域マッチング要素に対応する局部マッチング要素を確定するように構築された局部マッチング要素確定モジュールと、局部マッチング要素に基づいて、局部特徴に関連する３次元情報を確定するように構築された３次元情報確定モジュールと、前記３次元情報に基づいて、移動主体の位置決めを確定するように構築された位置決め確定モジュールを含む。

本発明のいくつかの実施形態において、装置６００には、移動主体の計画経路を取得するように構築された計画経路取得モジュールと、計画ルートに関連する地図をダウンロードするように構築された地図ダウンロードモジュールを含む。

本発明のいくつかの実施形態において、画像取得モジュール６１０は、移動主体に関連して設定されたカメラにより収集された画像を取得するように、さらに構築される。位置取得モジュール６２０は、位置センサによりカメラに同期的に収集された移動主体の位置データを取得するように、さらに構築される。

図７は、本願の複数の実施形態を実施することができる機器７００のブロック図を示す。機器７００は、図１の点コンピューティング機器１６０を実現するのに使用することができる。図示されたように、機器７００は、中央処理ユニット７０１（ＣＰＵ）を含み、ＣＰＵ７０１は、読み取り専用メモリ７０２（ＲＯＭ）に記憶されたコンピュータプログラム指令、または記憶ユニット７０８からランダムアクセスメモリ７０３（ＲＡＭ）にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。ＲＡＭ７０３には、機器７００の動作に必要な各種のプログラムやデータが記憶されることができる。ＣＰＵ７０１、ＲＯＭ７０２とＲＡＭ７０３、バス７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続される。

機器７００中のＩ／Ｏインタフェース７０５に接続されている複数の部品として、キーボード、マウスなどの入力ユニット７０６と、様々なタイプの表示装置、スピーカーなどの出力ユニット７０７と、磁気ディスク、コンパクトディスクなどの記憶ユニット７０８と、ＬＡＮカード、モデム、無線通信トランシーバなどの通信ユニット７０９が含まれる。通信ユニット７０９は、機器７００がインターネットなどのコンピュータネットワークおよび／または各種の電気通信網を介して他の機器と情報／データを交換することを可能にする。

中央処理ユニット７０１は、前述した各方法と処理、例えば、プロセス２００、３００および／またはプロセス４００を実行する。例えば、いくつかの実施形態において、プロセス２００、３００および／またはプロセス４００は、コンピュータソフトウェアプログラムとして実現されることができ、これは機械可読媒体（例えば、記憶ユニット７０８）に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ＲＯＭ７０２、および／または通信ユニット７０９を経由して機器７００上にロードおよび／またはインストールすることができる。コンピュータプログラムは、ＲＡＭ７０３にロードされてＣＰＵ７０１により実行される場合、前述したプロセス２００、３００および／またはプロセス４００の１つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、ＣＰＵ７０１は、ギターの任意の適切な方法で（例えば、ファームウェアの助けを借りて）プロセス２００、３００および／またはプロセス４００を実行するように構築することができる。

本明細書に説明されて複数の機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップシステム（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含むが、これに限定されない。

本願の方法を実施するためのプログラムコードは、１つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および／またはブロック図に規定された機能／操作が実施される。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして部分的に機械上で実行されて、部分的にリモートマシン上で実行されたり、または完全にリモートマシンまたはサービスで実行されることができる。

本願の文脈において、機械可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であることができる。機械可読媒体は、電子、磁気、光学、電磁、赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のワイヤベースの電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去およびプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学ストレージ装置、磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

また、特定の順序を利用して、各操作ウルルル説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求したり、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスクと並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本願の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現のコンテキストで説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

構造の特徴および／または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に限定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的形式である。

Claims (24)

1. 地図生成方法であって、
   収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び点群データとを取得するステップであって、前記位置データは、ＧＰＳデバイスにより収集され、前記画像が収集されるときの前記収集主体の大体の位置を示すものであり、前記点群データは、前記画像の３次元情報を示すものである、ステップと、
   前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第１の要素を生成するステップと、
   前記画像と前記点群データに基づいて、第１の要素に対応する、前記地図の局部特徴層中の第２の要素を生成するステップと
   を含む地図生成方法。
2. 請求項１において、
   前記画像と、前記位置データ及び前記点群データを取得するステップは、
   前記収集主体に関連して設定されたカメラにより収集された前記画像を取得するステップと、
   ＧＰＳデバイスにより前記カメラに同期的に収集された前記収集主体の位置データを取得するステップと、
   レーザーレーダーにより前記カメラに同期的に収集された前記点群データを取得するステップとを含む、地図生成方法。
3. 請求項１において、
   前記全域特徴層中の第１の要素を生成するステップは、
   前記画像の全体的属性を表示する前記画像の全域特徴を抽出するステップと、
   前記位置データと前記全域特徴を関連させて前記第１の要素を生成するステップと
   を含む、地図生成方法。
4. 請求項１において、
   前記局部特徴層中の第２の要素を生成するステップは、
   前記画像の一部に関する属性を表示する前記画像の局部特徴を抽出するステップと、
   前記点群データから前記局部特徴に関連する３次元情報を抽出するステップと、
   前記局部特徴と前記３次元情報を関連させて前記第２の要素を生成するステップと
   を含む、地図生成方法。
5. 移動主体の位置決め方法であって、
   前記移動主体の進行過程で収集された画像を取得するステップと、
   前記画像が収集されるときの前記移動主体の位置データを取得するステップと、
   前記画像と、前記位置データと、請求項１から請求項４のうちいずれか１項の地図とに基づいて、前記移動主体の位置決めを確定するステップと
   を含む、移動主体の位置決め方法。
6. 請求項５において、
   前記移動主体の位置決めを確定するステップは、
   前記画像の全体的属性を表示する前記画像の全域特徴と、前記画像の一部に関する属性を表示する前記画像の局部特徴とを抽出するステップと、
   前記移動主体の位置データに基づいて、前記地図の全域特徴層から候補要素のセットを確定するステップと、
   前記候補要素のセットから、前記全域特徴にマッチングされる全域マッチング要素を確定するステップと、
   前記地図の局部特徴層から、前記全域マッチング要素に対応する局部マッチング要素を確定するステップと、
   前記局部マッチング要素に基づいて、前記局部特徴に関連する３次元情報を確定するステップと、
   前記３次元情報に基づいて、前記移動主体の位置決めを確定するステップと
   を含む、移動主体の位置決め方法。
7. 請求項５において、
   前記移動主体の計画経路を取得するステップと、
   前記計画経路に関連する前記地図をダウンロードするステップと
   をさらに含む移動主体の位置決め方法。
8. 請求項５において、
   前記画像を取得するステップは、
   前記移動主体に関連して設定されたカメラにより収集された前記画像を取得するステップを含む、移動主体の位置決め方法。
9. 請求項８において、
   前記移動主体の位置データを取得するステップは、
   ＧＰＳデバイスにより前記カメラに同期的に収集された前記移動主体の位置データを取得するステップを含む、移動主体の位置決め方法。
10. 地図生成装置であって、
    収集主体の進行過程で収集された画像と、前記画像に関連する位置データ及び点群データとを取得するように構築された取得モジュールであって、前記位置データは、ＧＰＳデバイスにより収集され、前記画像が収集されるときの前記収集主体の位置を示すものであり、前記点群データは、前記画像の３次元情報を示すものである、取得モジュールと、
    前記画像と前記位置データに基づいて、前記地図の全域特徴層中の第１の要素を生成するように構築された全域特徴層生成モジュールと、
    前記画像と前記点群データに基づいて、第１の要素に対応する、前記地図の局部特徴層中の第２の要素を生成するように構築された局部特徴層生成モジュールと
    を含む地図生成装置。
11. 請求項１０において、
    前記取得モジュールは、
    前記収集主体と関連して設定されたカメラにより収集された前記画像を取得するように構築された画像取得モジュールと、
    ＧＰＳデバイスにより前記カメラに同期的に収集された前記収集主体の位置データを取得するように構築された位置取得モジュールと、
    レーザーレーダーにより前記カメラに同期的に収集された前記収集主体の点群データを取得するように構築された点群取得モジュールと
    を含む、地図生成装置。
12. 請求項１０において、
    前記全域特徴層生成モジュールは、
    前記画像の全体的属性を表示する前記画像の全域特徴を抽出するように構築された全域特徴抽出モジュールと、
    前記位置データと前記全域特徴を関連させて前記第１の要素を生成するように構築された関連付けモジュールと
    を含む、地図生成装置。
13. 請求項１０において、
    前記局部特徴層生成モジュールは、
    前記画像の一部に関する属性を表示する前記画像の局部特徴を抽出するように構築された局部特徴抽出モジュールと、
    前記点群データから前記局部特徴に関連する３次元情報を抽出するように構築された３次元情報抽出モジュールと、
    前記局部特徴と前記３次元情報を関連させて前記第２の要素を生成するように構築された関連付けモジュールと
    を含む、地図生成装置。
14. 移動主体の位置決め装置であって、
    前記移動主体の進行過程で収集された画像を取得するように構築された画像取得モジュールと、
    前記画像が収集されるときの前記移動主体の位置データを取得するように構築された位置取得モジュールと、
    前記画像と、前記位置データと、請求項１から請求項４のうちいずれか１項の地図とに基づいて、前記移動主体の位置決めを確定するように構築された位置決めモジュールと
    を含む、移動主体の位置決め装置。
15. 請求項１４において、
    前記位置決めモジュールは、
    前記画像の全体的属性を表示する前記画像の全域特徴と、前記画像の一部に関する属性を表示する前記画像の局部特徴とを抽出するように構築された特徴抽出モジュールと、
    前記移動主体の位置データに基づいて、前記地図の全域特徴層から候補要素のセットを確定するように構築された候補要素確定モジュールと、
    前記候補要素のセットから、前記全域特徴にマッチングされる全域マッチング要素を確定するように構築された全域マッチング要素確定モジュールと、
    前記地図の局部特徴層から、前記全域マッチング要素に対応する局部マッチング要素を確定するように構築された局部マッチング要素確定モジュールと、
    前記局部マッチング要素に基づいて、前記局部特徴に関連する３次元情報を確定するように構築された３次元情報確定モジュールと、
    前記３次元情報に基づいて、前記移動主体の位置決めを確定するように構築された位置決め確定モジュールと
    を含む、移動主体の位置決め装置。
16. 請求項１４において、
    前記移動主体の計画経路を取得するように構築された計画経路取得モジュールと、
    前記計画経路に関連する前記地図をダウンロードするように構築された地図ダウンロードモジュールと
    をさらに含む、移動主体の位置決め装置。
17. 請求項１４において、
    前記画像取得モジュールは、
    前記移動主体に関連して設定されたカメラにより収集された前記画像を取得するように、さらに構築される、移動主体の位置決め装置。
18. 請求項１７において、
    前記位置取得モジュールは、
    ＧＰＳデバイスにより前記カメラに同期的に収集された前記移動主体の位置データを取得するようにさらに構築される、移動主体の位置決め装置。
19. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを格納するための記憶装置と、を含む機器であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項１から請求項４のうちいずれか１項の方法を実現する機器。
20. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを格納するための記憶装置と、を含む機器であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項５から請求項９のうちいずれか１項の方法を実現する機器。
21. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から請求項４のうちいずれか１項の方法を実現するコンピュータ読み取り可能な記憶媒体。
22. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項５から請求項９のうちいずれか１項の方法を実現するコンピュータ読み取り可能な記憶媒体。
23. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１から請求項４のうちいずれか１項の方法を実現させるコンピュータプログラム。
24. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項５から請求項９のうちいずれか１項の方法を実現させるコンピュータプログラム。

Images