JP2017509939A - 疎及び密マッピング情報を含むマップを生成するための方法及びシステム - Google Patents
疎及び密マッピング情報を含むマップを生成するための方法及びシステム Download PDFInfo
- Publication number
- JP2017509939A JP2017509939A JP2016544412A JP2016544412A JP2017509939A JP 2017509939 A JP2017509939 A JP 2017509939A JP 2016544412 A JP2016544412 A JP 2016544412A JP 2016544412 A JP2016544412 A JP 2016544412A JP 2017509939 A JP2017509939 A JP 2017509939A
- Authority
- JP
- Japan
- Prior art keywords
- environment
- computing device
- map
- data
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
- G01S11/026—Systems for determining distance or velocity not using reflection or reradiation using radio waves using moving transmitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Traffic Control Systems (AREA)
Abstract
マップ生成方法及びシステムが記載される。コンピューティング装置は、環境中の前記装置の位置で複数のセンサから、その第1の位置における環境の複数の視覚的特徴に対応するデータを含み得る出力を受信する。コンピューティング装置は、複数のセンサからの出力の対応関係に基づき、複数の視覚的特徴に対応するデータを備える疎マッピングデータを含めた環境のマップを生成する。その装置は、その環境内において装置が別の位置にあるときに追加の出力を受信し、その追加の出力に基づきマップを修正する。また、その装置は、センサからの密マッピング情報の受信に基づきマップを修正する。その密マッピング情報は、環境内の物体の構造を表すような方法で環境内の物体に対応するデータを含む。
Description
この背景欄に記述した事項は、特に指示がない限り、本願の特許請求の範囲に対する従来技術ではなく、また、この背景欄に含めることによって従来技術であると認めるものでもない。
マップは、ある地域の視覚的表現として存在し得るものであり、その視覚的表現は、物体、地域、及びテーマ等のその空間にある要素間の関係性を強調し得る。典型的には、マップは、3次元(3D)空間の幾何学的に正確な表現であり得る静的な2次元(2D)フォーマットで情報を提示するものである。マップは、部屋、建物、近隣地域等を図示するように構成され得る。同様に、マップは、そのマップ内に包含される情報の量にも幅を持ち得る。
本願は、疎及び密マッピング情報を含むマップを生成するための方法及びシステムに関する実施形態を開示する。
一態様では、例示方法が記載されており、その方法は、複数のセンサとともに構成された装置によって実行され得る。その方法は、環境内においてその装置が第1の位置にあるときに前記複数のセンサから1つまたは複数の出力を受信することを備えることができ、当該1つまたは複数の出力は、前記第1の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む。この方法は、前記複数のセンサの前記1つまたは複数の出力における対応関係に基づき、前記第1のデータセットを示す疎マッピングデータを含む環境マップを生成することを更に備え得る。この方法は、前記環境内において前記装置が第2の位置にあるときに前記複数のセンサからの1つまたは複数の追加出力を受信することを備えることができ、当該1つまたは複数の追加出力は、前記第2の位置に関連付けられた、前記環境の1以上の視覚的特徴に対応する第2のデータセットを含む。この方法は、前記第2のデータセットを示す前記疎マッピングデータを備えるように前記環境の前記マップを修正することを更に備え得る。この方法は更に、前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの1以上を介して受信することを追加で備えることができる。この方法は、前記密マッピング情報を備えるように前記環境の前記マップを修正することも含み得る。
一態様では、例示方法が記載されており、その方法は、複数のセンサとともに構成された装置によって実行され得る。その方法は、環境内においてその装置が第1の位置にあるときに前記複数のセンサから1つまたは複数の出力を受信することを備えることができ、当該1つまたは複数の出力は、前記第1の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む。この方法は、前記複数のセンサの前記1つまたは複数の出力における対応関係に基づき、前記第1のデータセットを示す疎マッピングデータを含む環境マップを生成することを更に備え得る。この方法は、前記環境内において前記装置が第2の位置にあるときに前記複数のセンサからの1つまたは複数の追加出力を受信することを備えることができ、当該1つまたは複数の追加出力は、前記第2の位置に関連付けられた、前記環境の1以上の視覚的特徴に対応する第2のデータセットを含む。この方法は、前記第2のデータセットを示す前記疎マッピングデータを備えるように前記環境の前記マップを修正することを更に備え得る。この方法は更に、前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの1以上を介して受信することを追加で備えることができる。この方法は、前記密マッピング情報を備えるように前記環境の前記マップを修正することも含み得る。
別の態様では、コンピューティング装置によって実行されると前記コンピューティング装置に複数の機能を実行させる指令を格納した非一時的なコンピュータ可読媒体。複数の機能は、環境内において前記装置が第1の位置にあるときに複数のセンサの出力を受信することを含むことができ、その1つまたは複数の出力は、第1の位置に関連付けられた、環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含むことができる。複数の機能は、複数のセンサの1つまたは複数の出力の対応関係に基づき、第1のデータセットを示す疎マッピングデータを含む環境のマップを生成することを更に含むことができる。複数の機能は、環境内において装置が第2の位置にあるときに、複数のセンサの1つまたは複数の追加の出力を受信することも含むことができ、その追加の出力は、第2の位置に関連付けられた、環境の1つまたは複数の視覚的特徴に対応する第2のデータセットを含む。複数の機能は、第2のデータセットを示す疎マッピングデータを更に備えるように環境のマップを修正することを更に含むことができる。複数の機能は、複数のセンサの1以上を介して密マッピング情報を受信することを追加で含むことができ、この密マッピング情報は環境内の物体の相対構造を表す方法で環境内の物体に対応するデータを備える。複数の機能は、密マッピング情報を備えるように環境のマップを修正することも含むことができる。
更なる態様では、システムが提供され、そのシステムは、少なくとも一つのプロセッサと、複数のセンサと、少なくとも一つのプロセッサによって実行されると前記システムに複数の機能を実行させる指令を格納したメモリとを備える。複数の機能は、環境内において装置が第1の位置にあるときに複数のセンサの1つまたは複数の出力を受信することを含むことができ、1つまたは複数の出力は、第1の位置に関連付けられた、環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む。複数の機能は、複数のセンサの1つまたは複数の出力の対応関係に基づき、第1のデータセットを示す疎マッピングデータを含む環境のマップを生成することを更に含むことができる。複数の機能は、環境内において装置が第2の位置にあるときに、複数のセンサの1つまたは複数の追加の出力を受信することを更に含むことができ、1つまたは複数の追加の出力は、第2の位置に関連付けられた、環境の1つまたは複数の視覚的特徴に対応する第2のデータセットを含む。複数の機能は、第2のデータセットを示す疎マッピングデータを更に備えるように環境のマップを修正することを更に含むことができる。複数の機能は、複数のセンサの1以上を介して密マッピング情報を受信することを追加で含むことができ、密マッピング情報は、環境内の物体の相対構造を表す方法で環境内の物体に対応するデータを備える。複数の機能は、密マッピング情報を備えるように環境のマップを修正すること更に含むことができる。
上述した概要は、例示のみであり、何ら限定を意図していない。図面及び後述する詳細な説明を参照することによって、上述した例示態様、例示実施形態、及び例示特徴に加え、更なる態様、更なる実施形態、及び更なる特徴が明らかになるであろう。
以下の詳細な説明は添付の図面を参照しながら本開示のシステム及び方法の様々な特徴と機能を記述する。図面では、本文中に反対の指示がない限り、同様の参照符号は同様の構成要素を特定する。本明細書で説明した例示のシステム及び方法の実施形態は、限定を意図したものではない。本開示のシステム及び方法の特定の局面は、広範な異なる構成で編成及び組み合わせられ得ることは容易に理解することができ、それら全て本開示に企図される。
複数の実施例において、モバイル装置等のコンピューディング装置は、その装置の環境に対応する情報をキャプチャするように構成された複数のセンサを含み得る。当該複数のセンサによってキャプチャされた環境情報に基づき、コンピューティング装置はその環境マップを作成するように構成され得る。特に、コンピューティング装置は、様々な方法及び/またはシステムを利用してマップを生成することができ、それら方法及び/またはシステムは、環境内の基本的な視覚的特徴に基づく疎マッピング(sparse mapping)を包含するようにマップを生成し、環境内の物体の構造及び/または他のパラメータに対応するデータを提供する密マッピング情報(dense mapping information)を更に含むように、疎マッピング付きの生成済みマップを修正し得る。コンピューティング装置は、そのマップを、対応関係閾値(correspondence threshold)を満たす、複数のセンサからの出力に基づき修正してよく、特徴マッチング解析及び/または他の対応関係測定方法の使用を含むことができる。
いくつかの実装例では、コンピューティング装置は、環境における装置の第1の位置または初期位置に基づき複数のセンサの出力を受信することを含み得る方法を実行し得る。受信した出力は、第1の位置における環境の視覚的特徴に対応するデータを提供し得る。視覚的特徴は、コンピューティング装置が位置及び/または向き(orientation)を変更するときにコンピューティング装置の複数のセンサが追跡できる、環境の目立つ特徴でありえる。例えば、複数のセンサは、環境内の壁/建物のコーナー、物体のエッジ、及び、他の目立つ特徴を検知及び追跡し得る。
多数センサの複数の出力における対応関係(correspondence)に基づき、コンピューティング装置は、第1の位置での環境の視覚的特徴から得られたデータを含み得る疎マッピングを生成し得る。コンピューティング装置は、複数のセンサの出力間の対応関係を判定して、キャプチャした情報の精度を確保するように構成され得る(例えば、センサが校正されていることを検証)。同様に、コンピューティング装置は、コンピューティング装置が複数のセンサの出力を使用すべきかの判定のために、複数のセンサで異なる種類の対応関係を使用し得る。例えば、コンピューティング装置は、多数のセンサの出力が環境内の同じ特徴に関連する情報を提供するかどうかの判定のために、いくつかのフォーマットの特徴マッチングを使用し得る。
また、コンピューティング装置は、複数のセンサの出力間の対応関係の判定に関連付けられた閾値の様々な度合を使用し得る。例えば、コンピューティング装置は、センサによってキャプチャされた画像内での特徴マッチングに関する閾値量を要求し得る。同様に、コンピューティング装置は、例によって異なり得る所定の閾値を超える対応関係を判定するために、コンピュータビジョン技術.に関連付けられた特徴追跡を使用し得る。コンピューティング装置は、閾値の種類及び/または様々なセンサがどれほど最近校正されたか等に基づき、異なる対応関係閾値を要求するように構成され得る。
より多くの情報を網羅すべく疎マッピングを更に作成するために、装置が環境内の第2の位置に位置するときに、装置は追加のセンサ出力を受信し得る。特に、センサは、例えば装置が第1の位置とはわずかに異なるかまたは大きく異なる位置であり得る新たな位置に位置するときに、新たな情報をキャプチャし得る。同様に、センサは、第1の位置と同じであり得る第2の位置において、新たな情報をキャプチャし得る。いくつかの例では、コンピューティング装置は、装置が環境内で位置及び/または向きを変更すると、センサ出力を連続的に受信し得る。
その追加のセンサ出力は、第2の位置における環境の視覚的特徴に対応するデータをコンピューティング装置に提供し得る。いくつかの例では、装置は第2の位置において、第1の位置のものと同じ視覚的特徴をキャプチャし得る(例えば、装置が位置間をわずかに移動した場合)。その結果、環境内での視覚的特徴の追跡は、コンピューティング装置が当該コンピューティング装置の位置を判定できるようにしてもよく、このことはコンピューティング装置の疎マッピングデータの作成にも貢献し得る。例えば、装置は、疎マッピングデータを修正して、第2の位置での視覚的特徴に対応するデータを含めることができる。視覚的特徴が互いに重なる場合には、コンピューティング装置は、データを統合(aggregate)してマップを作成してもよく、あるいは、より最近に受信した情報を選択してマップに含めるといった別の方法でデータをフィルタし得る。
また、コンピューティング装置は、密マッピング情報を含めるように疎マッピングを立体形状化すること(configuring)を通して疎マッピングを更に作成し得る。例として、コンピューティング装置は、例えば奥行きカメラ(depth cameras)及び立体照明ユニット(structured light unit)等のセンサから密マッピング情報を受信し得る。この密マッピング情報は、環境内の物体の構造をキャプチャ及び表すデータを含み得る。密マッピングは、例えば疎マッピングが含んでいない、環境内における物体についての詳細をキャプチャし得る。コンピューティング装置は、そのマップ(例えば疎マッピング)を修正して、密マッピング情報を含め得る。
一実装例では、コンピューティング装置は、3D環境についての多数表現を作成することができ、それらはマップフォーマットに組み込まれ得る。特に、コンピューティング装置は、コンピューティング装置の移動に伴い装置センサによってキャプチャされ得る疎マッピングデータで構成される第1レベルを作成し得る。疎マッピングデータを含む第1レベルは、データポイントの骨格として存在し得るが、部屋及び/または物体に対応するものとして認識可能でなくてよい。むしろ、疎マッピングデータは、コンピューティング装置が位置を変更したときに環境内で追跡される視覚的特徴の概略に対応するデータポイントを提供し得る。
また、この実装例のコンピューティング装置は、疎マッピングデータで構成される第1レベルとともに構成される、追加レイヤを作成し得る。追加レイヤは、環境の密表現(dense representation)を提供するデータポイントを含み得る。例えば、密表現の1次供給源は、立体照明センサによってコンピューティング装置が取得した奥行きデータに対応し得る。例えば、コンピューティング装置は、コンピューティング装置に奥行き画像(depth images)を提供し得る奥行きカメラの使用を通じて奥行きデータ(depth data)を取得し得る。コンピューティング装置は、奥行き画像においてキャプチャされた環境の3Dジオメトリを、再構成ソフトウェア及び/または再構成処理を用いて再構成し得る。
更に、コンピューティング装置は、推定軌跡情報を使用して、複数の環境の複数の3Dセグメントを、例えば、マップフォーマットで存在し得るグローバルオブジェクトへと構成し得る。特に、コンピューティング装置は、環境の様々なセグメントをセンサを用いてキャプチャするように位置変更でき、それら様々なセグメントをグローバルマップに構成し得る。いくつかの例では、コンピューティング装置は、センサから受信した奥行きデータが不要ノイズを示すかどうかを判定するように構成され得る。コンピューティング装置は、ノイズに対応する奥行きデータを除去し得る。同様に、コンピューティング装置は、様々な向き及び/または様々な位置からの多数の奥行き画像を統合してノイズに対応する奥行きデータの使用量を低減し得る。
更なる局面では、コンピューティング装置は、他のデバイス及び/または他のサーバ(例えばクラウドネットワーク)に対し、マップデータを送信及び/または受信し得る。複数の実施例では、コンピューティング装置は、疎マッピング情報、密マッピング情報、及び/または組合せを、他のエンティティに対して供給または受信し得る。特に、コンピューティング装置は、当該コンピューティング装置がマップデータを実際にキャプチャしていない環境に対応するマップデータを受信し得る。クラウドネットワーク及び/または他のデバイスは、コンピューディング装置がそのマップを修正及び/または更新するのに使用し得る新たなマップデータを提供し得る。そのような例では、コンピューティング装置は、特定の環境を事前に訪れていなくても、マップデータを用いてその位置を判定可能であり得る。コンピューティング装置は、その位置を判定するために、様々な技術、及び/または、センサからの出力及び/または生成マップ等の様々なデータを使用し得る。
先に示したように、クラウド(例えば、サーバ)は、デバイスからマップデータを受信してよく、クラウドはコンピューティング装置によるアクセスのためにそのマップデータをメモリに格納し得る。一実装例では、クラウドは多数のデバイスからのマップデータを統合して大規模マップまたは多数マップを生成または更新してよく、クラウドは当該マップを複数のコンピューティング装置と共有する。クラウド上の当該マップは、何個であってもよいデバイスから供給された情報を含んでよく、デバイスから新たなマップデータの受信を通して連続的に更新され得る。
さて図面を参照すると、図1は例示のコンピューティング装置100を示す。いくつかの例では、図1に示した構成要素は多数のコンピューティング装置にわたって分配されることがある。しかしながら、例示目的のため、それらの構成要素は、一つの例示コンピューディング装置100の一部として示され説明される。コンピューティング装置100は、携帯電話等のモバイル装置、デスクトップコンピュータ、ラップトップコンピュータ、電子メール/メッセージングデバイス、タブレットコンピュータ、または本明細書で述べる機能を実行するように構成され得る他のデバイスであってよく、あるいは、そうしたデバイスを含み得る。一般には、コンピューディング装置100は、本明細書で述べる方法及び機能に従ってデータを送受信するように構成される、どのような種類のコンピューティング装置または送受信機であり得る。
コンピューティング装置100は、インターフェース102、ワイヤレス通信コンポーネント104、セルラー無線通信コンポーネント106、グローバルポジショニングシステム(GPS)受信機108、一以上のセンサ110、データストレージ112、及び一以上のプロセッサ114を備える。図1中のコンポーネントは、通信リンク116によってリンクされ得る。コンピューティング装置100は、当該コンピューティング装置100内での通信、及びコンピューティング装置100と、サーバエンティティ等の図示しない他の複数のコンピューティング装置との通信を可能にするハードウェアを含み得る。このハードウェアは、例えば、送信機、受信機、及びアンテナを含むことができる。
インターフェース102は、コンピューティング装置100がサーバ等の図示しない他の複数のコンピューティング装置と通信するように構成され得る。したがって、インターフェース102は一以上のコンピューティング装置から入力データを受信するように構成されてよく、また、一以上のコンピューティング装置に出力データを送信するように構成され得る。インターフェース102は、有線通信プロトコルまたは無線通信プロトコルに従って機能するように構成され得る。いくつかの例では、インターフェース102は、一以上のディスプレイ及び/または他のいかなる出力通信用要素とともに、ボタン、キーボード、タッチスクリーン、スピーカ118、マイクロフォン120、及び/または入力受信用のいかなる他の要素を含み得る。
ワイヤレス通信コンポーネント104は、コンピューティング装置100に対し一以上の無線通信規格に従う無線データ通信を円滑にするように構成される通信インターフェースであり得る。例えば、ワイヤレス通信コンポーネント104は、一以上のIEEE802.11規格に従う無線データ通信を円滑にするように構成されるWi−Fi通信コンポーネントを含み得る。別の例としては、ワイヤレス通信コンポーネント104は、一以上のBluetooth(登録商標)規格に従う無線データ通信を円滑にするように構成されるBluetooth(登録商標)通信コンポーネントを含み得る。その他の例も可能である。
セルラー無線通信コンポーネント106は、ネットワークにモバイル接続すべくセルラー無線基地局とのワイヤレス通信(音声及び/またはデータ)を円滑にするように構成される通信インターフェースであり得る。セルラー無線通信コンポーネント106は、例えばコンピューディング装置100が位置しているセルの基地局と接続するように構成され得る。
GPS受信機108はGPS衛星によって送信される信号を正確に計時することによってコンピューティング装置100の位置を推定するように構成され得る。
センサ110は一以上のセンサを含むかまたはコンピューティング装置100内に含まれる一以上のセンサを表し得る。例示のセンサは、加速度計、ジャイロスコープ、歩数計、光センサ、マイクロフォン、カメラ、赤外線フラッシュ、気圧計、磁力計、GPS、Wi−Fi、近距離無線通信(NFC)、Bluetooth(登録商標)、プロジェクタ、奥行きセンサ、温度センサ、または他の位置及び/またはコンテキスト認識センサを含む。
センサ110は一以上のセンサを含むかまたはコンピューティング装置100内に含まれる一以上のセンサを表し得る。例示のセンサは、加速度計、ジャイロスコープ、歩数計、光センサ、マイクロフォン、カメラ、赤外線フラッシュ、気圧計、磁力計、GPS、Wi−Fi、近距離無線通信(NFC)、Bluetooth(登録商標)、プロジェクタ、奥行きセンサ、温度センサ、または他の位置及び/またはコンテキスト認識センサを含む。
データストレージ112は、プロセッサ114によってアクセス及び実行可能なプログラムロジック122を記憶し得る。データストレージ112は、センサ110によって収集されたデータ、あるいは、ワイヤレス通信コンポーネント104、セルラー無線通信コンポーネント106、及びGPS受信機108のいずれかによって収集されたデータを記憶し得る。
プロセッサ114は、センサ110のいずれかによって収集されたデータを受信し、そのデータに基づいて任意数の機能を実行するように構成され得る。一例として、プロセッサ114は、ワイヤレス通信コンポーネント104、セルラー無線通信コンポーネント106、またはGPS受信機108等の1以上の位置判定コンポーネントを使用してコンピューティング装置100の1つまたは複数の地理的位置推定値を決定するように構成され得る。プロセッサ114は、コンピューティング装置100の無線範囲内の1つまたは複数の既知の無線アクセスポイントの存在及び/または位置に基づいて、コンピューティング装置100の位置を判定する位置判定アルゴリズムを使用し得る。一例では、ワイヤレス位置特定コンポーネント104は、1つまたは複数の無線アクセスポイントの識別(例えば、MACアドレス)を判定し、1つまたは複数の無線アクセスポイントの各々から受信した信号の強度(例えば受信信号強度)を測定する。各固有の無線アクセスポイントからの受信信号強度示度(RSSI)は、各無線アクセスポイントからの距離の判定に用いられ得る。その距離は、各固有の無線アクセスポイントが位置する位置に関する情報を格納するデータベースと比較され得る。各無線アクセスポイントからの距離及び各無線アクセスポイントの既知の位置に基づき、コンピューティング装置100の位置推定値が決定され得る。
別の例では、プロセッサ114は、近隣の複数のセルラー基地局に基づいてコンピューティング装置100の位置を判定する位置判定アルゴリズムを使用し得る。例えば、セルラー無線通信コンポーネント106は、セルラーネットワークからの信号をコンピューティング装置100が受信しているかまたは最後に受信したセルを特定するように構成され得る。セルラー無線通信コンポーネント106は、その信号を提供している基地局に対する往復時間(RTT)を測定し、この情報と特定したセルとを組み合わせて、位置推定値を決定するように構成され得る。別の例では、セルラー通信コンポーネント106は、3以上の基地局からの観測到着時間差(OTDOA)を使用して、コンピューティング装置100の位置を推定するように構成され得る。
いくつかの実装では、コンピューティング装置100は、多層Linuxプラットフォームとして構成され得る、装置プラットフォーム(図示せず)を含み得る。この装置プラットフォームは、異なるアプリケーション及びアプリケーションフレームワーク、ならびに様々なカーネル、ライブラリ、ランタイムエンティティを含み得る。他の例では、他のフォーマットまたはオペレーティングシステムは、同様に、コンピューティングデバイス100を操作し得る。
通信リンク116は有線接続として示されているが、無線接続を使用し得る。例えば、通信リンク116は、他の可能性の中で、ユニバーサルシリアルバスまたはパラレルバスなどの有線シリアルバス、または、短距離ワイヤレス無線技術または(任意のIEEE802.11の改訂を含む)IEEE802.11に記載された通信プロトコルなどを使用するワイヤレス通信であり得る。
コンピューティング装置100のコンポーネントはより多くてもより少なくてもよい。更に、本明細書に記載した例示的方法は、コンピューティング装置100のコンポーネントによって個別に実行されてもよく、または、コンピューティング装置100の1または全てのコンポーネントの組み合わせによって実行され得る。
図2は、別の例示的なコンピューティング装置200を示す。図2のコンピューティング装置200は、図1に示されるコンピューティング装置100の部分を表すことがある。図2では、コンピューティング装置200は、ジャイロスコープ204及び加速度計206を含む慣性測定ユニット(IMU)202、グローバルシャッタ(GS)カメラ208、ローリングシャッタ(RS)カメラ210、前向きカメラ212、赤外(IR)フラッシュ214、気圧計216、磁気センサ218、GPS受信機220、Wi−Fi/NFC/Bluetooth(登録商標)センサ222、プロジェクタ224、奥行きセンサ226、及び温度センサ228等の、各々がコプロセッサ230に出力する多数のセンサを含むものとして示されている。コプロセッサ230は、アプリケーションプロセッサ232から入力を受信し、アプリケーションプロセッサ232に出力する。コンピューティング装置200は、アプリケーションプロセッサ232に直接出力する第2のIMU234を更に含み得る。
IMU202は、ジャイロスコープ204及び加速度計206の出力に基づいて、コンピューティング装置200の速度、向き、及び重力を判定するように構成され得る。
GSカメラ208は、コンピューティング装置200の前面から遠ざかる方向を向くように、コンピューティング装置200上の後向きカメラであるように構成され得る。GSカメラ208は、カメラ208の全画素の出力を同時に読み出すように構成され得る。GSカメラ208は、広角観測のため、魚眼センサ等の120乃至170度の視野角を有するように構成され得る。
GSカメラ208は、コンピューティング装置200の前面から遠ざかる方向を向くように、コンピューティング装置200上の後向きカメラであるように構成され得る。GSカメラ208は、カメラ208の全画素の出力を同時に読み出すように構成され得る。GSカメラ208は、広角観測のため、魚眼センサ等の120乃至170度の視野角を有するように構成され得る。
RSカメラ210は、画素ディスプレイの頂部から画素ディスプレイの底部までの画素の出力を読み出すように構成され得る。他のセンサも可能であるが、一例として、RSカメラ210は、赤/緑/青(RGB)赤外線(IR)の4メガピクセルの画像センサであり得る。RSのカメラ210は、例えば、約5.5msの最小読み出し時間で動作するように、高速露光を有し得る。GSカメラ208と同様、RSカメラ210は、後向きカメラであり得る。
カメラ212は、前向きカメラとしてすなわちGSカメラ208及びRSカメラ210と反対の方向に設定される、コンピューティング装置200の追加カメラであり得る。カメラ212は、コンピューティング装置200の第1の視点の画像をキャプチャするように構成されてよく、GSカメラ208及びRSのカメラ210は、第1の視点とは反対側にある、当該装置の第2視点の画像をキャプチャするように構成され得る。カメラ212は、広角カメラであってよく、例えば、広角観測のため120乃至170度の視野角を有し得る。
IRフラッシュ214は、コンピューティング装置200に光源を提供することができ、例えば、GSカメラ208及びRSカメラ210のための光を提供するように、コンピューティング装置200の後部を向く方向に光を出力するように構成され得る。いくつかの例では、IRフラッシュ214は、5Hzといった低デューティサイクルで、または、コプロセッサ230またはアプリケーションプロセッサ232によって指示される非連続的方法で発光するように構成され得る。IRフラッシュ214は、例えば、モバイルデバイスで使用できるように構成されるLED光源を含み得る。
図3(A)(B)は、コンピューティング装置300の概念図であり、図2のコンピューティング装置200のいくつかのセンサの構成を示す。図3(A)(B)において、コンピューティング装置300は、携帯電話として示されている。コンピューティング装置300は、図1のコンピューティング装置100または図2のコンピューティング装置200と同様であり得る。図3(A)は、コンピューティング装置300の前面を示し、そこには前向きカメラ304及びP/Lセンサ開口306(例えば、近接センサまたは光センサ)とともにディスプレイ302が設けられる。前向きカメラ304は、図2で説明したようなカメラ212であり得る。
図3(B)は、コンピューティング装置300の背面308を示し、そこにリアカメラ310及び別のリアカメラ314が設けられている。リアカメラ310は、RSカメラ210であってよく、リアカメラ312は、図2のコンピューティング装置200について説明したようなGSカメラ208であり得る。コンピューティング装置300の背面308は、図2のコンピューティング装置200について説明したようなIRフラッシュ214またはプロジェクタ224であり得る、IRフラッシュ314も含む。一例では、IRフラッシュ214及びプロジェクタ224は一つの同じものであり得る。例えば、IRフラッシュ214とプロジェクタ224の機能を実行するために単一のIRフラッシュが使用され得る。別の例では、コンピューティング装置300は、リアカメラ310の近傍に位置する(図示しない)第2フラッシュ(例えば、LEDフラッシュ)を含み得る。これらセンサの構成及び位置は、コンピューティング装置300の所望の機能を提供するのに有用であり得るが、例えば他の構成も可能である。
図2に戻ると、気圧計216は圧力センサを含むことができ、空気圧及び高度変化を判定するように構成され得る。
磁力計218は、コンピューティング装置200のロール、ヨー、及びピッチの測定値を提供するように構成されてよく、例えば、内部コンパスとして動作するように構成し得る。いくつかの例では、磁力計218は、IMU202のコンポーネント(図示せず)であり得る。
磁力計218は、コンピューティング装置200のロール、ヨー、及びピッチの測定値を提供するように構成されてよく、例えば、内部コンパスとして動作するように構成し得る。いくつかの例では、磁力計218は、IMU202のコンポーネント(図示せず)であり得る。
GPS受信機220は、図1のコンピューティング装置100について説明したGPS受信機108と同様であり得る。更なる例では、GPS受信機220は、GPS衛星または他のネットワークエンティティから受信したものとしてタイミング信号も出力し得る。このようなタイミング信号は、同じ衛星タイムスタンプを含む多数のデバイスにまたがる複数のセンサからの収集データを同期させるために使用され得る。
Wi−Fi/NFC/Bluetooth(登録商標)センサ222は、図1のコンピューティング装置100について上述したように、Wi−Fi及びBluetooth(登録商標)規格に従って動作するように構成されるとともに、NFC規格に従って、他の装置との接触または近接を介して無線通信を確立するように構成される、ワイヤレス通信コンポーネントを含むことができる。
プロジェクタ224は、環境にドットパターンを生成するパターン発生器を有するレーザ装置を有する立体照明プロジェクタであるかまたは含むことができる。プロジェクタ224は、RSカメラ210と連動して動作して、環境内の物体の3次元(3D)特性といった、環境内の物体の奥行きに関する情報を回収するように構成され得る。例えば、別個の奥行きセンサ226が、周囲光条件下で3Dのドットパターンの画像データをキャプチャして、環境内において物体のある範囲を検知するように構成され得る。プロジェクタ224及び/または奥行きセンサ226は、投影されたドットパターンに基づいて物体の形状を判定するように構成され得る。一例として、奥行きセンサ226は、プロジェクタ22rにドットパターンを生成させ、RSカメラ210にそのドットパターンの画像をキャプチャさせるように構成され得る。奥行きセンサ226は、次に、そのドットパターンの画像を処理し、様々なアルゴリズムを使用して三角測量及び3次元データを抽出し、奥行き画像をコプロセッサ230に出力し得る。
温度センサ228は、温度をまたは、例えば、コンピューティング装置200の周囲環境の温度変化などの温度勾配を測定するように構成され得る。
コプロセッサ230は、コンピューティングデバイス200上のすべてのセンサを制御するように構成され得る。例では、コプロセッサ230は、IRフラッシュ214とマッチさせるようにカメラ208、210、210の露光時間を制御し、プロジェクタ224のパルス同期、持続時間、及び強度を制御し、一般的には、センサのデータキャプチャまたは収集回収を制御し得る。コプロセッサ230は、センサからのデータを、アプリケーションプロセッサ232に適したフォーマットへと処理するように構成され得る。いくつかの例では、コプロセッサ230は、同じタイムスタンプまたはデータ収集時間(または時間)に対応する、いずれかのセンサからのすべてのデータを、アプリケーションプロセッサ232に提供される単一データ構造へとマージする。
コプロセッサ230は、コンピューティングデバイス200上のすべてのセンサを制御するように構成され得る。例では、コプロセッサ230は、IRフラッシュ214とマッチさせるようにカメラ208、210、210の露光時間を制御し、プロジェクタ224のパルス同期、持続時間、及び強度を制御し、一般的には、センサのデータキャプチャまたは収集回収を制御し得る。コプロセッサ230は、センサからのデータを、アプリケーションプロセッサ232に適したフォーマットへと処理するように構成され得る。いくつかの例では、コプロセッサ230は、同じタイムスタンプまたはデータ収集時間(または時間)に対応する、いずれかのセンサからのすべてのデータを、アプリケーションプロセッサ232に提供される単一データ構造へとマージする。
アプリケーションプロセッサ232は、コンピューティングデバイス200の他の機能を制御するように構成されてよく、例えば、コンピューティング装置200がオペレーティングシステムまたはコンピューティング装置200に格納された任意数のソフトウェアアプリケーションに従って動作するようにコンピューティング装置200を制御し得る。アプリケーションプロセッサ232は、センサによって収集されコプロセッサから受信したデータを使用して多種類の機能性を実行し得る。アプリケーションプロセッサ232は、コプロセッサ230の出力を受信することができ、いくつかの例では、アプリケーションプロセッサ232は、GSカメラ208及びRSカメラ210を含む、他のセンサからのロウ(未加工)データ出力を受信し得る。
第2のIMU234は、収集したデータを直接にアプリケーションプロセッサ232に出力してよく、その出力はアプリケーションプロセッサ232によって受信され、他のセンサにデータ収集を開始させるトリガとして使用され得る。一例として、第2のIMU234の出力は、コンピューティング装置200のモーションを示すことができ、コンピューティング装置200が動いている場合に画像データ、GPSデータ等を収集することが望ましい。したがって、アプリケーションプロセッサ232は、共通バスへの通信シグナリングを通して他のセンサをトリガして、IMU234の出力がモーションを示す時刻でのデータを収集し得る。
図2に示されているコンピューティング装置200は、複数のセンサ及び複数のプロセッサの各々の間に多数の通信バスを含み得る。例えば、コプロセッサ230は、通信用マルチマスタシリアルシングルエンドバスを含む集積回路間(I2C)バスを介して、IMU202、GSカメラ208、及びRSカメラ212の各々と通信し得る。コプロセッサ230は、IMU202、GSカメラ208、及びRSカメラ212の各々によって収集、測定、または検知されたロウデータを、同じI2Cバスまたは別の通信バスを介して受信し得る。コプロセッサ230は、多数の通信バスを介してアプリケーションプロセッサ232と通信することができ、当該多数の通信バスは、全二重モードで動作し得る同期シリアルデータリンクを含むシリアルペリフェラルインターフェース(SPI)バス、I2Cバス、及び、カメラまたは画素情報を通信するように構成されるシリアルインターフェースを含むモバイルインダストリプロセッサインターフェース(MIPI)を含む。様々なバスの使用は、データ通信速度の需要、及び例えば対応する通信バスによって提供される帯域幅に基づいて決定され得る。
図4は、センサによって提供される情報を使用してマップを生成する方法400のフローチャートである。センサによって提供された情報を使用してマップを生成するための他の例示的な方法も存在し得る。
方法400は、ブロック402〜412のうちの1つまたは複数によって示される1つまたは複数の操作、機能、または動作を含み得る。これらのブロックはシーケンシャルに示されているが、いくつかの例ではこれらのブロックは、並列に、及び/または本明細書に記載したものとは異なる順序で実行され得る。また、所望の実装に基づいて、いくつかのブロックを少数のブロックへと合わせても、付加的なブロックに分割しても、及び/または除去し得る。
また、方法400及び本明細書に開示される他のプロセス及び方法にとって、このフローチャートは、本実施形態の1つの可能な実現例の機能及び動作を示す。この点に関し、各ブロックは、1つのモジュール、1つのセグメント、または、当該プロセスの特定の論理的機能またはステップを実現するためにプロセッサによって実行可能な1つまたは複数の命令を含むプログラムコードの一部を示すことがある。プログラムコードは、例えばディスクやハードドライブを含む記憶装置等の任意種類のコンピュータ可読媒体またはメモリに格納され得る。コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ(RAM)といったデータを短時間格納する、例えばコンピュータ読み取り可能な媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えば、読み出し専用メモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスク読み出し専用メモリ(CD−ROM)といった例えば、二次的または永続的な長期ストレージ等の非一時的媒体またはメモリも含み得る。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形のストレージ装置、または他の製造品と考えられ得る。
更に、方法400及び本明細書で開示される他のプロセス及び方法にとって、図4の各ブロックは、当該プロセス中の特定の論理的機能を実行するように配線される回路を表すことができる。
ブロック402において、方法400は、環境内において装置が第1の位置にあるときに複数のセンサからの1つまたは複数の出力を受信することを含み得る。特に、コンピューティング装置は、当該第1の位置に関連付けられた環境の視覚的特徴に対応する第1のデータセットを提供するセンサ出力を受信し得る。
複数の実施例において、図1、図2及び図3(A)(B)に示した例示装置等の任意種類のコンピューティング装置が、様々なセンサから供給され得るセンサ出力内にキャプチャされる情報を受信するように構成され得る。例えば、コンピューティング装置は、ジャイロスコープ、加速度計、カメラ(GS/RS)、気圧計、磁力計、プロジェクタ、奥行きセンサ、温度センサ、グローバルポジショニングシステム(GPS)、Wi−Fiセンサ、近距離無線通信(NFC)センサ、及びBluetooth(登録商標)センサ等の、各種コンポーネント及び各種センサを含むことができる。
各種センサは、環境に対応する、異なる種類の情報をキャプチャし得る。例えば、カメラシステムは、奥行き情報を含む画像を含み得る環境の画像をキャプチャするように構成され得る。コンピューティング装置のカメラシステムは、画像内に大量の情報を提供するように構成されてよく、その情報を高速取得速度で提供し得る。同様に、コンピューティング装置は、当該コンピューティング装置の動きに関する測定値をキャプチャするIMUユニットを含み得る。更に、コンピューティング装置は、GPSを利用してグローバル座標に基づきコンピューティング装置の位置を判定してよく、及び/または、Wi−Fiセンサ、近距離無線通信(NFC)センサ及び/またはBluetooth(登録商標)センサを使用して、他のデバイス及び/またはサーバからの他の情報を受信し得る。また、コンピューティング装置は、他の種類の情報をキャプチャするための専用の様々なセンサを含み得る。
動作中に、コンピューティング装置は、様々なセンサによって提供される情報を、例えばセンサの種類に基づいて分析し得る。多数種類のセンサからの出力を利用するそのような実例では、コンピューティング装置は、カメラシステムでキャプチャされた画像を、IMUユニットによって提供される装置の動き情報と共に評価し得る。画像内に提供された情報と動き情報とを組み合わせて、コンピューティング装置は、例えば、環境内のコンピューティング装置の姿勢(例えば、位置及び向き)を判定し得る。同様に、別の例では、コンピューティング装置は、奥行きカメラ及びカラーカメラによってキャプチャされた情報を利用して、奥行きと、その奥行きに関連する対応する色の両方を網羅する画像を生成し得る。装置センサによって提供される出力の解析及び使用の他の例も存在し得る。
また、コンピューティングデバイスは、センサによって情報がキャプチャされると、その情報を機器の相対的位置及び/または向きと関連付けるように構成され得る。例えば、コンピューティング装置は、装置センサから環境に関する情報を受信し、その情報を、その受信の瞬間にGPS受信によって示される装置のグローバル座標情報と関連付けてよい。したがって、コンピューティング装置の位置及び/または向きを変えると(例えば、ユーザが装置を移動すると)、センサは、周囲環境についての情報をキャプチャすべく受信を継続してよく、コンピューティング装置は、当該コンピューティング装置が着信情報を解析できるようにし得る論理的コンテキストで環境を受信し得る。更に説明するために、コンピューティング装置は、当該装置が最初に電源投入された後で、環境に対応したデータポイントのキャプチャを開始し得るが、コンピューティング装置は、IMUユニットによって提供される重力方向に基づいたものであり得る環境における装置の位置及び/または向きに基づき、着信データポイントが以前に受信したデータポイントと関連し得ることを認識し得る。
一実装例では、コンピューティング装置は、環境内の第1の位置(例えば、初期位置)で様々なセンサからの出力(例えば、第1のデータセット)を受信し得る。センサは、例えばコンピューティング装置に情報を提供している様々なセンサを論理的にリンクする方法(例えば、何らかの形態の対応関係)で、情報を受信し得る。対照的に、別の例では、コンピューティング装置は、受信した情報を分類して可能性のあるリンクを判定するように構成され得る。また、例示の目的で、コンピューティング装置が第1の位置で情報を受信することは、屋外環境、建物内部、車両内部、及び他の場所等を含むがこれらに限定されない、いかなる種類の環境を含むことができる。一般的事項として、装置が環境にアクセスし得る限り、その装置センサはその環境に対応する情報を取得するように構成され得る。
更に説明するために、センサ出力は、例えば、第1の位置での環境内の物体に関連する測定値をコンピューティング装置に提供し得る。例えば、コンピューティング装置は、環境内の視覚的特徴に対応する情報を提供する出力を受信し得る。視覚的特徴は、センサは、それについての情報をセンサが迅速かつ効率的にキャプチャできる、物体や建物のコーナーまたは他の部分等の、環境内の目立った特徴を表すことができる。
いくつかの態様では、センサは、センサによる環境の第1の解析の間に環境内の視覚的特徴に対応する情報をキャプチャし得る。センサは、環境内の小さくあまり目立たない特徴に対応するデータポイントをキャプチャする前に、同じ環境のより目立つ特徴(例えば、視覚的特徴)に対応するデータポイントを取得し得る。環境内の目立つ特徴に対応する少数のデータポイントは、その環境内の疎マッピングに対応することができ、当該疎マッピングは環境内の目立つ特徴の基本的レイアウトを包含し得るものである。
また、コンピューティング装置が環境内で向き及び/または位置(例えば、姿勢)を変更すると、異なる装置センサが視覚的特徴を追跡し得る。視覚的特徴の追跡は、特徴及び/または環境の他の部分に対するコンピューティング装置の姿勢をコンピューティング装置が判定できるようにし得る。また、環境内の目立つ特徴の追跡は、センサがその目立つ特徴に対応する少なくともいくつかのデータポイントをコンピューティング装置に提供することを含むことができる。コンピューティング装置が環境内で位置または向きを変えるときに、センサは当該環境内でのコンピューティング装置の相対位置及び/または向きを依然追跡してよく、このことはコンピューティング装置の位置の判定に有用であり得る。環境内の装置の向きの追跡は、重力の方向に対するコンピューティング装置の向きを判定することを含むことができる。例えば、コンピューティング装置は、IMUユニットから重力情報を受信し、コンピューティング装置の位置を追跡するためにその重力情報を利用し得る。同様に、センサは、物体間の距離、コンピューティング装置と物体間の距離等の、物体及び/または環境に対応するより多くの情報を導出すべく視覚的特徴を追跡し得る。
一実装例では、装置は、一種類のセンサを使用して環境内の視覚的特徴を追跡し、他の種類のセンサを使用して情報をキャプチャし得る。同様に、装置は、多数センサを利用して特徴追跡及び/または情報キャプチャし得る。
ブロック404において、方法400は、複数のセンサからの1つまたは複数の出力における対応関係に基づいて、第1のデータセットを表す疎マッピングデータを備える環境マップを生成することを更に含むことができる。特に、コンピューティング装置は、第1の位置にある装置に関連付けられた環境の視覚的特徴に対応するセンサによってキャプチャされた第1のデータセットを含む疎マッピングデータを含むように、環境マップを生成し得る。
疎マッピングデータを含む環境マップをセンサ出力に基づいて生成することは、コンピューティング装置が様々なマップ生成技術及び/またはマップ生成ソフトウェアを実行することを含むことができる。例えば、コンピューティング装置は、各種センサ(例えば、カメラ)から3D環境に対応する情報を受信し、その情報を2D表現へと変換し得る。3次元情報から2次元マップへの変換は、例えば、コンピューティング装置が投影プロセス及び/またはコンピュータビジョンソフトウェアを利用することを含むことができる。
一実装例では、コンピューティング装置は、装置が第1の位置でマップデータを最初に受信し始めたときにセンサによってキャプチャされたコンピューティング装置に対する環境内の目立つ視覚的特徴の位置及び/または配列を反映する疎マッピングデータに基づいてマップを作成し得る。疎マッピングデータは、装置センサの出力から導出される、環境内の視覚的特徴(例えば、物体の目立つ特徴)を示すデータポイントを包含し得る。一つのこうした例では、コンピューティング装置は、コンピューティング装置がセンサから環境に対応する他の種類の情報(例えば、密マッピング情報)を受信すると同時に、疎マッピングデータに基づいてマップを生成するように構成されることができる。別の例では、コンピューティング装置は、疎マッピングを使用してマップを生成する前に、センサからの環境に対応する出力を収集及び統合して、装置環境のいくつかの基本的側面を反映するように構成され得る。
コンピューティング装置は、環境中の同じ特徴からの情報をキャプチャすることを含み得る、いくつかの方法で対応するセンサの出力に基づいてマップを生成するように構成され得る。同様に、コンピューティング装置は、実施例中の所定のものであり得るいくつかの閾値に基づいて対応づけられるセンサの出力を更に要求し得る。例えば、コンピューティング装置は、同じ特徴を含む、所定の閾値を超える出力を要求し得る。センサ間の対応関係を判定するための技術を含む、対応関係の他の例も存在し得る。
一例示態様では、コンピューティング装置は、表示用の環境情報のグラフィック表現を装置に構築する方法で、疎マッピングを用いて環境マップを生成することができ、このマップ生成は、疎マッピングデータ内の受信した空間的関係性を使用して何らかの関係性(例えば、部屋間の距離)を示すことを含むことができる。疎マッピングデータは、例えば、物体間に及び/またはコンピューティング装置の異なる位置間に存在する関係性を示し得る。
一実装例では、生成された環境マップは、視覚的特徴に対応するデータを含むが他の特徴に対応するデータを含まないことがある。他の実装では、コンピューティング装置は、視覚的特徴に加えて、環境の付加的要素に対応するマップデータを提供する疎マッピングを含むようにマップを構成し得る。
更なる態様では、センサから受信した疎マッピングデータに基づいてマップを生成すると、コンピューティング装置は、生成マップを当該装置に搭載されるメモリ及び/またはリモートのクラウド(例えば、サーバ)に搭載されるメモリに格納し得る。例えば、コンピューティング装置は、生成した疎マッピングを、コンピューティング装置によって閉じたり開いたりできるアプリケーション内に格納し得る。また、装置は、疎マッピングデータ及び/または任意の他のマップを、他のエンティティの使用のため、他の装置及び/またはクラウド(例えば、サーバ)へ送信し得る。疎マッピングストレージの他の例も存在し得る。
ブロック406において、方法400は、環境内において装置が第2の位置にあるときに複数のセンサからの1つまたは複数の追加の出力を受信することを含み得る。更に説明するために、コンピューティング装置は、装置の第2の位置に関連付けられた環境の視覚的特徴に対応する第2のデータセットを受信し得る。特に、コンピューティング装置は、例えば、他の環境に対応する追加の疎マッピングデータを受信し得る。
マップ生成用の情報をキャプチャ中のコンピューティング装置は、センサを通して環境情報をキャプチャしながら配向及び/または位置を変更し得る。一例では、コンピューティング装置は、装置が位置及び/または向きを変更するときを判定するように構成されてよく、重力の方向への組み入れ(factoring)を含み得る。更に、コンピューティング装置は、センサから新たな情報のセットを受信した場合、装置の姿勢(例えば、位置及び向き)のいかなる変化を追跡するように構成され得る。コンピューティング装置は、いずれの変化も新たな情報の受信に組み入れてよく(factor)、受信したセンサ出力を解析するときに装置の姿勢を使用し得る。装置の位置情報及び/または方向情報(例えば、IMU出力)の使用は、更にコンピューティング装置が着信マップデータを整理できるようにし得る。コンピューティング装置は、疎マッピングデータが装置の環境を正確に反映し得るかどうかを判定するために、出力における対応関係を更に要求し得る。
特に、先に示したように、コンピューティング装置は、環境の第1の部分に対応する情報を受信することがあり、その後、環境の第2のまたは新たな部分に対応し得る、センサからの追加情報を受信し得る。コンピューティング装置は、センサからの環境情報の受信を継続するように構成されてよく、マップ生成用の情報を使用し得る。例えば、コンピューティング装置は、異なる複数の環境で追加の疎マッピングデータを受信し得る。
特に、方法400または類似の方法を実行するコンピューティング装置は、装置が環境内で向き及び/または位置を変更すると、センサからの出力を受信することがある。本明細書で説明するように、コンピューティング装置は、初期位置で出力を受信した後に第2の位置でセンサからの出力を受信し得る。一例では、装置は、第1の位置で環境に対応する出力を受信し、同じ位置で環境に対応する、センサからの出力を受信し得る。2つの情報収集の時間のずれだけが差となり得る。
説明したように、装置は、装置が環境に対して姿勢を変更したときに、その環境内の視覚的特徴または他のポイントを追跡するように構成され得るセンサを含み得る。一例では、装置は、第1の位置で出力を受信してよく、その後引き続いて第2の位置で追加の出力を受信し得る。環境内の第1の位置と第2の位置との差は、全く相違点を生じさせないわずかな変更でもよく、顕著な変更であり得る。装置がセンサからの出力を受信する間のずれの範囲は、複数の実装間で異なり得る。
ブロック408において、方法400は、第2のデータセットを表す疎マッピングデータを更に備えるように環境マップを修正することを更に含み得る。複数の実施例において、コンピューティング装置は、装置センサによって提供される着信マップデータに基づいて、生成マップの構築及び/または精密化(refine)を継続してよい。例えば、コンピューティング装置は、環境に対応する追加の疎マッピングデータを受信してよく、生成マップを、その受信した追加の疎マッピングデータに基づいて修正し得る。例えば、生成マップの修正は、コンピューティング装置によって実行される、マップデータの追加、削除、及び/または組み合わせを含み得る。
一実装例では、コンピューティング装置は、様々な環境に対応する1つまたは複数の装置センサからの複数の出力を受信し得る。それら出力内で、コンピューティング装置は、様々な環境内の視覚的特徴を表すデータポイントを含み得る疎マッピングデータを受信し得る。装置が環境に対する位置及び/または向きを変更すると、コンピューティング装置は、異なる疎マッピングデータを受信し得る。例えば、移動中のコンピューティング装置のセンサが、異なる環境に対応する、疎マッピングデータ等の、様々なマップデータを受信し得る。コンピューティング装置の向き及び/または位置のわずかな変化でさえ、異なるマップデータをセンサに受信させ得る。コンピューティング装置が新たなマップデータ(例えば、疎マッピングデータ)を受信すると、コンピューティング装置は、保存及び生成済みのマップを、着信した新たなマップデータに基づいて修正し得る。
例えば、コンピューティング装置は、装置が第1の位置に配置及び/または配向されると、環境に視覚的特徴に対応する疎マッピングデータを受信することがあり、装置が別の位置に配置及び/または配向されると、異なる環境の視覚的特徴に対応する疎マッピングデータを受信することがあり。
また、コンピューティング装置は、受信した疎マッピングデータの異なるセットに基づいて、複数の環境についての一つのマップを生成するように構成され得る。別の例では、装置は、環境が互いに区別できる場合(例えば、遠く離れている場合)に、複数のマップを生成し得る。同様に、コンピューティング装置は、装置が新たな位置に配置された場合にセンサによって取得された疎マッピングデータを含めるように、生成した環境マップを修正し得る。生成マップは、第1の環境及び新たな環境の両方からの視覚的特徴に対応するデータポイントを含み得る。生成マップを着信マップデータに基づいて改良するこのプロセスは、コンピューティングによって反復的に実行され得る。換言すれば、コンピューティング装置は、装置センサによって提供される着信マップデータを反映するようにマップを連続的に更新し得る。
別の実装では、コンピューティング装置は、新たに受信した疎マッピングデータを用いて、生成マップを更に改良(refine)し得る。例えば、コンピューティング装置は、センサ出力によって提供される情報から、疎マッピング情報が最後に環境からキャプチャされた時刻以後にその環境が変更されたことを判定し得る。このような状況では、コンピューティング装置は、以前に取得した疎マッピングデータに基づくマップを、その環境での最新の出力において受信した情報を反映するように変更することにより、受信したいくつかの疎マッピングデータを含めるようにマップを修正し得る。
生成マップの修正中に、装置は疎マッピングデータによって提供される視覚的特徴を使用し得る。装置は、更新、追加、減算及び/または改良すべき疎マッピングの部分を判定すべく、環境内の及び/または疎マッピング内の視覚的特徴を追跡し得る。
ブロック410において、方法400は、複数のセンサの1以上を介して密マッピング情報を受信することを含むことができる。特に、コンピューティング装置のセンサは、密物質情報(dense matter information)が環境内の物体の相対的構造を表すような方法で、環境内の物体に対応するデータを提供する密マッピング情報をキャプチャし得る。
疎マッピングデータと同様に、コンピューティング装置は、様々な種類のセンサから密マッピング情報を受信し得る。例えば、GSカメラ及び/またはRSカメラを含むカメラシステムが、コンピューティング装置の利用用に密マッピング情報をキャプチャし得る。異なる種類のカメラが、密マッピング情報の収集を支援するために、キャプチャした情報の組み合わせを利用し得る。
いくつかの例では、密マッピング情報をキャプチャするセンサは疎マッピングデータをキャプチャするセンサと同じであり得る。他の例では、疎マッピング情報をキャプチャするセンサではない異なるセンサが、密マッピング情報をキャプチャするように構成され得る。コンピューティング装置は、どの種類のセンサが疎マッピングデータをキャプチャしたかとともに、どの種類のセンサが密マッピング情報をキャプチャしたかを判定するように構成され得る。
密マッピング情報をキャプチャするセンサは、環境のより詳細情報をキャプチャするように構成され得る。センサは、環境内の目立つ視覚的特徴に関連するマップデータをキャプチャするよりも、物体に構造に対応する密マッピング情報をキャプチャするように構成され得る。また、密マッピング情報は、疎マッピングが含んでいない物体に対するデータポイントをキャプチャし得る。例えば、密マッピング情報は、より小型の物体及び/または物体の詳細に対応するデータポイントを含み得る。コンピューティング装置は、密マッピング情報を使用して、生成マップが環境内の物体の位置及び構造などの付加情報を含むように構成し得る。
ブロック412において、方法400は、密マッピング情報を備えるように環境マップを修正することを含むことができる。特に、コンピューティング装置は、疎マッピングに加え、密マッピング情報を含めるように生成マップを修正し得る。生成マップが密マッピング情報を含むように修正することは、コンピューティング装置が様々な技術及び/またはプロセスを実行することを含み得る。例えば、コンピューティング装置は、疎マッピング内の視覚的特徴を、密マッピング情報内に設けられた同じ視覚的特徴に合致させることに基づいてマップを更新することがある。
一態様では、コンピューティング装置は、生成マップ及び/または疎マッピングを修正して、センサによってキャプチャされた、その環境についての密マッピング情報に基づく環境内の物体の構造及び位置を更に提供し得る。コンピューティング装置は、生成マップを修正するために、例えば、コンピューティング装置の姿勢及び座標等の追加の情報を組み入れ得る。
例示変更例のプロセスでは、コンピューティング装置は、マップの生成中に密マッピング情報を含めるようにマップを更新し得る。例えば、コンピューティング装置デバイスは、疎マッピング情報及び密マッピング情報の両方を同時に利用してマップを生成し得る。そのような例では、コンピューティング装置が疎マッピング情報を受信するときに、コンピューティング装置は、センサから密マッピング情報を受信し得る。コンピューティング装置はソフトウェアを使用して、受信した情報を解析し、受信した情報を反映したマップを生成し得る。
別の例では、コンピューティング装置は、奥行き画像をキャプチャ可能なカメラ及び何らかの形態の立体照明の使用を介して密マッピング情報をキャプチャし得る。コンピューティング装置は、当該照明及びカメラを使用して奥行き画像をキャプチャしてよく、その奥行き画像は、当該奥行き画像によってキャプチャされたコンピューティング装置の環境に対応する3Dジオメトリ情報を再構築するのに装置が使用し得る。コンピューティング装置が位置及び/または向きを変更すると、コンピューティング装置は、奥行き画像のキャプチャを継続してよく、また、推定軌跡ファクターを使用して、得られた異なる3D幾何学的情報をまとめて、例えば、マップとして存在し得る一つのグローバルフォーマットへと構成し得る。
その例において、コンピューティング装置は、ノイズを示す奥行きデータを特定するように構成され得る。ノイズの結果であり得る受信した奥行きデータの量を減少させるために、コンピューティング装置は追加の奥行き画像をキャプチャしてよく、それは、異なる位置及び/または向きからの、同じ環境空間の奥行き画像をキャプチャすることを含み得る。
また、いくつかの例では、奥行き画像は、環境のすべての部分をキャプチャしないことがある。このことが起こり得るのは、いくつかの質感(texture)はカメラを用いては測定できないかである。しかし、コンピューティング装置は、この不足部分を、当該コンピューティング装置が例えば別の位置及び/または別の向きに配置されたときにキャプチャされた追加の奥行き画像においてキャプチャし得る。同様に、他のセンサを使用してこの不足情報をキャプチャし得る。
いくつかの例では、コンピューティング装置は、同じ環境について事前に判定した疎マッピングデータに基づいて、密マッピング情報を判定し得る。また、コンピューティング装置は、占有データ構造などの、環境を標準形式の複数の領域に細分割するデータ構造を使用してよく、標準形式の領域は、環境を表現するために接続された多数の小さなボックスとして存在し得る。例えば、コンピューティング装置によって構成された、環境の小部分(例えば、1インチのサイズ)を表す各ボックスについて、コンピューティング装置は、そのボックスが占有されているかいないかの値を格納し得る。コンピューティング装置は、一つの物体が環境の特定の境域に配置されるかどうかに応じて、様々なボックスが充填されるべきか空であるべきかを判定し得る。そのような実例では、コンピューティング装置は、環境内の一つの物体を表すために充填すべき複数のボックスを1列に構成し得る。
また、コンピューティング装置は、環境内の同じ領域を複数回観測するように構成して、異なる観測間で不一致のボックスを判定し得る。コンピューティング装置は、様々な技術及び/またはソフトウェアを使用して、不一致の観察に基づいてボックスを充填すべきかどうかを判定し得る。例えば、コンピューティング装置は、より多くの観察がそれぞれのボックスが充填ではなく空であるべきと示すことを判定することがある。その場合、コンピューティング装置は、そのボックスが空であるべきと示す観察に従って進めるように構成され得る。
また、コンピューティング装置は、カメラ及び/または他のセンサからキャプチャした視覚的データも利用して密マッピング情報を更に生成し得る。例えば、コンピューティング装置に関連付けられた奥行きセンサが、円形状物体を提供し得る(例えば、丸みを帯びた物体を生成する)データ点を生成し得る。コンピューティング装置は、カメラからのデータを融合及び/または構成して、物体をよりシャープな画像で規定するためのエッジ情報を含み得る物体の3D構造を拡張し得る。当該シャープな画像は、物体が環境内に見えるときに、その物体をよりしっかりと反映することができる。コンピューティング装置は、収集した情報を使用して画像内の線を検出してよく、また、生成マップの精度を高めるべく、構造体の平面(例えば、床の壁)が交差する箇所を検出し得る。
コンピューティング装置によって生成された様々な環境のマップ表現は、環境のどの空間が占有されているかまたは空であるかにかかる情報をコンピューティング装置に提供し得る。同様に、コンピューティング装置は、生成マップによって提供される情報を利用して、可能性のある当該装置の軌道を判定してよく、このことは、オープンスペースと、物理的構造物によって占有されている可能性のある領域とからなる環境内の複数の領域についての信頼性をコンピューティング装置に提供し得る。
例えば、コンピューティング装置は、生成マップを使用して、環境内のある空間が壁に占有されている可能性があり、隣接する空間がコンピューティング装置が障害なく通過し得る空いた廊下である可能性がある、と判定することができる。
一実装例では、装置は有線または無線リンクを介して他の装置と通信して、それらの間で疎マッピング情報を送信及び受信し得る。装置は、複数の装置によるネットワークを利用して、そこに装置が存在したことのない環境を含み得る新たな環境に対応する疎マッピングを受信し得る。複数の装置によるネットワークは、例えば、通信セキュリティ機能を含むことができ、例えば、入るにはパスワードを必要としてよい。
別の例では、装置は、疎マッピングデータ及び/または密マッピング情報を有する、生成した更新済みのマップを利用して、環境に対する装置の位置を特定し得る。コンピューティング装置は、疎マッピングデータに基づいて環境内の視覚的特徴を解析してよく、及び/または、密マッピング情報によって提供される物体構造に基づいて位置を解析し得る。また、コンピューティング装置は、IMUユニット及び/または他のセンサによって提供される情報も使用して装置の位置を更に判定し得る。IMUユニットからの情報は、コンピューティング装置に、環境内の物体に対する当該装置の位置情報及び/または向き情報を提供することができ、コンピューティング装置は、生成マップと一緒にこの情報を使用して当該装置の位置を判定し得る。
更なる実装例では、コンピューティング装置は、奥行き画像をキャプチャできるカメラ及びカラー画像をキャプチャするように構成され得る別のカメラを備え得る。これら2つのカメラは、コンピューティング装置用のカメラシステム内で動作し、当該カメラシステムは、同じ環境に対応する画像をキャプチャするようにともに同期化されているこれらのカメラを含み得る。同様に、カメラシステムは、追加のカメラを含み得る。
この実装例では、コンピューティング装置は、カメラシステムから、奥行き画像と、当該奥行き画像に関連付けられたカラー画像とを受信し得る。当該異なる画像は、結果的にそれら2つの画像間の対応関係が得られる方法でキャプチャされ得る。また、コンピューティング装置は、奥行き画像からのキャプチャされた任意のジオメトリを、カラー画像からの適切な色でテクスチャード加工するように構成し得る。別の例では、コンピューティング装置は、奥行きと色の両方をキャプチャできる単一のカメラを含み得る。しかし、当該単一のカメラは、奥行きと色を同時にキャプチャしなくてよく、コンピューティング装置は、奥行き画像のキャプチャの前か後にキャプチャした色情報を使用して、その奥行き画像に色づけするように構成され得る。また、コンピューティング装置は、他の情報を使用して画像の色を登録し、任意の時点で奥行き画像に提供し得る。
別の実装例では、コンピューティング装置は、走行距離計測法を使用して当該コンピューティング装置の姿勢を判定してよく、当該走行距離計測法は、記憶された何らのデータ(例えば、生成マップ)を参照することなく使用され得る。コンピューティング装置が走行距離計測情報及び/または他の種類の情報を観測すると、コンピューティング装置は、観測した情報を、何らかのフォーマットのマップへとフォーマットし得る。例えば、コンピューティング装置は、装置センサを使用してWi−Fiアクセスのポイントを判定してよく、また、当該判定したWi−Fiアクセスのポイントをマップフォーマット内へ更に格納し得る。マップフォーマット内へのWi−Fiアクセスの格納は、例えば、疎マッピングデータ及び密マッピング情報を用いて構成し得る。
更に別の例示的な実施形態では、コンピューティング装置は、センサ情報を使用して建物に対応するマップを生成し得る。コンピューティング装置は、様々な情報を生成マップに格納してよく、当該情報は、例えば、Bluetooth(登録商標)、Wi−Fi、温度、音声フットプリント及び/または音響フットプリント、及び/または視界情報に関連する情報を含み得る。特に、視界情報は、環境内のハイコントラストの箇所(例えば、コーナー)に対応し得る。いくつかの実装では、視界情報は、コンピューティング装置が取得し得る疎マッピングデータと同じかまたは類似してよく、また、環境に対応する、任意数のデータポイントを含み得る。例えば、コンピューティング装置に関連づけられた単一のカメラは、環境に対応するデータポイントを収集してよく、また、それらデータポイントをコンピューティング装置の様々なコンポーネントに中継し得る。コンピューティング装置は、キャプチャしたデータポイントをマップ内の3Dデータへと変換してよく、局所環境に対応する特徴及び/または情報などの様々な情報がその3Dデータによってキャプチャされ得る。コンピューティング装置は、既にマップ内にキャプチャされた3Dデータに基づいて表面及び/または線(例えば、壁、表面)を構築するように密マッピング情報(例えば、奥行き情報)を追加し得る。
また、コンピューティング装置は、当該装置が次回その環境内に配置される間に及び/または当該装置が初めてその環境に入る間に、当該コンピューティング装置を再局在化するために、生成マップを使用し得る。この再局在化プロセスは、当該コンピューティング装置に、環境の相対的マッピング(例えば、コンピューティング装置に対する物体の位置及び向きに関する測定値)を提供し得る。更に、コンピューティング装置は、3Dマップデータを使用して、コンピューティング装置の移動経路及び/または他の情報を判定することのできる、アプリケーション挙動を導出し得る。
別の実装例では、コンピューティング装置は、センサからの情報を、再局在化のために、及び、環境における複数の3次元ポイントの特徴の三角測量のために使用し得る。コンピューティング装置は、異なる解像度を有する複数のカメラ(例えば、2台のカメラ)を使用してよく、奥行きカメラを含み得る。コンピューティング装置は、魚眼画像、及び/または、例えば、完全に正方形の画像を歪み解消補正するためのレンズパラメータを使用し得る。いくつかの例では、魚眼画像は歪んだ視界を有することができ、コンピューティング装置によって正常な画像へと歪み解消補正され得る。同様に、コンピューティング装置は、通常のカメラからの魚眼レンズの視野角(例えば、170度)の差分に基づいて魚眼画像を処理し得る。
図5は、例示的なマップを表示する例示のコンピューティング装置の概念図である。方法400内で示されるように、コンピューティング装置は、センサからの情報をキャプチャして環境の疎マッピングを含むマップを生成するように構成され得る。特に、図5に示すコンピューティング装置500は、センサによって提供される情報中にキャプチャされた環境の目立つ視覚的特徴に基づく疎マッピングを含むマップを表示する。コンピューティング装置500によって表示される疎マッピングは、説明目的のための例として機能し、他の実施例では、環境のより多くのまたはより少ない特徴を含み得る。
図5に示すように、コンピューティング装置は、実在可能性のある物体502−506及びコーナー508−510に対応する視覚的特徴を包含し得る例示の疎マッピングデータを含むマップを表示している。この例では、疎マッピングは、壁のコーナー508−510等の環境内の目立つ視覚的特徴に対応するものであり得るデータポイントを提供する。他の例では、コンピューティング装置は、環境の高レベル記述を参照する、より多くのまたはより少ない疎マッピングデータを含む生成マップを表示し得る。例えば、コンピューティング装置500は、環境内のより多くの視覚的特徴に対応するデータポイントを含み得る。
図示した疎マッピングを含むマップを生成するために、コンピューティング装置500は、装置センサから出力を受信し得る。この出力は、装置が異なる位置及び/または向きにあるときにセンサによってキャプチャされたものであり得る、環境に対応する情報をキャプチャし得る。例えば、装置が位置を変更しながらセンサがマップデータをキャプチャすると、センサは、物体のコーナー及び/または境界線等の、環境の特定の特徴を追跡し得る。視覚的特徴としても知られるこれら特定の特徴は、コンピューティング装置及び/またはセンサがマップデータを収集しながら利用することができる追跡ポイントとして機能し得る。
特に、視覚的特徴は環境内の目立つ要素であり得るので、センサが当該特徴に対応する情報をキャプチャするのに要する電力及び/または時間はより低下し得る。言い換えれば、センサは、基本的情報を提供し得る環境の基本マップ(例えば、疎マッピング)を生成するために、環境内の目立つ特徴に対応する情報を最初にキャプチャし得る。例えば、コンピューティング装置は、視覚的特徴に応じた基本的情報を表示する、環境の高レベルマップを生成し得る。疎マッピング内の視覚的特徴は大型物体の概略位置を示すことができ、また、本明細書に記載のように、より詳細なマップ生成用の初期トップ層情報として提供され得る。
同様に、コンピューティング装置500によって表示される疎マッピングは、ユーザ、コンピューティングデバイス、及び/またはセンサが利用するための、初期マップとして機能することができる。例えば、コンピューティング装置500は、疎マッピングにキャプチャされた情報、環境内の近隣の視覚的特徴、及び/または、IMUユニットからの装置モーション情報を解析して、装置の位置を判定し得る。コンピューティング装置は、環境内の視覚的特徴に対する当該装置の姿勢、及び/または、IMUユニットまたは他のセンサによってキャプチャされた情報を使用することを判定するように構成され得る。
図5に示すように、コンピューティング装置に関連付けられたセンサは、コンピューティング装置が環境に対する向きを変更すると、その環境内の物体、本棚、壁、及び/または他の目立つ特徴のコーナーを追跡し得る。コンピューティング装置は、そのセンサから視覚的特徴についてのデータを受信し、その受信したデータに基づいて疎マッピングを生成し得る。
また、コンピューティング装置は、環境の境界及び輪郭を提供するように疎マッピングを生成し得る。視覚的特徴は、疎マッピングに対して構築するためのベースとして機能し得る。例えば、コンピューティング装置は、環境内の視覚的特徴に関連する位置、向き、及び/またはその他の因子の確立後に、疎マッピングに追加の詳細を追加し得る。
図6は、一実装例に従うコンピューティング装置上の他の例示マップを示す。図6のコンピューティング装置600によって表示されるように、この例示マップは、疎マッピングデータとともに密マッピング情報を含む。図5に示される疎マッピングと同様に、コンピューティング装置600によって示されるマップは、壁のコーナー及び/または物体の境界線等の視覚的特徴を含み、また、センサから受信した出力内にキャプチャされた密マッピング情報によって提供される追加の詳細も含む。また、図6の装置によって示される生成マップで表される環境は、図5の装置によって示される生成マップのものと同じ環境である。しかしながら、他の例では、生成マップは、例えば、異なる環境に対応してもよいし、その環境のより多くのまたはより少ない要素を含んでもよい。
この例示装置によって湿れるマップによって提供されるように、密マッピング情報を含むマップは追加情報を含むことができる。センサによってキャプチャされた密マッピング情報は、環境内の物体に基づく任意数のデータポイントを含むことができる。例示目的のため、コンピューティング装置600によって表示されるマップは、環境内の物体の実際の境界線及び位置に密接に合致する多数のデータポイントを含む密マッピング情報を含む。しかしながら、他の実施例では、コンピューティング装置は、より少ない密マッピング情報を含むマップを生成することができる。例えば、このマップは、環境の疎マッピング内に示される視覚的特徴に加えて、追加の物体に対応するデータポイントを表示し得る。
特に、コンピューティング装置600は、建物内の部屋に対応する情報を含むマップを表示する。更なる説明のため、この例示マップは、テーブル602、小テーブル604、ドア606、及び本棚608に対応するデータポイントを表示する。このマップは、これら構成要素の位置及び構造を反映する多数のデータ点を含む。例えば、コンピューティング装置600に示される生成マップは、テーブル602−604の脚を表示するデータポイントを含む。これは、これらのテーブルを詳細表示ではなく3Dブロックとして表示する、図5に示す、疎マッピングベースのマップとは異なる。同様に、図6に示した生成マップは、本棚608に対応する密マッピング情報も含む。
コンピューティング装置600は、環境内のより多くの物体に対応し得る追加の密マッピング情報をキャプチャするように構成され得る。同様に、密マッピング情報は、環境内の物体に奥行き及び質感を更に提供し得る。コンピューティング装置600は、立体照明とともに奥行きカメラを使用するといった様々な技術及び/またはセンサを用いて密マッピング情報をキャプチャし、図6に示された生成マップに組み入れ得る。
また、この例示生成マップは、図5の疎マッピングには示されていないドア606に対応するデータポイントを表示する。センサによってキャプチャされた密マッピング情報は、コンピューティング装置が生成マップ内で利用できりょうに、環境に対する追加の詳細をキャプチャし得る。ドア606を示すデータポイントは、密マッピング情報がキャプチャする詳細の例として機能する。他の例も同様に存在し得る。
いくつかの実装では、このマップは、追加情報及び/またはより少ない情報を含むことがある。例えば、コンピューティング装置600によって表示されるマップは、本棚608に対応する情報を含まないことがある。というのは、本棚608は、コンピューティング装置によってセンサデータ内で追跡されないことがあるからである。コンピューティング装置は、追加のまたはより少ない疎マッピングデータを含めるように生成マップを構成してよく、及び/または、他のデータを含めるように密マッピング情報を構成し得る。
図7は、一実装例に従う例示マップの概観を示す。図7に示す例では、コンピューティング装置700は、環境(例えば、住宅)の鳥瞰図を示す作成マップ702を表示している。
図7の例に示されるように、生成マップは、何らかの形態の意味(semantic)マッピングとして存在することがあり、それは、環境(例えば、建物の部屋)の様々な領域に対する識別の提供を含むことができる。
特に、コンピューティング装置700は、家の中の部屋の境界を近似的に輪郭線で描いたマップを表示する。また、コンピューティング装置700に表示された生成マップ702は、様々な部屋の標識を含む。コンピューティング装置は、部屋内の物体の検出に基づいて部屋を特定するように構成され得る。例えば、コンピューティング装置は、センサ情報を用いてある部屋のベッドを識別し、その部屋を生成マップ内の寝室として識別することができる。更に、コンピューティング装置は、ユーザが生成マップに示される物体及び/または空間を更に識別できるようにし得る。これにより、例えば、ユーザの家に基づいて生成されたマップをユーザがカスタマイズできるようになる。
更に、マップ702は、当該マップ702に応じたコンピューティング装置700の位置を示すドット704も含む。このマップ702は、コンピューティング装置700の位置を提供する他の手段を使用し得る。この位置は、IMUユニット等のセンサによってキャプチャされた情報に基づいてよく、及び/または、生成マップに基づく物体検出に基づいてよい。
一実装例では、ユーザはコンピューティング装置700によって提供される概観マップ702を目視して、位置ドット704によって示されるコンピューティング装置700の位置を判定することができる。例えば、コンピューティング装置700がオフにされ、そして、再度電源投入された後に位置を判定するように構成され得る。コンピューティング装置700は、マップ702によって提供される情報を利用して当該装置の位置を判定し得る。特に、コンピューティング装置700は、モーション情報などの、センサによってキャプチャされた情報を利用して当該装置の姿勢及び位置を判定し、また、生成マップ702を使用して当該装置の位置及び/またはユーザが進む必要のある方法を判定し得る。コンピューティング装置は、マップ702によって提供される情報の使用に基づいて様々な経路を判定し得る。
更に、コンピューティング装置は、領域及び/または場所の関係性を、3D空間に及び/またはトポロジ情報の表現として記憶し得る。トポロジ情報は、例えば、環境内の物体及び空間の形状に関係し得る。トポロジ情報は、連結性、連続性、及び境界といった、空間の特性に関する情報も含み得る。例えば、コンピューティング装置は、トポロジ情報を使用して、環境内の特定の領域間の空間的関係性を判定することができ(例えば、バスルームに接続される廊下に接続されたベッドルームなど)、コンピューティング装置が実際の距離を知らない場合などに有用であり得る。
図8は、例示の複数のコンピューティング装置と通信する例示クラウドの概念図である。特に、図8に示した例は、複数のコンピューティング装置802−806と通信しているクラウド800を含む。図8に示す例では、複数のコンピューティング装置と通信しているクラウド800を示すが、当該クラウド800の機能を他のエンティティ(例えば、物理サーバ)が担ってもよい。本明細書に記載したクラウド800は、例示目的のためであり、これに限定されるものではない。
図8に示すように、クラウド800は、コンピューティング装置に対して情報を送信及び受信するように構成され得る。クラウド800は、例えば、一つのサーバによってまたは複数のサーバのネットワークによって作成及び維持され得る。クラウド800は、複数のコンピューティング装置にわたって存在してよく、様々な形態のメモリを利用し得る。また、クラウド800は、様々な要因に基づくコンピューティング装置へのアクセスを制限し得る、セキュリティ制限を持つように構成され得る。例えば、コンピューティング装置は、通信リンクを確立するために、パスワードまたは何らかの他の形態の識別情報をクラウド800に提供する必要があり得る。いくつかの例では、クラウド800は、情報を提供するように構成されるが、情報を受信するように構成されなくてもよい。同様に、クラウド800は、装置に情報を送信するための許可及び/または構成要素を有することなく情報を受信するように構成され得る。
図8は、クラウド800に加えて、モバイルコンピューティング装置として構成されているコンピューティング装置802−806を示す。他の例では、コンピューティング装置802−806は、図1、図2、図3(A)(B)に示す例示コンピューティング装置を含め、情報を送信及び/または受信し得る任意種類のコンピューティング装置を含むことができる。特に、コンピューティング装置802−806は、例えば電磁ワイヤレス通信(例えば、無線)といった様々な通信手段を介して、他の装置及び/またはクラウドと通信し得る。
一実装例では、各コンピューティング装置802−806は、センサを用いて環境についての情報を取得し、取得した情報に基づいてマッピングデータを生成し得る。前述したように、コンピューティング装置は、コンピューティング装置が様々な位置及び/または向きにあるときに、センサからの情報の受信を通じてマップデータを生成し得る。コンピューティング装置は、環境内の視覚的特徴に対応する疎マッピング情報、及び、視覚的特徴に加え、環境内の物体についての詳細を提供する密マッピング情報を含み得る、マップデータを構築することができる。コンピューティング装置がマップデータを生成すると、コンピューティング装置は、例えば、記憶のためにクラウド800にそのデータを送信し得る。コンピューティング装置は、限定ではないが、環境内の空間の視覚的特徴、密マッピング情報、及び、当該様々な情報をキャプチャする時の環境に対するコンピューティング装置の姿勢といった、環境に関する情報を送信し得る。例えば、コンピューティング装置は、クラウドが参照用フレーム(例えば、コンピューティングデバイスの位置についての知識)を持てるように、マップデータに加え、当該装置のグローバル座標をクラウドに提供し得る。
図8に示すように、クラウド800は、複数の装置からマップデータ及びその他の情報を受け入れるように構成され得る。一態様では、クラウド800は、当該クラウド800と通信する複数の装置の各々に対する、個別のストレージとして動作するように構成され得る。特に、クラウド800は、受信した様々なマップデータを融合させずに、対応する個々のコンピューティング装置毎にマップデータを受信及び記憶し得る。この場合、コンピューティング装置802−806は、クラウド800に記憶されたマップデータ及び/または他の情報に、様々な理由でアクセスし得る(例えば、コンピューティング装置が、当該装置のメモリ上のデータを誤って消去した等)。
別の態様では、クラウド800は、複数のデバイスのセンサから収集された情報に基づくマップを生成するために、複数の装置から受信したマップデータを統合するように構成され得る。いくつかの例では、クラウド800は複数の装置によって提供される情報を利用するので、クラウド800は、個々のコンピューティング装置上に位置するマップよりも多くの情報を含むマップを生成し得る。クラウド800は、それぞれの装置センサによってキャプチャされた環境に基づく任意数の環境に対応する情報を含むマップを生成し得る。また、クラウドは、複数の装置からのマップデータ及び/または他の情報をリアルタイムで蓄積(accumulate)してよく、またはこうした情報を時限プロセスを適用して受信し得る。
更に、クラウドは、マップデータを、特定のデバイスに接続されているものとして記憶してよく、または、対応する装置にデータを特異的にリンクさせずにマップデータをグループ化してよい。したがって、複数の装置から収集された情報は、特定の装置によって収集されたものとしてのマップを連結することなしでマップ演算を生成するために集約し得る。
クラウドが装置への情報及びマップデータを格納する場合には、クラウドは、アクセスを有する他の装置なしで、当該装置がそのマップ及び情報にアクセスできるメモリとして機能し得る。別の例では、クラウドは、複数の装置から収穫した任意の情報へのアクセスを、全ての装置に提供するように構成され得る。いくつかの例では、クラウドは、集約情報及び/またはマップにアクセスするために装置がクリアすべき何らかの識別処理を要求することがある。そのクラウドはパスワードを要求してよく、または装置にリンクされた識別コードを格納または記憶してよい。
複数の実施例において、クラウド800は、例えば、様々な装置プラットフォーム上で動作する多数の装置を含む複数の装置からの情報及び/またはマップデータを受信し得る。クラウドは、その情報を集約し、装置から受信した様々なマップを整理して大型マップを生成し得る。クラウド800は、複数の装置からの環境観測値を受信してその共同生成マップを変化させ得る。
一つのこうした例では、クラウド800は、装置からの新たな観測値を直ちに利用しなくてもよいが、同じ情報を含む繰り返しの観察を要求してクラウド800に観測値をその生成マップ演算に利用させてもよい。例えば、クラウド800は、家具が建物位置内で配置換えされたという情報を受信することがある。このクラウドはその建物に対応するマップを既に有していることがあり、装置から受信した新たな観測値が既存のマップデータと不一致であるかを判定し得る。或るケースでは、クラウド800は、建物内の新たな地点に配置されたその家具を示す受信した新たな観測値を反映させるようにマップデータを更新することができる。しかし、いくつかの例では、クラウド800は、装置によって観測されたその新たな場所にある家具を反映するようにマップデータを修正する前に、その家具の配置変更を反映した多数の観測値を受信するように構成され得る。
一実装例では、クラウド800は、当該クラウド内の記憶済みマップデータに対する更新を、所定の基準により装置に提供し得る。例えば、クラウド800は、装置がマップデータの利用を要求する毎に、その装置のマップを更新し得る。同様に、クラウドはリアルタイムで連続的に装置のマップを更新し得る。他の例では、クラウドは、定期的にまたは何らかの他の所定スケジュールで、装置のマップを更新し得る。他の更新処理も同様に存在し得る。
更に、クラウド800は、何らかの形態の意味マッピングを実行することができ、それは空間の特定を含むことがある。クラウド800及び/またはコンピューティング装置は、環境の空間及び/または領域を、3Dジオメトリ及び/または潜在的な使用に基づいて、識別し得る。例えば、コンピューティング装置は、トイレを備える部屋がバスルームとして識別されることを判定し得る。コンピューティング装置及び/またはクラウド800は、部屋に係る識別情報をマップデータ内に格納し得る(例えば、バスルームの標識)。コンピューティング装置は、装置に対する特定の部屋の位置を判定するためのマップ(例えば、バスルームの場所がどこか)を提供し得る。
本明細書に記載の構成は例示のみを目的とすることが理解されるべきである。例えば、当業者は、他の構成及び他の要素(例えば、機械、インターフェース、機能、順序、機能のグループ化等)を使用し得ると理解するであろうし、いくつかの要素は、所望の結果に応じて省略され得る。更に、記載した多くの要素は、個別のまたは分散されたコンポーネントとして実装することができるか、または、任意の適切な組み合わせ及び場所で他のコンポーネントと連携して実装することができる、機能的エンティティである。
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書で開示される様々な態様及び実施形態は例示の目的のためであり、限定することを意図するものではなく、真の範囲は、特許請求の範囲の均等物の全範囲と共に以下の特許請求の範囲によって示される。また、本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、限定することを意図するものではないと理解すべきである。
詳細についての多くの修正、変形、及び変更が、記載した例に対して行うことができるので、上述の説明及び添付の図面に示されたすべての事項は、限定的な意味ではなく例示として解釈されると意図される。
Claims (20)
- 複数のセンサを有する装置によって実行される方法であって、
環境内において前記装置が第1の位置にあるときに、前記複数のセンサからの1つまたは複数の出力であって、前記第1の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む前記1つまたは複数の出力を受信し、
前記複数のセンサの前記1つまたは複数の出力の対応関係に基づき、前記第1のデータセットを示す疎マッピングデータを含む前記環境のマップを生成し、
前記環境内において前記装置が第2の位置にあるときに、前記複数のセンサの1つまたは複数の追加の出力であって、前記第2の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第2のデータセットを含む前記1つまたは複数の追加の出力を受信し、
前記第2のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正し、
前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの1以上を介して受信し、
前記密マッピング情報を備えるように前記環境の前記マップを修正すること
を備える、方法。 - 複数の装置から集約した複数の環境に対応する、疎マッピングデータ及び密マッピング情報を備える追加データをサーバから受信し、
前記追加データに基づき、前記環境に対応する前記疎マッピングデータ及び前記密マッピング情報を備えるように前記環境の前記マップを修正することを更に備える、請求項1に記載の方法。 - 前記複数のセンサは、ジャイロスコープ、加速度計、カメラ、気圧計、磁力計、グローバルポジショニングシステム(GPS)、Wi−Fiセンサ、近距離無線通信(NFC)センサ、及び、Bluetooth(登録商標)センサのうちの1つまたは複数を含む、請求項1に記載の方法。
- 前記密マッピング情報内の1つまたは複数の物体に基づき、前記環境内の領域の識別を判定し、
前記環境の前記領域の前記識別を、前記環境の前記マップ内に提供することを更に備える、請求項1に記載の方法。 - 前記環境の前記第1の位置と前記環境の前記第2の位置との関係性であって、前記環境に対応するトポロジ情報を含む前記関係性を判定し、
前記関係性に関連付けられた情報を前記疎マッピング内に提供することを更に備える、請求項1に記載の方法。 - 前記密マッピング情報を前記複数のセンサの1以上を介して受信することは、前記環境の奥行き画像をキャプチャするように構成されたカメラシステムを介して前記密マッピング情報を受信することを備える、請求項1に記載の方法。
- 前記奥行き画像に基づき、前記環境の少なくとも一部の3次元ジオメトリを生成することを更に備える、請求項6に記載の方法。
- 前記環境内の一つまたは複数の移動する物体に対応する、前記疎マッピング内のデータを前記複数のセンサの1以上を介して特定し、
前記一つまたは複数の移動する物体に対応する、前記疎マッピング内の前記データを除去することを更に備える、請求項1に記載の方法。 - 前記環境内の前記1つまたは複数の視覚的特徴と重力の方向とに対する前記装置の向きを含む前記装置の姿勢を、前記複数のセンサの1以上を介して判定し、
前記疎マッピング内の前記1つまたは複数の視覚的特徴の地理的位置を特定し、
前記装置の前記姿勢と前記環境内の前記1つまたは複数の視覚的特徴の前記地理的位置とに少なくとも部分的に基づき、前記環境における前記装置の相対位置を判定することを更に備える、請求項1に記載の方法。 - 前記密マッピング情報を前記複数のセンサの1以上を介して受信することは、
少なくとも1つのカメラ及び立体照明センサを介して、前記環境及び前記装置に対する1つまたは複数の異なる角度から前記密マッピング情報をキャプチャすることを含む、請求項1に記載の方法。 - 前記第2のデータセットを示す疎マッピングデータを備えるように前記環境の前記マップを修正することは、
前記第2の位置に関連付けられた前記環境の1つまたは複数の視覚的特徴と、前記第1の位置に関連付けられた前記環境の1つまたは複数の視覚的特徴との対応関係を判定し、
前記対応関係が閾値を超えることに基づき、前記疎マッピングデータを備える前記環境の前記マップが前記第2のデータセットを更に備えるように修正することを更に備える、請求項1に記載の方法。 - システムであって、
複数のセンサと、少なくとも一つのプロセッサと、指令を格納したメモリとを備え、前記指令は、前記少なくとも一つのプロセッサによって実行されると前記システムに、
環境内において前記装置が第1の位置にあるときに、前記複数のセンサの1つまたは複数の出力であって、前記第1の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む前記1つまたは複数の出力を受信すること、
前記複数のセンサの前記1つまたは複数の出力の対応関係に基づき、前記第1のデータセットを示す疎マッピングデータを含む前記環境のマップを生成すること、
前記環境内において前記装置が第2の位置にあるときに、前記複数のセンサの1つまたは複数の追加の出力であって、前記第2の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第2のデータセットを含む前記1つまたは複数の追加の出力を受信すること、
前記第2のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正すること、
前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの1以上を介して受信すること、
前記密マッピング情報を備えるように前記環境の前記マップを修正すること
を備える複数の機能を実行させる、システム。 - 前記複数の機能が、
複数の装置から集約した複数の環境に対応する、疎マッピングデータ及び密マッピング情報を備える追加データをサーバから受信すること、
前記追加データに基づき、前記環境に対応する前記疎マッピングデータ及び前記密マッピング情報を備えるように前記環境の前記マップを修正することを更に備える、請求項12に記載のシステム。 - 前記複数の機能が、
前記環境内の前記1つまたは複数の視覚的特徴と重力の方向とに対する前記装置の向きを含む前記装置の姿勢を、前記複数のセンサの1以上を介して判定すること、
前記疎マッピング内の前記1つまたは複数の視覚的特徴の地理的位置を特定すること、
前記装置の前記姿勢と前記環境内の前記1つまたは複数の視覚的特徴の前記地理的位置とに少なくとも部分的に基づき、前記環境における前記装置の相対位置を判定することを更に備える、請求項12に記載のシステム。 - 指令を格納した非一時的なコンピュータ可読媒体であって、前記指令は、コンピューティング装置によって実行されると前記コンピューティング装置に、
環境内において前記コンピューティング装置が第1の位置にあるときに、前記複数のセンサの1つまたは複数の出力であって、前記第1の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第1のデータセットを含む前記1つまたは複数の出力を受信すること、
前記複数のセンサの前記1つまたは複数の出力の対応関係に基づき、前記第1のデータセットを示す疎マッピングデータを含む前記環境のマップを生成すること、
前記環境内において前記コンピューティング装置が第2の位置にあるときに、前記複数のセンサの1つまたは複数の追加の出力であって、前記第2の位置に関連付けられた、前記環境の1つまたは複数の視覚的特徴に対応する第2のデータセットを含む前記1つまたは複数の追加の出力を受信すること、
前記第2のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正すること、
前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの1以上を介して受信すること、
前記密マッピング情報を備えるように前記環境の前記マップを修正すること
を備える複数の機能を実行させる、非一時的なコンピュータ可読媒体。 - 前記密マッピング情報を前記複数のセンサの1以上を介して受信する機能は、
前記環境の奥行き画像をキャプチャするように構成されたカメラシステムを介して前記密マッピング情報を受信することを備える、請求項15に記載の非一時的なコンピュータ可読媒体。 - 前記複数の機能は、
前記複数のセンサから受信した追加の出力に基づき、前記環境の前記マップを連続的に更新することを更に備える、請求項15に記載のコンピュータ可読媒体。 - 前記環境の前記マップは、3次元ジオメトリ及び前記環境内の1つまたは複数の領域の1つまたは複数の物体に基づき、前記環境の前記マップにおいて前記1つまたは複数の領域を特定する意味マッピング情報を更に含む、請求項15に記載のコンピュータ可読媒体。
- 前記複数のセンサの1以上を介して密マッピング情報を受信する機能は、
1つまたは複数の奥行きセンサを介して前記環境内の1つまたは複数の物体に対応するデータを受信すること、
カメラによってキャプチャされた画像で1つまたは複数の物体に対応する前記データを立体形状化して、密マッピング情報を生成することを備える、請求項15に記載のコンピュータ可読媒体。 - 前記複数の機能は、
1つまたは複数のWi−Fiアクセスポイントを示すデータを受信すること、
前記1つまたは複数のWi−Fiアクセスポイントを示す前記データを更に含めるように、前記環境の前記マップを修正することを更に備える、請求項15に記載のコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/146,808 US20150193971A1 (en) | 2014-01-03 | 2014-01-03 | Methods and Systems for Generating a Map including Sparse and Dense Mapping Information |
US14/146,808 | 2014-01-03 | ||
PCT/US2015/010148 WO2015103536A1 (en) | 2014-01-03 | 2015-01-05 | Methods and systems for generating a map including sparse and dense mapping information |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017509939A true JP2017509939A (ja) | 2017-04-06 |
Family
ID=53494081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016544412A Pending JP2017509939A (ja) | 2014-01-03 | 2015-01-05 | 疎及び密マッピング情報を含むマップを生成するための方法及びシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150193971A1 (ja) |
EP (1) | EP3090410A1 (ja) |
JP (1) | JP2017509939A (ja) |
KR (1) | KR20160130217A (ja) |
CN (1) | CN105981077A (ja) |
BR (1) | BR112016015640A2 (ja) |
WO (1) | WO2015103536A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185776A (ja) * | 2018-04-06 | 2019-10-24 | コリア ユニバーシティ リサーチ アンド ビジネス ファウンデーションKorea University Research And Business Foundation | 室内空間の3次元地図生成方法及び装置 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11314905B2 (en) * | 2014-02-11 | 2022-04-26 | Xactware Solutions, Inc. | System and method for generating computerized floor plans |
US9398413B1 (en) * | 2014-03-18 | 2016-07-19 | Amazon Technologies, Inc. | Mapping electronic devices within an area |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
US10048058B2 (en) | 2015-07-29 | 2018-08-14 | Microsoft Technology Licensing, Llc | Data capture system for texture and geometry acquisition |
CN105260988B (zh) * | 2015-09-09 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 一种高精地图数据的处理方法和装置 |
US10387582B2 (en) | 2015-12-09 | 2019-08-20 | Geomni, Inc. | System and method for generating computerized models of structures using geometry extraction and reconstruction techniques |
MX2018012727A (es) * | 2016-04-19 | 2019-06-10 | Walmart Apollo Llc | Sistemas, aparatos y metodos para mapeo de un espacio. |
CA3029541A1 (en) | 2016-06-30 | 2018-01-04 | Magic Leap, Inc. | Estimating pose in 3d space |
DE102017204357A1 (de) * | 2017-03-16 | 2018-09-20 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Aktualisieren einer digitalen Karte zur Fahrzeugnavigation |
WO2019093993A1 (en) * | 2017-11-07 | 2019-05-16 | Google Llc | Semantic state based sensor tracking and updating |
US11688186B2 (en) | 2017-11-13 | 2023-06-27 | Insurance Services Office, Inc. | Systems and methods for rapidly developing annotated computer models of structures |
CN111295568B (zh) * | 2017-11-15 | 2024-03-26 | 上海诺基亚贝尔股份有限公司 | 用于确定环境的空间划分的方法和设备 |
US10535138B2 (en) | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
US10529084B2 (en) * | 2018-02-06 | 2020-01-07 | Htc Corporation | Image processing method, electronic device, and non-transitory computer readable storage medium |
US11157527B2 (en) * | 2018-02-20 | 2021-10-26 | Zoox, Inc. | Creating clean maps including semantic information |
CN110415329B (zh) | 2018-04-26 | 2023-10-13 | 财团法人工业技术研究院 | 三维建模装置及应用于其的校准方法 |
US10812711B2 (en) * | 2018-05-18 | 2020-10-20 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
US10679372B2 (en) | 2018-05-24 | 2020-06-09 | Lowe's Companies, Inc. | Spatial construction using guided surface detection |
CN110549975A (zh) * | 2018-05-31 | 2019-12-10 | 南京华捷艾米软件科技有限公司 | 一种基于3D Sensor的汽车雷达***及其控制方法 |
CN108801265A (zh) * | 2018-06-08 | 2018-11-13 | 武汉大学 | 多维信息同步采集、定位与位置服务装置及***和方法 |
CN108898107B (zh) * | 2018-06-29 | 2021-10-22 | 炬大科技有限公司 | 自动分区命名方法 |
CN111094895B (zh) * | 2018-06-29 | 2023-08-22 | 百度时代网络技术(北京)有限公司 | 用于在预构建的视觉地图中进行鲁棒自重新定位的***和方法 |
CN109074408B (zh) * | 2018-07-16 | 2022-04-08 | 达闼机器人有限公司 | 一种地图加载的方法、装置、电子设备和可读存储介质 |
CN109729278B (zh) * | 2018-11-19 | 2020-12-25 | 魔门塔(苏州)科技有限公司 | 可设定各通道传输速率的远程多传感器同步接收装置 |
CN111385317B (zh) * | 2018-12-27 | 2021-09-07 | 华为技术有限公司 | 一种数据传输方法、装置及*** |
US11642257B2 (en) * | 2020-01-22 | 2023-05-09 | Toyota Motor North America, Inc. | Mapping and data collection of in-building layout via mobility devices |
CA3212216A1 (en) | 2021-03-25 | 2022-09-29 | Jeffery D. Lewis | Computer vision systems and methods for generating building models using three-dimensional sensing and augmented reality techniques |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100823739B1 (ko) * | 2006-12-08 | 2008-04-21 | 한국전자통신연구원 | 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법 |
EP2478335B1 (de) * | 2009-09-18 | 2015-08-05 | Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) | Verfahren zur erstellung einer karte bezüglich ortsbezogener angaben über die wahrscheinlichkeit der zukünftigen bewegung einer person |
US8510039B1 (en) * | 2010-10-05 | 2013-08-13 | The Boeing Company | Methods and apparatus for three-dimensional localization and mapping |
US9823078B2 (en) * | 2010-12-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Generating maps of private spaces using mobile computing device sensors |
US8773946B2 (en) * | 2010-12-30 | 2014-07-08 | Honeywell International Inc. | Portable housings for generation of building maps |
US8570320B2 (en) * | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US9349218B2 (en) * | 2012-07-26 | 2016-05-24 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
US9953618B2 (en) * | 2012-11-02 | 2018-04-24 | Qualcomm Incorporated | Using a plurality of sensors for mapping and localization |
-
2014
- 2014-01-03 US US14/146,808 patent/US20150193971A1/en not_active Abandoned
-
2015
- 2015-01-05 EP EP15733309.7A patent/EP3090410A1/en not_active Withdrawn
- 2015-01-05 BR BR112016015640A patent/BR112016015640A2/pt not_active Application Discontinuation
- 2015-01-05 KR KR1020167021013A patent/KR20160130217A/ko not_active Application Discontinuation
- 2015-01-05 CN CN201580007940.6A patent/CN105981077A/zh active Pending
- 2015-01-05 JP JP2016544412A patent/JP2017509939A/ja active Pending
- 2015-01-05 WO PCT/US2015/010148 patent/WO2015103536A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185776A (ja) * | 2018-04-06 | 2019-10-24 | コリア ユニバーシティ リサーチ アンド ビジネス ファウンデーションKorea University Research And Business Foundation | 室内空間の3次元地図生成方法及び装置 |
JP7475022B2 (ja) | 2018-04-06 | 2024-04-26 | コリア ユニバーシティ リサーチ アンド ビジネス ファウンデーション | 室内空間の3次元地図生成方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2015103536A1 (en) | 2015-07-09 |
EP3090410A1 (en) | 2016-11-09 |
US20150193971A1 (en) | 2015-07-09 |
CN105981077A (zh) | 2016-09-28 |
BR112016015640A2 (pt) | 2017-10-03 |
KR20160130217A (ko) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017509939A (ja) | 疎及び密マッピング情報を含むマップを生成するための方法及びシステム | |
CN105940429B (zh) | 用于确定设备运动的估计的方法和*** | |
US11640694B2 (en) | 3D model reconstruction and scale estimation | |
TWI494898B (zh) | 從地理參考影像擷取和映對三維特徵之技術 | |
JP6423435B2 (ja) | 物理的光景を表すための方法および装置 | |
CN105143907B (zh) | 定位***和方法 | |
JP6258953B2 (ja) | 単眼視覚slamのための高速初期化 | |
US9300880B2 (en) | Methods and systems for providing sensor data and image data to an application processor in a digital image format | |
US9990547B2 (en) | Odometry feature matching | |
AU2015275198B2 (en) | Methods and systems for calibrating sensors using recognized objects | |
US10957100B2 (en) | Method and apparatus for generating 3D map of indoor space | |
KR20160027735A (ko) | 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법 | |
CN105786166A (zh) | 扩增实境方法与*** | |
US20150235335A1 (en) | Methods and Systems for Detecting Frame Tears | |
US20180241916A1 (en) | 3d space rendering system with multi-camera image depth | |
JP7075090B1 (ja) | 情報処理システム、及び、情報処理方法 |