JP2017509939A - 疎及び密マッピング情報を含むマップを生成するための方法及びシステム - Google Patents

Abstract

マップ生成方法及びシステムが記載される。コンピューティング装置は、環境中の前記装置の位置で複数のセンサから、その第１の位置における環境の複数の視覚的特徴に対応するデータを含み得る出力を受信する。コンピューティング装置は、複数のセンサからの出力の対応関係に基づき、複数の視覚的特徴に対応するデータを備える疎マッピングデータを含めた環境のマップを生成する。その装置は、その環境内において装置が別の位置にあるときに追加の出力を受信し、その追加の出力に基づきマップを修正する。また、その装置は、センサからの密マッピング情報の受信に基づきマップを修正する。その密マッピング情報は、環境内の物体の構造を表すような方法で環境内の物体に対応するデータを含む。

Description

この背景欄に記述した事項は、特に指示がない限り、本願の特許請求の範囲に対する従来技術ではなく、また、この背景欄に含めることによって従来技術であると認めるものでもない。

マップは、ある地域の視覚的表現として存在し得るものであり、その視覚的表現は、物体、地域、及びテーマ等のその空間にある要素間の関係性を強調し得る。典型的には、マップは、３次元（３Ｄ）空間の幾何学的に正確な表現であり得る静的な２次元（２Ｄ）フォーマットで情報を提示するものである。マップは、部屋、建物、近隣地域等を図示するように構成され得る。同様に、マップは、そのマップ内に包含される情報の量にも幅を持ち得る。

本願は、疎及び密マッピング情報を含むマップを生成するための方法及びシステムに関する実施形態を開示する。
一態様では、例示方法が記載されており、その方法は、複数のセンサとともに構成された装置によって実行され得る。その方法は、環境内においてその装置が第１の位置にあるときに前記複数のセンサから１つまたは複数の出力を受信することを備えることができ、当該１つまたは複数の出力は、前記第１の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含む。この方法は、前記複数のセンサの前記１つまたは複数の出力における対応関係に基づき、前記第１のデータセットを示す疎マッピングデータを含む環境マップを生成することを更に備え得る。この方法は、前記環境内において前記装置が第２の位置にあるときに前記複数のセンサからの１つまたは複数の追加出力を受信することを備えることができ、当該１つまたは複数の追加出力は、前記第２の位置に関連付けられた、前記環境の１以上の視覚的特徴に対応する第２のデータセットを含む。この方法は、前記第２のデータセットを示す前記疎マッピングデータを備えるように前記環境の前記マップを修正することを更に備え得る。この方法は更に、前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの１以上を介して受信することを追加で備えることができる。この方法は、前記密マッピング情報を備えるように前記環境の前記マップを修正することも含み得る。

別の態様では、コンピューティング装置によって実行されると前記コンピューティング装置に複数の機能を実行させる指令を格納した非一時的なコンピュータ可読媒体。複数の機能は、環境内において前記装置が第１の位置にあるときに複数のセンサの出力を受信することを含むことができ、その１つまたは複数の出力は、第１の位置に関連付けられた、環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含むことができる。複数の機能は、複数のセンサの１つまたは複数の出力の対応関係に基づき、第１のデータセットを示す疎マッピングデータを含む環境のマップを生成することを更に含むことができる。複数の機能は、環境内において装置が第２の位置にあるときに、複数のセンサの１つまたは複数の追加の出力を受信することも含むことができ、その追加の出力は、第２の位置に関連付けられた、環境の１つまたは複数の視覚的特徴に対応する第２のデータセットを含む。複数の機能は、第２のデータセットを示す疎マッピングデータを更に備えるように環境のマップを修正することを更に含むことができる。複数の機能は、複数のセンサの１以上を介して密マッピング情報を受信することを追加で含むことができ、この密マッピング情報は環境内の物体の相対構造を表す方法で環境内の物体に対応するデータを備える。複数の機能は、密マッピング情報を備えるように環境のマップを修正することも含むことができる。

更なる態様では、システムが提供され、そのシステムは、少なくとも一つのプロセッサと、複数のセンサと、少なくとも一つのプロセッサによって実行されると前記システムに複数の機能を実行させる指令を格納したメモリとを備える。複数の機能は、環境内において装置が第１の位置にあるときに複数のセンサの１つまたは複数の出力を受信することを含むことができ、１つまたは複数の出力は、第１の位置に関連付けられた、環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含む。複数の機能は、複数のセンサの１つまたは複数の出力の対応関係に基づき、第１のデータセットを示す疎マッピングデータを含む環境のマップを生成することを更に含むことができる。複数の機能は、環境内において装置が第２の位置にあるときに、複数のセンサの１つまたは複数の追加の出力を受信することを更に含むことができ、１つまたは複数の追加の出力は、第２の位置に関連付けられた、環境の１つまたは複数の視覚的特徴に対応する第２のデータセットを含む。複数の機能は、第２のデータセットを示す疎マッピングデータを更に備えるように環境のマップを修正することを更に含むことができる。複数の機能は、複数のセンサの１以上を介して密マッピング情報を受信することを追加で含むことができ、密マッピング情報は、環境内の物体の相対構造を表す方法で環境内の物体に対応するデータを備える。複数の機能は、密マッピング情報を備えるように環境のマップを修正すること更に含むことができる。

上述した概要は、例示のみであり、何ら限定を意図していない。図面及び後述する詳細な説明を参照することによって、上述した例示態様、例示実施形態、及び例示特徴に加え、更なる態様、更なる実施形態、及び更なる特徴が明らかになるであろう。

例示的なコンピューティング装置を描いた機能的ブロック図。 例示的な実施形態に従う別のものを示す図。 （Ａ）（Ｂ）は一例のコンピューティング装置の図。 地図生成方法の一例のフローチャート。 例示的な地図を表示している一例のコンピューティング装置の概念図。 別の例示的なマップを表示している例示的コンピューティング装置の概念図。 別の例示的なマップを表示している例示的コンピューティング装置の別の概念図。 例示的コンピューティング装置と通信する例示的クラウドネットワークの概念図。

以下の詳細な説明は添付の図面を参照しながら本開示のシステム及び方法の様々な特徴と機能を記述する。図面では、本文中に反対の指示がない限り、同様の参照符号は同様の構成要素を特定する。本明細書で説明した例示のシステム及び方法の実施形態は、限定を意図したものではない。本開示のシステム及び方法の特定の局面は、広範な異なる構成で編成及び組み合わせられ得ることは容易に理解することができ、それら全て本開示に企図される。

複数の実施例において、モバイル装置等のコンピューディング装置は、その装置の環境に対応する情報をキャプチャするように構成された複数のセンサを含み得る。当該複数のセンサによってキャプチャされた環境情報に基づき、コンピューティング装置はその環境マップを作成するように構成され得る。特に、コンピューティング装置は、様々な方法及び／またはシステムを利用してマップを生成することができ、それら方法及び／またはシステムは、環境内の基本的な視覚的特徴に基づく疎マッピング（sparse mapping）を包含するようにマップを生成し、環境内の物体の構造及び／または他のパラメータに対応するデータを提供する密マッピング情報（dense mapping information）を更に含むように、疎マッピング付きの生成済みマップを修正し得る。コンピューティング装置は、そのマップを、対応関係閾値（correspondence threshold）を満たす、複数のセンサからの出力に基づき修正してよく、特徴マッチング解析及び／または他の対応関係測定方法の使用を含むことができる。

いくつかの実装例では、コンピューティング装置は、環境における装置の第１の位置または初期位置に基づき複数のセンサの出力を受信することを含み得る方法を実行し得る。受信した出力は、第１の位置における環境の視覚的特徴に対応するデータを提供し得る。視覚的特徴は、コンピューティング装置が位置及び／または向き（orientation）を変更するときにコンピューティング装置の複数のセンサが追跡できる、環境の目立つ特徴でありえる。例えば、複数のセンサは、環境内の壁／建物のコーナー、物体のエッジ、及び、他の目立つ特徴を検知及び追跡し得る。

多数センサの複数の出力における対応関係（correspondence）に基づき、コンピューティング装置は、第１の位置での環境の視覚的特徴から得られたデータを含み得る疎マッピングを生成し得る。コンピューティング装置は、複数のセンサの出力間の対応関係を判定して、キャプチャした情報の精度を確保するように構成され得る（例えば、センサが校正されていることを検証）。同様に、コンピューティング装置は、コンピューティング装置が複数のセンサの出力を使用すべきかの判定のために、複数のセンサで異なる種類の対応関係を使用し得る。例えば、コンピューティング装置は、多数のセンサの出力が環境内の同じ特徴に関連する情報を提供するかどうかの判定のために、いくつかのフォーマットの特徴マッチングを使用し得る。

また、コンピューティング装置は、複数のセンサの出力間の対応関係の判定に関連付けられた閾値の様々な度合を使用し得る。例えば、コンピューティング装置は、センサによってキャプチャされた画像内での特徴マッチングに関する閾値量を要求し得る。同様に、コンピューティング装置は、例によって異なり得る所定の閾値を超える対応関係を判定するために、コンピュータビジョン技術.に関連付けられた特徴追跡を使用し得る。コンピューティング装置は、閾値の種類及び／または様々なセンサがどれほど最近校正されたか等に基づき、異なる対応関係閾値を要求するように構成され得る。

より多くの情報を網羅すべく疎マッピングを更に作成するために、装置が環境内の第２の位置に位置するときに、装置は追加のセンサ出力を受信し得る。特に、センサは、例えば装置が第１の位置とはわずかに異なるかまたは大きく異なる位置であり得る新たな位置に位置するときに、新たな情報をキャプチャし得る。同様に、センサは、第１の位置と同じであり得る第２の位置において、新たな情報をキャプチャし得る。いくつかの例では、コンピューティング装置は、装置が環境内で位置及び／または向きを変更すると、センサ出力を連続的に受信し得る。

その追加のセンサ出力は、第２の位置における環境の視覚的特徴に対応するデータをコンピューティング装置に提供し得る。いくつかの例では、装置は第２の位置において、第１の位置のものと同じ視覚的特徴をキャプチャし得る（例えば、装置が位置間をわずかに移動した場合）。その結果、環境内での視覚的特徴の追跡は、コンピューティング装置が当該コンピューティング装置の位置を判定できるようにしてもよく、このことはコンピューティング装置の疎マッピングデータの作成にも貢献し得る。例えば、装置は、疎マッピングデータを修正して、第２の位置での視覚的特徴に対応するデータを含めることができる。視覚的特徴が互いに重なる場合には、コンピューティング装置は、データを統合（aggregate）してマップを作成してもよく、あるいは、より最近に受信した情報を選択してマップに含めるといった別の方法でデータをフィルタし得る。

また、コンピューティング装置は、密マッピング情報を含めるように疎マッピングを立体形状化すること（configuring）を通して疎マッピングを更に作成し得る。例として、コンピューティング装置は、例えば奥行きカメラ（depth cameras）及び立体照明ユニット（structured light unit）等のセンサから密マッピング情報を受信し得る。この密マッピング情報は、環境内の物体の構造をキャプチャ及び表すデータを含み得る。密マッピングは、例えば疎マッピングが含んでいない、環境内における物体についての詳細をキャプチャし得る。コンピューティング装置は、そのマップ（例えば疎マッピング）を修正して、密マッピング情報を含め得る。

一実装例では、コンピューティング装置は、３Ｄ環境についての多数表現を作成することができ、それらはマップフォーマットに組み込まれ得る。特に、コンピューティング装置は、コンピューティング装置の移動に伴い装置センサによってキャプチャされ得る疎マッピングデータで構成される第１レベルを作成し得る。疎マッピングデータを含む第１レベルは、データポイントの骨格として存在し得るが、部屋及び／または物体に対応するものとして認識可能でなくてよい。むしろ、疎マッピングデータは、コンピューティング装置が位置を変更したときに環境内で追跡される視覚的特徴の概略に対応するデータポイントを提供し得る。

また、この実装例のコンピューティング装置は、疎マッピングデータで構成される第１レベルとともに構成される、追加レイヤを作成し得る。追加レイヤは、環境の密表現（dense representation）を提供するデータポイントを含み得る。例えば、密表現の１次供給源は、立体照明センサによってコンピューティング装置が取得した奥行きデータに対応し得る。例えば、コンピューティング装置は、コンピューティング装置に奥行き画像(depth images)を提供し得る奥行きカメラの使用を通じて奥行きデータ（depth data）を取得し得る。コンピューティング装置は、奥行き画像においてキャプチャされた環境の３Ｄジオメトリを、再構成ソフトウェア及び／または再構成処理を用いて再構成し得る。

更に、コンピューティング装置は、推定軌跡情報を使用して、複数の環境の複数の３Ｄセグメントを、例えば、マップフォーマットで存在し得るグローバルオブジェクトへと構成し得る。特に、コンピューティング装置は、環境の様々なセグメントをセンサを用いてキャプチャするように位置変更でき、それら様々なセグメントをグローバルマップに構成し得る。いくつかの例では、コンピューティング装置は、センサから受信した奥行きデータが不要ノイズを示すかどうかを判定するように構成され得る。コンピューティング装置は、ノイズに対応する奥行きデータを除去し得る。同様に、コンピューティング装置は、様々な向き及び／または様々な位置からの多数の奥行き画像を統合してノイズに対応する奥行きデータの使用量を低減し得る。

更なる局面では、コンピューティング装置は、他のデバイス及び／または他のサーバ（例えばクラウドネットワーク）に対し、マップデータを送信及び／または受信し得る。複数の実施例では、コンピューティング装置は、疎マッピング情報、密マッピング情報、及び／または組合せを、他のエンティティに対して供給または受信し得る。特に、コンピューティング装置は、当該コンピューティング装置がマップデータを実際にキャプチャしていない環境に対応するマップデータを受信し得る。クラウドネットワーク及び／または他のデバイスは、コンピューディング装置がそのマップを修正及び／または更新するのに使用し得る新たなマップデータを提供し得る。そのような例では、コンピューティング装置は、特定の環境を事前に訪れていなくても、マップデータを用いてその位置を判定可能であり得る。コンピューティング装置は、その位置を判定するために、様々な技術、及び／または、センサからの出力及び／または生成マップ等の様々なデータを使用し得る。

先に示したように、クラウド（例えば、サーバ）は、デバイスからマップデータを受信してよく、クラウドはコンピューティング装置によるアクセスのためにそのマップデータをメモリに格納し得る。一実装例では、クラウドは多数のデバイスからのマップデータを統合して大規模マップまたは多数マップを生成または更新してよく、クラウドは当該マップを複数のコンピューティング装置と共有する。クラウド上の当該マップは、何個であってもよいデバイスから供給された情報を含んでよく、デバイスから新たなマップデータの受信を通して連続的に更新され得る。

さて図面を参照すると、図１は例示のコンピューティング装置１００を示す。いくつかの例では、図１に示した構成要素は多数のコンピューティング装置にわたって分配されることがある。しかしながら、例示目的のため、それらの構成要素は、一つの例示コンピューディング装置１００の一部として示され説明される。コンピューティング装置１００は、携帯電話等のモバイル装置、デスクトップコンピュータ、ラップトップコンピュータ、電子メール／メッセージングデバイス、タブレットコンピュータ、または本明細書で述べる機能を実行するように構成され得る他のデバイスであってよく、あるいは、そうしたデバイスを含み得る。一般には、コンピューディング装置１００は、本明細書で述べる方法及び機能に従ってデータを送受信するように構成される、どのような種類のコンピューティング装置または送受信機であり得る。

コンピューティング装置１００は、インターフェース１０２、ワイヤレス通信コンポーネント１０４、セルラー無線通信コンポーネント１０６、グローバルポジショニングシステム（ＧＰＳ）受信機１０８、一以上のセンサ１１０、データストレージ１１２、及び一以上のプロセッサ１１４を備える。図１中のコンポーネントは、通信リンク１１６によってリンクされ得る。コンピューティング装置１００は、当該コンピューティング装置１００内での通信、及びコンピューティング装置１００と、サーバエンティティ等の図示しない他の複数のコンピューティング装置との通信を可能にするハードウェアを含み得る。このハードウェアは、例えば、送信機、受信機、及びアンテナを含むことができる。

インターフェース１０２は、コンピューティング装置１００がサーバ等の図示しない他の複数のコンピューティング装置と通信するように構成され得る。したがって、インターフェース１０２は一以上のコンピューティング装置から入力データを受信するように構成されてよく、また、一以上のコンピューティング装置に出力データを送信するように構成され得る。インターフェース１０２は、有線通信プロトコルまたは無線通信プロトコルに従って機能するように構成され得る。いくつかの例では、インターフェース１０２は、一以上のディスプレイ及び／または他のいかなる出力通信用要素とともに、ボタン、キーボード、タッチスクリーン、スピーカ１１８、マイクロフォン１２０、及び／または入力受信用のいかなる他の要素を含み得る。

ワイヤレス通信コンポーネント１０４は、コンピューティング装置１００に対し一以上の無線通信規格に従う無線データ通信を円滑にするように構成される通信インターフェースであり得る。例えば、ワイヤレス通信コンポーネント１０４は、一以上のＩＥＥＥ８０２．１１規格に従う無線データ通信を円滑にするように構成されるＷｉ−Ｆｉ通信コンポーネントを含み得る。別の例としては、ワイヤレス通信コンポーネント１０４は、一以上のＢｌｕｅｔｏｏｔｈ（登録商標）規格に従う無線データ通信を円滑にするように構成されるＢｌｕｅｔｏｏｔｈ（登録商標）通信コンポーネントを含み得る。その他の例も可能である。

セルラー無線通信コンポーネント１０６は、ネットワークにモバイル接続すべくセルラー無線基地局とのワイヤレス通信（音声及び／またはデータ）を円滑にするように構成される通信インターフェースであり得る。セルラー無線通信コンポーネント１０６は、例えばコンピューディング装置１００が位置しているセルの基地局と接続するように構成され得る。

ＧＰＳ受信機１０８はＧＰＳ衛星によって送信される信号を正確に計時することによってコンピューティング装置１００の位置を推定するように構成され得る。
センサ１１０は一以上のセンサを含むかまたはコンピューティング装置１００内に含まれる一以上のセンサを表し得る。例示のセンサは、加速度計、ジャイロスコープ、歩数計、光センサ、マイクロフォン、カメラ、赤外線フラッシュ、気圧計、磁力計、ＧＰＳ、Ｗｉ−Ｆｉ、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、プロジェクタ、奥行きセンサ、温度センサ、または他の位置及び／またはコンテキスト認識センサを含む。

データストレージ１１２は、プロセッサ１１４によってアクセス及び実行可能なプログラムロジック１２２を記憶し得る。データストレージ１１２は、センサ１１０によって収集されたデータ、あるいは、ワイヤレス通信コンポーネント１０４、セルラー無線通信コンポーネント１０６、及びＧＰＳ受信機１０８のいずれかによって収集されたデータを記憶し得る。

プロセッサ１１４は、センサ１１０のいずれかによって収集されたデータを受信し、そのデータに基づいて任意数の機能を実行するように構成され得る。一例として、プロセッサ１１４は、ワイヤレス通信コンポーネント１０４、セルラー無線通信コンポーネント１０６、またはＧＰＳ受信機１０８等の１以上の位置判定コンポーネントを使用してコンピューティング装置１００の１つまたは複数の地理的位置推定値を決定するように構成され得る。プロセッサ１１４は、コンピューティング装置１００の無線範囲内の１つまたは複数の既知の無線アクセスポイントの存在及び／または位置に基づいて、コンピューティング装置１００の位置を判定する位置判定アルゴリズムを使用し得る。一例では、ワイヤレス位置特定コンポーネント１０４は、１つまたは複数の無線アクセスポイントの識別（例えば、ＭＡＣアドレス）を判定し、１つまたは複数の無線アクセスポイントの各々から受信した信号の強度（例えば受信信号強度）を測定する。各固有の無線アクセスポイントからの受信信号強度示度（ＲＳＳＩ）は、各無線アクセスポイントからの距離の判定に用いられ得る。その距離は、各固有の無線アクセスポイントが位置する位置に関する情報を格納するデータベースと比較され得る。各無線アクセスポイントからの距離及び各無線アクセスポイントの既知の位置に基づき、コンピューティング装置１００の位置推定値が決定され得る。

別の例では、プロセッサ１１４は、近隣の複数のセルラー基地局に基づいてコンピューティング装置１００の位置を判定する位置判定アルゴリズムを使用し得る。例えば、セルラー無線通信コンポーネント１０６は、セルラーネットワークからの信号をコンピューティング装置１００が受信しているかまたは最後に受信したセルを特定するように構成され得る。セルラー無線通信コンポーネント１０６は、その信号を提供している基地局に対する往復時間（ＲＴＴ）を測定し、この情報と特定したセルとを組み合わせて、位置推定値を決定するように構成され得る。別の例では、セルラー通信コンポーネント１０６は、３以上の基地局からの観測到着時間差（ＯＴＤＯＡ）を使用して、コンピューティング装置１００の位置を推定するように構成され得る。

いくつかの実装では、コンピューティング装置１００は、多層Ｌｉｎｕｘプラットフォームとして構成され得る、装置プラットフォーム（図示せず）を含み得る。この装置プラットフォームは、異なるアプリケーション及びアプリケーションフレームワーク、ならびに様々なカーネル、ライブラリ、ランタイムエンティティを含み得る。他の例では、他のフォーマットまたはオペレーティングシステムは、同様に、コンピューティングデバイス１００を操作し得る。

通信リンク１１６は有線接続として示されているが、無線接続を使用し得る。例えば、通信リンク１１６は、他の可能性の中で、ユニバーサルシリアルバスまたはパラレルバスなどの有線シリアルバス、または、短距離ワイヤレス無線技術または（任意のＩＥＥＥ８０２．１１の改訂を含む）ＩＥＥＥ８０２．１１に記載された通信プロトコルなどを使用するワイヤレス通信であり得る。

コンピューティング装置１００のコンポーネントはより多くてもより少なくてもよい。更に、本明細書に記載した例示的方法は、コンピューティング装置１００のコンポーネントによって個別に実行されてもよく、または、コンピューティング装置１００の１または全てのコンポーネントの組み合わせによって実行され得る。

図２は、別の例示的なコンピューティング装置２００を示す。図２のコンピューティング装置２００は、図１に示されるコンピューティング装置１００の部分を表すことがある。図２では、コンピューティング装置２００は、ジャイロスコープ２０４及び加速度計２０６を含む慣性測定ユニット（ＩＭＵ）２０２、グローバルシャッタ（ＧＳ）カメラ２０８、ローリングシャッタ（ＲＳ）カメラ２１０、前向きカメラ２１２、赤外（ＩＲ）フラッシュ２１４、気圧計２１６、磁気センサ２１８、ＧＰＳ受信機２２０、Ｗｉ−Ｆｉ／ＮＦＣ／Ｂｌｕｅｔｏｏｔｈ（登録商標）センサ２２２、プロジェクタ２２４、奥行きセンサ２２６、及び温度センサ２２８等の、各々がコプロセッサ２３０に出力する多数のセンサを含むものとして示されている。コプロセッサ２３０は、アプリケーションプロセッサ２３２から入力を受信し、アプリケーションプロセッサ２３２に出力する。コンピューティング装置２００は、アプリケーションプロセッサ２３２に直接出力する第２のＩＭＵ２３４を更に含み得る。

ＩＭＵ２０２は、ジャイロスコープ２０４及び加速度計２０６の出力に基づいて、コンピューティング装置２００の速度、向き、及び重力を判定するように構成され得る。
ＧＳカメラ２０８は、コンピューティング装置２００の前面から遠ざかる方向を向くように、コンピューティング装置２００上の後向きカメラであるように構成され得る。ＧＳカメラ２０８は、カメラ２０８の全画素の出力を同時に読み出すように構成され得る。ＧＳカメラ２０８は、広角観測のため、魚眼センサ等の１２０乃至１７０度の視野角を有するように構成され得る。

ＲＳカメラ２１０は、画素ディスプレイの頂部から画素ディスプレイの底部までの画素の出力を読み出すように構成され得る。他のセンサも可能であるが、一例として、ＲＳカメラ２１０は、赤／緑／青（ＲＧＢ）赤外線（ＩＲ）の４メガピクセルの画像センサであり得る。ＲＳのカメラ２１０は、例えば、約５．５ｍｓの最小読み出し時間で動作するように、高速露光を有し得る。ＧＳカメラ２０８と同様、ＲＳカメラ２１０は、後向きカメラであり得る。

カメラ２１２は、前向きカメラとしてすなわちＧＳカメラ２０８及びＲＳカメラ２１０と反対の方向に設定される、コンピューティング装置２００の追加カメラであり得る。カメラ２１２は、コンピューティング装置２００の第１の視点の画像をキャプチャするように構成されてよく、ＧＳカメラ２０８及びＲＳのカメラ２１０は、第１の視点とは反対側にある、当該装置の第２視点の画像をキャプチャするように構成され得る。カメラ２１２は、広角カメラであってよく、例えば、広角観測のため１２０乃至１７０度の視野角を有し得る。

ＩＲフラッシュ２１４は、コンピューティング装置２００に光源を提供することができ、例えば、ＧＳカメラ２０８及びＲＳカメラ２１０のための光を提供するように、コンピューティング装置２００の後部を向く方向に光を出力するように構成され得る。いくつかの例では、ＩＲフラッシュ２１４は、５Ｈｚといった低デューティサイクルで、または、コプロセッサ２３０またはアプリケーションプロセッサ２３２によって指示される非連続的方法で発光するように構成され得る。ＩＲフラッシュ２１４は、例えば、モバイルデバイスで使用できるように構成されるＬＥＤ光源を含み得る。

図３（Ａ）（Ｂ）は、コンピューティング装置３００の概念図であり、図２のコンピューティング装置２００のいくつかのセンサの構成を示す。図３（Ａ）（Ｂ）において、コンピューティング装置３００は、携帯電話として示されている。コンピューティング装置３００は、図１のコンピューティング装置１００または図２のコンピューティング装置２００と同様であり得る。図３（Ａ）は、コンピューティング装置３００の前面を示し、そこには前向きカメラ３０４及びＰ／Ｌセンサ開口３０６（例えば、近接センサまたは光センサ）とともにディスプレイ３０２が設けられる。前向きカメラ３０４は、図２で説明したようなカメラ２１２であり得る。

図３（Ｂ）は、コンピューティング装置３００の背面３０８を示し、そこにリアカメラ３１０及び別のリアカメラ３１４が設けられている。リアカメラ３１０は、ＲＳカメラ２１０であってよく、リアカメラ３１２は、図２のコンピューティング装置２００について説明したようなＧＳカメラ２０８であり得る。コンピューティング装置３００の背面３０８は、図２のコンピューティング装置２００について説明したようなＩＲフラッシュ２１４またはプロジェクタ２２４であり得る、ＩＲフラッシュ３１４も含む。一例では、ＩＲフラッシュ２１４及びプロジェクタ２２４は一つの同じものであり得る。例えば、ＩＲフラッシュ２１４とプロジェクタ２２４の機能を実行するために単一のＩＲフラッシュが使用され得る。別の例では、コンピューティング装置３００は、リアカメラ３１０の近傍に位置する（図示しない）第２フラッシュ（例えば、ＬＥＤフラッシュ）を含み得る。これらセンサの構成及び位置は、コンピューティング装置３００の所望の機能を提供するのに有用であり得るが、例えば他の構成も可能である。

図２に戻ると、気圧計２１６は圧力センサを含むことができ、空気圧及び高度変化を判定するように構成され得る。
磁力計２１８は、コンピューティング装置２００のロール、ヨー、及びピッチの測定値を提供するように構成されてよく、例えば、内部コンパスとして動作するように構成し得る。いくつかの例では、磁力計２１８は、ＩＭＵ２０２のコンポーネント（図示せず）であり得る。

ＧＰＳ受信機２２０は、図１のコンピューティング装置１００について説明したＧＰＳ受信機１０８と同様であり得る。更なる例では、ＧＰＳ受信機２２０は、ＧＰＳ衛星または他のネットワークエンティティから受信したものとしてタイミング信号も出力し得る。このようなタイミング信号は、同じ衛星タイムスタンプを含む多数のデバイスにまたがる複数のセンサからの収集データを同期させるために使用され得る。

Ｗｉ−Ｆｉ／ＮＦＣ／Ｂｌｕｅｔｏｏｔｈ（登録商標）センサ２２２は、図１のコンピューティング装置１００について上述したように、Ｗｉ−Ｆｉ及びＢｌｕｅｔｏｏｔｈ（登録商標）規格に従って動作するように構成されるとともに、ＮＦＣ規格に従って、他の装置との接触または近接を介して無線通信を確立するように構成される、ワイヤレス通信コンポーネントを含むことができる。

プロジェクタ２２４は、環境にドットパターンを生成するパターン発生器を有するレーザ装置を有する立体照明プロジェクタであるかまたは含むことができる。プロジェクタ２２４は、ＲＳカメラ２１０と連動して動作して、環境内の物体の３次元（３Ｄ）特性といった、環境内の物体の奥行きに関する情報を回収するように構成され得る。例えば、別個の奥行きセンサ２２６が、周囲光条件下で３Ｄのドットパターンの画像データをキャプチャして、環境内において物体のある範囲を検知するように構成され得る。プロジェクタ２２４及び／または奥行きセンサ２２６は、投影されたドットパターンに基づいて物体の形状を判定するように構成され得る。一例として、奥行きセンサ２２６は、プロジェクタ２２ｒにドットパターンを生成させ、ＲＳカメラ２１０にそのドットパターンの画像をキャプチャさせるように構成され得る。奥行きセンサ２２６は、次に、そのドットパターンの画像を処理し、様々なアルゴリズムを使用して三角測量及び３次元データを抽出し、奥行き画像をコプロセッサ２３０に出力し得る。

温度センサ２２８は、温度をまたは、例えば、コンピューティング装置２００の周囲環境の温度変化などの温度勾配を測定するように構成され得る。
コプロセッサ２３０は、コンピューティングデバイス２００上のすべてのセンサを制御するように構成され得る。例では、コプロセッサ２３０は、ＩＲフラッシュ２１４とマッチさせるようにカメラ２０８、２１０、２１０の露光時間を制御し、プロジェクタ２２４のパルス同期、持続時間、及び強度を制御し、一般的には、センサのデータキャプチャまたは収集回収を制御し得る。コプロセッサ２３０は、センサからのデータを、アプリケーションプロセッサ２３２に適したフォーマットへと処理するように構成され得る。いくつかの例では、コプロセッサ２３０は、同じタイムスタンプまたはデータ収集時間（または時間）に対応する、いずれかのセンサからのすべてのデータを、アプリケーションプロセッサ２３２に提供される単一データ構造へとマージする。

アプリケーションプロセッサ２３２は、コンピューティングデバイス２００の他の機能を制御するように構成されてよく、例えば、コンピューティング装置２００がオペレーティングシステムまたはコンピューティング装置２００に格納された任意数のソフトウェアアプリケーションに従って動作するようにコンピューティング装置２００を制御し得る。アプリケーションプロセッサ２３２は、センサによって収集されコプロセッサから受信したデータを使用して多種類の機能性を実行し得る。アプリケーションプロセッサ２３２は、コプロセッサ２３０の出力を受信することができ、いくつかの例では、アプリケーションプロセッサ２３２は、ＧＳカメラ２０８及びＲＳカメラ２１０を含む、他のセンサからのロウ（未加工）データ出力を受信し得る。

第２のＩＭＵ２３４は、収集したデータを直接にアプリケーションプロセッサ２３２に出力してよく、その出力はアプリケーションプロセッサ２３２によって受信され、他のセンサにデータ収集を開始させるトリガとして使用され得る。一例として、第２のＩＭＵ２３４の出力は、コンピューティング装置２００のモーションを示すことができ、コンピューティング装置２００が動いている場合に画像データ、ＧＰＳデータ等を収集することが望ましい。したがって、アプリケーションプロセッサ２３２は、共通バスへの通信シグナリングを通して他のセンサをトリガして、ＩＭＵ２３４の出力がモーションを示す時刻でのデータを収集し得る。

図２に示されているコンピューティング装置２００は、複数のセンサ及び複数のプロセッサの各々の間に多数の通信バスを含み得る。例えば、コプロセッサ２３０は、通信用マルチマスタシリアルシングルエンドバスを含む集積回路間（Ｉ２Ｃ）バスを介して、ＩＭＵ２０２、ＧＳカメラ２０８、及びＲＳカメラ２１２の各々と通信し得る。コプロセッサ２３０は、ＩＭＵ２０２、ＧＳカメラ２０８、及びＲＳカメラ２１２の各々によって収集、測定、または検知されたロウデータを、同じＩ２Ｃバスまたは別の通信バスを介して受信し得る。コプロセッサ２３０は、多数の通信バスを介してアプリケーションプロセッサ２３２と通信することができ、当該多数の通信バスは、全二重モードで動作し得る同期シリアルデータリンクを含むシリアルペリフェラルインターフェース（ＳＰＩ）バス、Ｉ２Ｃバス、及び、カメラまたは画素情報を通信するように構成されるシリアルインターフェースを含むモバイルインダストリプロセッサインターフェース（ＭＩＰＩ）を含む。様々なバスの使用は、データ通信速度の需要、及び例えば対応する通信バスによって提供される帯域幅に基づいて決定され得る。

図４は、センサによって提供される情報を使用してマップを生成する方法４００のフローチャートである。センサによって提供された情報を使用してマップを生成するための他の例示的な方法も存在し得る。

方法４００は、ブロック４０２〜４１２のうちの１つまたは複数によって示される１つまたは複数の操作、機能、または動作を含み得る。これらのブロックはシーケンシャルに示されているが、いくつかの例ではこれらのブロックは、並列に、及び／または本明細書に記載したものとは異なる順序で実行され得る。また、所望の実装に基づいて、いくつかのブロックを少数のブロックへと合わせても、付加的なブロックに分割しても、及び／または除去し得る。

また、方法４００及び本明細書に開示される他のプロセス及び方法にとって、このフローチャートは、本実施形態の１つの可能な実現例の機能及び動作を示す。この点に関し、各ブロックは、１つのモジュール、１つのセグメント、または、当該プロセスの特定の論理的機能またはステップを実現するためにプロセッサによって実行可能な１つまたは複数の命令を含むプログラムコードの一部を示すことがある。プログラムコードは、例えばディスクやハードドライブを含む記憶装置等の任意種類のコンピュータ可読媒体またはメモリに格納され得る。コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ（ＲＡＭ）といったデータを短時間格納する、例えばコンピュータ読み取り可能な媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えば、読み出し専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）といった例えば、二次的または永続的な長期ストレージ等の非一時的媒体またはメモリも含み得る。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形のストレージ装置、または他の製造品と考えられ得る。

更に、方法４００及び本明細書で開示される他のプロセス及び方法にとって、図４の各ブロックは、当該プロセス中の特定の論理的機能を実行するように配線される回路を表すことができる。

ブロック４０２において、方法４００は、環境内において装置が第１の位置にあるときに複数のセンサからの１つまたは複数の出力を受信することを含み得る。特に、コンピューティング装置は、当該第１の位置に関連付けられた環境の視覚的特徴に対応する第１のデータセットを提供するセンサ出力を受信し得る。

複数の実施例において、図１、図２及び図３（Ａ）（Ｂ）に示した例示装置等の任意種類のコンピューティング装置が、様々なセンサから供給され得るセンサ出力内にキャプチャされる情報を受信するように構成され得る。例えば、コンピューティング装置は、ジャイロスコープ、加速度計、カメラ（ＧＳ／ＲＳ）、気圧計、磁力計、プロジェクタ、奥行きセンサ、温度センサ、グローバルポジショニングシステム（ＧＰＳ）、Ｗｉ−Ｆｉセンサ、近距離無線通信（ＮＦＣ）センサ、及びＢｌｕｅｔｏｏｔｈ（登録商標）センサ等の、各種コンポーネント及び各種センサを含むことができる。

各種センサは、環境に対応する、異なる種類の情報をキャプチャし得る。例えば、カメラシステムは、奥行き情報を含む画像を含み得る環境の画像をキャプチャするように構成され得る。コンピューティング装置のカメラシステムは、画像内に大量の情報を提供するように構成されてよく、その情報を高速取得速度で提供し得る。同様に、コンピューティング装置は、当該コンピューティング装置の動きに関する測定値をキャプチャするＩＭＵユニットを含み得る。更に、コンピューティング装置は、ＧＰＳを利用してグローバル座標に基づきコンピューティング装置の位置を判定してよく、及び／または、Ｗｉ−Ｆｉセンサ、近距離無線通信（ＮＦＣ）センサ及び／またはＢｌｕｅｔｏｏｔｈ（登録商標）センサを使用して、他のデバイス及び／またはサーバからの他の情報を受信し得る。また、コンピューティング装置は、他の種類の情報をキャプチャするための専用の様々なセンサを含み得る。

動作中に、コンピューティング装置は、様々なセンサによって提供される情報を、例えばセンサの種類に基づいて分析し得る。多数種類のセンサからの出力を利用するそのような実例では、コンピューティング装置は、カメラシステムでキャプチャされた画像を、ＩＭＵユニットによって提供される装置の動き情報と共に評価し得る。画像内に提供された情報と動き情報とを組み合わせて、コンピューティング装置は、例えば、環境内のコンピューティング装置の姿勢（例えば、位置及び向き）を判定し得る。同様に、別の例では、コンピューティング装置は、奥行きカメラ及びカラーカメラによってキャプチャされた情報を利用して、奥行きと、その奥行きに関連する対応する色の両方を網羅する画像を生成し得る。装置センサによって提供される出力の解析及び使用の他の例も存在し得る。

また、コンピューティングデバイスは、センサによって情報がキャプチャされると、その情報を機器の相対的位置及び／または向きと関連付けるように構成され得る。例えば、コンピューティング装置は、装置センサから環境に関する情報を受信し、その情報を、その受信の瞬間にＧＰＳ受信によって示される装置のグローバル座標情報と関連付けてよい。したがって、コンピューティング装置の位置及び／または向きを変えると（例えば、ユーザが装置を移動すると）、センサは、周囲環境についての情報をキャプチャすべく受信を継続してよく、コンピューティング装置は、当該コンピューティング装置が着信情報を解析できるようにし得る論理的コンテキストで環境を受信し得る。更に説明するために、コンピューティング装置は、当該装置が最初に電源投入された後で、環境に対応したデータポイントのキャプチャを開始し得るが、コンピューティング装置は、ＩＭＵユニットによって提供される重力方向に基づいたものであり得る環境における装置の位置及び／または向きに基づき、着信データポイントが以前に受信したデータポイントと関連し得ることを認識し得る。

一実装例では、コンピューティング装置は、環境内の第１の位置（例えば、初期位置）で様々なセンサからの出力（例えば、第１のデータセット）を受信し得る。センサは、例えばコンピューティング装置に情報を提供している様々なセンサを論理的にリンクする方法（例えば、何らかの形態の対応関係）で、情報を受信し得る。対照的に、別の例では、コンピューティング装置は、受信した情報を分類して可能性のあるリンクを判定するように構成され得る。また、例示の目的で、コンピューティング装置が第１の位置で情報を受信することは、屋外環境、建物内部、車両内部、及び他の場所等を含むがこれらに限定されない、いかなる種類の環境を含むことができる。一般的事項として、装置が環境にアクセスし得る限り、その装置センサはその環境に対応する情報を取得するように構成され得る。

更に説明するために、センサ出力は、例えば、第１の位置での環境内の物体に関連する測定値をコンピューティング装置に提供し得る。例えば、コンピューティング装置は、環境内の視覚的特徴に対応する情報を提供する出力を受信し得る。視覚的特徴は、センサは、それについての情報をセンサが迅速かつ効率的にキャプチャできる、物体や建物のコーナーまたは他の部分等の、環境内の目立った特徴を表すことができる。

いくつかの態様では、センサは、センサによる環境の第１の解析の間に環境内の視覚的特徴に対応する情報をキャプチャし得る。センサは、環境内の小さくあまり目立たない特徴に対応するデータポイントをキャプチャする前に、同じ環境のより目立つ特徴（例えば、視覚的特徴）に対応するデータポイントを取得し得る。環境内の目立つ特徴に対応する少数のデータポイントは、その環境内の疎マッピングに対応することができ、当該疎マッピングは環境内の目立つ特徴の基本的レイアウトを包含し得るものである。

また、コンピューティング装置が環境内で向き及び／または位置（例えば、姿勢）を変更すると、異なる装置センサが視覚的特徴を追跡し得る。視覚的特徴の追跡は、特徴及び／または環境の他の部分に対するコンピューティング装置の姿勢をコンピューティング装置が判定できるようにし得る。また、環境内の目立つ特徴の追跡は、センサがその目立つ特徴に対応する少なくともいくつかのデータポイントをコンピューティング装置に提供することを含むことができる。コンピューティング装置が環境内で位置または向きを変えるときに、センサは当該環境内でのコンピューティング装置の相対位置及び／または向きを依然追跡してよく、このことはコンピューティング装置の位置の判定に有用であり得る。環境内の装置の向きの追跡は、重力の方向に対するコンピューティング装置の向きを判定することを含むことができる。例えば、コンピューティング装置は、ＩＭＵユニットから重力情報を受信し、コンピューティング装置の位置を追跡するためにその重力情報を利用し得る。同様に、センサは、物体間の距離、コンピューティング装置と物体間の距離等の、物体及び／または環境に対応するより多くの情報を導出すべく視覚的特徴を追跡し得る。

一実装例では、装置は、一種類のセンサを使用して環境内の視覚的特徴を追跡し、他の種類のセンサを使用して情報をキャプチャし得る。同様に、装置は、多数センサを利用して特徴追跡及び／または情報キャプチャし得る。

ブロック４０４において、方法４００は、複数のセンサからの１つまたは複数の出力における対応関係に基づいて、第１のデータセットを表す疎マッピングデータを備える環境マップを生成することを更に含むことができる。特に、コンピューティング装置は、第１の位置にある装置に関連付けられた環境の視覚的特徴に対応するセンサによってキャプチャされた第１のデータセットを含む疎マッピングデータを含むように、環境マップを生成し得る。

疎マッピングデータを含む環境マップをセンサ出力に基づいて生成することは、コンピューティング装置が様々なマップ生成技術及び／またはマップ生成ソフトウェアを実行することを含むことができる。例えば、コンピューティング装置は、各種センサ（例えば、カメラ）から３Ｄ環境に対応する情報を受信し、その情報を２Ｄ表現へと変換し得る。３次元情報から２次元マップへの変換は、例えば、コンピューティング装置が投影プロセス及び／またはコンピュータビジョンソフトウェアを利用することを含むことができる。

一実装例では、コンピューティング装置は、装置が第１の位置でマップデータを最初に受信し始めたときにセンサによってキャプチャされたコンピューティング装置に対する環境内の目立つ視覚的特徴の位置及び／または配列を反映する疎マッピングデータに基づいてマップを作成し得る。疎マッピングデータは、装置センサの出力から導出される、環境内の視覚的特徴（例えば、物体の目立つ特徴）を示すデータポイントを包含し得る。一つのこうした例では、コンピューティング装置は、コンピューティング装置がセンサから環境に対応する他の種類の情報（例えば、密マッピング情報）を受信すると同時に、疎マッピングデータに基づいてマップを生成するように構成されることができる。別の例では、コンピューティング装置は、疎マッピングを使用してマップを生成する前に、センサからの環境に対応する出力を収集及び統合して、装置環境のいくつかの基本的側面を反映するように構成され得る。

コンピューティング装置は、環境中の同じ特徴からの情報をキャプチャすることを含み得る、いくつかの方法で対応するセンサの出力に基づいてマップを生成するように構成され得る。同様に、コンピューティング装置は、実施例中の所定のものであり得るいくつかの閾値に基づいて対応づけられるセンサの出力を更に要求し得る。例えば、コンピューティング装置は、同じ特徴を含む、所定の閾値を超える出力を要求し得る。センサ間の対応関係を判定するための技術を含む、対応関係の他の例も存在し得る。

一例示態様では、コンピューティング装置は、表示用の環境情報のグラフィック表現を装置に構築する方法で、疎マッピングを用いて環境マップを生成することができ、このマップ生成は、疎マッピングデータ内の受信した空間的関係性を使用して何らかの関係性（例えば、部屋間の距離）を示すことを含むことができる。疎マッピングデータは、例えば、物体間に及び／またはコンピューティング装置の異なる位置間に存在する関係性を示し得る。

一実装例では、生成された環境マップは、視覚的特徴に対応するデータを含むが他の特徴に対応するデータを含まないことがある。他の実装では、コンピューティング装置は、視覚的特徴に加えて、環境の付加的要素に対応するマップデータを提供する疎マッピングを含むようにマップを構成し得る。

更なる態様では、センサから受信した疎マッピングデータに基づいてマップを生成すると、コンピューティング装置は、生成マップを当該装置に搭載されるメモリ及び／またはリモートのクラウド（例えば、サーバ）に搭載されるメモリに格納し得る。例えば、コンピューティング装置は、生成した疎マッピングを、コンピューティング装置によって閉じたり開いたりできるアプリケーション内に格納し得る。また、装置は、疎マッピングデータ及び／または任意の他のマップを、他のエンティティの使用のため、他の装置及び／またはクラウド（例えば、サーバ）へ送信し得る。疎マッピングストレージの他の例も存在し得る。

ブロック４０６において、方法４００は、環境内において装置が第２の位置にあるときに複数のセンサからの１つまたは複数の追加の出力を受信することを含み得る。更に説明するために、コンピューティング装置は、装置の第２の位置に関連付けられた環境の視覚的特徴に対応する第２のデータセットを受信し得る。特に、コンピューティング装置は、例えば、他の環境に対応する追加の疎マッピングデータを受信し得る。

マップ生成用の情報をキャプチャ中のコンピューティング装置は、センサを通して環境情報をキャプチャしながら配向及び／または位置を変更し得る。一例では、コンピューティング装置は、装置が位置及び／または向きを変更するときを判定するように構成されてよく、重力の方向への組み入れ（factoring）を含み得る。更に、コンピューティング装置は、センサから新たな情報のセットを受信した場合、装置の姿勢（例えば、位置及び向き）のいかなる変化を追跡するように構成され得る。コンピューティング装置は、いずれの変化も新たな情報の受信に組み入れてよく（factor）、受信したセンサ出力を解析するときに装置の姿勢を使用し得る。装置の位置情報及び／または方向情報（例えば、ＩＭＵ出力）の使用は、更にコンピューティング装置が着信マップデータを整理できるようにし得る。コンピューティング装置は、疎マッピングデータが装置の環境を正確に反映し得るかどうかを判定するために、出力における対応関係を更に要求し得る。

特に、先に示したように、コンピューティング装置は、環境の第１の部分に対応する情報を受信することがあり、その後、環境の第２のまたは新たな部分に対応し得る、センサからの追加情報を受信し得る。コンピューティング装置は、センサからの環境情報の受信を継続するように構成されてよく、マップ生成用の情報を使用し得る。例えば、コンピューティング装置は、異なる複数の環境で追加の疎マッピングデータを受信し得る。

特に、方法４００または類似の方法を実行するコンピューティング装置は、装置が環境内で向き及び／または位置を変更すると、センサからの出力を受信することがある。本明細書で説明するように、コンピューティング装置は、初期位置で出力を受信した後に第２の位置でセンサからの出力を受信し得る。一例では、装置は、第１の位置で環境に対応する出力を受信し、同じ位置で環境に対応する、センサからの出力を受信し得る。２つの情報収集の時間のずれだけが差となり得る。

説明したように、装置は、装置が環境に対して姿勢を変更したときに、その環境内の視覚的特徴または他のポイントを追跡するように構成され得るセンサを含み得る。一例では、装置は、第１の位置で出力を受信してよく、その後引き続いて第２の位置で追加の出力を受信し得る。環境内の第１の位置と第２の位置との差は、全く相違点を生じさせないわずかな変更でもよく、顕著な変更であり得る。装置がセンサからの出力を受信する間のずれの範囲は、複数の実装間で異なり得る。

ブロック４０８において、方法４００は、第２のデータセットを表す疎マッピングデータを更に備えるように環境マップを修正することを更に含み得る。複数の実施例において、コンピューティング装置は、装置センサによって提供される着信マップデータに基づいて、生成マップの構築及び／または精密化（refine）を継続してよい。例えば、コンピューティング装置は、環境に対応する追加の疎マッピングデータを受信してよく、生成マップを、その受信した追加の疎マッピングデータに基づいて修正し得る。例えば、生成マップの修正は、コンピューティング装置によって実行される、マップデータの追加、削除、及び／または組み合わせを含み得る。

一実装例では、コンピューティング装置は、様々な環境に対応する１つまたは複数の装置センサからの複数の出力を受信し得る。それら出力内で、コンピューティング装置は、様々な環境内の視覚的特徴を表すデータポイントを含み得る疎マッピングデータを受信し得る。装置が環境に対する位置及び／または向きを変更すると、コンピューティング装置は、異なる疎マッピングデータを受信し得る。例えば、移動中のコンピューティング装置のセンサが、異なる環境に対応する、疎マッピングデータ等の、様々なマップデータを受信し得る。コンピューティング装置の向き及び／または位置のわずかな変化でさえ、異なるマップデータをセンサに受信させ得る。コンピューティング装置が新たなマップデータ（例えば、疎マッピングデータ）を受信すると、コンピューティング装置は、保存及び生成済みのマップを、着信した新たなマップデータに基づいて修正し得る。

例えば、コンピューティング装置は、装置が第１の位置に配置及び／または配向されると、環境に視覚的特徴に対応する疎マッピングデータを受信することがあり、装置が別の位置に配置及び／または配向されると、異なる環境の視覚的特徴に対応する疎マッピングデータを受信することがあり。

また、コンピューティング装置は、受信した疎マッピングデータの異なるセットに基づいて、複数の環境についての一つのマップを生成するように構成され得る。別の例では、装置は、環境が互いに区別できる場合（例えば、遠く離れている場合）に、複数のマップを生成し得る。同様に、コンピューティング装置は、装置が新たな位置に配置された場合にセンサによって取得された疎マッピングデータを含めるように、生成した環境マップを修正し得る。生成マップは、第１の環境及び新たな環境の両方からの視覚的特徴に対応するデータポイントを含み得る。生成マップを着信マップデータに基づいて改良するこのプロセスは、コンピューティングによって反復的に実行され得る。換言すれば、コンピューティング装置は、装置センサによって提供される着信マップデータを反映するようにマップを連続的に更新し得る。

別の実装では、コンピューティング装置は、新たに受信した疎マッピングデータを用いて、生成マップを更に改良（refine）し得る。例えば、コンピューティング装置は、センサ出力によって提供される情報から、疎マッピング情報が最後に環境からキャプチャされた時刻以後にその環境が変更されたことを判定し得る。このような状況では、コンピューティング装置は、以前に取得した疎マッピングデータに基づくマップを、その環境での最新の出力において受信した情報を反映するように変更することにより、受信したいくつかの疎マッピングデータを含めるようにマップを修正し得る。

生成マップの修正中に、装置は疎マッピングデータによって提供される視覚的特徴を使用し得る。装置は、更新、追加、減算及び／または改良すべき疎マッピングの部分を判定すべく、環境内の及び／または疎マッピング内の視覚的特徴を追跡し得る。

ブロック４１０において、方法４００は、複数のセンサの１以上を介して密マッピング情報を受信することを含むことができる。特に、コンピューティング装置のセンサは、密物質情報（dense matter information）が環境内の物体の相対的構造を表すような方法で、環境内の物体に対応するデータを提供する密マッピング情報をキャプチャし得る。

疎マッピングデータと同様に、コンピューティング装置は、様々な種類のセンサから密マッピング情報を受信し得る。例えば、ＧＳカメラ及び／またはＲＳカメラを含むカメラシステムが、コンピューティング装置の利用用に密マッピング情報をキャプチャし得る。異なる種類のカメラが、密マッピング情報の収集を支援するために、キャプチャした情報の組み合わせを利用し得る。

いくつかの例では、密マッピング情報をキャプチャするセンサは疎マッピングデータをキャプチャするセンサと同じであり得る。他の例では、疎マッピング情報をキャプチャするセンサではない異なるセンサが、密マッピング情報をキャプチャするように構成され得る。コンピューティング装置は、どの種類のセンサが疎マッピングデータをキャプチャしたかとともに、どの種類のセンサが密マッピング情報をキャプチャしたかを判定するように構成され得る。

密マッピング情報をキャプチャするセンサは、環境のより詳細情報をキャプチャするように構成され得る。センサは、環境内の目立つ視覚的特徴に関連するマップデータをキャプチャするよりも、物体に構造に対応する密マッピング情報をキャプチャするように構成され得る。また、密マッピング情報は、疎マッピングが含んでいない物体に対するデータポイントをキャプチャし得る。例えば、密マッピング情報は、より小型の物体及び／または物体の詳細に対応するデータポイントを含み得る。コンピューティング装置は、密マッピング情報を使用して、生成マップが環境内の物体の位置及び構造などの付加情報を含むように構成し得る。

ブロック４１２において、方法４００は、密マッピング情報を備えるように環境マップを修正することを含むことができる。特に、コンピューティング装置は、疎マッピングに加え、密マッピング情報を含めるように生成マップを修正し得る。生成マップが密マッピング情報を含むように修正することは、コンピューティング装置が様々な技術及び／またはプロセスを実行することを含み得る。例えば、コンピューティング装置は、疎マッピング内の視覚的特徴を、密マッピング情報内に設けられた同じ視覚的特徴に合致させることに基づいてマップを更新することがある。

一態様では、コンピューティング装置は、生成マップ及び／または疎マッピングを修正して、センサによってキャプチャされた、その環境についての密マッピング情報に基づく環境内の物体の構造及び位置を更に提供し得る。コンピューティング装置は、生成マップを修正するために、例えば、コンピューティング装置の姿勢及び座標等の追加の情報を組み入れ得る。

例示変更例のプロセスでは、コンピューティング装置は、マップの生成中に密マッピング情報を含めるようにマップを更新し得る。例えば、コンピューティング装置デバイスは、疎マッピング情報及び密マッピング情報の両方を同時に利用してマップを生成し得る。そのような例では、コンピューティング装置が疎マッピング情報を受信するときに、コンピューティング装置は、センサから密マッピング情報を受信し得る。コンピューティング装置はソフトウェアを使用して、受信した情報を解析し、受信した情報を反映したマップを生成し得る。

別の例では、コンピューティング装置は、奥行き画像をキャプチャ可能なカメラ及び何らかの形態の立体照明の使用を介して密マッピング情報をキャプチャし得る。コンピューティング装置は、当該照明及びカメラを使用して奥行き画像をキャプチャしてよく、その奥行き画像は、当該奥行き画像によってキャプチャされたコンピューティング装置の環境に対応する３Ｄジオメトリ情報を再構築するのに装置が使用し得る。コンピューティング装置が位置及び／または向きを変更すると、コンピューティング装置は、奥行き画像のキャプチャを継続してよく、また、推定軌跡ファクターを使用して、得られた異なる３Ｄ幾何学的情報をまとめて、例えば、マップとして存在し得る一つのグローバルフォーマットへと構成し得る。

その例において、コンピューティング装置は、ノイズを示す奥行きデータを特定するように構成され得る。ノイズの結果であり得る受信した奥行きデータの量を減少させるために、コンピューティング装置は追加の奥行き画像をキャプチャしてよく、それは、異なる位置及び／または向きからの、同じ環境空間の奥行き画像をキャプチャすることを含み得る。

また、いくつかの例では、奥行き画像は、環境のすべての部分をキャプチャしないことがある。このことが起こり得るのは、いくつかの質感（texture）はカメラを用いては測定できないかである。しかし、コンピューティング装置は、この不足部分を、当該コンピューティング装置が例えば別の位置及び／または別の向きに配置されたときにキャプチャされた追加の奥行き画像においてキャプチャし得る。同様に、他のセンサを使用してこの不足情報をキャプチャし得る。

いくつかの例では、コンピューティング装置は、同じ環境について事前に判定した疎マッピングデータに基づいて、密マッピング情報を判定し得る。また、コンピューティング装置は、占有データ構造などの、環境を標準形式の複数の領域に細分割するデータ構造を使用してよく、標準形式の領域は、環境を表現するために接続された多数の小さなボックスとして存在し得る。例えば、コンピューティング装置によって構成された、環境の小部分（例えば、１インチのサイズ）を表す各ボックスについて、コンピューティング装置は、そのボックスが占有されているかいないかの値を格納し得る。コンピューティング装置は、一つの物体が環境の特定の境域に配置されるかどうかに応じて、様々なボックスが充填されるべきか空であるべきかを判定し得る。そのような実例では、コンピューティング装置は、環境内の一つの物体を表すために充填すべき複数のボックスを１列に構成し得る。

また、コンピューティング装置は、環境内の同じ領域を複数回観測するように構成して、異なる観測間で不一致のボックスを判定し得る。コンピューティング装置は、様々な技術及び／またはソフトウェアを使用して、不一致の観察に基づいてボックスを充填すべきかどうかを判定し得る。例えば、コンピューティング装置は、より多くの観察がそれぞれのボックスが充填ではなく空であるべきと示すことを判定することがある。その場合、コンピューティング装置は、そのボックスが空であるべきと示す観察に従って進めるように構成され得る。

また、コンピューティング装置は、カメラ及び／または他のセンサからキャプチャした視覚的データも利用して密マッピング情報を更に生成し得る。例えば、コンピューティング装置に関連付けられた奥行きセンサが、円形状物体を提供し得る（例えば、丸みを帯びた物体を生成する）データ点を生成し得る。コンピューティング装置は、カメラからのデータを融合及び／または構成して、物体をよりシャープな画像で規定するためのエッジ情報を含み得る物体の３Ｄ構造を拡張し得る。当該シャープな画像は、物体が環境内に見えるときに、その物体をよりしっかりと反映することができる。コンピューティング装置は、収集した情報を使用して画像内の線を検出してよく、また、生成マップの精度を高めるべく、構造体の平面（例えば、床の壁）が交差する箇所を検出し得る。

コンピューティング装置によって生成された様々な環境のマップ表現は、環境のどの空間が占有されているかまたは空であるかにかかる情報をコンピューティング装置に提供し得る。同様に、コンピューティング装置は、生成マップによって提供される情報を利用して、可能性のある当該装置の軌道を判定してよく、このことは、オープンスペースと、物理的構造物によって占有されている可能性のある領域とからなる環境内の複数の領域についての信頼性をコンピューティング装置に提供し得る。

例えば、コンピューティング装置は、生成マップを使用して、環境内のある空間が壁に占有されている可能性があり、隣接する空間がコンピューティング装置が障害なく通過し得る空いた廊下である可能性がある、と判定することができる。

一実装例では、装置は有線または無線リンクを介して他の装置と通信して、それらの間で疎マッピング情報を送信及び受信し得る。装置は、複数の装置によるネットワークを利用して、そこに装置が存在したことのない環境を含み得る新たな環境に対応する疎マッピングを受信し得る。複数の装置によるネットワークは、例えば、通信セキュリティ機能を含むことができ、例えば、入るにはパスワードを必要としてよい。

別の例では、装置は、疎マッピングデータ及び／または密マッピング情報を有する、生成した更新済みのマップを利用して、環境に対する装置の位置を特定し得る。コンピューティング装置は、疎マッピングデータに基づいて環境内の視覚的特徴を解析してよく、及び／または、密マッピング情報によって提供される物体構造に基づいて位置を解析し得る。また、コンピューティング装置は、ＩＭＵユニット及び／または他のセンサによって提供される情報も使用して装置の位置を更に判定し得る。ＩＭＵユニットからの情報は、コンピューティング装置に、環境内の物体に対する当該装置の位置情報及び／または向き情報を提供することができ、コンピューティング装置は、生成マップと一緒にこの情報を使用して当該装置の位置を判定し得る。

更なる実装例では、コンピューティング装置は、奥行き画像をキャプチャできるカメラ及びカラー画像をキャプチャするように構成され得る別のカメラを備え得る。これら２つのカメラは、コンピューティング装置用のカメラシステム内で動作し、当該カメラシステムは、同じ環境に対応する画像をキャプチャするようにともに同期化されているこれらのカメラを含み得る。同様に、カメラシステムは、追加のカメラを含み得る。

この実装例では、コンピューティング装置は、カメラシステムから、奥行き画像と、当該奥行き画像に関連付けられたカラー画像とを受信し得る。当該異なる画像は、結果的にそれら２つの画像間の対応関係が得られる方法でキャプチャされ得る。また、コンピューティング装置は、奥行き画像からのキャプチャされた任意のジオメトリを、カラー画像からの適切な色でテクスチャード加工するように構成し得る。別の例では、コンピューティング装置は、奥行きと色の両方をキャプチャできる単一のカメラを含み得る。しかし、当該単一のカメラは、奥行きと色を同時にキャプチャしなくてよく、コンピューティング装置は、奥行き画像のキャプチャの前か後にキャプチャした色情報を使用して、その奥行き画像に色づけするように構成され得る。また、コンピューティング装置は、他の情報を使用して画像の色を登録し、任意の時点で奥行き画像に提供し得る。

別の実装例では、コンピューティング装置は、走行距離計測法を使用して当該コンピューティング装置の姿勢を判定してよく、当該走行距離計測法は、記憶された何らのデータ（例えば、生成マップ）を参照することなく使用され得る。コンピューティング装置が走行距離計測情報及び／または他の種類の情報を観測すると、コンピューティング装置は、観測した情報を、何らかのフォーマットのマップへとフォーマットし得る。例えば、コンピューティング装置は、装置センサを使用してＷｉ−Ｆｉアクセスのポイントを判定してよく、また、当該判定したＷｉ−Ｆｉアクセスのポイントをマップフォーマット内へ更に格納し得る。マップフォーマット内へのＷｉ−Ｆｉアクセスの格納は、例えば、疎マッピングデータ及び密マッピング情報を用いて構成し得る。

更に別の例示的な実施形態では、コンピューティング装置は、センサ情報を使用して建物に対応するマップを生成し得る。コンピューティング装置は、様々な情報を生成マップに格納してよく、当該情報は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、温度、音声フットプリント及び／または音響フットプリント、及び／または視界情報に関連する情報を含み得る。特に、視界情報は、環境内のハイコントラストの箇所（例えば、コーナー）に対応し得る。いくつかの実装では、視界情報は、コンピューティング装置が取得し得る疎マッピングデータと同じかまたは類似してよく、また、環境に対応する、任意数のデータポイントを含み得る。例えば、コンピューティング装置に関連づけられた単一のカメラは、環境に対応するデータポイントを収集してよく、また、それらデータポイントをコンピューティング装置の様々なコンポーネントに中継し得る。コンピューティング装置は、キャプチャしたデータポイントをマップ内の３Ｄデータへと変換してよく、局所環境に対応する特徴及び／または情報などの様々な情報がその３Ｄデータによってキャプチャされ得る。コンピューティング装置は、既にマップ内にキャプチャされた３Ｄデータに基づいて表面及び／または線（例えば、壁、表面）を構築するように密マッピング情報（例えば、奥行き情報）を追加し得る。

また、コンピューティング装置は、当該装置が次回その環境内に配置される間に及び／または当該装置が初めてその環境に入る間に、当該コンピューティング装置を再局在化するために、生成マップを使用し得る。この再局在化プロセスは、当該コンピューティング装置に、環境の相対的マッピング（例えば、コンピューティング装置に対する物体の位置及び向きに関する測定値）を提供し得る。更に、コンピューティング装置は、３Ｄマップデータを使用して、コンピューティング装置の移動経路及び／または他の情報を判定することのできる、アプリケーション挙動を導出し得る。

別の実装例では、コンピューティング装置は、センサからの情報を、再局在化のために、及び、環境における複数の３次元ポイントの特徴の三角測量のために使用し得る。コンピューティング装置は、異なる解像度を有する複数のカメラ（例えば、２台のカメラ）を使用してよく、奥行きカメラを含み得る。コンピューティング装置は、魚眼画像、及び／または、例えば、完全に正方形の画像を歪み解消補正するためのレンズパラメータを使用し得る。いくつかの例では、魚眼画像は歪んだ視界を有することができ、コンピューティング装置によって正常な画像へと歪み解消補正され得る。同様に、コンピューティング装置は、通常のカメラからの魚眼レンズの視野角（例えば、１７０度）の差分に基づいて魚眼画像を処理し得る。

図５は、例示的なマップを表示する例示のコンピューティング装置の概念図である。方法４００内で示されるように、コンピューティング装置は、センサからの情報をキャプチャして環境の疎マッピングを含むマップを生成するように構成され得る。特に、図５に示すコンピューティング装置５００は、センサによって提供される情報中にキャプチャされた環境の目立つ視覚的特徴に基づく疎マッピングを含むマップを表示する。コンピューティング装置５００によって表示される疎マッピングは、説明目的のための例として機能し、他の実施例では、環境のより多くのまたはより少ない特徴を含み得る。

図５に示すように、コンピューティング装置は、実在可能性のある物体５０２−５０６及びコーナー５０８−５１０に対応する視覚的特徴を包含し得る例示の疎マッピングデータを含むマップを表示している。この例では、疎マッピングは、壁のコーナー５０８−５１０等の環境内の目立つ視覚的特徴に対応するものであり得るデータポイントを提供する。他の例では、コンピューティング装置は、環境の高レベル記述を参照する、より多くのまたはより少ない疎マッピングデータを含む生成マップを表示し得る。例えば、コンピューティング装置５００は、環境内のより多くの視覚的特徴に対応するデータポイントを含み得る。

図示した疎マッピングを含むマップを生成するために、コンピューティング装置５００は、装置センサから出力を受信し得る。この出力は、装置が異なる位置及び／または向きにあるときにセンサによってキャプチャされたものであり得る、環境に対応する情報をキャプチャし得る。例えば、装置が位置を変更しながらセンサがマップデータをキャプチャすると、センサは、物体のコーナー及び／または境界線等の、環境の特定の特徴を追跡し得る。視覚的特徴としても知られるこれら特定の特徴は、コンピューティング装置及び／またはセンサがマップデータを収集しながら利用することができる追跡ポイントとして機能し得る。

特に、視覚的特徴は環境内の目立つ要素であり得るので、センサが当該特徴に対応する情報をキャプチャするのに要する電力及び／または時間はより低下し得る。言い換えれば、センサは、基本的情報を提供し得る環境の基本マップ（例えば、疎マッピング）を生成するために、環境内の目立つ特徴に対応する情報を最初にキャプチャし得る。例えば、コンピューティング装置は、視覚的特徴に応じた基本的情報を表示する、環境の高レベルマップを生成し得る。疎マッピング内の視覚的特徴は大型物体の概略位置を示すことができ、また、本明細書に記載のように、より詳細なマップ生成用の初期トップ層情報として提供され得る。

同様に、コンピューティング装置５００によって表示される疎マッピングは、ユーザ、コンピューティングデバイス、及び／またはセンサが利用するための、初期マップとして機能することができる。例えば、コンピューティング装置５００は、疎マッピングにキャプチャされた情報、環境内の近隣の視覚的特徴、及び／または、ＩＭＵユニットからの装置モーション情報を解析して、装置の位置を判定し得る。コンピューティング装置は、環境内の視覚的特徴に対する当該装置の姿勢、及び／または、ＩＭＵユニットまたは他のセンサによってキャプチャされた情報を使用することを判定するように構成され得る。

図５に示すように、コンピューティング装置に関連付けられたセンサは、コンピューティング装置が環境に対する向きを変更すると、その環境内の物体、本棚、壁、及び／または他の目立つ特徴のコーナーを追跡し得る。コンピューティング装置は、そのセンサから視覚的特徴についてのデータを受信し、その受信したデータに基づいて疎マッピングを生成し得る。

また、コンピューティング装置は、環境の境界及び輪郭を提供するように疎マッピングを生成し得る。視覚的特徴は、疎マッピングに対して構築するためのベースとして機能し得る。例えば、コンピューティング装置は、環境内の視覚的特徴に関連する位置、向き、及び／またはその他の因子の確立後に、疎マッピングに追加の詳細を追加し得る。

図６は、一実装例に従うコンピューティング装置上の他の例示マップを示す。図６のコンピューティング装置６００によって表示されるように、この例示マップは、疎マッピングデータとともに密マッピング情報を含む。図５に示される疎マッピングと同様に、コンピューティング装置６００によって示されるマップは、壁のコーナー及び／または物体の境界線等の視覚的特徴を含み、また、センサから受信した出力内にキャプチャされた密マッピング情報によって提供される追加の詳細も含む。また、図６の装置によって示される生成マップで表される環境は、図５の装置によって示される生成マップのものと同じ環境である。しかしながら、他の例では、生成マップは、例えば、異なる環境に対応してもよいし、その環境のより多くのまたはより少ない要素を含んでもよい。

この例示装置によって湿れるマップによって提供されるように、密マッピング情報を含むマップは追加情報を含むことができる。センサによってキャプチャされた密マッピング情報は、環境内の物体に基づく任意数のデータポイントを含むことができる。例示目的のため、コンピューティング装置６００によって表示されるマップは、環境内の物体の実際の境界線及び位置に密接に合致する多数のデータポイントを含む密マッピング情報を含む。しかしながら、他の実施例では、コンピューティング装置は、より少ない密マッピング情報を含むマップを生成することができる。例えば、このマップは、環境の疎マッピング内に示される視覚的特徴に加えて、追加の物体に対応するデータポイントを表示し得る。

特に、コンピューティング装置６００は、建物内の部屋に対応する情報を含むマップを表示する。更なる説明のため、この例示マップは、テーブル６０２、小テーブル６０４、ドア６０６、及び本棚６０８に対応するデータポイントを表示する。このマップは、これら構成要素の位置及び構造を反映する多数のデータ点を含む。例えば、コンピューティング装置６００に示される生成マップは、テーブル６０２−６０４の脚を表示するデータポイントを含む。これは、これらのテーブルを詳細表示ではなく３Ｄブロックとして表示する、図５に示す、疎マッピングベースのマップとは異なる。同様に、図６に示した生成マップは、本棚６０８に対応する密マッピング情報も含む。

コンピューティング装置６００は、環境内のより多くの物体に対応し得る追加の密マッピング情報をキャプチャするように構成され得る。同様に、密マッピング情報は、環境内の物体に奥行き及び質感を更に提供し得る。コンピューティング装置６００は、立体照明とともに奥行きカメラを使用するといった様々な技術及び／またはセンサを用いて密マッピング情報をキャプチャし、図６に示された生成マップに組み入れ得る。

また、この例示生成マップは、図５の疎マッピングには示されていないドア６０６に対応するデータポイントを表示する。センサによってキャプチャされた密マッピング情報は、コンピューティング装置が生成マップ内で利用できりょうに、環境に対する追加の詳細をキャプチャし得る。ドア６０６を示すデータポイントは、密マッピング情報がキャプチャする詳細の例として機能する。他の例も同様に存在し得る。

いくつかの実装では、このマップは、追加情報及び／またはより少ない情報を含むことがある。例えば、コンピューティング装置６００によって表示されるマップは、本棚６０８に対応する情報を含まないことがある。というのは、本棚６０８は、コンピューティング装置によってセンサデータ内で追跡されないことがあるからである。コンピューティング装置は、追加のまたはより少ない疎マッピングデータを含めるように生成マップを構成してよく、及び／または、他のデータを含めるように密マッピング情報を構成し得る。

図７は、一実装例に従う例示マップの概観を示す。図７に示す例では、コンピューティング装置７００は、環境（例えば、住宅）の鳥瞰図を示す作成マップ７０２を表示している。

図７の例に示されるように、生成マップは、何らかの形態の意味（semantic）マッピングとして存在することがあり、それは、環境（例えば、建物の部屋）の様々な領域に対する識別の提供を含むことができる。

特に、コンピューティング装置７００は、家の中の部屋の境界を近似的に輪郭線で描いたマップを表示する。また、コンピューティング装置７００に表示された生成マップ７０２は、様々な部屋の標識を含む。コンピューティング装置は、部屋内の物体の検出に基づいて部屋を特定するように構成され得る。例えば、コンピューティング装置は、センサ情報を用いてある部屋のベッドを識別し、その部屋を生成マップ内の寝室として識別することができる。更に、コンピューティング装置は、ユーザが生成マップに示される物体及び／または空間を更に識別できるようにし得る。これにより、例えば、ユーザの家に基づいて生成されたマップをユーザがカスタマイズできるようになる。

更に、マップ７０２は、当該マップ７０２に応じたコンピューティング装置７００の位置を示すドット７０４も含む。このマップ７０２は、コンピューティング装置７００の位置を提供する他の手段を使用し得る。この位置は、ＩＭＵユニット等のセンサによってキャプチャされた情報に基づいてよく、及び／または、生成マップに基づく物体検出に基づいてよい。

一実装例では、ユーザはコンピューティング装置７００によって提供される概観マップ７０２を目視して、位置ドット７０４によって示されるコンピューティング装置７００の位置を判定することができる。例えば、コンピューティング装置７００がオフにされ、そして、再度電源投入された後に位置を判定するように構成され得る。コンピューティング装置７００は、マップ７０２によって提供される情報を利用して当該装置の位置を判定し得る。特に、コンピューティング装置７００は、モーション情報などの、センサによってキャプチャされた情報を利用して当該装置の姿勢及び位置を判定し、また、生成マップ７０２を使用して当該装置の位置及び／またはユーザが進む必要のある方法を判定し得る。コンピューティング装置は、マップ７０２によって提供される情報の使用に基づいて様々な経路を判定し得る。

更に、コンピューティング装置は、領域及び／または場所の関係性を、３Ｄ空間に及び／またはトポロジ情報の表現として記憶し得る。トポロジ情報は、例えば、環境内の物体及び空間の形状に関係し得る。トポロジ情報は、連結性、連続性、及び境界といった、空間の特性に関する情報も含み得る。例えば、コンピューティング装置は、トポロジ情報を使用して、環境内の特定の領域間の空間的関係性を判定することができ（例えば、バスルームに接続される廊下に接続されたベッドルームなど）、コンピューティング装置が実際の距離を知らない場合などに有用であり得る。

図８は、例示の複数のコンピューティング装置と通信する例示クラウドの概念図である。特に、図８に示した例は、複数のコンピューティング装置８０２−８０６と通信しているクラウド８００を含む。図８に示す例では、複数のコンピューティング装置と通信しているクラウド８００を示すが、当該クラウド８００の機能を他のエンティティ（例えば、物理サーバ）が担ってもよい。本明細書に記載したクラウド８００は、例示目的のためであり、これに限定されるものではない。

図８に示すように、クラウド８００は、コンピューティング装置に対して情報を送信及び受信するように構成され得る。クラウド８００は、例えば、一つのサーバによってまたは複数のサーバのネットワークによって作成及び維持され得る。クラウド８００は、複数のコンピューティング装置にわたって存在してよく、様々な形態のメモリを利用し得る。また、クラウド８００は、様々な要因に基づくコンピューティング装置へのアクセスを制限し得る、セキュリティ制限を持つように構成され得る。例えば、コンピューティング装置は、通信リンクを確立するために、パスワードまたは何らかの他の形態の識別情報をクラウド８００に提供する必要があり得る。いくつかの例では、クラウド８００は、情報を提供するように構成されるが、情報を受信するように構成されなくてもよい。同様に、クラウド８００は、装置に情報を送信するための許可及び／または構成要素を有することなく情報を受信するように構成され得る。

図８は、クラウド８００に加えて、モバイルコンピューティング装置として構成されているコンピューティング装置８０２−８０６を示す。他の例では、コンピューティング装置８０２−８０６は、図１、図２、図３（Ａ）（Ｂ）に示す例示コンピューティング装置を含め、情報を送信及び／または受信し得る任意種類のコンピューティング装置を含むことができる。特に、コンピューティング装置８０２−８０６は、例えば電磁ワイヤレス通信（例えば、無線）といった様々な通信手段を介して、他の装置及び／またはクラウドと通信し得る。

一実装例では、各コンピューティング装置８０２−８０６は、センサを用いて環境についての情報を取得し、取得した情報に基づいてマッピングデータを生成し得る。前述したように、コンピューティング装置は、コンピューティング装置が様々な位置及び／または向きにあるときに、センサからの情報の受信を通じてマップデータを生成し得る。コンピューティング装置は、環境内の視覚的特徴に対応する疎マッピング情報、及び、視覚的特徴に加え、環境内の物体についての詳細を提供する密マッピング情報を含み得る、マップデータを構築することができる。コンピューティング装置がマップデータを生成すると、コンピューティング装置は、例えば、記憶のためにクラウド８００にそのデータを送信し得る。コンピューティング装置は、限定ではないが、環境内の空間の視覚的特徴、密マッピング情報、及び、当該様々な情報をキャプチャする時の環境に対するコンピューティング装置の姿勢といった、環境に関する情報を送信し得る。例えば、コンピューティング装置は、クラウドが参照用フレーム（例えば、コンピューティングデバイスの位置についての知識）を持てるように、マップデータに加え、当該装置のグローバル座標をクラウドに提供し得る。

図８に示すように、クラウド８００は、複数の装置からマップデータ及びその他の情報を受け入れるように構成され得る。一態様では、クラウド８００は、当該クラウド８００と通信する複数の装置の各々に対する、個別のストレージとして動作するように構成され得る。特に、クラウド８００は、受信した様々なマップデータを融合させずに、対応する個々のコンピューティング装置毎にマップデータを受信及び記憶し得る。この場合、コンピューティング装置８０２−８０６は、クラウド８００に記憶されたマップデータ及び／または他の情報に、様々な理由でアクセスし得る（例えば、コンピューティング装置が、当該装置のメモリ上のデータを誤って消去した等）。

別の態様では、クラウド８００は、複数のデバイスのセンサから収集された情報に基づくマップを生成するために、複数の装置から受信したマップデータを統合するように構成され得る。いくつかの例では、クラウド８００は複数の装置によって提供される情報を利用するので、クラウド８００は、個々のコンピューティング装置上に位置するマップよりも多くの情報を含むマップを生成し得る。クラウド８００は、それぞれの装置センサによってキャプチャされた環境に基づく任意数の環境に対応する情報を含むマップを生成し得る。また、クラウドは、複数の装置からのマップデータ及び／または他の情報をリアルタイムで蓄積（accumulate）してよく、またはこうした情報を時限プロセスを適用して受信し得る。

更に、クラウドは、マップデータを、特定のデバイスに接続されているものとして記憶してよく、または、対応する装置にデータを特異的にリンクさせずにマップデータをグループ化してよい。したがって、複数の装置から収集された情報は、特定の装置によって収集されたものとしてのマップを連結することなしでマップ演算を生成するために集約し得る。

クラウドが装置への情報及びマップデータを格納する場合には、クラウドは、アクセスを有する他の装置なしで、当該装置がそのマップ及び情報にアクセスできるメモリとして機能し得る。別の例では、クラウドは、複数の装置から収穫した任意の情報へのアクセスを、全ての装置に提供するように構成され得る。いくつかの例では、クラウドは、集約情報及び／またはマップにアクセスするために装置がクリアすべき何らかの識別処理を要求することがある。そのクラウドはパスワードを要求してよく、または装置にリンクされた識別コードを格納または記憶してよい。

複数の実施例において、クラウド８００は、例えば、様々な装置プラットフォーム上で動作する多数の装置を含む複数の装置からの情報及び／またはマップデータを受信し得る。クラウドは、その情報を集約し、装置から受信した様々なマップを整理して大型マップを生成し得る。クラウド８００は、複数の装置からの環境観測値を受信してその共同生成マップを変化させ得る。

一つのこうした例では、クラウド８００は、装置からの新たな観測値を直ちに利用しなくてもよいが、同じ情報を含む繰り返しの観察を要求してクラウド８００に観測値をその生成マップ演算に利用させてもよい。例えば、クラウド８００は、家具が建物位置内で配置換えされたという情報を受信することがある。このクラウドはその建物に対応するマップを既に有していることがあり、装置から受信した新たな観測値が既存のマップデータと不一致であるかを判定し得る。或るケースでは、クラウド８００は、建物内の新たな地点に配置されたその家具を示す受信した新たな観測値を反映させるようにマップデータを更新することができる。しかし、いくつかの例では、クラウド８００は、装置によって観測されたその新たな場所にある家具を反映するようにマップデータを修正する前に、その家具の配置変更を反映した多数の観測値を受信するように構成され得る。

一実装例では、クラウド８００は、当該クラウド内の記憶済みマップデータに対する更新を、所定の基準により装置に提供し得る。例えば、クラウド８００は、装置がマップデータの利用を要求する毎に、その装置のマップを更新し得る。同様に、クラウドはリアルタイムで連続的に装置のマップを更新し得る。他の例では、クラウドは、定期的にまたは何らかの他の所定スケジュールで、装置のマップを更新し得る。他の更新処理も同様に存在し得る。

更に、クラウド８００は、何らかの形態の意味マッピングを実行することができ、それは空間の特定を含むことがある。クラウド８００及び／またはコンピューティング装置は、環境の空間及び／または領域を、３Ｄジオメトリ及び／または潜在的な使用に基づいて、識別し得る。例えば、コンピューティング装置は、トイレを備える部屋がバスルームとして識別されることを判定し得る。コンピューティング装置及び／またはクラウド８００は、部屋に係る識別情報をマップデータ内に格納し得る（例えば、バスルームの標識）。コンピューティング装置は、装置に対する特定の部屋の位置を判定するためのマップ（例えば、バスルームの場所がどこか）を提供し得る。

本明細書に記載の構成は例示のみを目的とすることが理解されるべきである。例えば、当業者は、他の構成及び他の要素（例えば、機械、インターフェース、機能、順序、機能のグループ化等）を使用し得ると理解するであろうし、いくつかの要素は、所望の結果に応じて省略され得る。更に、記載した多くの要素は、個別のまたは分散されたコンポーネントとして実装することができるか、または、任意の適切な組み合わせ及び場所で他のコンポーネントと連携して実装することができる、機能的エンティティである。

様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書で開示される様々な態様及び実施形態は例示の目的のためであり、限定することを意図するものではなく、真の範囲は、特許請求の範囲の均等物の全範囲と共に以下の特許請求の範囲によって示される。また、本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、限定することを意図するものではないと理解すべきである。

詳細についての多くの修正、変形、及び変更が、記載した例に対して行うことができるので、上述の説明及び添付の図面に示されたすべての事項は、限定的な意味ではなく例示として解釈されると意図される。

Claims (20)

1. 複数のセンサを有する装置によって実行される方法であって、
   環境内において前記装置が第１の位置にあるときに、前記複数のセンサからの１つまたは複数の出力であって、前記第１の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含む前記１つまたは複数の出力を受信し、
   前記複数のセンサの前記１つまたは複数の出力の対応関係に基づき、前記第１のデータセットを示す疎マッピングデータを含む前記環境のマップを生成し、
   前記環境内において前記装置が第２の位置にあるときに、前記複数のセンサの１つまたは複数の追加の出力であって、前記第２の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第２のデータセットを含む前記１つまたは複数の追加の出力を受信し、
   前記第２のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正し、
   前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの１以上を介して受信し、
   前記密マッピング情報を備えるように前記環境の前記マップを修正すること
   を備える、方法。
2. 複数の装置から集約した複数の環境に対応する、疎マッピングデータ及び密マッピング情報を備える追加データをサーバから受信し、
   前記追加データに基づき、前記環境に対応する前記疎マッピングデータ及び前記密マッピング情報を備えるように前記環境の前記マップを修正することを更に備える、請求項１に記載の方法。
3. 前記複数のセンサは、ジャイロスコープ、加速度計、カメラ、気圧計、磁力計、グローバルポジショニングシステム（ＧＰＳ）、Ｗｉ−Ｆｉセンサ、近距離無線通信（ＮＦＣ）センサ、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）センサのうちの１つまたは複数を含む、請求項１に記載の方法。
4. 前記密マッピング情報内の１つまたは複数の物体に基づき、前記環境内の領域の識別を判定し、
   前記環境の前記領域の前記識別を、前記環境の前記マップ内に提供することを更に備える、請求項１に記載の方法。
5. 前記環境の前記第１の位置と前記環境の前記第２の位置との関係性であって、前記環境に対応するトポロジ情報を含む前記関係性を判定し、
   前記関係性に関連付けられた情報を前記疎マッピング内に提供することを更に備える、請求項１に記載の方法。
6. 前記密マッピング情報を前記複数のセンサの１以上を介して受信することは、前記環境の奥行き画像をキャプチャするように構成されたカメラシステムを介して前記密マッピング情報を受信することを備える、請求項１に記載の方法。
7. 前記奥行き画像に基づき、前記環境の少なくとも一部の３次元ジオメトリを生成することを更に備える、請求項６に記載の方法。
8. 前記環境内の一つまたは複数の移動する物体に対応する、前記疎マッピング内のデータを前記複数のセンサの１以上を介して特定し、
   前記一つまたは複数の移動する物体に対応する、前記疎マッピング内の前記データを除去することを更に備える、請求項１に記載の方法。
9. 前記環境内の前記１つまたは複数の視覚的特徴と重力の方向とに対する前記装置の向きを含む前記装置の姿勢を、前記複数のセンサの１以上を介して判定し、
   前記疎マッピング内の前記１つまたは複数の視覚的特徴の地理的位置を特定し、
   前記装置の前記姿勢と前記環境内の前記１つまたは複数の視覚的特徴の前記地理的位置とに少なくとも部分的に基づき、前記環境における前記装置の相対位置を判定することを更に備える、請求項１に記載の方法。
10. 前記密マッピング情報を前記複数のセンサの１以上を介して受信することは、
    少なくとも1つのカメラ及び立体照明センサを介して、前記環境及び前記装置に対する１つまたは複数の異なる角度から前記密マッピング情報をキャプチャすることを含む、請求項１に記載の方法。
11. 前記第２のデータセットを示す疎マッピングデータを備えるように前記環境の前記マップを修正することは、
    前記第２の位置に関連付けられた前記環境の１つまたは複数の視覚的特徴と、前記第１の位置に関連付けられた前記環境の１つまたは複数の視覚的特徴との対応関係を判定し、
    前記対応関係が閾値を超えることに基づき、前記疎マッピングデータを備える前記環境の前記マップが前記第２のデータセットを更に備えるように修正することを更に備える、請求項１に記載の方法。
12. システムであって、
    複数のセンサと、少なくとも一つのプロセッサと、指令を格納したメモリとを備え、前記指令は、前記少なくとも一つのプロセッサによって実行されると前記システムに、
    環境内において前記装置が第１の位置にあるときに、前記複数のセンサの１つまたは複数の出力であって、前記第１の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含む前記１つまたは複数の出力を受信すること、
    前記複数のセンサの前記１つまたは複数の出力の対応関係に基づき、前記第１のデータセットを示す疎マッピングデータを含む前記環境のマップを生成すること、
    前記環境内において前記装置が第２の位置にあるときに、前記複数のセンサの１つまたは複数の追加の出力であって、前記第２の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第２のデータセットを含む前記１つまたは複数の追加の出力を受信すること、
    前記第２のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正すること、
    前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの１以上を介して受信すること、
    前記密マッピング情報を備えるように前記環境の前記マップを修正すること
    を備える複数の機能を実行させる、システム。
13. 前記複数の機能が、
    複数の装置から集約した複数の環境に対応する、疎マッピングデータ及び密マッピング情報を備える追加データをサーバから受信すること、
    前記追加データに基づき、前記環境に対応する前記疎マッピングデータ及び前記密マッピング情報を備えるように前記環境の前記マップを修正することを更に備える、請求項１２に記載のシステム。
14. 前記複数の機能が、
    前記環境内の前記１つまたは複数の視覚的特徴と重力の方向とに対する前記装置の向きを含む前記装置の姿勢を、前記複数のセンサの１以上を介して判定すること、
    前記疎マッピング内の前記１つまたは複数の視覚的特徴の地理的位置を特定すること、
    前記装置の前記姿勢と前記環境内の前記１つまたは複数の視覚的特徴の前記地理的位置とに少なくとも部分的に基づき、前記環境における前記装置の相対位置を判定することを更に備える、請求項１２に記載のシステム。
15. 指令を格納した非一時的なコンピュータ可読媒体であって、前記指令は、コンピューティング装置によって実行されると前記コンピューティング装置に、
    環境内において前記コンピューティング装置が第１の位置にあるときに、前記複数のセンサの１つまたは複数の出力であって、前記第１の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第１のデータセットを含む前記１つまたは複数の出力を受信すること、
    前記複数のセンサの前記１つまたは複数の出力の対応関係に基づき、前記第１のデータセットを示す疎マッピングデータを含む前記環境のマップを生成すること、
    前記環境内において前記コンピューティング装置が第２の位置にあるときに、前記複数のセンサの１つまたは複数の追加の出力であって、前記第２の位置に関連付けられた、前記環境の１つまたは複数の視覚的特徴に対応する第２のデータセットを含む前記１つまたは複数の追加の出力を受信すること、
    前記第２のデータセットを示す疎マッピングデータを更に備えるように前記環境の前記マップを修正すること、
    前記環境内の物体の相対構造を表す方法で前記環境内の前記物体に対応するデータを備える密マッピング情報を、前記複数のセンサの１以上を介して受信すること、
    前記密マッピング情報を備えるように前記環境の前記マップを修正すること
    を備える複数の機能を実行させる、非一時的なコンピュータ可読媒体。
16. 前記密マッピング情報を前記複数のセンサの１以上を介して受信する機能は、
    前記環境の奥行き画像をキャプチャするように構成されたカメラシステムを介して前記密マッピング情報を受信することを備える、請求項１５に記載の非一時的なコンピュータ可読媒体。
17. 前記複数の機能は、
    前記複数のセンサから受信した追加の出力に基づき、前記環境の前記マップを連続的に更新することを更に備える、請求項１５に記載のコンピュータ可読媒体。
18. 前記環境の前記マップは、３次元ジオメトリ及び前記環境内の１つまたは複数の領域の１つまたは複数の物体に基づき、前記環境の前記マップにおいて前記１つまたは複数の領域を特定する意味マッピング情報を更に含む、請求項１５に記載のコンピュータ可読媒体。
19. 前記複数のセンサの１以上を介して密マッピング情報を受信する機能は、
    １つまたは複数の奥行きセンサを介して前記環境内の１つまたは複数の物体に対応するデータを受信すること、
    カメラによってキャプチャされた画像で１つまたは複数の物体に対応する前記データを立体形状化して、密マッピング情報を生成することを備える、請求項１５に記載のコンピュータ可読媒体。
20. 前記複数の機能は、
    １つまたは複数のＷｉ−Ｆｉアクセスポイントを示すデータを受信すること、
    前記１つまたは複数のＷｉ−Ｆｉアクセスポイントを示す前記データを更に含めるように、前記環境の前記マップを修正することを更に備える、請求項１５に記載のコンピュータ可読媒体。