JP2022539160A - 平面抽出を使用した単純環境ソルバ - Google Patents

Abstract

環境を再構築するための方法が、提供される。本方法は、短処理時間および算出リソースおよび記憶空間の低使用量を伴って、様々なＸＲアプリケーションに、環境のフレッシュかつ正確な３Ｄ再構築データを利用可能にする。３Ｄ再構築データは、マルチユーザ体験のために、ユーザ間で効率的に共有されるように構造化される。本方法は、環境の面区画を取得するステップと、例えば、面区画をフィルタリングおよび群化することによって、またはユーザによる面区画のアドホックな選択によって、環境の表面平面を識別するステップと、表面平面に基づいて、環境の角点を推測するステップとを含む。角点は、ＸＲアプリケーションが要求するとき、環境の３Ｄ表現を構築するために使用される。

Description

本願は、概して、３Ｄ世界再構築を使用して、場面をレンダリングする、クロスリアリティシステムに関する。

コンピュータは、ヒューマンユーザインターフェースを制御し、ユーザによって知覚されるにつれて、ＸＲ環境の一部または全部がコンピュータによって生成される、Ｘリアリティ（ＸＲまたはクロスリアリティ）環境を作成し得る。これらのＸＲ環境は、ＸＲ環境の一部または全部が、部分的に、環境を説明するデータを使用して、コンピュータによって生成され得る、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）環境であり得る。本データは、例えば、ユーザが、物理的世界の一部として、感知または知覚し、仮想オブジェクトと相互作用し得るようにレンダリングされ得る、仮想オブジェクトを説明し得る。ユーザは、例えば、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通してレンダリングおよび提示されているデータの結果として、これらの仮想オブジェクトを体験し得る。データは、ユーザに見えるために表示され得る、またはユーザに聞こえるために再生される、オーディオを制御し得る、または触知的（または触覚的）インターフェースを制御し、ユーザが、仮想オブジェクトを感じるにつれて、ユーザが感知または知覚する、タッチ感覚を体験することを可能にし得る。

ＸＲシステムは、科学的可視化、医療訓練、工学設計、およびプロトタイプ化、遠隔操作およびテレプレゼンス、および個人的娯楽の分野に及ぶ、多くの用途のために有用であり得る。ＡＲおよびＭＲは、ＶＲと対照的に、物理的世界の実オブジェクトと関連して、１つ以上のオブジェクトを含む。実オブジェクトと相互作用する、仮想オブジェクトの体験は、ＸＲシステムを使用する際、ユーザの享受を大幅に向上させ、また、物理的世界が改変され得る様子についての現実的かつ容易に理解可能な情報を提示する、種々の用途のための可能性を広げる。

ＸＲシステムは、本システムのユーザの周囲の物理的世界を「メッシュ」として表し得る。メッシュは、複数の相互接続された三角形によって表され得る。各三角形は、各三角形が表面の一部を表すように、物理的世界内のオブジェクトの表面上の点を継合する、縁を有する。色、テクスチャ、または他の性質等の表面の部分についての情報は、三角形内に関連付けて記憶され得る。動作時、ＸＲシステムは、メッシュを作成または更新するように、画像情報を処理し、点および表面を検出し得る。

本願の側面は、コンピュータ生成オブジェクトを含有する環境を迅速に生成するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。

いくつかの実施形態は、ポータブル電子システムに関する。ポータブル電子システムは、物理的世界についての情報を捕捉するように構成される、センサと、少なくとも部分的に、物理的世界についての捕捉された情報に基づいて物理的世界の一部の３次元（３Ｄ）表現を算出するためのコンピュータ実行可能命令を実行するように構成される、プロセッサとを含む。コンピュータ実行可能命令は、複数の面区画（ｐｌａｎｅ ｓｅｇｍｅｎｔ）をセンサ捕捉情報から抽出するステップと、少なくとも部分的に、複数の面区画に基づいて、複数の表面平面を識別するステップと、少なくとも部分的に、複数の表面平面に基づいて、物理的世界の一部の複数の角点（ｃｏｒｎｅｒ ｐｏｉｎｔ）を推測するステップとのための命令を含む。

いくつかの実施形態では、コンピュータ実行可能命令はさらに、角点を使用して物理的世界の一部のメッシュモデルを構築するステップのための命令を備える。

いくつかの実施形態では、複数の表面平面は、少なくとも部分的に、ポータブル電子システムの少なくとも一部を装着しているユーザからの入力に基づいて識別される。

いくつかの実施形態では、ポータブル電子システムは、遠隔メモリを提供するデバイスとのコンピュータネットワークを経由した通信のために構成される、送受信機を含む。

いくつかの実施形態では、プロセッサは、物理的世界の一部の３Ｄ表現をアプリケーションに提供するように構成される、サービスを実装する。

いくつかの実施形態では、サービスは、角点をローカルメモリ内に保存する、または角点をクラウドメモリに物理的世界の一部の３次元（３Ｄ）表現として転送する。

いくつかの実施形態では、複数の表面平面を識別するステップは、優勢面区画法線（ｄｏｍｉｎａｎｔ ｐｌａｎｅ ｓｅｇｍｅｎｔ ｎｏｒｍａｌ）が複数の面区画の面区画法線の群の中に存在するかどうかを決定するステップと、決定するステップが、群の優勢面区画法線を示すとき、優勢面区画法線を表面面法線として設定するステップと、決定するステップが、群の優勢面区画法線を示さないとき、表面面法線を群の面区画法線の少なくとも一部から算出するステップとを含む。

いくつかの実施形態では、表面面法線を算出するステップは、群の面区画法線の少なくとも一部の加重平均を算出するステップを含む。

いくつかの実施形態では、物理的世界の一部の複数の角点を推測するステップは、無限遠へと複数の表面平面の第１および第２の表面平面を延在させるステップと、第１および第２の表面平面と交差する、境界線を取得するステップとを含む。

いくつかの実施形態では、物理的世界の一部の複数の角点を推測するステップはさらに、境界線を第３の表面平面と交差させることによって、複数の角点のうちの１つを推測するステップを含む。

いくつかの実施形態は、少なくとも１つのプロセッサによって実行されると、その中に物理的世界の一部が複数の角点を用いて表される、物理的世界の一部の３次元（３Ｄ）表現を提供するための方法を実施する、複数のコンピュータ実行可能命令でエンコーディングされた少なくとも１つの非一過性コンピュータ可読媒体に関する。本方法は、ユーザの視野（ＦＯＶ）内にある、物理的世界の一部についての情報を捕捉するステップと、複数の面区画を捕捉された情報から抽出するステップと、複数の表面平面を複数の面区画から識別するステップと、複数の識別された表面平面の表面平面の交差部に基づいて、物理的世界の一部を表す、複数の角点を算出するステップとを含む。

いくつかの実施形態では、本方法は、第１の複数の角点が閉鎖を形成するかどうかを算出するステップを含む。

いくつかの実施形態では、閉鎖が形成されるかどうかを算出するステップは、第１の複数の角点を継合する境界線が、閉鎖されたボリュームを継合および境界する、表面を画定するように接続され得るかどうかを決定するステップを含む。

いくつかの実施形態では、物理的世界の一部は、物理的世界の第１の部分であって、ユーザは、第１のユーザであって、複数の角点は、第１の複数の角点であって、本方法はさらに、第２のユーザから、物理的世界の第２の部分の第２の複数の角点を受信するステップと、少なくとも部分的に、第１および第２の複数の角点に基づいて、物理的世界の３Ｄ表現を提供するステップとを含む。

いくつかの実施形態では、ユーザは、第１のユーザであって、本方法はさらに、コンピュータネットワークを経由して、第１のユーザのＦＯＶ内にある、物理的世界の一部について捕捉された情報から算出された角点を通信するステップと、第２のユーザによって使用されるＸＲデバイスにおいて、通信される角点を受信するステップと、ＸＲデバイスを用いて、第２のユーザに、受信された複数の角点に基づいて、物理的世界の一部についての情報をレンダリングするステップとを含む。

いくつかの実施形態では、本方法は、角点に関するメタデータを算出するステップを含み、メタデータは、角点間の場所関係を示す。

いくつかの実施形態では、本方法は、角点が、ユーザを含む、複数のユーザによって読出可能であるように、個別のメタデータを含む、角点を保存するステップを含む。

いくつかの実施形態は、環境を再構築するためのクロスリアリティシステムを動作させる方法に関する。クロスリアリティシステムは、センサの視野内の個別の領域に関する深度情報を生成する、ユーザによって装着されるセンサと通信する、画像情報を処理するように構成される、プロセッサを含む。本方法は、複数の面区画を深度情報から抽出するステップと、抽出された面区画をユーザに表示するステップと、それぞれ、環境を境界する表面を表す、複数の表面平面を示す、ユーザ入力を受信するステップと、少なくとも部分的に、複数の表面平面に基づいて、環境の複数の角点を算出するステップとを含む。

いくつかの実施形態では、本方法は、複数の角点が閉鎖を形成するかどうかを決定するステップを含む。

いくつかの実施形態では、本方法は、閉鎖が形成されると決定されると、角点を記憶するステップを含む。

前述の説明は、例証として提供され、限定することを意図するものではない。

添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。

図１は、いくつかの実施形態による、簡略化された拡張現実（ＡＲ）場面の実施例を図示する、スケッチである。

図２は、いくつかの実施形態による、視覚的オクリュージョン、物理学的ベースの相互作用、および環境推測を含む、例示的世界再構築ユースケースを示す、例示的簡略化されたＡＲ場面のスケッチである。

図３は、いくつかの実施形態による、物理的世界と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム内のデータフローを図示する、概略図である。

図４は、いくつかの実施形態による、ＡＲディスプレイシステムの実施例を図示する、概略図である。

図５Ａは、いくつかの実施形態による、ユーザが物理的世界環境を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着しているユーザを図示する、概略図である。

図５Ｂは、いくつかの実施形態による、視認光学系アセンブリおよび付帯コンポーネントを図示する、概略図である。

図６は、いくつかの実施形態による、３Ｄ再構築システムを使用するＡＲシステムを図示する、概略図である。

図７Ａは、いくつかの実施形態による、ボクセルに離散化された３Ｄ空間を図示する、概略図である。

図７Ｂは、いくつかの実施形態による、単一視点に対する再構築範囲を図示する、概略図である。

図７Ｃは、いくつかの実施形態による、単一点における再構築範囲に対する知覚範囲を図示する、概略図である。

図８Ａ－Ｆは、いくつかの実施形態による、複数の位置および視点から表面を視認する画像センサによって、物理的世界内の表面をボクセルモデルに再構築するステップを図示する、概略図である。

図９は、いくつかの実施形態による、ボクセルを含むブリックによって表される場面と、場面内の表面と、深度画像内の表面を捕捉する深度センサとを図示する、概略図である。

図１０Ａは、８つのブリックによって表される３Ｄ空間を図示する、概略図である。

図１０Ｂは、図１０Ａのブリック内のボクセルグリッドを図示する、概略図である。

図１１は、いくつかの実施形態による、平面抽出システムを図示する、概略図である。

図１２は、いくつかの実施形態による、平面抽出に関する詳細とともに、図１１の平面抽出システムの一部を図示する、概略図である。

図１３は、いくつかの実施形態による、ボクセルを含むブリックによって表される場面と、場面内の例示的平面データとを図示する、概略図である。

図１４は、いくつかの実施形態による、図１１の平面データ記憶を図示する、概略図である。

図１５は、いくつかの実施形態による、平面クエリが図１１の平面データ記憶に送信されるときの平面幾何学形状抽出を図示する、概略図である。

図１６Ａは、いくつかの実施形態による、図１５の平面被覆点を生成するステップを図示する、概略図である。

図１６Ｂは、いくつかの実施形態による、例示的ラスタ化平面マスクから抽出され得る、種々の例示的平面幾何学形状表現を図示する、概略図である。

図１７は、いくつかの実施形態による、場面に関するメッシュを示す。

図１８Ａは、いくつかの実施形態による、外側矩形平面によって表される、図１７の場面を示す。

図１８Ｂは、いくつかの実施形態による、内側矩形平面によって表される、図１７の場面を示す。

図１８Ｃは、いくつかの実施形態による、多角形平面によって表される、図１７の場面を示す。

図１９は、いくつかの実施形態による、図１７に示されるメッシュを平面化することによって雑音除去されたメッシュを伴う、図１７の場面を示す。

図２０は、いくつかの実施形態による、ＡＲシステムを動作させ、環境の３Ｄ再構築を生成する方法を図示する、フローチャートである。

図２１は、いくつかの実施形態による、少なくとも部分的に、図２０において取得される面区画に基づいて、表面平面を識別する方法を図示する、フローチャートである。

図２２は、いくつかの実施形態による、図２０における角点を推測する方法を図示する、フローチャートである。

図２３は、いくつかの実施形態による、図２０の方法を実施するように構成される、ＡＲシステムを図示する、簡略化された概略図である。

図２４は、いくつかの実施形態による、環境の面区画抽出を図示する、簡略化された概略図である。

図２５は、いくつかの実施形態による、図２４における環境の抽出された面区画に基づいて識別された表面平面を図示する、簡略化された概略図である。

図２６は、いくつかの実施形態による、図２５における２つの壁平面を交差させることによって取得される境界線を図示する、簡略化された概略図である。

図２７は、いくつかの実施形態による、図２６における境界線とそれぞれ図２５における床平面および天井平面を交差させることによって推測される角点を図示する、簡略化された概略図である。

図２８は、いくつかの実施形態による、少なくとも部分的に、角点に基づく、図２４における環境の３Ｄ再構築を図示する、概略図である。

本明細書に説明されるものは、Ｘリアリティ（ＸＲまたはクロスリアリティ）システムにおいて屋内環境等の環境の３次元（３Ｄ）世界再構築を作成および使用するための方法および装置である。従来、環境の３Ｄ表現は、ユーザによって保持および／または装着されるＸＲシステムを用いて、例えば、壁、床、および天井を含む、環境全体を走査することによって構築される。ＸＲシステムは、環境を表すために、稠密メッシュを生成する。本発明者らは、稠密メッシュがＸＲシステムによって実施されている特定のタスクのために不必要な詳細を含み得ることを認識および理解している。例えば、本システムは、壁上のわずかな欠陥を表し、壁上の任意の装飾を表すために、多数の三角形を用いて、稠密メッシュモデルを構築するが、そのモデルは、壁の表面を被覆する仮想オブジェクトを提示する、または壁の場所を識別する、または壁の面積を算出する（壁上のわずかな欠陥によって影響され得ない、または壁の表面を被覆する装飾のため、壁の面積が正確に算出されることができない場合、達成され得ない、タスク）、アプリケーションによって使用され得る。そのようなアプリケーションの実施例は、部屋の構造を表すデータが十分であり得る、住宅建設アプリケーションと、丸窓が邪悪なロボットのために開放されることを可能にする、壁の面積を表すデータを要求し、壁表面を被覆する装飾のため、不十分な壁空間の誤ったエラーメッセージを与え得る、Ｄｒ． Ｇｒｏｒｄｂｏｒｔ’ｓ Ｉｎｖａｄｅｒｓ」等のゲームとを含み得る。

本発明者らは、環境の部屋または他の部分を角点のセットとして迅速かつ正確に表すための技法を認識および理解している。角点は、任意の壁、床、および／または天井等の環境の表面を表す、表面平面を識別することによって導出され得る。表面平面は、環境の一部を走査するために使用され得る、ウェアラブルデバイス上のセンサによって収集された情報から算出されてもよい。センサは、深度および／または画像情報を提供してもよい。ＸＲシステムは、面区画を深度および／または画像情報から取得してもよい。各面区画は、例えば、面法線によって、面区画が表す、平面の配向を示してもよい。ＸＲシステムは、次いで、環境の表面平面を１つ以上の面区画の群から識別してもよい。いくつかの実施形態では、表面平面は、ＸＲシステムを動作させるユーザによって、アドホックに選択されてもよい。いくつかの実施形態では、ＸＲシステムは、表面平面を自動的に識別してもよい。

環境の３Ｄ表現は、環境の角点を使用して、迅速かつ正確に再構築され得る。環境の単純メッシュ表現が、例えば、角点から生成され、従来の方法において算出されたメッシュの代わりに、またはそれに加え、使用されてもよい。いくつかの実施形態では、マルチユーザ体験のために、角点は、環境を伴うＸＲ体験において、複数のユーザ間で伝送されてもよい。環境の角点は、環境の稠密メッシュより有意に高速で伝送されることができる。さらに、環境の角点に基づいて、環境の３Ｄ表現を構築することは、環境全体の稠密メッシュを走査することと比較して、より少ない演算能力、記憶空間、およびネットワーク帯域幅を消費する。

本明細書に説明されるような技法は、クロスリアリティ場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともにまたは別個に、かつ多くのタイプの場面のために使用されてもよい。いくつかの実施形態では、本技法は、ＸＲシステムの一部を形成する、サービスによって実装されてもよい。環境を再構築する単純情報で十分である、タスクを実施する、アプリケーションは、本サービスと相互作用し、点および／またはそれらの点が境界する表面についての関連付けられるメタデータの有無にかかわらず、角点のセットを取得し、環境についての情報をレンダリングしてもよい。アプリケーションは、例えば、仮想オブジェクトをそれらの表面に対してレンダリングしてもよい。例えば、アプリケーションは、壁上に吊るされた仮想写真または他のオブジェクトをレンダリングしてもよい。別の実施例として、アプリケーションは、仮想色オーバーレイを壁上にレンダリングし、その知覚される色を変化させてもよい、または表面の面積、その表面を被覆するために要求される、塗料の量、または環境について算出され得る、他の情報を示す、タグ等、タグを環境の表面上に表示してもよい。

ＡＲシステム概要

図１－２は、そのような場面を図示する。例証目的のために、ＡＲシステムは、ＸＲシステムの実施例として使用される。図３－８は、本明細書に説明される技法に従って動作し得る、１つ以上のプロセッサ、メモリ、センサ、およびユーザインターフェースを含む、例示的ＡＲシステムを図示する。

図１を参照すると、屋外ＡＲ場面４が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム８を特徴とする、物理的世界公園状設定６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、物理的世界のコンクリートプラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２とが「見える」と知覚するが、これらの要素（例えば、アバタキャラクタ２およびロボット像１０）は、物理的世界には存在しない。ヒトの視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中で仮想画像要素の快適で、自然な感覚で、豊かな提示を促進する、ＡＲ技術を生産することは、困難である。

そのようなＡＲ場面は、ユーザの周囲の物理的世界表面の表現を構築および更新し得る、世界再構築コンポーネントを含む、システムを用いて達成され得る。本表現は、レンダリングをオクルードするため、仮想オブジェクトを物理学ベースの相互作用状態に設置するため、および仮想キャラクタ経路計画およびナビゲーションのため、または物理的世界についての情報が使用される、他の動作のために、使用されてもよい。図２は、いくつかの実施形態による、視覚的オクルージョン２０２と、物理学ベースの相互作用２０４と、環境推測２０６とを含む、例示的世界再構築ユースケースを示す、ＡＲ場面２００の別の実施例を描写する。

例示的場面２００は、壁、壁の片側上の書籍棚、部屋の角におけるフロアランプ、床、ソファ、および床上のコーヒーテーブルを有する、居間である。これらの物理的アイテムに加え、ＡＲ技術のユーザはまた、ソファの背後の壁上の画像、ドアを通して飛んで来た鳥、書籍棚から覗いているシカ、およびコーヒーテーブル上に設置された風車の形態における置物等の仮想オブジェクトを知覚する。壁上の画像に関して、ＡＲ技術は、壁の表面だけではなく、また、ランプ形状等の部屋内のオブジェクトおよび表面についての情報を要求し、これは、画像をオクルードし、仮想オブジェクトを正しくレンダリングしている。飛んで来た鳥に関して、ＡＲ技術は、現実的物理学を伴って鳥をレンダリングし、オブジェクトおよび表面または鳥が衝突する場合のそれらからの跳ね返りを回避するために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、ＡＲ技術は、床またはコーヒーテーブル等の表面についての情報を要求し、シカを設置すべき場所を算出する。風車に関して、システムは、テーブルと別個のオブジェクトであることを識別し得、移動可能であることを推測し得る一方、棚の角または壁の角は、定常であると推測され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する推測において使用され得る。

場面は、視覚、音、および／またはタッチを含む、１つ以上のユーザ感覚を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、システムは、場面の物理的部分内のユーザの位置および／または運動を含む、場面の物理的部分のパラメータを測定し得る、１つ以上のセンサを含んでもよい。さらに、システムは、メモリ等の関連付けられたコンピュータハードウェアを伴う、１つ以上のコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントの一部または全部は、ウェアラブルデバイスの中に統合されてもよい。

図３は、いくつかの実施形態による、物理的世界３０６と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム３０２を描写する。ＡＲシステム３０２は、ディスプレイ３０８を含んでもよい。図示される実施形態では、ディスプレイ３０８は、ユーザがディスプレイを一対のゴーグルまたは眼鏡のようにその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実３１０を観察し得るように、透明であってもよい。シースルー現実３１０は、ユーザが、ＡＲシステムのディスプレイおよびセンサの両方を組み込み、物理的世界についての情報を入手する、ヘッドセットを装着している場合、ユーザの視点に対応し得る、ＡＲシステム３０２の現在の視点内の物理的世界３０６の一部に対応してもよい。

ＡＲコンテンツはまた、シースルー現実３１０上にオーバーレイされる、ディスプレイ３０８上に提示されてもよい。ＡＲコンテンツとシースルー現実３１０との間の正確な相互作用をディスプレイ３０８上に提供するために、ＡＲシステム３０２は、物理的世界３０６についての情報を捕捉するように構成される、センサ３２２を含んでもよい。

センサ３２２は、深度マップ３１２を出力する、１つ以上の深度センサを含んでもよい。各深度マップ３１２は、複数のピクセルを有してもよく、それぞれ、深度センサに対する特定の方向における物理的世界３０６内の表面までの距離を表してもよい。未加工深度データは、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得る速度と同速で更新され得、これは、数百または数千回／秒であり得る。しかしながら、そのデータは、雑音があり、不完全であり、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。

本システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、物理的世界を他の方法において表すように処理され得る、情報を入手してもよい。例えば、画像は、世界再構築コンポーネント３１６において処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築の一部として記憶されてもよい。

本システムはまた、物理的世界に対するユーザの頭部姿勢についての情報を入手してもよい。いくつかの実施形態では、センサ３１０は、頭部姿勢３１４を算出および／または決定するために使用され得る、慣性測定ユニットを含んでもよい。深度マップのための頭部姿勢３１４は、例えば、６自由度（６ＤｏＦ）を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢３１４は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させるため等、他の目的のために使用されてもよい。いくつかの実施形態では、頭部姿勢情報は、画像内のオブジェクトを分析することから等、ＩＭＵから以外の方法において導出されてもよい。

世界再構築コンポーネント３１６は、深度マップ３１２および頭部姿勢３１４および任意の他のデータをセンサから受信し、そのデータを再構築３１８の中に統合してもよく、これは、少なくとも、単一の組み合わせられた再構築であるように現れ得る。再構築３１８は、センサデータより完全かつ雑音が少なくあり得る。世界再構築コンポーネント３１６は、複数の視点からのセンサデータの経時的な空間および時間的平均を使用して、再構築３１８を更新してもよい。

再構築３１８は、例えば、ボクセル、メッシュ、平面等を含む、１つ以上のデータフォーマットにおける、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表してもよい、または物理的世界の異なる部分を表してもよい。図示される実施例では、再構築３１８の左側において、物理的世界の一部は、グローバル表面として提示され、再構築３１８の右側において、物理的世界の一部は、メッシュとして提示される。

再構築３１８は、オクルージョン処理または物理学ベースの処理のために、物理的世界の表面表現を生産する等、ＡＲ機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化し得る。再構築３１８の側面は、例えば、世界座標内の変化するグローバル表面表現を生産する、コンポーネント３２０によって使用されてもよく、これは、他のコンポーネントによって使用されてもよい。

ＡＲコンテンツは、本情報に基づいて、ＡＲアプリケーション３０４等によって、生成されてもよい。ＡＲアプリケーション３０４は、例えば、そのような視覚的オクルージョン、物理学ベースの相互作用、および環境推測等、物理的世界についての情報に基づいて、１つ以上の機能を実施する、ゲームプログラムであってもよい。異なるフォーマットにおけるデータを世界再構築コンポーネント３１６によって生産された再構築３１８からクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント３２０は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域は、例えば、ユーザの視野内の部分等のシステムのユーザの近傍における物理的世界の一部に近似するように設定されてもよい、またはユーザの視野内に生じるように投影（予測／決定）される。

ＡＲアプリケーション３０４は、本情報を使用して、ＡＲコンテンツを生成および更新してもよい。ＡＲコンテンツの仮想部分は、シースルー現実３１０と組み合わせて、ディスプレイ３０８上に提示され、現実的ユーザ体験を作成してもよい。

いくつかの実施形態では、ＡＲ体験は、ウェアラブルディスプレイシステムを通して、ユーザに提供されてもよい。図４は、ウェアラブルディスプレイシステム８０（以降、「システム８０」と称される）の実施例を図示する。システム８０は、頭部搭載型ディスプレイデバイス６２（以降、「ディスプレイデバイス６２」と称される）と、ディスプレイデバイス６２の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイデバイス６２は、フレーム６４に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者６０（以降、「ユーザ６０」と称される）によって装着可能であって、ディスプレイデバイス６２をユーザ６０の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス６２は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス６２は、単眼または双眼であってもよい。いくつかの実施形態では、ディスプレイデバイス６２は、図３におけるディスプレイ３０８の実施例であってもよい。

いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザ６０の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ６０の別の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する。ディスプレイデバイス６２は、有線導線または無線コネクティビティ６８等によって、ローカルデータ処理モジュール７０に動作可能に結合され、これは、フレーム６４に固定して取り付けられる、ユーザ６０によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様に、ユーザ６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。

ローカルデータ処理モジュール７０は、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム６４に動作可能に結合される、または別様にユーザ６０に取り付けられ得る）センサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後に、ディスプレイデバイス６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して入手および／または処理された、データを含む。ローカルデータ処理モジュール７０は、これらの遠隔モジュール７２、７４が、相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、通信リンク７６、７８によって、有線または無線通信リンク等を介して、それぞれ、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。いくつかの実施形態では、図３における世界再構築コンポーネント３１６は、少なくとも部分的に、ローカルデータ処理モジュール７０内に実装されてもよい。例えば、ローカルデータ処理モジュール７０は、コンピュータ実行可能命令を実行し、少なくとも部分的に、データの少なくとも一部に基づいて、物理的世界表現を生成するように構成されてもよい。

いくつかの実施形態では、ローカルデータ処理モジュール７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサ（例えば、グラフィック処理ユニット（ＧＰＵ））を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール７０は、単一プロセッサ（例えば、シングルコアまたはマルチコアＡＲＭプロセッサ）を含んでもよく、これは、モジュール７０の算出予算を限定するが、より小型のデバイスを可能にするであろう。いくつかの実施形態では、世界再構築コンポーネント３１６は、単一ＡＲＭコアの残りの算出予算が、例えば、メッシュを抽出する等の他の使用のためにアクセスされ得るように、単一ＡＲＭコア未満の算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成し得る。

いくつかの実施形態では、遠隔データリポジトリ７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカルデータ処理モジュール７０において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。世界再構築は、例えば、本リポジトリ７４内に全体または部分的に記憶されてもよい。

いくつかの実施形態では、ローカルデータ処理モジュール７０は、バッテリ８２に動作可能に結合される。いくつかの実施形態では、バッテリ８２は、市販のバッテリ等、リムーバブル電源である。他の実施形態では、バッテリ８２は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ８２は、電源に繋ぎ、リチウムイオンバッテリを充電する必要なく、またはシステム８０をシャットオフし、バッテリを交換する必要なく、ユーザ６０がより長い時間周期にわたってシステム８０を動作させ得るように、システム８０の非動作時間の間にユーザ６０によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。

図５Ａは、ユーザ３０が物理的世界環境３２（以降、「環境３２と称される」）を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着している、ユーザ３０を図示する。ユーザ３０は、ＡＲディスプレイシステムを位置３４に位置付け、ＡＲディスプレイシステムは、マッピングされた特徴に対する姿勢関係または指向性オーディオ入力等の位置３４に対するパス可能世界（例えば、物理的世界内の実オブジェクトへの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）の周囲情報を記録する。位置３４は、データ入力３６に集約され、少なくとも、例えば、図４の遠隔処理モジュール７２上での処理によって実装され得る、パス可能世界モジュール３８によって処理される。いくつかの実施形態では、パス可能世界モジュール３８は、３Ｄ再構築コンポーネント３１６を含んでもよい。

パス可能世界モジュール３８は、ＡＲコンテンツ４０がデータ入力３６から決定されるような物理的世界内に配置され得る場所および方法を決定する。ＡＲコンテンツは、ユーザインターフェースを介して、物理的世界およびＡＲコンテンツの表現の両方を提示することによって、物理的世界内に「設置」され、ＡＲコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ＡＲコンテンツが、適切であるとき、それらのオブジェクトのユーザのビューを曖昧にしているかのように提示される。いくつかの実施形態では、ＡＲコンテンツは、固定要素４２（例えば、テーブル）の一部を再構築（例えば、再構築３１８）から適切に選択し、ＡＲコンテンツ４０の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上にあるように現れるように位置付けられてもよい。いくつかの実施形態では、ＡＲコンテンツは、視野４４内の構造の中に設置されてもよく、これは、現在の視野または推定される将来的視野であってもよい。いくつかの実施形態では、ＡＲコンテンツは、物理的世界のマッピングされたメッシュモデル４６に対して設置されてもよい。

描写されるように、固定要素４２は、物理的世界内の任意の固定要素のための代用品としての役割を果たし、これは、ユーザ３０が、システムがユーザ３０にそれが見える度に固定要素４２にマッピングする必要なく、固定要素４２上のコンテンツを知覚し得るように、パス可能世界モジュール３８内に記憶されてもよい。固定要素４２は、したがって、前のモデル化セッションからのマッピングされたメッシュモデルである、または別個のユーザから決定されるが、但し、複数のユーザによる将来的参照のために、パス可能世界モジュール３８上に記憶されてもよい。したがって、パス可能世界モジュール３８は、ユーザ３０のデバイスが、最初に、環境３２をマッピングすることなく、以前にマッピングされた環境およびディスプレイＡＲコンテンツから環境３２を認識し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたＡＲコンテンツの待ち時間を回避し得る。

物理的世界のマッピングされたメッシュモデル４６は、ＡＲディスプレイシステムによって作成されてもよく、ＡＲコンテンツ４０と相互作用し、それを表示するための適切な表面およびメトリックは、再マッピングまたはモデル化する必要なく、ユーザ３０または他のユーザによる将来的読出のために、パス可能世界モジュール３８内にマッピングおよび記憶されることができる。いくつかの実施形態では、データ入力３６は、地理的場所、ユーザ識別、および現在のアクティビティ等の入力であって、パス可能世界モジュール３８に、利用可能な１つ以上の固定要素の固定要素４２、固定要素４２上に最後に設置されたＡＲコンテンツ４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続的」コンテンツである）を示す。

オブジェクトが固定されていると見なされる、実施形態でも、パス可能世界モジュール３８は、物理的世界の変化の可能性を考慮するために、随時、更新されてもよい。固定されたオブジェクトのモデルは、非常に低周波数で更新されてもよい。物理的世界内の他のオブジェクトは、移動している、または別様に、固定されていると見なされなくてもよい。ＡＲ場面を現実的感覚を伴ってレンダリングするために、ＡＲシステムは、これらの非固定オブジェクトの位置を固定されたオブジェクトを更新するために使用される周波数よりはるかに高い周波数で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ＡＲシステムは、１つ以上の画像センサを含む、複数のセンサから情報を引き出してもよい。

図５Ｂは、視認光学系アセンブリ４８および付帯コンポーネントの概略図である。いくつかの実施形態では、ユーザの眼４９に指向される、２つの眼追跡カメラ５０は、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼４９上の閃光等のユーザの眼４９のメトリックを検出する。いくつかの実施形態では、センサのうちの１つは、飛行時間センサ等の深度センサ５１であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入しているかどうかを迅速に決定してもよい。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。

いくつかの実施形態では、世界カメラ５２が、周辺視野を上回るビューを記録し、環境３２をマッピングし、ＡＲコンテンツに影響を及ぼし得る入力を検出する。いくつかの実施形態では、世界カメラ５２および／またはカメラ５３は、グレースケールおよび／またはカラー画像センサであってもよく、これは、固定された時間インターバルにおいて、グレースケールおよび／またはカラー画像フレームを出力してもよい。カメラ５３はさらに、具体的時間において、ユーザの視野内の物理的世界画像を捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ５２、カメラ５３、および深度センサ５１はそれぞれ、５４、５５、および５６の個別の視野を有し、図５Ａに描写される物理的世界環境３２等の物理的世界場面からのデータを収集および記録する。

慣性測定ユニット５７は、視認光学系アセンブリ４８の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ５１は、ユーザの眼４９が見ている実際の距離に対して測定された遠近調節の確認として、眼追跡カメラ５０に動作可能に結合される。

視認光学系アセンブリ４８は、図５Ｂに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ４８は、４つの代わりに、２つの世界カメラ５２を含んでもよい。代替として、または加えて、カメラ５２および５３は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ４８は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ４８は、１つ以上の動的視覚センサ（ＤＶＳ）を含んでもよく、そのピクセルは、閾値を超える光強度の相対的変化に非同期して応答してもよい。

いくつかの実施形態では、視認光学系アセンブリ４８は、飛行時間情報に基づく、深度センサ５１を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ４８は、１つ以上のプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク（ＴＤＭ）でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび／または位相検出自動焦点ピクセル（ＰＤＡＦ）および／またはマイクロレンズアレイ（ＭＬＡ）を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ５１の代わりに、またはそれに加え、深度情報のソースとしての役割を果たし得る。

また、図５Ｂにおけるコンポーネントの構成は、実施例として図示されると理解されたい。視認光学系アセンブリ４８は、任意の好適な構成を伴う、コンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ４８が、１つの世界カメラ５２を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。

視認光学系アセンブリ４８内のセンサからの情報は、システム内のプロセッサのうちの１つ以上のものに結合されてもよい。プロセッサは、ユーザに物理的世界内のオブジェクトと相互作用する仮想コンテンツを知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想の両方のオブジェクトを描写する画像データを生成することを含む、任意の好適な方法で実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を通して見る、ディスプレイデバイスの不透明度を変調させることによって、１つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、また、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、ユーザインターフェースを通して視認されるとき、仮想コンテンツが物理的世界と現実的に相互作用しているようにユーザによって知覚されるように修正され得る（例えば、オクルージョンを考慮するためにコンテンツをクリッピングする）、仮想コンテンツのみを含んでもよい。コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルは、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る仮想オブジェクトの特性が、正しく算出され得るように要求される。いくつかの実施形態では、モデルは、物理的世界の再構築、例えば、再構築３１８を含んでもよい。

そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい（かつ「クラウド内」にあってもよい）。

モデルは、少なくとも部分的に、世界再構築システム、例えば、図６にさらに詳細に描写される図３の世界再構築コンポーネント３１６によって作成されてもよい。世界再構築コンポーネント３１６は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール１６０を含んでもよい。いくつかの実施形態では、知覚モジュール１６０は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表してもよい。各ボクセルは、物理的世界内の所定のボリュームの３Ｄ立方体に対応し、ボクセルによって表されるボリューム内に表面が存在するかどうかを示す、表面情報を含んでもよい。ボクセルは、その対応するボリュームが、物理的オブジェクトの表面を含むと決定された、空であると決定された、またはセンサを用いてまだ測定されておらず、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。値は、空または未知であると決定されたボクセルが、明示的に記憶される必要がないことを示し、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含む、任意の好適な方法でコンピュータメモリ内に記憶され得ることを理解されたい。

図７Ａは、ボクセル１０２に離散化される、３Ｄ空間１００の実施例を描写する。いくつかの実施形態では、知覚モジュール１６０は、着目オブジェクトを決定し、着目オブジェクトの特徴を捕捉し、冗長情報を回避するために、ボクセルのボリュームを設定してもよい。例えば、知覚モジュール１６０は、壁、天井、床、および大家具等のより大きいオブジェクトおよび表面を識別するように構成されてもよい。故に、ボクセルのボリュームは、比較的に大サイズ、例えば、４ｃｍ^３の立方体に設定されてもよい。

ボクセルを含む、物理的世界の再構築は、立体モデルと称され得る。立体モデルを作成するための情報は、センサが物理的世界を中心として移動するにつれて、経時的に作成されてもよい。そのような運動は、センサを含む、ウェアラブルデバイスのユーザが動き回るにつれて、発生し得る。図８Ａ－Ｆは、物理的世界を立体モデルの中に再構築する実施例を描写する。図示される実施例では、物理的世界は、表面の一部１８０を含み、これは、図８Ａに示される。図８Ａでは、第１の場所におけるセンサ１８２は、視野１８４を有し得、その中で、表面の一部１８０は、可視である。

センサ１８２は、深度センサ等の任意の好適なタイプであってもよい。しかしながら、深度データは、画像センサから、または他の方法において、導出されてもよい。知覚モジュール１６０は、データをセンサ１８２から受信し、次いで、図８Ｂに図示されるように、複数のボクセル１８６の値を設定し、視野１８４内のセンサ１８２によって可視の表面の一部１８０を表してもよい。

図８Ｃでは、センサ１８２は、第２の場所に移動し、視野１８８を有し得る。図８Ｄに示されるように、ボクセルのさらなるグループが、可視となり、これらのボクセルの値は、センサ１８２の視野１８８に進入した表面の一部の場所を示すように設定されてもよい。これらのボクセルの値は、表面のための立体モデルに追加されてもよい。

図８Ｅでは、センサ１８２はさらに、第３の場所に移動し、視野１９０を有し得る。図示される実施例では、表面の付加的部分が、視野１９０内で可視となる。図８Ｆに示されるように、ボクセルのさらなるグループが、可視となり得、これらのボクセルの値は、センサ１８２の視野１９０に進入した表面の一部の場所を示すように設定されてもよい。これらのボクセルの値は、表面のための立体モデルに追加されてもよい。図６に示されるように、本情報は、存続される世界の一部として、立体情報１６２ａとして記憶されてもよい。色またはテクスチャ等の表面についての情報もまた、記憶されてもよい。そのような情報は、例えば、立体メタデータ１６２ｂとして記憶されてもよい。

存続される世界表現のための情報を生成することに加え、知覚モジュール１６０は、ＡＲシステムのユーザの周囲の領域の変化のインジケーションを識別および出力してもよい。そのような変化のインジケーションは、存続される世界の一部として記憶される立体データへの更新をトリガする、またはＡＲコンテンツを生成し、ＡＲコンテンツを更新する、コンポーネント３０４をトリガする等の他の機能をトリガしてもよい。

いくつかの実施形態では、知覚モジュール１６０は、符号付き距離関数（ＳＤＦ）モデルに基づいて、変化を識別してもよい。知覚モジュール１６０は、例えば、深度マップ１６０ａおよび頭部姿勢１６０ｂ等のセンサデータを受信し、次いで、センサデータをＳＤＦモデル１６０ｃの中に融合させるように構成されてもよい。深度マップ１６０ａは、直接、ＳＤＦ情報を提供してもよく、画像は、ＳＤＦ情報になるように処理されてもよい。ＳＤＦ情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であってもよいため、ＳＤＦ情報は、ウェアラブルユニットの目線、したがって、ユーザの目線から物理的世界を表し得る。頭部姿勢１６０ｂは、ＳＤＦ情報が物理的世界内のボクセルに関連することを可能にし得る。

図６に戻って参照すると、いくつかの実施形態では、知覚モジュール１６０は、知覚範囲内の物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定され得、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定され得る。具体的実施例として、アクティブＩＲパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、センサの観察範囲を作成し得、これは、数センチメートルまたは数十センチメートル～数メートルであってもよい。

図７Ｂは、視点１０６を有するセンサ１０４に対する、再構築範囲を描写する。視点１０６内の３Ｄ空間の再構築は、センサ１０４によって捕捉されたデータに基づいて構築されてもよい。図示される実施例では、センサ１０４は、４０ｃｍ～５ｍの観察範囲を有する。いくつかの実施形態では、センサの再構築範囲は、その観察限界に近いセンサ出力が、より雑音が多く、不完全で、かつ不正確であり得るため、センサの観察範囲より小さくなるように決定され得る。例えば、４０ｃｍ～５ｍの図示される実施例では、対応する再構築範囲は、１～３ｍに設定されてもよく、本範囲外の表面を示す、センサを用いて収集されたデータは、使用されなくてもよい。

いくつかの実施形態では、知覚範囲は、センサの再構築範囲より大きくてもよい。物理的世界についてのデータを使用する、コンポーネント１６４が、現在の再構築範囲内の物理的世界の一部外の知覚範囲内の領域についてのデータを要求する場合、その情報は、存続される世界１６２から提供されてもよい。故に、物理的世界についての情報は、クエリによって容易にアクセス可能であってもよい。いくつかの実施形態では、ＡＰＩが、そのようなクエリに応答し、ユーザの現在の知覚範囲についての情報を提供するように提供されてもよい。そのような技法は、既存の再構築にアクセスするために必要とされる時間を低減させ、改良されたユーザ体験を提供し得る。

いくつかの実施形態では、知覚範囲は、ユーザ場所のまわりに中心合わせされる境界ボックスに対応する、３Ｄ空間であってもよい。ユーザが、移動するにつれて、コンポーネント１６４によってクエリ可能であり得る、知覚範囲内の物理的世界の一部も、ユーザに伴って移動し得る。図７Ｃは、場所１１２のまわりに中心合わせされる、境界ボックス１１０を描写する。境界ボックス１１０のサイズは、ユーザが非合理的速度で移動し得ないため、合理的拡大を伴ってセンサの観察範囲を封入するように設定され得ることを理解されたい。図示される実施例では、ユーザによって装着されるセンサは、５ｍの観察限界を有する。境界ボックス１１０は、２０ｍ^３の立方体として設定される。

図６に戻って参照すると、世界再構築コンポーネント３１６は、知覚モジュール１６０と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、存続される世界モジュール１６２は、知覚モジュール１６０によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。存続される世界モジュール１６２はまた、物理的世界の表現の種々のフォーマットを含んでもよい。例えば、ボクセル等の立体メタデータ１６２ｂが、メッシュ１６２ｃおよび平面１６２ｄとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。

いくつかの実施形態では、知覚モジュール１６０は、例えば、メッシュ１６０ｄ、平面、および意味論１６０ｅを含む、種々のフォーマットにおいて、物理的世界のための表現を生成する、モジュールを含んでもよい。これらのモジュールは、表現が生成された時間における１つ以上のセンサの知覚範囲内のデータおよび以前の時間において捕捉されたデータおよび存続される世界１６２内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ＡＲシステムは、視覚センサを含んでもよく、単眼または双眼視覚情報を分析することによって、そのような表現を生成してもよい。

いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール１６０がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、ＳＤＦモデル１６０ｃ内の新しい表面を検出すること、またはサブ領域を表す十分な数のボクセルの値を変化させる等の他の基準によって検出されてもよい。

世界再構築コンポーネント３１６は、物理的世界の表現を知覚モジュール１６０から受信し得る、コンポーネント１６４を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント１６４は、例えば、ゲームプログラム、および視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、他のコンポーネントを含んでもよい。

コンポーネント１６４からのクエリに応答して、知覚モジュール１６０は、物理的世界のための表現を１つ以上のフォーマットにおいて送信してもよい。例えば、コンポーネント１６４が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためであることを示すとき、知覚モジュール１６０は、表面の表現を送信してもよい。コンポーネント１６４が、使用が環境推測のためであることを示すとき、知覚モジュール１６０は、物理的世界のメッシュ、平面、および意味論を送信してもよい。

いくつかの実施形態では、知覚モジュール１６０は、情報をフォーマットし、コンポーネント１６４を提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント１６０ｆであってもよい。使用コンポーネント（例えば、コンポーネント１６４）は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント１６０ｆは、その視点からの視野内の物理的世界データの１つ以上の表現から選択してもよい。

前述の説明から理解されるはずであるように、知覚モジュール１６０またはＡＲシステムの別のコンポーネントは、データを処理し、物理的世界の一部の３Ｄ表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および／または深度画像に基づいて、３Ｄ再構築ボリュームの一部を間引き、平面データを抽出および存続させ、近傍一貫性を維持しながらローカル更新を可能にする、ブロック単位で、３Ｄ再構築データを捕捉、存続、および更新し、オクルージョンデータをアプリケーションに提供し、オクルージョンデータが１つ以上の深度データソースの組み合わせから導出される、そのような場面を生成し、および／または多段階メッシュ簡略化を実施することによって低減され得る。

世界再構築システムは、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢（例えば、位置および配向）が、センサを含むデバイスが移動されるにつれて追跡されてもよい。センサのフレーム姿勢および他の姿勢に関連する方法が、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、単一の組み合わせられた再構築の中にともに融合されてもよい。再構築は、空間および時間的平均化（すなわち、複数の視点からのデータを経時的に平均化する）を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。

再構築は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。

いくつかの実施形態では、ＡＲおよびＭＲシステムは、規則的ボクセルグリッドを伴う、３Ｄ場面を表し、各ボクセルは、符号付き距離フィールド（ＳＤＦ）値を含有してもよい。ＳＤＦ値は、ボクセルが再構築されるべき場面内の表面の内側または外側にあるかどうかと、ボクセルから表面までの距離とを説明する。場面の所望のボリュームを表す、３Ｄ再構築データを算出することは、大量のメモリおよび処理電力を要求する。これらの要件は、３Ｄ再構築のために要求される変数の数が、処理される深度画像の数に伴って３乗で成長するため、より大きい空間を表す場面に関して増加する。

本明細書に説明されるものは、処理を低減させる効率的方法である。いくつかの実施形態によると、場面は、１つ以上のブリックによって表されてもよい。各ブリックは、複数のボクセルを含んでもよい。場面の３Ｄ再構築を生成するように処理されたブリックは、画像センサの視野（ＦＯＶ）から導出された錐台および／または深度センサを用いて作成された場面の深度画像（または「深度マップ」）に基づいて、場面を表すブリックのセットを間引くことによって選択されてもよい。

深度画像は、それぞれ、場面内の表面までの距離を表す、１つ以上のピクセルを有してもよい。これらの距離は、画像センサから出力されたデータが、選択的に処理され得るように、画像センサに対する位置に関連し得る。画像データは、画像センサの視点（または「視野点」）から可視であろう表面を含有する３Ｄ場面の一部を表す、それらのブリックのために処理されてもよい。残りのブリックの一部または全部の処理は、省略されてもよい。そのようなアプローチを用いることで、選択されたブリックは、それを中心として画像センサの出力が有用な情報を提供する可能性が低い、ブリックを間引くことによって達成され得る、新しい情報を含有する可能性が高いものとなり得る。画像センサから出力されたデータは、それらのブリックが、虚空または表面の背後のいずれかにあって、したがって、画像センサからの画像に描写されないため、深度マップによって示される表面より画像センサに近い、またはそこから遠いかのいずれかである、ブリックについての有用な情報を提供する可能性が低い。

図９は、ｙ－座標およびｚ－座標と平行な平面に沿った場面４００の断面図を示す。ＸＲシステムは、ボクセル５０４のグリッドによって、場面４００を表し得る。従来のＸＲシステムは、ボクセルのグリッドから生成された３Ｄ再構築が、場面の変化を反映させ得るように、画像センサまたは深度センサであり得る、センサ４０６によって捕捉された全ての新しい深度画像に基づいて、ボクセルのグリッドの各ボクセルを更新し得る。本方式における更新は、有意な算出リソースを消費し、また、例えば、算出が重くなることによって生じる待ち時間に起因して、アーチファクトをＸＲシステムの出力に生じさせ得る。

本明細書に説明されるものは、例えば、少なくとも部分的に、画像センサ４０６のカメラ錐台４０４および／または画像センサによって捕捉された深度画像に基づいて、ボクセル５０４のグリッドの一部を間引くことによって、低使用量の算出リソースを用いて、正確な３Ｄ再構築データを提供する技法である。

図示される実施例では、画像センサ４０６は、場面３００の表面４０２を含む、深度画像（図示せず）を捕捉する。深度画像は、場面４００内のある基準点と表面との間の距離を捕捉する、任意の便宜的方法において、コンピュータメモリ内に記憶されてもよい。いくつかの実施形態では、深度画像は、図９に図示されるように、ｘ－軸およびｙ－軸と平行な平面における値として表されてもよく、基準点は、座標系の原点である。Ｘ－Ｙ平面における場所は、基準点に対する方向に対応し得、それらのピクセル場所における値は、平面内の座標によって示される方向における、基準点から最も近くの表面までの距離を示し得る。そのような深度画像は、ｘ－軸およびｙ－軸と平行な平面におけるピクセル（図示せず）のグリッドを含んでもよい。各ピクセルは、画像センサ４０６から表面４０２までの特定の方向における距離を示し得る。いくつかの実施形態では、深度センサは、特定の方向における表面までの距離を測定することが不可能であり得る。そのような条件は、例えば、表面が画像センサ４０６の範囲外にある場合に生じ得る。いくつかの実施形態では、深度センサは、反射されたエネルギーに基づいて距離を測定する、アクティブ深度センサであってもよいが、表面は、正確な測定のために、十分なエネルギーを反射させない場合がある。故に、いくつかの実施形態では、深度画像は、「穴」を有し得、それに対して値が割り当てられない、ピクセルが存在する。

いくつかの実施形態では、深度画像の参照点は、変化してもよい。そのような構成は、深度画像が、３Ｄ場面全体を通して表面を表すことを可能にし、特定の基準点に対して所定かつ限定された角度の範囲を有する、部分に限定され得ない。そのような実施形態では、深度画像は、画像センサ４０６が６自由度（６ＤＯＦ）を通して移動するにつれて、表面までの距離を示し得る。これらの実施形態では、深度画像は、複数の参照点毎に、ピクセルのセットを含んでもよい。これらの実施形態では、深度画像の一部は、画像データが捕捉された時間に画像センサ４０６が向いている、方向および／または配向を表す、「カメラ姿勢」に基づいて選択されてもよい。

画像センサ４０６は、カメラ錐台４０４によって表され得る、視野（ＦＯＶ）を有してもよい。いくつかの実施形態では、描写される無限カメラ錐台は、画像センサ４０６が提供し得る最大深度４１０および／または画像センサ４０６が提供し得る最小深度４１２を仮定することによって、有限３Ｄ台形プリズム４０８に低減され得る。３Ｄ台形プリズム４０８は、６つの平面によって区切られた凸面多面体であってもよい。

いくつかの実施形態では、１つ以上のボクセル５０４は、ブリック５０２に群化されてもよい。図１０Ａは、８つのブリック５０２を含む、場面４００の一部５００を図示する。図１０Ｂは、８^３ボクセル５０４を含む例示的ブリック５０２を図示する。図９に戻って参照すると、場面４００は、１つ以上のブリックを含んでもよく、そのうちの１６個が、図４に描写される図に図示される。各ブリックは、ブリック識別、例えば、［００００］－［００１５］によって識別可能であり得る。

幾何学形状抽出システム

いくつかの実施形態では、幾何学形状抽出システムは、カメラおよび／またはセンサを用いて、場面を走査しながら、幾何学形状を抽出してもよく、これは、高速の効率的抽出を可能にし、動的環境変化に適応することができる。いくつかの実施形態では、幾何学形状抽出システムは、抽出された幾何学形状をローカルおよび／または遠隔メモリ内に存続させてもよい。存続される幾何学形状は、例えば、異なるタイムスタンプにおける、および／または異なるアプリケーションからの、異なるクエリが、存続される幾何学形状を共有し得るように、一意の識別を伴ってもよい。いくつかの実施形態では、幾何学形状抽出システムは、個々のクエリに従って、幾何学形状の異なる表現をサポートしてもよい。平面は、以下の図１１－１９の説明では、例示的幾何学形状として使用される。幾何学形状抽出システムは、平面の代わりに、またはそれに加え、例えば、円筒形、立方体、線、角、またはガラス表面または穴等の意味論を含む、他の幾何学形状を検出し、後続処理において使用してもよいことを理解されたい。いくつかの実施形態では、幾何学形状抽出に関して本明細書に説明される原理は、オブジェクト抽出および同等物に適用可能であってもよい。

図１１は、いくつかの実施形態による、平面抽出システム１３００を示す。平面抽出システム１３００は、深度融合１３０４を含んでもよく、これは、複数の深度マップ１３０２を受信してもよい。複数の深度マップ１３０２は、深度センサを装着している１人以上のユーザによって作成され、および／またはローカル／遠隔メモリからダウンロードされてもよい。複数の深度マップ１３０２は、同一表面の複数視点を表してもよい。複数の深度マップ間には、差異が存在し得、これは、深度融合１３０４によって解消されてもよい。

いくつかの実施形態では、深度融合１３０４は、ＳＤＦ１３０６を生成してもよい。メッシュブリック１３０８は、例えば、マーチングキューブアルゴリズムを対応するブリック（例えば、図１３におけるブリック［００００］－［００１５］）にわたって適用することによって、ＳＤＦ１３０６から抽出されてもよい。平面抽出１３１０は、メッシュブリック１３０８内の平面表面を検出し、少なくとも部分的に、メッシュブリック１３０８に基づいて、平面を抽出してもよい。平面抽出１３１０はまた、少なくとも部分的に、対応するメッシュブリックに基づいて、ブリック毎に、サーフェルを抽出してもよい。サーフェルは、サーフェルを記憶することがメッシュよりメモリ空間を消費しないように、メッシュ内の頂点を含み得るが、近傍頂点に接続する縁を含まない。平面データ記憶１３１２は、抽出された平面およびサーフェルを存続させ得る。

いくつかの実施形態では、ＸＲシステムのＸＲアプリケーションまたは他のコンポーネント１６４は、アプリケーションプログラミングインターフェース（ＡＰＩ）によって送信され得る、平面クエリ１３１４によって、平面データ記憶１３１２から平面を要求および取得し得る。例えば、アプリケーションは、平面抽出システム１３００に、その位置についての情報を送信し、その近傍（例えば、５メートル半径内）の全ての平面について尋ね得る。平面抽出システム１３００は、次いで、その平面データ記憶１３１２を検索し、選択された平面をアプリケーションに送信し得る。平面クエリ１３１４は、アプリケーションが平面を必要とする場所、アプリケーションが必要とする平面の種類、および／または平面が見えるべき様子（例えば、水平または垂直または角度付けられるかどうかであって、これは、平面データ記憶内の平面のプリミティブ法線をチェックすることによって決定され得る）等の情報を含んでもよい。

図１２は、いくつかの実施形態による、平面抽出１３１０に関する詳細を図示する、平面抽出システム１３００の部分１４００を示す。平面抽出１３１０は、メッシュブリック１３０８のそれぞれをサブブリック１４０２に分割することを含んでもよい。平面検出１４０４は、サブブリック１４０２毎に行われてもよい。例えば、平面検出１４０４は、サブブリック内の各メッシュ三角形のプリミティブ法線を比較して、所定の閾値より小さいプリミティブ正常差を伴うそれらのメッシュ三角形を１つのメッシュ三角形にマージし、所定の面積値より大きい面積を伴うメッシュ三角形を平面として識別してもよい。

図１３は、いくつかの実施形態による、ボクセルを含む、ブリック［００００］－［００１５］によって表される、場面１５００と、場面内のブリック平面１５０２、グローバル平面１５０４、およびサーフェル１５０６を含む、例示的平面データとを図示する、概略図である。図１３は、４つのサブブリック１５０８に分割されている、ブリック［００１１］を図示する。メッシュブリックは、任意の好適な数のサブブリックに分割されてもよいことを理解されたい。平面検出１４０４によって検出された平面の粒度は、サブブリックのサイズによって決定され得る一方、ブリックのサイズは、立体３Ｄ再構築データを記憶する、ローカル／遠隔メモリの粒度によって決定され得る。

図１２に戻って参照すると、平面検出１４０４は、少なくとも部分的に、メッシュブリック内のサブブリック毎に検出された平面に基づいて、メッシュブリック毎にブリック平面（例えば、ブリック平面１５０２）を決定してもよい。平面検出１４０４はまた、１つを上回るブリックに延在する、グローバル平面（例えば、グローバル平面１５０４）を決定してもよい。

いくつかの実施形態では、平面抽出１３１０は、少なくとも部分的に、平面検出１４０４によって検出された平面に基づいて、平面データ記憶１３１２内に記憶される、既存のブリック平面および／またはグローバル平面を更新し得る、平面更新１４０６を含んでもよい。平面更新１４０６は、場面のリアルタイム変化が平面データ記憶１３１２内に存続されるように、付加的ブリック平面を追加し、既存のブリック平面のうちのいくつかを除去し、および／または既存のブリック平面のうちのいくつかを、平面検出１４０４によって検出され、同一ブリックに対応する、ブリック平面と置換することを含んでもよい。平面更新１４０６はまた、例えば、ブリック平面が既存のグローバル平面に隣接して検出されるとき、平面検出１４０４によって検出されたブリック平面を既存のグローバル平面に集約することを含んでもよい。

いくつかの実施形態では、平面抽出１３１０はさらに、平面マージおよび分割１４０８を含んでもよい。平面マージは、例えば、ブリック平面が、追加され、２つのグローバル平面を接続するとき、複数のグローバル平面を１つの大きいグローバル平面にマージしてもよい。平面分割は、例えば、グローバル平面の中央におけるブリック平面が除去されるとき、１つのグローバル平面を複数のグローバル平面に分割してもよい。

図１４は、いくつかの実施形態による、平面データ記憶１３１２内のデータ構造を示す。平面ＩＤ１６１２によってインデックス化されたグローバル平面１６１４は、データ構造の最高レベルにあり得る。各グローバル平面１６１４は、１つのブリック平面がブリック毎に存続され得る一方、グローバル平面の縁が対応するブリックのためのブリック平面として認定されないとき、グローバル平面が正確に提示され得るように、複数のブリック平面および対応するグローバル平面に隣接するブリックのサーフェルを含んでもよい。いくつかの実施形態では、グローバル平面に隣接するブリックのサーフェルが、グローバル平面を正確に提示するために十分であろうため、場面内の全てのブリックのサーフェルの代わりに存続される。例えば、図１３に図示されるように、グローバル平面１５０４は、ブリック［０００８］－［００１０］および［０００６］を横断して延在する。ブリック［０００６］は、グローバル平面１５０４の一部ではない、ブリック平面１５０２を有する。平面データ記憶１３１２内のデータ構造を用いることで、平面クエリがグローバル平面１５０４を要求するとき、ブリック［０００６］および［００１２］のサーフェルが、グローバル平面１５０４がブリック［０００６］および［００１２］の中に延在するかどうかを決定するためにチェックされる。図示される実施例では、サーフェル１５０６は、グローバル平面１５０４がブリック［０００６］の中に延在することを示す。

図１４に戻って参照すると、グローバル平面１６１４は、対応するブリック平面１６１０と双方向に関連付けられてもよい。ブリックは、ブリックＩＤ１６０２によって識別可能であり得る。ブリックは、少なくとも１つの平面を含む、平面ブリック１６０４と、平面を含まない、非平面ブリック１６０６とに分割されてもよい。平面ブリックおよび非平面ブリックの両方に関するサーフェルは、ブリックが平面を含むかどうかではなく、ブリックがグローバル平面に隣接するかどうかに応じて、存続されてもよい。平面は、平面クエリ１３１４が存在するかどうかにかかわらず、ＸＲシステムが場面を観察する間、平面データ記憶１３１２内に継続的に存続され得ることを理解されたい。

図１５は、いくつかの実施形態による、アプリケーションが平面クエリ１３１４を平面データ記憶１３１２に送信するとき、アプリケーションの使用のための平面を抽出し得る、平面幾何学形状抽出１７０２を示す。平面幾何学形状抽出１７０２は、ＡＰＩとして実装されてもよい。平面クエリ１３１４は、要求される平面幾何学形状表現、例えば、外側矩形平面、内側矩形平面、または多角形平面を示してもよい。平面クエリ１３１４に従って、平面検索１７０４は、平面データ記憶１３１２内の平面データを検索および取得し得る。

いくつかの実施形態では、平面被覆点１７０６からのラスタ化が、平面被覆点を生成し得る。実施例は、図１６Ａに図示される。それぞれ、ブリック平面１８０２を有する、４つのブリック［００００］－［０００３］が存在する。平面被覆点１８０６（または「ラスタ化点」）は、ブリック平面の境界点をグローバル平面１８０４上に投影することによって生成される。

図１５に戻って参照すると、平面被覆点１７０６からのラスタ化はまた、平面被覆点からラスタ化平面マスクを生成し得る。平面クエリ１３１４によって要求される平面幾何学形状表現に従って、内側矩形平面表現、外側矩形平面表現、および多角形平面表現が、それぞれ、内側矩形抽出１７０８、外側矩形抽出１７１０、および多角形抽出１７１２によって抽出され得る。いくつかの実施形態では、アプリケーションは、平面クエリの送信から数ミリ秒以内に要求される平面幾何学形状表現を受信することができる。

例示的ラスタ化平面マスク１８１４は、図１６Ｂに図示される。ラスタ化平面マスクから、種々の平面幾何学形状表現が、生成され得る。図示される実施例では、多角形１８１２が、マスク内の平面被覆点のいずれも多角形の外側にないように、ラスタ化平面マスクの平面被覆点のうちのいくつかを接続することによって生成される。外側矩形１８０８は、外側矩形１８０８がラスタ化平面マスク１８１４を囲繞する最小矩形であるように生成される。内側矩形１８１０は、内側矩形が個別の群を囲繞する最小矩形であるように、「１」を２つの平面被覆点を伴うブリックに、「０」を２つの平面被覆点を伴わないブリックに割り当て、ラスタ化グリッドを形成し、「１」としてマークされ、ブリックの縁と平行な線内に整合される、ブリックの群を決定し（例えば、ブリック［０００１］、［０００５］、［０００９］、および［００１３］を群として、ブリック［００１３］－［００１５］を群として）、決定された群毎に、１つの内側矩形を生成することによって生成される。

図１７は、いくつかの実施形態による、場面１９００に関するメッシュを示す。図１８Ａ－Ｃは、いくつかの実施形態による、それぞれ、外側矩形平面、内側矩形平面、および多角形平面によって表される、場面１９００を示す。

図１９は、場面１９００のあまり雑音がない３Ｄ表現を図示し、これは、抽出された平面データ、例えば、図１８Ａ－Ｃに図示される平面に基づいて、図１７に示されるメッシュを平面化することによって取得される。

環境再構築

いくつかの実施形態では、屋内環境等の環境の一部が、それらの点またはそれらが境界する表面についてのメタデータの有無にかかわらず、角点のセットによって表されてもよい。本明細書に説明されるような環境の一部を単純に表すための技法は、知覚モジュール１６０（図６）または任意の他の好適なコンポーネントによって実装されてもよい。その表現を記述する、そのような情報は、上記に説明されるような稠密メッシュまたは他の表現の代わりに、またはそれに加え、存続される世界モデル１６２の一部として、記憶されてもよい。代替として、または加えて、それらの角点は、上記に説明されるような他の技法を用いて算出された表現を模倣する、フォーマットに変換されてもよい。具体的実施例として、角点のセットとしての環境の表現は、単純メッシュに変換され、メッシュ１６２ｃとして記憶されてもよい。代替として、または加えて、識別された壁はそれぞれ、平面１６２ｄとして記憶されてもよい。

コンポーネント１６４が、そのような表現が記憶される、物理的世界の一部についての情報を要求するとき、そのコンポーネント１６４は、知覚モジュール１６０への呼び出しを使用して、その表現を取得する、または任意の他の好適な方法において、存続される世界モデル１６２にアクセスしてもよい。いくつかの実施形態では、その表現は、物理的世界のその部分についての情報が要求される度に提供されてもよい。いくつかの実施形態では、情報を要求するコンポーネント１６４は、単純表現が好適である、または要求されることを規定してもよい。アプリケーションは、例えば、物理的世界の簡略化された表現が好適である、または要求されることを示す、パラメータを使用して、存続される世界モデル１６２を呼び出してもよい。

角点は、環境内の壁、床、および／または天井等の表面を表す、表面平面から決定されてもよい。表面平面は、ＸＲシステム内のウェアラブルまたは他のコンポーネント上のセンサを用いて収集されたデータから導出されてもよい。データは、面区画を表し得、これは、上記に説明されるように、画像、距離、または他のセンサデータを処理することから検出される、壁または他の表面の一部に対応し得る。

いくつかの実施形態では、屋内環境等の環境が、面区画に基づいて、環境の表面平面を識別することによって、再構築されてもよい。いくつかの実施形態では、面区画は、平坦表面を境界する、３つ以上の点によって表されてもよい。面区画法線が、面区画に関して算出されてもよい。具体的実施例として、４つの点が、面区画内に嵌合する、または面区画を包囲する、空間内の四辺形を定義するために使用されてもよい。面区画法線は、面区画の配向を示し得る。面区画法線は、面区画の面積を示す、値と関連付けられ得る。

いくつかの実施形態では、面区画は、保存されたデータ、例えば、存続される世界１６２から取得されてもよい。代替として、または加えて、ウェアラブルデバイスに提供される、ソフトウェア開発キット（ＳＤＫ）によって提供される機能が、センサデータを処理し、面区画を生成してもよい。いくつかの実施形態では、面区画は、ＡＲデバイスを用いて、環境の一部を走査することよって取得されてもよく、これは、「初期走査」としての役割を果たし得る。いくつかの実施形態では、初期走査の長さは、十分な面区画が環境を再構築するために取得されるように、例えば、数分または数秒等、事前に決定されてもよい。いくつかの実施形態では、初期走査の長さは、動的であって、環境を再構築するために十分な面区画が取得されると、終了してもよい。

いくつかの実施形態では、面区画は、１つ以上のブリック平面から導出されてもよい。いくつかの実施形態では、面区画の形状は、所定の時間内にＡＲデバイスによって捕捉された深度および／または画像情報に応じて、ランダムであってもよい。いくつかの実施形態では、面区画の形状は、別の面区画と同じである場合とそうではない場合がある。

いくつかの実施形態では、ＡＲシステムは、環境の全ての表面平面を識別するために十分な面区画の数を取得するように構成されてもよい。いくつかの実施形態では、面区画の数は、環境の表面平面の数に対応し得る。例えば、天井、床、および４つの壁を伴う、部屋に関して、それぞれ、４つの壁に対応する、４つの面区画が、天井と床との間の距離が既知であるとき、部屋を再構築するために十分であり得る。本例示的シナリオでは、各面区画は、ＡＲシステムによって、表面平面として設定されてもよい。

いくつかの実施形態では、初期走査は、数分または数秒続き得る。いくつかの実施形態では、取得される面区画の数は、環境の平面表面の数より多くあり得る。表面平面フィルタが、例えば、不必要な面区画をフィルタリング除去し、複数の面区画を１つに組み合わせることによって、環境の表面平面に関して取得される面区画を処理するように構成されてもよい。いくつかの実施形態では、面区画は、同一表面の異なる部分を表す可能性が高い、面区画の群を形成するように処理されてもよい。無限範囲の表面としてモデル化され得る、表面平面が、各群から導出され、角点が、次いで、識別され得るように、環境を境界する表面の交差部を決定するために使用されてもよい。いくつかの実施形態では、表面平面は、そこから表面平面が導出される、面区画の群を境界する、３つ以上の点によって表されてもよい。表面面法線が、表面平面を表す、点から算出されてもよい。表面面法線は、表面平面が延在する、平面の配向を示し得る。

いくつかの実施形態では、環境の角点が、環境の第１および第２の隣接する表面平面を無限遠へと延在するように取り扱い、それらの平面が交差する、境界線を識別することによって、推測されてもよい。境界線は、次いで、第３の表面平面と、いくつかの実施形態では、第４の表面平面と交差され、境界線の終点を識別してもよい。第１および第２の表面平面は、他の表面平面を通して通過せずに平面が交差するかどうか、部屋の推定される最大サイズに一致する、ウェアラブルデバイスのユーザからの距離において平面が交差するかどうか、または表面平面のそれぞれを識別するために使用された面区画の重心の近接度等の１つ以上の基準に基づいて、隣接するものとして選択されてもよい。第１および第２の表面平面は、それらが環境の一部を境界する壁を表すように、略垂直配向を有する、それらの平面から選択されてもよい。０度のある閾値角度内にある、法線等の基準が、垂直平面を選択するために使用されてもよい。第３および第４の表面平面は、９０度の角度のある閾値内にある、法線等の水平配向を有する、平面から選択されてもよい。いくつかの実施形態では、閾値角度は、水平および垂直平面に関して異なってもよい。例えば、閾値角度は、水平平面に関して、例えば、傾きが付けられた天井を表す、平面を識別するために、より大きくてもよい。いくつかの実施形態では、ウェアラブルデバイスに提供されるＳＤＫは、例えば、天井平面、床平面、および壁平面を含む、表面平面の要求されるタイプを示す、例えば、ユーザ要求に従って、表面平面を提供してもよい。

表面平面が処理するために選択される様式にかかわらず、隣接する垂直平面の組み合わせは、他の境界線を識別するために処理されてもよく、これは、次いで、１つ以上の水平平面とさらに交差され、角点を識別してもよい。ＡＲシステムは、環境の角点の完全セットが推測／決定されるまで、プロセスを反復してもよい。完全セットは、識別された角点が閉鎖された空間を定義するときに決定され得る。初期走査の間に取得される情報が、閉鎖を形成するために不十分である場合、付加的走査が、実施されてもよい。

図２０は、いくつかの実施形態による、ＡＲシステムを動作させ、環境の３Ｄ再構築を生成する例示的方法２０００を示す。図２０－２９に関連して説明される方法は、ＸＲシステムの１つ以上のプロセッサ内で実施されてもよい。方法２０００は、環境の面区画を抽出することによって（行為２００２）、開始してもよい。

面区画を抽出するステップは、図２４に図示され、これは、例示的環境２５００を描写する。本実施例では、環境２５００は、美術館内の部屋２５０２である。部屋２５０２は、天井２５０４、床２５０６、および壁２５０８によって境界され得る。壁２５０８は、１つ以上の美術作品、例えば、平坦表面を伴う絵画２５１０および湾曲表面を伴う工作物２５１２を展示するために使用され得る。方法２０００は、部屋２５０２のような部屋を再構築することに限定されず、限定ではないが、複数の天井、複数の床、またはアーチ形天井を伴う、部屋を含む、任意の種類の環境を再構築するために適用されてもよいことを理解されたい。

本環境２５００内のユーザ２５１６Ａ－２５１６Ｃは、個別のＡＲデバイス２５１４Ａ－２５１４Ｃを装着してもよい。ＡＲデバイス２５１４Ａ－２５１４Ｃは、対応する視野２５１８Ａ－２５１８Ｃを有してもよい。その対応する視野内において、初期走査の間、ＡＲデバイスは、面区画２５２０を取得してもよい。いくつかの実施形態では、ＡＲデバイスは、ＡＲデバイス内のセンサによって捕捉された深度および／または画像および／または他の情報から面区画を抽出してもよい。ＡＲデバイスは、場所、配向、およびその面区画によって包含される面積を定義する、情報を用いて、面区画を表し得る。実施例として、面区画は、ユーザに対して実質的に類似深度を有する、または別様に平坦表面であると識別された、面積を境界する、３つ以上の点によって表されてもよい。いくつかの実施形態では、各点は、座標系内のその位置によって表されてもよい。いくつかの実施形態では、座標系は、例えば、環境内の基準を原点として使用して、固定されてもよく、これは、ユーザ間で共有されることをより容易にする。いくつかの実施形態では、座標系は、例えば、ユーザの場所を原点として使用して、動的であってもよく、これは、データを簡略化し、環境をユーザに表示するために要求される計算を低減させる。

面区画毎に、面区画法線２５２２が、算出されてもよい。いくつかの実施形態では、面区画法線は、ベクトルのフォーマットにあってもよい。面区画法線は、個別の面区画の配向を示し得る。面区画法線はまた、面区画によって被覆される面積のサイズを示す、値を有してもよい。

図２０に戻って参照すると、方法２０００は、少なくとも部分的に、取得される面区画に基づいて、１つ以上の表面平面を識別するステップ（行為２００４）を含んでもよい。いくつかの実施形態では、表面平面は、ユーザによってアドホックに識別されてもよい。図２４に図示される実施例では、ＦＯＶ２５１８Ｂ内で抽出された面区画は、ＡＲデバイス２５１４Ｂ上に表示され、ユーザ２５１６Ｂに可視であってもよい。ユーザは、例えば、ＡＲデバイス２５１４Ｂ上に表示される面区画を指すことによって、ＡＲデバイス２５１４Ｂに、面区画法線２５２４が壁に関する優勢表面面法線として設定されるべきであることを示してもよい。

いくつかの実施形態では、表面平面は、全くユーザ入力を伴わずに、または部分的ユーザ入力を伴って、自動的または半自動的に、ある方法によって識別されてもよい。図２１は、いくつかの実施形態による、行為２００４のための例示的方法２１００を描写する。方法２１００は、１つ以上の基準に基づいて、取得された面区画を異なる群に分離することによって（行為２１０２）、開始してもよい。

いくつかの実施形態では、面区画は、ユーザ入力を用いて、群化されてもよい。図２４に図示される実施例では、ユーザ２５１６Ａは、ＡＲデバイス２５１４Ａに、ＦＯＶ２５１８Ａ内に表示される４つの面区画のうちの１つが第１の群として設定されるべきであることを示してもよい。ＡＲデバイスは、ユーザが、１つの面区画を指し、次いで、環境の異なる空間を走査することに迅速に移行し得るように、ＦＯＶ２５１８Ａ内の残り面区画が第１の群と異なる第２の群として設定されるべきであることを示すものとして、本ユーザ入力を解釈するように構成されてもよい。いくつかの状況では、部分的ユーザ入力は、方法２１００の性能を加速させ得る。

図示される実施形態では、少なくとも１つのそのような基準は、個別の面区画法線に基づく。いくつかの実施形態では、ある誤差範囲内の面区画法線を有する、面区画は、ともに群化されてもよい。いくつかの実施形態では、例えば、３０度を下回る、２０度を下回る、または１０度を下回る、誤差範囲が、事前に決定されてもよい。他の実施形態では、群の境界は、クラスタ化アルゴリズム等を使用することによって、動的に決定されてもよい。さらなる実施例として、面区画は、面区画間の距離に基づいて、群化されてもよい。２つの面区画間の距離は、例えば、その面区画の法線と平行方向に、第１の面区画の重心において測定されてもよい。距離は、重心から、第２の面区画を含有する、平面との交差部まで測定されてもよい。

代替として、または加えて、１つ以上の基準が、群から面区画を選択または除外するために使用されてもよい。例えば、閾値サイズを上回る面区画のみが、処理されてもよい。代替として、または加えて、それらが部屋の寸法より大きい可能性が高いような大きすぎる面区画は、除外されてもよい。ソートするステップは、水平または垂直壁区画、または壁、床、または天井を別様に表し得る配向を有する、壁区画のみが、処理され得るように、面区画の配向等の他の基準に基づいてもよい。壁区画の色またはテクスチャ等の他の特性も、代替として、または加えて、使用されてもよい。同様に、ユーザまたは他の基準点からの距離が、面区画を群に割り当てるために使用されてもよい。距離は、例えば、面区画の法線と平行方向に、または同一表面の区画をともに群化する、他の基準を使用して、測定されてもよい。

面区画が選択および群化される方法にかかわらず、群は、次いで、表面平面が各群内の面区画から導出されるように、処理されてもよい。行為２１０４では、群毎に、優勢面区画法線が面区画法線の中に存在するかどうかが決定されてもよい。いくつかの実施形態では、優勢面区画法線が、面区画法線と関連付けられる面区画の面積を表す値によって示され得る、面区画法線と関連付けられる面区画のサイズを比較することによって、決定されてもよい。面区画法線が、他の面区画より有意に大きい、面区画と関連付けられる場合、より有意に大きい面区画と関連付けられる、面区画法線は、優勢面区画法線として選択されてもよい。

面区画のサイズの統計的分布が、優勢面法線が存在するかどうかを決定するために使用されてもよい。例えば、最大面区画が、１を上回る標準偏差分、群内の他の面区画の平均サイズを超える場合、優勢面区画法線として選択され得る。優勢面区画法線が決定される方法にかかわらず、行為２１０６では、優勢面区画法線は、表面面法線として設定されてもよく、これは、次いで、表面を表す、表面平面を定義するために使用されてもよい。

優勢面区画法線が、行為２１０４における処理の結果として検出されない場合、行為２１０８において、表面面法線は、群内の面区画の面区画法線から導出されてもよい。図２１は、例えば、群の選択された面区画法線の加重平均が表面法線として設定され得ることを図示する。加重するステップは、結果がそれに関して同一または類似配向が測定された表面積によって影響され得るように、面区画法線と関連付けられる面区画のサイズに比例してもよい。

選択された面区画法線は、群内の全ての面区画法線、または例えば、閾値の値（例えば、ブリック平面の数）より小さい、および／または閾値外の配向を有する、面区画と関連付けられる面区画法線を除去することによって選択される、群内の全ての面区画法線の一部を含んでもよい。本選択は、任意の好適な時間に実施されてもよく、例えば、行為２１０８の一部として実施されてもよい、または代替として、または加えて、行為２１０２における面区画を群に分離するステップの一部として実施されてもよい。

行為２１１０では、方法２０００は、表面面法線に基づいて、表面平面を導出してもよい。優勢面区画法線が、検出されるとき、優勢面区画に対応する面区画は、表面平面として保存されてもよい。優勢面区画法線が、検出されないとき、表面平面は、行為２１０８によって導出されてもよい。表面面法線が決定される方法にかかわらず、表面平面は、３つ以上の点によって表されてもよく、これは、表面面法線と垂直な無限平面（例えば、図示されるような表面平面２６１６）を表すものとして捉えられ得る。いくつかの実施形態では、表面平面は、例えば、面区画の群が心合される場所または表面積が群の面区画内で検出された量を含む、メタデータを含んでもよい。いくつかの実施形態では、表面平面は、環境の表面の区画（例えば、図示されるような表面平面２６１４）であってもよく、これは、面区画と同一フォーマットを有し得る。

いくつかの実施形態によると、環境２５００の簡略化された概略図２６００を描写する、図２５を参照すると、略図２６００は、表面平面２６０２－２６２０を含み得、これは、図２４における抽出された面区画２５２０に基づいて識別され得る。図２５の例証では、表面平面は、それらが図示され得るように、切り取られて示されるが、表面平面は、それらが無限であるように取り扱われ得るように、それらと関連付けられる面積を有していなくてもよいことを理解されたい。実施例として、表面平面２６１０は、少なくとも部分的に、ユーザ２５１６Ｂ（図２４）によって装着されるＡＲデバイス２５１４Ｂによって捕捉された面区画に基づいて、識別されてもよい。図示される実施例では、平坦表面を伴う絵画２５１０および湾曲表面を伴う工作物２５１２が、視野２５１８Ｂ内にある。工作物から抽出された面区画は、湾曲表面のための面法線が誤差範囲外にあり得るため、表面平面を算出する前に除去されてもよい。絵画から抽出された面区画は、絵画のための面法線の値がその背後の壁から抽出された面区画の値より有意に小さくあり得るため、表面平面を算出する前に除去されてもよい。別の実施例として、表面平面２６１４および２６１６は、少なくとも部分的に、ユーザ２５１６Ａによって装着されるＡＲデバイス２５１４Ａによって抽出された面区画に基づいて、識別されてもよい。抽出された面区画は、それぞれ、表面平面２６１４および２６１６を算出するために、２つの群に分離されてもよい。

図２０に戻って参照すると、方法２０００は、少なくとも部分的に、表面平面に基づいて、環境の１つ以上の角点を推測するステップ（行為２００６）を含んでもよい。図２２は、いくつかの実施形態による、行為２００６のための方法２３００を描写する。方法２３００は、２つの壁平面（例えば、表面平面２６０２および２６０６）を無限遠へと延在させることによって（行為２３０２）、開始してもよい。いくつかの実施形態では、壁平面は、それらが環境の一部を境界する壁を表すように、略垂直配向を有する、それらの平面から選択されてもよい。いくつかの実施形態では、方法２３００は、例えば、壁平面によって定義された方向に、交差する表面平面から別の交差する表面平面までの経路をトレーシングするステップを含んでもよい。経路が、ループを形成する場合、方法２３００は、閉鎖が形成されると決定してもよい。経路が、１つの平面と交差するが、第２の平面と交差しない、経路内の断絶を示す、識別された表面平面に遭遇する場合、方法２３００は、閉鎖が存在しないと決定してもよい。いくつかの実施形態では、壁平面間の中心間距離（例えば、図２６におけるｄ）が、計算されてもよい。方法２３００は、最小中心間距離を有する、２つの壁平面から開始してもよい。

方法２３００は、２つの壁平面の両方と交差する、境界線を取得するステップ（行為２３０４）を含んでもよい。線は、本明細書に説明される幾何学的構造の算出表現を操作する、算出によって取得されてもよい。例えば、図２６に図示されるように、境界線２７０２は、表面平面２６０２および２６０６の両方と交差する。行為２３０６では、１つ以上の第１の角点が、境界線と個別の床平面を交差させることによって推測されてもよい。例えば、図２７に図示されるように、第１の角点２８０２は、境界線２７０２と床平面２６２２を交差させることによって推測される。行為２３０８では、１つ以上の第２の角点が、境界線と個別の天井平面を交差させることによって推測されてもよい。図２７に図示されるように、第２の角点２８０４は、境界線２７０２と天井平面２６２０を交差させることによって推測される。図示される部屋２５００は、１つの天井と、１つの床とを有するが、いくつかの部屋は、複数の天井または床を有してもよいことを理解されたい。例えば、２つの床平面の遷移における境界線は、２つの第１の角点をもたらし得る。同様に、２つの天井平面の遷移における境界線は、２つの第２の角点をもたらし得る。

図２０に戻って参照すると、方法２０００は、点のセットが部屋または内部環境の正確な表現として確認され得るように、推測される角点が閉鎖された空間を境界するかどうかを決定するステップ（行為２００８）を含んでもよい。いくつかの実施形態では、決定するステップは、角点を継合する境界線が、閉鎖されたボリュームを継合および境界する、表面を画定するように接続され得る場合、閉鎖が形成されることを示す。いくつかの実施形態では、決定するステップは、角点によって境界される壁平面がループを形成する場合、閉鎖が形成されることを示す。

いくつかの実施形態では、算出が、閉鎖が形成されることを示すとき、行為２０１０において、角点は、保存されてもよい、すなわち、それらは、例えば、ローカルメモリ内に記憶される、および／またはコンピュータネットワークを経由して遠隔メモリ内に記憶されるように通信されてもよい。算出された結果が、閉鎖がまだ形成されていないことを示すとき、行為２００２－２００６のうちのいくつかは、閉鎖が形成される、またはデータ内にエラーが検出されるまでの回数分、繰り返されてもよい。各反復では、例えば、付加的データが、より多くの面区画が、行為２００２において使用され、閉鎖が形成されるであろう機会を増加させるように、集められる、またはアクセスされ得る。いくつかの実施形態では、エラーは、推測される角点が、単純表現に修正可能な空間内にないことを意味し得る。いくつかの実施形態では、エラーに応答して、本システムは、ユーザインターフェースを提示し、例えば、センサが面区画を検出しなかった場所に表面平面が存在することを示す、または本システムがいくつかの抽出された面区画を誤群化した場所に表面平面が存在しないことを示すことによって、ユーザに、介入するオプションをオファーしてもよい。

図示される実施例では、行為２０１２において、ＡＲシステムは、新しい面区画が要求されるかどうかを決定する。新しい面区画が要求されることが決定されるとき、方法２０００は、行為２００２を実施し、付加的面区画を捕捉してもよい。新しい面区画が要求されず、代わりに、例えば、捕捉された面区画が再群化されるべきであることが決定されるとき、方法２０００は、行為２００４を実施し、付加的表面平面を取得し、および／または既存の表面平面を置換してもよい。

図２３は、いくつかの実施形態による、方法２０００を実施するように構成されるシステム２４００を図示する、簡略化された概略図を描写する。システム２４００は、クラウドメモリ２４０２と、クラウドメモリ２４０２および他のＡＲデバイスと通信するように構成される、ＡＲデバイス２５１４Ａ、２５１４Ｂ、および２５１４Ｃとを含んでもよい。第１のＡＲデバイス２５１４Ａは、第１のＡＲデバイスによって抽出された面区画から推測される第１の角点を記憶する、第１のローカルメモリを含んでもよい。第２のＡＲデバイス２５１４Ｂは、第２のＡＲデバイスによって抽出された面区画から推測される第２の角点を記憶する、第２のローカルメモリを含んでもよい。第３のＡＲデバイス２５１４Ｃは、第３のＡＲデバイスによって抽出された面区画から推測される第３の角点を記憶する、第３のローカルメモリを含んでもよい。

いくつかの実施形態では、第１のＡＲデバイス上で起動するアプリケーションが、環境２５００の３Ｄ表現を要求するとき、第１のＡＲデバイスは、第２の角点および第３の角点をクラウドメモリから読み出し、部屋２５００の３Ｄ表現、例えば、図２８に図示されるメッシュモデル２９００を構築してもよい。メッシュモデルは、種々の方法において有用であり得る。例えば、メッシュモデル２９００は、ＡＲデバイス上で起動する住宅建設アプリケーションによって、部屋２５００を被覆するために必要とされる塗料の量を算出するために使用されてもよい。部屋全体を走査することによって取得される従来のモデルを使用するステップと比較して、メッシュモデル２９００は、正確かつ迅速な結果を与えながら、部屋を部分的に走査することによって達成されることができる。

いくつかの実施形態では、マルチユーザ体験では、ＡＲデバイスは、環境をともに走査してもよい。ＡＲデバイスは、識別された角点を相互に通信し、したがって、単一ユーザが行うであろう時間より少ない時間を伴って、環境の全ての角点を識別し得る。

結論

いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。

一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、またはより一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。

別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。

そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。

本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、ＣＰＵチップ、ＧＰＵチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の１つ以上のプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ＡＳＩＣ等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、１つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。

さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。

また、コンピュータは、１つ以上の入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力／出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および／または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力／出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。

そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカルエリアネットワークまたは広域ネットワークとしての形態を含む、任意の好適な形態の１つ以上のネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。

また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用する、１つ以上のプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。

本側面では、本開示は、１つ以上のコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される本開示の種々の実施形態を実装する方法を行う、１つ以上のプログラムで符号化される、コンピュータ可読記憶媒体（または複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つ以上のフロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、光学ディスク、デジタルビデオディスク（ＤＶＤ）、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、上記に記載されるように、その上に記憶される１つまたは複数のプログラムが、本開示の種々の側面を実装するように１つ以上の異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造（すなわち、製造品）または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。

用語「プログラム」または「ソフトウェア」は、上記に記載されるように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、１つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。

コンピュータ実行可能命令は、１つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。

また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。

本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。

また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。

請求項要素を修飾するための請求項における「第１の」、「第２の」、「第３の」等の順序の用語の使用は、単独では、別の要素と比べた１つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、（順序の用語の使用のためであるが）ある名前を有する１つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。

また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「～を含む」、「～を備える」、または「～を有する」、「～を含有する」、「～を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。

Claims (20)

1. ポータブル電子システムであって、
   物理的世界についての情報を捕捉するように構成されるセンサと、
   プロセッサであって、前記プロセッサは、少なくとも部分的に、前記物理的世界についての捕捉された情報に基づいて前記物理的世界の一部の３次元（３Ｄ）表現を算出するためのコンピュータ実行可能命令を実行するように構成され、前記コンピュータ実行可能命令は、
   複数の面区画を前記センサ捕捉情報から抽出することと、
   少なくとも部分的に、前記複数の面区画に基づいて、複数の表面平面を識別することと、
   少なくとも部分的に、前記複数の表面平面に基づいて、前記物理的世界の一部の複数の角点を推測することと
   のための命令を備える、プロセッサと
   を備える、ポータブル電子システム。
2. 前記コンピュータ実行可能命令はさらに、前記角点を使用して前記物理的世界の一部のメッシュモデルを構築することのための命令を備える、請求項１に記載のポータブル電子システム。
3. 前記複数の表面平面は、少なくとも部分的に、前記ポータブル電子システムの少なくとも一部を装着しているユーザからの入力に基づいて識別される、請求項１に記載のポータブル電子システム。
4. 遠隔メモリを提供するデバイスとのコンピュータネットワークを経由した通信のために構成される送受信機を備える、請求項１に記載のポータブル電子システム。
5. 前記プロセッサは、前記物理的世界の一部の３Ｄ表現をアプリケーションに提供するように構成されるサービスを実装する、請求項１に記載のポータブル電子システム。
6. 前記サービスは、前記角点をローカルメモリ内に保存するか、または、前記角点をクラウドメモリに前記物理的世界の一部の３次元（３Ｄ）表現として転送する、請求項５に記載のポータブル電子システム。
7. 前記複数の表面平面を識別することは、
   優勢面区画法線が前記複数の面区画の面区画法線の群の中に存在するかどうかを決定することと、
   前記決定することが、前記群の優勢面区画法線を示すとき、前記優勢面区画法線を表面面法線として設定することと、
   前記決定することが、前記群の優勢面区画法線を示さないとき、前記表面面法線を前記群の面区画法線の少なくとも一部から算出することと
   を含む、請求項１に記載のポータブル電子システム。
8. 前記表面面法線を算出することは、前記群の面区画法線の少なくとも一部の加重平均を算出することを含む、請求項７に記載のポータブル電子システム。
9. 前記物理的世界の一部の複数の角点を推測することは、
   無限遠へと前記複数の表面平面の第１および第２の表面平面を延在させることと、
   前記第１および第２の表面平面と交差する境界線を取得することと
   を含む、請求項１に記載の方法。
10. 前記物理的世界の一部の複数の角点を推測することはさらに、前記境界線を第３の表面平面と交差させることによって、前記複数の角点のうちの１つを推測することを含む、請求項９に記載の方法。
11. 複数のコンピュータ実行可能命令でエンコーディングされた少なくとも１つの非一過性コンピュータ可読媒体であって、前記複数のコンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行されると、物理的世界の一部の３次元（３Ｄ）表現を提供するための方法を実施し、前記物理的世界の一部は、複数の角点を用いて表され、前記方法は、
    ユーザの視野（ＦＯＶ）内にある前記物理的世界の一部についての情報を捕捉することと、
    複数の面区画を前記捕捉された情報から抽出することと、
    複数の表面平面を前記複数の面区画から識別することと、
    前記複数の識別された表面平面の表面平面の交差部に基づいて、前記物理的世界の一部を表す複数の角点を算出することと
    を含む、方法。
12. 第１の複数の角点が閉鎖を形成するかどうかを算出することを含む、請求項１１に記載の方法。
13. 閉鎖が形成されるかどうかを算出することは、前記第１の複数の角点を継合する境界線が閉鎖されたボリュームを継合および境界する表面を画定するように接続され得るかどうかを決定することを含む、請求項１２に記載の方法。
14. 前記物理的世界の一部は、前記物理的世界の第１の部分であり、前記ユーザは、第１のユーザであり、
    前記複数の角点は、第１の複数の角点であり、
    前記方法はさらに、
    第２のユーザから、前記物理的世界の第２の部分の第２の複数の角点を受信することと、
    少なくとも部分的に、前記第１および第２の複数の角点に基づいて、前記物理的世界の３Ｄ表現を提供することと
    を含む、請求項１１に記載の方法。
15. 前記ユーザは、第１のユーザであり、
    前記方法はさらに、
    コンピュータネットワークを経由して、前記第１のユーザのＦＯＶ内にある前記物理的世界の一部について捕捉された情報から算出された角点を通信することと、
    第２のユーザによって使用されるＸＲデバイスにおいて、前記通信される角点を受信することと、
    前記ＸＲデバイスを用いて、前記第２のユーザに、前記受信された複数の角点に基づいて、前記物理的世界の一部についての情報をレンダリングすることと
    を含む、請求項１１に記載の方法。
16. 前記角点に関するメタデータを算出することを含み、前記メタデータは、前記角点間の場所関係を示す、請求項１１に記載の方法。
17. 前記角点が、前記ユーザを含む複数のユーザによって読出可能であるように、個別のメタデータを含む前記角点を保存することを含む、請求項１６に記載の方法。
18. 環境を再構築するためのクロスリアリティシステムを動作させる方法であって、前記クロスリアリティシステムは、センサの視野内の個別の領域に関する深度情報を生成するユーザによって装着されるセンサと通信する画像情報を処理するように構成されるプロセッサを備え、前記方法は、
    複数の面区画を前記深度情報から抽出することと、
    前記抽出された面区画を前記ユーザに表示することと、
    それぞれが前記環境を境界する表面を表す複数の表面平面を示すユーザ入力を受信することと、
    少なくとも部分的に、前記複数の表面平面に基づいて、前記環境の複数の角点を算出することと
    を含む、方法。
19. 前記複数の角点が閉鎖を形成するかどうかを決定することをさらに含む、請求項１８に記載の方法。
20. 前記閉鎖が形成されると決定されると、前記角点を記憶することをさらに含む、請求項１９に記載の方法。

Images