JP2022539160A - 平面抽出を使用した単純環境ソルバ - Google Patents
平面抽出を使用した単純環境ソルバ Download PDFInfo
- Publication number
- JP2022539160A JP2022539160A JP2021577449A JP2021577449A JP2022539160A JP 2022539160 A JP2022539160 A JP 2022539160A JP 2021577449 A JP2021577449 A JP 2021577449A JP 2021577449 A JP2021577449 A JP 2021577449A JP 2022539160 A JP2022539160 A JP 2022539160A
- Authority
- JP
- Japan
- Prior art keywords
- physical world
- user
- plane
- planes
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
Abstract
環境を再構築するための方法が、提供される。本方法は、短処理時間および算出リソースおよび記憶空間の低使用量を伴って、様々なXRアプリケーションに、環境のフレッシュかつ正確な3D再構築データを利用可能にする。3D再構築データは、マルチユーザ体験のために、ユーザ間で効率的に共有されるように構造化される。本方法は、環境の面区画を取得するステップと、例えば、面区画をフィルタリングおよび群化することによって、またはユーザによる面区画のアドホックな選択によって、環境の表面平面を識別するステップと、表面平面に基づいて、環境の角点を推測するステップとを含む。角点は、XRアプリケーションが要求するとき、環境の3D表現を構築するために使用される。
Description
本願は、概して、3D世界再構築を使用して、場面をレンダリングする、クロスリアリティシステムに関する。
コンピュータは、ヒューマンユーザインターフェースを制御し、ユーザによって知覚されるにつれて、XR環境の一部または全部がコンピュータによって生成される、Xリアリティ(XRまたはクロスリアリティ)環境を作成し得る。これらのXR環境は、XR環境の一部または全部が、部分的に、環境を説明するデータを使用して、コンピュータによって生成され得る、仮想現実(VR)、拡張現実(AR)、および複合現実(MR)環境であり得る。本データは、例えば、ユーザが、物理的世界の一部として、感知または知覚し、仮想オブジェクトと相互作用し得るようにレンダリングされ得る、仮想オブジェクトを説明し得る。ユーザは、例えば、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通してレンダリングおよび提示されているデータの結果として、これらの仮想オブジェクトを体験し得る。データは、ユーザに見えるために表示され得る、またはユーザに聞こえるために再生される、オーディオを制御し得る、または触知的(または触覚的)インターフェースを制御し、ユーザが、仮想オブジェクトを感じるにつれて、ユーザが感知または知覚する、タッチ感覚を体験することを可能にし得る。
XRシステムは、科学的可視化、医療訓練、工学設計、およびプロトタイプ化、遠隔操作およびテレプレゼンス、および個人的娯楽の分野に及ぶ、多くの用途のために有用であり得る。ARおよびMRは、VRと対照的に、物理的世界の実オブジェクトと関連して、1つ以上のオブジェクトを含む。実オブジェクトと相互作用する、仮想オブジェクトの体験は、XRシステムを使用する際、ユーザの享受を大幅に向上させ、また、物理的世界が改変され得る様子についての現実的かつ容易に理解可能な情報を提示する、種々の用途のための可能性を広げる。
XRシステムは、本システムのユーザの周囲の物理的世界を「メッシュ」として表し得る。メッシュは、複数の相互接続された三角形によって表され得る。各三角形は、各三角形が表面の一部を表すように、物理的世界内のオブジェクトの表面上の点を継合する、縁を有する。色、テクスチャ、または他の性質等の表面の部分についての情報は、三角形内に関連付けて記憶され得る。動作時、XRシステムは、メッシュを作成または更新するように、画像情報を処理し、点および表面を検出し得る。
本願の側面は、コンピュータ生成オブジェクトを含有する環境を迅速に生成するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。
いくつかの実施形態は、ポータブル電子システムに関する。ポータブル電子システムは、物理的世界についての情報を捕捉するように構成される、センサと、少なくとも部分的に、物理的世界についての捕捉された情報に基づいて物理的世界の一部の3次元(3D)表現を算出するためのコンピュータ実行可能命令を実行するように構成される、プロセッサとを含む。コンピュータ実行可能命令は、複数の面区画(plane segment)をセンサ捕捉情報から抽出するステップと、少なくとも部分的に、複数の面区画に基づいて、複数の表面平面を識別するステップと、少なくとも部分的に、複数の表面平面に基づいて、物理的世界の一部の複数の角点(corner point)を推測するステップとのための命令を含む。
いくつかの実施形態では、コンピュータ実行可能命令はさらに、角点を使用して物理的世界の一部のメッシュモデルを構築するステップのための命令を備える。
いくつかの実施形態では、複数の表面平面は、少なくとも部分的に、ポータブル電子システムの少なくとも一部を装着しているユーザからの入力に基づいて識別される。
いくつかの実施形態では、ポータブル電子システムは、遠隔メモリを提供するデバイスとのコンピュータネットワークを経由した通信のために構成される、送受信機を含む。
いくつかの実施形態では、プロセッサは、物理的世界の一部の3D表現をアプリケーションに提供するように構成される、サービスを実装する。
いくつかの実施形態では、サービスは、角点をローカルメモリ内に保存する、または角点をクラウドメモリに物理的世界の一部の3次元(3D)表現として転送する。
いくつかの実施形態では、複数の表面平面を識別するステップは、優勢面区画法線(dominant plane segment normal)が複数の面区画の面区画法線の群の中に存在するかどうかを決定するステップと、決定するステップが、群の優勢面区画法線を示すとき、優勢面区画法線を表面面法線として設定するステップと、決定するステップが、群の優勢面区画法線を示さないとき、表面面法線を群の面区画法線の少なくとも一部から算出するステップとを含む。
いくつかの実施形態では、表面面法線を算出するステップは、群の面区画法線の少なくとも一部の加重平均を算出するステップを含む。
いくつかの実施形態では、物理的世界の一部の複数の角点を推測するステップは、無限遠へと複数の表面平面の第1および第2の表面平面を延在させるステップと、第1および第2の表面平面と交差する、境界線を取得するステップとを含む。
いくつかの実施形態では、物理的世界の一部の複数の角点を推測するステップはさらに、境界線を第3の表面平面と交差させることによって、複数の角点のうちの1つを推測するステップを含む。
いくつかの実施形態は、少なくとも1つのプロセッサによって実行されると、その中に物理的世界の一部が複数の角点を用いて表される、物理的世界の一部の3次元(3D)表現を提供するための方法を実施する、複数のコンピュータ実行可能命令でエンコーディングされた少なくとも1つの非一過性コンピュータ可読媒体に関する。本方法は、ユーザの視野(FOV)内にある、物理的世界の一部についての情報を捕捉するステップと、複数の面区画を捕捉された情報から抽出するステップと、複数の表面平面を複数の面区画から識別するステップと、複数の識別された表面平面の表面平面の交差部に基づいて、物理的世界の一部を表す、複数の角点を算出するステップとを含む。
いくつかの実施形態では、本方法は、第1の複数の角点が閉鎖を形成するかどうかを算出するステップを含む。
いくつかの実施形態では、閉鎖が形成されるかどうかを算出するステップは、第1の複数の角点を継合する境界線が、閉鎖されたボリュームを継合および境界する、表面を画定するように接続され得るかどうかを決定するステップを含む。
いくつかの実施形態では、物理的世界の一部は、物理的世界の第1の部分であって、ユーザは、第1のユーザであって、複数の角点は、第1の複数の角点であって、本方法はさらに、第2のユーザから、物理的世界の第2の部分の第2の複数の角点を受信するステップと、少なくとも部分的に、第1および第2の複数の角点に基づいて、物理的世界の3D表現を提供するステップとを含む。
いくつかの実施形態では、ユーザは、第1のユーザであって、本方法はさらに、コンピュータネットワークを経由して、第1のユーザのFOV内にある、物理的世界の一部について捕捉された情報から算出された角点を通信するステップと、第2のユーザによって使用されるXRデバイスにおいて、通信される角点を受信するステップと、XRデバイスを用いて、第2のユーザに、受信された複数の角点に基づいて、物理的世界の一部についての情報をレンダリングするステップとを含む。
いくつかの実施形態では、本方法は、角点に関するメタデータを算出するステップを含み、メタデータは、角点間の場所関係を示す。
いくつかの実施形態では、本方法は、角点が、ユーザを含む、複数のユーザによって読出可能であるように、個別のメタデータを含む、角点を保存するステップを含む。
いくつかの実施形態は、環境を再構築するためのクロスリアリティシステムを動作させる方法に関する。クロスリアリティシステムは、センサの視野内の個別の領域に関する深度情報を生成する、ユーザによって装着されるセンサと通信する、画像情報を処理するように構成される、プロセッサを含む。本方法は、複数の面区画を深度情報から抽出するステップと、抽出された面区画をユーザに表示するステップと、それぞれ、環境を境界する表面を表す、複数の表面平面を示す、ユーザ入力を受信するステップと、少なくとも部分的に、複数の表面平面に基づいて、環境の複数の角点を算出するステップとを含む。
いくつかの実施形態では、本方法は、複数の角点が閉鎖を形成するかどうかを決定するステップを含む。
いくつかの実施形態では、本方法は、閉鎖が形成されると決定されると、角点を記憶するステップを含む。
前述の説明は、例証として提供され、限定することを意図するものではない。
添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。
本明細書に説明されるものは、Xリアリティ(XRまたはクロスリアリティ)システムにおいて屋内環境等の環境の3次元(3D)世界再構築を作成および使用するための方法および装置である。従来、環境の3D表現は、ユーザによって保持および/または装着されるXRシステムを用いて、例えば、壁、床、および天井を含む、環境全体を走査することによって構築される。XRシステムは、環境を表すために、稠密メッシュを生成する。本発明者らは、稠密メッシュがXRシステムによって実施されている特定のタスクのために不必要な詳細を含み得ることを認識および理解している。例えば、本システムは、壁上のわずかな欠陥を表し、壁上の任意の装飾を表すために、多数の三角形を用いて、稠密メッシュモデルを構築するが、そのモデルは、壁の表面を被覆する仮想オブジェクトを提示する、または壁の場所を識別する、または壁の面積を算出する(壁上のわずかな欠陥によって影響され得ない、または壁の表面を被覆する装飾のため、壁の面積が正確に算出されることができない場合、達成され得ない、タスク)、アプリケーションによって使用され得る。そのようなアプリケーションの実施例は、部屋の構造を表すデータが十分であり得る、住宅建設アプリケーションと、丸窓が邪悪なロボットのために開放されることを可能にする、壁の面積を表すデータを要求し、壁表面を被覆する装飾のため、不十分な壁空間の誤ったエラーメッセージを与え得る、Dr. Grordbort’s Invaders」等のゲームとを含み得る。
本発明者らは、環境の部屋または他の部分を角点のセットとして迅速かつ正確に表すための技法を認識および理解している。角点は、任意の壁、床、および/または天井等の環境の表面を表す、表面平面を識別することによって導出され得る。表面平面は、環境の一部を走査するために使用され得る、ウェアラブルデバイス上のセンサによって収集された情報から算出されてもよい。センサは、深度および/または画像情報を提供してもよい。XRシステムは、面区画を深度および/または画像情報から取得してもよい。各面区画は、例えば、面法線によって、面区画が表す、平面の配向を示してもよい。XRシステムは、次いで、環境の表面平面を1つ以上の面区画の群から識別してもよい。いくつかの実施形態では、表面平面は、XRシステムを動作させるユーザによって、アドホックに選択されてもよい。いくつかの実施形態では、XRシステムは、表面平面を自動的に識別してもよい。
環境の3D表現は、環境の角点を使用して、迅速かつ正確に再構築され得る。環境の単純メッシュ表現が、例えば、角点から生成され、従来の方法において算出されたメッシュの代わりに、またはそれに加え、使用されてもよい。いくつかの実施形態では、マルチユーザ体験のために、角点は、環境を伴うXR体験において、複数のユーザ間で伝送されてもよい。環境の角点は、環境の稠密メッシュより有意に高速で伝送されることができる。さらに、環境の角点に基づいて、環境の3D表現を構築することは、環境全体の稠密メッシュを走査することと比較して、より少ない演算能力、記憶空間、およびネットワーク帯域幅を消費する。
本明細書に説明されるような技法は、クロスリアリティ場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともにまたは別個に、かつ多くのタイプの場面のために使用されてもよい。いくつかの実施形態では、本技法は、XRシステムの一部を形成する、サービスによって実装されてもよい。環境を再構築する単純情報で十分である、タスクを実施する、アプリケーションは、本サービスと相互作用し、点および/またはそれらの点が境界する表面についての関連付けられるメタデータの有無にかかわらず、角点のセットを取得し、環境についての情報をレンダリングしてもよい。アプリケーションは、例えば、仮想オブジェクトをそれらの表面に対してレンダリングしてもよい。例えば、アプリケーションは、壁上に吊るされた仮想写真または他のオブジェクトをレンダリングしてもよい。別の実施例として、アプリケーションは、仮想色オーバーレイを壁上にレンダリングし、その知覚される色を変化させてもよい、または表面の面積、その表面を被覆するために要求される、塗料の量、または環境について算出され得る、他の情報を示す、タグ等、タグを環境の表面上に表示してもよい。
ARシステム概要
図1-2は、そのような場面を図示する。例証目的のために、ARシステムは、XRシステムの実施例として使用される。図3-8は、本明細書に説明される技法に従って動作し得る、1つ以上のプロセッサ、メモリ、センサ、およびユーザインターフェースを含む、例示的ARシステムを図示する。
図1を参照すると、屋外AR場面4が、描写されており、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム8を特徴とする、物理的世界公園状設定6が見える。これらのアイテムに加え、AR技術のユーザはまた、物理的世界のコンクリートプラットフォーム8上に立っているロボット像10と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ2とが「見える」と知覚するが、これらの要素(例えば、アバタキャラクタ2およびロボット像10)は、物理的世界には存在しない。ヒトの視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中で仮想画像要素の快適で、自然な感覚で、豊かな提示を促進する、AR技術を生産することは、困難である。
そのようなAR場面は、ユーザの周囲の物理的世界表面の表現を構築および更新し得る、世界再構築コンポーネントを含む、システムを用いて達成され得る。本表現は、レンダリングをオクルードするため、仮想オブジェクトを物理学ベースの相互作用状態に設置するため、および仮想キャラクタ経路計画およびナビゲーションのため、または物理的世界についての情報が使用される、他の動作のために、使用されてもよい。図2は、いくつかの実施形態による、視覚的オクルージョン202と、物理学ベースの相互作用204と、環境推測206とを含む、例示的世界再構築ユースケースを示す、AR場面200の別の実施例を描写する。
例示的場面200は、壁、壁の片側上の書籍棚、部屋の角におけるフロアランプ、床、ソファ、および床上のコーヒーテーブルを有する、居間である。これらの物理的アイテムに加え、AR技術のユーザはまた、ソファの背後の壁上の画像、ドアを通して飛んで来た鳥、書籍棚から覗いているシカ、およびコーヒーテーブル上に設置された風車の形態における置物等の仮想オブジェクトを知覚する。壁上の画像に関して、AR技術は、壁の表面だけではなく、また、ランプ形状等の部屋内のオブジェクトおよび表面についての情報を要求し、これは、画像をオクルードし、仮想オブジェクトを正しくレンダリングしている。飛んで来た鳥に関して、AR技術は、現実的物理学を伴って鳥をレンダリングし、オブジェクトおよび表面または鳥が衝突する場合のそれらからの跳ね返りを回避するために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、AR技術は、床またはコーヒーテーブル等の表面についての情報を要求し、シカを設置すべき場所を算出する。風車に関して、システムは、テーブルと別個のオブジェクトであることを識別し得、移動可能であることを推測し得る一方、棚の角または壁の角は、定常であると推測され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する推測において使用され得る。
場面は、視覚、音、および/またはタッチを含む、1つ以上のユーザ感覚を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、システムは、場面の物理的部分内のユーザの位置および/または運動を含む、場面の物理的部分のパラメータを測定し得る、1つ以上のセンサを含んでもよい。さらに、システムは、メモリ等の関連付けられたコンピュータハードウェアを伴う、1つ以上のコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントの一部または全部は、ウェアラブルデバイスの中に統合されてもよい。
図3は、いくつかの実施形態による、物理的世界306と相互作用するARコンテンツの体験を提供するように構成される、ARシステム302を描写する。ARシステム302は、ディスプレイ308を含んでもよい。図示される実施形態では、ディスプレイ308は、ユーザがディスプレイを一対のゴーグルまたは眼鏡のようにその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実310を観察し得るように、透明であってもよい。シースルー現実310は、ユーザが、ARシステムのディスプレイおよびセンサの両方を組み込み、物理的世界についての情報を入手する、ヘッドセットを装着している場合、ユーザの視点に対応し得る、ARシステム302の現在の視点内の物理的世界306の一部に対応してもよい。
ARコンテンツはまた、シースルー現実310上にオーバーレイされる、ディスプレイ308上に提示されてもよい。ARコンテンツとシースルー現実310との間の正確な相互作用をディスプレイ308上に提供するために、ARシステム302は、物理的世界306についての情報を捕捉するように構成される、センサ322を含んでもよい。
センサ322は、深度マップ312を出力する、1つ以上の深度センサを含んでもよい。各深度マップ312は、複数のピクセルを有してもよく、それぞれ、深度センサに対する特定の方向における物理的世界306内の表面までの距離を表してもよい。未加工深度データは、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得る速度と同速で更新され得、これは、数百または数千回/秒であり得る。しかしながら、そのデータは、雑音があり、不完全であり、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。
本システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、物理的世界を他の方法において表すように処理され得る、情報を入手してもよい。例えば、画像は、世界再構築コンポーネント316において処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築の一部として記憶されてもよい。
本システムはまた、物理的世界に対するユーザの頭部姿勢についての情報を入手してもよい。いくつかの実施形態では、センサ310は、頭部姿勢314を算出および/または決定するために使用され得る、慣性測定ユニットを含んでもよい。深度マップのための頭部姿勢314は、例えば、6自由度(6DoF)を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢314は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させるため等、他の目的のために使用されてもよい。いくつかの実施形態では、頭部姿勢情報は、画像内のオブジェクトを分析することから等、IMUから以外の方法において導出されてもよい。
世界再構築コンポーネント316は、深度マップ312および頭部姿勢314および任意の他のデータをセンサから受信し、そのデータを再構築318の中に統合してもよく、これは、少なくとも、単一の組み合わせられた再構築であるように現れ得る。再構築318は、センサデータより完全かつ雑音が少なくあり得る。世界再構築コンポーネント316は、複数の視点からのセンサデータの経時的な空間および時間的平均を使用して、再構築318を更新してもよい。
再構築318は、例えば、ボクセル、メッシュ、平面等を含む、1つ以上のデータフォーマットにおける、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表してもよい、または物理的世界の異なる部分を表してもよい。図示される実施例では、再構築318の左側において、物理的世界の一部は、グローバル表面として提示され、再構築318の右側において、物理的世界の一部は、メッシュとして提示される。
再構築318は、オクルージョン処理または物理学ベースの処理のために、物理的世界の表面表現を生産する等、AR機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化し得る。再構築318の側面は、例えば、世界座標内の変化するグローバル表面表現を生産する、コンポーネント320によって使用されてもよく、これは、他のコンポーネントによって使用されてもよい。
ARコンテンツは、本情報に基づいて、ARアプリケーション304等によって、生成されてもよい。ARアプリケーション304は、例えば、そのような視覚的オクルージョン、物理学ベースの相互作用、および環境推測等、物理的世界についての情報に基づいて、1つ以上の機能を実施する、ゲームプログラムであってもよい。異なるフォーマットにおけるデータを世界再構築コンポーネント316によって生産された再構築318からクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント320は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域は、例えば、ユーザの視野内の部分等のシステムのユーザの近傍における物理的世界の一部に近似するように設定されてもよい、またはユーザの視野内に生じるように投影(予測/決定)される。
ARアプリケーション304は、本情報を使用して、ARコンテンツを生成および更新してもよい。ARコンテンツの仮想部分は、シースルー現実310と組み合わせて、ディスプレイ308上に提示され、現実的ユーザ体験を作成してもよい。
いくつかの実施形態では、AR体験は、ウェアラブルディスプレイシステムを通して、ユーザに提供されてもよい。図4は、ウェアラブルディスプレイシステム80(以降、「システム80」と称される)の実施例を図示する。システム80は、頭部搭載型ディスプレイデバイス62(以降、「ディスプレイデバイス62」と称される)と、ディスプレイデバイス62の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイデバイス62は、フレーム64に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者60(以降、「ユーザ60」と称される)によって装着可能であって、ディスプレイデバイス62をユーザ60の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス62は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス62は、単眼または双眼であってもよい。いくつかの実施形態では、ディスプレイデバイス62は、図3におけるディスプレイ308の実施例であってもよい。
いくつかの実施形態では、スピーカ66が、フレーム64に結合され、ユーザ60の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ60の別の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する。ディスプレイデバイス62は、有線導線または無線コネクティビティ68等によって、ローカルデータ処理モジュール70に動作可能に結合され、これは、フレーム64に固定して取り付けられる、ユーザ60によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様に、ユーザ60に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。
ローカルデータ処理モジュール70は、プロセッサと、不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリとを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等の(例えば、フレーム64に動作可能に結合される、または別様にユーザ60に取り付けられ得る)センサから捕捉されるデータ、および/またはb)可能性として、処理または読出後に、ディスプレイデバイス62への通過のために、遠隔処理モジュール72および/または遠隔データリポジトリ74を使用して入手および/または処理された、データを含む。ローカルデータ処理モジュール70は、これらの遠隔モジュール72、74が、相互に動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、通信リンク76、78によって、有線または無線通信リンク等を介して、それぞれ、遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合されてもよい。いくつかの実施形態では、図3における世界再構築コンポーネント316は、少なくとも部分的に、ローカルデータ処理モジュール70内に実装されてもよい。例えば、ローカルデータ処理モジュール70は、コンピュータ実行可能命令を実行し、少なくとも部分的に、データの少なくとも一部に基づいて、物理的世界表現を生成するように構成されてもよい。
いくつかの実施形態では、ローカルデータ処理モジュール70は、データおよび/または画像情報を分析および処理するように構成される、1つ以上のプロセッサ(例えば、グラフィック処理ユニット(GPU))を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール70は、単一プロセッサ(例えば、シングルコアまたはマルチコアARMプロセッサ)を含んでもよく、これは、モジュール70の算出予算を限定するが、より小型のデバイスを可能にするであろう。いくつかの実施形態では、世界再構築コンポーネント316は、単一ARMコアの残りの算出予算が、例えば、メッシュを抽出する等の他の使用のためにアクセスされ得るように、単一ARMコア未満の算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成し得る。
いくつかの実施形態では、遠隔データリポジトリ74は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカルデータ処理モジュール70において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。世界再構築は、例えば、本リポジトリ74内に全体または部分的に記憶されてもよい。
いくつかの実施形態では、ローカルデータ処理モジュール70は、バッテリ82に動作可能に結合される。いくつかの実施形態では、バッテリ82は、市販のバッテリ等、リムーバブル電源である。他の実施形態では、バッテリ82は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ82は、電源に繋ぎ、リチウムイオンバッテリを充電する必要なく、またはシステム80をシャットオフし、バッテリを交換する必要なく、ユーザ60がより長い時間周期にわたってシステム80を動作させ得るように、システム80の非動作時間の間にユーザ60によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。
図5Aは、ユーザ30が物理的世界環境32(以降、「環境32と称される」)を通して移動するにつれてARコンテンツをレンダリングする、ARディスプレイシステムを装着している、ユーザ30を図示する。ユーザ30は、ARディスプレイシステムを位置34に位置付け、ARディスプレイシステムは、マッピングされた特徴に対する姿勢関係または指向性オーディオ入力等の位置34に対するパス可能世界(例えば、物理的世界内の実オブジェクトへの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現)の周囲情報を記録する。位置34は、データ入力36に集約され、少なくとも、例えば、図4の遠隔処理モジュール72上での処理によって実装され得る、パス可能世界モジュール38によって処理される。いくつかの実施形態では、パス可能世界モジュール38は、3D再構築コンポーネント316を含んでもよい。
パス可能世界モジュール38は、ARコンテンツ40がデータ入力36から決定されるような物理的世界内に配置され得る場所および方法を決定する。ARコンテンツは、ユーザインターフェースを介して、物理的世界およびARコンテンツの表現の両方を提示することによって、物理的世界内に「設置」され、ARコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ARコンテンツが、適切であるとき、それらのオブジェクトのユーザのビューを曖昧にしているかのように提示される。いくつかの実施形態では、ARコンテンツは、固定要素42(例えば、テーブル)の一部を再構築(例えば、再構築318)から適切に選択し、ARコンテンツ40の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上にあるように現れるように位置付けられてもよい。いくつかの実施形態では、ARコンテンツは、視野44内の構造の中に設置されてもよく、これは、現在の視野または推定される将来的視野であってもよい。いくつかの実施形態では、ARコンテンツは、物理的世界のマッピングされたメッシュモデル46に対して設置されてもよい。
描写されるように、固定要素42は、物理的世界内の任意の固定要素のための代用品としての役割を果たし、これは、ユーザ30が、システムがユーザ30にそれが見える度に固定要素42にマッピングする必要なく、固定要素42上のコンテンツを知覚し得るように、パス可能世界モジュール38内に記憶されてもよい。固定要素42は、したがって、前のモデル化セッションからのマッピングされたメッシュモデルである、または別個のユーザから決定されるが、但し、複数のユーザによる将来的参照のために、パス可能世界モジュール38上に記憶されてもよい。したがって、パス可能世界モジュール38は、ユーザ30のデバイスが、最初に、環境32をマッピングすることなく、以前にマッピングされた環境およびディスプレイARコンテンツから環境32を認識し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたARコンテンツの待ち時間を回避し得る。
物理的世界のマッピングされたメッシュモデル46は、ARディスプレイシステムによって作成されてもよく、ARコンテンツ40と相互作用し、それを表示するための適切な表面およびメトリックは、再マッピングまたはモデル化する必要なく、ユーザ30または他のユーザによる将来的読出のために、パス可能世界モジュール38内にマッピングおよび記憶されることができる。いくつかの実施形態では、データ入力36は、地理的場所、ユーザ識別、および現在のアクティビティ等の入力であって、パス可能世界モジュール38に、利用可能な1つ以上の固定要素の固定要素42、固定要素42上に最後に設置されたARコンテンツ40、およびその同一コンテンツを表示すべきかどうか(そのようなARコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続的」コンテンツである)を示す。
オブジェクトが固定されていると見なされる、実施形態でも、パス可能世界モジュール38は、物理的世界の変化の可能性を考慮するために、随時、更新されてもよい。固定されたオブジェクトのモデルは、非常に低周波数で更新されてもよい。物理的世界内の他のオブジェクトは、移動している、または別様に、固定されていると見なされなくてもよい。AR場面を現実的感覚を伴ってレンダリングするために、ARシステムは、これらの非固定オブジェクトの位置を固定されたオブジェクトを更新するために使用される周波数よりはるかに高い周波数で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ARシステムは、1つ以上の画像センサを含む、複数のセンサから情報を引き出してもよい。
図5Bは、視認光学系アセンブリ48および付帯コンポーネントの概略図である。いくつかの実施形態では、ユーザの眼49に指向される、2つの眼追跡カメラ50は、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼49上の閃光等のユーザの眼49のメトリックを検出する。いくつかの実施形態では、センサのうちの1つは、飛行時間センサ等の深度センサ51であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入しているかどうかを迅速に決定してもよい。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。
いくつかの実施形態では、世界カメラ52が、周辺視野を上回るビューを記録し、環境32をマッピングし、ARコンテンツに影響を及ぼし得る入力を検出する。いくつかの実施形態では、世界カメラ52および/またはカメラ53は、グレースケールおよび/またはカラー画像センサであってもよく、これは、固定された時間インターバルにおいて、グレースケールおよび/またはカラー画像フレームを出力してもよい。カメラ53はさらに、具体的時間において、ユーザの視野内の物理的世界画像を捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ52、カメラ53、および深度センサ51はそれぞれ、54、55、および56の個別の視野を有し、図5Aに描写される物理的世界環境32等の物理的世界場面からのデータを収集および記録する。
慣性測定ユニット57は、視認光学系アセンブリ48の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも1つの他のコンポーネントに動作可能に結合される。例えば、深度センサ51は、ユーザの眼49が見ている実際の距離に対して測定された遠近調節の確認として、眼追跡カメラ50に動作可能に結合される。
視認光学系アセンブリ48は、図5Bに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ48は、4つの代わりに、2つの世界カメラ52を含んでもよい。代替として、または加えて、カメラ52および53は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ48は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ48は、1つ以上の動的視覚センサ(DVS)を含んでもよく、そのピクセルは、閾値を超える光強度の相対的変化に非同期して応答してもよい。
いくつかの実施形態では、視認光学系アセンブリ48は、飛行時間情報に基づく、深度センサ51を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ48は、1つ以上のプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク(TDM)でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび/または位相検出自動焦点ピクセル(PDAF)および/またはマイクロレンズアレイ(MLA)を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ51の代わりに、またはそれに加え、深度情報のソースとしての役割を果たし得る。
また、図5Bにおけるコンポーネントの構成は、実施例として図示されると理解されたい。視認光学系アセンブリ48は、任意の好適な構成を伴う、コンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ48が、1つの世界カメラ52を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。
視認光学系アセンブリ48内のセンサからの情報は、システム内のプロセッサのうちの1つ以上のものに結合されてもよい。プロセッサは、ユーザに物理的世界内のオブジェクトと相互作用する仮想コンテンツを知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想の両方のオブジェクトを描写する画像データを生成することを含む、任意の好適な方法で実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を通して見る、ディスプレイデバイスの不透明度を変調させることによって、1つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、また、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、ユーザインターフェースを通して視認されるとき、仮想コンテンツが物理的世界と現実的に相互作用しているようにユーザによって知覚されるように修正され得る(例えば、オクルージョンを考慮するためにコンテンツをクリッピングする)、仮想コンテンツのみを含んでもよい。コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルは、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る仮想オブジェクトの特性が、正しく算出され得るように要求される。いくつかの実施形態では、モデルは、物理的世界の再構築、例えば、再構築318を含んでもよい。
そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい(かつ「クラウド内」にあってもよい)。
モデルは、少なくとも部分的に、世界再構築システム、例えば、図6にさらに詳細に描写される図3の世界再構築コンポーネント316によって作成されてもよい。世界再構築コンポーネント316は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール160を含んでもよい。いくつかの実施形態では、知覚モジュール160は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表してもよい。各ボクセルは、物理的世界内の所定のボリュームの3D立方体に対応し、ボクセルによって表されるボリューム内に表面が存在するかどうかを示す、表面情報を含んでもよい。ボクセルは、その対応するボリュームが、物理的オブジェクトの表面を含むと決定された、空であると決定された、またはセンサを用いてまだ測定されておらず、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。値は、空または未知であると決定されたボクセルが、明示的に記憶される必要がないことを示し、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含む、任意の好適な方法でコンピュータメモリ内に記憶され得ることを理解されたい。
図7Aは、ボクセル102に離散化される、3D空間100の実施例を描写する。いくつかの実施形態では、知覚モジュール160は、着目オブジェクトを決定し、着目オブジェクトの特徴を捕捉し、冗長情報を回避するために、ボクセルのボリュームを設定してもよい。例えば、知覚モジュール160は、壁、天井、床、および大家具等のより大きいオブジェクトおよび表面を識別するように構成されてもよい。故に、ボクセルのボリュームは、比較的に大サイズ、例えば、4cm3の立方体に設定されてもよい。
ボクセルを含む、物理的世界の再構築は、立体モデルと称され得る。立体モデルを作成するための情報は、センサが物理的世界を中心として移動するにつれて、経時的に作成されてもよい。そのような運動は、センサを含む、ウェアラブルデバイスのユーザが動き回るにつれて、発生し得る。図8A-Fは、物理的世界を立体モデルの中に再構築する実施例を描写する。図示される実施例では、物理的世界は、表面の一部180を含み、これは、図8Aに示される。図8Aでは、第1の場所におけるセンサ182は、視野184を有し得、その中で、表面の一部180は、可視である。
センサ182は、深度センサ等の任意の好適なタイプであってもよい。しかしながら、深度データは、画像センサから、または他の方法において、導出されてもよい。知覚モジュール160は、データをセンサ182から受信し、次いで、図8Bに図示されるように、複数のボクセル186の値を設定し、視野184内のセンサ182によって可視の表面の一部180を表してもよい。
図8Cでは、センサ182は、第2の場所に移動し、視野188を有し得る。図8Dに示されるように、ボクセルのさらなるグループが、可視となり、これらのボクセルの値は、センサ182の視野188に進入した表面の一部の場所を示すように設定されてもよい。これらのボクセルの値は、表面のための立体モデルに追加されてもよい。
図8Eでは、センサ182はさらに、第3の場所に移動し、視野190を有し得る。図示される実施例では、表面の付加的部分が、視野190内で可視となる。図8Fに示されるように、ボクセルのさらなるグループが、可視となり得、これらのボクセルの値は、センサ182の視野190に進入した表面の一部の場所を示すように設定されてもよい。これらのボクセルの値は、表面のための立体モデルに追加されてもよい。図6に示されるように、本情報は、存続される世界の一部として、立体情報162aとして記憶されてもよい。色またはテクスチャ等の表面についての情報もまた、記憶されてもよい。そのような情報は、例えば、立体メタデータ162bとして記憶されてもよい。
存続される世界表現のための情報を生成することに加え、知覚モジュール160は、ARシステムのユーザの周囲の領域の変化のインジケーションを識別および出力してもよい。そのような変化のインジケーションは、存続される世界の一部として記憶される立体データへの更新をトリガする、またはARコンテンツを生成し、ARコンテンツを更新する、コンポーネント304をトリガする等の他の機能をトリガしてもよい。
いくつかの実施形態では、知覚モジュール160は、符号付き距離関数(SDF)モデルに基づいて、変化を識別してもよい。知覚モジュール160は、例えば、深度マップ160aおよび頭部姿勢160b等のセンサデータを受信し、次いで、センサデータをSDFモデル160cの中に融合させるように構成されてもよい。深度マップ160aは、直接、SDF情報を提供してもよく、画像は、SDF情報になるように処理されてもよい。SDF情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であってもよいため、SDF情報は、ウェアラブルユニットの目線、したがって、ユーザの目線から物理的世界を表し得る。頭部姿勢160bは、SDF情報が物理的世界内のボクセルに関連することを可能にし得る。
図6に戻って参照すると、いくつかの実施形態では、知覚モジュール160は、知覚範囲内の物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定され得、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定され得る。具体的実施例として、アクティブIRパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、センサの観察範囲を作成し得、これは、数センチメートルまたは数十センチメートル~数メートルであってもよい。
図7Bは、視点106を有するセンサ104に対する、再構築範囲を描写する。視点106内の3D空間の再構築は、センサ104によって捕捉されたデータに基づいて構築されてもよい。図示される実施例では、センサ104は、40cm~5mの観察範囲を有する。いくつかの実施形態では、センサの再構築範囲は、その観察限界に近いセンサ出力が、より雑音が多く、不完全で、かつ不正確であり得るため、センサの観察範囲より小さくなるように決定され得る。例えば、40cm~5mの図示される実施例では、対応する再構築範囲は、1~3mに設定されてもよく、本範囲外の表面を示す、センサを用いて収集されたデータは、使用されなくてもよい。
いくつかの実施形態では、知覚範囲は、センサの再構築範囲より大きくてもよい。物理的世界についてのデータを使用する、コンポーネント164が、現在の再構築範囲内の物理的世界の一部外の知覚範囲内の領域についてのデータを要求する場合、その情報は、存続される世界162から提供されてもよい。故に、物理的世界についての情報は、クエリによって容易にアクセス可能であってもよい。いくつかの実施形態では、APIが、そのようなクエリに応答し、ユーザの現在の知覚範囲についての情報を提供するように提供されてもよい。そのような技法は、既存の再構築にアクセスするために必要とされる時間を低減させ、改良されたユーザ体験を提供し得る。
いくつかの実施形態では、知覚範囲は、ユーザ場所のまわりに中心合わせされる境界ボックスに対応する、3D空間であってもよい。ユーザが、移動するにつれて、コンポーネント164によってクエリ可能であり得る、知覚範囲内の物理的世界の一部も、ユーザに伴って移動し得る。図7Cは、場所112のまわりに中心合わせされる、境界ボックス110を描写する。境界ボックス110のサイズは、ユーザが非合理的速度で移動し得ないため、合理的拡大を伴ってセンサの観察範囲を封入するように設定され得ることを理解されたい。図示される実施例では、ユーザによって装着されるセンサは、5mの観察限界を有する。境界ボックス110は、20m3の立方体として設定される。
図6に戻って参照すると、世界再構築コンポーネント316は、知覚モジュール160と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、存続される世界モジュール162は、知覚モジュール160によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。存続される世界モジュール162はまた、物理的世界の表現の種々のフォーマットを含んでもよい。例えば、ボクセル等の立体メタデータ162bが、メッシュ162cおよび平面162dとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。
いくつかの実施形態では、知覚モジュール160は、例えば、メッシュ160d、平面、および意味論160eを含む、種々のフォーマットにおいて、物理的世界のための表現を生成する、モジュールを含んでもよい。これらのモジュールは、表現が生成された時間における1つ以上のセンサの知覚範囲内のデータおよび以前の時間において捕捉されたデータおよび存続される世界162内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ARシステムは、視覚センサを含んでもよく、単眼または双眼視覚情報を分析することによって、そのような表現を生成してもよい。
いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール160がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、SDFモデル160c内の新しい表面を検出すること、またはサブ領域を表す十分な数のボクセルの値を変化させる等の他の基準によって検出されてもよい。
世界再構築コンポーネント316は、物理的世界の表現を知覚モジュール160から受信し得る、コンポーネント164を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント164は、例えば、ゲームプログラム、および視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、他のコンポーネントを含んでもよい。
コンポーネント164からのクエリに応答して、知覚モジュール160は、物理的世界のための表現を1つ以上のフォーマットにおいて送信してもよい。例えば、コンポーネント164が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためであることを示すとき、知覚モジュール160は、表面の表現を送信してもよい。コンポーネント164が、使用が環境推測のためであることを示すとき、知覚モジュール160は、物理的世界のメッシュ、平面、および意味論を送信してもよい。
いくつかの実施形態では、知覚モジュール160は、情報をフォーマットし、コンポーネント164を提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント160fであってもよい。使用コンポーネント(例えば、コンポーネント164)は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント160fは、その視点からの視野内の物理的世界データの1つ以上の表現から選択してもよい。
前述の説明から理解されるはずであるように、知覚モジュール160またはARシステムの別のコンポーネントは、データを処理し、物理的世界の一部の3D表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および/または深度画像に基づいて、3D再構築ボリュームの一部を間引き、平面データを抽出および存続させ、近傍一貫性を維持しながらローカル更新を可能にする、ブロック単位で、3D再構築データを捕捉、存続、および更新し、オクルージョンデータをアプリケーションに提供し、オクルージョンデータが1つ以上の深度データソースの組み合わせから導出される、そのような場面を生成し、および/または多段階メッシュ簡略化を実施することによって低減され得る。
世界再構築システムは、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢(例えば、位置および配向)が、センサを含むデバイスが移動されるにつれて追跡されてもよい。センサのフレーム姿勢および他の姿勢に関連する方法が、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、単一の組み合わせられた再構築の中にともに融合されてもよい。再構築は、空間および時間的平均化(すなわち、複数の視点からのデータを経時的に平均化する)を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。
再構築は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。
いくつかの実施形態では、ARおよびMRシステムは、規則的ボクセルグリッドを伴う、3D場面を表し、各ボクセルは、符号付き距離フィールド(SDF)値を含有してもよい。SDF値は、ボクセルが再構築されるべき場面内の表面の内側または外側にあるかどうかと、ボクセルから表面までの距離とを説明する。場面の所望のボリュームを表す、3D再構築データを算出することは、大量のメモリおよび処理電力を要求する。これらの要件は、3D再構築のために要求される変数の数が、処理される深度画像の数に伴って3乗で成長するため、より大きい空間を表す場面に関して増加する。
本明細書に説明されるものは、処理を低減させる効率的方法である。いくつかの実施形態によると、場面は、1つ以上のブリックによって表されてもよい。各ブリックは、複数のボクセルを含んでもよい。場面の3D再構築を生成するように処理されたブリックは、画像センサの視野(FOV)から導出された錐台および/または深度センサを用いて作成された場面の深度画像(または「深度マップ」)に基づいて、場面を表すブリックのセットを間引くことによって選択されてもよい。
深度画像は、それぞれ、場面内の表面までの距離を表す、1つ以上のピクセルを有してもよい。これらの距離は、画像センサから出力されたデータが、選択的に処理され得るように、画像センサに対する位置に関連し得る。画像データは、画像センサの視点(または「視野点」)から可視であろう表面を含有する3D場面の一部を表す、それらのブリックのために処理されてもよい。残りのブリックの一部または全部の処理は、省略されてもよい。そのようなアプローチを用いることで、選択されたブリックは、それを中心として画像センサの出力が有用な情報を提供する可能性が低い、ブリックを間引くことによって達成され得る、新しい情報を含有する可能性が高いものとなり得る。画像センサから出力されたデータは、それらのブリックが、虚空または表面の背後のいずれかにあって、したがって、画像センサからの画像に描写されないため、深度マップによって示される表面より画像センサに近い、またはそこから遠いかのいずれかである、ブリックについての有用な情報を提供する可能性が低い。
図9は、y-座標およびz-座標と平行な平面に沿った場面400の断面図を示す。XRシステムは、ボクセル504のグリッドによって、場面400を表し得る。従来のXRシステムは、ボクセルのグリッドから生成された3D再構築が、場面の変化を反映させ得るように、画像センサまたは深度センサであり得る、センサ406によって捕捉された全ての新しい深度画像に基づいて、ボクセルのグリッドの各ボクセルを更新し得る。本方式における更新は、有意な算出リソースを消費し、また、例えば、算出が重くなることによって生じる待ち時間に起因して、アーチファクトをXRシステムの出力に生じさせ得る。
本明細書に説明されるものは、例えば、少なくとも部分的に、画像センサ406のカメラ錐台404および/または画像センサによって捕捉された深度画像に基づいて、ボクセル504のグリッドの一部を間引くことによって、低使用量の算出リソースを用いて、正確な3D再構築データを提供する技法である。
図示される実施例では、画像センサ406は、場面300の表面402を含む、深度画像(図示せず)を捕捉する。深度画像は、場面400内のある基準点と表面との間の距離を捕捉する、任意の便宜的方法において、コンピュータメモリ内に記憶されてもよい。いくつかの実施形態では、深度画像は、図9に図示されるように、x-軸およびy-軸と平行な平面における値として表されてもよく、基準点は、座標系の原点である。X-Y平面における場所は、基準点に対する方向に対応し得、それらのピクセル場所における値は、平面内の座標によって示される方向における、基準点から最も近くの表面までの距離を示し得る。そのような深度画像は、x-軸およびy-軸と平行な平面におけるピクセル(図示せず)のグリッドを含んでもよい。各ピクセルは、画像センサ406から表面402までの特定の方向における距離を示し得る。いくつかの実施形態では、深度センサは、特定の方向における表面までの距離を測定することが不可能であり得る。そのような条件は、例えば、表面が画像センサ406の範囲外にある場合に生じ得る。いくつかの実施形態では、深度センサは、反射されたエネルギーに基づいて距離を測定する、アクティブ深度センサであってもよいが、表面は、正確な測定のために、十分なエネルギーを反射させない場合がある。故に、いくつかの実施形態では、深度画像は、「穴」を有し得、それに対して値が割り当てられない、ピクセルが存在する。
いくつかの実施形態では、深度画像の参照点は、変化してもよい。そのような構成は、深度画像が、3D場面全体を通して表面を表すことを可能にし、特定の基準点に対して所定かつ限定された角度の範囲を有する、部分に限定され得ない。そのような実施形態では、深度画像は、画像センサ406が6自由度(6DOF)を通して移動するにつれて、表面までの距離を示し得る。これらの実施形態では、深度画像は、複数の参照点毎に、ピクセルのセットを含んでもよい。これらの実施形態では、深度画像の一部は、画像データが捕捉された時間に画像センサ406が向いている、方向および/または配向を表す、「カメラ姿勢」に基づいて選択されてもよい。
画像センサ406は、カメラ錐台404によって表され得る、視野(FOV)を有してもよい。いくつかの実施形態では、描写される無限カメラ錐台は、画像センサ406が提供し得る最大深度410および/または画像センサ406が提供し得る最小深度412を仮定することによって、有限3D台形プリズム408に低減され得る。3D台形プリズム408は、6つの平面によって区切られた凸面多面体であってもよい。
いくつかの実施形態では、1つ以上のボクセル504は、ブリック502に群化されてもよい。図10Aは、8つのブリック502を含む、場面400の一部500を図示する。図10Bは、83ボクセル504を含む例示的ブリック502を図示する。図9に戻って参照すると、場面400は、1つ以上のブリックを含んでもよく、そのうちの16個が、図4に描写される図に図示される。各ブリックは、ブリック識別、例えば、[0000]-[0015]によって識別可能であり得る。
幾何学形状抽出システム
いくつかの実施形態では、幾何学形状抽出システムは、カメラおよび/またはセンサを用いて、場面を走査しながら、幾何学形状を抽出してもよく、これは、高速の効率的抽出を可能にし、動的環境変化に適応することができる。いくつかの実施形態では、幾何学形状抽出システムは、抽出された幾何学形状をローカルおよび/または遠隔メモリ内に存続させてもよい。存続される幾何学形状は、例えば、異なるタイムスタンプにおける、および/または異なるアプリケーションからの、異なるクエリが、存続される幾何学形状を共有し得るように、一意の識別を伴ってもよい。いくつかの実施形態では、幾何学形状抽出システムは、個々のクエリに従って、幾何学形状の異なる表現をサポートしてもよい。平面は、以下の図11-19の説明では、例示的幾何学形状として使用される。幾何学形状抽出システムは、平面の代わりに、またはそれに加え、例えば、円筒形、立方体、線、角、またはガラス表面または穴等の意味論を含む、他の幾何学形状を検出し、後続処理において使用してもよいことを理解されたい。いくつかの実施形態では、幾何学形状抽出に関して本明細書に説明される原理は、オブジェクト抽出および同等物に適用可能であってもよい。
図11は、いくつかの実施形態による、平面抽出システム1300を示す。平面抽出システム1300は、深度融合1304を含んでもよく、これは、複数の深度マップ1302を受信してもよい。複数の深度マップ1302は、深度センサを装着している1人以上のユーザによって作成され、および/またはローカル/遠隔メモリからダウンロードされてもよい。複数の深度マップ1302は、同一表面の複数視点を表してもよい。複数の深度マップ間には、差異が存在し得、これは、深度融合1304によって解消されてもよい。
いくつかの実施形態では、深度融合1304は、SDF1306を生成してもよい。メッシュブリック1308は、例えば、マーチングキューブアルゴリズムを対応するブリック(例えば、図13におけるブリック[0000]-[0015])にわたって適用することによって、SDF1306から抽出されてもよい。平面抽出1310は、メッシュブリック1308内の平面表面を検出し、少なくとも部分的に、メッシュブリック1308に基づいて、平面を抽出してもよい。平面抽出1310はまた、少なくとも部分的に、対応するメッシュブリックに基づいて、ブリック毎に、サーフェルを抽出してもよい。サーフェルは、サーフェルを記憶することがメッシュよりメモリ空間を消費しないように、メッシュ内の頂点を含み得るが、近傍頂点に接続する縁を含まない。平面データ記憶1312は、抽出された平面およびサーフェルを存続させ得る。
いくつかの実施形態では、XRシステムのXRアプリケーションまたは他のコンポーネント164は、アプリケーションプログラミングインターフェース(API)によって送信され得る、平面クエリ1314によって、平面データ記憶1312から平面を要求および取得し得る。例えば、アプリケーションは、平面抽出システム1300に、その位置についての情報を送信し、その近傍(例えば、5メートル半径内)の全ての平面について尋ね得る。平面抽出システム1300は、次いで、その平面データ記憶1312を検索し、選択された平面をアプリケーションに送信し得る。平面クエリ1314は、アプリケーションが平面を必要とする場所、アプリケーションが必要とする平面の種類、および/または平面が見えるべき様子(例えば、水平または垂直または角度付けられるかどうかであって、これは、平面データ記憶内の平面のプリミティブ法線をチェックすることによって決定され得る)等の情報を含んでもよい。
図12は、いくつかの実施形態による、平面抽出1310に関する詳細を図示する、平面抽出システム1300の部分1400を示す。平面抽出1310は、メッシュブリック1308のそれぞれをサブブリック1402に分割することを含んでもよい。平面検出1404は、サブブリック1402毎に行われてもよい。例えば、平面検出1404は、サブブリック内の各メッシュ三角形のプリミティブ法線を比較して、所定の閾値より小さいプリミティブ正常差を伴うそれらのメッシュ三角形を1つのメッシュ三角形にマージし、所定の面積値より大きい面積を伴うメッシュ三角形を平面として識別してもよい。
図13は、いくつかの実施形態による、ボクセルを含む、ブリック[0000]-[0015]によって表される、場面1500と、場面内のブリック平面1502、グローバル平面1504、およびサーフェル1506を含む、例示的平面データとを図示する、概略図である。図13は、4つのサブブリック1508に分割されている、ブリック[0011]を図示する。メッシュブリックは、任意の好適な数のサブブリックに分割されてもよいことを理解されたい。平面検出1404によって検出された平面の粒度は、サブブリックのサイズによって決定され得る一方、ブリックのサイズは、立体3D再構築データを記憶する、ローカル/遠隔メモリの粒度によって決定され得る。
図12に戻って参照すると、平面検出1404は、少なくとも部分的に、メッシュブリック内のサブブリック毎に検出された平面に基づいて、メッシュブリック毎にブリック平面(例えば、ブリック平面1502)を決定してもよい。平面検出1404はまた、1つを上回るブリックに延在する、グローバル平面(例えば、グローバル平面1504)を決定してもよい。
いくつかの実施形態では、平面抽出1310は、少なくとも部分的に、平面検出1404によって検出された平面に基づいて、平面データ記憶1312内に記憶される、既存のブリック平面および/またはグローバル平面を更新し得る、平面更新1406を含んでもよい。平面更新1406は、場面のリアルタイム変化が平面データ記憶1312内に存続されるように、付加的ブリック平面を追加し、既存のブリック平面のうちのいくつかを除去し、および/または既存のブリック平面のうちのいくつかを、平面検出1404によって検出され、同一ブリックに対応する、ブリック平面と置換することを含んでもよい。平面更新1406はまた、例えば、ブリック平面が既存のグローバル平面に隣接して検出されるとき、平面検出1404によって検出されたブリック平面を既存のグローバル平面に集約することを含んでもよい。
いくつかの実施形態では、平面抽出1310はさらに、平面マージおよび分割1408を含んでもよい。平面マージは、例えば、ブリック平面が、追加され、2つのグローバル平面を接続するとき、複数のグローバル平面を1つの大きいグローバル平面にマージしてもよい。平面分割は、例えば、グローバル平面の中央におけるブリック平面が除去されるとき、1つのグローバル平面を複数のグローバル平面に分割してもよい。
図14は、いくつかの実施形態による、平面データ記憶1312内のデータ構造を示す。平面ID1612によってインデックス化されたグローバル平面1614は、データ構造の最高レベルにあり得る。各グローバル平面1614は、1つのブリック平面がブリック毎に存続され得る一方、グローバル平面の縁が対応するブリックのためのブリック平面として認定されないとき、グローバル平面が正確に提示され得るように、複数のブリック平面および対応するグローバル平面に隣接するブリックのサーフェルを含んでもよい。いくつかの実施形態では、グローバル平面に隣接するブリックのサーフェルが、グローバル平面を正確に提示するために十分であろうため、場面内の全てのブリックのサーフェルの代わりに存続される。例えば、図13に図示されるように、グローバル平面1504は、ブリック[0008]-[0010]および[0006]を横断して延在する。ブリック[0006]は、グローバル平面1504の一部ではない、ブリック平面1502を有する。平面データ記憶1312内のデータ構造を用いることで、平面クエリがグローバル平面1504を要求するとき、ブリック[0006]および[0012]のサーフェルが、グローバル平面1504がブリック[0006]および[0012]の中に延在するかどうかを決定するためにチェックされる。図示される実施例では、サーフェル1506は、グローバル平面1504がブリック[0006]の中に延在することを示す。
図14に戻って参照すると、グローバル平面1614は、対応するブリック平面1610と双方向に関連付けられてもよい。ブリックは、ブリックID1602によって識別可能であり得る。ブリックは、少なくとも1つの平面を含む、平面ブリック1604と、平面を含まない、非平面ブリック1606とに分割されてもよい。平面ブリックおよび非平面ブリックの両方に関するサーフェルは、ブリックが平面を含むかどうかではなく、ブリックがグローバル平面に隣接するかどうかに応じて、存続されてもよい。平面は、平面クエリ1314が存在するかどうかにかかわらず、XRシステムが場面を観察する間、平面データ記憶1312内に継続的に存続され得ることを理解されたい。
図15は、いくつかの実施形態による、アプリケーションが平面クエリ1314を平面データ記憶1312に送信するとき、アプリケーションの使用のための平面を抽出し得る、平面幾何学形状抽出1702を示す。平面幾何学形状抽出1702は、APIとして実装されてもよい。平面クエリ1314は、要求される平面幾何学形状表現、例えば、外側矩形平面、内側矩形平面、または多角形平面を示してもよい。平面クエリ1314に従って、平面検索1704は、平面データ記憶1312内の平面データを検索および取得し得る。
いくつかの実施形態では、平面被覆点1706からのラスタ化が、平面被覆点を生成し得る。実施例は、図16Aに図示される。それぞれ、ブリック平面1802を有する、4つのブリック[0000]-[0003]が存在する。平面被覆点1806(または「ラスタ化点」)は、ブリック平面の境界点をグローバル平面1804上に投影することによって生成される。
図15に戻って参照すると、平面被覆点1706からのラスタ化はまた、平面被覆点からラスタ化平面マスクを生成し得る。平面クエリ1314によって要求される平面幾何学形状表現に従って、内側矩形平面表現、外側矩形平面表現、および多角形平面表現が、それぞれ、内側矩形抽出1708、外側矩形抽出1710、および多角形抽出1712によって抽出され得る。いくつかの実施形態では、アプリケーションは、平面クエリの送信から数ミリ秒以内に要求される平面幾何学形状表現を受信することができる。
例示的ラスタ化平面マスク1814は、図16Bに図示される。ラスタ化平面マスクから、種々の平面幾何学形状表現が、生成され得る。図示される実施例では、多角形1812が、マスク内の平面被覆点のいずれも多角形の外側にないように、ラスタ化平面マスクの平面被覆点のうちのいくつかを接続することによって生成される。外側矩形1808は、外側矩形1808がラスタ化平面マスク1814を囲繞する最小矩形であるように生成される。内側矩形1810は、内側矩形が個別の群を囲繞する最小矩形であるように、「1」を2つの平面被覆点を伴うブリックに、「0」を2つの平面被覆点を伴わないブリックに割り当て、ラスタ化グリッドを形成し、「1」としてマークされ、ブリックの縁と平行な線内に整合される、ブリックの群を決定し(例えば、ブリック[0001]、[0005]、[0009]、および[0013]を群として、ブリック[0013]-[0015]を群として)、決定された群毎に、1つの内側矩形を生成することによって生成される。
図17は、いくつかの実施形態による、場面1900に関するメッシュを示す。図18A-Cは、いくつかの実施形態による、それぞれ、外側矩形平面、内側矩形平面、および多角形平面によって表される、場面1900を示す。
図19は、場面1900のあまり雑音がない3D表現を図示し、これは、抽出された平面データ、例えば、図18A-Cに図示される平面に基づいて、図17に示されるメッシュを平面化することによって取得される。
環境再構築
いくつかの実施形態では、屋内環境等の環境の一部が、それらの点またはそれらが境界する表面についてのメタデータの有無にかかわらず、角点のセットによって表されてもよい。本明細書に説明されるような環境の一部を単純に表すための技法は、知覚モジュール160(図6)または任意の他の好適なコンポーネントによって実装されてもよい。その表現を記述する、そのような情報は、上記に説明されるような稠密メッシュまたは他の表現の代わりに、またはそれに加え、存続される世界モデル162の一部として、記憶されてもよい。代替として、または加えて、それらの角点は、上記に説明されるような他の技法を用いて算出された表現を模倣する、フォーマットに変換されてもよい。具体的実施例として、角点のセットとしての環境の表現は、単純メッシュに変換され、メッシュ162cとして記憶されてもよい。代替として、または加えて、識別された壁はそれぞれ、平面162dとして記憶されてもよい。
コンポーネント164が、そのような表現が記憶される、物理的世界の一部についての情報を要求するとき、そのコンポーネント164は、知覚モジュール160への呼び出しを使用して、その表現を取得する、または任意の他の好適な方法において、存続される世界モデル162にアクセスしてもよい。いくつかの実施形態では、その表現は、物理的世界のその部分についての情報が要求される度に提供されてもよい。いくつかの実施形態では、情報を要求するコンポーネント164は、単純表現が好適である、または要求されることを規定してもよい。アプリケーションは、例えば、物理的世界の簡略化された表現が好適である、または要求されることを示す、パラメータを使用して、存続される世界モデル162を呼び出してもよい。
角点は、環境内の壁、床、および/または天井等の表面を表す、表面平面から決定されてもよい。表面平面は、XRシステム内のウェアラブルまたは他のコンポーネント上のセンサを用いて収集されたデータから導出されてもよい。データは、面区画を表し得、これは、上記に説明されるように、画像、距離、または他のセンサデータを処理することから検出される、壁または他の表面の一部に対応し得る。
いくつかの実施形態では、屋内環境等の環境が、面区画に基づいて、環境の表面平面を識別することによって、再構築されてもよい。いくつかの実施形態では、面区画は、平坦表面を境界する、3つ以上の点によって表されてもよい。面区画法線が、面区画に関して算出されてもよい。具体的実施例として、4つの点が、面区画内に嵌合する、または面区画を包囲する、空間内の四辺形を定義するために使用されてもよい。面区画法線は、面区画の配向を示し得る。面区画法線は、面区画の面積を示す、値と関連付けられ得る。
いくつかの実施形態では、面区画は、保存されたデータ、例えば、存続される世界162から取得されてもよい。代替として、または加えて、ウェアラブルデバイスに提供される、ソフトウェア開発キット(SDK)によって提供される機能が、センサデータを処理し、面区画を生成してもよい。いくつかの実施形態では、面区画は、ARデバイスを用いて、環境の一部を走査することよって取得されてもよく、これは、「初期走査」としての役割を果たし得る。いくつかの実施形態では、初期走査の長さは、十分な面区画が環境を再構築するために取得されるように、例えば、数分または数秒等、事前に決定されてもよい。いくつかの実施形態では、初期走査の長さは、動的であって、環境を再構築するために十分な面区画が取得されると、終了してもよい。
いくつかの実施形態では、面区画は、1つ以上のブリック平面から導出されてもよい。いくつかの実施形態では、面区画の形状は、所定の時間内にARデバイスによって捕捉された深度および/または画像情報に応じて、ランダムであってもよい。いくつかの実施形態では、面区画の形状は、別の面区画と同じである場合とそうではない場合がある。
いくつかの実施形態では、ARシステムは、環境の全ての表面平面を識別するために十分な面区画の数を取得するように構成されてもよい。いくつかの実施形態では、面区画の数は、環境の表面平面の数に対応し得る。例えば、天井、床、および4つの壁を伴う、部屋に関して、それぞれ、4つの壁に対応する、4つの面区画が、天井と床との間の距離が既知であるとき、部屋を再構築するために十分であり得る。本例示的シナリオでは、各面区画は、ARシステムによって、表面平面として設定されてもよい。
いくつかの実施形態では、初期走査は、数分または数秒続き得る。いくつかの実施形態では、取得される面区画の数は、環境の平面表面の数より多くあり得る。表面平面フィルタが、例えば、不必要な面区画をフィルタリング除去し、複数の面区画を1つに組み合わせることによって、環境の表面平面に関して取得される面区画を処理するように構成されてもよい。いくつかの実施形態では、面区画は、同一表面の異なる部分を表す可能性が高い、面区画の群を形成するように処理されてもよい。無限範囲の表面としてモデル化され得る、表面平面が、各群から導出され、角点が、次いで、識別され得るように、環境を境界する表面の交差部を決定するために使用されてもよい。いくつかの実施形態では、表面平面は、そこから表面平面が導出される、面区画の群を境界する、3つ以上の点によって表されてもよい。表面面法線が、表面平面を表す、点から算出されてもよい。表面面法線は、表面平面が延在する、平面の配向を示し得る。
いくつかの実施形態では、環境の角点が、環境の第1および第2の隣接する表面平面を無限遠へと延在するように取り扱い、それらの平面が交差する、境界線を識別することによって、推測されてもよい。境界線は、次いで、第3の表面平面と、いくつかの実施形態では、第4の表面平面と交差され、境界線の終点を識別してもよい。第1および第2の表面平面は、他の表面平面を通して通過せずに平面が交差するかどうか、部屋の推定される最大サイズに一致する、ウェアラブルデバイスのユーザからの距離において平面が交差するかどうか、または表面平面のそれぞれを識別するために使用された面区画の重心の近接度等の1つ以上の基準に基づいて、隣接するものとして選択されてもよい。第1および第2の表面平面は、それらが環境の一部を境界する壁を表すように、略垂直配向を有する、それらの平面から選択されてもよい。0度のある閾値角度内にある、法線等の基準が、垂直平面を選択するために使用されてもよい。第3および第4の表面平面は、90度の角度のある閾値内にある、法線等の水平配向を有する、平面から選択されてもよい。いくつかの実施形態では、閾値角度は、水平および垂直平面に関して異なってもよい。例えば、閾値角度は、水平平面に関して、例えば、傾きが付けられた天井を表す、平面を識別するために、より大きくてもよい。いくつかの実施形態では、ウェアラブルデバイスに提供されるSDKは、例えば、天井平面、床平面、および壁平面を含む、表面平面の要求されるタイプを示す、例えば、ユーザ要求に従って、表面平面を提供してもよい。
表面平面が処理するために選択される様式にかかわらず、隣接する垂直平面の組み合わせは、他の境界線を識別するために処理されてもよく、これは、次いで、1つ以上の水平平面とさらに交差され、角点を識別してもよい。ARシステムは、環境の角点の完全セットが推測/決定されるまで、プロセスを反復してもよい。完全セットは、識別された角点が閉鎖された空間を定義するときに決定され得る。初期走査の間に取得される情報が、閉鎖を形成するために不十分である場合、付加的走査が、実施されてもよい。
図20は、いくつかの実施形態による、ARシステムを動作させ、環境の3D再構築を生成する例示的方法2000を示す。図20-29に関連して説明される方法は、XRシステムの1つ以上のプロセッサ内で実施されてもよい。方法2000は、環境の面区画を抽出することによって(行為2002)、開始してもよい。
面区画を抽出するステップは、図24に図示され、これは、例示的環境2500を描写する。本実施例では、環境2500は、美術館内の部屋2502である。部屋2502は、天井2504、床2506、および壁2508によって境界され得る。壁2508は、1つ以上の美術作品、例えば、平坦表面を伴う絵画2510および湾曲表面を伴う工作物2512を展示するために使用され得る。方法2000は、部屋2502のような部屋を再構築することに限定されず、限定ではないが、複数の天井、複数の床、またはアーチ形天井を伴う、部屋を含む、任意の種類の環境を再構築するために適用されてもよいことを理解されたい。
本環境2500内のユーザ2516A-2516Cは、個別のARデバイス2514A-2514Cを装着してもよい。ARデバイス2514A-2514Cは、対応する視野2518A-2518Cを有してもよい。その対応する視野内において、初期走査の間、ARデバイスは、面区画2520を取得してもよい。いくつかの実施形態では、ARデバイスは、ARデバイス内のセンサによって捕捉された深度および/または画像および/または他の情報から面区画を抽出してもよい。ARデバイスは、場所、配向、およびその面区画によって包含される面積を定義する、情報を用いて、面区画を表し得る。実施例として、面区画は、ユーザに対して実質的に類似深度を有する、または別様に平坦表面であると識別された、面積を境界する、3つ以上の点によって表されてもよい。いくつかの実施形態では、各点は、座標系内のその位置によって表されてもよい。いくつかの実施形態では、座標系は、例えば、環境内の基準を原点として使用して、固定されてもよく、これは、ユーザ間で共有されることをより容易にする。いくつかの実施形態では、座標系は、例えば、ユーザの場所を原点として使用して、動的であってもよく、これは、データを簡略化し、環境をユーザに表示するために要求される計算を低減させる。
面区画毎に、面区画法線2522が、算出されてもよい。いくつかの実施形態では、面区画法線は、ベクトルのフォーマットにあってもよい。面区画法線は、個別の面区画の配向を示し得る。面区画法線はまた、面区画によって被覆される面積のサイズを示す、値を有してもよい。
図20に戻って参照すると、方法2000は、少なくとも部分的に、取得される面区画に基づいて、1つ以上の表面平面を識別するステップ(行為2004)を含んでもよい。いくつかの実施形態では、表面平面は、ユーザによってアドホックに識別されてもよい。図24に図示される実施例では、FOV2518B内で抽出された面区画は、ARデバイス2514B上に表示され、ユーザ2516Bに可視であってもよい。ユーザは、例えば、ARデバイス2514B上に表示される面区画を指すことによって、ARデバイス2514Bに、面区画法線2524が壁に関する優勢表面面法線として設定されるべきであることを示してもよい。
いくつかの実施形態では、表面平面は、全くユーザ入力を伴わずに、または部分的ユーザ入力を伴って、自動的または半自動的に、ある方法によって識別されてもよい。図21は、いくつかの実施形態による、行為2004のための例示的方法2100を描写する。方法2100は、1つ以上の基準に基づいて、取得された面区画を異なる群に分離することによって(行為2102)、開始してもよい。
いくつかの実施形態では、面区画は、ユーザ入力を用いて、群化されてもよい。図24に図示される実施例では、ユーザ2516Aは、ARデバイス2514Aに、FOV2518A内に表示される4つの面区画のうちの1つが第1の群として設定されるべきであることを示してもよい。ARデバイスは、ユーザが、1つの面区画を指し、次いで、環境の異なる空間を走査することに迅速に移行し得るように、FOV2518A内の残り面区画が第1の群と異なる第2の群として設定されるべきであることを示すものとして、本ユーザ入力を解釈するように構成されてもよい。いくつかの状況では、部分的ユーザ入力は、方法2100の性能を加速させ得る。
図示される実施形態では、少なくとも1つのそのような基準は、個別の面区画法線に基づく。いくつかの実施形態では、ある誤差範囲内の面区画法線を有する、面区画は、ともに群化されてもよい。いくつかの実施形態では、例えば、30度を下回る、20度を下回る、または10度を下回る、誤差範囲が、事前に決定されてもよい。他の実施形態では、群の境界は、クラスタ化アルゴリズム等を使用することによって、動的に決定されてもよい。さらなる実施例として、面区画は、面区画間の距離に基づいて、群化されてもよい。2つの面区画間の距離は、例えば、その面区画の法線と平行方向に、第1の面区画の重心において測定されてもよい。距離は、重心から、第2の面区画を含有する、平面との交差部まで測定されてもよい。
代替として、または加えて、1つ以上の基準が、群から面区画を選択または除外するために使用されてもよい。例えば、閾値サイズを上回る面区画のみが、処理されてもよい。代替として、または加えて、それらが部屋の寸法より大きい可能性が高いような大きすぎる面区画は、除外されてもよい。ソートするステップは、水平または垂直壁区画、または壁、床、または天井を別様に表し得る配向を有する、壁区画のみが、処理され得るように、面区画の配向等の他の基準に基づいてもよい。壁区画の色またはテクスチャ等の他の特性も、代替として、または加えて、使用されてもよい。同様に、ユーザまたは他の基準点からの距離が、面区画を群に割り当てるために使用されてもよい。距離は、例えば、面区画の法線と平行方向に、または同一表面の区画をともに群化する、他の基準を使用して、測定されてもよい。
面区画が選択および群化される方法にかかわらず、群は、次いで、表面平面が各群内の面区画から導出されるように、処理されてもよい。行為2104では、群毎に、優勢面区画法線が面区画法線の中に存在するかどうかが決定されてもよい。いくつかの実施形態では、優勢面区画法線が、面区画法線と関連付けられる面区画の面積を表す値によって示され得る、面区画法線と関連付けられる面区画のサイズを比較することによって、決定されてもよい。面区画法線が、他の面区画より有意に大きい、面区画と関連付けられる場合、より有意に大きい面区画と関連付けられる、面区画法線は、優勢面区画法線として選択されてもよい。
面区画のサイズの統計的分布が、優勢面法線が存在するかどうかを決定するために使用されてもよい。例えば、最大面区画が、1を上回る標準偏差分、群内の他の面区画の平均サイズを超える場合、優勢面区画法線として選択され得る。優勢面区画法線が決定される方法にかかわらず、行為2106では、優勢面区画法線は、表面面法線として設定されてもよく、これは、次いで、表面を表す、表面平面を定義するために使用されてもよい。
優勢面区画法線が、行為2104における処理の結果として検出されない場合、行為2108において、表面面法線は、群内の面区画の面区画法線から導出されてもよい。図21は、例えば、群の選択された面区画法線の加重平均が表面法線として設定され得ることを図示する。加重するステップは、結果がそれに関して同一または類似配向が測定された表面積によって影響され得るように、面区画法線と関連付けられる面区画のサイズに比例してもよい。
選択された面区画法線は、群内の全ての面区画法線、または例えば、閾値の値(例えば、ブリック平面の数)より小さい、および/または閾値外の配向を有する、面区画と関連付けられる面区画法線を除去することによって選択される、群内の全ての面区画法線の一部を含んでもよい。本選択は、任意の好適な時間に実施されてもよく、例えば、行為2108の一部として実施されてもよい、または代替として、または加えて、行為2102における面区画を群に分離するステップの一部として実施されてもよい。
行為2110では、方法2000は、表面面法線に基づいて、表面平面を導出してもよい。優勢面区画法線が、検出されるとき、優勢面区画に対応する面区画は、表面平面として保存されてもよい。優勢面区画法線が、検出されないとき、表面平面は、行為2108によって導出されてもよい。表面面法線が決定される方法にかかわらず、表面平面は、3つ以上の点によって表されてもよく、これは、表面面法線と垂直な無限平面(例えば、図示されるような表面平面2616)を表すものとして捉えられ得る。いくつかの実施形態では、表面平面は、例えば、面区画の群が心合される場所または表面積が群の面区画内で検出された量を含む、メタデータを含んでもよい。いくつかの実施形態では、表面平面は、環境の表面の区画(例えば、図示されるような表面平面2614)であってもよく、これは、面区画と同一フォーマットを有し得る。
いくつかの実施形態によると、環境2500の簡略化された概略図2600を描写する、図25を参照すると、略図2600は、表面平面2602-2620を含み得、これは、図24における抽出された面区画2520に基づいて識別され得る。図25の例証では、表面平面は、それらが図示され得るように、切り取られて示されるが、表面平面は、それらが無限であるように取り扱われ得るように、それらと関連付けられる面積を有していなくてもよいことを理解されたい。実施例として、表面平面2610は、少なくとも部分的に、ユーザ2516B(図24)によって装着されるARデバイス2514Bによって捕捉された面区画に基づいて、識別されてもよい。図示される実施例では、平坦表面を伴う絵画2510および湾曲表面を伴う工作物2512が、視野2518B内にある。工作物から抽出された面区画は、湾曲表面のための面法線が誤差範囲外にあり得るため、表面平面を算出する前に除去されてもよい。絵画から抽出された面区画は、絵画のための面法線の値がその背後の壁から抽出された面区画の値より有意に小さくあり得るため、表面平面を算出する前に除去されてもよい。別の実施例として、表面平面2614および2616は、少なくとも部分的に、ユーザ2516Aによって装着されるARデバイス2514Aによって抽出された面区画に基づいて、識別されてもよい。抽出された面区画は、それぞれ、表面平面2614および2616を算出するために、2つの群に分離されてもよい。
図20に戻って参照すると、方法2000は、少なくとも部分的に、表面平面に基づいて、環境の1つ以上の角点を推測するステップ(行為2006)を含んでもよい。図22は、いくつかの実施形態による、行為2006のための方法2300を描写する。方法2300は、2つの壁平面(例えば、表面平面2602および2606)を無限遠へと延在させることによって(行為2302)、開始してもよい。いくつかの実施形態では、壁平面は、それらが環境の一部を境界する壁を表すように、略垂直配向を有する、それらの平面から選択されてもよい。いくつかの実施形態では、方法2300は、例えば、壁平面によって定義された方向に、交差する表面平面から別の交差する表面平面までの経路をトレーシングするステップを含んでもよい。経路が、ループを形成する場合、方法2300は、閉鎖が形成されると決定してもよい。経路が、1つの平面と交差するが、第2の平面と交差しない、経路内の断絶を示す、識別された表面平面に遭遇する場合、方法2300は、閉鎖が存在しないと決定してもよい。いくつかの実施形態では、壁平面間の中心間距離(例えば、図26におけるd)が、計算されてもよい。方法2300は、最小中心間距離を有する、2つの壁平面から開始してもよい。
方法2300は、2つの壁平面の両方と交差する、境界線を取得するステップ(行為2304)を含んでもよい。線は、本明細書に説明される幾何学的構造の算出表現を操作する、算出によって取得されてもよい。例えば、図26に図示されるように、境界線2702は、表面平面2602および2606の両方と交差する。行為2306では、1つ以上の第1の角点が、境界線と個別の床平面を交差させることによって推測されてもよい。例えば、図27に図示されるように、第1の角点2802は、境界線2702と床平面2622を交差させることによって推測される。行為2308では、1つ以上の第2の角点が、境界線と個別の天井平面を交差させることによって推測されてもよい。図27に図示されるように、第2の角点2804は、境界線2702と天井平面2620を交差させることによって推測される。図示される部屋2500は、1つの天井と、1つの床とを有するが、いくつかの部屋は、複数の天井または床を有してもよいことを理解されたい。例えば、2つの床平面の遷移における境界線は、2つの第1の角点をもたらし得る。同様に、2つの天井平面の遷移における境界線は、2つの第2の角点をもたらし得る。
図20に戻って参照すると、方法2000は、点のセットが部屋または内部環境の正確な表現として確認され得るように、推測される角点が閉鎖された空間を境界するかどうかを決定するステップ(行為2008)を含んでもよい。いくつかの実施形態では、決定するステップは、角点を継合する境界線が、閉鎖されたボリュームを継合および境界する、表面を画定するように接続され得る場合、閉鎖が形成されることを示す。いくつかの実施形態では、決定するステップは、角点によって境界される壁平面がループを形成する場合、閉鎖が形成されることを示す。
いくつかの実施形態では、算出が、閉鎖が形成されることを示すとき、行為2010において、角点は、保存されてもよい、すなわち、それらは、例えば、ローカルメモリ内に記憶される、および/またはコンピュータネットワークを経由して遠隔メモリ内に記憶されるように通信されてもよい。算出された結果が、閉鎖がまだ形成されていないことを示すとき、行為2002-2006のうちのいくつかは、閉鎖が形成される、またはデータ内にエラーが検出されるまでの回数分、繰り返されてもよい。各反復では、例えば、付加的データが、より多くの面区画が、行為2002において使用され、閉鎖が形成されるであろう機会を増加させるように、集められる、またはアクセスされ得る。いくつかの実施形態では、エラーは、推測される角点が、単純表現に修正可能な空間内にないことを意味し得る。いくつかの実施形態では、エラーに応答して、本システムは、ユーザインターフェースを提示し、例えば、センサが面区画を検出しなかった場所に表面平面が存在することを示す、または本システムがいくつかの抽出された面区画を誤群化した場所に表面平面が存在しないことを示すことによって、ユーザに、介入するオプションをオファーしてもよい。
図示される実施例では、行為2012において、ARシステムは、新しい面区画が要求されるかどうかを決定する。新しい面区画が要求されることが決定されるとき、方法2000は、行為2002を実施し、付加的面区画を捕捉してもよい。新しい面区画が要求されず、代わりに、例えば、捕捉された面区画が再群化されるべきであることが決定されるとき、方法2000は、行為2004を実施し、付加的表面平面を取得し、および/または既存の表面平面を置換してもよい。
図23は、いくつかの実施形態による、方法2000を実施するように構成されるシステム2400を図示する、簡略化された概略図を描写する。システム2400は、クラウドメモリ2402と、クラウドメモリ2402および他のARデバイスと通信するように構成される、ARデバイス2514A、2514B、および2514Cとを含んでもよい。第1のARデバイス2514Aは、第1のARデバイスによって抽出された面区画から推測される第1の角点を記憶する、第1のローカルメモリを含んでもよい。第2のARデバイス2514Bは、第2のARデバイスによって抽出された面区画から推測される第2の角点を記憶する、第2のローカルメモリを含んでもよい。第3のARデバイス2514Cは、第3のARデバイスによって抽出された面区画から推測される第3の角点を記憶する、第3のローカルメモリを含んでもよい。
いくつかの実施形態では、第1のARデバイス上で起動するアプリケーションが、環境2500の3D表現を要求するとき、第1のARデバイスは、第2の角点および第3の角点をクラウドメモリから読み出し、部屋2500の3D表現、例えば、図28に図示されるメッシュモデル2900を構築してもよい。メッシュモデルは、種々の方法において有用であり得る。例えば、メッシュモデル2900は、ARデバイス上で起動する住宅建設アプリケーションによって、部屋2500を被覆するために必要とされる塗料の量を算出するために使用されてもよい。部屋全体を走査することによって取得される従来のモデルを使用するステップと比較して、メッシュモデル2900は、正確かつ迅速な結果を与えながら、部屋を部分的に走査することによって達成されることができる。
いくつかの実施形態では、マルチユーザ体験では、ARデバイスは、環境をともに走査してもよい。ARデバイスは、識別された角点を相互に通信し、したがって、単一ユーザが行うであろう時間より少ない時間を伴って、環境の全ての角点を識別し得る。
結論
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張(AR)環境に関連して説明される。本明細書に説明される技法の一部または全部は、MR環境、またはより一般的には、他のXR環境およびVR環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク(クラウド等)、離散アプリケーション、および/またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。
本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、CPUチップ、GPUチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の1つ以上のプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ASIC等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、1つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。
さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末(PDA)、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。
また、コンピュータは、1つ以上の入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力/出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および/または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力/出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。
そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカルエリアネットワークまたは広域ネットワークとしての形態を含む、任意の好適な形態の1つ以上のネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。
また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか1つを採用する、1つ以上のプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および/またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。
本側面では、本開示は、1つ以上のコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される本開示の種々の実施形態を実装する方法を行う、1つ以上のプログラムで符号化される、コンピュータ可読記憶媒体(または複数のコンピュータ可読媒体)(例えば、コンピュータメモリ、1つ以上のフロッピー(登録商標)ディスク、コンパクトディスク(CD)、光学ディスク、デジタルビデオディスク(DVD)、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体)として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、上記に記載されるように、その上に記憶される1つまたは複数のプログラムが、本開示の種々の側面を実装するように1つ以上の異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造(すなわち、製造品)または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。
用語「プログラム」または「ソフトウェア」は、上記に記載されるように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、1つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。
コンピュータ実行可能命令は、1つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。
また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。
本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。
また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。
請求項要素を修飾するための請求項における「第1の」、「第2の」、「第3の」等の順序の用語の使用は、単独では、別の要素と比べた1つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、(順序の用語の使用のためであるが)ある名前を有する1つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。
また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「~を含む」、「~を備える」、または「~を有する」、「~を含有する」、「~を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。
Claims (20)
- ポータブル電子システムであって、
物理的世界についての情報を捕捉するように構成されるセンサと、
プロセッサであって、前記プロセッサは、少なくとも部分的に、前記物理的世界についての捕捉された情報に基づいて前記物理的世界の一部の3次元(3D)表現を算出するためのコンピュータ実行可能命令を実行するように構成され、前記コンピュータ実行可能命令は、
複数の面区画を前記センサ捕捉情報から抽出することと、
少なくとも部分的に、前記複数の面区画に基づいて、複数の表面平面を識別することと、
少なくとも部分的に、前記複数の表面平面に基づいて、前記物理的世界の一部の複数の角点を推測することと
のための命令を備える、プロセッサと
を備える、ポータブル電子システム。 - 前記コンピュータ実行可能命令はさらに、前記角点を使用して前記物理的世界の一部のメッシュモデルを構築することのための命令を備える、請求項1に記載のポータブル電子システム。
- 前記複数の表面平面は、少なくとも部分的に、前記ポータブル電子システムの少なくとも一部を装着しているユーザからの入力に基づいて識別される、請求項1に記載のポータブル電子システム。
- 遠隔メモリを提供するデバイスとのコンピュータネットワークを経由した通信のために構成される送受信機を備える、請求項1に記載のポータブル電子システム。
- 前記プロセッサは、前記物理的世界の一部の3D表現をアプリケーションに提供するように構成されるサービスを実装する、請求項1に記載のポータブル電子システム。
- 前記サービスは、前記角点をローカルメモリ内に保存するか、または、前記角点をクラウドメモリに前記物理的世界の一部の3次元(3D)表現として転送する、請求項5に記載のポータブル電子システム。
- 前記複数の表面平面を識別することは、
優勢面区画法線が前記複数の面区画の面区画法線の群の中に存在するかどうかを決定することと、
前記決定することが、前記群の優勢面区画法線を示すとき、前記優勢面区画法線を表面面法線として設定することと、
前記決定することが、前記群の優勢面区画法線を示さないとき、前記表面面法線を前記群の面区画法線の少なくとも一部から算出することと
を含む、請求項1に記載のポータブル電子システム。 - 前記表面面法線を算出することは、前記群の面区画法線の少なくとも一部の加重平均を算出することを含む、請求項7に記載のポータブル電子システム。
- 前記物理的世界の一部の複数の角点を推測することは、
無限遠へと前記複数の表面平面の第1および第2の表面平面を延在させることと、
前記第1および第2の表面平面と交差する境界線を取得することと
を含む、請求項1に記載の方法。 - 前記物理的世界の一部の複数の角点を推測することはさらに、前記境界線を第3の表面平面と交差させることによって、前記複数の角点のうちの1つを推測することを含む、請求項9に記載の方法。
- 複数のコンピュータ実行可能命令でエンコーディングされた少なくとも1つの非一過性コンピュータ可読媒体であって、前記複数のコンピュータ実行可能命令は、少なくとも1つのプロセッサによって実行されると、物理的世界の一部の3次元(3D)表現を提供するための方法を実施し、前記物理的世界の一部は、複数の角点を用いて表され、前記方法は、
ユーザの視野(FOV)内にある前記物理的世界の一部についての情報を捕捉することと、
複数の面区画を前記捕捉された情報から抽出することと、
複数の表面平面を前記複数の面区画から識別することと、
前記複数の識別された表面平面の表面平面の交差部に基づいて、前記物理的世界の一部を表す複数の角点を算出することと
を含む、方法。 - 第1の複数の角点が閉鎖を形成するかどうかを算出することを含む、請求項11に記載の方法。
- 閉鎖が形成されるかどうかを算出することは、前記第1の複数の角点を継合する境界線が閉鎖されたボリュームを継合および境界する表面を画定するように接続され得るかどうかを決定することを含む、請求項12に記載の方法。
- 前記物理的世界の一部は、前記物理的世界の第1の部分であり、前記ユーザは、第1のユーザであり、
前記複数の角点は、第1の複数の角点であり、
前記方法はさらに、
第2のユーザから、前記物理的世界の第2の部分の第2の複数の角点を受信することと、
少なくとも部分的に、前記第1および第2の複数の角点に基づいて、前記物理的世界の3D表現を提供することと
を含む、請求項11に記載の方法。 - 前記ユーザは、第1のユーザであり、
前記方法はさらに、
コンピュータネットワークを経由して、前記第1のユーザのFOV内にある前記物理的世界の一部について捕捉された情報から算出された角点を通信することと、
第2のユーザによって使用されるXRデバイスにおいて、前記通信される角点を受信することと、
前記XRデバイスを用いて、前記第2のユーザに、前記受信された複数の角点に基づいて、前記物理的世界の一部についての情報をレンダリングすることと
を含む、請求項11に記載の方法。 - 前記角点に関するメタデータを算出することを含み、前記メタデータは、前記角点間の場所関係を示す、請求項11に記載の方法。
- 前記角点が、前記ユーザを含む複数のユーザによって読出可能であるように、個別のメタデータを含む前記角点を保存することを含む、請求項16に記載の方法。
- 環境を再構築するためのクロスリアリティシステムを動作させる方法であって、前記クロスリアリティシステムは、センサの視野内の個別の領域に関する深度情報を生成するユーザによって装着されるセンサと通信する画像情報を処理するように構成されるプロセッサを備え、前記方法は、
複数の面区画を前記深度情報から抽出することと、
前記抽出された面区画を前記ユーザに表示することと、
それぞれが前記環境を境界する表面を表す複数の表面平面を示すユーザ入力を受信することと、
少なくとも部分的に、前記複数の表面平面に基づいて、前記環境の複数の角点を算出することと
を含む、方法。 - 前記複数の角点が閉鎖を形成するかどうかを決定することをさらに含む、請求項18に記載の方法。
- 前記閉鎖が形成されると決定されると、前記角点を記憶することをさらに含む、請求項19に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962870193P | 2019-07-03 | 2019-07-03 | |
US62/870,193 | 2019-07-03 | ||
PCT/US2020/039631 WO2021003058A1 (en) | 2019-07-03 | 2020-06-25 | Simple environment solver using planar extraction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022539160A true JP2022539160A (ja) | 2022-09-07 |
JPWO2021003058A5 JPWO2021003058A5 (ja) | 2023-07-03 |
Family
ID=74066427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021577449A Pending JP2022539160A (ja) | 2019-07-03 | 2020-06-25 | 平面抽出を使用した単純環境ソルバ |
Country Status (5)
Country | Link |
---|---|
US (2) | US11508141B2 (ja) |
EP (1) | EP3994673A4 (ja) |
JP (1) | JP2022539160A (ja) |
CN (1) | CN114341943A (ja) |
WO (1) | WO2021003058A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI766218B (zh) * | 2019-12-27 | 2022-06-01 | 財團法人工業技術研究院 | 三維平面重建方法、三維平面重建系統與計算裝置 |
WO2022015463A1 (en) * | 2020-07-16 | 2022-01-20 | Sony Interactive Entertainment Inc. | Influencer stream customization for follower viewers |
CN113240789B (zh) * | 2021-04-13 | 2023-05-23 | 青岛小鸟看看科技有限公司 | 虚拟对象构建方法及装置 |
US11562529B2 (en) * | 2021-06-23 | 2023-01-24 | Meta Platforms Technologies, Llc | Generating and modifying an artificial reality environment using occlusion surfaces at predetermined distances |
US11961184B2 (en) | 2021-09-17 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for scene reconstruction with plane and surface reconstruction |
KR102669261B1 (ko) * | 2021-10-15 | 2024-05-28 | (주)이머시브캐스트 | 클라우드 xr 기반의 프로그램 가상화 방법 |
US20240029363A1 (en) * | 2022-07-20 | 2024-01-25 | Qualcomm Incorporated | Late stage occlusion based rendering for extended reality (xr) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2465793A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
US9934611B2 (en) * | 2013-09-11 | 2018-04-03 | Qualcomm Incorporated | Structural modeling using depth sensors |
CN106663411A (zh) * | 2014-11-16 | 2017-05-10 | 易欧耐特感知公司 | 用于增强现实准备、处理和应用的***和方法 |
US11927965B2 (en) * | 2016-02-29 | 2024-03-12 | AI Incorporated | Obstacle recognition method for autonomous robots |
US10650552B2 (en) * | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10809795B2 (en) * | 2017-05-31 | 2020-10-20 | Occipital, Inc. | Six degree of freedom tracking with scale recovery and obstacle avoidance |
US10816334B2 (en) * | 2017-12-04 | 2020-10-27 | Microsoft Technology Licensing, Llc | Augmented reality measurement and schematic system including tool having relatively movable fiducial markers |
EP3727622B1 (en) * | 2017-12-22 | 2023-09-06 | Magic Leap, Inc. | Caching and updating of dense 3d reconstruction data |
CN108961395B (zh) * | 2018-07-03 | 2019-07-30 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
US10733800B2 (en) * | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
JP2022539314A (ja) * | 2019-06-26 | 2022-09-08 | マジック リープ, インコーポレイテッド | 稠密3d再構築データのキャッシュおよび更新 |
-
2020
- 2020-06-25 EP EP20835012.4A patent/EP3994673A4/en active Pending
- 2020-06-25 US US16/912,646 patent/US11508141B2/en active Active
- 2020-06-25 WO PCT/US2020/039631 patent/WO2021003058A1/en unknown
- 2020-06-25 JP JP2021577449A patent/JP2022539160A/ja active Pending
- 2020-06-25 CN CN202080060983.1A patent/CN114341943A/zh active Pending
-
2022
- 2022-10-20 US US17/970,490 patent/US20230037459A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021003058A1 (en) | 2021-01-07 |
US20210004630A1 (en) | 2021-01-07 |
US20230037459A1 (en) | 2023-02-09 |
CN114341943A (zh) | 2022-04-12 |
EP3994673A1 (en) | 2022-05-11 |
EP3994673A4 (en) | 2023-10-04 |
US11508141B2 (en) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7364809B2 (ja) | レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法 | |
US11238659B2 (en) | Caching and updating of dense 3D reconstruction data | |
US11508141B2 (en) | Simple environment solver using planar extraction | |
JP2022533207A (ja) | 稠密3d再構築データのキャッシュおよび更新 | |
US11423602B2 (en) | Fast 3D reconstruction with depth information | |
JP2022537817A (ja) | 動的オクルージョンのための高速の手のメッシュ化 | |
JP2024506299A (ja) | 占有率グリッドを使用した場面理解 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230623 |