JP2022553771A - 仮想オブジェクト提示のための縁検出および平滑化 - Google Patents

Abstract

ホログラフィック画像をレンダリングするための画像処理技法が、説明される。カメラから捕捉された画像データは、三角形メッシュに変換されることができる。三角形メッシュは、メッシュ内の縁、法線の場所、および縁距離を決定することによって処理されてもよい。メッシュおよび縁平滑化は、メッシュ上で実施され、雑音およびギザギザの縁を低減させることができる。付加的メッシュクリーンアップおよび簡略化が、頂点および三角形の数を低減させ、メッシュの品質を向上させるために実施されることができる。結果として生じるメッシュからのデータは、受信側デバイスに伝送されることができ、そこで、メッシュデータが、深度センサによって捕捉された画像データのホログラフィック画像を再現するために使用される。

Description

本明細書は、概して、仮想または拡張現実システムにおける画像処理に関する。

仮想または拡張現実（ＶＡＲ）システムは、仮想コンテンツを表示し、物理的現実ビューを拡張させるために使用されることができる。しかしながら、ＶＡＲディスプレイシステムによってレンダリングされる、３次元（３－Ｄ）ホログラフィック画像は、雑音および損なわれた立体再構築に起因して、低品質に悩まされ得る。

本明細書に説明される主題の革新的側面は、向上された縁検出および平滑化技法を使用した、画像の改良された立体再構築に関する。

本明細書に説明される主題の革新的側面は、いくつかの実装では、いくつかの動作を備える、コンピュータ実装方法を含む。動作は、画像データを一対のカメラから取得することと、三角形のメッシュを画像データから決定することと、メッシュ平滑化および縁平滑化を実施し、雑音を三角形のメッシュから除去することと、寄与閾値を充足させない、１つまたはそれを上回る頂点をメッシュから除去することと、メモリ内に、メッシュからの１つまたはそれを上回る頂点の除去後、メッシュを特性評価する、メッシュデータを記憶することと、メッシュデータを、メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成される、レンダリングデバイスに伝送することとを含む。

実装はそれぞれ、随意に、以下の特徴のうちの１つまたはそれを上回るものを含んでもよい。例えば、いくつかの実装では、コンピュータ実装方法は、三角形に関する縁を決定する動作を含む。これは、メッシュ内の頂点毎に動作のセットを実施することによって、遂行されることができる。動作のセットは、頂点から１頂点離れて位置する、近傍の頂点を決定することと、近傍の頂点およびその頂点が共通三角形を共有するかどうかを決定することと、近傍の頂点およびその頂点が少なくとも２つの三角形によって共有されるとき、近傍の頂点およびその頂点がメッシュの内部ノードであることを決定することと、近傍の頂点およびその頂点が１つの三角形の一部であるとき、近傍の頂点およびその頂点がメッシュの外部ノードであることを決定することとを含む。

いくつかの実装では、コンピュータ実装方法は、内部ノード毎に、メッシュの縁までの距離を決定することを含む。距離は、内部ノードから縁に辿り着くまで、数ホップである。

いくつかの実装では、メッシュ平滑化および縁平滑化を実施する動作は、頂点毎に動作のセットを実施することを含む。動作のセットは、三角形を頂点と共有する、頂点の平均場所を決定することと、頂点の場所を三角形を頂点と共有する頂点の平均場所により近づくように修正することとを含む。

いくつかの実装では、メッシュ平滑化および縁平滑化を実施する動作は、メッシュの特定の縁からの決定されたホップの数に位置する頂点を識別することと、三角形を共有し、特定の縁からの決定されたホップの数に位置する、他の頂点を識別することと、他の頂点の平均場所を決定することと、頂点の場所が平均場所により近づくように、頂点の場所を修正することとを含む。

いくつかの実装では、コンピュータ実装方法は、２つの頂点が閾値距離未満である距離によって分離されることを決定することと、２つの頂点をマージすることとを含む。

いくつかの実装では、寄与閾値を充足させない、１つまたはそれを上回る頂点をメッシュから除去する動作は、同一三角形に属する、一対の頂点を識別することと、一対の頂点がマージされる場合のメッシュへの影響を決定することと、メッシュへの影響が寄与閾値未満であることを決定することとを含む。

いくつかの実装では、一対の頂点がマージされたときのメッシュへの影響を決定する動作は、一対の頂点がマージされる前および後の全ての近傍の三角形間の角度の変化を決定することを含む。

いくつかの実装では、コンピュータ実装方法は、メッシュ内のサブメッシュを形成する、１つまたはそれを上回る三角形を除去することによって、１つまたはそれを上回る頂点を除去する前に、１つまたはそれを上回る三角形をメッシュから除去することを含む。

いくつかの実装では、メッシュデータは、１つまたはそれを上回る画像内の色および一対のカメラから１つまたはそれを上回る画像内のピクセルまでの深度を示す、データを含む。

本明細書に説明される主題の側面はまた、いくつかの実装では、フレーム構造と、コンピューティングデバイスと、メモリと、ヘッドセットとを含む、仮想または拡張現実システムを含む。フレーム構造は、画像データを取得するように構成される、一対の深度センサを含む。コンピューティングデバイスは、フレーム構造に結合される。コンピューティングデバイスは、画像データを一対の深度センサから取得し、三角形のメッシュを画像データから決定し、メッシュ平滑化および縁平滑化を実施し、雑音を三角形のメッシュから除去し、寄与閾値を充足させない、１つまたはそれを上回る頂点をメッシュから除去するように構成される。メモリは、１つまたはそれを上回る頂点をメッシュから除去後、メッシュを特性評価する、メッシュデータを記憶するように構成される。ヘッドセットは、メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成される。

本明細書に説明される主題の側面はまた、いくつかの実装では、１つまたはそれを上回るコンピューティングデバイスによって実行されると、１つまたはそれを上回るコンピューティングデバイスに、動作を実施させる、命令を含む、非一過性コンピュータ可読記憶媒体を含む。動作は、画像データを一対のカメラから取得することと、三角形のメッシュを画像データから決定することと、メッシュ平滑化および縁平滑化を実施し、雑音を三角形のメッシュから除去することと、寄与閾値を充足させない、１つまたはそれを上回る頂点をメッシュから除去することと、メモリ内に、メッシュからの１つまたはそれを上回る頂点の除去後、メッシュを特性評価する、メッシュデータを記憶することと、メッシュデータを、メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成される、レンダリングデバイスに伝送することとを含む。

本側面の他の実装は、それぞれ、本方法の動作を実施するように構成される、対応するシステム、装置、およびコンピュータ記憶デバイス上に記録される、コンピュータプログラムを含む。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細は、付随の図面および下記の説明に記載される。主題の他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。

図１は、二重センサプラットフォームを有する、仮想または拡張現実（ＶＡＲ）システムの実施例を描写する。

図２は、３Ｄホログラフィック画像再構築のための例示的方法と、ＶＡＲ画像内の縁検出および平滑化のためのパイプラインにおける場所とを描写する。

図３は、三角形メッシュを生成するために使用され得る、ＭａｒｃｈｉｎｇＣｕｂｅｓアルゴリズムの一意の場合を描写する。

図４は、例示的三角形メッシュの一部を描写する。

図５Ａ、５Ｂ、５Ｃ、および５Ｄは、縁平滑化の実施例を描写する。

図６Ａおよび６Ｂは、縁平滑化の実施例を描写する。

図７Ａおよび７Ｂは、メッシュ簡略化の実施例を描写する。

種々の図面内の同様の参照番号および記号は、同様の要素を示す。

詳細な説明
ホログラムは、種々の参加者が、相互に仮想的に相互作用することを可能にする、没入型の視覚的協働体験の一部である。画面に話しかける代わりに、ユーザは、共有デジタル空間内の仮想コンテンツを操作し、仮想アクティビティ、例えば、仮想チェスを別のユーザと行うことに従事することができる。ホログラフ技術およびＶＡＲシステムは、例えば、電子ゲーム、オンライン教育、仮想支援、共有仕事環境、テレプレゼンス、および遠隔協働等のいくつかの分野において用途を有する。

ＶＡＲシステムは、多くの場合、ホログラフィック投影を使用して、画像およびコンテンツをユーザに表示しているが、ＶＡＲシステムは、ホログラフィック投影とのユーザ相互作用を効果的に有効にすることに苦戦している。ネットワークまたはコンピューティングデバイスが大量の画像データを取り扱うことができないこと等の制約が、満足の行くホログラフィック投影をリアルタイムでストリーミングおよびレンダリングする能力に影響を及ぼしている。

十分なシステムリソースが利用可能ないくつかのシステムでも、ホログラフィック投影の品質は、不良ホログラフィックレンダリングに起因して、依然として、低くある。例えば、ホログラフィック画像は、人物等のオブジェクトの縁に存在する雑音アーチファクトに起因して、波状またはギザギザに現れ得る。そのような品質問題点は、ユーザの視認体験に悪影響を及ぼすだけではなく、それらはまた、オブジェクトの境界が明確に定義されない、または可視ではないため、ホログラフィック投影と相互作用することを困難にする。以下の開示は、本問題に対処し、ホログラフィック画像およびディスプレイと相互作用するユーザ体験を向上させるためのシステムおよび方法を説明する。

本明細書の下記でさらに詳細に解説されるように、画像データは、深度センサから捕捉されることができ、三角形メッシュが、画像データから生成されてもよい。三角形メッシュは、メッシュ内の縁、法線の場所、および縁距離を決定することによって処理されてもよい。本情報を使用して、メッシュおよび縁平滑化が、雑音およびギザギザの縁を低減させるために実施されることができる。頂点および三角形の数を低減させるためのテクスチャ投影およびメッシュクリーンアップおよび簡略化等の付加的動作も、メッシュの品質を向上させるために実施されることができる。結果として生じるメッシュからのデータは、受信側デバイスに伝送されることができ、そこで、メッシュデータが、深度センサによって捕捉された画像データのホログラフィック画像を再現するために使用される。

本開示に説明される縁検出およびメッシュ平滑化の本方法は、非常に短待ち時間を伴って実施され、それによって、ストリーミング画像データのリアルタイムレンダリングを可能にすることができるため、有利である。加えて、本開示に説明される方法およびシステムは、容易に、新しいおよび既存の用途の中に統合され、種々のプラットフォームを横断して、ユーザ体験を向上させることができる。

図１は、二重センサプラットフォームを有する、例示的ＶＡＲシステム１００を描写する。システム１００は、クラウドプラットフォーム１５０と、少なくとも２つのコンピューティングデバイス１１０、１６０と、少なくとも２つのヘッドセット１４０、１９０と、少なくとも２つのセンサ搭載部１２０Ａ、１２０Ｂ、１７０Ａ、１７０Ｂとを含み、ホログラフィック画像をユーザ１３０、１８０のためにレンダリングすることができる。２人のユーザ１３０、１８０は、ＶＡＲシステム１００を通して、相互に通信することができる。

ユーザ１３０は、ヘッドセット１４０を装着することができ、コンピューティングデバイス１１０を利用して、ＶＡＲシステム１００と相互作用することができる。コンピューティングデバイス１１０は、１つまたはそれを上回る深度センサ１２０Ａおよび１２０Ｂに接続されることができ、これは、組み合わせられ、センサ搭載部の一部を形成する。コンピューティングデバイス１１０はまた、有線または無線様式において、ヘッドセット１４０に接続されることができる。同様に、ユーザ１８０は、ヘッドセット１９０を装着することができ、コンピューティングデバイス１６０を利用して、ＶＡＲシステム１００と相互作用することができる。コンピューティングデバイス１６０は、２つの深度センサ１７０Ａおよび１７０Ｂに接続されることができ、これは、組み合わせられ、別のセンサ搭載部の一部を形成する。コンピューティングデバイス１６０はまた、有線または無線様式において、ヘッドセット１９０に接続されることができる。

ヘッドセット１４０および１９０は、それぞれ、ユーザの頭部１３０および１８０上に搭載されることができる。各ヘッドセット１４０、１９０は、眼毎に別個の画像、ステレオ音を提供するための立体視頭部搭載型ディスプレイと、頭部運動追跡センサ、例えば、ジャイロスコープ、加速度計、および／または磁力計とを含むことができる。いくつかの実装では、ヘッドセット１４０、１９０はまた、眼移動追跡センサを含むことができる。

各ヘッドセット１４０、１９０は、ディスプレイを広視野にマッピングするための一対のレンズを含むことができる。ヘッドセット１４０、１９０は、１つまたはそれを上回るカメラを含み、仮想オブジェクトとともに、ユーザ１３０、１８０に提供される拡張ビュー内に表示される、実世界画像を捕捉することができる。いくつかの実装では、ヘッドセット１４０、１９０は、仮想オブジェクトと実世界画像を適切に整合させるための較正を実施するために、１つまたはそれを上回るセンサと、プロセッサとを含むことができる、またはそれに結合されることができる。

ヘッドセット１４０、１９０はまた、ホログラフィック画像を視認するために使用されることができる。例えば、深度センサ１２０Ａおよび１２０Ｂによって捕捉された画像データは、ユーザ１８０によって装着されるヘッドセット１９０を通して視認可能である、ホログラフィック画像をレンダリングするために伝送されることができる。同様に、深度センサ１７０Ａおよび１７０Ｂによって捕捉された画像データも、ユーザ１３０によって装着されるヘッドセット１４０を通して視認可能である、ホログラフィック画像をレンダリングするために伝送されることができる。

各コンピューティングデバイス１１０、１６０は、センサ搭載部に接続されることができ、これは、１つまたはそれを上回る深度センサを含むことができる。例えば、コンピューティングデバイス１１０は、深度センサ１２０Ａおよび１２０Ｂに接続され、コンピューティングデバイス１６０は、深度センサ１７０Ａおよび１７０Ｂに接続される。各深度センサ１２０Ａ、１２０Ｂ、１７０Ａ、１７０Ｂは、赤色、緑色、青色（ＲＧＢ）画像およびデータのストリームを捕捉し、深度マップを生成することができる。各センサ搭載部内の１つまたはそれを上回る深度センサまたはカメラからのデータを組み合わせることによって、センサ搭載部によって取得されるデータは、ユーザ１３０または１８０の３次元（３Ｄ）画像を生成するために使用されることができる。ユーザ１３０または１８０のこれらの仮想表現は、その相手側に送信され、仮想オブジェクトと整合され、実世界画像と組み合わせられることができる。

コンピューティングデバイス１１０は、コンピューティングデバイス１６０と同一または類似し得るが、コンピューティングデバイス１１０は、ユーザ１３０と関連付けられ、コンピューティングデバイス１６０は、ユーザ１８０と関連付けられる。特に、コンピューティングデバイス１１０は、データをユーザ１３０、ヘッドセット１４０、深度センサ１２０Ａ、１２０Ｂ、およびクラウドプラットフォーム１５０から受信し、および／またはデータをそこに伝送することができる。コンピューティングデバイス１６０は、データをユーザ１８０、ヘッドセット１９０、深度センサ１７０Ａ、１７０Ｂ、およびクラウドプラットフォーム１５０から受信し、および／またはデータをそこに伝送することができる。いくつかの実装では、コンピューティングデバイス１１０、１８０はそれぞれ、ラップトップまたはデスクトップ等のコンピュータであることができ、大量のグラフィカルデータを処理するように構成されることができる。

コンピューティングデバイス１１０および１６０はそれぞれ、種々の他のコンポーネントの中でもとりわけ、１つまたはそれを上回るプロセッサと、メモリと、ユーザインターフェース（例えば、ディスプレイ、マウス、マイクロホン、スピーカ）と、通信インターフェースと、送受信機とを含むことができる。例えば、各コンピューティングデバイス１１０／１６０は、１つまたはそれを上回るグラフィカル処理ユニット（ＧＰＵ）を含み、深度センサ１２０Ａ、１２０Ｂ、１７０Ａ、１７０Ｂから取得される大量の未加工画像データを平滑ホログラムに処理し、それをストリーミング高精細（ＨＤ）ビデオに匹敵する帯域幅に圧縮することができる。

特に、コンピューティングデバイス１１０または１６０内のＧＰＵは、深度センサ１２０Ａ、１２０Ｂ、１７０Ａ、１７０Ｂによって捕捉された画像に関するセンサ深度マップを生成し、センサ深度マップに合致する３Ｄ空間を決定し、合致された３Ｄ空間内の平滑メッシュ幾何学形状を決定し、幾何学形状の簡略化を実施し、グラフィカルデータ点の量を低減させ、カラー画像を幾何学形状にテクスチャとして投影し、これらの画像を重複縁において混成することができる。これらの動作は、図２に関してさらに詳細に説明される。

画像１１５Ａおよび１１５Ｂを含む、画像セット１１５は、ＧＰＵによって実施される画像処理のタイプの実施例を提供する。例えば、人物の画像が、深度センサ１２０Ａおよび１２０Ｂによって捕捉されることができる。三角形のメッシュが、画像から生成されることができ、メッシュ内の縁が、画像１１５Ａに示されるように、決定されることができる。メッシュおよび縁は、平滑化および簡略化されてもよく（Ａ１）、その後、テクスチャおよび色情報が、メッシュに追加され、画像１１５Ｂに類似し得る、画像をもたらしてもよい。画像１１５Ｂからのデータは、画像１１５Ｂからのデータに基づくホログラフィック画像１１５Ｃがユーザ１８０による視認のためにレンダリングされ得るように（Ａ３）、クラウドプラットフォーム１５０を通して、ユーザ１８０と関連付けられる、コンピューティングデバイス１６０およびヘッドセット１９０に送信されることができる（Ａ２）。画像１１５Ｃから分かるように、人物の画像１１５Ｂは、視認者またはユーザ１８０を囲繞する、環境の画像上に重畳される。メッシュが、強調のために画像１１５Ｃに示されるが、レンダリングが完了後、メッシュは、ヘッドセット１９０を通して、ユーザ１８０に可視ではなくなり得る。

コンピューティングデバイス１１０内のＧＰＵは、上記で説明される様式において、高データレートにおいて、画像データをストリーミングし、ユーザ１８０によるホログラフィック画像のシームレスな視認を有効にし得る。

コンピューティングデバイス１１０および１６０内の送受信機は、他のデバイス、例えば、深度センサ１２０Ａ、１２０Ｂ、１７０Ａ、１７０Ｂおよびヘッドセット１４０、１９０と通信するための伝送機および受信機と、１つまたはそれを上回るネットワーク、例えば、無線ネットワーク１５５とを含む。送受信機は、増幅器、変調器、復調器、エンコーダ、デコーダ、アンテナ、および種々の他のコンポーネントを含むことができる。送受信機は、サーバ、データベース、および電子デバイス等の他の外部デバイスから受信されたデータを、プロセッサまたはメモリ等のコンピューティングデバイス１１０／１６０内の他のコンポーネントにダイレクトすることができる。送受信機はまた、コンピューティングデバイス１１０／１６０内のコンポーネントから受信されたデータを外部デバイスにダイレクトすることができる。

コンピューティングデバイス１１０からのデータは、無線ネットワーク１５５を経由して、クラウドプラットフォーム１５０を通して、コンピューティングデバイス１６０に伝送され、そこから受信されることができる。コンピューティングデバイス１６０からのデータは、無線ネットワーク１５５を経由して、クラウドプラットフォーム１５０を通して、コンピューティングデバイス１１０に伝送され、そこから受信されることができる。一般に、コンピューティングデバイス１１０、１６０からのデータは、種々のタイプの有線または無線ネットワークを横断して、伝送されることができる。いくつかの実装では、データは、クラウドプラットフォーム１５０を使用せずに、伝送されることができる。

クラウドプラットフォーム１５０は、通信切替ボードとして動作することができる。特に、クラウドプラットフォーム１５０は、ユーザ１４０、１８０が、ホログラフィックセッションに参加し、他者と相互接続することを促進することができる。クラウドプラットフォーム１５０は、セッションをオンデマンドでホストし、迅速かつ効率的に、種々のユーザ間の非限定数の同時セッションにスケーリングすることができる。

いくつかの実装では、クラウドプラットフォーム１５０は、ゲートウェイ、ウェブポータル、およびセッションサーバを含むことができる。ゲートウェイは、ユーザおよびセッションデータを記憶する、１つまたはそれを上回るデータベースを管理することができる。ユーザおよびセッションデータは、例えば、ＶＡＲシステム１００にログインしているユーザ、セッション開始時間、セッション持続時間、セッション話題、スケジューリングされたセッション時間、セッションに関わるユーザ、およびセッションに関わるユーザデバイスのＩＰおよび／またはＭＡＣアドレス等のセッション情報を示す、データ等のデータを含むことができる。セッションからのデータは、ユーザ認可を伴って記憶されることができ、セッションが復元されると、または過去のセッションからのデータがユーザによって要求されると、呼び出されることができる。

ゲートウェイは、複数のセッションサーバを管理することができ、データを受信および伝送し、ホログラフィック画像のストリーミングおよびレンダリングを促進することができる。ある場合には、ゲートウェイは、１つまたはそれを上回るアプリケーションプログラムインターフェース（ＡＰＩ）をコンピューティングデバイス１１０、１６０またはヘッドセット１４０、１９０等のユーザデバイスまたはシステムコンポーネントに提供することができる。

ウェブポータルは、エンドユーザおよび管理者のためのウェブインターフェースである。ウェブポータルを構成するためのデータは、ゲートウェイによって提供されることができる。ポータルを通して送信および受信されたデータは、ゲートウェイに伝送されることができる。セッションサーバは、セッションの間、ユーザ間のリアルタイム通信をホストすることができる。

一般に、クラウドプラットフォーム１５０は、１つまたはそれを上回るサーバ、データベース、および／またはコンピューティングデバイスを使用して実装され、上記に説明される動作を実装するために、ソフトウェアおよびアルゴリズムを実行することができる。クラウドプラットフォーム１５０は、システム１００の種々のコンポーネント、例えば、コンピューティングデバイス１１０、１６０間で伝送されるデータのための記憶サービスを提供することができる。クラウドプラットフォーム１５０は、１つの場所内に統合される、または１つを上回る場所に分散されることができる。

無線ネットワーク１５５は、クラウドプラットフォーム１５０をユーザ１３０、１８０と関連付けられるコンピューティングデバイス１１０、１６０に接続することができる。いくつかの実装では、無線ネットワーク１５５は、インターネットであってもよい。一般に、無線ネットワーク１５５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＷｉＦｉネットワーク等の短距離ネットワーク、および長距離ネットワーク、例えば、セルラーネットワークまたはインターネットを含む、種々のタイプのネットワークを含むことができる。いくつかの実装では、無線ネットワーク１５５は、クラウドプラットフォーム１５０を含む、クラウドシステムを含むことができる。

無線ネットワーク１５５は、アクセスポイントと、記憶システムと、クラウドシステムと、モジュールと、１つまたはそれを上回るメディアデータベースを含む、１つまたはそれを上回るデータベースと、１つまたはそれを上回るネットワークサーバを含む、サーバとを含むことができる。１つまたはそれを上回るネットワークサーバは、限定ではないが、パーソナルコンピュータ、サーバコンピュータ、一連のサーバコンピュータ、ミニコンピュータ、およびメインフレームコンピュータ、またはそれらの組み合わせを含む、任意の好適なコンピューティングデバイスを含むことができる。１つまたはそれを上回るネットワークサーバはまた、アプリケーションサーバまたは一連のサーバを含むことができる。１つまたはそれを上回るネットワークサーバは、クラウドおよび／またはネットワークコンピューティングサービスのために使用される、および／またはそれを提供することができる。

図１は、２人のユーザおよびコンピューティングデバイスを伴う、実施例を描写するが、いくつかの実装では、１つのみのコンピューティングデバイスおよび／または１つのみのヘッドセットが、使用されることができる。例えば、１人の人物が、ホログラムの代わりに、アバタを有する、またはある人物が、ヘッドセットの必要なく、深度センサの正面で講義を行なっているとき、単一コンピューティングデバイスが、使用されることができる。

図２は、画像内の縁検出および平滑化を含む、３Ｄホログラフィック画像を生成するための例示的フローチャートを図示する。図２に関して説明される動作は、コンピューティングデバイス１１０または１６０等の１つまたはそれを上回るコンピューティングデバイスによって実行されることができる。いくつかの実装では、動作は、クラウドプラットフォーム１５０内のコンピューティングデバイス、またはヘッドセット１４０または１９０に結合される、デバイス１１０または１６０以外のコンピューティングデバイスによって実行されることができる。別様に注記されない限り、図２の議論において参照されるユーザは、ユーザ１４０またはユーザ１９０を指す。図２の議論において参照される深度センサは、一対の深度センサ１２０Ａおよび１２０Ｂまたは一対の深度センサ１７０Ａおよび１７０Ｂを指す。図２の議論において参照されるヘッドセットは、ヘッドセット１４０またはヘッドセット１９０を指す。

図２に示されるプロセスは、動作２０５から開始し、そこで、データが、１つまたはそれを上回る深度センサから取得されることができる。取得されるデータは、深度センサ内のカメラによって捕捉された画像を含むことができる。データはまた、ピクセル毎の色情報および深度値（カメラからそのピクセルまでの深度）を含むことができる。ステレオ三角測量、光三角測量、構造化された光、飛行時間、または干渉法等の種々の好適な方法が、深度値を決定するために使用されることができる。

深度センサから取得されるデータは、３Ｄ画像空間またはボクセル空間を構築するために使用されることができる。動作２１０では、ボクセル空間は、カメラの正面の空間を小立方体の集合に分割することによって、再構成されることができる。コンピューティングデバイスは、ピクセル毎の深度値に基づいて、ボクセル空間を分割することができる。

動作２１５では、小立方体は、三角形のメッシュに変換されることができる。立方体は、８つのボクセルから形成される。三角形は、ボクセルが充填されるかどうかに基づいて、識別されることができる。ＭａｒｃｈｉｎｇＣｕｂｅｓアルゴリズムまたは他の好適な技法が、各立方体に反復的に適用され、三角形を識別することができる。図３は、三角形メッシュを生成するために使用され得る、ＭａｒｃｈｉｎｇＣｕｂｅｓアルゴリズムにおける１５個の一意の場合を示す。全ての立方体を処理後、例えば、ＭａｒｃｈｉｎｇＣｕｂｅｓアルゴリズムによって識別されるような識別された三角形の合体が、三角形メッシュを生成するために使用されることができる。

次に、動作２２０では、三角形の特性が、各三角形の法線を計算することによって、決定されることができる。頂点が、識別された三角形のうちの１つの角を指す。各三角形の頂点を使用して、三角形の頂点によって形成されるベクトルが、三角形に関する法線を生成するために使用されることができる。本三角形メッシュでは、特定の三角形に関する法線は、特定の三角形に接する三角形の法線および特定の三角形のみに関する決定された法線の加重平均として計算されることができる。

動作２２５では、三角形メッシュの縁が、決定されることができる。頂点毎に、コンピューティングデバイスは、近傍の頂点（頂点から１頂点離れた頂点）および近傍の頂点およびその頂点が共通三角形を共有するかどうかを決定することができる。一一対の頂点が、２つの三角形を共有するとき、頂点は、三角形メッシュの中央にあると決定される。一対の頂点が、単一の三角形のみを共有するとき、それらの頂点は、三角形メッシュの縁にあると決定される。

例えば、図４は、例示的三角形メッシュ４００の一部を描写する。コンピューティングデバイスは、頂点３および４が、それらが単一の三角形のみを共有するため、メッシュの縁に位置することを決定することができる。コンピューティングデバイスはまた、頂点１および２が、頂点１および２が２つの三角形を共有するため、メッシュの中央のどこかにあることを決定することができる。頂点３および４は、縁ノードとして指定されることができ、頂点１および２は、内部ノードとして指定されることができる。

動作２３０では、コンピューティングデバイスは、内部ノード毎に、縁までの距離を決定することができる、すなわち、頂点は、メッシュの内側上にある。距離は、例えば、頂点から縁に辿り着くまでのホップの数を含む、種々の方法において説明されることができる。いくつかの実装では、距離は、１ホップを近傍の頂点の決定された距離に追加することによって決定されることができる。複数の近傍の頂点が存在する場合、近傍の頂点の距離から取得される最小距離が、使用されることができる。本決定の複数回の反復が、内部ノード毎に、実施され、内部ノード毎に、縁までの距離を正しく決定することができる。いくつかの実装では、縁距離決定は、頂点毎に、並行して実施されることができる。

動作２２５において、縁、動作２３０において、縁までの距離を決定後、コンピューティングデバイスは、随意に、動作２３５において、メッシュ平滑化を実施することができる。三角形メッシュを平滑化するために、コンピューティングデバイスは、平滑化されるべき頂点毎に、三角形を頂点と共有する、頂点の平均場所を決定することができる。頂点の現在の場所は、次いで、三角形を頂点と共有する、頂点の平均場所にそれをより近づかせるように修正される。

動作２４０では、縁が、平滑化されることができる。平滑化は、縁からの決定されたホップの数、例えば、３ホップに位置する、各頂点に適用されることができる。決定されたホップの数は、ＶＡＲシステム１００のオペレータによって調節され、縁平滑化度を変動させることができる。

縁平滑化を実施するために、縁から決定されたホップの数だけ離れた頂点の平均場所が、決定される。縁と関連付けられる法線および縁と関連付けられる頂点の場所は、縁を平滑化するように調節されることができる。さらに詳細には、縁からの決定されたホップの数に位置する、頂点毎に、コンピューティングデバイスは、処理されている頂点と三角形を共有し、縁からの同一距離を有する、頂点の場所の平均を決定することができる。決定された平均場所に基づいて、縁の頂点の場所座標は、頂点を平均場所により近づかせるように調節されることができる。また、新しい頂点場所を用いて、三角形に関する法線もまた、再計算されることができる。

いくつかの実装では、方程式１が、縁平滑化を実施するために使用されることができる。

方程式１では、ｖ_ｉは、処理されている頂点の現在の場所であり、ｖ_ｆは、それに対して頂点が移動されるべき場所であり、ｖ_ｎは、処理されている頂点と縁までの同一距離を伴う、ｎ番目の近傍のベクトルであり、Ｎは、処理されている頂点と縁までの同一距離を伴う、近傍の頂点の数である。

図５Ａ－５Ｄは、縁平滑化の一実施例を示す。図５Ａ－５Ｄでは、三角形メッシュの一部が、示される。一部は、頂点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、およびＦを含む。例証目的のために、頂点の２次元（２Ｄ）座標のみが、示される。図５Ａでは、頂点Ａは、（１０，１０）の座標を有し、頂点Ｂは、（３０，２０）の座標を有し、頂点Ｃは、（５０，１０）の座標を有し、頂点Ｄは、（６５，１０）の座標を有し、頂点Ｅは、（９５，２５）の座標を有し、頂点Ｆは、（１２０，１０）の座標を有する。

頂点の場所を決定する１回の工程後、縁平滑化は、上記に説明される様式において、１つまたはそれを上回る頂点の場所を修正することによって実施される。頂点Ｂの場所は、図５Ａにおける（３０，２０）から図５Ｂにおける（３０，１７．１４）に変化され、頂点Ｂを近傍の頂点ＡおよびＣの場所のより近くに移動させている。同様に、頂点Ｃの場所は、（５０，１０）から（４９．２９，１１．４３）に変化され、頂点Ｃを近傍の頂点ＢおよびＤの場所のより近くに移動させており、頂点Ｄの場所は、（６５，１０）から（６７．１４，１２．１４）に変化され、頂点Ｄを近傍の頂点ＣおよびＥの場所のより近くに移動させており、頂点Ｅの場所は、（９５，２５）から（９４．２９，２０．７１）に変化され、頂点Ｅを近傍の頂点ＤおよびＦの場所のより近くに移動させている。

図５Ｃおよび５Ｄは、縁平滑化ステップの別の２回の反復を示す。複数回の反復を実施後、メッシュの縁は、図５Ａ－５Ｄを比較することによって分かるように、平滑化されている。縁平滑化は、可変に設定され得る、固定された反復回数にわたって、繰り返し実施されることができる。有利なこととして、平滑化動作は、事実上、雑音をメッシュから除去し、それによって、レンダリングされた画像の全体的品質を改良する、フィルタリング動作である。

縁平滑化動作の別の実施例は、図６Ａおよび６Ｂに示される。図６Ａは、平滑化されていない、三角形メッシュの一部を示す。図６Ｂは、縁平滑化が実施された後の三角形メッシュの同一部分を示す。図６Ａおよび６Ｂに示されるように、本縁平滑化動作は、鋭的および雑音縁の除去およびメッシュの周囲の三角形の平滑帯域の作成をもたらし得る。

動作２４０は、全てのボクセルのために同時に実施されることができ、ＶＡＲシステム１００のオペレータによって設定され得る、決定された反復回数にわたって、繰り返されることができる。決定された反復回数が完了後、いくつかの頂点は、相互の非常に近くに位置し得る。頂点の近接近の実施例は、図６Ｂに示される破線円形６１０によってハイライトされる。近くに位置する頂点のそのようなインスタンスは、必要ない。

動作２４５では、メッシュが、円形６１０内のいくつかの頂点等の閾値距離未満相互から離れた頂点をマージすることによって、クリーンアップされることができる。頂点をマージ後、新しい三角形が、生成されることができる。また、メッシュをさらにクリーンアップするために、動作２５０が、数個の三角形のサブメッシュを形成する、三角形を除去するために実施されることができる。サブメッシュは、縁のみから成り、内側三角形がない、メッシュの一部である。動作２５０はさらに、メッシュ内の雑音を低減させることができる。

メッシュが、クリーンアップされ、雑音が、除去された後、メッシュは、動作２５５において、さらに簡略化されることができる。メッシュを簡略化するために、メッシュの形状に実質的に寄与しない、頂点および三角形は、除去される。頂点および三角形の寄与を決定するために、コンピューティングデバイスは、同一三角形に属する、対の頂点を識別することができ、２つの頂点がマージされたときのメッシュへの影響を計算することができる。影響は、マージ前後の全ての近傍の三角形間の角度の変化を決定することによって計算されることができる。例えば、平坦表面と関連付けられる頂点は、影響を及ぼさないであろう一方、鼻の上部における頂点は、より大きい影響を及ぼす可能性が高いであろう。変化の量が、閾値未満であるとき、頂点は、マージされることができる。

メッシュ簡略化動作２５５の実施例は、図７Ａおよび７Ｂに示される。図７Ａは、簡略化されていない、三角形メッシュの一部を示す。図７Ｂは、メッシュ簡略化が実施された後の三角形メッシュの同一部分を示す。図７Ｂに示されるように、結果として生じるメッシュは、より少ない頂点、三角形、および縁を有する。

動作２５５の間、メッシュの縁上の頂点は、マージされず、メッシュの縁および全体的形状を保存する。縁の近くに位置する頂点は、縁までの同一距離にある、頂点とのみマージされることができる。ゼロの面積を伴う三角形は、除去される。メッシュ簡略化動作２５５は、ＶＡＲシステム１００のオペレータによって設定され得る、決定された反復回数にわたって、繰り返されることができる。

動作２６０では、テクスチャ投影が、メッシュ上に適用されることができる。本動作を実施するために、コンピューティングデバイスは、カラー画像をメッシュ上に投影するための頂点あたり使用すべき色およびカメラを決定することができる。コンピューティングデバイスは、加えて、頂点毎に、カメラ加重を決定することができる。カメラ加重は、深度センサの各カメラが頂点の色に寄与し得る量に対応する、数値を指す。

メッシュの正面に関して、両方のカメラが、等しく寄与し得るが、縁は、１つのカメラの寄与のみを有するであろう。頂点あたりの各カメラの加重は、メッシュとカメラ視認方向との間の角度、カメラの深度値とカメラから頂点までの実際の距離との間の差異、および画像の縁までの距離に基づいて、コンピューティングデバイスによって決定されることができる。

図２に示される動作を実施後、コンピューティングデバイスは、カメラ加重、色、頂点場所、深度データ、および任意の他の情報、例えば、頂点あたりのメッシュの縁までの距離、メッシュを再作成するために使用され得る、三角形場所を示す、データを記憶することができる。本データは、無線ネットワーク１５５を経由して、メッシュの視認者、例えば、ユーザ１３０または１８０に伝送されることができる。伝送されるデータは、レンダリングのために伝送されるデータを受信する、コンピューティングデバイスによってデコーディングおよび処理されることができる。メッシュは、受信側コンピューティングデバイスのＧＰＵによって再作成され、カラー画像が、メッシュの上部に投影される。カメラ加重が、異なるカメラの色が頂点毎にともに混合される方法を決定するために使用されることができる。縁までの距離は、余剰混合効果、例えば、メッシュの縁の周囲の透明度を決定することができる。縁に近いほど、非常に透明なレンダリングは、適用されることができ、したがって、メッシュは、空間にフェードインするように見え、縁の周囲の誤差を隠蔽する。

ホログラフィック画像をレンダリングする上記に説明される方法を使用することによって、視認者は、画像内のより少ない雑音に起因して、より高い品質のホログラフィック画像を享受することができる。加えて、上記に説明される動作は、５０ミリ秒未満の待ち時間を導入するため、本方法は、ＨＤデータのストリーミング等のリアルタイム通信のために使用されることができる。

説明されるシステム、方法、および技法は、デジタル電子回路網、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせ要素内に実装されることができる。これらの技法を実装する装置は、適切な入力および出力デバイス、コンピュータプロセッサ、およびプログラマブルプロセッサによる実行のために機械可読記憶デバイス内に有形に具現化されるコンピュータプログラム製品を含むことができる。これらの技法を実装するプロセスは、入力データに作用し、適切な出力を生成することによって、命令のプログラムを実行し、所望の機能を実施する、プログラマブルプロセッサによって実施されることができる。本技法は、データおよび命令を、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスから受信し、かつデータおよび命令をそこに伝送するように結合される、少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能な命令を含む、１つまたはそれを上回るコンピュータプログラムまたは非一過性コンピュータ可読記憶媒体を使用して、実装されることができる。

各コンピュータプログラムは、所望に応じて、高レベル手続型またはオブジェクト指向プログラミング言語において、またはアセンブリまたは機械言語において実装されることができ、いずれの場合も、言語は、コンパイルまたはインタープリタ型言語であることができる。好適なプロセッサは、一例として、汎用および特殊目的マイクロプロセッサの両方を含む。概して、プロセッサは、命令およびデータを読取専用メモリおよび／またはランダムアクセスメモリから受信するであろう。コンピュータプログラム命令およびデータを有形に具現化するために好適な記憶デバイスは、一例として、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスク等の磁気ディスク、光磁気ディスク、およびコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）を含む、あらゆる形態の不揮発性メモリを含む。前述のいずれかは、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完される、またはその中に組み込まれることができる。

コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶装置基板、メモリデバイス、機械可読伝搬信号をもたらす物質組成、またはそれらのうちの１つまたはそれを上回るものの組み合わせであることができる。用語「コンピューティングデバイス」は、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加え、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つまたはそれを上回るものの組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、好適な受信機装置への伝送のために情報をエンコーディングするために生成される、機械生成された電気、光学、または電磁信号である。

プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、プラグイン、またはコードとしても知られる、コンピュータプログラムは、コンパイルまたはインタープリタ型言語を含む、任意の形態のプログラミング言語において書き込まれることができ、独立型プログラムとして、またはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境において使用するために好適な他のユニットとしてを含む、任意の形態で展開されることができる。コンピュータプログラムは、必ずしも、ファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラムまたはデータを、当該プログラムに専用の単一ファイル内に保持する、ファイルの一部内に、または複数の協調ファイル内に記憶されることができる。コンピュータプログラムは、１つのサイトに位置する、または複数のサイトを横断して分散され、通信ネットワークによって相互接続される、１つのコンピュータ上で、または複数のコンピュータ上で実行されることができる。

本明細書に説明されるプロセスおよび論理フローは、入力データに作用し、出力を生成することによって、１つまたはそれを上回るコンピュータプログラムを実行し、アクションを実施する、１つまたはそれを上回るプログラマブルプロセッサによって実施されることができる。プロセスおよび論理フローはまた、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施されることができ、装置はまた、そのようなものとして実装されることができる。

コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊目的マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の１つまたはそれを上回るプロセッサを含む。概して、プロセッサは、命令およびデータを読取専用メモリまたはランダムアクセスメモリまたは両方から受信するであろう。

コンピュータの要素は、命令を実施するためのプロセッサと、命令およびデータを記憶するための１つまたはそれを上回るメモリデバイスとを含むことができる。概して、コンピュータはまた、データを記憶するための１つまたはそれを上回る大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含む、またはデータをそこから受信する、またはデータをそこに転送する、または両方を行うために動作可能に結合されるであろう。さらに、コンピュータは、いくつかのみを挙げると、別のデバイス、例えば、タブレットコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、ＶＡＲシステムに内蔵されることができる。コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完される、またはその中に組み込まれることができる。

本明細書は、多くの詳細を含有するが、これらは、本開示または請求され得るものの範囲への限定としてではなく、むしろ、特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態との関連で本明細書に説明されるある特徴もまた、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態との関連で説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。また、特徴が、ある組み合わせにおいて作用するものとして上記に説明され得、さらに、そのようなものとして請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴が、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。例えば、マッピング動作は、一連の離散動作として説明されるが、種々の動作は、所望の実装に応じて、付加的動作に分割される、より少ない動作に組み合わせられる、実行の順序において変動される、または排除されることができる。

同様に、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

本明細書、特に、添付の請求項（例えば、添付の請求項の本文）において使用される用語は、概して、「非制限的」用語として意図される（例えば、用語「ｉｎｃｌｕｄｉｎｇ（～を含む）」は、「限定ではないが、～を含む」として解釈されるべきであって、用語「ｈａｖｉｎｇ（～を有する）」は、「少なくとも～を有する」として解釈されるべきであって、用語「ｉｎｃｌｕｄｅｓ（～を含む）」は、「限定ではないが、～を含む」として解釈されるべきである等となる）。

加えて、具体的数の導入される請求項の列挙が、意図される場合、そのような意図は、請求項に明示的に列挙され、そのような列挙の不在下では、そのような意図は、存在しないであろう。例えば、理解の補助として、以下の添付の請求項は、請求項の列挙を導入するために、導入語句「少なくとも１つ」および「１つまたはそれを上回る」の使用を含有することができる。しかしながら、そのような語句の使用は、同一請求項が、導入語句「１つまたはそれを上回る」または「少なくとも１つ」および「ａ」または「ａｎ」等の不定冠詞を含むときでも、不定冠詞「ａ」または「ａｎ」による請求項の列挙の導入が、そのような導入される請求項の列挙を含有する任意の特定の請求項を１つのみのそのような列挙を含有する実施形態に限定することを含意するものと解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つまたはそれを上回る」を意味するものと解釈されるべきである）。同じことは、請求項の列挙を導入するために使用される定冠詞の使用にも当てはまる。

加えて、具体的数の導入される請求項の列挙が、明示的に列挙される場合でも、当業者は、そのような列挙が、少なくとも列挙される数を意味するものと解釈されるべきであることを認識するであろう（例えば、他の修飾語を伴わない、「２つの列挙」のそのままの列挙は、少なくとも２つの列挙または２つまたはそれを上回る列挙を意味する）。さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」または「Ａ、Ｂ、およびＣ等のうちの１つまたはそれを上回るもの」に類似する従来の表現法が使用される、それらのインスタンスでは、一般に、そのような構造は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢともに、ＡおよびＣともに、ＢおよびＣともに、またはＡ、Ｂ、およびＣともにを含むように意図される。用語「および／または」もまた、このように解釈されるように意図される。

用語「第１」、「第２」、「第３」等の使用は、必ずしも、本明細書では、具体的順序または要素の数を暗示するために使用されるわけではない。概して、用語「第１」、「第２」、「第３」等は、汎用識別子として、異なる要素を区別するために使用される。用語「第１」、「第２」、「第３」等が具体的順序を暗示することを示さない限り、これらの用語は、具体的順序を暗示するものと理解されるべきではない。さらに、用語「第１」、「第２」、「第３」等が、具体的数の要素を暗示することを示さない限り、これらの用語は、具体的数の要素を暗示するものと理解されるべきではない。例えば、第１のウィジェットは、第１の側を有するものとして説明されることができ、第２のウィジェットは、第２の側を有するものとして説明されることができる。第２のウィジェットに対する用語「第２の側」の使用は、第２のウィジェットのそのような側を第１のウィジェットの「第１の側」から区別することができ、第２のウィジェットが２つの側を有することを暗示するわけではない。

特許請求の範囲

Claims (20)

1. コンピュータ実装方法であって、
   画像データを一対のカメラから取得することと、
   三角形のメッシュを前記画像データから決定することと、
   メッシュ平滑化および縁平滑化を実施し、雑音を前記三角形のメッシュから除去することと、
   寄与閾値を充足させない１つまたはそれを上回る頂点を前記メッシュから除去することと、
   メモリ内に、前記メッシュからの前記１つまたはそれを上回る頂点の除去後、前記メッシュを特性評価するメッシュデータを記憶することと、
   前記メッシュデータを、前記メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成されるレンダリングデバイスに伝送することと
   を含む、コンピュータ実装方法。
2. 前記メッシュ内の頂点毎に、
   前記頂点から１頂点離れて位置する近傍の頂点を決定することと、
   前記近傍の頂点および前記頂点が共通三角形を共有するかどうかを決定することと、
   前記近傍の頂点および前記頂点が少なくとも２つの三角形によって共有されるとき、前記近傍の頂点および前記頂点が前記メッシュの内部ノードであることを決定することと、
   前記近傍の頂点および前記頂点が１つの三角形の一部であるとき、前記近傍の頂点および前記頂点が前記メッシュの外部ノードであることを決定することと
   によって、前記三角形に関する縁を決定することを含む、請求項１に記載のコンピュータ実装方法。
3. 内部ノード毎に、前記メッシュの縁までの距離を決定することを含み、前記距離は、前記内部ノードから前記縁に辿り着くまで、数ホップである、請求項２に記載のコンピュータ実装方法。
4. メッシュ平滑化および縁平滑化を実施することは、
   頂点毎に、
   三角形を前記頂点と共有する頂点の平均場所を決定することと、
   前記頂点の場所を、三角形を前記頂点と共有する頂点の平均場所により近づくように修正することと
   を含む、請求項１に記載のコンピュータ実装方法。
5. メッシュ平滑化および縁平滑化を実施することは、
   前記メッシュの特定の縁からの決定されたホップの数に位置する頂点を識別することと、
   三角形を共有し、前記特定の縁からの前記決定されたホップの数に位置する他の頂点を識別することと、
   前記他の頂点の平均場所を決定することと、
   前記頂点の場所が前記平均場所により近づくように、前記頂点の場所を修正することと
   を含む、請求項１に記載のコンピュータ実装方法。
6. ２つの頂点が閾値距離未満である距離によって分離されることを決定することと、
   前記２つの頂点をマージすることと
   を含む、請求項１に記載のコンピュータ実装方法。
7. 前記寄与閾値を充足させない１つまたはそれを上回る頂点を前記メッシュから除去することは、
   同一三角形に属する一対の頂点を識別することと、
   前記一対の頂点がマージされる場合の前記メッシュへの影響を決定することと、
   前記メッシュへの影響が前記寄与閾値未満であることを決定することと
   を含む、請求項１に記載のコンピュータ実装方法。
8. 前記一対の頂点がマージされたときの前記メッシュへの影響を決定することは、前記一対の頂点がマージされる前および後の全ての近傍の三角形間の角度の変化を決定することを含む、請求項７に記載のコンピュータ実装方法。
9. 前記メッシュ内のサブメッシュを形成する１つまたはそれを上回る三角形を除去することによって、前記１つまたはそれを上回る頂点を除去する前に、１つまたはそれを上回る三角形を前記メッシュから除去することを含む、請求項１に記載のコンピュータ実装方法。
10. 前記メッシュデータは、１つまたはそれを上回る画像内の色および前記一対のカメラから前記１つまたはそれを上回る画像内のピクセルまでの深度を示すデータを備える、請求項１に記載のコンピュータ実装方法。
11. 仮想または拡張現実システムであって、
    画像データを取得するように構成される一対の深度センサを備えるフレーム構造と、
    前記フレーム構造に結合されるコンピューティングデバイスであって、前記コンピューティングデバイスは、
    画像データを前記一対の深度センサから取得することと、
    三角形のメッシュを前記画像データから決定することと、
    メッシュ平滑化および縁平滑化を実施し、雑音を前記三角形のメッシュから除去することと、
    寄与閾値を充足させない１つまたはそれを上回る頂点を前記メッシュから除去することと
    を行うように構成される、コンピューティングデバイスと、
    メモリであって、前記メモリは、前記１つまたはそれを上回る頂点を前記メッシュから除去後、前記メッシュを特性評価するメッシュデータを記憶するように構成される、メモリと、
    ヘッドセットであって、前記ヘッドセットは、前記メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成される、ヘッドセットと
    を備える、仮想または拡張現実システム。
12. 前記コンピューティングデバイスは、前記メッシュデータを、前記メッシュデータに基づいて、前記ホログラフィック画像をレンダリングするように構成される１つまたはそれを上回るレンダリングデバイスに伝送するように構成され、前記１つまたはそれを上回るレンダリングデバイスは、前記ヘッドセットを備える、請求項１１に記載の仮想または拡張現実システム。
13. 前記三角形に関する縁を決定するために、前記コンピューティングデバイスは、
    前記メッシュ内の頂点毎に、
    前記頂点から１頂点離れて位置する近傍の頂点を決定することと、
    前記近傍の頂点および前記頂点が共通三角形を共有するかどうかを決定することと、
    前記近傍の頂点および前記頂点が少なくとも２つの三角形によって共有されるとき、前記近傍の頂点および前記頂点が前記メッシュの内部ノードであることを決定することと、
    前記近傍の頂点および前記頂点が１つの三角形の一部であるとき、前記近傍の頂点および前記頂点が前記メッシュの外部ノードであることを決定することと
    を行うように構成される、請求項１１に記載の仮想または拡張現実システム。
14. 前記メッシュ平滑化および縁平滑化を実施するために、前記コンピューティングデバイスは、
    頂点毎に、
    三角形を前記頂点と共有する頂点の平均場所を決定することと、
    前記頂点の場所を、三角形を前記頂点と共有する頂点の平均場所により近づくように修正することと
    を行うように構成される、請求項１１に記載の仮想または拡張現実システム。
15. 前記メッシュ平滑化および縁平滑化を実施するために、前記コンピューティングデバイスは、
    前記メッシュの特定の縁からの決定されたホップの数に位置する頂点を識別することと、
    三角形を共有し、前記特定の縁からの前記決定されたホップの数に位置する他の頂点を識別することと、
    前記他の頂点の平均場所を決定することと、
    前記頂点の場所が前記平均場所により近づくように、前記頂点の場所を修正することと
    を行うように構成される、請求項１１に記載の仮想または拡張現実システム。
16. 非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を備え、前記命令は、１つまたはそれを上回るコンピューティングデバイスによって実行されると、前記１つまたはそれを上回るコンピューティングデバイスに、
    画像データを一対のカメラから取得することと、
    三角形のメッシュを前記画像データから決定することと、
    メッシュ平滑化および縁平滑化を実施し、雑音を前記三角形のメッシュから除去することと、
    寄与閾値を充足させない１つまたはそれを上回る頂点を前記メッシュから除去することと、
    メモリ内に、前記メッシュからの前記１つまたはそれを上回る頂点の除去後、前記メッシュを特性評価するメッシュデータを記憶することと、
    前記メッシュデータを、前記メッシュデータに基づいて、ホログラフィック画像をレンダリングするように構成されるレンダリングデバイスに伝送することと
    を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
17. 前記１つまたはそれを上回るコンピューティングデバイスは、
    前記メッシュ内の頂点毎に、
    前記頂点から１頂点離れて位置する近傍の頂点を決定することと、
    前記近傍の頂点および前記頂点が共通三角形を共有するかどうかを決定することと、
    前記近傍の頂点および前記頂点が少なくとも２つの三角形によって共有されるとき、前記近傍の頂点および前記頂点が前記メッシュの内部ノードであることを決定することと、
    前記近傍の頂点および前記頂点が１つの三角形の一部であるとき、前記近傍の頂点および前記頂点が前記メッシュの外部ノードであることを決定することと
    によって、前記三角形に関する縁を決定するように構成される、請求項１６に記載の非一過性コンピュータ可読記憶媒体。
18. メッシュ平滑化および縁平滑化を実施することは、
    頂点毎に、
    三角形を前記頂点と共有する頂点の平均場所を決定することと、
    前記頂点の場所を、三角形を前記頂点と共有する頂点の平均場所により近づくように修正することと
    を含む、請求項１６に記載の非一過性コンピュータ可読記憶媒体。
19. メッシュ平滑化および縁平滑化を実施することは、
    前記メッシュの特定の縁からの決定されたホップの数に位置する頂点を識別することと、
    三角形を共有し、前記特定の縁からの前記決定されたホップの数に位置する他の頂点を識別することと、
    前記他の頂点の平均場所を決定することと、
    前記頂点の場所が前記平均場所により近づくように、前記頂点の場所を修正することと
    を含む、請求項１６に記載の非一過性コンピュータ可読記憶媒体。
20. 前記寄与閾値を充足させない１つまたはそれを上回る頂点を前記メッシュから除去することは、
    同一三角形に属する一対の頂点を識別することと、
    前記一対の頂点がマージされる場合の前記メッシュへの影響を決定することと、
    前記一対の頂点がマージされる前および後の全ての近傍の三角形間の角度の変化を決定することによって、前記メッシュへの影響が前記寄与閾値未満であることを決定することと
    を含む、請求項１６に記載の非一過性コンピュータ可読記憶媒体。

Images