JP2019516261A - インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ - Google Patents

Abstract

ヘッドマウントディスプレイシステムが、バーチャル又はミックスドリアリティのための精確かつ自動的なインサイドアウト方式の位置、ユーザボディ、及び環境トラッキングを行うための関連技術と共に開示される。システムは、リアルタイムトラッキングを実現するために、コンピュータビジョン法と複数のセンサからのデータ融合を使用する。ＨＭＤ自体で処理の一部を行うことによって、高フレームレート及びレイテンシの小さいことが実現される。

Description

（関連出願の相互参照）
本出願は、２０１６年２月１８日に出願された米国仮特許出願第６２／２９６，８２９号の利益を主張し、同文献は、参照により本明細書に援用される。

本発明は、バーチャルリアリティ（ＶＲ；virtual reality）又は拡張／ミックスドリアリティ（ＭＲ；mixed reality）環境にユーザを没頭させるアプリケーションのために使用されるヘッドマウントディスプレイ（ＨＭＤ；head-mounted display）の分野に関する。

仮想世界における没頭は、実体のない世界が現実であるかのようにユーザの意識に知覚させることを目的とする。ここで、現実の観念は、現実世界を表すよりもむしろ知覚的な真実味の概念を意味する。バーチャルリアリティ（ＶＲ）では、現実世界又は想像上の世界の視覚体験をシミュレートするコンピュータ生成グラフィックを表示することによって、没頭が実現される。没頭の質は、いくつかの重要な要因に支配される。例えば、画質、フレームレート、画素分解能、高ダイナミックレンジ（ＨＤＲ；high dynamic range）、持続性、及びスクリーンドア効果（すなわち、スクリーン上の画素間の可視ライン）などのディスプレイの特性。没頭体験の質は、表示される視野が狭すぎるときに、又は様々なトラッキング機能が遅い場合及び／又は不精確である場合（シミュレータ酔いとして知られている、方向感覚の喪失及び吐き気を招く）に低下する。没頭は、画質（ノイズ、ダイナミックレンジ、分解能、アーティファクトの欠如）、及び仮想グラフィック（３Ｄモデリング、テクスチャ、及び照明）とパススルー画像の間の整合性など、カメラシステムの性能によっても影響を受ける。ミックスドリアリティ（ＭＲ）では、ユーザにより認識される現実世界の環境に仮想要素がリアルタイムで合成される。仮想要素と現実世界の表面及びオブジェクトとの間の物理的インタラクションをリアルタイムでシミュレートして表示することができる。

様々な要素のトラッキングは、一般に、最高品位のＶＲ及びＭＲアプリケーション体験を実現するための必須の前提条件として認識される。それらの要素の中でも、ポジションヘッドトラッキング、ユーザボディトラッキング、及び環境トラッキングが、優れた没頭を実現する際の重要な役割を果たす。

ポジションヘッドトラッキング（ここからは、ポジショントラッキングという）は、環境におけるＨＭＤの位置及び向きを推定することを目的としており、レイテンシが小さいことと、精確であることの両方を必要とする。この理由は、ＶＲに完全に没頭させ、ＭＲにおける現実世界に仮想コンテンツを正しく位置合わせするために、レンダリングされたグラフィックをユーザの頭部運動と合致させなければならないからである。いくつかの方法は、略５×５メートル又はそれよりも小さな部屋でのポジショントラッキングを、ＨＭＤの外部のセットアップを使用して解決することを試みる。例えば、る、ＨＭＤの表面に配置され、頭部位置を推定するために使用されるＩＲ又はＲＧＢ発光ダイオード（ＬＥＤ；light-emitting diode）アレイを認識するように、固定式の赤外線（ＩＲ；infrared）又はカラー（ＲＧＢ）カメラを位置決めすることができる。他の方法は、１つ又は２つの基地局によって生成されたＩＲ光により、ＨＭＤ上に精確に配置された複数のＩＲフォトセンサと同期して部屋をフラッディング及びスイーピングすることに基づく。フォトセンサの検出時間を考慮することによって、高フレームレートでヘッドポーズをリアルタイムで計算することができる。なお、それら両方のアプローチでは、トラッキングを維持するために、ユーザが移動できるエリアが制限される。ユーザは、ＩＲ又はＲＧＢカメラにとって視認でき、又は基地局のＩＲエミッタにより交互にカバーされる必要がある。遮蔽が、トラッキングの不精確さの原因となることがある。

ユーザボディトラッキングは、ＨＭＤに対するユーザの身体（特に、非限定的に手及び指）の位置及び向きを推定する。ユーザボディトラッキングは、ＶＲとＭＲの両方で、仮想要素とのインタラクションを可能にするユーザ入力手段（例えば、手のジェスチャ）を提供することができる。ハンドトラッキングのためにいくつかのポジショントラッキング法を使用することもできる（例えば、ハンドヘルド型のコントローラ上のＬＥＤアレイを有するＩＲカメラ）一方で、他の方法は、典型的にＨＭＤから１メートル以内である、より小さな解析空間を利用して、ハンド及びフィンガトラッキングアルゴリズムの頑強性を高める。例えば、近距離の飛行時間型（ＴｏＦ；Time-of-Flight）カメラをＨＭＤと統合し、又はＨＭＤ内に統合することができる。それらのカメラは、手の骨格モデルを構築できる手の深度マップを生じさせることができる。別のアプローチは、手及び指の３Ｄポイントをセグメント化し推定するために、カメラと共にＩＲ ＬＥＤフラッドライトを使用する。

環境トラッキングは、非常に概括的であり、環境中のオブジェクトの認識及びトラッキングを伴う。オブジェクトの概念は、単純な平坦面から、人、半透明オブジェクト、及び光源などの移動するオブジェクトを含むより複雑な形状にまで及ぶ。環境トラッキングは、ＨＭＤの近傍の表面及びオブジェクトの位置及び形状を推定する。仮想要素は、検出（推定）されたオブジェクトとインタラクションすることができる。現実のオブジェクトが、オブジェクトから離れて、又はオブジェクトの後方に位置すべき仮想要素によって、意図せずに隠されうる状況を回避するために、トラッキング情報から遮蔽マスクを抽出することができる。実際には、オブジェクト記述を学習及び認識するために使用される、フューチャ（コーナ、エッジなど）及びシーンの深度を回復するために、コンピュータビジョン法が使用される。

トラッキング目的での外部コンポーネントの使用は、典型的に、空間内で移動するユーザの自由度を制限し、ＨＭＤが使用可能になる前の較正ステップを追加することが多い。

従って、アプリケーションのための移動を可能にするコンパクトでユーザフレンドリーな製品に必要な全てのトラッキングコンポーネントを統合するＨＭＤが必要である。

本開示の態様によれば、必要な全てのトラッキングコンポーネントを内部に統合し、よりコンパクトなユーザフレンドリーな装置を可能にするウェアラブルヘッドマウントディスプレイ（ＨＭＤ）が提供される。

本開示の態様によれば、バーチャルリアリティ（ＶＲ）又は拡張／ミックスドリアリティ（ＭＲ）環境にユーザを没頭させるアプリケーションンのために使用されるヘッドマウントディスプレイ（ＨＭＤ）装置であって、

赤外線（ＩＲ）カットフィルタを有する一対のＲＧＢカメラセンサ及び関連するレンズと、

近赤外線（ＮＩＲ；near infrared）帯域通過フィルタを有する一対のモノカメラセンサ及び関連するレンズと、

慣性測定ユニット（ＩＭＵ；inertial measurement unit）と、

関連するＩＲエミッタを有する飛行時間型（ＴｏＦ）カメラセンサと、

スペックルパターンプロジェクタと、

ディスプレイと、

一対のＲＧＢカメラセンサ、一対のモノカメラセンサ、ＩＭＵ、ＴｏＦカメラセンサ及び関連するＩＲエミッタ、スペックルプロジェクタ、並びにディスプレイに少なくとも１つの通信リンクを介して動作可能に接続された少なくとも１つの処理ユニットであって、一対のＲＧＢカメラセンサ、一対のモノカメラセンサ、ＩＭＵ、及びＴｏＦカメラセンサからのデータストリームを使用してグラフィックコンテンツを生成し、ディスプレイを通じてグラフィックコンテンツを表示する少なくとも１つの処理ユニットと、
を備えるＨＭＤ装置が提供される。

本開示の態様によれば、一対のＲＧＢカメラセンサと一対のモノカメラセンサは、関連するレンズを有する一対のＲＧＢ／ＩＲカメラとして組み合わされ、一対のＲＧＢ／ＩＲカメラは、標準的なＲ−Ｇ−Ｇ−Ｂパターンの代わりにＲ−Ｇ−ＩＲ−Ｂパターンを伴うベイヤフォーマットを使用する、上で開示したＨＭＤ装置が提供される。

本開示の態様によれば、少なくとも１つの処理ユニットは、記憶された命令を含む関連するメモリを有し、
この命令は、少なくとも１つの処理ユニット上で実行されると、

一対のＲＧＢカメラセンサからパススルーステレオビュー画像を得ることと、

一対のモノカメラセンサからステレオ画像を得ることと、

高密度深度マップを得ることと、

ＩＭＵから慣性測定値を得ることと、

パススルーステレオビュー画像、ステレオ画像、高密度深度マップ、及び慣性測定値を使用して、組み込みトラッキングを行うことと、

パススルーステレオビュー画像及びステレオ画像に関する画像処理を行うことと、

ポジショントラッキングに基づいて、レンダリングされたグラフィックを生成することと、

レンダリングされたグラフィックに関するグラフィック画像処理を行うことと、

処理された画像と処理されたレンダリングされたグラフィックを複合し、グラフィックコンテンツを生じさせることと、

グラフィックコンテンツをディスプレイに提供することと
を実行させる、上で開示したＨＭＤ装置が提供される。

本開示の態様によれば、組み込みトラッキングを行うことは、ポジショントラッキング及びユーザボディトラッキングを行うことを含み、環境トラッキングを行うことも含む、上で開示したＨＭＤ装置が提供される。

本開示の態様によれば、

ポジショントラッキングを行うことは、

パススルーステレオビュー画像及びステレオ画像において不変の２Ｄ画像フューチャを回転方向に検出し、スケールすることと、

ステレオマッチングを使用して、検出された各フューチャの深度を推定し、３Ｄポイントクラウドを生じさせることと、

頭部位置の変化を推測するために３Ｄポイントクラウドをリアルタイムでトラッキングすることと、
を含み、

ポジショントラッキングを行うことは、パススルーステレオビュー画像及びステレオ画像が十分な情報を提供しないときに、位置変化を一時的に演算するために慣性測定値を使用することを更に含むことができ、

ユーザボディトラッキングを行うことは、

高密度深度マップ上で身体セグメンテーションを行うことと、

高密度深度マップ及び身体セグメンテーションから身体メッシュを抽出することと、

身体メッシュの骨格モデルを抽出することと、

ユーザの身体運動をトラッキングし、ユーザの骨格モデル及び身体運動をジェスチャモデルにマッチングさせることによって、予め定義された姿勢を認識することと、
を含み、

環境トラッキングを行うことは、

パススルーステレオビュー画像、ステレオ画像、及びポジショントラッキングを使用して運動モデルを生成することと、

キーポイントを検出することと、

ロバストなフューチャ記述子を使用して、キーポイントに対して局所的なフューチャを抽出することと、

高密度深度マップを抽出されたフューチャと融合することによって、表面記述子を推定することと、
を含む、上で開示したＨＭＤ装置が提供される。

本開示の態様によれば、バーチャルリアリティ（ＶＲ）又は拡張／ミックスドリアリティ（ＭＲ）環境にユーザを没頭させる方法であって、ＨＭＤ装置により実施されることを含む方法が提供される。

添付図面を参照して、本開示の実施形態が例としてのみ説明される。

本開示の例示的な実施形態による、いくつかのカメラ及び赤外線（ＩＲ）エミッタを備えたユーザ装着型ヘッドマウントディスプレイ（ＨＭＤ）の概略図である。 バーチャルリアリティとミックスドリアリティの両方を実現するために使用される光学素子、ディスプレイ、及びカメラの例示的な実施形態の概略平面図である。 光学素子の例示的な実施形態の概略図であり、ディスプレイの光線がユーザの目の網膜上にどのように合焦するかを拡大図で例示している。 各機能についての例示的な実施形態に沿った、ＨＭＤの視覚生成処理を示すフローチャートである。 パススルー目的（ＭＲ）に最適化された２つのＲＧＢカメラと、トラッキング用の視覚データを提供する２つのＩＲカメラとを有するＨＭＤ装置の第１の例示的な実施形態の正面図である。 ＭＲとポジショントラッキングの両方を実現する２つのＲＧＢ／ＩＲカメラを有するＨＭＤ装置の第２の例示的な実施形態の正面図である。 ポジション及びユーザボディトラッキングを伴うＶＲを実現する処理ステップのフローチャートである。 ポジション、ユーザボディ、及び環境トラッキングを伴うＭＲを実現する処理ステップのフローチャートである。 ポジショントラッキングを実現する例示的な処理のフローチャートである。 ユーザボディトラッキングを実現する例示的な処理のフローチャートである。 環境トラッキングを実現する例示的な処理のフローチャートである。 グラフィックレンダリング及び合成を実現する例示的な処理のフローチャートである。 スペックルプロジェクタの概略図である。 時分割多重化セットアップの例示的な実施形態の概略図である。 時分割多重化セットアップのタイミング図である。

異なる図で使用される同様の参照符は、同様の構成要素を示している。

一般的に、本開示の非限定的な例示的な実施形態は、バーチャルリアリティ（ＶＲ）とミックスドリアリティ（ＭＲ）の両方のコンテキストにおけるユーザエクスペリエンスを向上させるヘッドマウントディスプレイ（ＨＭＤ）を提供する。ＨＭＤは、比較的軽く、人間工学的に快適であり、小さいレイテンシで高分解能コンテンツを提供する。ＨＭＤは、高性能グラフィック処理ユニット（ＧＰＵ；graphical processing unit）を備えた外部コンピュータからのグラフィックコンテンツ、又は組み込み型ＧＰＵからのグラフィックコンテンツのいずれかをサポートしており、レンズ歪み及び色収差の補正を伴う組み込みビデオパススルー、並びに小さいレイテンシを保証するグラフィック／パススルー合成など、いくつかの処理をＨＭＤが行うことによって、レイテンシの小さいＭＲを実現する。必要な全てのトラッキングコンポーネントがＨＭＤに統合される独特のインサイドアウト方式アプローチによって、位置、ユーザボディ、及び環境トラッキングが実現され、外部入力コンポーネントをセットアップ及び使用する必要性が回避される。このアプローチは、ユーザが広い環境内で自由に移動することを可能にする。

ＶＲ及びＭＲのアプリケーションの中でも、いくつかの実施形態が、没頭型のゲーム又はエンターテイメントのアプリケーションに特に有用であり、そのようなアプリケーションでは、いくつかの制御又はインタラクションを、プレイヤーのヘッド及び手の動き並びに外部環境オブジェクトをトラッキングすることによって実現することができる。可能な用途には、一般的な共同トレーニング、販売、支援製造、保守、及び修復のシミュレーションがある。

提案されるＨＭＤシステムは、広角接眼レンズを通してディスプレイをユーザに見せることによって、バーチャルリアリティを実施する。提案される実施形態は、単一の有機発光ダイオード（ＯＬＥＤ；organic light-emitting diode）ディスプレイを使用するが、２つの小型ディスプレイ、マイクロディスプレイ又はフレキシブルディスプレイなど、他の種類のディスプレイ製品を使用することができる。ＭＲの場合、最小限、前方を向いた２つのカメラが、ユーザの目にできるだけ近くに位置する視点から環境をキャプチャする（プリズム及び／又はミラーを使用してもよく、使用しなくてもよく、従って、カメラの向きを前向き以外にする必要がある）。カメラ画像は、コンピュータで生成された画像とリアルタイムでマージされ、表示システムに示される。このアプローチでは、ユーザが不透明なディスプレイを通して見ることはできず、むしろ、不透明なディスプレイにより遮蔽されていない場合にユーザの目が認識するであろう画像をキャプチャする。代替的なアプローチは、ユーザが環境を認識することを可能にしながら仮想コンテンツを見ることを可能にする、シースルーディスプレイ（例えば、ガラス、ミラー、及び／又はプリズムで構成される）で使用される。しかし、それらは、典型的には狭い視野を有し、信頼できる没頭感を大幅に減少させる。

カメラの目的は、パススルービューを提供することのみに限定されない。カメラ画像及び統合された慣性測定ユニット（ＩＭＵ）は、環境を自動的に分析及び理解するためにコンピュータビジョン法により処理可能なデータを提供する。更に、ＨＭＤは、パッシブコンピュータビジョン解析のみならず、アクティブコンピュータビジョン解析もサポートするように設計される。パッシブコンピュータビジョン法は、環境からキャプチャされた画像情報を解析する。それらの方法は、モノスコープ（単一カメラからの画像）又はステレオスコープ（２つのカメラからの画像）とすることができる。それらは、非限定的に、フューチャトラッキング、オブジェクト認識、及び深度推定を含む。アクティブコンピュータビジョン法は、カメラにとっては可視であるが、人の視覚系にとっては必ずしも可視ではないパターンを投影することによって、環境に情報を追加する。このような技法は、ステレオマッチング問題を単純化するために、飛行時間型（ＴｏＦ）カメラ、レーザ走査又は立体照明を含む。シーン深度の再構成を実現するために、アクティブコンピュータビジョンが使用される。赤外線（ＩＲ）プロジェクタを使用して、ランダムなＩＲスペックルパターンが環境に投影され、ステレオマッチングが曖昧な場合にステレオマッチングを容易にするためにテクスチャ情報（例えば、一様なテクスチャ又は表面）が追加される。いくつかの実施形態では、ＴｏＦカメラが含まれてもよい。低照明又は無照明条件の場合にＩＲフラッドライトを使用してトラッキングをサポートするために、アクティブコンピュータビジョンが使用される。

前述の機能は、ＨＭＤを独特なものとし、広範な用途で使用するのに適したものとする。例えば、ＨＭＤは、記録目的又はリアルタイム視覚処理用のステレオカメラとして使用することができる。ＨＭＤは、環境スキャナ（アクティブステレオ）として使用することもできる。ＨＭＤのコンテキストにおいて、コンピュータビジョン法は、異種センサからのデータを使用して、頭部位置、ユーザボディ、及び環境を自動的にトラッキングする。しかし、パッシブフューチャトラッキング及びアクティブステレオビジョンを実施する可能性を有する、そのような製品アセンブリを現実化することは、性能面で困難である。このことは、良好な没頭を実現するためにレイテンシの小さいシステムが必要であること、並びにユーザの快適性及び使い易さを更に確保するために重量／人間工学を最適化する必要があることを考慮するときに、特に当てはまる。ＨＭＤとの関連でレイテンシとは、キャプチャされたデータ（ＩＭＵ、画像）と、表示される対応するコンテンツとの間の時間間隔である。優れた没頭を生じさせ、酔い及び吐き気を回避するために、２０ｍｓよりも小さいレイテンシを実現しなければならない。小さなレイテンシは、より多くの処理能力を利用可能である外部コンピュータの支援により、処理をＨＭＤ自体で実施する／ＨＭＤ自体に組み込むことによって実現される。処理ユニットがより小型になり、より少ない電力を消費することによって進化するにつれ、ＨＭＤ自体で全ての処理を行うことができる。組み込み処理は、高分解能カメラ画像を外部コンピュータに転送することを回避し、それによって転送帯域幅及びレイテンシの要件を低減する。実際には（特に）、コンピュータビジョン処理及びグラフィックレンダリングを外部コンピュータ上で大部分を行うことができるが、ＨＭＤは、同期、合成、ディベイヤリング、表示のための画像歪みの補正、及びレンダリングされたグラフィックとカメラ画像のＭＲ合成のようなカメラ画像信号処理（ＩＳＰ；image signal processing）機能を最小限行わなければならない。

このため、ＨＭＤは、位置、ユーザボディ、及び環境トラッキングを実現するためにパッシブ又はアクティブステレオビジョン法を適用するための必要なコンポーネントを含むように設計される。ＨＭＤは、環境に視覚情報を追加するいくつかのサードパーティの外部エミッタとの互換性も有することができる。例えば、環境へのテクスチャパターンの投影は、ステレオマッチングを助けることができる。実際のトラッキングアルゴリズムは、典型的に、ステレオマッチング、ＩＭＵデータ統合、フューチャ検出／トラッキング、オブジェクト認識、及び表面フィッティングを伴う。しかし、ＨＭＤは、カスタムアルゴリズムを実施できるように、データストリームをサードパーティのソフトウェア開発者に利用可能にする。

図１を参照すると、本開示の例示的な実施形態によるヘッドマウントディスプレイ（ＨＭＤ）（７）が示されている。ＨＭＤ（７）は、ハーネス（４）を介してユーザ（１）の頭部に取り付けられ、ミックスドリアリティ（ＭＲ）及びインサイドアウト方式の位置、ユーザボディ、及び環境トラッキングを実現する複数のセンサ、すなわち、パススルー目的の２つのＲＧＢカメラ（１１、１２）と、ステレオビジョン解析用の２つの赤外線（ＩＲ）カメラ（２、９）と、慣性測定ユニット（ＩＭＵ）（図示していない）と、ＩＲエミッタ（１４）を有する高密度深度検知用の飛行時間型（ＴｏＦ）カメラ（１３）とを統合する。低照明条件で環境を照明するために、ＩＲ発光ダイオード（ＬＥＤ）エミッタ（５、８、１０、１５）の集合体も統合される。ＨＭＤ（７）は、アクティブステレオコンピュータビジョンを実現し、３次元（３Ｄ）高密度マップを抽出するＩＲスペックルプロジェクタ（６）も備える。様々なデータストリーム（カメラ画像、ＩＭＵデータ）がキャプチャされ、任意に圧縮された後に、ＨＭＤ（７）又は外部コンピュータの一部でありうる処理ユニット（２１）に送信される。ＨＭＤ（７）と処理ユニット（２１）の間の通信が、有線、無線又は両方の組合せでありうる通信リンク（１７、１８）によって行われる。処理ユニット（２１）がＨＭＤ（７）の一部である代替的な実施形態では、通信リンク（１８、１７）を省略してもよい。処理ユニット（２１）は、ＨＭＤ（７）に表示されるグラフィックコンテンツ（ゲームビュー、映像、仮想オブジェクト等）をレンダリングする。ＨＭＤ（７）は、パワーリンク（１９）を介して電源（２０）により電力供給される。代替的な実施形態では、電源（２０）は、ＨＭＤ（７）内に統合されてもよい。

図２Ａを参照すると、ＶＲ及びＭＲを実現するための例示的なＨＭＤ（７）が示されている。ＨＭＤ（７）を装着しているユーザ（１）は、広角接眼レンズ（２６、３５）を通してディスプレイ（２７）を見る。目（２２、３８）の正面に位置する２つのＲＧＢカメラ（２８、３４）が、ＨＭＤ（７）により遮蔽されていなければユーザの目が認識するであろう環境をキャプチャする。なお、図は、ＨＭＤ（７）に必要なカメラのみを含んでおり、コンピュータビジョン解析に使用する他のカメラを含んでいない。例示的な実施形態では、カメラ（２８、３４）のベースライン（３９）は、人の平均的な眼間隔である６４ｍｍであり（なお、カメラベースラインは、６４ｍｍ以外とすることができる）、カメラ（２８、３４）の位置は、ユーザの視覚の非整合性を最小にするためにユーザの目（２２、３８）と適切に位置合わせされる。カメラ（２８、３４）の視野（２９、３０、３２、３３）は、目（２２、３８）の視野（２３、２５、３６、３７）に合致しなければならない。

図２Ｂは、ディスプレイ（２７）により放射された光線（４４、４６、４８）がどのように、接眼レンズ（２６、３５）を透過して網膜（５３）に再び合焦する（５２、５４、５５）かを例示している。接眼レンズ（２６、３５）に対する瞳（５１）の位置、及び接眼レンズ（２６、３５）からディスプレイ（２７）までの距離は、正しい焦点（すなわち、それぞれ距離５０、５７）を得るために調整する必要がある。なお、図は単一の波長を示しており、接眼レンズ（２６、３５）は、補償する必要がある色収差を典型的に生じさせる。

ＨＭＤは、以下の機能、すなわち、表示システム用のステレオ画像（パススルーステレオビューと呼ぶ）、トラッキング目的のステレオ画像、高密度深度検知（中近距離）、及び慣性測定を可能にする視覚データストリームを提供する。例示の実施形態では、近距離の深度検知は、１．５ｍよりも近いと見なされる一方、中距離の深度検知は、１ｍよりも更に離れた深度（約４〜５メートルまで）をカバーすると見なされる。

図３は、ＨＭＤの例示的な実施形態の視覚生成処理を示している。パススルーステレオビュー（１０２）が、ＲＧＢステレオカメラ（１０４）によりキャプチャされる。トラッキング用のステレオ画像（１０６）も、ＲＧＢステレオカメラ（１０４）によりキャプチャすることができ、むしろ低照明条件では、ＩＲフラッドライト（１１０）で支援されたＩＲステレオカメラ（１０８）によりキャプチャすることができる。高密度深度検知（１１２）は、ステレオマッチングを実施するのに十分な視覚情報がない場合、深度を回復するために、投影されるＩＲ情報を追加することを必要とする。例示の実施形態では、高密度深度マップを提供するために２つの解決策が使用される。第１に、ＴｏＦカメラ（１１４）が、関連するＩＲエミッタ（１１０）から光線が出て反射してＴｏＦカメラセンサ（１０８）に戻るまでに要する時間に基づいて、深度を取り戻す。第２に、ＩＲスペックルパターン（１１６）が環境に投影され、ＩＲステレオカメラ（１０８）により認識される。後者は、演算コストが高いステレオマッチングを必要とする一方で、典型的には前者の解決策よりも高い分解能の深度マップを提供する。コスト目標、市場の種類、技術的アプローチ、装置の分解能、性能及び機能セットに応じて、実施形態の異なる選択を行うことができ、いくつかの機能ブロックを組み合わせることができる。ＩＭＵ（１２０）による慣性測定値（１１８）もキャプチャされ、組み込み型トラッキングモジュール（１２２）に提供される。コンピュータビジョン処理及びグラフィックレンダリング（１２４）の一部を外部コンピュータ上で行ってもよい一方で、システム全体のレイテンシを低減するために、画像処理ステップのいくつかをＨＭＤ自体で行う必要がある。図３では、カメラ画像処理モジュール（１２６）は、トリガ制御、ディベイヤリング、自動ホワイトバランス、欠陥画素置換、フラットフィールド補正、フィルタリング（ノイズ低減、エッジ強調）、歪み及び収差補正などのいくつかのタスクを行う。グラフィック画像処理モジュール（１２８）は、復号（例えば、色及びアルファチャネル）、歪み及び収差補正を行う。合成モジュール（１３０）は、レンダリングされたグラフィックとカメラ画像を複合し、得られた画像は、ディスプレイ（２７）に表示される。

図４Ａ及び図４Ｂには、ＨＭＤ（７）の例示的な実施形態がより詳細に示されている。図４Ａに示す第１の例示的な実施形態では、ＨＭＤ（７）は、より良好なパススルー品質のために、ＩＲカットフィルタを有する２つのＲＧＢカメラセンサ（６２、６４）及びレンズ（６３、６５）を有する。ＨＭＤは、コンピュータビジョン解析用に最適化された近赤外線（ＮＩＲ）帯域フィルタを有する２つのモノカメラセンサ（６６、６８）及びレンズ（６７、６９）も統合する。他のコンポーネントとしては、ディスプレイ（２７）と、９自由度ＩＭＵ（７０）（ジャイロスコープ、加速度計、及び磁力計で構成される）と、関連するＩＲエミッタ（７３）を有するＴｏＦカメラセンサ（７２）とが挙げられる。低照明条件でのポジショントラッキングを向上させるために、ＬＥＤフラッドライト（７４、７５、７６、７７）が使用される。ステレオマッチングによる高密度深度マップの結果を向上させるように環境にテクスチャを追加するために、スペックルプロジェクタ（７８）が使用される。図４Ｂに示す第２の例示的な実施形態では、ＨＭＤ（７）は、３つのカメラのみ、すなわち、レンズ（８３、８５）及びＬＥＤフラッドライト（８６、８７、８８、８９）を有する２つのＲＧＢ／ＩＲカメラ（８２、８４）（ＲＧＢ／ＩＲセンサは、標準Ｒ−Ｇ−Ｇ−Ｂパターンの代わりにＲ−Ｇ−ＩＲ−Ｂパターンを伴うベイヤフォーマットを使用する）と、ＴｏＦカメラセンサ（７２）及び関連するＩＲエミッタ（７３）とを使用する。２つのＲＧＢ／ＩＲカメラ（８２、８４）のみで必要な４つの機能を全て実現することができるが、その結果は、目的に応じて要件が異なるので、最適化されないことが多い。特に、ＲＧＢ／ＩＲセンサを使用するときには、とりわけ画素飽和が存在する場合、ＲＧＢ信号とＩＲ信号をいつも明確に分離できるとは限らない。図４Ａの例示的な実施形態で説明するように、２つのカメラ対（６２、６４、６６、６８）（一方がパススルー目的であり、一方がトラッキング用である）を使用することによって、使用基準を最適化することができる。例えば、画質を向上させるために、パススルーセンサ（６２、６４）及びトラッキングセンサ（６６、６８）にそれぞれＲＧＢ帯域フィルタ及びＩＲ帯域フィルタを設置することができる。更に、広視野をキャプチャし、人の視覚系に一致させるために、パススルーカメラは、魚眼レンズの使用を必要とする。しかし、これらのレンズは、高いトラッキング精度を得るために必要な角度分解能を低下させる。アクティブステレオビジョン法においてスペックルパターンをマッチングさせる可能性を高めるために、トラッキングセンサとアクティブ深度マップセンサの両方が、高い信号対ノイズ比（ＳＮＲ；signal-to-noise ratio）を有する必要がある。この目標をより良好に達成するために、ＨＭＤ（７）上のセンサ配置を最適化することもできる。なお、三角測量ステレオマッチにより行われる、環境中での深度推定の精度を高めるために、トラッキングセンサ（６６、６８）は、人の眼間隔よりも大きなベースラインに配置される。トラッキングセンサ（６６、６８）をパススルーセンサ（６２、６４）と共通の軸線に沿って配置することによって、一方のセンサ対から他方のセンサ対にデータを組み合わせたり再マッピングしたりすることが容易になる。

図５及び図６はそれぞれ、ＶＲ及びＭＲを実現するために必要なデータ及び処理ステップを示している。リンクＬは、レイテンシの小さい制御されたデータストリーム及びレイテンシジッタが最小の処理を表す。トラッキングセクション（１４２）及びレンダリングセクション（１４４）は、実施形態に応じて、ＨＭＤ（７）自体又は外部コンピュータ上で部分的又は全体的に実行することができる。深度演算（１５６）は、実施形態がどの深度検知コンポーネント（すなわち、ＴｏＦカメラ、ＩＲステレオマッチング又は両方）を使用するかに応じて、多少なりとも演算集約的となりうることに留意されたい。

トラッキング処理（１４２、１４４）（すなわち、位置（１５４）（向き決定（１５２）を含む）、ユーザボディ（１５８）及び環境（１６０）トラッキング）、グラフィックレンダリング（１２４）、深度マップ推定（１５６）、ＩＲ時分割多重化、並びにハードウェアコンポーネントのいくつか、すなわち、スペックルプロジェクタ（７８）及びＩＲフィルタＩＲカメラセンサ（６６、６８）のそれぞれについて、更に説明する。ここで説明するトラッキング処理（１４２、１４４）は、入力データを仮定した例示的なトラッキング処理であることを理解されたい。データストリーム（ＩＭＵデータ、画像）は、自己のトラッキングアルゴリズムを設計及び実施できるように、サードパーティのソフトウェア開発者に利用可能となる。
ポジショントラッキング

図７は、ポジショントラッキング（１５４）を実現する例示的な処理のフローチャートを示している。処理は、自己位置推定とマッピングの同時実行（ＳＬＡＭ；simultaneous localization and mapping）アルゴリズムのクラスに属する。アクティブステレオにより与えられる高密度深度マップを３Ｄフューチャ（２Ｄフューチャがテクスチャに基づく一方で、３Ｄフューチャは、深度に基づき、クラウドポイントから抽出できることに留意されたい。）を検出及びトラッキングするために使用できるが、ここでは低密度マッチングアプローチについて説明する。これは、そのアプローチが、リアルタイム制約を有するシナリオに一層良好に適合するためである。アルゴリズムの入力は、トラッキング用のステレオ画像（２０２）とＩＭＵデータ（２０４）である。第１に、処理は、ステレオ画像において不変の２Ｄ画像フューチャを回転方向に検出し（２０６）、スケールする（２０８）。次に、ステレオマッチングを使用して各フューチャの深度が推定される（２１０）。この処理は、３Ｄポイントクラウドを生じさせ（２１２）、クラウドは、頭部位置の変化を推測するためにリアルタイムでトラッキングされる（２１４）。環境が静的であると仮定されるので、剛体運動仮定を伴うＲＡＮＳＡＣ法によって、移動する人又はオブジェクトのフューチャがフィルタ除去される。トラッキング画像が十分な情報を提供しない場合には、位置変化を一時的に演算するために、ジャイロスコープ及び加速度計データが使用される（２１６）。
ユーザボディトラッキング

図８は、ユーザボディトラッキング（１５８）を実現する例示的な処理のフローチャートを示している。バーチャルリアリティでは、没頭を実現するために、ユーザの身体が描写され認識される必要がある。このために、トラッキングが行われる視野は、パススルーカメラの視野に一致すべきである。ＴｏＦカメラセンサ（７２）は、低分解能をもたらすが、相対的に狭い視野内（例えば、水平方向に９０度）の近距離深度データを得る直接的な解決策をもたらす。この観点から、ＬＥＤフラッドライト（７４、７５、７６、７７）で支援されたステレオカメラ（６６、６８）が、より多くの画像処理演算時間という代償を払って、より良好な分解能をもたらす。例示的な処理では、近距離３Ｄデータを検出することによって、むしろ、ＬＥＤフラッドライト（７４、７５、７６、７７）を使用するときに強度に閾値を適用することによって、深度（１５６）及び身体セグメンテーション（３０２）情報から身体メッシュ（３０４）が抽出される。次に、メッシュから骨格モデル（３０６）が抽出される。最後に、身体運動をトラッキングし、骨格形状及び運動をジェスチャモデルにマッチングさせることによって、予め定義されたジェスチャが最終的に認識される（３０８）。認識されたジェスチャの種類、位置、及び身体ステレオマスク（３１０）は、グラフィックレンダリング（１２４）のために提供される。
環境トラッキング

図９は、環境トラッキングを実現する例示的な処理のフローチャートを示している。トラッキングフレームワークへの入力は、カラーステレオ画像（１０６）、アクティブステレオ法及び／又はＴｏＦカメラ（７２）により推定された深度マップ（１１２）、並びにポジショントラッキングの出力からのＸＹＺ位置（１５４）である。処理は、ポジショントラッキングの出力を活用し、従前に推測されたオブジェクト位置を利用する効率を向上させるために、運動モデル（４０２）を包含する。例えば、運動モデル（４０２）は、粒子フィルタ又はカルマンフィルタを使用して構築することができる。次に、処理は、Ｈａｒｒｉｓコーナ、不変のＨｕモーメント又はＨｅｓｓｉａｎ行列式に基づく局所的な極値点など、関心のあるキーポイントを検出する（４０４）。そのようなキーポイントに対して局所的なフューチャは、勾配ヒストグラム又はＨａａｒ−ｌｉｋｅフューチャ記述子などのロバストなフューチャ記述子により抽出される（４０６）。ポジショントラッキングによく類似しており、環境は静的であると仮定される。これにより、移動するフューチャが、剛体運動仮定を伴うＲＡＮＳＡＣ法によりフィルタ除去される。それらのフューチャをトラッキング及び認識するためのモデルを教示するために、サポートベクトルマシンなどの分類アルゴリズム（４０８）が利用される。最後に、高密度深度マップ（１１２）をフューチャ認識ステージの出力（４１０）と融合することによって、表面記述子が推定される（４１４）。
ミックスドリアリティの合成

ステレオパススルーカメラ（６２、６４）と仮想画像要素のリアルタイム融合を実現するために、ＨＭＤ（７）上で合成が行われる。これにより、パススルーカメラの高分解能ストリームを外部コンピュータに送信することが回避される。これにより、必要な転送帯域幅を狭くし易くなり、全体的なレイテンシが低減する。以下の状況を特定するために、８ビットのアルファマスクＡが使用される。

（ｉ）仮想グラフィックが不透明である場合、Ａ＝２５５

（ｉｉ）仮想グラフィックがいくらかの透明性を有する場合、０＜Ａ＜２５５

（ｉｉｉ）仮想グラフィックが不可視である場合（Ａ＝０）。

仮想オブジェクトがユーザの手（１６）又は環境中の他のオブジェクトにより遮蔽されている場合には、仮想オブジェクトを不可視とすべきことに留意されたい。各画素の計算深度を（１又は複数の）仮想オブジェクトの深度と比較することによって、遮蔽マスクを求めることができる。カメラ画像は、画素チャネル毎に以下の線形モデルに従って相応にブレンドされる：Ｉｋ［Ｒ，Ｇ，Ｂ］^*Ａｋ［Ｒ，Ｇ，Ｂ］＋Ｊｋ［Ｒ，Ｇ，Ｂ］^*（１−Ａｋ［Ｒ，Ｇ，Ｂ］）、ここで、Ｉｋが、画素ｋでの仮想色であり、Ｊｋが、画素ｋでのカメラ色である。なお、アルファマスクＡは、各色チャンネル［Ｒ，Ｇ，Ｂ］で異なる必要がある。これは、接眼レンズの色収差を補正するために、各チャンネルが再マッピングされるからである。この再マッピングが外部コンピュータ上で行われる場合、画素当たり合計６チャネル（すなわち、Ｒ、Ｇ、Ｂ、Ａｒ、Ａｇ、及びＡｂ）をＨＭＤ（７）に送信する必要がある。図１０は、グラフィックレンダリング及び合成（１３０）を実現する例示的な処理のフローチャートを示している。データは、ホストコンピュータ（９０）上で符号化され、画素当たり２４ビットの標準フォーマットで送信され、ＨＭＤ（７）で復号される。３つの色チャネルは、ＹＵＶ４２２を使用して２つのチャネルに符号化され、２つのアルファチャネルは、単一のベイヤチャネルにマッピングされる。仮想シーンをレンダリングするときにアルファブレンディングを使用するため、出力色は、実際の色Ｉｋ［Ｒ，Ｇ，Ｂ］ではなく、実際にはＩｋ［Ｒ，Ｇ，Ｂ］^*Ａｋ［Ｒ，Ｇ，Ｂ］となることに留意されたい。しかし、これは、カメラ画像を合成するときに、ブレンディング式の第１項に相当するので、問題にならない。
ＩＲスペックルプロジェクタ

ＨＭＤ（７）は、アクティブステレオマッチングにより推定された高密度深度マップの品質を向上させるために、シーンに固定パターンを投入／投影するスペックルプロジェクタ（７８）を含む。（ＨＭＤの外部の）基地局が、環境に静止テクスチャポイントをいくつか投影する利点をもたらす一方で、部屋全体を単一の基地局でカバーするのは、遮蔽のため困難である。解決策として、ＨＭＤ（７）にプロジェクタを組み込むことは、ユーザが見ている場所を常に投影しながら、（基地局をセットアップする必要なしに）部屋の中を動き回る柔軟性をもたらす。スペックルプロジェクタ（７８）の２つの実施形態が提示される。図１１に示す第１の実施形態では、スペックルプロジェクタ（７８）は、表面ディフューザを透過するレーザビームの干渉パターンを生成する。この場合、スペックルプロジェクタ（７８）により生成されるパターンはランダムであり、拡散面上の異なるサイズのスポットにビームを合焦させること、又は拡散面を変更することのいずれかによって、その粒状性を調整することができる。第２の実施形態では、スペックルプロジェクタ（７８）は、１つ又は多くの回折光学素子を透過するレーザビームの遠視野回折によるスペックルパターンを生成する。信号対ノイズ比（ＳＮＲ）は、偏光子を追加することにより大幅に向上する。いくつかの屈折、反射又は吸収光学素子をビーム整形のために追加することができる。典型的には、レンズが常に存在する。レーザパワーの高いゾーンへのアクセスを制限するために、保護ハウジングを追加することができる。
高密度深度マップ

標準的なステレオ深度マップ法が、第１の画像中の各画素について、第２の画像中の最良の画素マッチを見出す。単一の画素のみに代えて画素の近傍も考慮することができる。マッチは、通常、最小の画素強度差（又は、近傍が使用されるときには差の和）を求めることを含む。前処理ステップとして、マッチ用の探索空間が単一の水平ラインとなるように、画像が修正される。ステレオビジョンを使用して深度マップを計算すると、典型的には、特有のステレオマッチングに使用することができる十分なテクスチャがないシーンの領域（例えば、白色の壁又は表面上の一様なフューチャ又はブロック）にエラー又はギャップが生じる。ランダム赤外線（ＩＲ）スペックルパターンプロジェクタ（７８）は、この問題を克服するために使用される。スペックルプロジェクタ（７８）は、高密度深度マップを生成するためにシーンにテクスチャを追加する。ＲＧＢ／ＩＲセンサ（８２、８４）を使用する場合、ＲＧＢ−Ｄ出力（色＋深度）が直接利用可能である。あるいは、パススルービューの色を深度マップ上にマッピングすることができる。
時分割多重化

ＩＲステレオカメラの対（すなわち、ＲＧＢ／ＩＲカメラ（８２、８４））をステレオトラッキングと高密度深度検知の両方に使用する場合、矛盾が生じる。これは、環境フューチャをトラッキングしながらスペックルパターンを使用することができないためである。ＨＭＤ（７）の正面に投影された追加スペックルパターンは、２つの重複信号、すなわち、固定スペックルパターンと、ユーザ（１）のヘッド運動に応じて画像中を移動する環境フューチャとを生成する。これを克服するために、スペックルパターンプロジェクタ（７８）と任意のＩＲフラッドライトが、連続的に照明される代わりにインターリーブ方式でストロボされる時分割多重化を使用して、それにより出力レートを半減させてもよい。図１２Ａは、時分割多重化セットアップの例示的な実施形態の概略図を示しており、セットアップ例が、２つのカメラ（８２、８４）、ＩＲスペックルプロジェクタ（７８）、ＩＲフラッドライト（７９）、並びにトリガ及びストロボコントローラ（９１）を使用する。コントローラ（９１）は、カメラ（８２、８４）の露光をプロジェクタ（７８）及びフラッドライト（７９）のストロボと同期させるために使用される。図１２Ｂは、時分割多重化セットアップのタイミング図を示している。スペックルパターンプロジェクタ（７８）がアクティブにされたフレームと、フラッドライト（７９）がアクティブにされたフレームが、点線と破線でそれぞれ示されている。時分割多重化アプローチは、ＨＭＤ（７）が最高フレームレート（例えば、９０ｆｐｓ）で視覚センサから画像を取得することを可能にし、その結果、ＨＭＤ（７）は、高密度深度マップ及び２次元（２Ｄ）フューチャ記述子を最高フレームレートのそれぞれ半分（例えば、４５ｆｐｓ）で抽出することができる。このように、カメラ（８２、８４）の時分割多重化又はインターリーブされた出力は、２Ｄフューチャ抽出、３Ｄフューチャ抽出、及び高密度深度マップ推定に有用でありうる情報を提供する。
ＩＲ波長及びフィルタ

図４Ａに例示するＨＭＤ（７）の例示的な実施形態は、いくつかのＩＲエミッタ及びセンサ、すなわち、スペックルプロジェクタ（７８）、ＬＥＤフラッドライト（７４、７５、７６、７７）、ＴｏＦカメラセンサ（７２）、並びにＩＲカメラセンサ（６６、６８）で構成される。信号の干渉及び飽和を最小化するために、ＴｏＦカメラセンサ（７２）は、他のエミッタとは異なる波長を有利に使用する。例えば、スペックルプロジェクタ（７８）及びＬＥＤフラッドライト（７４、７５、７６、７７）が８０８ｎｍの波長を使用する一方で、ＴｏＦカメラセンサ（７２）は、８５０ｎｍ又は９４０ｎｍの波長を使用することができる。ＩＲカメラセンサ（６６、６８）は、その同一波長を中心とするＩＲ帯域フィルタを有する。画像飽和を回避し、ダイナミックレンジを最大化するために、カメラ露光時間、センサ利得、及びＬＥＤフラッドライト（７４、７５、７６、７７）とスペックルプロジェクタ（７８）のスペックルパターンの両方の強度が、リアルタイムで変調されることに留意されたい。

本開示は、特定の非限定的な例示的な実施形態及びその例によって説明されてきたが、以下で請求されるような本開示の範囲から逸脱せずに、特定の本実施形態に変更を適用しうることは、当業者にとって明らかであろう。

Claims (54)

1. バーチャルリアリティ（ＶＲ）又は拡張／ミックスドリアリティ（ＭＲ）環境にユーザを没頭させるアプリケーションで使用されるヘッドマウントディスプレイ（ＨＭＤ）装置であって、
   赤外線（ＩＲ）カットフィルタを有する一対のＲＧＢカメラセンサ及び関連するレンズと、
   近赤外線（ＮＩＲ）帯域フィルタを有する一対のモノカメラセンサ及び関連するレンズと、
   慣性測定ユニット（ＩＭＵ）と、
   関連するＩＲエミッタを有する飛行時間型（ＴｏＦ）カメラセンサと、
   スペックルパターンプロジェクタと、
   ディスプレイと、
   前記一対のＲＧＢカメラセンサ、前記一対のモノカメラセンサ、前記ＩＭＵ、前記ＴｏＦカメラセンサ及び関連するＩＲエミッタ、前記スペックルプロジェクタ、並びに前記ディスプレイに少なくとも１つの通信リンクを介して動作可能に接続された少なくとも１つの処理ユニットであって、前記一対のＲＧＢカメラセンサ、前記一対のモノカメラセンサ、前記ＩＭＵ、及び前記ＴｏＦカメラセンサからのデータストリームを使用してグラフィックコンテンツを生成し、前記ディスプレイを通じて前記グラフィックコンテンツを表示する少なくとも１つの処理ユニットと、
   を備えるＨＭＤ装置。
2. 前記一対のモノカメラセンサは、三角測量ステレオマッチにより行われる、環境中での深度推定の精度を高めるために、人の眼間隔よりも大きなベースラインに配置されている、請求項１に記載のＨＭＤ装置。
3. 前記一対のモノカメラセンサと前記一対のＲＧＢカメラセンサは、共通軸線に沿って配置されている、請求項１又は２に記載のＨＭＤ装置。
4. 前記一対のＲＧＢカメラセンサと前記一対のモノカメラセンサは、関連するレンズを有する一対のＲＧＢ／ＩＲカメラとして組み合わされ、前記一対のＲＧＢ／ＩＲカメラは、標準的なＲ−Ｇ−Ｇ−Ｂパターンの代わりにＲ−Ｇ−ＩＲ−Ｂパターンを伴うベイヤフォーマットを使用する、請求項１に記載のＨＭＤ装置。
5. ＩＲフラッドライトを更に備え、前記スペックルパターンプロジェクタ及び前記ＩＲフラッドライトは、インターリーブ方式でストロボされる、請求項４に記載のＨＭＤ装置。
6. 前記ＩＭＵは、ジャイロスコープ、加速度計、及び磁力計で構成される９自由度ＩＭＵである、請求項１から５のいずれか一項に記載のＨＭＤ装置。
7. 低照明条件でのポジショントラッキングを向上させる複数のＬＥＤフラッドライトを更に備える、請求項１から６のいずれか一項に記載のＨＭＤ装置。
8. 前記少なくとも１つの通信リンクは、有線、無線又は両方の組み合わせである、請求項１から７のいずれか一項に記載のＨＭＤ装置。
9. 前記一対のＲＧＢカメラセンサ、前記一対のモノカメラセンサ、前記ＩＭＵ、及び前記ＴｏＦカメラセンサからの前記データストリームは、圧縮されている、請求項１から８のいずれか一項に記載のＨＭＤ装置。
10. 前記少なくとも１つの処理ユニットは、リモートコンピュータにより提供される、請求項１から９のいずれか一項に記載のＨＭＤ装置。
11. 前記少なくとも１つの処理ユニットは、少なくとも２つの処理ユニットを含み、前記少なくとも２つの処理ユニットのうちの第１の処理ユニットが前記ＨＭＤにより提供され、前記少なくとも２つの処理ユニットのうちの第２の処理ユニットがリモートコンピュータにより提供される、請求項１から９のいずれか一項に記載のＨＭＤ装置。
12. 前記スペックルプロジェクタは、表面ディフューザを透過するレーザビームの干渉パターンを生成する、請求項１から１１のいずれか一項に記載のＨＭＤ装置。
13. 前記スペックルプロジェクタは、少なくとも１つの回折光学素子を透過するレーザビームの遠視野回折によるスペックルパターンを生成する、請求項１から１１のいずれか一項に記載のＨＭＤ装置。
14. 前記少なくとも１つの処理ユニットは、記憶された命令を含む関連するメモリを有し、前記命令は、前記少なくとも１つの処理ユニット上で実行される時に、
    前記一対のＲＧＢカメラセンサからパススルーステレオビュー画像を得ることと、
    前記一対のモノカメラセンサからステレオ画像を得ることと、
    高密度深度マップを得ることと、
    前記ＩＭＵから慣性測定値を得ることと、
    パススルーステレオビュー画像、ステレオ画像、高密度深度マップ、及び慣性測定値を使用して、組み込みトラッキングを行うことと、
    前記パススルーステレオビュー画像及び前記ステレオ画像に関する画像処理を行うことと、
    ポジショントラッキングに基づいて、レンダリングされたグラフィックを生成することと、
    前記レンダリングされたグラフィックに関するグラフィック画像処理を行うことと、
    処理された画像と前記処理されたレンダリングされたグラフィックを複合し、前記グラフィックコンテンツを生じさせることと、
    前記グラフィックコンテンツを前記ディスプレイに提供することと、
    を行う、請求項１から１３のいずれか一項に記載のＨＭＤ装置。
15. 前記画像処理は、トリガ制御、ディベイヤリング、自動ホワイトバランス、欠陥画素置換、フラットフィールド補正、ノイズ低減、エッジ強調、歪み補正、及び収差補正のうちの少なくとも１つを含む、請求項１４に記載のＨＭＤ装置。
16. 前記高密度深度マップは、前記関連するＩＲエミッタから光線が出て反射して前記ＴｏＦカメラに戻るまでに要する時間に基づいて、前記ＴｏＦカメラセンサから得られる、請求項１４に記載のＨＭＤ装置。
17. 前記高密度深度マップは、前記スペックルプロジェクタにより投影されたスペックルパターンの反射をキャプチャする前記一対のモノカメラセンサから得られる、請求項１４に記載のＨＭＤ装置。
18. 前記組み込みトラッキングを行うことは、ポジショントラッキング及びユーザボディトラッキングを行うことを含む、請求項１４に記載のＨＭＤ装置。
19. 前記組み込みトラッキングを行ことは、環境トラッキングを行うことを更に含む、請求項１８に記載のＨＭＤ装置。
20. 前記ポジショントラッキングを行うことは、
    パススルーステレオビュー画像及びステレオ画像において不変の２Ｄ画像フューチャを回転方向に検出し、スケールすることと、
    ステレオマッチングを使用して、検出された各フューチャの深度を推定し、３Ｄポイントクラウドを生じさせることと、
    頭部位置の変化を推測するために前記３Ｄポイントクラウドをリアルタイムでトラッキングすることと、
    を含む、請求項１８又は１９に記載のＨＭＤ装置。
21. 前記ポジショントラッキングを行うことは、前記パススルーステレオビュー画像及び前記ステレオ画像が十分な情報を提供しないときに、位置変化を一時的に演算するために前記慣性測定値を使用することを更に含む、請求項２０に記載のＨＭＤ装置。
22. 前記ユーザボディトラッキングを行うことは、
    前記高密度深度マップ上で身体セグメンテーションを行うことと、
    前記高密度深度マップ及び前記身体セグメンテーションから身体メッシュを抽出することと、
    前記身体メッシュの骨格モデルを抽出することと、
    前記ユーザの身体運動をトラッキングし、前記ユーザの前記骨格モデル及び前記身体運動をジェスチャモデルにマッチングさせることによって、予め定義されたジェスチャを認識することと、
    を含む、請求項１８から２１のいずれか一項に記載のＨＭＤ装置。
23. 前記環境トラッキングを行うことは、
    パススルーステレオビュー画像、ステレオ画像、及びポジショントラッキングを使用して運動モデルを生成することと、
    キーポイントを検出することと、
    ロバストなフューチャ記述子を使用して、キーポイントに対して局所的なフューチャを抽出することと、
    高密度深度マップを抽出されたフューチャと融合することによって、表面記述子を推定することと、
    を含む、請求項１９から２２のいずれか一項に記載のＨＭＤ装置。
24. キーポイントは、Ｈａｒｒｉｓコーナ、不変のＨｕモーメント又はＨｅｓｓｉａｎ複合現実合成の行列式に基づく局所的な極値点のうちの少なくとも１つを含む、請求項２３に記載のＨＭＤ装置。
25. 前記ロバストなフューチャ記述子は、勾配ヒストグラム記述子又はＨａａｒ−ｌｉｋｅフューチャ記述子である、請求項２３に記載のＨＭＤ装置。
26. 前記キーポイントに対して局所的なフューチャを抽出することは、分類アルゴリズムを使用することを含む、請求項２３に記載のＨＭＤ装置。
27. 前記分類アルゴリズムはサポートベクトルマシンに基づく、請求項２３に記載のＨＭＤ装置。
28. 前記ＴｏＦカメラセンサは、前記スペックルパターンプロジェクタとは異なる波長を使用する、請求項１から２７のいずれか一項に記載のＨＭＤ装置。
29. 前記ＴｏＦカメラセンサは、前記ＬＥＤフラッドライトとは異なる波長を使用する、請求項７から２７のいずれか一項に記載のＨＭＤ装置。
30. バーチャルリアリティ（ＶＲ）又は拡張／ミックスドリアリティ（ＭＲ）環境にユーザを没頭させるための方法であって、
    赤外線（ＩＲ）カットフィルタを有し、関連するレンズを有する一対のＲＧＢカメラセンサからパススルーステレオビュー画像を得ることと、
    近赤外線（ＮＩＲ）帯域フィルタを有する一対のモノカメラセンサ及び関連するレンズからステレオ画像を得ることと、
    慣性測定値を得ることと、
    関連するＩＲエミッタを有する飛行時間型（ＴｏＦ）カメラセンサから高密度深度マップを得ることと、
    スペックルパターンを投影することと、
    前記パススルーステレオビュー画像、前記ステレオ画像、前記慣性測定値、及び前記高密度深度マップを使用してグラフィックコンテンツを生成することと、
    前記グラフィックコンテンツを前記ユーザに対して表示することと、
    を含む、方法。
31. 前記一対のモノカメラセンサは、三角測量ステレオマッチにより行われる、環境中での深度推定の精度を高めるために、人の眼間隔よりも大きなベースラインで配置される、請求項３０に記載の方法。
32. 前記一対のモノカメラセンサと前記一対のＲＧＢカメラセンサは、共通軸線に沿って配置される、請求項３０又は３１に記載の方法。
33. 前記一対のＲＧＢカメラセンサと前記一対のモノカメラセンサは、関連するレンズを有する一対のＲＧＢ／ＩＲカメラとして組み合わされ、前記一対のＲＧＢ／ＩＲカメラは、標準的なＲ−Ｇ−Ｇ−Ｂパターンの代わりにＲ−Ｇ−ＩＲ−Ｂパターンを伴うベイヤフォーマットを使用する、請求項３０に記載の方法。
34. 前記スペックルパターンと、ＩＲフラッドライトからの光とをインターリーブ方式でストロボすることを更に含む、請求項３３に記載の方法。
35. 前記慣性測定値は、ジャイロスコープ、加速度計、及び磁力計で構成される９自由度ＩＭＵにより提供される、請求項３０から３４のいずれか一項に記載の方法。
36. 低照明条件でのポジショントラッキングを向上させる複数のＬＥＤフラッドライトから光を放出することを更に含む、請求項３０１から３５のいずれか一項に記載の方法。
37. 前記スペックルパターンは、表面ディフューザを透過するレーザビームにより生成される干渉パターンである、請求項３０から３６のいずれか一項に記載の方法。
38. 前記スペックルパターンは、少なくとも１つの回折光学素子を透過するレーザビームの遠視野回折により生成される、請求項３０から３６のいずれか一項に記載の方法。
39. パススルーステレオビュー画像、ステレオ画像、高密度深度マップ、及び慣性測定値を使用して、組み込みトラッキングを行うことと、
    前記パススルーステレオビュー画像及び前記ステレオ画像に関する画像処理を行うことと、
    ポジショントラッキングに基づいて、レンダリングされたグラフィックを生成することと、
    前記レンダリングされたグラフィックに関するグラフィック画像処理を行うことと、
    処理された画像と前記処理されたレンダリングされたグラフィックを複合し、前記グラフィックコンテンツを生じさせることと、
    前記グラフィックコンテンツを前記ユーザに提供することと、
    を更に含む、請求項３０から３８のいずれか一項に記載の方法。
40. 前記画像処理を行うことは、トリガ制御、ディベイヤリング、自動ホワイトバランス、欠陥画素置換、フラットフィールド補正、ノイズ低減、エッジ強調、歪み補正、及び収差補正のうちの少なくとも１つを含む、請求項３９に記載の方法。
41. 前記高密度深度マップは、前記関連するＩＲエミッタから光線が出て反射して前記ＴｏＦカメラに戻るまでに要する時間に基づいて、前記ＴｏＦカメラセンサから得られる、請求項３９に記載の方法。
42. 前記高密度深度マップは、前記投影されたスペックルパターンの反射をキャプチャする前記一対のモノカメラセンサから得られる、請求項３９に記載の方法。
43. 前記組み込みトラッキングを行うことは、ポジショントラッキング及びユーザボディトラッキングを行うことを含む、請求項３９に記載の方法。
44. 前記組み込みトラッキングを行うことは、環境トラッキングを行うことを更に含む、請求項４３に記載の方法。
45. 前記ポジショントラッキングを行うことは、
    パススルーステレオビュー画像及びステレオ画像において不変の２Ｄ画像フューチャを回転方向に検出し、スケールすることと、
    ステレオマッチングを使用して、検出された各フューチャの深度を推定し、３Ｄポイントクラウドを生じさせることと、
    頭部位置の変化を推測するために前記３Ｄポイントクラウドをリアルタイムでトラッキングすることと、
    を含む、請求項４３又は４４に記載の方法。
46. 前記ポジショントラッキングを行うことは、前記パススルーステレオビュー画像及び前記ステレオ画像が十分な情報を提供しないときに、位置変化を一時的に演算するために前記慣性測定値を使用することを更に含む、請求項４５に記載の方法。
47. 前記ユーザボディトラッキングを行うことは、
    前記高密度深度マップ上で身体セグメンテーションを行うことと、
    前記高密度深度マップ及び前記身体セグメンテーションから身体メッシュを抽出することと、
    前記身体メッシュの骨格モデルを抽出することと、
    前記ユーザの身体運動をトラッキングし、前記ユーザの前記骨格モデル及び前記身体運動をジェスチャモデルにマッチングさせることによって、予め定義されたジェスチャを認識することと、
    を含む、請求項４３から４６のいずれか一項に記載の方法。
48. 前記環境トラッキングを行うことは、
    パススルーステレオビュー画像、ステレオ画像、及びポジショントラッキングを使用して運動モデルを生成することと、
    キーポイントを検出することと、
    ロバストなフューチャ記述子を使用して、キーポイントに対して局所的なフューチャを抽出することと、
    高密度深度マップを抽出されたフューチャと融合することによって、表面記述子を推定することと、
    を含む、請求項４４から４７のいずれか一項に記載の方法。
49. キーポイントは、Ｈａｒｒｉｓコーナ、不変のＨｕモーメント又はＨｅｓｓｉａｎ複合現実合成の行列式に基づく局所的な極値点のうちの少なくとも１つを含む、請求項４８に記載の方法。
50. 前記ロバストなフューチャ記述子は、勾配ヒストグラム記述子又はＨａａｒ−ｌｉｋｅフューチャ記述子である、請求項４８に記載の方法。
51. 前記キーポイントに対して局所的なフューチャを抽出することは、分類アルゴリズムを使用することを含む、請求項４８に記載の方法。
52. 前記分類アルゴリズムはサポートベクトルマシンに基づく、請求項４８に記載の方法。
53. 前記ＴｏＦカメラセンサは、前記投影されるスペックルパターンとは異なる波長を使用する、請求項３０から５２のいずれか一項に記載の方法。
54. 前記ＴｏＦカメラセンサは、前記ＬＥＤフラッドライトからの光とは異なる波長を使用する、請求項３７から５２のいずれか一項に記載の方法。

Images