JP6377759B2 - ヘッドマウントディスプレイ（ｈｍｄ）の追跡及びｈｍｄのヘッドバンドの調整のための校正方法及びシステム - Google Patents

Description

本発明は、ヘッドマウントディスプレイ（ＨＭＤ）の位置及び方向の追跡及びＨＭＤのヘッドバンドの調整のために成される校正のための方法及びシステムに関する。

ビデオゲーム産業は、長年に亘り多くの変革を遂げてきた。計算能力が拡大されてきたため、同様にビデオゲームの開発者らはこれらの計算能力の向上を利用したゲームソフトを作ってきた。この目的を達成するため、ビデオゲームの開発者らは、かなり現実的なゲーム体験を生むために洗練された操作及び計算を組み込むゲームをプログラムしてきた。

例示のゲームサービス及びシステムは、ソニープレイステーション（登録商標）によって提供されるものを含んでも良く、これはゲームコンソール、携帯可能なゲーム装置として現在売られ、クラウド上のサービスとして提供される。よく知られるように、ゲームコンソールは、モニター（通常テレビ）に接続するように設計され、手動操作式コントローラによって使用者の相互作用を可能とする。ゲームコンソールはＣＰＵ、集中的グラフィック操作を処理するためのグラフィックプロセッサ、形状変換を処理するためのベクトルユニット、並びに他の取り付けられたハードウェア、ファームウェア及びソフトウェアを含む特化した処理ハードウェアを備えて設計される。ゲームコンソールは、ゲームコンソールによるローカルプレイのためのゲームのコンパクトディスクを受容するための光ディスクトレイを備えてさらに設計される。インターネット上で他の使用者に対してまたは他の使用者と共に使用者が相互作用的にプレイするオンラインゲームも可能である。ゲームの複雑さがプレイヤーを魅了し続けるので、ゲーム及びハードウェアの製造業者は、付加的な相互作用性及びコンピュータプログラムを可能とするように革新を続けてきた。

コンピュータゲーム産業における成長する傾向は、使用者とゲームシステムとの間の相互作用を増加させるゲームを開発することである。より充実した相互作用的体験の実現の１つの方法は、プレイヤーの動作を追跡し且つこれらの動作をゲームの入力として使用するために、ゲームシステムによって動作が追跡されるワイヤレスゲームコントローラを使用することである。一般的に、ジャスチャー入力は、コンピューティングシステム、ビデオゲームコンソール、スマート機器等のような電子装置を参照し、プレイヤーによって成され且つ電子装置によって取得された、いくつかのジェスチャーに対して反応する。

より没入型の相互作用的体験を実現する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、使用者によって装着され、仮想空間の視界のような様々なグラフィックスを示すように構成され得る。ヘッドマウントディスプレイにおいて示されるグラフィックスは、使用者の視野の大部分または全てでさえカバーすることができる。したがって、ヘッドマウントディスプレイは、使用者に対して没入型の体験を提供することができる。ＨＭＤの位置及び方向の現在の追跡技術は、ＨＭＤによるコンテンツの改良されたレンダリングを可能とするためにさらなる改良を必要としている。

この点に関し、本発明に係る実施形態が提案される。

本発明に係る実施形態は、使用者がＨＭＤを装着し、マルチメディアコンテンツを見て及び／または相互作用するときに、ヘッドマウントディスプレイ（ＨＭＤ）がＨＭＤの位置及び動作の追跡を改良することを可能とする方法及びシステムを提供する。システム及び方法は、前部の追跡ＬＥＤ光源と後部の追跡ＬＥＤ光源との間の距離の分離間隔が正確に推定され得るような、ＨＭＤのヘッドバンドにおける調整を考慮するための動的な校正を可能とする。校正は、調整が生じたとセンサーが判断するときと、他の使用者がより好適な適合のためヘッドバンドを調整するときとのセッションの間で使用者がヘッドバンドを調整するとき等に時々更新され得る。本発明はコンピュータ可読媒体における工程、機器、システム、装置または方法のような多くの方法において実現され得ることに留意されたい。本発明に係る複数の発明的実施形態が以下に説明される。

１つの実施形態において、方法が提供される。方法は、カメラを用いた映像フレームの取得を含む。映像フレームは、ヘッドマウントディスプレイ（ＨＭＤ）におけるマーカーを取得するように構成され、ＨＭＤにおけるマーカーは、ＨＭＤによって表示されるマルチメディアコンテンツのレンダリングの間に生成された場面の変化を処理するため、ＨＭＤの位置及び方向を判断するために取得された映像フレームにおいて分析される。方法は、ＨＭＤの前部ユニットにおけるマーカーとＨＭＤの後部区分におけるマーカーとの間の分離距離を推定することをさらに含む。前部ユニット及び後部区分は、調整可能なヘッドバンドによって共に結合される。推定は、映像フレームが取得されたときに取得された複数の映像フレーム及び慣性データを分析することを含み、分析は、ＨＭＤの前部ユニットにおけるマーカーとＨＭＤの後部区分におけるマーカーとの間の推定された分離距離を生成する。推定された分離距離は、前部ユニット及び後部区分におけるマーカーが取得された映像フレームから取得され且つ分析されたときに、ＨＭＤの位置及び方向のさらなる追跡の間に使用される。

別の実施形態において、システムが提供される。システムはコンピューティングシステム及びコンピューティングシステムと通信するヘッドマウントディスプレイ（ＨＭＤ）を含む。ＨＭＤは、マルチメディアコンテンツを表示するためのスクリーンを有する前部ユニットを含む。前部ユニットは、そこに配置されたマーカーと、ＨＭＤの位置及び方向の変化を示す慣性データを生成するための慣性センサーと、を有する。１つの実施形態において、慣性データは、ＨＭＤの回転の変化及び位置の変化を数値化する値の組を生成する。値の組は、複数の取得された映像フレームの画像データにおいてＨＭＤのマーカーの位置を識別するためにマップ化され得る。ＨＭＤは、調整可能なヘッドバンドによって前部ユニットに対して結合されたＨＭＤの後部区分をさらに含む。後部区分は、そこに配置されたマーカーを有する。システムは、コンピューティングシステムと通信するカメラをさらに含む。カメラは、使用セッションの間ＨＭＤの映像フレームを取得するように構成される。取得された映像フレームは、時々前部ユニットのマーカーと後部区分のマーカーとを含むように構成される。コンピューティングシステムは、生成された慣性データに対して前部ユニット及び後部区分のマーカーを識別するために取得された映像フレームを処理する。処理は、前部ユニットのマーカーと後部区分のマーカーとの間の推定された分離間隔を生成する。推定された分離間隔は、使用の間の改良された追跡のために使用される。

さらに別の実施形態において、ヘッドマウントディスプレイ（ＨＭＤ）が提供される。ＨＭＤは、ＨＭＤにおいて表示するためのマルチメディアコンテンツを処理するコンピューティングシステムと通信するための回路を含む。さらに含まれるのは、マルチメディアコンテンツを表示するためのスクリーンを有するＨＭＤの前部ユニットであり、前部ユニットは、ＬＥＤの組を有する。ＨＭＤは、ＨＭＤの前部ユニットにおいて配置された加速度計及びジャイロスコープを含む。ＨＭＤの後部区分は、ＬＥＤの組を有して提供される。ヘッドバンドの調整が前部ユニットの少なくとも１つのＬＥＤの組と後部区分の少なくとも１つのＬＥＤの組との間の分離距離を変化させるように、前部ユニットを後部区分に対して結合するヘッドバンドが含まれる。使用の間のＨＭＤの追跡のための推定された分離距離を生成するために分離距離の校正が時々実行される。

本発明に係る他の態様は、本発明に係る原理を例示により図示する添付の図面と共に参照して以下の詳細の説明から明らかとなる。

本発明は、添付の図面と共に以下の詳細な説明を参照することによって最も良く理解され得る。

本発明に係る実施形態によるビデオゲームの相互作用的ゲームプレイのためのシステムを示す。

本発明に係る実施形態によるヘッドマウントディスプレイ（ＨＭＤ）を示す。

本発明に係る実施形態によるＨＭＤに接続されたクライアントシステムを用いたゲームプレイの１つの例示を示す。

本発明に係る実施形態によるＨＭＤを装着する使用者の例示を示し、カメラは固定された位置に載置される。 本発明に係る実施形態によるＨＭＤを装着する使用者の例示を示し、カメラは固定された位置に載置される。

本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。 本発明に係る実施形態による、ヘッドバンドによって使用者の頭に対して固定されたＨＭＤを装着する使用者及び同様に取得された画像データの例示を示す。

本発明に係る実施形態による、ＨＭＤ、及び、ＨＭＤと関連したマーカー（たとえば、ＬＥＤ）を識別できるように配置されたカメラの上面図を示す。

本発明に係る実施形態による、分離間隔が物理的に調整され、処理と関連したＨＭＤの上面図の例示を示す。 本発明に係る実施形態による、分離間隔が物理的に調整され、処理と関連したＨＭＤの上面図の例示を示す。

本発明に係る実施形態による、ＨＭＤにおける前部のマーカーとＨＭＤのヘッドバンドと関連した視認可能な後部のマーカーとの間の分離距離を識別するために実行され得る操作の例示的フロー図を提供する。

本発明に係る実施形態による、ＨＭＤの前部ユニットのＬＥＤとＨＭＤの後部と関連したＬＥＤとの間の分離距離に対して校正を実行するために使用される別のフロー図の例示を示す。

本発明に係る実施形態による、さらに別の実施形態を示し、ＨＭＤの前部のマーカーと後部のマーカーとの間の分離間隔の距離を識別するために映像フレーム及び慣性データの調査が実行される。

本発明に係る１つの実施形態による、ＨＭＤの上面図の例示を提供す

本発明に係る１つの実施形態による、後部区分に対して慣性センサーが付加されたときの（すなわち、単に前部ユニットにおいて慣性センサーを有することに加えて）、例示及び処理を示す。 本発明に係る１つの実施形態による、後部区分に対して慣性センサーが付加されたときの（すなわち、単に前部ユニットにおいて慣性センサーを有することに加えて）、例示及び処理を示す。

１つの実施形態による、人間の使用者の頭に装着されたときのＨＭＤの様々な図を示す。 １つの実施形態による、人間の使用者の頭に装着されたときのＨＭＤの様々な図を示す。 １つの実施形態による、人間の使用者の頭に装着されたときのＨＭＤの様々な図を示す。

１つの実施形態による、時々ヘッドバンドが引かれ及び／またはねじられ得ることを示し、推定された分離距離の再校正の必要を生じさせ得ることを示す、ＨＭＤの側面図を示す。

１つの実施形態による、使用（例えばゲームプレイ）の間にＨＭＤを装着する使用者を示す。

本発明に係る実施形態による、ヘッドマウントディスプレイ１０２の例示の構成要素を示す概略図である。

本発明に係る実施形態による、ヘッドマウントディスプレイの構成要素を示す。

１つの実施形態において、本明細書に記載のシステム及び方法は、使用者がＨＭＤを装着し、マルチメディアコンテンツを見て及び／または相互作用するときのヘッドマウントディスプレイ（ＨＭＤ）の位置及び動作の追跡を提供する。システム及び方法は、ＨＭＤのヘッドバンドにおける調整を考慮するための校正を可能とし、これによりＨＭＤ及びヘッドバンドにおいて配置されたマーカー（たとえばＬＥＤ光）の距離は正確に推定される。以下に説明されるように、校正は、例えば、使用者がヘッドバンドのサイズを調整したとき、使用のセッションの間、セッションとセッションとの間、調整が生じたとセンサーが判断したとき、及び、より良い適合のために他の使用者がヘッドバンドを調整するとき等、時々更新され得る。校正を実行するための方法及びシステムは、したがってマーカーの間の推定距離がＨＭＤにおける実際の現在の物理的距離に対して可能な限り近づくように更新されることを確実とし、これは使用中のＨＭＤの位置及び動作のより正確な追跡を提供する。しかしながら、本発明がこれらの特定の詳細のいくつかまたは全てをなくして実行され得ることは当業者にとって明らかである。他の場合において、本発明を不必要に不明確にしないために、よく知られた工程操作は、詳細には説明されていない。

１つの例示において、使用者によって装着されるＨＭＤは、使用者に豊富なマルチメディアコンテンツを見るための手段を提供し、これは、ビデオゲーム、映画、インターネットコンテンツ、並びに、他の形式の相互作用的及び非相互作用的コンテンツを含み得る。ＨＭＤの追跡は、システムの組み合わせを用いて実行される。システムは、限定されるものではないが、ＨＭＤ内の慣性センサーと、１つまたは複数のカメラを用いた光学的追跡と、を含む。光学的追跡において使用されるカメラは、ＨＭＤを装着する使用者の映像を取得することができ、したがって、使用者がＨＭＤと共に動き回るとき、映像フレームは、ＨＭＤの位置、方向及び動作を判断するように分析され得る。大まかに言うと、ＨＭＤによって示されるいくつかのコンテンツは、ＨＭＤの動作に動的に依存する。

たとえば、ＨＭＤが場面内に視界を提供する場合、使用者はその場面の他の部分を視認するために使用者の頭を自然に動かすことができる。ビデオゲームの例示において、ＨＭＤを装着する使用者は、仮想場面内の周り及び仮想場面の周りで動かすように任意の方向に頭を動かすことができる。１つの実施形態において、仮想場面は、高度な３次元フォーマットにレンダリングされる。したがって、ＨＭＤにおいてコンテンツを滑らかにレンダリングするために、ＨＭＤの動作は、高い忠実性を備えて追跡される。１つの構成において、ＨＭＤは、ＨＭＤに対して示されたコンテンツをレンダリングするクライアントシステム１０６と通信するように構成される。コンテンツ（たとえば、ゲーム、映画、映像、音声、画像、マルチメディア等）は、いくつかの実施形態においてクラウドゲームのインフラを使用して１つまたは複数の遠隔サーバーからストリームされても良い。いくつかの例示において、コンテンツはレンダリングのためにクライアントシステム１０６へとダウンロードされ、ついでＨＭＤへと送信される。

上述のように、追跡は、ＨＭＤ内に配置される慣性センサーの使用を含んでも良い。例示の慣性センサーは、１つまたは複数の加速度計及び１つまたは複数のジャイロスコープを含む。いくつかの実施態様は、多かれ少なかれ慣性センサーを含んでも良い。慣性センサーに加えて、ＨＭＤは、カメラを用いて追跡され得る。ＨＭＤは、１つの実施形態において、複数の光源（たとえば、発光ダイオード（ＬＥＤ））を備えて構成され、これはマーカーとして機能する。マーカーは、ついでカメラにより取得された１つまたは複数の映像フレームのクライアントシステム１０６による分析によって容易に識別され得る。１つの構成において、ＨＭＤは、前部ユニット１０２ａの４つの角部における４つのＬＥＤ（たとえば、本明細書において光学的ブロックとも称される）と、後部区分（たとえば、バンド調整ユニット１０２ｂ）における２つのＬＥＤと、を含む。

前部ユニット１０２ａは、１つの例示において、前面及びそれぞれの側部における側面を含み、前面及び側面は、略連続的な表面を形成する。本明細書で提供された様々な例示において、前部のＬＥＤは、前部ユニット１０２ａのハウジング内に形成され、ＬＥＤをオンにしたときに照光し得る透過性のプラスチックと共に配置される。さらに、いくつかの実施形態において、前部のＬＥＤは、部分的Ｌ形状、または曲がったＬ形状、またはブーメラン形状、または曲がった矩形、または曲線、または点、または円、またはパターン、またはこれらの組み合わせを形成するように、部分的に前部表面に配置され且つ部分的に側部表面に配置されるように構成される。

この形状は、使用者が直接的にカメラ１０８に面するとき、及び、使用者がカメラ１０８の直接的対面から背を向け始めるときに、前部ユニット１０２ａの追跡を可能とする。使用者が側部に対して面し、さらに直接的にカメラに面する位置から背けるとき、前部の一方の側のＬＥＤが視認可能であり且つ後部側におけるＬＥＤの１つが視認可能である限り、前部のＬＥＤは視認可能である。これは、前部のＬＥＤから前部のＬＥＤ及び後部のＬＥＤへの遷移である。この遷移のため、上述のように、前部のＬＥＤ及び後部のＬＥＤの間の分離距離は、正確な追跡を実行できることが要される。

さらに、ＨＭＤを装着する使用者がカメラに面するとき、カメラは、４つのＬＥＤすべてを視認することが可能でなければならない。４つの前部のＬＥＤの分離間隔は、クライアントシステム１０６に知られる。たとえば、ＨＭＤの幾何学的モデルは、クライアントシステム１０６において実行されるプログラムによってアクセスされることができ、ＨＭＤを装着するときに深さ（カメラに対する）及び使用者の頭の方向を判断する。たとえば、４つのＬＥＤは、１つの実施形態において、角部（たとえば、矩形の輪郭の）に配置されるため、使用者が見下ろし、見上げまたは側部を見る場合に、取得された映像フレームから判断することが可能となる。

しかしながら、ＨＭＤにおいてレンダリングされ得る相互作用的コンテンツは実際には広大と成り得るため、使用者は、ほとんどすべての次元において仮想場面を視認し且つ相互作用することが可能となる。ＨＭＤを装着する使用者は、したがって、頭を任意の方向に回転させることを決定しても良く、カメラに対して必ずしも前方で対面しない。実際に、レンダリングされたコンテンツ（たとえば、没入型相互作用ビデオゲーム、移動、仮想ツアー、クリップ、音声及びこれらの組み合わせ）によって、使用者は、何度もカメラの側部に対して面し、且つ、カメラから直接的に背を向ける。

こうした相互作用的セッションの間、ＨＭＤを追跡するカメラは、前部の４つのＬＥＤの視認から時々２つの前部のＬＥＤの側部及び後部のＬＥＤの１つの視認へと遷移する。前部の４つのＬＥＤは、ＨＭＤの幾何学的モデルに基づいて固定された相対的方向のままであるが、後部のＬＥＤは、ＨＭＤのヘッドバンドの調整された設定によって位置を変更されても良い。たとえば、より小さい頭を有する使用者がヘッドバンドを適合させるために調整する場合、前部のＬＥＤと後部のＬＥＤとの間の距離は（たとえば側部から見たとき）、別の使用者のより大きい頭のために調整された設定に対して、より近い。

ヘッドバンドの調整における変化を考慮するため、工程がＨＭＤの幾何学的モデルを校正するように構成され、これにより、前部のＬＥＤと後部のＬＥＤとの間の分離間隔（たとえば使用者が頭をカメラに対して垂直な位置から外方へと回転させたときに側部から見たとき）は、ＨＭＤに対して場面のコンテンツを正確にレンダリングし且つ目的の視点、角度及び／または方向から場面を提供するために使用されることができる。１つの実施態様において、幾何学的モデルはコンピュータモデルであり、これはＨＭＤ１０２の寸法及び／または３次元の輪郭を記憶し／含み、コンピュータ支援設計（ＣＡＤ）図面が示し得るものと類似する。しかしながら、幾何学的モデルは図面としては表示されないが、代わりに正確な追跡を可能とするように、ゲーム、または映画、またはソフトウェア、またはファームウェア、またはハードウェア、またはその組み合わせによって操作可能なデータセットとして記憶される。

さらなる例示によれば、ＨＭＤ１０２の３次元の輪郭は、１つの実施形態において、ＨＭＤのそれぞれの形状及びＬＥＤ領域の形状の輪郭、輪郭における形状に対するＬＥＤの位置、ＨＭＤの物理的構造の角度及び輪郭、及び、特徴の測定値及びＨＭＤの構成を形成するデータセット、を含むことができる。特に、幾何学的モデルは、前部ユニット１０２ａにおけるＬＥＤの正確な相対的位置を形成する寸法データを含んでも良い。しかしながら、後部のＬＥＤは調整可能なヘッドバンドに対して結合されるため、分離距離は、校正の間、前部のＬＥＤと後部のＬＥＤとの間のより正確な距離により幾何学的モデルが更新され得るように、更新されなければならない。

１つの実施形態において、校正工程は、映像フレームの分析が後部のＬＥＤが視認可能であることを判断した後に開始するように構成される（たとえば、前部のＬＥＤのみが視認可能であるときから開始する）。たとえば、セッション（たとえば、ゲームプレイまたは相互作用的セッション）の開始において、カメラに向かって使用者がＨＭＤを対面させることがよくある。ある時点において、使用者は頭をカメラから背けるが、これは少なくとも１つの後部のＬＥＤを露出させる。この時点で、進行している映像フレームの分析は、後部のＬＥＤの出現を検出する。

１つの実施形態において、工程は、視認可能な後部のＬＥＤ及び視認可能な前部のＬＥＤを慣性データと関連させるように使用者が動き続けるときに複数のフレームを分析する。慣性データは、それぞれのフレームに存在し、たとえば、視認可能な後部のＬＥＤと視認可能な前部のＬＥＤとの間の推定された分離距離を関連させるために使用される。１つの例示において、ＨＭＤからのジャイロスコープのデータは、ＨＭＤが動くときに使用者の頭による回転運動を判断するために使用される。さらに、例示によれば、ＨＭＤからの加速度計のデータは、位置（たとえば、傾き、ピッチ）及び回転のような動作を判断するために使用される。

したがって、ＨＭＤの取得された映像フレームからの画像データを用いて（すなわち、後部のＬＥＤ及び前部のＬＥＤが視認可能なとき）、画像データと組み合わせて慣性データは、ＨＭＤのヘッドバンドの現在のサイズ設定のために前部のＬＥＤと後部のＬＥＤとの間の推定された分離距離をレンダリングする。このデータは、ついでＨＭＤの幾何学的モデルを校正するために使用され、これは推定された分離距離を含む。１つの実施形態において、校正は時々更新されることができ、ＨＭＤのそれぞれの側部のため個別に校正されることもできる。

ひとたびＨＭＤの幾何学的モデルに対する校正が完了すると、使用者はセッションの間相互作用を進めても良い。しかしながら、ひとたびセッションが成されると、異なる使用者がＨＭＤに対して使用（ａｃｃｅｓｓ）を望み得ることが可能である。このようなとき、新しい使用者がＨＭＤのヘッドバンドを別のサイズへと調整することもあり得るが、これは前部のＬＥＤと後部のＬＥＤとの間の実際の分離距離の変更を生じさせる。１つの実施形態において、前の更新された校正または最初の幾何学的モデルからの寸法のいずれかを用いて新しいセッションが開始できる。

開始において、ゲームプレイまたは相互作用的セッションは、滑らかに進み、ＨＭＤにおいて示される場面は、使用者の頭における動作に基づいてレンダリングする。ＨＭＤを装着する使用者がカメラに向かって前方に面する間これは続き、ＨＭＤの前部における４つのＬＥＤの間の固定された分離間隔は、既知である。しかしながら、ひとたび使用者がカメラから顔を背けると、後部のＬＥＤが確認され、システムは、自動校正なしでＨＭＤにおいてレンダリングされたコンテンツにおけるジャンプまたはポップを生じる。これは位置を識別するためにＬＥＤのマーカー追跡を利用するＨＭＤの追跡がＨＭＤの実際の位置と同期できないためである。

１つの実施形態において、再校正が必要か否かに関する判断は、使用者がＨＭＤを側部に対面させて、前部のＬＥＤ及び後部のＬＥＤが視認可能となるたびに実行される（すなわち、前部のＬＥＤのみまたは後部のＬＥＤのみが視認可能なときから）。１つの例示において、校正が現在のセッションのために生じ、且つ、セッションが現在の校正で継続している場合、システムは、現在の校正がまだ所定の許容限界値内にあるか否かを判断するためにバックグラウンドにおいて校正を実行させる。たとえば、ゲームプレイの間同じ使用者がヘッドバンドを調整した場合、若しくは小さなサイズ調整のためにＨＭＤを取り外した場合、または、他の人が一時的にＨＭＤを試用した場合、それから前部と後部との間の実際の分離間隔は、最初の校正の間分離間隔を推定するために使用されたものと異なり得る。

許容限界値は、新しいバックグラウンド校正が（たとえば、ＨＭＤにおいてレンダリングされたビデオ画像において）レンダリング誤作動、スキップまたはポップが生じそうであることを示す場合に、ついで新しい校正が現在の校正となるように構成されまたは選択される。

さらに別の実施形態において、ＨＭＤは、フラグを設定するヘッドバンド調整検出器を含む。フラグは、システム及び／またはゲーム実行によって読み込まれることができ、幾何学的モデルの再校正を要求するために使用され得る。たとえば、ＨＭＤの使用の間に使用者がヘッドバンドを調整する場合、システムは校正が再実行されるべきというフラグを介して変更され得る。同じセッションが進行する場合であっても別の使用者がＨＭＤを試用したために調整が生じた場合も同様となり得る。さらなる実施形態において、フラグは、新しいセッションの開始により、または、一定時間ＨＭＤが静止したままである若しくはＨＭＤが動かされていないことをシステムが検出したときに、生成され得る。このような指示器は、新しいセッションが生じる前またはセッションの間であってもヘッドバンドが調整され得るという可能性として示され得る。

図１Ａは、本発明に係る実施形態によるビデオゲームの相互作用的ゲームプレイのシステムを示す。使用者１００は、ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着して示される。ＨＭＤ１０２は、眼鏡、ゴーグルまたはヘルメットと類似した方法で装着され、ビデオゲームまたは他のコンテンツを使用者１００に対して表示するように構成される。ＨＭＤ１０２は、使用者の目の近傍のディスプレイ機構（たとえば、光学及びディスプレイスクリーン）のその構成及びＨＭＤに対して配信されるコンテンツのフォーマットによって、夢中になれる体験を使用者に対して提供できるように構成される。１つの例示において、ＨＭＤ１０２は、それぞれの使用者の目に対してディスプレイ領域を提供することができ、これは、使用者の視野の大部分または全体でさえ占める。

１つの実施形態において、ＨＭＤ１０２は、コンピュータ１０６に対して接続され得る。コンピュータ１０６に対する接続は、有線または無線とされ得る。コンピュータ１０６は、限定されるものではないが、ゲームコンソール、パーソナルコンピュータ、ノートパソコン、タブレットコンピュータ、モバイル装置、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーム装置等を含む、任意の一般のまたは特定用途のコンピュータであり得る。いくつかの実施形態において、ＨＭＤ１０２は、インターネットに直接接続することができ、分離したローカルコンピュータを必要とせずにクラウドゲームを可能とし得る。１つの実施形態において、コンピュータ１０６は、ビデオゲーム（及び他のデジタルコンテンツ）を実行するように構成されることができ、ＨＭＤ１０２によるレンダリングのためにビデオゲームから映像及び音声を出力する。コンピュータ１０６は、本明細書においてクライアントシステム１０６ａとも称され、これは１つの例示において、ビデオゲームコンソールである。

コンピュータは、いくつかの実施形態において、ローカルコンピュータまたはリモートコンピュータであっても良く、コンピュータは、エミュレーションソフトウェアを実行しても良い。クラウドゲームの実施形態において、コンピュータは遠隔にあり、データセンターにおいて仮想化され得る複数のコンピューティングサービスによって示されても良く、ゲームシステム／ロジックは、ネットワーク上で使用者に対して仮想化され且つ離散化され得る。

使用者１００はビデオゲームのための入力を提供するためにコントローラ１０４を操作しても良い。１つの例示において、カメラ１０８は、使用者１００が位置する相互作用的環境の画像を取得するように構成され得る。これらの取得された画像は、使用者１００、ＨＭＤ１０２、及びコントローラ１０４の位置及び動作を判断するために分析され得る。１つの実施形態において、コントローラ１０４は、その位置及び方向を判断するために追跡され得る１つの光源（または複数の光源）を含む。付加的に、以下でさらに詳細に説明されるように、ＨＭＤ１０２は、ゲームプレイの間の実質的リアルタイムにおけるＨＭＤ１０２の位置及び方向を判断するためのマーカーとして追跡され得る１つまたは複数の光源を含んでも良い。

カメラ１０８は、相互作用的環境から音声を取得するために１つまたは複数のマイクを含み得る。マイク配列によって取得された音声は、音源の位置を識別するために処理されても良い。識別された位置からの音声は、選択的に使用されることができ、または、識別された位置からではない他の音声を排除するために処理されることができる。さらに、カメラ１０８は、複合的画像取得装置（たとえば、立体写真カメラ）、ＩＲカメラ、深度カメラ、及びこれらの組み合わせを含むように定義され得る。

いくつかの実施形態において、コンピュータ１０６は、コンピュータ１０６の処理するハードウェアにおいてゲームをローカルで実行できる。ゲームまたはコンテンツは、物理的メディア形式（たとえば、デジタルディスク、テープ、カード、サムドライブ、固定チップまたはカード等）、のような任意の形式で、または、ネットワーク１１０を介したインターネットからのダウンロードによって、得られ得る。別の実施形態において、コンピュータ１０６は、クラウドゲームプロバイダ１１２とのネットワーク上の通信におけるクライアントとして機能する。クラウドゲームプロバイダ１１２は、使用者１００によってプレイされるビデオゲームを維持し且つ実行しても良い。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８からクラウドゲームプロバイダへと入力を伝送し、実行するビデオゲームのゲーム状態を反映するために入力を処理する。映像データ、音声データ、及び触覚的フィードバックデータのような実行するビデオゲームからの出力は、コンピュータ１０６に対して伝送される。コンピュータ１０６は、伝送前にデータをさらに処理しても良く、または、関連する装置に対してデータを直接的に伝送しても良い。たとえば、映像及び音声ストリームは、ＨＭＤ１０２に対して提供され、一方で、振動フィードバック命令は、コントローラ１０４に対して提供される。

１つの実施形態において、ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８は、それら自体がクラウドゲームプロバイダ１１２と通信するようにネットワーク１１０に対して接続するネットワーク化された装置であっても良い。たとえば、コンピュータ１０６は、ビデオゲーム処理を実行しないが、ネットワークトラフィックの経路を容易とする、ルーターのようなローカルネットワーク装置であっても良い。ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８によるネットワークに対する接続は、有線または無線であっても良い。いくつかの実施形態において、ＨＭＤ１０２において実行されまたはディスプレイ１０７において表示可能なコンテンツは、任意のコンテンツソース１２０から得られ得る。例示のコンテンツソースは、たとえば、ダウンロード可能なコンテンツ及び／またはストリームコンテンツを提供するインターネットウェブサイトを含むことができる。いくつかの例示において、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等のような任意の形式のマルチメディアコンテンツを含むことができる。

以下により詳細に説明するように、プレイヤー１００は、ＨＭＤ１０２においてゲームをプレイしても良く、こうしたコンテンツは、没入型３Ｄ相互作用的コンテンツである。ＨＭＤ１０２におけるコンテンツは、プレイヤーがプレイする間、ディスプレイ１０７に対して共有され得る。１つの実施形態において、ディスプレイ１０７に対して共有されるコンテンツは、プレイヤー１００近傍のまたは遠隔の他の使用者が使用者のプレイと共に見ることを可能とし得る。さらに別の実施形態において、ディスプレイ１０７においてプレイヤー１００のゲームプレイを見ている別のプレイヤーは、プレイヤー１００と共に相互作用的に参加しても良い。たとえば、ディスプレイ１０７においてゲームプレイを見ている使用者は、ゲーム場面におけるキャラクターをコントロールしても良く、フィードバックを提供し、社会的相互作用を提供し、及び／または、コメントを提供し（テキストにより、声により、動作により、ジェスチャーにより等）、これは、ＨＭＤ１０２を装着していない使用者がＨＭＤ１０２においてレンダリングされたプレイヤー１００、ゲームプレイ、またはコンテンツと社会的に相互作用することを可能とする。

図１Ｂは、本発明に係る実施形態によるヘッドマウントディスプレイ（ＨＭＤ）を示す。図に示されるように、ＨＭＤ１０２は、複数の光源２００Ａ〜Ｈ、Ｊ及びＫを含む（たとえば、２００Ｋ及び２００Ｊは、ＨＭＤヘッドバンドの後部または後ろ側へ向かって配置される）。これらのそれぞれの光源は、特定の形状及び／または位置を有するように構成されても良く、同じまたは異なる色を有するように構成され得る。光源２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、ＨＭＤ１０２の前部表面に配置される。光源２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側部表面に配置される。さらに光源２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前部表面及び側部表面に亘るようにＨＭＤ１０２の角部において配置される。光源は使用者がＨＭＤ１０２を使用する相互作用的環境の取得された画像において識別され得ることに留意されたい。

光源の識別及び追跡に基づいて、相互作用的環境におけるＨＭＤ１０２の位置及び方向が判断され得る。いくつかの光源が画像取得装置に対するＨＭＤ１０２の特定の方向によって視認可能または視認不可能となり得ることにも留意されたい。さらに、光源の異なる部分（たとえば、光源２００Ｇ及び２００Ｈ）は、画像取得装置に対するＨＭＤ１０２の方向によって画像取得のために露出されても良い。いくつかの実施形態において、慣性センサーがＨＭＤ１０２に配置され、光源の必要なく位置に関するフィードバックを提供する。いくつかの実施形態において、光源及び慣性センサーは、位置／運動データの混合及び選択を可能とするように共に機能する。

１つの実施形態において、光源は、ＨＭＤの現在の状態を近傍の他のものに示すように構成され得る。たとえば、いくつかのまたは全ての光源は、特定の色構成、輝度構成、有するように構成されても良く、点滅し、特定のオン／オフ構成を有し、または、ＨＭＤ１０２の現在の状態を示す他の構成を有するように構成されても良い。例示によれば、光源は、ビデオゲームのアクティブなゲームプレイの間（概してゲームのアクティブなタイムラインまたは場面内で生じるゲームプレイ）、案内メニューインタフェースまたはゲーム設定の構成（この間ゲームタイムラインまたは場面は非アクティブとされまたは静止され得る）のようなビデオゲームの他のアクティブではないゲームプレイ態様に対して異なる構成を表示するように構成される。光源は、ゲームプレイの相対的輝度レベルを示すように構成されても良い。たとえば、光源の輝度、または点滅速度は、ゲームプレイの輝度が増加するときに増加しても良い。

ＨＭＤ１０２は、付加的に１つまたは複数のマイクを含んでも良い。示された実施形態において、ＨＭＤ１０２は、ＨＭＤ１０２の前部表面において形成されたマイク２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側部表面において形成されたマイク２０４Ｃと、を含む。マイクの配列を使用することによって、それぞれのマイクからの音声は、音声の源の位置を判断するように処理され得る。この情報は、望まない音声の排除、視覚的識別等との音源の関連付けを含む様々な方法で使用され得る。

ＨＭＤ１０２は、１つまたは複数の画像取得装置を含んでも良い。示された実施形態において、ＨＭＤ１０２は、画像取得装置２０２Ａ及び２０２Ｂを含んで示される。画像取得装置の立体写真を使用することによって、環境の３次元の（３Ｄ）画像及び映像がＨＭＤ１０２の視点から取得され得る。こうした映像は、ＨＭＤ１０２を装着する間、使用者に「ビデオシースルー」機能を提供するために使用者に対して示され得る。これは、厳密な意味では使用者はＨＭＤ１０２を透視することはできないが、画像取得装置２０２Ａ及び２０２Ｂにより取得された映像は、ＨＭＤ１０２によって見た場合にＨＭＤ１０２の外部の環境を視認可能とされ得る機能的に同等なものを提供することができる。

こうした映像は、増大された現実的体験を提供するための仮想的要素により増大されることができ、または、他の方法において仮想的要素と結合されまたは融合されても良い。示された実施形態において２つのカメラがＨＭＤ１０２の前部表面において示されるが、任意の数の外部に面するカメラまたは単一のカメラがＨＭＤ１０２において搭載されることができ、且つ、任意の方向に配向され得ることに留意されたい。たとえば、別の実施形態において、環境の付加的なパノラマ式の画像取得を提供するためにＨＭＤ１０２の側部に取り付けられたカメラがあっても良い。

図２は、使用者１００のＨＭＤ１０２に対してビデオゲームコンテンツをレンダリング可能なクライアントシステム１０６を用いたゲームプレイの１つの例示を示す。本図において、ＨＭＤに対して提供されたゲームコンテンツは、豊富な相互作用的３−Ｄ空間内にある。上述のように、ゲームコンテンツは、クライアントシステム１０６に対してダウンロードされることができ、または、クラウド処理システムによって１つの実施形態において実行されることができる。クラウドゲームサービス１１２は、使用者１４０のデータベースを含むことができ、特定のゲームにアクセスすること、他の友人と体験を共有すること、コメントを投稿すること、及び、彼らのアカウント情報を管理することが可能とされる。

クラウドゲームサービスは、特定の使用者のためにゲームデータ１５０を記憶することもでき、これは、ゲームプレイの間、将来のゲームプレイ、ソーシャルメディアネットワークの共有、またはトロフィー、賞、状態、ランキング等を記憶するのに便利である。社会的データ１６０は、クラウドゲームサービス１１２によって管理もされ得る。社会的データは、分離したソーシャルメディアネットワークによって管理されることができ、これは、インターネット１１０上でクラウドゲームサービス１１２と適合され得る。インターネット１１０上で、コンテンツへのアクセスのため及び他の使用者との相互作用のため任意の数のクライアントシステム１０６が接続され得る。

図２の例示で続けると、ＨＭＤにおいて見られる３次元の相互作用的場面は、３−Ｄの視界において示されたキャラクターのようなゲームプレイを含むことができる。１つのキャラクター、たとえばＰ１は、ＨＭＤ１０２を装着する使用者１００によってコントロールされることができる。本例示は、２人のプレイヤーの間のバスケットボールの場面を示し、ＨＭＤの使用者１００は、３−Ｄの視界において別のキャラクターに対してボールをダンクしている。他のキャラクターは、ゲームのＡＩ（人工知能）のキャラクターとされることができ、または、別の１または複数のプレイヤー（Ｐｎ）によってコントロールされることができる。ＨＭＤ１０２を装着する使用者１００は、使用空間において動きまわって示され、ＨＭＤは、使用者の頭の動作及び体の位置に基づいて動きまわっても良い。カメラ１０８は、部屋においてディスプレイスクリーンの上に配置されて示されるが、しかしながら、ＨＭＤの使用のため、カメラ１０８は、ＨＭＤ１０２の画像を取得できる任意の位置に配置され得る。このように、使用者１０２は、ＨＭＤ１０２においてレンダリングされるコンテンツがカメラ１０８の視点から、ＨＭＤ１０２が配置される方向に依存され得るように、カメラ１０８及びディスプレイ１０７からおおよそ９０度回転して示される。当然のことながら、ＨＭＤの使用の間、使用者１００は、ＨＭＤによってレンダリングされた動的な仮想的場面の利用が必要とされ得るとき、頭を回転させ、様々な方向を見ながら動きまわる。

図３Ａは、ＨＭＤ１０２を装着する使用者の例示を示し、固定された位置において設定されるカメラ１０８は、使用者に向かって方向付けられる。１つの実施形態において、カメラ１０８は、使用者の視認を可能とする位置を有し、これにより、ＨＭＤ１０２及びコントローラ１０４は、取得された映像フレームにおいて視認され得る。１つの例示において、コントローラ１０４は、ＬＥＤ光のようなマーカーを含んでも良く、これは、ＨＭＤ１０２が追跡されるのと同時に追跡され得る。側面図において、カメラ１０８は、ＨＭＤ１０２の側部を取得している。図示の目的のため、ＬＥＤマーカーは、前部ユニット１０２ａにおけるＬＥＤマーカーのため、マーカー１、２、３及び４として符号付けされる。バンド調整ユニット１０２ｂにおけるＬＥＤマーカーは、側面図において示されないが、上面図は、カメラ１０８が少なくとも前部ユニット１０２ａからマーカー２及び４を取得可能であり且つバンド調整ユニット１０２ｂからマーカー６を取得可能であることを示す。前部のマーカーと後部のマーカーとの間の分離間隔は、１つの実施形態において、推定される。

上述のように、ひとたび図３Ａの側面図が取得された映像において検出されると、映像フレームの分析に基づいて、推定距離ｄ１の校正が実行される。現在の使用セッションで校正がまだ実行されていない場合、校正が実行され、複数の映像フレームが分析され、ＨＭＤの慣性センサーから得られたときにＨＭＤの実際の運動データと比較される。画像データと組み合わせた運動データは、距離ｄ１の推定値を生成する。１つの実施形態において、上述のように、ＨＭＤは、それぞれのマーカーがどこに配置され且つ形状化されているのかに関するデジタル情報である幾何学的モデルと関連する。

校正データを用いて、現在の使用セッションの推定された分離間隔ｄ１を算出する演算により幾何学的モデルが更新される。使用者がＨＭＤ１０２でプレイまたは相互作用を継続するとき、図３Ｂにおいて示されるように、距離データは、ＨＭＤの空間における動作及び空間の位置、並びに、カメラ１０８に対するその傾斜及び角度を追跡するために使用される。図３Ｂにおいて、たとえば、上面図において、図は、使用者が後頭部をカメラ１０８に向かって回転させたことを示す。こうした時点において、カメラは、前部ユニット１０２ａにおける全てのマーカー１〜６を視認することが可能であり得る。分離間隔ｄ１は、この例示において、ある点において、ＨＭＤが使用者の頭において適正にフィットするようにヘッドバンド１０２ｃを使用者が調整したとものみなす。適正な設定は、ＨＭＤ１０２が使用者の顔の上で動くのを回避するため、好ましい。さらに、ＨＭＤ１０２の動作は、１つの実施形態において、ＨＭＤ１０２によって示される場面への、場面の視点をさらに変化させる。

調整がヘッドバンド１０２ｃに対して実行された場合、たとえば、前部のマーカーと後部のマーカーとの間の実際の分離間隔は変化し、これは、（調整量によって）ゲームのコードまたはプログラム（たとえばライブラリファイル（複数可））により使用された幾何学的モデルによって予想されたマーカーがある位置の間の結合を断つ場合があり、ＨＭＤ１０２の動作は、ＨＭＤ１０２においてレンダリングされた場面において変化に対してうまく変換しない場合がある。たとえば、ＨＭＤ１０２の動作は、前部のマーカー（すなわちＬＥＤ）１〜４のみが追跡される間、これらのマーカーが固定された位置にあるためにＨＭＤ１０２の幾何学的モデルが静的なままであるため、変化しない。しかしながら、カメラが前部のＬＥＤの間において後部のＬＥＤへと動くとき、（より大きくまたはより小さくするための）ヘッドバンドにおける調整が生じる場合、実際の分離間隔は、幾何学的モデルまたは校正された幾何学的モデルに対して適合し得ない。このような場合、システムは、セッションの間に変化が生じた場合、または、ヘッドバンドにおける変化または曲げが実際の分離間隔を動かした場合に、校正または再校正の必要を検出することができる。

図３Ｃ−１、図３Ｃ−２及び図３Ｃ−３は、ヘッドバンド１０２ｃによって使用者の頭に対して固定されたＨＭＤ１０２を装着する使用者の例示を示し、ヘッドバンドは、前部ユニット１０２ａ及びバンド調整ユニット１０２ｂに対して結合される。１つの実施形態において、バンド調整ユニット１０２ｂは、調整器を含む。調整器は、１つの例示においてヘッドバンドの締め付け（サイズをより小さくする）または緩めること（サイズをより大きくする）を可能とする回転ホイールであり得る。例示の回転ホイールの使用に限定されることなく、他の調整器も可能である。

ひとたびヘッドバンドが調整されると、使用者は、セッションにおいてＨＭＤの使用を開始しても良い。この例示において、使用者は、上面図から示されるようにカメラ１０８に面する。セッションにおいて使用者が相互作用する間に、カメラはＨＭＤ１０２の動作及び位置を追跡するために使用される。上述のように、ＨＭＤ１０２の追跡の間慣性センサーも使用され、慣性データは、カメラ１０８による光学的追跡を向上させるために使用され得る。さらに、校正の間慣性センサーが使用され、ビデオ画像において識別されたマーカーと共に画像データが分析される。

たとえば、慣性センサーは、ＨＭＤ１０２の位置データ、回転データ、及び全体動作データを生成し、これはいくつかの実施形態において１つの映像フレームの生成の間に複数回生成される。生成された慣性データは、かなり豊富であり且つ高程度の忠実性を有するため、数フレーム間隔に亘り識別された画像マーカーまたは対象の間の距離を推定することが可能である。このように、校正は、マーカーの間の、たとえば、ＨＭＤ１０２の前部のＬＥＤと後部のＬＥＤとの間の実際の距離の推定を形成する。例示の取得されたフレーム３０２において、ＨＭＤ１０２の前部ユニット１０２ａの前部は、視認可能であるように示される。

図３Ｄ−１、図３Ｄ−２及び図３Ｄ−３は、使用者が頭を図３Ｃに示された開始位置から外方へとおおよそ４５度回転させた例示を示す。当然のことながら、回転は、普通の人間の回転動作のような完全な回転であることを要さず、回転と組み合わせて顔を上げるまたは下げる（たとえば、傾ける）動作を含み得る。目的または例示のため、シンプルな回転が示されており、他の運動（たとえば、回転の間の様々な時点において上／下に傾ける）も生じるものとみなされる。実行中、動作は、いくらかの時間間隔に亘り生じ、（任意の時点において）ゲーム内の様々な場面を探検しまたは仮想空間において様々なコンテンツを見る、あるいは映画または映像内において様々な場面領域を見ることを望む使用者に応答して生じ得る。図３Ｄ−３に示されるような１つの時点において、取得されたフレーム３０３は、マーカー２、４及び６を含む画像データを含む。例示の目的のため、これは画像データが分析されるときにフレームにおいて後部のマーカー６が取得された最初のものと仮定する。校正が現在のセッションで生じていない場合、または最後の校正から時間が経過したと判断された場合、システムは校正操作を実行し、前部のＬＥＤと後部のＬＥＤとの間の距離が計算される。

上述のように、これは、ＨＭＤ１０２の慣性センサー（たとえば、ジャイロスコープ）及び加速度計からの回転データ及び位置データの分析によって成される。この分析は、さらなる追跡のために使用される推定された分離距離をレンダリングする。１つの実施形態において、この最初の推定距離は、ＨＭＤ１０２の幾何学的モデルに対して記憶され、これは、空間の分離及びモデル化されたＨＭＤ１０２のＬＥＤ及び他の特性の幾何学的形状に関する情報を含む。他の実施形態において、推定距離を含む校正は、変化が生じたことをさらなる調査が示す（すなわち、新しい調査が現在の校正された幾何学的モデルとは異なる分離距離を出す）まで使用される。

この変化は、使用者がヘッドバンドを調整したとき、またはＨＭＤ１０２を取り外したとき、及び別の使用者がＨＭＤ１０２を調整したとき及び試用したとき、またはヘッドバンド１０２がセッションの間に曲げられたとき若しくは動かされたときに生じ得る。新しい推定された分離距離が所定の限界値を超えた場合、新しい推定された分離距離が校正された幾何学的モデルに対して付加される。上述のように、校正された幾何学的モデルは、ＨＭＤ１０２の動作及び位置の正確な追跡を提供し且つＨＭＤ１０２を装着する使用者によって成された方向、動作及び運動と一致したＨＭＤ１０２に対してコンテンツを提供するために、アプリケーション及び／またはシステムによって使用され得る。

任意の識別された距離またはヘッドバンドのサイズの実際の調整の変化へと更新された幾何学的モデルの校正を維持することによって、ＨＭＤ１０２に対して提供されたコンテンツは、ＨＭＤ１０２において表示されるときに、特に使用者がＨＭＤ１０２を側部へと（すなわち、カメラ１０８に対して垂直な位置から外方へと）移動させるときに、ジャンプ、ポップまたは不正確なジッターを生じることが防がれる。

図３Ｅ−１、図３Ｅ−２及び図３Ｅ−３は、使用者が図３Ｃ−１及び図３Ｃ−２において示された位置からおおよそ９０度外方へと動かされた例示を示す。この時点で、調整が行われておらず、且つ、校正が（モデルに対しては適用せずにさらなるバックグラウンド校正と比較されたときに）限界値内であることを示す場合、それからシステムは、ＨＭＤ１０２に対してコンテンツをレンダリングするために前部のＬＥＤと後部のＬＥＤとの間の推定距離の使用を継続する。

図３Ｆ−１、図３Ｆ−２及び図３Ｆ−３は、使用者が図３Ｅ−１の位置からおおよそ１８０度回転されたセッションにおける時間を示す。この例示において、カメラ１０８は、マーカー１、３及び５が視認可能な、取得されたフレーム３０２をここで形成する。上述のように、次のセッションまで、使用者が動きを止めてついで再開するまでまたは使用者がヘッドバンドを調整するまで、分離距離の最初の校正が継続して使用されても良い。さらに別の実施形態において、システムは、再び前部のＬＥＤ及び後部のＬＥＤが視認可能であると認識できるが、それが今視認可能な反対側であることも認識する。言い換えれば、図３Ｅ−３の視認可能なＬＥＤは、図３Ｆ−３において視認可能なＬＥＤの反対側のＬＥＤである。

したがって、システムはそれぞれの側のために個別に校正が成されることを要求できる。したがって、図３Ｅ−３において側部は、既に校正され且つ推定距離の分離間隔が幾何学的モデルにおいて使用されるが、システムは個別に他方の側の校正を実行し、幾何学的モデルに対して付加された別の分離距離を推定する。このように、両方の側部のための分離した校正は、ヘッドバンドの一方の側に対して調整が成され、ヘッドバンドの他方の側に対しては成されない状況を改善し、あるいは、ヘッドバンドのねじれが後部のＬＥＤと前部の視認可能なＬＥＤとの間の異なる実際の分離を生成する場合の状況を改善する。

図３Ｇ−１、図３Ｇ−２及び図３Ｇ−３は、ＨＭＤ１０２の後部が取得されたフレーム３０２において視認可能な例示を示す。この例示において、ＬＥＤ５及び６が変化しない固定された構造であるため、ＨＭＤ１０２の最初の幾何学的モデルを用いてＬＥＤ５及び６の追跡が実行される。他の実施形態において、後部のＬＥＤが互いに対して固定されない場合、後部のＬＥＤの１つを前部のＬＥＤに対して校正し、ついで使用者の頭が異なる時に回転するときに校正された後部のＬＥＤを他のＬＥＤに対して校正することも可能である。

図４Ａは、ＨＭＤ１０２の上面図と、ＨＭＤ１０２と関連したマーカー（ＬＥＤ）を識別可能とするように配置されたカメラ１０８とを示す。ＨＭＤ１０２の上面図は、ヘッドバンド１０２ｃによって結合された前部ユニット１０２ａとバンド調整ユニット１０２ｂを示す。前部ユニット１０２ａは、ＨＭＤ１０２の光学的ブロック区分を含む。光学的ブロックは、調整間隙４０２によって調整可能となるように構成される。このように、光学的ブロックは、使用者の頭に対して取り付けられたときに、使用者の顔に向かって及び使用者の顔から離して動かすことができる。１つの実施形態において、調整間隙４０２は、ＨＭＤ１０２の使用者の快適さのため且つ使用者の目と光学的ブロック内の構造との間の付加的な空間を提供するためにも調整可能である。付加的な空間は、使用者の眼鏡を収容するために使用され得る。示されるように、バンド調整ユニット１０２ｂは、バンド調整ユニット１０２ｂ内へと収縮しまたはバンド調整ユニット１０２ｂから伸張する方法でヘッドバンドを調整するのに便利な回転ホイール４０４を含む。

上述のように、例示の回転ホイールの使用に限定されることなく、他の調整器も可能である。たとえば、他の調整器はベルト調整器、ノッチ式調整器、バンドにおけるピン及び穴調整器、スナップインまたは共にスナップする調整器、ベルクロ（登録商標）調整器、テープ調整器、ベルト及びバックル調整器、ロープ調整器、リンクコネクター調整器、弾性調整器、または様々な形式の調整器及びクリップ及びロックの組み合わせを含むことができる。

頭においてＨＭＤを配置された使用者により適正なまたは快適な適合を提供するために調整が成される。この調整機能のため、前部から後部へのＨＭＤ１０２の実際の分離距離Ｄは、成される調整に基づいて変化する。図示の目的のため、光学的ブロックが使用者の顔に向かって完全に押され、回転ホイール４０４がヘッドバンドのサイズをその可能な最も小さいサイズへと調整された場合、分離距離はｄＣとなる。しかしながら、使用者によるカスタマイズ調整を考慮すれば、光学的ブロックにおける調整のため且つ分離間隔ｄＢによるバンド調整ユニット１０２ｂにおける調整のための分離間隔ｄＡの変化が存在する。任意の一度において、光学的ブロックの前部ユニットにおけるＬＥＤとバンド調整ユニット１０２ｂにおける後部のＬＥＤとの間の実際の物理的分離間隔Ｄが変化し、このため、現在の調整に基づいた、前部のＬＥＤと後部のＬＥＤとの間の推定された分離距離を識別するために上述のような校正が実行される。

示されるように、分離距離は、Ｄ＝ｄＣ＋／−ｄＡ＋／−ｄＢに等しい。ＨＭＤの使用の間の校正は、したがって視認可能な後部のＬＥＤと視認可能な前部のＬＥＤとの間の実際の分離間隔の近似した推定であり、したがって分離距離を定義する。ついで分離距離は、ＨＭＤ１０２において幾何学的モデルに対して付加され、使用中にＨＭＤの位置、回転、動作及び方向に基づいて、ＨＭＤに対してコンテンツをレンダリングするために使用される。

図４Ｂは、ＨＭＤ１０２の上面図の例示を示し、分離間隔ｄ１は、物理的ＨＭＤのために物理的に設定される。物理的設定はＨＭＤのヘッドバンド１０２ｃに対して成される調整のために実行され得る。分析されるとき映像フレーム４１０は、分離距離ｄ１が、複数のフレームの分析に基づいて且つ、ＨＭＤ１０２内のセンサーによって生成された慣性データの同時の分析に基づいて推定されることを示す。

比較において、図４Ｃは、より大きいヘッドバンド１０２ｃを形成するための調整が成された後のＨＭＤ１０２の上面図を示す。この工程は、後部のＬＥＤ及び前部のＬＥＤの現在の位置を識別するために取得された映像フレームの分析も含み、推定された分離距離が図４Ｂのサイズのためにあらかじめ校正されたものと同じかどうかを判断するために校正操作を実行する。１つの実施形態において、システムは、サイズが現在Δｄだけ、より大きいと判断し、言い換えればここでｄ２となる、ｄ１＋Δｄだと判断する。差Δｄがシステムに対して許容できる空隙の限界値より大きい場合、最初の校正が維持される。

新しい推定距離ｄ２が推定距離ｄ１とは異なる場合、ついで幾何学的モデルにおける校正データは、距離ｄ２を含むように更新される。別の実施形態において、新しい校正が最初の推定距離より大きい推定距離を生成するか否かを識別するための付加的な校正ステップに頼る代わりに、回転ホイール４０４または任意の他の調整機構の調整は、ヘッドバンド１０２ｃのサイズの変化を示し得るフラグまたはデータのような信号を生じ得る。

結果として、この信号は、前部のＬＥＤと後部のＬＥＤとの間の新しい推定された分離間隔を識別するために実行される新しい校正をついで実施するシステムに対して返答して通信し得る。さらに他の実施形態において、システムが所定時間ＨＭＤの不活発または無動作が生じたと判断したときに再校正が実行され得る。これは、新しい使用者が新しいセッションを開始するためにまたは今のセッションに参加するためにＨＭＤ１０２を装着した可能性が高いので、前部のＬＥＤと後部のＬＥＤとの間の距離のための新しい校正データが必要であるという指示信号である。

たとえば、第１のプレイヤーによって楽しまれているセッションの間、近くの第２のプレイヤーは、ＨＭＤにおいてレンダリングされたコンテンツを見ることを望む場合があり、第１のプレイヤーは、ＨＭＤを取り外すことができ、または取り外しても良く、したがって、第２のプレイヤーは、短時間の間コンテンツを見ることができる。この共有の間、ＨＭＤヘッドバンドが調整され得ることが可能である。実際には、調整を実行することが可能であり、一時的にＨＭＤを装着する第２のプレイヤーのための第１の調整と、第２のプレイヤーからＨＭＤを戻してもらった後の第１のプレイヤーがセッションを再開するための第２の調整と、が可能である。

図４Ｄは、ＨＭＤにおける前部のマーカーとＨＭＤのヘッドバンドと関連した視認可能な後部のマーカーとの間の分離距離を識別するために実行され得る例示の操作のフロー図を提供する。操作４２０において、マルチメディアコンテンツと相互作用する使用者によって装着されたときのヘッドマウントディスプレイの映像フレームの取得を含む。マルチメディアコンテンツは、上述のように、様々な形式のメディアを含み得る。メディアの形式は、ビデオゲーム、映画、ウェブコンテンツ、映像クリップ、音声コンテンツ、映像及び音声の組み合わせ、映像会議、ソーシャルメディア相互作用的通信、及び／またはこれらの組み合わせを含み得る。

使用者がＨＭＤを装着する間にマルチメディアと相互作用する間、コンテンツは、レンダリングし且つ使用者が見るためにＨＭＤに対して提供される。１つの実施形態において、ＨＭＤの位置及び方向及び動作を視認するためにカメラも提供される。カメラは、１つの実施形態において、映像フレームの形式において複数の画像を生成する。ついで映像フレームは、操作４２２において、ＨＭＤにおいて配置されたマーカーを識別するために調査される。マーカーは、上述のように、ＬＥＤを含み得る。

他の実施形態において、マーカーは照光しないマーキングを含むことができ、形状、逆反射の表面、様々な色の表面、様々な色の領域または表面、ＬＥＤ及び表面の組み合わせ、ＬＥＤの組み合わせ、逆反射のテープ、反射ペイント、反射表面、数値データ、ＱＲコード（登録商標）データ、パターン、画像、及びその２つ以上の組み合わせを含むことができる。このように、ある実施形態は、色を備えたＨＭＤの領域を照光するＬＥＤを使用するが、その色は変更することができ、照光されるＬＥＤ表面または領域の形状及び方向も変更し得る。いくつかの実施形態において、特定の色が位置を識別するように、ＨＭＤによって複数の様々な色が用いられることができる。他の実施態様において、複数のＨＭＤが追跡されるとき、様々な色がＨＭＤの様々な部分において、または様々なＨＭＤにおいて使用されることができる。複数のＨＭＤの使用者が追跡される場合、様々なプレイヤーに対して様々な色が割り当てられ得る。ＬＥＤは、間欠的なパターンにおいて照光し、またはシステムにより取得され且つ分析された画像データによってコードまたはデータを通信するために点滅させるようにも構成され得る。

いくつかの実施形態において、ＬＥＤは、照明の輝度を変化させるように構成され得る。照明の変化は、環境光の検出に応じるように動的にコントロールされ得る。部屋の光が明るい場合は、照明は、強められることができ、または様々な色が追跡を向上させまたは強化するために選択され得る。いくつかの他の実施形態において、選択された色は、異なり、または部屋、環境、人の衣服、またはこれらの組み合わせの周りの色に対してより対比を提供する色であり得る。

操作４２４において、識別されたマーカーは、カメラによって取得された画像データを分析することによって追跡され得る。ＨＭＤの追跡は、前部の光学的ブロックにおいて識別されたマーカーによって容易化され、ＨＭＤの前部の光学的ブロックの位置及び方向の識別を可能とする構成において配向される。示された例示において、マーカーは、カメラ１０８から直接的に見たときに、略矩形の光学的ブロックの前部の角部において配置される。したがって、使用者が頭を下方に動かしたとき、映像フレームにおける画像データの分析の際にシステムによって取得された画像においてより近くなるように２つの上部のＬＥＤ及び２つの底部ＬＥＤが現れる。使用者が左回転するとき、右回転するとき、左に傾くとき、右に傾くとき、または回転及び傾くような動作の組み合わせのとき、類似した処理が判断のため実行され得る。１つの実施形態において、操作４２６は、バンド調整ユニットにおけるマーカーが取得された映像フレームにおいて視認可能かどうかを判断する。

上述のように、バンド調整ユニットは、ＨＭＤが使用されて装着されるときに実質的に使用者の頭の後部へと配置される。このように、バンド調整ユニットにおけるマーカーは、少なくとも２つの前部のマーカーも視認可能である時点において視認可能である。この時点で、操作４２８において前部のＬＥＤと後部のＬＥＤとの間の距離を識別するために校正操作が実行できる。この操作において、少なくとも１つのフレームが調査され、前部の光学的ブロックにおける視認可能なマーカーとバンド調整ユニットにおける視認可能なマーカーとを分離する距離を推定するために慣性データが調査される。上述のように、複数のフレームは、ＨＭＤの動作と画像データにおける動作の変化とを識別するために分析されることができ、推定された分離距離を識別するためにこれらは共にマップ化される。

１つの実施形態において、ジャイロスコープデータ及び加速度計データを含み得る慣性データは、他のフレームに対して様々なフレームがＬＥＤの動作を示す様々な時点と関連する。いくつかの実施態様において、使用されるジャイロスコープは、フレーム毎の多数の比率でサンプルを提供することができ、これは前部のＬＥＤと後部のＬＥＤとの間で生じる動作量のかなり正確な推定を可能とする豊富なデータセットであり、分離距離の正確な推定を可能とする。いくつかの実施形態において、加速度計は、おおよそ毎秒２０００フレームまでの比率でサンプルを提供し、この情報は、ＨＭＤの位置及び回転を識別するために便利でもある。

１つの実施形態において、操作４３０は、フラグが検出されたかどうかを判断するために処理され、これはバンド調整ユニットに対するサイズの変化を示す。たとえば、バンド調整ユニットにおける回路は、ヘッドバンドに対して生じた変化及び／または変化量を示す信号、フラグまたは通信データを生じ得る。フラグが検出されない場合、操作は４３２へと移り、ここでＨＭＤの使用は、推定された分離距離を所定の位置に維持し、ＨＭＤの幾何学的モデルを関連付ける一方で、推定距離に対する更新が必要かどうかを判断するために付加的なフレーム及び慣性データの調査を継続できる。操作４３０においてフラグが設定されたことを検出された場合、方法は、操作４３４へと移行し、ここでヘッドバンドにおいて異なる距離が設定されたとみなされ、分離距離の新しい推定を要求する。ひとたび新しい分離距離が推定されると、新しい分離距離がＨＭＤ１０２の３次元モデルに対して付加され、ついでセッションの間、現在のセッションの間、またはＨＭＤのさらなる使用のために使用される。

図４Ｅは、ＨＭＤ１０２の前部ユニットのＬＥＤとＨＭＤの後部と関連したＬＥＤとの間の分離距離に対して校正を実行するために使用される別のフロー図の例示を示す。この例示において、ＨＭＤの映像フレームは、操作４４０において光学的位置及び方向の追跡のため使用されるマーカーを識別するために調査される。操作４４２において、前部のマーカー及び後部のマーカーが映像フレームにおいて視認可能かどうかが判断される。それらが視認可能ではない場合、前部ユニットにおけるそれらの固定された方向のため前部ユニットにおけるマーカーが分離間隔を変化させないので、その方法は、追跡のためにＨＭＤの前部ユニットにおいてマーカーの識別及び使用を継続する。それらは前部ユニットにおいて固定されるため、ＨＭＤの幾何学的モデルは、ＨＭＤの前部ユニットにおける既知の分離間隔と一致する。

操作４４４において、ひとたび前部のマーカー及び後部のマーカーが少なくとも１つのフレームにおいて視認可能となると、操作は、映像フレームデータ及びＨＭＤ慣性データからＨＭＤの前部のマーカーと後部のマーカーとの間の距離の推定を実行する。分離間隔の推定は、映像フレームデータの調査によって実行され、使用者が頭を動かし、こうして視認可能なＬＥＤの位置を所定の速度、方向、及び距離で動かすときに、それを慣性データに対して相互に関連させる。ひとたび推定距離が決定されると、推定距離の分離間隔がＨＭＤの最初の幾何学的モデルに対して付加される。

推定距離をモデルに対して付加することによって、ここで前部の視認可能なマーカーと後部の視認可能なマーカーとの間の推定された分離距離のためにモデルが校正された。操作４４６において、セッションが終了したかどうかが判断される。所定時間ＨＭＤが動かないときにセッションが終了したか、ＨＭＤが表面に配置され、しばらく動かされていないか、ＨＭＤがもはや画像データにおいて検出され得る使用者による動きを示さないか、センサー指示器がセッションの終了を示すフラグを生成しているか、ゲームコードが相互作用的にゲームにより終了されたか、使用者がユニットを停止させたか、使用者がユニットをスリープモードにしたか、または、使用者がＨＭＤの運動追跡を必要としないディスプレイデータまたは案内スクリーンまたは設定と相互作用しているか、等が判断されることができる。したがってセッションが終了されたとき、前部のマーカーと後部のマーカーとの間の距離が次の使用者または次のセッションのために更新されなければならないことが決定される。

操作４４６によって決定されたようにセッションが終了されなかった場合、操作４４８において調整されたヘッドバンドを示すフラグが設定されたかどうかを決定するための判断が実行される。ヘッドバンドが調整され、フラグが設定される場合、システムは、前部のマーカーと後部のマーカーとの間の距離が次のセッションまたは連続的なプレイまたは使用のために更新されるべきことを要求する。操作４４８においてフラグが設定されない場合、使用中に推定距離を改善するためのシステムが進行し得る。上述のように、これは、周期的にまたは使用者が前部のＬＥＤをカメラに対して露出させた後にのみ、ＨＭＤの側部をカメラに対して露出させるたびに実行される。

いくつかの実施形態において、推定距離が算出され得るが、校正は、幾何学的モデルに対して自動的に更新されない。この例示において、校正は、校正の１つが実質的に異なるまたは許容できる限界値を越える推定距離を識別するまで連続的に実行されるように継続され、これにより、継続される使用のために新しい校正された推定距離が幾何学的モデルに付加される。

１つの実施形態において、おおよそ５０ｍｍまでの推定された分離距離の変化が限界値内であるか（またはおおよそ３０ｍｍまでの推定された分離距離の変化が限界値内であるか、またはおおよそ２０ｍｍまでの推定された分離距離の変化が限界値内であるか、またはおおよそ１５ｍｍまでの推定された分離距離の変化が限界値内であるか、またはおおよそ１０ｍｍまでの推定された分離距離の変化が限界値内であるか、またはおおよそ５ｍｍまでの推定された分離距離の変化が限界値内であるか）、且つ、追跡及びＨＭＤのマルチメディアコンテンツの伝送に悪影響を与えないか、が判断されてきた。いくつかの実施形態において、推定された分離距離がおおよそ数ｍｍの値（たとえば、１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ、６ｍｍ、７ｍｍ、８ｍｍ、９ｍｍ、１０ｍｍ、１５ｍｍ、２０ｍｍ等）よりも大きく変化した場合、ついでソフトウェア及びシステムがＨＭＤのある位置として予想した位置に対する追跡位置における不一致を回避するために、新しい推定された分離距離が幾何学的モデルに対して付加される。こうした不一致が生じるとき、ＨＭＤにおいてレンダリングされた画像またはコンテンツが、正常ではない誤作動、ポップ、またはジャンプの類を示し得る。推定された分離距離における違いが所定のｍｍ値（たとえば、１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ、６ｍｍ、７ｍｍ、８ｍｍ、９ｍｍ、１０ｍｍ、１５ｍｍ、２０ｍｍ等）よりも小さく、最小である場合、ついで、画像が顕著な質の低下なくレンダリングするため、幾何学的モデルに対するいかなる更新も必要ないことを決定する。

いくつかの実施形態において、限界値または分離距離が変化する量は、ＨＭＤ１０２に表示されるコンテンツによって変化し得る。コンテンツが複雑またはかなり高度なグラフィック的に強化されたゲームのように、より精度を要求する場合、限界値はより低くても良い。コンテンツが頻繁に変更されないまたは実質的に固定され若しくはより相互作用的ではないウェブデータ、ウェブページまたは他のコンテンツである場合、限界値はより大きくなり得る。

図４Ｆは、さらに別の実施形態を示し、ＨＭＤの前部のマーカーと後部のマーカーとの間の分離間隔の距離を識別するために映像フレーム及び慣性データの調査が実行される。この例示において、操作４６０は、ＨＭＤの幾何学的モデルと、ＨＭＤのマーカーと、を識別する。ＨＭＤにおけるマーカーは、前部のマーカーと後部のマーカーとを含む。上述のように、前部のマーカーは、ＨＭＤの前部ユニットに対する設定方向において固定される。後部のマーカーは、調整可能なヘッドバンドに対して結合される。したがって、ヘッドバンドを調整することによって、後部のマーカーは、ＨＭＤの前部ユニットのマーカーに対してより遠くにまたはより近くに調整される。

２つの間の分離距離は、ＨＭＤの幾何学的モデルに対して距離が校正され得るように推定されなければならない。操作４６２において、使用者によって装着されるときに、ＨＭＤの映像フレームが取得される。操作４６４において、セッションの間または使用の間、ＨＭＤの取得された映像フレームにおいて前部のマーカー及び後部のマーカーが視認可能かどうかが判断される。それらが視認可能ではない場合、方法は、操作４６２において、分離間隔の距離、及び相対的方向及び形状が幾何学的に既知な、ＨＭＤの前部ユニットにおいて配置されたマーカーからの位置及び方向情報を用いてＨＭＤの映像フレームの取得を継続する。

操作４６６において、ＨＭＤからの加速度計のデータ及びジャイロスコープのデータを調査する間にＨＭＤの１つまたは複数のフレームが調査されなければならないことが決定される。カメラによって取得されたＨＭＤの１つまたは複数のフレームは、ついで加速度計のデータ及びジャイロスコープのデータに対して関連付けられる。慣性データと共に一連のフレーム及び関連した画像フレームを分析することによって、画像フレームにおいて視認可能な前部のマーカーと後部のマーカーとの間の分離距離が推定される。操作４６８において、校正が実行されたかどうかが判断される。校正がまだ実行されてなかった場合は、方法は、操作４７２へと移行する。操作４７２において、ＨＭＤの幾何学的モデルが校正される。

このように、幾何学的モデルは、操作４６６において判断されるような、前部のマーカーと後部のマーカーとの間の推定距離を含む。校正が過去に実行されたと判断された場合、方法は、操作４６８から操作４７０へと移行する。操作４７０において、校正が正確かどうかが判断される。上述のように、校正は、ヘッドバンドに対する調整が実行済みで、ヘッドバンドにおけるねじれが生じた、または、異なる推定された分離間隔を形成するようにヘッドバンドを調整した、またはＨＭＤを操作した別の使用者とＨＭＤが共有された場合に、正確に成り得る。

映像フレームを再調査することによって、異なる推定された分離間隔が決定された場合、前部のマーカー及び後部のマーカーが視認可能であり、且つこれらを慣性データと比較するとき、新しい推定された分離距離は許容される限界値より大きく、校正は操作４７２において更新される。校正が正確なままであり、または限界値内である場合、ついでＨＭＤの幾何学的モデルが校正され、最初に決定された前部のマーカーと後部のマーカーとの間の分離距離によって使用を継続する。

したがって、追跡さたれとき、且つ、少なくとも使用者によるＨＭＤの動作及び／または位置によって変化するマルチメディアコンテンツを示すとき、校正された幾何学的モデルは、ＨＭＤの位置及び方向を判断するために使用され続ける。上述のように、方法は、幾何学的モデルに対して付加されない校正を実行するために継続できるが、ＨＭＤのヘッドバンドに対するいくらかの変化または調整に応じて分離距離が更新されることを必要とするときに決定するために使用される。

図５Ａは、本発明に係る実施形態によるＨＭＤ１０２の上面図の例示を提供する。この例示において、ＨＭＤの前部ユニット１０２ａと関連した光学的ブロックが様々な構成要素を含むことが示される。光学的ブロック内に含まれるすべての構成要素を記載することなく、前部のＬＥＤと後部のＬＥＤとの間の推定された分離距離の追跡及び決定に有用ないくつかの構成要素が例示により示される。

ブロック５０２において、例示の構成要素は、加速度計５１０と、ジャイロスコープ５１２と、ＬＥＤ制御回路５１４と、画像処理回路５１６と、光学機器５１８と、ディスプレイスクリーン５２０と、クライアントシステム１０６と通信が実行されたときにＨＭＤに対してコンテンツをレンダリングするために使用される他の構成要素及び電気回路と、を含む。上述のように、ＨＭＤは、直接的にクライアントシステム１０６とローカルで通信されることができ、有線接続または無線接続によって接続が成され得る。１つの実施形態において、ＨＭＤは、ＨＭＤにより通信するための回路を含む。回路は、コンピューティングシステムに対して及びコンピューティングシステムから、信号及び／またはデータを送信及び受信するものであり得る。回路は、無線構成において、ワイヤレス通信リンクを含み得る。回路は、有線構成において、ＨＭＤとコンピューティングシステムとの間のプラグ着脱、接続、延長及び／または接触を可能とするケーブル接続及びインタフェースを含み得る。

いくつかの実施態様において、ＨＭＤ１０２の使用者は、コントローラ１０４または別の入力技術を用いてＨＭＤにおいてレンダリングされるコンテンツと相互作用され得る。別の実施形態において、ＨＭＤ１０２は、クラウドインフラとの通信を可能とするルーターまたはネットワーク構成要素と直接的に通信するための電気回路を含み得る。

さらに示されるように、ＨＭＤ１０２は、ヘッドバンド部分１０２ｄによって定義される付加的なヘッドバンドを含むことができる。付加的なヘッドバンドは、パッディングを含むことができ、ヘッドバンド１０２ｃから個別に調整され得る。ＨＭＤ１０２の上面図は、そこに配置されたＨＭＤを有する使用者の頭の図を提供する。さらに示されるのは、バンド調整ユニット１０２ｂ内で一体化されまたは含まれても良い選択的な構成要素５０４である。構成要素は、ある実施態様において、ブロック５０４ａ内に示された構成要素を含み得る。

ブロック５０４ ８０は、加速度計５２２と、ジャイロスコープ５２４と、フラグ５３０を生成するように構成されたヘッドバンド調整検出器５２６とを含む。フラグ５３０は、１つの実施形態において、回転ホイール４０４を調整することによるような、ヘッドバンドに対する調整が実行されたという検出がなされたときに設定される。別の実施形態において、ブロック５０４ｂは、バンド調整ユニット１０２ｂ内に配置され得る。例示において、バンド調整ユニット１０２ｂは、電気回路を含まないが、光学的ブロック（５０２）内に配置された電気回路をＬＥＤ５及び６に対して接続する簡易的なワイヤー接続を含む。

さらに別の実施形態において、ブロック５０４ｃは、加速度計５２２を含むことができ、或いは、フラグ５３０を生成するために使用されるヘッドバンド調整検出器５２６を含むことができる。したがって、当然のことながら、本明細書においてバンド調整ユニット１０２ｂと称される、ヘッドバンドの後部区分は、電気回路を含まないこともでき、または、慣性センサーからの出力によって位置のさらなる決定を可能とする付加的な電気回路を含むこともできる。

図５Ｃは、ＨＭＤ１０２を装着する使用者の側面図の例示を示し、ヘッドバンド１０２ｃ及びバンド調整ユニット１０２ｂに対して結合される一方で、前部ユニット１０２ａは、使用者の顔及び目の上に配置される。図５Ｃは、前部ユニット１０２ａを含む光学的ブロックの相対位置と、ヘッドバンド１０２ｃに対して結合されたバンド調整ユニット１０２ｂの位置と、を示すＨＭＤ１０２の側面図を図示する。

示されるように、ＨＭＤ１０２が使用者の頭の上に配置されるとき、光学的ブロック及びバンド調整ユニット１０２ｂの位置は、実質的に知られた相対的方向を有する。バンド調整ユニット１０２ｂが後部の加速度計及びジャイロスコープを含むように構成されたとき、ＨＭＤの後部及びＨＭＤの前部の両方からデータが取得されることができ、これは既に前部の加速度計及びジャイロスコープを含む。１つの実施形態において、慣性センサー、ＨＭＤの前部、及び後部のＨＭＤから得られるデータは、ＨＭＤの中心点（たとえば、使用者の頭が位置するおおよその中心）に対するように、構成要素の相対位置を決定するためにプロットされ得る。

たとえば、前部の加速度計及び後部の加速度計は、重力に対する回転の回転力及び角度に関するデータを生成することができる。実質的に通常の位置または静止位置において、光学的ブロックは、前部の加速度計によって決定された重力に対して略平行である。いくつかの位置において、後部の加速度計は、重力に対する回転角度を認識する。前部及び後部の加速度計から受信された位置及び方向データは、したがってヘッドバンドにおける調整がいつ実行されたのかを判断するためにマップ化されまたは監視され、前部のＬＥＤと後部のＬＥＤとの間の分離距離の再校正を要求する。別の実施形態において前部のＬＥＤと後部のＬＥＤとの間の相対的慣性データを調査することによって、カメラによって取得された映像フレームの調査に頼ることなく、簡易的にＨＭＤの前部区分及び後部区分の慣性データを用いることによって、分離距離が推定される。

したがって、ＨＭＤの前部区分と後部区分との間のおおよその中心点の分離距離を識別するために、前部の加速度計のデータと後部の加速度計のデータとの間のピッチ及び傾きを調査することが可能である。したがってヘッドバンドの調整は、中心に対する距離を変化させ、これは、ついで使用中のＨＭＤの正確な追跡を可能とするために、ＨＭＤの幾何学的モデルにおいて推定された分離距離を調整する必要性を信号送信する。さらに、前部において及び後部においてジャイロスコープを有することによって、ジャイロスコープのデータにおける誤差は、低減されることができ、これにより、差はキャンセルされ、または経時的に改善され得る。

したがって、ある実施態様において、後部のヘッドバンド内に加速度計がある場合、前部に対する後部の傾きを決定することが可能となる。これは、たとえば、バンドにおいて柔軟であり得ると信号送信し得る。この情報は、ついで、たとえばＨＭＤのスクリーンにおけるメッセージによるような推奨により使用者に対して通信され得る。

さらに、前部及び後部の加速度計及びジャイロによって、ヘッドバンドが前部の加速度計から離れる距離を推定することが可能となる。これは後部の加速度計がより大きい求心性の加速を認識するため（たとえばそれが前部のアームより長い「アーム」を移動するため）可能である。さらに、ＨＭＤがどのような速さで回転するのかを知っているので（たとえばジャイロによって）、加速度計がどれだけ遠くへ互いに離れているかを決定または推定することが可能である。この情報は、推定された分離距離を決定するために使用されることができ、これはついでＨＭＤ１０２の幾何学的モデルに対する校正として付加され、コンテンツのレンダリングの間、追跡のために使用される。

さらに、加速度計及びジャイロが共に後部のヘッドバンドに配置されるため、２つの独立した追跡「装置」を実行すること、及び、結果を平均化すること、または付加的な推定または合成を実行することが可能である。１つの実施形態において、前部のＬＥＤと後部のＬＥＤとの間のこの推定された分離間隔は、ＬＥＤの間の差となり得る。さらなる実施形態において、ＨＭＤの両方の側部が前部のＬＥＤと後部のＬＥＤとの間の分離間隔のため（たとえば、個別に）推定された場合、幾何学的モデルの両方の側部における使用のためのより最適な推定された分離距離に至るように結果を共に合成または融合することが可能となる。

図６Ａ〜図６Ｃは、１つの実施形態による、使用者の頭に装着されたときのＨＭＤ１０２の様々な図を示す。図６ａにおいて、ＬＥＤ２がＨＭＤ１０２の前面及び側面周りに配置され得ることが示される。ＬＥＤ４についても同様に配置され得る。このように、ＬＥＤ２及びＬＥＤ４は、共に前部から及び側部から視認可能である。使用者が側方へと回転したとき、ＬＥＤ６も視認可能であり、同様に、ＬＥＤ２及び／またはＬＥＤ４の少なくとも一方も視認可能である（たとえば、角度、傾き、方向、及び／または位置による）。後部区分１０２ｂは、ヘッドバンド１０２ｃに対して結合されて示されてもいる。

図６Ｂは、前部ユニットがカメラに面するときのＨＭＤ１０２を示す。この例示において、使用者が下方に面する場合、ＬＥＤ１及びＬＥＤ２が視認可能となり得るときにのみ可能である。しかしながら、使用者が見上げる場合、ＬＥＤ３及びＬＥＤ４は、カメラ１０８に対する使用者の頭の方向により、ＬＥＤ１及びＬＥＤ２によって視認可能となり得る。図６Ｃは上面図を示し、ＬＥＤ１及びＬＥＤ２及びＬＥＤ６及びＬＥＤ５が視認可能であっても良い。さらに示されるのは、後部区分１０２ｂにおける調整器である。さらに示されるのは、付加的な支持及び快適さを提供するために使用される第２のヘッドバンドであっても良いヘッドバンド部分１０２ｄである。ヘッドバンド部分１０２ｄは、それ自体の調整器を有し、しかしながら、その調整器は、概して前部のＬＥＤに対する後部のＬＥＤの空間の物理的位置に影響し得ない。

図７は、ＨＭＤの側面図を示す。この例示において、調整器４０４を有する後部区分１０２ｂが、時々引かれまたはねじられ得ることが示される。こうした変化は、前部のＬＥＤに対する後部のＬＥＤの校正された位置における調整を生じさせる。このような場合において、校正された分離距離に対する調整または更新が実行されることができ、ＨＭＤの幾何学的モデルも同様に更新される。

図８は、１つの実施形態による、使用の間ＨＭＤ１０２を装着する使用者を示す。この例示において、ＨＭＤが、カメラ１０８によって取得された映像フレームから得られる画像データを用いて追跡される８０２が示される。付加的に、コントローラは、カメラ１０８によって取得された映像フレームから得られる画像データを用いて追跡もされ得る８０４が示される。さらに示されるのは、ケーブル８０６を介してコンピューティングシステム１０６に対してＨＭＤが接続される構成である。１つの実施形態において、ＨＭＤは、同じケーブルから動力を得、または別のケーブルに接続することができる。さらに別の実施形態において、ＨＭＤは、特別な動力コードを不要とするために、再充電可能なバッテリーを有することができる。

図９を参照すると、本発明に係る実施形態による、ヘッドマウントディスプレイ１０２の例示の構成要素を図示する概略図が示される。当然のことながら、多かれ少なかれ構成要素は、可能とされる構成及び機能によってＨＭＤ１０２に含まれまたは外される。ヘッドマウントディスプレイ１０２は、プログラム指令を実行するためのプロセッサ９００を含んでも良い。メモリ９０２は、記憶の目的のために提供され、揮発性メモリ及び不揮発性メモリの両方を含んでも良い。使用者が視認し得る視覚的インタフェースを提供するディスプレイ９０４が含まれる。

ディスプレイ９０４は、単一のディスプレイによって、またはそれぞれの目のための分離したディスプレイスクリーンの形式で定義され得る。２つのディスプレイスクリーンが提供されるとき、左目及び右目映像コンテンツを個別に提供することが可能となる。それぞれの目に対する映像コンテンツの分離した呈示は、たとえば、３次元（３Ｄ）のコンテンツのより好適な没入型制御を提供することができる。上述のように、１つの実施形態において、第２のスクリーン１０７は、ＨＭＤ１０２の片目のための出力を用いることによって第２のスクリーンコンテンツを提供し、ついで２Ｄフォーマットにおいて表示するためのコンテンツをフォーマットする。片目は、１つの実施形態において、左目映像供給であり得るが、他の実施形態において、右目映像供給であり得る。

バッテリー９０６は、ヘッドマウントディスプレイ１０２のための動力源として提供されも良い。他の実施形態において、動力源は、動力に対する出力接続を含み得る。他の実施形態において、動力に対する出力接続及びバッテリー９０６が提供されても良い。運動検出モジュール９０８は、磁力計９１０、加速度計９１２、及びジャイロスコープ９１４のような任意の様々な種類の運動感度の高いハードウェアを含んでも良い。

加速度計は、反作用の力を生じさせる加速度及び重力を計測するための装置である。単一の及び複数の軸（例えば６軸）のモデルは、様々な方向における加速度の大きさ及び方向を検出することができる。加速度計は、傾き、振動、及び衝撃を検知するために使用される。１つの実施形態において、３つの加速度計９１２は、重力の方向を提供するために使用され、２つの角度のために（ワールドスペースピッチ及びワールドスペースロール）絶対基準を提供する。

磁力計はヘッドマウントディスプレイ近傍の磁場の強さ及び方向を計測する。１つの実施形態において、３つの磁力計９１０がヘッドマウントディスプレイ内で使用され、ワールドスペースヨー角のための絶対基準を確実とする。１つの実施形態において、磁力計は±８０マイクロステラである地磁場に範囲設定されるように設計される。磁力計は金属によって影響され、実際のヨーによって単調なヨー計測を提供する。磁場は、環境内の金属によって歪まされ得るものであり、これはヨー計測において歪みを生じさせる。必要であれば、この歪みはジャイロスコープまたはカメラのような他のセンサーからの情報を用いて校正されることができる。１つの実施形態において、加速度計９１２は、ヘッドマウントディスプレイ１０２の傾き及び方位を得るために磁力計９１０と共に使用される。

ジャイロスコープは、角運動量の原理に基づいて方向を計測または維持するための装置である。１つの実施形態において、３つのジャイロスコープ９１４は、慣性力の検知に基づいてそれぞれの軸線（ｘ、ｙ及びｚ）に亘る動作についての情報を提供する。ジャイロスコープは、高速回転の検知を支援する。しかしながら、ジャイロスコープは、絶対基準がなければ経時的にドリフトする。これは、周期的にジャイロスコープの再設定を必要とし、これは、対象、加速度計、磁力計等の視覚的追跡に基づいた位置／方向決定のような他の入手可能な情報を用いてなされ得る。

カメラ９１６は、実環境の画像及び画像ストリームを取得するために提供される。１つよりも多いカメラは、（選択的に）ヘッドマウントディスプレイ１０２において含まれても良く、後部に面するカメラ（使用者がヘッドマウントディスプレイ１０２のディスプレイを見るときに使用者から外方に方向付けられる）と、前部に面するカメラ（使用者がヘッドマウントディスプレイ１０２のディスプレイを見るときに使用者に向かって方向付けられる）と、を含む。付加的に、深度カメラ９１８が実際の環境における対象の深さ情報を検知するためにヘッドマウントディスプレイ１０２に含まれても良い。

ヘッドマウントディスプレイ１０２は、音声出力を提供するためのスピーカー９２０を含む。さらに、マイク９２２が実際の環境からの、周囲、環境、使用者等によってなされるスピーチからの音声を含む音声を取得するために含まれても良い。ヘッドマウントディスプレイ１０２は、使用者に対して触知性のフィードバックを提供するための触知性のフィードバックモジュール９２４を含む。１つの実施形態において、触知性のフィードバックモジュール９２４は、使用者に対して触知性のフィードバックを提供するようにヘッドマウントディスプレイ１０２の動作及び／または振動を生じさせることができる。

ＬＥＤ９２６は、ヘッドマウントディスプレイ１０２の状態の視覚的指示器として提供される。たとえば、ＬＥＤはバッテリーレベル、動力オン等を示しても良い。カードリーダー９２８は、ヘッドマウントディスプレイ１０２が読まれることを可能とするように且つ、情報がメモリカードに対して及びメモリカードから書き出されるのを可能とするように提供される。インタフェース９３０は、周辺機器の接続または（他の携帯可能な機器、コンピュータ等のような）他の機器への接続を可能とするインタフェースの１つの例示として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、ヘッドマウントディスプレイ１０２のより好適な接続性を可能とするように任意の様々なインタフェースが含まれても良い。

ＷｉＦｉ（登録商標）モジュール９３２は、無線ネットワーク技術を介したインターネットへの接続を可能とするように含まれても良い。さらに、ヘッドマウントディスプレイ１０２は、他の装置に対する無線接続を可能とするようにブルートゥース（登録商標）モジュール９３４を含んでも良い。通信リンク９３６は、他の装置への接続のために含まれても良い。１つの実施形態において、通信リンク９３６は、ワイヤレス通信のために赤外線伝送を使用しても良い。他の実施形態において、通信リンク９３６は、他の装置との通信のための任意の様々な無線または有線の送信プロトコルを使用しても良い。

入力ボタン／センサー９３８は、使用者のために入力インタフェースを提供するために含まれる。任意の様々な種類の入力インタフェースは、ボタン、ジェスチャー、タッチパッド、ジョイスティック、トラックボール等のように含まれても良い。超音波通信モジュール９４０は、超音波技術を介した他の装置との通信を容易とするためにヘッドマウントディスプレイ１０２において含まれても良い。

バイオセンサー９４２は、使用者からの生理学的データの検出を可能とするために含まれても良い。１つの実施形態において、バイオセンサー９４２は、使用者／特徴等を識別するために使用者の肌、声検出、目の網膜検出によって使用者の生体電子信号を検出するための１つまたは複数のドライ電極を含む。

前述のヘッドマウントディスプレイ１０２の構成要素は、単にヘッドマウントディスプレイ１０２において含まれても良い例示的構成要素として記載された。本発明に係る様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な前述の構成要素のいくつかを含んでもよくまたは含まなくても良い。ヘッドマウントディスプレイ１０２の実施形態は、付加的に本明細書において記載されないが、本明細書において記載された本発明に係る態様を容易とする目的のため技術的に知られた他の構成要素を含んでも良い。

当業者にとって当然のことながら、本発明に係る様々な実施形態において、前述の手動式装置は、様々な相互作用的機能を提供するためにディスプレイに表示された相互作用的アプリケーションと共に使用されても良い。本明細書に記載された例示的実施形態は、例示によってのみ提示され、限定により提供されるものではない。

１つの実施形態において、本明細書において記載されたクライアント及び／またはクライアント装置は、ヘッドマウントディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロン装置、及び／または手動操作式ゲームプレイ装置等を含んでも良い。概して、クライアントは、符号化された映像ストリームを受信し、映像ストリームを復号化し、結果としての映像を使用者、たとえばゲームのプレイヤーに対して示すように構成される。符号化された映像ストリームを受信するプロセス及び／または映像ストリームを復号化するプロセスは、概してクライアントの受信バッファにおいて人の映像フレームを記憶するプロセスを含む。映像ストリームは、クライアントと一体のディスプレイにおいてあるいはモニターまたはテレビのような分離した装置において使用者に対して示されても良い。

クライアントは、選択的に１よりも多いゲームプレイヤーをサポートするように構成される。たとえば、ゲームコンソールは、２人の、３人の、４人の、またはそれより多くの同時プレイヤー（たとえば、Ｐ１、Ｐ２、Ｐｎ）をサポートするように構成されても良い。これらのプレイヤーのそれぞれは、映像ストリームを受信または共有しても良く、あるいは、単一の映像ストリームは、特にそれぞれのプレイヤーのために生成された、たとえばそれぞれのプレイヤーの視点に基づいて生成された、フレームの領域を含んでも良い。任意の数のクライアントは、ローカル（たとえば共同設置）であることができ、または地理的に分散され得る。ゲームシステムに含まれるクライアントの数は、１つまたは２つから千、万またはそれ以上へと幅広く変更されても良い。本明細書において使用されたように、「ゲームプレイヤー」という語は、ゲームをプレイする人を示すために使用され、「ゲームプレイ装置」という語は、ゲームをプレイするために使用される装置を示すために使用される。いくつかの実施形態において、ゲームプレイ装置は、使用者に対してゲーム体験を伝えるために協働する複数のコンピューティング装置を示しても良い。

たとえば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを送信するために映像サーバーシステムと協働しても良い。１つの実施形態において、ゲームコンソールは、映像サーバーシステムから映像ストリームを受信し、ゲームコンソールは、レンダリングのためにＨＭＤ及び／またはテレビに対して映像ストリームを転送し、または映像ストリームを更新する。

さらに、ＨＭＤは、ビデオゲームコンテンツ、映画コンテンツ、映像クリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンボルゲームコンテンツ、会議電話／ミーティングコンテンツ、ソーシャルメディアコンテンツ（たとえば投稿、メッセージ、メディアストリーム、友人イベント及び／またはゲームプレイ）、映像部分及び／または音声コンテンツ、及びブラウザ及びアプリケーションを介したインターネット上のソースからの消費のために作成されたコンテンツ、及び、任意の形式のストリームコンテンツ、のような、生成されまたは使用された任意の形式のコンテンツを見るため、及び／または相互作用するために使用されることができる。当然のことながら、前述のコンテンツのリストは限定するものではなく、ＨＭＤにおいて見られる限り任意の形式のコンテンツがレンダリングされ、あるいはスクリーンまたはＨＭＤのスクリーンに対してレンダリングされ得る。

クライアントは、要求されるものではないが、受信された映像を変更するために構成されたシステムをさらに含む。たとえば、クライアントは、ビデオ画像等を切り取るために、１つのビデオ画像を別のビデオ画像に対して重ねるためにさらなるレンダリングを実行するように構成されても良い。たとえばクライアントは、Ｉ−フレーム、Ｐ−フレーム及びＢ−フレームのような様々な形式の映像フレームを受信し、且つ、これらのフレームを使用者に対して表示するための画像へと処理するように構成されても良い。いくつかの実施形態において、クライアントのメンバーは、さらなるレンダリング、共有化、３Ｄへの変換、２Ｄへの変換、歪み除去、サイジング、または映像ストリームにおける同等の操作を実行するように構成されても良い。クライアントのメンバーは、選択的に１よりも多い音声または映像ストリームを受信するように構成されても良い。

クライアントの入力装置は、たとえば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャー認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、位置指示装置、力フィードバック装置、運動検知装置及び／または位置検知装置、マウス、タッチスクリーン、神経インタフェース、カメラ、及び／またはまだ開発中の入力装置等を含んでも良い。

映像源は、たとえば、記憶装置のようなコンピュータ可読媒体に記憶されるハードウェア、ファームウェア、及び／またはソフトウェアのようなレンダリングロジックを含んでも良い。このレンダリングロジックは、ゲーム状態に基づいて映像ストリームの映像フレームを形成するように構成される。レンダリングロジックの全てまたは部分は、選択的に１つまたは複数のグラフィック処理装置（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて対象の間の３次元の空間関係を決定し及び／または適したテクスチャ等を適用するように構成された処理段階を概して含む。レンダリングロジックは、符号化された生の映像を生成し得る。例えば、生の映像は、アドビのフラッシュ（登録商標）標準、ＨＴＭＬ−５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等によって符号化されても良い。符号化プロセスは、装置におけるデコーダに対する送信のために選択的にパッケージされる映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートによって特徴付けられる。従来のフレームサイズは、８００×６００、１２８０×７２０（例えば７２０ｐ）、１０２４×７６８、１０８０ｐを含むが、任意の他のフレームサイズが使用されても良い。フレームレートは、毎秒の映像フレームの数である。映像ストリームは、様々な形式の映像フレームを含んでも良い。たとえば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームがディスプレイ装置において全てのマクロブロック／ピクセルをリフレッシュするための情報を含み、一方で、Ｐ−フレームはそのサブセットをリフレッシュするための情報を含む。Ｐ−フレームは、データサイズが概してＩ−フレームより小さい。本明細書において使用されるように、「フレームサイズ」という語は、フレーム内のピクセルの数を示すことを意味する。「フレームデータサイズ」という語は、フレームを記憶するために必要とされるバイト数を示すように使用される。

いくつかの実施形態において、クライアントは、汎用コンピュータ、特定用途のコンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティング装置、ポータブルゲーム装置、携帯電話、セットトップボックス、ストリームメディアインタフェース／装置、スマートテレビまたはネットワーク化されたディスプレイ、または本明細書において定義されたようなクライアントの機能性を満たすように構成されることができる任意の他のコンピューティング装置、であり得る。１つの実施形態において、クラウドゲームサーバーは、使用者によって使用されるクライアント装置の形式を検出するように構成され、使用者のクライアント装置に適したクラウドゲーム体験を提供する。たとえば、画像設定、音声設定、及び他の形式の設定は、使用者のクライアント装置のために最適化されても良い。

図１０は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１０７０は、地理的に分散され且つネットワーク１０８６を介して接続された使用者１０８２に対して複数の情報サービスを送信する。ＩＳＰは、株価更新のような１つの形式のサービスのみを送信することができ、または、放送メディア、ニュース、スポーツ、ゲーム等の様々なサービスを送信することができる。付加的に、それぞれのＩＳＰによって提供されたサービスは、動的であり、すなわち、サービスは、どの時点においても付加されることができ、または取り除かれ得る。したがって、特定の人に対して特定の形式のサービスを提供するＩＳＰは、経時的に変更し得る。たとえば、使用者は、彼女のホームタウンにいる間、使用者の近傍のＩＳＰによって供給されても良く、使用者は異なる街へ移動するときに異なるＩＳＰによって供給されても良い。ホームタウンのＩＳＰは、要求された情報及びデータを新しいＩＳＰへと送信し、これによって、使用者情報は、使用者を、使用者により近い、且つ、よりアクセスし易い新しい街の作成するデータに対して「追従させる」。別の実施形態において、使用者のために情報を管理するマスターＩＳＰとマスターＩＳＰからの制御下で使用者と直接的に接するサーバーＩＳＰとの間のマスターサーバー関係が確立されても良い。別の実施形態において、クライアントがこれらのサービスを送信することになる使用者に供給するのにより好適な位置にあるＩＳＰを作るために世界中を移動したときに、データは、１つのＩＳＰから別のＩＳＰへと送信される。

ＩＳＰ１０７０は、ネットワーク上で顧客に対してコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）１０７２を含む。ＡＳＰモデルを用いて提供されるソフトウェアは、時々オンデマンドソフトウェアまたはサービス型ソフトウェア（ＳａａＳ）とも称される。特定のアプリケーションプログラム（顧客関係管理等）に対するアクセスを提供する簡易な形式は、ＨＴＴＰのような標準プロトコルの使用による。アプリケーションソフトウェアは、ベンダーのシステムに属し、ＨＴＭＬを使用したウェブブラウザによって、ベンダーによって提供される特定用途のクライアントソフトウェアにより、またはシンクライアントのような他のリモートインタフェースにより、使用者によってアクセスされる。

広い地理的エリアに亘り送信されるサービスは、クラウドコンピューティングを使用することが多い。クラウドコンピューティングは、コンピューティングの様式であり、動的に拡張可能な且つたびたび仮想化されるリソースがインターネット上のサービスとして提供される。使用者は、彼らをサポートする「クラウド」内の技術インフラにおける専門家になる必要がない。クラウドコンピューティングは、サービス型インフラ（ＩａａＳ）、サービス型プラットフォーム（ＰａａＳ）、及びサービス型ソフトウェア（ＳａａＳ）のような異なるサービスに分割され得る。ソフトウェア及びデータがサーバーに記憶される一方で、クラウドコンピューティングサービスは、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供することが多い。クラウドという語は、コンピュータネットワーク図においてどのようにインターネットが示されるかに基づいて、インターネットのための象徴として使用され（たとえば、サーバー、記憶装置及びロジックを用いる）、それが包含する複雑なインフラのための抽象的概念である。

さらに、ＩＳＰ１０７０は、一人の及び複数のプレイヤーのビデオゲームをプレイするためにゲームクライアントによって使用されるゲーム処理サーバー（ＧＰＳ）１０７４を含む。インターネット上でプレイされる多くのビデオゲームは、ゲームサーバーに対する接続を介して操作する。概して、ゲームは、プレイヤーからデータを取得し、それを他のプレイヤーに対して分配する専用のサーバーアプリケーションを使用する。これはピアツーピア構成より効率的且つ効果的であるが、サーバーアプリケーションをホストするための分離したサーバーを必要とする。別の実施形態において、ＧＰＳは、プレイヤー間の通信を確立し、それらの各ゲームプレイ装置は、中心化されたＧＰＳに頼ることなく情報を交換する。

専用ＧＰＳは、クライアントとは別個に機能するサーバーである。こうしたサーバーは、データセンターに配置された専用ハードウェアにおいて概して機能し、より高い処理能力及び専用の処理パワーを提供する。専用サーバーは、多くのＰＣベースの複数プレイヤーのゲームのためのゲームサーバーをホストするための好適な方法である。専用サーバーにおいて実行される大規模な複数のプレイヤーのオンラインゲームは、通常ゲームタイトルを所有するソフトウェア会社によってホストされ、彼らがコンテンツを制御し且つ更新することを可能とする。

放送処理サーバー（ＢＰＳ）１０７６は、音声信号または映像信号を視聴者に対して分配する。かなり狭い視聴者の範囲への放送は、ナローキャスティングと称されることがある。放送配信の最後の工程は、いかに信号がリスナーまたは視聴者に対して届けられ、ラジオ局またはテレビ局のように放送局を介してまたはネットワークから直接的にアンテナ及び受信機へと送信されあるいはケーブルテレビまたはケーブルラジオ（または「ワイヤレスケーブル」）によって送信されるか、ということである。インターネットは、特に信号及び帯域幅が共有化されるのを可能とするマルチキャストによってラジオまたはテレビを受信者へと送っても良い。歴史的に、放送は、全国放送または地域放送のように地理的領域によって区切られてきた。しかしながら、高速インターネットの普及により、コンテンツは世界のほとんどいかなる国へも届き得るため、放送は、地理によって定義されない。

ストレージサービスプロバイダ（ＳＳＰ）１０７８は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰは、定期的なバックアップ及びアーカイブも提供する。記憶装置をサービスとして提供することにより、使用者は、必要に応じてさらなる記憶装置をオーダーすることができる。別の主要な利点は、ＳＳＰがバックアップサービスを含み、使用者はコンピュータのハードドライブが故障した場合であっても全てのデータを失わないということである。さらに、複数のＳＳＰは、使用者のデータの全体のまたは部分的なコピーを有することができ、使用者は、使用者がどこにいるのかに関係なく、またはデータにアクセスするのに使用される装置に関係なく、効率的な方法でデータにアクセスすることを可能とする。たとえば、使用者は、使用者が移動中の携帯電話におけるアクセスと同様に、家のコンピュータにおいて個人的なファイルにアクセスすることができる。

通信プロバイダ１０８０は、使用者に対して接続性を提供する。一種の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰはダイアルアップ、ＤＳＬ、ケーブルモデム、ファイバー、ワイヤレスまたは専用の高速相互接続のようなインターネットプロトコルデータグラムの配信に適したデータ伝送技術を用いてその顧客を接続する。通信プロバイダは、ｅメール、インスタントメッセージ、及びＳＭＳテキストのようなメッセージサービスを提供することもできる。別の形式の通信プロバイダは、インターネットに対する直接的な基幹アクセスを提供することにより回線容量またはネットワークアクセスを売るネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、高速インターネットアクセスを提供する電気通信会社、データキャリア、ワイヤレス通信プロバイダ、インターネットサービスプロバイダ、ケーブルテレビオペレータ等で構成される。

データ交換１０８８は、ＩＳＰ１０７０内の複数のモジュールを相互連結させ、これらのモジュールを、ネットワーク１０８６を介して使用者１０８２へと接続する。データ交換１０８８は、ＩＳＰ１０７０の全てのモジュールが近傍にある小さなエリアをカバーすることができ、または異なるモジュールが地理的に分散されるときに大きな地理的エリアをカバーすることができる。たとえば、データ交換１０８８は、データセンターのキャビネット内の高速なギガビットイーサネット（登録商標）（またはより高速な）または大陸間仮想エリアネットワーク（ＶＬＡＮ）を含むことができる。

使用者１０８２は、クライアント装置１０８４により遠隔サービスにアクセスし、これは、少なくともＣＰＵ、ディスプレイ及びＩ／Ｏを含む。クライアント装置は、ＰＣ、携帯電話、ネットブック、タブレット、ゲームシステム、ＰＤＡ等であり得る。１つの実施形態において、ＩＳＰ１０７０は、クライアントによって使用される装置の形式を認識し、使用される通信方法を調整する。他の場合において、クライアント装置は、ＩＳＰ１０７０にアクセスするためにｈｔｍｌのような標準の通信方法を使用する。

本発明に係る実施形態は、手動操作式装置、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電子機器、ミニコンピュータ、及びメインフレームコンピュータ等を含む様々なコンピュータシステム構成によって実行されても良い。さらに本発明は、ワイヤーベースのネットワークまたはワイヤレスネットワークによってリンクされた遠隔処理装置によってタスクが実行される分散コンピューティング環境において実行され得る。

上述の実施形態を考慮し、本発明が、コンピュータシステムに記憶されたデータを伴う様々な、コンピュータにより実施される操作を使用できることに留意されたい。これらの操作は、物理量の物理的操作を要するものである。本発明の部分を構成する本明細書に記載されたいかなる操作も有益な機械操作である。本発明は、さらにこれらの操作を実行するための装置または機器に関する。装置は、必要な目的のために特に構成されることができ、または装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動されまたは構成される汎用コンピュータであり得る。特に、様々な汎用機械は、本明細書における技術にしたがって書かれたコンピュータプログラムによって使用されることができ、または、必要な操作を実行するためのより特化された機器を構成するとより好適になる。

本発明は、コンピュータ可読媒体におけるコンピュータ可読コードとしてさらに具現化され得る。コンピュータ可読媒体は、データを記憶でき、したがってコンピュータシステムにより読まれ得る任意のデータ記憶装置である。コンピュータ可読媒体の例示は、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み込み専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが離散された方法で記憶され且つ実行されるような、ネットワーク結合されたコンピュータシステムに亘り離散したコンピュータ可読有形媒体を含むことができる。

方法操作は特定の順序で説明されたが、当然のことながら、操作の間において他の維持管理操作が実行されても良く、または操作はわずかに異なる時間においてそれらが生じるように調整されても良く、またはシステムにおいて離散されても良く、これは、重複操作の処理が目的とする方法において実行されるかぎり、処理と関連した様々な間隔で処理操作が生じるのを可能とする。

理解の明確化の目的のためいくらかの詳細において前述の発明が説明されてきたが、特定の変形及び変更が添付の特許請求の範囲の範囲内で実行され得ることは明らかである。したがって、本実施形態は、限定するものではなく例示として考慮されるべきものであり、本発明は、本明細書において提供された詳細に限定されるべきものではなく、添付の特許請求の範囲の範囲内及び均等内において変更され得る。

Claims (24)

1. カメラを用いて映像フレームを取得することであって、前記映像フレームがヘッドマウントディスプレイ（ＨＭＤ）におけるマーカーを取得するように構成され、前記ＨＭＤにおける前記マーカーが、前記ＨＭＤによって表示されるマルチメディアコンテンツのレンダリングの間に生成された場面の変化を処理するため前記ＨＭＤの位置及び方向を判断するために前記取得された映像フレームにおいて分析される、前記映像フレームを取得することと、
   前記ＨＭＤの前部ユニットにおけるマーカーと前記ＨＭＤの後部区分におけるマーカーとの間の分離距離を推定することであって、前記前部ユニット及び前記後部区分が、調整可能なヘッドバンドによって共に結合され、前記推定することが、前記映像フレームが取得されたときに取得された複数の映像フレーム及び慣性データを分析することを含み、前記分析することが、前記ＨＭＤの前記前部ユニットにおける前記マーカーと前記ＨＭＤの前記後部区分におけるマーカーとの間の推定された分離距離を生成する、前記分離距離を推定することと、を備える方法であって、
   前記推定された分離距離は、前記前部ユニット及び前記後部区分におけるマーカーが前記取得された映像フレームから取得され且つ分析されたときに前記ＨＭＤの位置及び方向のさらなる追跡の間に使用される、方法。
2. 複数の前記取得された映像フレーム及び慣性データを分析することが、前記複数の前記取得された映像フレームの前記処理の間に取得された慣性データを追跡することを含み、前記慣性データが前記ＨＭＤの回転の変化及び位置の変化を数値化する値の組を生成し、前記値の組が、前記複数の前記取得された映像フレームの画像データにおける前記ＨＭＤの前記マーカーの位置を識別するのにマップ化される、請求項１に記載の方法。
3. 前記前部ユニットにおける前記マーカー及び前記後部区分における前記マーカーが前記取得された映像フレームにおいて識別されたときに、前記マーカーの前記識別された位置に対する前記値の組の前記マップ化が、前記推定された分離距離を生成する、請求項２に記載の方法。
4. 前記前部ユニットにおける前記マーカーと前記後部区分における前記マーカーとの間の現在の分離距離を前記生成された推定された分離距離で更新することによって前記ＨＭＤの幾何学的モデルを校正することをさらに備える、請求項３に記載の方法。
5. 前記推定された分離距離が、前記ＨＭＤの左側及び右側のそれぞれが、前記ＨＭＤの前部ユニットにおけるマーカーと、前記ＨＭＤの後部区分におけるマーカーと、を含むように、前記ＨＭＤの左側のため及び前記ＨＭＤの右側のために個別に処理される、請求項４に記載の方法。
6. 前記前部ユニットが前面及び側面を含み、前記前面及び側面の間の交差部が、少なくとも４つの遷移角部を形成し、前記遷移角部のそれぞれがマーカーを含む、請求項１に記載の方法。
7. 前記遷移角部における前記マーカーが、前記カメラから見たときに実質的な矩形配置を形成する、請求項６に記載の方法。
8. 前記遷移角部における前記マーカーのそれぞれが、発光ダイオード（ＬＥＤ）によって形成され、前記ＬＥＤは、照明形状が部分的に前記前面に配置され且つ部分的に前記側面に配置されるような、部分的に前記遷移角部を覆う前記照明形状を有する、請求項７に記載の方法。
9. レンダリングの間生成された少なくともいくつかの前記場面の前記変化が、使用セッションの間に経時的に前記ＨＭＤの前記判断された位置及び方向から生成された動作に基づいて前記場面内の視界及び前記場面周りの視界が変化することである、請求項１に記載の方法。
10. 前記マルチメディアコンテンツが、ビデオゲームコンテンツ、映画コンテンツ、インターネットコンテンツ、相互作用的コンテンツ、映像会議コンテンツ、音声コンテンツ、映像クリップコンテンツ、仮想ツアーコンテンツ、またはこれらの組み合わせの、１つまたは複数を含む、請求項１に記載の方法。
11. 前記マルチメディアコンテンツがビデオゲームコンテンツであるとき、前記取得された映像フレームにおけるゲームコントローラと関連したマーカーを識別することをさらに含み、前記ゲームコントローラの前記マーカーが、前記ゲームプレイのセッションの間、前記ＨＭＤの追跡と共に、位置及び方向を追跡される、請求項１０に記載の方法。
12. 前記ゲームコントローラが、前記ＨＭＤにおいてレンダリングされたビデオゲームコンテンツと相互作用するように使用され、前記ＨＭＤの前記位置及び方向が、前記ゲームコントローラの前記位置及び方向とは独立して追跡される、請求項１１に記載の方法。
13. 前記ＨＭＤの前記前部ユニットにおける前記マーカーと前記ＨＭＤの前記後部区分における前記マーカーとの間の前記分離距離を推定することを継続することと、
    新しい推定された分離距離が追跡のために現在使用される前記推定された分離距離との差を含むか否かを判断することと、
    前記差が所定の許容限界値を超えるときに、現在使用される前記推定された分離距離の代わりに前記新しい推定された分離距離を使用することと、をさらに備える、請求項１に記載の方法。
14. 前記ＨＭＤの前記後部区分における前記マーカーが、一対のマーカーを含み、前記後部区分における前記一対のマーカーのそれぞれが、照明のためのＬＥＤを有し、前記一対のマーカーが、既知の相対的に固定された分離間隔で前記後部区分において形成された、請求項１に記載の方法。
15. 前記後部区分が前記調整可能なヘッドバンドのサイズを増減させるための調整器を含む、請求項１に記載の方法。
16. 前記調整器に対して調整が成されたときに設定されたフラグを示す信号を受信することと、
    前記信号の受信に応じて新しい推定された分離距離を生成するために前記分離距離の前記推定を再処理することと、をさらに備える、請求項１５に記載の方法。
17. （ａ）コンピューティングシステムと、
    （ｂ）前記コンピューティングシステムと通信するヘッドマウントディスプレイ（ＨＭＤ）であって、
    （ｉ）マルチメディアコンテンツを表示するためのスクリーンを有する前部ユニットであって前記前部ユニットに配置されたマーカーと前記ＨＭＤの位置及び方向の変化を示す慣性データを生成するための慣性センサーとを有する前記前部ユニットと、
    （ｉｉ）調整可能なヘッドバンドによって前記前部ユニットに対して結合された前記ＨＭＤの後部区分であって前記後部区分に配置されたマーカーを有する前記後部区分と、含む、前記ＨＭＤと、
    （ｃ）前記コンピューティングシステムと通信するカメラであって、使用セッションの間に前記ＨＭＤの映像フレームを取得するように構成され、前記取得された映像フレームが、前記前部ユニットの前記マーカーと前記後部区分の前記マーカーとを含むように構成された、前記カメラと、を備えるシステムであって、
    前記コンピューティングシステムが、前記生成された慣性データに対して前記前部ユニット及び前記後部区分の前記マーカーを識別するために前記取得された映像フレームを処理し、前記処理が、前記前部ユニットの前記マーカーと前記後部区分の前記マーカーとの間の推定された分離間隔を生成する、システム。
18. 前記マーカーが前記前部ユニット及び前記後部区分の表面において形成された形状を照光するように構成される発光ダイオードによって形成された、請求項１７に記載のシステム。
19. 前記後部区分が、前記調整可能なヘッドバンドを伸張及び収縮させるための調整器を含む、請求項１７に記載のシステム。
20. 前記後部区分が、前記調整可能なヘッドバンドのサイズを変更するための調整器を含み、前記調整器が、前記サイズの変化を示すフラグを生成するヘッドバンド調整検出器をさらに含み、前記フラグが、前記推定された分離間隔の再校正を生じさせるための前記コンピューティングシステムによって処理される、請求項１７に記載のシステム。
21. 前記ＨＭＤの前記慣性センサーが加速度計及びジャイロスコープを含む、請求項１７に記載のシステム。
22. 前記ＨＭＤの前記マーカーが、前記カメラによる前記ＨＭＤの追跡を向上させるために照光するように構成されたＬＥＤによって形成され、前記ＬＥＤがＬＥＤ制御回路によって起動される、請求項１７に記載のシステム。
23. 前記ＨＭＤが、光学機器と、前記スクリーンにおいて表示される前記マルチメディアコンテンツを処理するための画像処理回路とを含む、請求項１７に記載のシステム。
24. 前記前部ユニットにおける前記マーカーが前記前部ユニットの前面の角部に配置された４つのＬＥＤによって形成され、前記後部区分における前記マーカーが、２つのＬＥＤを含む、請求項１７に記載のシステム。