JP2019502971A - ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法 - Google Patents

Abstract

【解決手段】ユーザの頭の傾きを補正するために、対話型ＨＭＤセッション中にユーザに表示されるコンテンツを調整するシステム及び方法。ユーザの頭の傾きにより、表示コンテンツは、ユーザがＨＭＤの画面で快適に視聴できる領域からオフセットして表示されることになる。オフセットは多数の方法で決定され、次いで表示画像は、オフセットを低減するか、または実質的に排除するように調整される。調整は、起立、着座、リクライニング、横になること等、対話型ＨＭＤセッション中に起こり得るユーザの様々な姿勢に対して補正することができる。ユーザの頭の傾きはユーザの体勢、体形により発生するか、またはユーザが意図せず自分の頭を傾けてしまう原因となる矯正レンズにより発生することがある。【選択図】図５Ａ

Description

本開示は、概して、仮想環境に関するものであり、より詳細には、ユーザの視線方向の検出を基に、及び／または矯正レンズを着用したユーザの視線方向を基に、ヘッドマウントディスプレイ（ＨＭＤ）の画面上でコンテンツの配置を最適化する方法及びシステムに関する。

人間とコンピュータとの対話分野において急成長している技術の１つに、種々のヘッドマウントディスプレイ（ＨＭＤ）がある。ＨＭＤはユーザの頭に装着されてよく、ユーザの片方または両方の目の前に１つまたは２つのディスプレイを有する。この種のディスプレイには仮想現実のシミュレーションを伴う商業的用途が複数あり、ビデオゲーム、医薬、スポーツ訓練、エンターテイメント及びその他の用途が含まれる。ゲーム分野では、これらのディスプレイを使用して、例えば、３次元（３Ｄ）の仮想ゲーム世界をレンダリングすることがある。

ＨＭＤの分野はこれまでに大きく発展してきたが、ＨＭＤに提示される仮想環境に仮想オブジェクトをレンダリングすることによって実際のユーザ対話に物理的な現実性をもたらすには、さらなる技術の発展が必要である。

この点に関し、以下の実施形態が提案される。

広義には、本開示は、ＨＭＤを装着しているユーザの頭の傾きを補正するために、ＨＭＤの画面上に表示される画像を動的に調整するシステム及び方法を提供することによって、これらのニーズを満たす。記載の通り、頭の傾きは、ユーザが矯正眼鏡または２焦点の眼鏡を装着していること、あるいはユーザの視聴姿勢に起因している可能性がある。種々の例では、ユーザが自分の頭を傾けて直接見るとき、ユーザは、自分の矯正眼鏡の２焦点ラインを通じて直接的に見ることを避けるためにそうしていることがある。いくつかの場合では、ユーザは２焦点ラインを腸内で回避しているわけではなく、習慣や傾向により、ユーザはなおも自分の頭を（例えば、下に）傾ける傾向を有することがあり、これは眼鏡の２焦点ラインの上部分越しに見ることに似ている。他の場合、ユーザは、自分の頭を上に、さらには横に傾けるか、あるいは頭をあらゆる角度に傾けることがある。１つの構成では、所与のユーザによって行われた頭の傾き量を検出するために較正プロセスを実行することができ、この傾きが、例えばオフセットによって定量化されると、ＨＭＤに表示されたコンテンツに対して調整を行うことができ、これにより、傾きが排除されるか、最小化されるかまたは低減され、ゆえに、ユーザにとってより快適な視聴姿勢を提供する。例えば、コンテンツを上、下またはある角度等にシフトすることによってコンテンツを調整する別の利点は、ユーザが特定の（例えば、ゲームまたはアプリケーション内の）コンテンツに焦点を合わせるように求められるとき、ユーザの頭の動きが意図した方位と一致することである。したがって、さらなる正確性がユーザに提供され、特定のコンテンツに焦点を合わせるためにＨＭＤを用いて行われる動きは、ユーザが見たり、相互作用したり、注視したり、または視聴により選択したり、あるいはそれらの組み合わせを行うよう要求される場面内のコンテンツまたはオブジェクトに対してより正確に向けられるようになる。

本開示は、プロセス、装置、システム、コンピュータ可読媒体またはデバイスを含む多数の方法で実施することができることを理解されたい。本開示のいくつかの発明の実施形態を以下に説明する。

１つの実施形態は、レンダリングされてＨＭＤ上に表示される複数の仮想現実場面を含む仮想現実環境を生成することができるコンピューティングデバイスに結合されたヘッドマウントディスプレイを含む仮想現実システムを提供する。コンピューティングデバイスは、ユーザ入力デバイスまたはＨＭＤからの入力を受信するための入力デバイスインターフェースを含むことができる。入力デバイスインターフェースは、ＨＭＤに表示するコンテンツを選択するための命令を処理する。コンピューティングデバイスはさらに、ＨＭＤ内の選択されたコンテンツを仮想現実場面の形態にレンダリングする仮想現実空間生成モジュールと、ＨＭＤ移動モジュールとを含むことができる。ＨＭＤ移動モジュールは、実空間におけるＨＭＤの動きを追跡するために提供することができる。いくつかの実施形態では、追跡は、ＨＭＤに搭載された慣性センサを使用して行うことができる。他の実施形態では、追跡は、例えば、ＨＭＤ上に配置されたＬＥＤまたは他の指標など、ＨＭＤの取得画像を使用して行うことができる。さらに、慣性追跡と画像追跡との両方によって追跡を行うことができる。１つの構成では、実空間におけるＨＭＤの第１の配置及びポーズを識別するために追跡を行うことができる。ＨＭＤ移動モジュールはさらに、ユーザが対象となる特定のオブジェクト（例えば、場面内のコンテンツ、ターゲットレチクル等）を見ているときに、ＨＭＤの第２の配置及びポーズを識別することができる。１つの実施形態では、第１の配置と第２の配置との間のオフセットが特定され、対象となる特定のオブジェクトを見ているときにユーザが行う頭の傾きの補正量を通知する。オフセットを使用すると、場面内でレンダリングされたコンテンツを調整またはシフトできるため、ユーザはオブジェクトを見るために頭を傾ける必要がないか、またはさほど頭を傾ける必要がない。いくつかの実施形態では、オフセットを使用している場面を調整することによって、より相関性の高いコンテンツをユーザに表示することが可能になり、これにより、システムは、ユーザがＨＭＤに表示される特定のコンテンツを見ている時間を知ることができる。

利点は、ユーザが場面内の特定のコンテンツを見ようとしているときに、ユーザの頭の動きが、ユーザが見ようとしている位置またはコンテンツに対応することである。１つの例として、ユーザに特定のコンテンツを見るか注視することを要求するアプリケーションまたはゲームでは、ユーザは自分の頭を動かして特定の位置を見る。ユーザのオフセットを知ることによって、場面内でコンテンツの配置を修正することが可能であり、これにより、対象のコンテンツを正確に視聴したり、見たり、注視したり、または識別したりすることができる。上述の通り、オフセットは較正ステージ中に測定することができ、オフセットはユーザのプロファイルに保存することができる。他の方法では、ユーザがコンテンツと対話している間にオフセットを動的にまたは受動的に測定することができる。例えば、ユーザが特定のコンテンツを正確に見ていないか、または注視していないことをシステムが認識した場合、オフセットのバックグラウンド測定を行うことができる。時間の経過とともに、オフセットが繰り返される場合、ユーザが頭の傾きによるオフセットを実際に有するということを、ある程度の確実性をもって仮定することができる。場面コンテンツにおけるこの調整は技術的な進歩であり、これは、ユーザの自然なポーズまたは頭を傾ける習慣に正確に適合しないＨＭＤシステム、あるいは矯正眼鏡を着用するユーザを考慮しないＨＭＤシステムを提供することを回避する。しかしながら、単に頭を傾ける習慣がある人もいるため、ユーザが頭を傾けることまたはユーザの頭をいくらか傾けて見る習慣は、矯正眼鏡を装着していることのみに起因するわけではないと理解されたい。

１つの実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）の画面上に表示されたときの場面の配置を最適化する方法を提供する。この方法は、３次元空間でＨＭＤの初期方向を検出することを含むことがあり、ＨＭＤの初期方向は、ユーザの快適な視聴配置である。オブジェクトは、ＨＭＤの画面上に表示された場面内の選択された位置において場面内でレンダリングされる。ユーザは、表示されたオブジェクトを注意して見るようにプロンプトされ、ＨＭＤの指示方向が検出される。初期方向と指示方向との間の３次元空間におけるオフセットを決定することができる。このオフセットは、ＨＭＤの画面上に表示される後続場面の配置を調整するために適用することができる。オフセットはさらに、ユーザがＨＭＤを使用しているときに常時、オフセットを呼び出すことができるよう、ユーザのプロファイルに保存することができる。オフセットは、ユーザがＨＭＤを使用している間に、常に監視及び調整することができる。

本開示の他の態様及び利点は、本開示の原理を例として示す添付の図面と併せて、以下の発明を実施するための形態から明らかになるであろう。

本開示は、添付の図面と併せて以下の発明を実施するための形態から容易に理解されるだろう。

開示の実施形態による、ビデオゲームの対話型ゲームプレイのためのシステムを例示する。

開示の実施形態による、ＨＭＤを例示する。

ユーザのＨＭＤにビデオゲームコンテンツをレンダリングすることができるクライアントシステムを使用したゲームプレイの１つの例を例示する。

開示の実施形態による、使用中にＨＭＤを装着しているユーザを例示する。

開示の実施形態による、使用中のＨＭＤを例示する。

開示の実施形態による、人間の様々な体勢を例示する。 開示の実施形態による、人間の様々な体勢を例示する。 開示の実施形態による、人間の様々な体勢を例示する。

開示の実施形態による、ＨＭＤを装着している人間の様々な体勢を例示する。 開示の実施形態による、ＨＭＤを装着している人間の様々な体勢を例示する。

開示の実施形態による、ユーザの目とＨＭＤの画面上に表示されている画像内のレチクルとの間に挿入される矯正レンズを例示する。 開示の実施形態による、ユーザの目とＨＭＤの画面上に表示されている画像内のレチクルとの間に挿入される矯正レンズを例示する。 開示の実施形態による、ユーザの目とＨＭＤの画面上に表示されている画像内のレチクルとの間に挿入される矯正レンズを例示する。 開示の実施形態による、ユーザの目とＨＭＤの画面上に表示されている画像内のレチクルとの間に挿入される矯正レンズを例示する。

開示の実施形態による、ＨＭＤの画面上に表示される画像を見ている間にユーザが頭を傾ける様子を例示する。 開示の実施形態による、ＨＭＤの画面上に表示される画像を見ている間にユーザが頭を傾ける様子を例示する。

開示の実施形態による、ＨＭＤに表示されるレンダリング画像を頭の傾きに対して調整するシステムの簡略化した模式図である。

開示の実施形態による、コンテンツソースの簡略化した模式図である。

開示の実施形態による、ＨＭＤに表示される画像を調整するときに行われる動作方法を例示するフローチャートである。

開示の実施形態による、ＨＭＤの動きを追跡するときに行われる動作方法を例示するより詳細なフローチャートである。

開示の実施形態による、ヘッドマウントディスプレイの例示的な構成要素を例示する図である。

情報サービスプロバイダアーキテクチャの実施形態を例示する。

ここで、ＨＭＤを装着しているユーザの頭の傾きに対して補正するために、ＨＭＤの画面上に表示される画像を動的に調整するためのいくつかの実施形態例について説明する。当業者であれば、本明細書に記載された特定の詳細の一部または全てがなくても、本開示が実施され得ることは明らかであろう。

ユーザがＨＭＤを着用すると、ユーザは、頭をわずかに前向きに傾けるなど、１つの方位または別の方位に頭を傾けることが多い。その結果、ＨＭＤ内に表示している画像は、ユーザの中心視と適切に整合しないことがある。この画像の不整合は、ユーザに眼精疲労を引き起こし、仮想環境とのユーザの対話の精度を低下させる可能性がある。例えば、ユーザは、ＨＭＤを使用して、仮想環境内の複雑なデバイスを組み立てる難解なタスクを行うことがある。しかしながら、画像の不整合により、ユーザが複雑なデバイス内で構成要素を常に誤って配置してしまう可能性がある。ユーザの頭の傾きを補正するためにＨＭＤ内の画面上に表示される画像を調整する１つの手法は、ユーザの頭の傾きによって引き起こされるオフセットを決定し、次いで、オフセットを補正するために、表示された画像を上、下、片側またはその組み合わせにシフトすることを含む。ユーザの頭の傾きによる画像の不整合を修正することは、ユーザとＨＭＤの仮想環境との間のよりシームレスな対話に繋がる。ユーザの頭の傾きによる画像の不整合を修正することによって、ユーザはさらに、ＨＭＤの使用中に複数の異なる頭の傾きを行うことができる。ユーザは、ある特定の方向または傾きで頭を長時間保持すると最終的に不快感及び疲労を感じる可能性があるが、これを行う必要がないため、より快適な使用が可能になる。

図５Ａ〜図１１を参照して、頭の傾きの検出及び補正に関連するより詳細な説明を行う。全ての図面を理解するように理解されたいが、特定の実施態様を定義するために、実施形態を種々の構成で組み合わせて組み立ててよい。

図１は、開示の実施形態による、ビデオゲームの対話型ゲームプレイのためのシステムを例示する。ユーザ１００は、ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着して示される。ＨＭＤ１０２は、眼鏡、ゴーグルまたはヘルメットと類似した方法で装着され、ビデオゲームまたは他のコンテンツをユーザ１００に対して表示するように構成される。ＨＭＤ１０２は、ユーザの目の近傍にあるディスプレイ機構（例えば、光学及びディスプレイ画面）及びＨＭＤに対して配信されるコンテンツの形式を供給することで、没入型の体験をユーザに提供するように構成される。１つの例示では、ＨＭＤ１０２は、それぞれのユーザの目に対してディスプレイ領域を提供してよく、これは、ユーザの視野の大部分を占めるか、または全体をも占める。ＨＭＤ画面は、毎秒約３０〜約５００フレーム（Ｈｚ）のリフレッシュレートを有することができる。１つの実施態様では、ＨＭＤ画面は、約６０または約１２０Ｈｚの選択可能なリフレッシュレートを有することができる。

１つの実施形態では、ＨＭＤ１０２は、コンピュータ１０６に接続され得る。コンピュータ１０６への接続１２２は、有線または無線になり得る。コンピュータ１０６は、限定されるものではないが、ゲームコンソール、パーソナルコンピュータ、ノートパソコン、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリームデバイス等を含む、任意の汎用のまたは特定用途のコンピュータであり得る。いくつかの実施形態では、ＨＭＤ１０２は、インターネットなどのネットワーク１１０に直接接続してよく、個別のローカルコンピュータを必要とせずにクラウドゲームが可能になり得る。１つの実施形態では、コンピュータ１０６は、ビデオゲーム（及び他のデジタルコンテンツ）を実行するように構成されてよく、ＨＭＤ１０２によるレンダリングのためにビデオゲームから映像及び音声を出力する。コンピュータ１０６は、本明細書においてクライアントシステム１０６とも呼ばれ、これは１つの例では、ビデオゲームコンソールである。

コンピュータ１０６は、いくつかの実施形態では、ローカルコンピュータまたはリモートコンピュータであってよく、コンピュータは、エミュレーションソフトウェアを実行してよい。クラウドゲームの実施形態では、コンピュータ１０６は遠隔にあり、データセンタにおいて仮想化され得る複数のコンピューティングサービスによって表されてよく、ゲームシステム／ロジックは、ネットワーク１１０上でユーザに対して仮想化され分散化され得る。

ユーザ１００は、ビデオゲームのための入力を提供するためにコントローラ１０４を操作してよい。１つの例示では、カメラ１０８は、ユーザ１００が位置する対話型環境の画像を取得するように構成され得る。これらの取得された画像は、ユーザ１００、ＨＭＤ１０２及びコントローラ１０４の位置及び動きを判断するために分析され得る。１つの実施形態では、コントローラ１０４は、その配置／位置及びポーズを判断するために追跡され得る１つの光源（または複数の光源）を含む。追加的に、以下でさらに詳細に記載する通り、ＨＭＤ１０２は、ゲームプレイの間に実質的にはリアルタイムでＨＭＤ１０２の配置及びポーズを判断するための指標として追跡され得る１つまたは複数の光源２００Ａ〜Ｋを含んでよい。

カメラ１０８は、対話型環境から音を取得するために１つまたは複数のマイクを含み得る。マイク配列によって取得された音は、音源の位置を識別するために処理されてよい。識別された位置からの音は、選択的に利用されてよいか、または識別された位置以外からの他の音を排除するために処理されてよい。さらに、カメラ１０８は、複数の画像取得デバイス（例えば、双眼写真カメラ）、ＩＲカメラ、深度カメラ及びこれらの組み合わせを含むように定義され得る。

いくつかの実施形態では、コンピュータ１０６は、コンピュータ１０６の処理するハードウェアにおいてゲームをローカルで実行してよい。ゲームまたはコンテンツは、物理的メディア形態（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップまたはカード等）などの任意の形態で、または、ネットワーク１１０を介したインターネットからのダウンロードによって、得られ得る。別の実施形態では、コンピュータ１０６は、クラウドゲームプロバイダ１１２とのネットワーク上の通信におけるクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１００によってプレイされているビデオゲームを維持して実行してよい。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８からクラウドゲームプロバイダ１１２に入力を伝送し、実行するビデオゲームのゲーム状態を反映するために入力を処理する。映像データ、音声データ及び触覚的フィードバックデータなどの実行中のビデオゲームからの出力は、コンピュータ１０６に伝送される。コンピュータ１０６はさらに、伝送前にデータをさらに処理してよく、または関連するデバイスにデータを直接的に伝送してよい。例えば、映像及び音声ストリームは、ＨＭＤ１０２に対して提供され、一方で、振動フィードバック命令は、コントローラ１０４もしくは例えば、手袋、衣服、ＨＭＤ１０２などの他の入力デバイスまたはそれらの２つ以上の組み合わせに提供される。

１つの実施形態では、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８は、それら自体がクラウドゲームプロバイダ１１２と通信するようにネットワーク１１０に接続するネットワーク化されたデバイスであってよい。例えば、コンピュータ１０６は、通常ビデオゲーム処理を実行しないが、ネットワークトラフィックの経路を促す、ルータなどのローカルネットワークデバイスであってよい。ＨＭＤ１０２、コントローラ１０４及びカメラ１０８によるネットワークへの接続１２４は、有線または無線であってよい。いくつかの実施形態では、ＨＭＤ１０２で実行されるか、またはディスプレイ１０７上で表示可能なコンテンツは、任意のコンテンツソース１２０から得られ得る。例示のコンテンツソースは、例えば、ダウンロード可能なコンテンツ及び／またはストリームコンテンツを提供するインターネットウェブサイトを含み得る。いくつかの例では、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等などの任意の種類のマルチメディアコンテンツを含み得る。

以下により詳細に記載する通り、ユーザ１００は、ＨＭＤ１０２上でゲームをプレイしてよく、こうしたコンテンツは、没入型３Ｄ対話型コンテンツである。ＨＭＤ１０２上のコンテンツは、プレイヤーがプレイしている間、ディスプレイ１０７に対して共有され得る。１つの実施形態では、ディスプレイ１０７に対して共有されるコンテンツは、ユーザ１００の近傍または遠隔の他のユーザがユーザのプレイを共に見ることを可能にし得る。さらに別の実施形態では、ディスプレイ１０７上でユーザ１００のゲームプレイを見ている別のユーザは、プレイヤー１００に対話的に参加してよい。例えば、ディスプレイ１０７上でゲームプレイを見ているユーザは、ゲーム場面内でキャラクターをコントロールし、フィードバックを提供し、社会的な対話を提供し、及び／またはコメント（テキストにより、声により、動作により、ジェスチャにより等）を提供してよく、これは、ＨＭＤ１０２を装着していないユーザがユーザ１００、ゲームプレイまたはＨＭＤ１０２でレンダリングされたコンテンツと社会的に対話することを可能とする。

図２は、開示の実施形態によるＨＭＤ１０２を例示する。図示の通り、ＨＭＤ１０２は、複数の光源２００Ａ〜Ｋを含む（例えば、２００Ｋ及び２００Ｊは、ＨＭＤヘッドバンド２１０の後部または裏側に向かって配置される）。これらのそれぞれの光源は、特定の形状及び／または配置を有するように構成されてよく、同じまたは異なる色を有するように構成され得る。光源２００Ａ、２００Ｂ、２００Ｃ及び２００Ｄは、ＨＭＤ１０２の前面に配置される。光源２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面に配置される。さらに光源２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前面及び側面にわたるようにＨＭＤ１０２の角部に配置される。光源は、ユーザがＨＭＤ１０２を使用する対話型環境の取得画像において識別され得ることを理解されたい。

光源の識別及び追跡に基づいて、対話型環境におけるＨＭＤ１０２の配置及びポーズが判断され得る。光源２００Ａ〜Ｋの一部は画像取得デバイスに対するＨＭＤ１０２の特定の配置及びポーズに基づいて視認可能または視認不可能となり得ることもさらに理解されたい。さらに、光源の異なる部分（例えば、光源２００Ｇ及び２００Ｈ）は、画像取得デバイスに対するＨＭＤ１０２の配置及びポーズに基づいて画像取得のために露出されてよい。いくつかの実施形態では、慣性センサがＨＭＤ１０２に配置され、光源２００Ａ〜Ｋを必要とすることなく、方向に関するフィードバックを提供する。いくつかの実施形態では、光源及び慣性センサは、配置／運動データの合成及び選択を可能とするように連動する。

１つの実施形態では、光源は、ＨＭＤ１０２の現在の状態を近傍の他のものに示すように構成され得る。例えば、光源２００Ａ〜Ｋの一部または全ては、特定の色構成、輝度構成を有するように構成されてよく、点滅し、特定のオン／オフ構成を有し、またはＨＭＤ１０２の現在の状態を示す他の構成を有するように構成されてよい。例として、光源２００Ａ〜Ｋは、ビデオゲームのアクティブなゲームプレイ（一般的に、ゲームのアクティブなタイムライン中またはゲームの場面内で生じるゲームプレイ）中に、案内メニューインタフェースまたはゲーム設定の構成（この間にゲームタイムラインまたは場面は非アクティブになるか、または静止し得る）などのビデオゲームの他の非アクティブなゲームプレイ態様に対して異なる構成を表示するように構成され得る。光源２００Ａ〜Ｋはさらに、ゲームプレイの相対的な輝度レベルを示すように構成されてよい。例えば、光源２００Ａ〜Ｋの輝度、または点滅速度は、ゲームプレイの輝度が増加するときに増加してよい。

ＨＭＤ１０２は、追加的に１つまたは複数のマイクを含んでよい。例示の実施形態では、ＨＭＤ１０２は、ＨＭＤ１０２の前面に設定されたマイク２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面に設定されたマイク２０４Ｃとを含む。マイク２０４Ａ〜Ｃの配列を利用することによって、それぞれのマイクからの音は、音源の位置を判断するように処理され得る。この情報は、望まない音源の排除、視覚的識別等との音源の関連付け等を含む種々の方法で利用され得る。

ＨＭＤ１０２は、１つまたは複数の画像取得デバイスをさらに含んでよい。例示の実施形態では、ＨＭＤ１０２は、画像取得デバイス２０２Ａ及び２０２Ｂを含むよう示される。画像取得デバイスの双眼写真を利用することによって、環境の３次元（３Ｄ）画像及び映像がＨＭＤ１０２の視点から取得され得る。係る映像はユーザに提示され、ＨＭＤ１０２を装着している間、ユーザに「ビデオシースルー」機能を提供し得る。つまり、厳密な意味ではユーザはＨＭＤ１０２を透視することはできないが、画像取得デバイス２０２Ａ及び２０２Ｂにより取得された映像は、ＨＭＤ１０２を透視しているようにＨＭＤ１０２の外部の環境を見ることができる、機能的に同等なものを提供し得る。

係る映像は、拡張された現実的体験を提供するための仮想的要素により拡張されることがあるか、または、他の方法で仮想的要素と結合もしくは融合されてよい。例示の実施形態では２つのカメラがＨＭＤ１０２の前面に示されるが、任意の数の外部を向くカメラまたは単一のカメラをＨＭＤ１０２に設置してよく、任意の方位に配向されてよいことを理解されたい。例えば、別の実施形態では、環境の追加的なパノラマ画像取得を提供するために、カメラをＨＭＤ１０２の側面に取り付けてよい。１つの実施形態では、前向きのカメラ（ＲＣＧ及び／または深度カメラ）を使用して配置及びポーズならびにユーザの手または手袋の動きを追跡してよい。以下により詳細に記載する通り、前向きのカメラによって取得された画像データからの情報を使用して、より精細な解像度を提供するか、または別様には仮想オブジェクトと相互作用するときに、改良された触覚フィードバックをユーザに提供することができる。

図３は、ユーザ１００のＨＭＤ１０２に対してビデオゲームコンテンツをレンダリング可能なクライアントシステム１０６を使用したゲームプレイの１つの例を例示する。レンダリングは、ある場面の１つのオブジェクトまたは多数のオブジェクトであってよい。オブジェクトは場面内で見ることができる物体であってよく、物体とは、キャラクター、人物、建物、景色及び一般的に視覚的に生成されたコンテンツであり、通常ＶＲ空間、ビデオゲーム、対話型コンテンツ、対話型ゲーム、学習ゲームもしくは学習コンテンツ、トラベルコンテンツ、写真、画像等に存在するコンテンツの場合がある。この例示において、ＨＭＤ１０２に対して提供されたゲームコンテンツは、対話が豊富な３Ｄ空間内にある。上述のように、ゲームコンテンツは、クライアントシステム１０６にダウンロードしてよく、または、クラウド処理システムによって１つの実施形態で実行してよい。クラウドゲームサービス１１２は、ユーザ１４０のデータベースを含むことがあり、特定のゲームにアクセスすること、他の友人と体験を共有すること、コメントを投稿すること及びユーザのアカウント情報を管理することが可能になる。

クラウドゲームサービス１１２はさらに、ゲームデータ１５０を、ゲームプレイ、将来のゲームプレイ、ソーシャルメディアネットワークの共有の際に使用できるよう特定のユーザのために記憶するか、またはトロフィー、賞、状態、ランキング等を記憶するために記憶し得る。ソーシャルデータ１６０はさらに、クラウドゲームサービス１１２によって管理され得る。ソーシャルデータ１６０は、個別のソーシャルメディアネットワークによって管理されてよく、これは、インターネット１１０上でクラウドゲームサービス１１２と相互作用し得る。インターネット１１０上で、コンテンツへのアクセスのため及び他のユーザとの対話のために任意の数のクライアントシステム１０６が接続され得る。

図３の例で続けると、ＨＭＤ１０２で見られる３次元の対話型場面は、３Ｄ表示で例示されたキャラクターなどのゲームプレイを含み得る。１つのキャラクター、例えば、Ｐ１は、ＨＭＤ１０２を装着するユーザ１００によってコントロールされ得る。この例は、２人のプレイヤーの間のバスケットボールの場面を示し、ＨＭＤのユーザ１００は、３Ｄ表示では別のキャラクターに対してボールをダンクしている。他のキャラクターは、ゲームのＡＩ（人工知能）キャラクターとしてよく、または、別の１人または複数のユーザ（Ｐｎ）によってコントロールされてよい。ＨＭＤ１０２を装着しているユーザ１００は、使用空間を動きまわるように示され、ＨＭＤは、ユーザの頭の動き及び体の配置に基づいて動きまわってよい。カメラ１０８は、部屋にあるディスプレイ画面上に配置されるよう示されるが、しかしながら、ＨＭＤ１０２の使用のため、カメラ１０８は、ＨＭＤ１０２の画像を取得し得る任意の位置に置かれ得る。このように、ＨＭＤ１０２でレンダリングされるコンテンツは、カメラ１０８の視点から、ＨＭＤ１０２が配置される方位に依存し得るため、ユーザ１００は、カメラ１０８及びディスプレイ１０７から約９０度回転して示される。当然のことながら、ＨＭＤ１０２の使用中、ユーザ１００は、ＨＭＤによってレンダリングされた動的な仮想場面を利用する必要があり得る場合には、動きまわり、頭を回転させ、種々の方位を見るだろう。

図４は、開示の実施形態による、使用中にＨＭＤ１０２を装着しているユーザを例示する。この例では、カメラ１０８がＨＭＤ１０２の位置を追跡する追跡プロセスにおいて、外部を使用してＨＭＤ１０２が追跡４０２される様子が示されている。カメラ１０８は、カメラ１０８によって取得された映像フレームから得られる画像データを使用して、ＨＭＤ１０２の位置を追跡している。他の実施形態では、さらにまたは代替的に、ＨＭＤ自体からの慣性データを追跡に利用することができる。種々の実施形態では、ユーザの頭／ＨＭＤの追跡は、画像追跡及び慣性追跡から得られた合成データを含む場合がある。追加的に、コントローラは、カメラ１０８によって取得された映像フレームから得られる画像データを使用して、さらに追跡４０４され得る様子が示される。さらに、ケーブル４０６を介してコンピューティングシステム１０６にＨＭＤ１０２が接続される構成が示されている。１つの実施形態では、ＨＭＤ１０２は、同じケーブルから電源を得るか、または別のケーブルに接続してよい。さらに別の実施形態では、ＨＭＤ１０２は、余分な電源コードを防ぐために、再充電可能なバッテリーを有し得る。さらに別の実施形態では、手袋の有無に関わらず、ユーザの手を追跡することができる。

いくつかの実施形態では、ＨＭＤ体験は画面の中央にある明示的または暗示的なレチクルを有し、レチクルはオブジェクトの選択またはイベントの起動のために使用される。一部のＨＭＤユーザ、特に２焦点の眼鏡を装着しているユーザは、ユーザの眼鏡の焦点の境目がレチクルの配置に一致することが多いため、これらの体験に問題が生じる。１つの実施形態では、特定のユーザに対するオフセットが識別されると、このオフセットをユーザの設定（例えば、プロファイル）に記憶することができる。ユーザの設定に記憶できる他のデータには、ユーザのＩＰＤ（瞳孔間距離）が含まれ得る。利点として、オフセットまたは頭の傾きによるオフセットのパラメータを識別することにより、中央のレチクルを使用する多数または全てのＨＭＤ体験は確実に一貫して優れた体験となる。種々の方法を使用して、ターゲットレチクル構成を調整することができる。一部の例では、「高レチクル」、「中央レチクル」または「低レチクル」を選択することを含み得る。例えば、頭を傾けることで画面の中心を見るユーザを、中央レチクルに対して、高レチクルまたは低レチクルに分類または特定することが可能である。ユーザが中央レチクルユーザの場合、調整は行われないだろう。調整またはオフセットは、その数値がユーザに対して正確ではない場合でも、高低に対する特定の数値を事前定義することができる。他の構成では、正確なオフセットまたはほぼ正確なオフセットを測定することができる。さらに他の実施形態では、例えば「２焦点の眼鏡を装着する」または「２焦点の眼鏡を装着しない」などの選択をユーザが入力することで、ユーザに対するオフセットを事前に設定することができる。さらに他の実施形態では、スライダまたはジョイスティックを使用してレチクルを快適な場所に再配置してよい。さらに、他の実施形態は、例えば、選択オブジェクトを提供してよい。選択オブジェクトは、表示可能な任意の視覚的物体または可視化された物体であってよい。単なる例であるが、較正ステップ中に選択オブジェクトが使用された場合、選択オブジェクトは画面中央内で赤い四角形になり得る。次いで、赤い四角形が快適なレチクル配置になるまで、ユーザは頭を動かすように要求される。

理解できる通り、多数の他の用途に対して有益的な固有の設定が存在するが、これらはユーザ設定ほど包括的ではない。例えば、ユーザの視線の中心があるイベントを起動するために使用される場合、ユーザはターゲット領域の範囲／感度を構成するよう望み得る。これらの広範な実施形態を考慮し、以下の例は、頭の傾きを識別する方法及び特定のユーザの頭の傾きを補正するためにコンテンツを修正または調整する方法を例示し、これらの方法によりユーザのＨＭＤ体験は改善する。

図５Ａは、開示の実施形態による、使用中のＨＭＤ１０２を例示する。ＨＭＤ１０２は、仮想画像をユーザに表示するための画面１０２Ａを含む。画面１０２Ａは、説明のためにＨＭＤ１０２とは別個に示されている。しばしば、レチクル５０２のような中央焦点は、ユーザがゲームデバイスまたは画像を必要とするシューティングゲームまたは他の種類の機能に必要となり得るような、画面１０２Ａ上に表示される画像の一部である。他の中心焦点は、画面１０２Ａ上に表示されている画像の中心点５２３となる可能性がある。

ＨＭＤ１０２は、垂直Ｙ’軸及び水平Ｚ’軸を含む。ＨＭＤ１０２はさらに、垂直Ｙ’ベクトルと水平Ｚ’ベクトルとの交点を通るページ面を垂直に通過するＸ’軸を含むことも理解されたい。ユーザが仮想世界に対してＨＭＤを動かすと、ＨＭＤ１０２は、画面１０２Ａ上に表示される仮想世界画像の視点をレンダリングするために、垂直Ｙ’軸、水平Ｚ’軸及びＸ’軸を使用する。ＨＭＤ１０２は、ＨＭＤの動きを追跡することができる慣性センサを含むことができ、ゆえに、ユーザが仮想世界に対してＨＭＤを動かすときに、画面１０２Ａ上に表示される仮想世界画像の視点をレンダリングするために必要な動き及び方向情報を提供する。

カメラ１０８は、垂直Ｙ軸と整合することができるか、または垂直Ｙ軸と平行にすることができる焦点面１０８Ａを含むことができる。カメラ１０８は、さらにまたは代替的に、ＨＭＤ１０２の動き及び方向を追跡することができ、ゆえに、ユーザが仮想世界に対してＨＭＤを動かすときに、画面１０２Ａ上に表示される仮想世界画像の視点をレンダリングするために必要な動き及び方向情報を提供することができる。

理想的には、ＨＭＤ１０２の垂直Ｙ’ベクトル及び水平Ｚ’ベクトルは、実世界の実際の水平Ｚ軸に垂直な実際の垂直Ｙ軸と整合するか、または平行になるので、画面１０２Ａ上に表示される仮想環境は、ユーザが存在して動く実世界と整合する。しかしながら、実世界は理想的な世界ではなく、それぞれの人間のユーザは個々の体形、サイズ及び体勢を有する。

図５Ｂ〜図５Ｄは、開示の実施形態による、様々な人間の体勢５１０Ａ〜５１０Ｃを例示する。図５Ｂに示す通り、理想的な人間の体勢５１０Ａの頭は、実世界の垂直Ｙ軸と実質的に整合しており、目の中心視は実世界のＺ軸に実質的に平行なベクトルＺ’５２２に沿っている。残念ながら、全てのユーザが人間の理想的な体勢５１０Ａを有しているわけではない。

図５Ｂに示す通り、一般的な体勢５１０Ｂは首及び／または肩がわずかに前屈または前向きに曲がっており、結果的に、頭が下及び前向きに曲がるため、頭が実世界の垂直Ｙ軸と実質的に整合しない。その結果、ユーザの顔は下方に傾いている。ユーザの顔が下方に傾いているため、ユーザは、ユーザの目の中心視がベクトルＺ’５２２に沿って整合するよう、ユーザの中心視を上方に傾けることで補正する傾向がある。

図５Ｃに示す通り、一般的な体勢５１０Ｃは、わずかに顔が持ち上げられており、結果的に、頭が上方に曲がるため、頭が実世界の垂直Ｙ軸と実質的に整合しない。その結果、ユーザの顔は上方に傾いている。ユーザの顔が上方に傾いているため、ユーザは、ユーザの目の中心視がベクトルＺ’５２２に沿って整合するよう、ユーザの中心視を下方に傾けることで補正する傾向がある。

図６Ａ及び図６Ｂは、開示の実施形態による、ＨＭＤ１０２を装着している人間の様々な体勢５１０Ｂ及び５１０Ｃを例示する。図６Ａには、首及び／または肩がわずかに前屈または前向きに曲がった姿勢５１０Ｂが示されている。首及び／または肩がわずかに前屈または前向きに曲がった姿勢５１０Ｂは、ユーザが最初にＨＭＤ１０２を装着するときのユーザの初期姿勢となることがある。初期方向は、重力などの実世界の物理的基準、あるいは、例えば、カメラ１０８またはユーザがＨＭＤを装着している部屋内の床もしくは壁などのＨＭＤ１０２の周りの実世界環境の物体に対する方位または相対的基準を含む場合がある。

ユーザが画面１０２Ａに表示されたオブジェクトを注意して見るように指示されるか、またはプロンプトされる前に、ユーザは快適な視聴姿勢または配置に動くようプロンプトされ得る。快適な視聴配置とは、ＨＭＤ１０２の装着中にユーザがユーザの前の１つの方位を見ているときである。しかしながら、ユーザは特定のオブジェクトまたは位置を見るようにはプロンプトされない。目標は、ユーザの通常のリラックスした姿勢を取得することである。

ユーザが画面１０２Ａに表示されたオブジェクトを注意して見るよう指示されるか、またはプロンプトされる場合、ユーザは、上方を見ることによって姿勢を補正し、結果的に、ユーザの中心視は実世界のＺ軸とほぼ整合するベクトルＺ’５２２’に沿うように位置する。しかしながら、ユーザの頭の前向きの傾きにより、ＨＭＤのＺ軸は、実世界のＺ軸及びベクトルＺ’５２２’に沿ったユーザの中心視の下に角度θだけ下方にシフトする。その結果、ユーザの視覚は、画面１０２Ａ上に表示されている画像の中心点５２３の上に距離＋Ｚ’’だけオフセットされた表示画像内の位置５２４に位置する。ユーザの首及び／または肩が前向きに曲がった姿勢を補正しながら、ユーザは、ＨＭＤ１０２を初期方向とは異なる指示方向に動かし得る。初期方向と指示方向との間のオフセットは、カメラ１０８及び／またはＨＭＤ１０２内の慣性センサによって決定することもできる。

図６Ｂに示す通り、顔がわずかに持ち上げられた姿勢５１０Ｃの初期方向及びユーザが下方を見ることによる補正は、結果的に、ユーザの中心視が実世界のＺ軸とほぼ整合するベクトルＺ’５２２’に沿って位置するようになる。しかしながら、ユーザの頭の上方向の傾きにより、ＨＭＤのＺ軸は、実世界のＺ軸及びベクトルＺ’５２２’に沿ったユーザの中心視の上に角度αだけ下方にシフトする。その結果、ユーザの視覚は、画面１０２Ａに表示されている画像の中心点５２３の下に距離−Ｚ’’’だけオフセットされた表示画像内の位置５２６に位置する。

ユーザの中心視が画面１０２Ａ上に表示されている画像の中心点５２３からオフセットされた位置にあるとき、ユーザは不快感及び眼精疲労を経験することがある。さらに、オフセットにより、結果的に、ＨＭＤ１０２がレチクルをユーザの中心視からオフセットされた配置にレンダリングすることにもなり、ゆえに、目指している機能の正確性が低くなることがある。

図７Ａ〜７Ｄは、開示の実施形態による、ユーザの目１０３とＨＭＤ１０２の画面１０２Ａ上に表示されている画像のレチクル５２０との間に挿入される矯正レンズ５１５、５１５’を例示する。図７Ａに示す通り、典型的な人間の目は、約３〜５度の中心視範囲５２５を有する。ＨＭＤの画面１０２Ａ上に表示された画像がユーザの中心視範囲５２５からオフセットされている場合、画像に焦点が合っていないか、または別様にはユーザに不明瞭である可能性がある。画面１０２Ａ上に表示される画像は、表示された画像のデータコンテンツを減らす手法として、画像の中心点５２３の外側にあるか、または別様には画像の中心点５２３からオフセットされた表示画像の部分の解像度を減らすこともできる。画像の中心点５２３がユーザの中心視範囲５２５と整合していないとき、ユーザは眼精疲労を経験し、表示画像の最適な視野を持たない可能性がある。

さらに、図７Ａに示す通り、ユーザの目１０３と、画面１０２Ａ上に表示されたレチクル５２０を含む画像との間に介在する矯正レンズ５１５がある。矯正レンズ５１５は、ユーザの目の前に装着された眼鏡に含まれるか、またはユーザの目の表面に接触するコンタクトレンズもしくはユーザの目の中に埋め込まれる埋込型矯正レンズとしても含めることができる。矯正レンズ５１５は、ユーザがレンズから見る角度に関わらず同じ視力補正機能を提供できるよう単一の光学補正を有するため、単視矯正レンズである。単視矯正レンズを装着しているユーザは、通常、頭を上下に傾けて近距離もしくは遠距離または中間距離にある画像を見ることはない。

図７Ｂに示す通り、ユーザの目１０３と画面１０２Ａ上に表示されたレチクル５２０を含む画像との間に多焦点矯正レンズ５１５’が介在している。多焦点矯正レンズ５１５’は、レンズの上半分にある第１の視力補正と、レンズの下半分にある第２の視力補正とを有する。多焦点矯正レンズ５１５’は、ユーザの目の前に装着された眼鏡に含まれるか、またはユーザの目の表面に接触するコンタクトレンズもしくはユーザの目の中に埋め込まれる埋込型矯正レンズとしても含めることができる。多焦点矯正レンズ５１５’は、図示の通り、レンズに対して２つの視力補正部分を有する２焦点の矯正レンズとなることがある。代替的には、多焦点矯正レンズ５１５’は、レンズに対して３つの視力補正部分を有する３焦点の場合がある。多焦点矯正レンズ５１５’は、レンズに対して４つ以上の視力補正部分を含むことがある。

多焦点矯正レンズ５１５’は、視覚補正部分の各々を分離する可視化された分割ラインを備えることなくレンズの視力補正部分のそれぞれを融合する先進的な種類のレンズとなることがある。多くの場合、多焦点矯正レンズ５１５’は、レンズの上部分にある第１の視力補正と、レンズの下部分にある第２の視力補正との間にある可視化された分割ライン５１６を含む。分割ライン５１６は、多くの場合、表示画像のレチクル５２０とさらに実質的に整合したベクトルＺ’５２２に沿って、ユーザの目１０３の中心視と整合する。分割ライン５１６は、ゆえに、レチクル５２０を不明瞭にする。

多焦点レンズを装着しているユーザは、可視化された分割ラインを有するレンズか、可視化されていない分割ラインを有する先進的な種類の多焦点矯正レンズかに関わらず、図７Ｃに示す通り、ユーザの中心視５３２が分割ライン５１６の上になるよう調整するか、または遠くの物体を見るためにユーザの中心視が矯正レンズの選択部分を通るように、頭をわずかに後ろに傾けることが多い。多焦点レンズを装着しているユーザは、図７Ｄに示す通り、ユーザの中心視５３２’が分割ライン５１６の下になるよう調整するか、または近くの物体を見るために中心視が矯正レンズの選択部分を通るように、頭をわずかに前向きに傾けることが多い。その結果、多焦点矯正レンズを装着しているユーザは、多くの場合、ＨＭＤ１０２を使用する際に、意図せず頭を前後に傾ける可能性がある。ユーザが意図せず頭を前後に傾けてしまうと、上記の図６Ａ及び図６Ｂに記載した同じオフセットの問題が発生することがある。しかしながら、ＨＭＤは、ユーザの頭の傾きを補正して、レチクル５２０をユーザの中心視５３２、５３２’と整合した状態に維持することができる。

図７Ｅ及び７Ｆは、開示の実施形態による、ＨＭＤ１０２の画面１０２Ａ上に表示される画像を見ているときにユーザが頭を傾ける様子を例示する。表示される画像は、野球ボールを保持する野球プレイヤーを含むことがある。ユーザは、注意して見るよう指示されることがあり、したがって、野球プレイヤーまたはプレイヤーの手にある野球ボールの方にユーザの中心視を向ける。野球プレイヤーは静止しても動いていてもよく、または野球プレイヤーは単に野球ボールを保持しているか、または野球ボールを投げていることもある。ユーザが野球または野球プレイヤーの方に中心視を向けると、ＨＭＤ１０２はユーザの目を追跡することができる。

１つの実施態様では、ＨＭＤは、ユーザの目に向けられた１つ以上のカメラまたは検出器を用いて、ユーザの目の動きを直接的に追跡することができる。ＨＭＤは、ユーザがプレイヤーまたは野球ボール、または表示画像内のいくつかの他の対話型オブジェクトを正確に追跡しているかどうかを判定する処理を行うために、ユーザの検出された眼球運動をゲームコンソールまたはサーバに提供することができる。別の実施態様では、ＨＭＤは、ユーザが野球ボールの動きをどれだけ正確に識別することができるかを測定することによって、間接的にユーザの目の動きを追跡することができる。例として、ユーザは、画面に表示された対話型場面で野球ボールがユーザに接近するときに、仮想の野球バットで野球ボールをスイングするように要求されることがある。野球ボールの軌道が高すぎるまたは低すぎるために、ユーザの仮想の野球バットで野球ボールをヒットできないとユーザが繰り返し予測する場合、ユーザが野球ボールを見逃す量を＋Ｚまたは−Ｚオフセットとして解釈することができる。

前述の例は、ユーザの頭を前向きに傾けてユーザの顔を若干下方向もしくは後方に向けること及びユーザの顔を若干上方向に向けることを例示している。しかしながら、ユーザは、例えば、頭を右側に傾けたり、左側に傾けたりなど、頭を片側または別の側に横方向に傾ける可能性があることを理解されたい。ユーザは、頭を前向きかつ下または後方かつ上に傾けることに加えて、またはその代わりに、頭を片側に傾けることがある。ＨＭＤは、ユーザの前向き及び後方の頭の傾きを検出するのと同様の方法で、ユーザの横方向の頭の傾きを検出することができる。同様に、ＨＭＤ１０２は、表示画像をユーザの前向きまたは後方の頭の傾きに対して調整するのと同じ方法で、ユーザの横方向の頭の傾きを補正するように表示画像を調整することができる。

図８は、開示の実施形態による、ＨＭＤ１０２に表示されるレンダリング画像を頭の傾きに対して調整するためのシステム８５０の簡略化した模式図である。システム８５０は、クラウドネットワーク１１０に結合されたゲームコンソール１０６ならびにクラウドゲームプロバイダ１１２及びコンテンツソース１２０を含む。ゲームコンソール１０６はさらに、ヘッドマウントディスプレイ１０２、ユーザ入力デバイス８１２などの他の周辺デバイスに結合される。（例えば、手袋、コントローラ、モーションコントローラ、慣性センサ、光源コントローラ、磁気コントローラ等）

ゲームコンソール１０６は、コンテンツ選択モジュール８１６、入力デバイスインターフェース８１４、ＶＲ空間生成モジュール８１８及びＨＭＤ移動モジュール８２０を含む。コンテンツ選択モジュール８１６は、コンテンツインタフェース８１７及び仮想現実コンテンツ選択モジュール８１０を含む。

動作中、コンテンツインタフェース８１７は、種々のコンテンツソース１２０から仮想現実コンテンツを受信する。コンテンツ傾き調整モジュール８１０は、コンテンツインタフェース８１７からの仮想現実コンテンツの適切な部分を調整し、これは入力デバイスインターフェース８１４を通じた種々の入力デバイス及びＨＭＤ移動モジュール８２０から受信した入力に従って、ユーザの頭の傾きにより発生して検出されたオフセットに対応している。１つの例として、上記の図６Ｂに示す通り、ユーザの頭の傾きが上方である場合、コンテンツ傾き調整モジュール８１０は、ＨＭＤ１０２上の１つまたは複数のセンサ及び／またはＨＭＤの外部にありＨＭＤを向きＨＭＤの傾きを検出するカメラ１０８からの入力を受信し、表示コンテンツの中心がユーザの中心視に再び合うように、ＨＭＤの画面１０２Ａ上に表示されるコンテンツを調整してユーザの頭の傾きに対して補正する。コンテンツインタフェース８１７は、調整したＶＲコンテンツをＶＲ空間生成モジュール８１８に出力する。ＶＲ空間生成モジュール８１８は、ＨＭＤ１０２に提示される仮想環境または空間を生成する。

図９は、開示の実施形態による、コンテンツソース１２０の簡略化した模式図である。コンテンツソース１２０は、ＶＲコンテンツライブラリ９２０を含むいくつかのモジュールを含む。複数のコンテンツスペース９２２Ａ〜ｎがＶＲコンテンツライブラリ９２０内に含まれる。ＶＲコンテンツ９２６は、ＶＲコンテンツ選択モジュール８１０が必要とするデータを提供し、ＨＭＤ１０２に表示される仮想空間を定義する。

オブジェクト３Ｄ空間構成モジュール９３０は、表示されたオブジェクトの３Ｄ特徴を提供する。これらの３Ｄ特徴には、表示されるオブジェクトの重量、形状、テクスチャ及び色を含めることができる。

オブジェクト音プロファイル９３２は、表示された仮想オブジェクト及び仮想空間に対応する音を提供する。例えば、樹木の葉を鳴らす風の音、遠くの雷鳴及びＨＭＤ上に表示される仮想空間に存在する動物の音である。オブジェクト物理プロファイル９３４は、仮想空間に表示される種々のオブジェクトの物理的な運動及びテクスチャ特性を提供する。仮想空間内で再生されるオブジェクトの運動、テクスチャ、音、配置及びポーズならびに位置のそれぞれは、ＶＲコンテンツ選択モジュール８１０及びＶＲ空間生成モジュールによって使用され、ＨＭＤ１０２上に表示されるＶＲ空間にオブジェクトを生成する。

図１０は、開示の実施形態による、ＨＭＤ１０２に表示される画像を調整するときに行われる動作方法１０００を例示するフローチャート図である。動作１００５では、仮想空間がレンダリングされ、ＨＭＤ１０２を通じてユーザに表示される。仮想空間内に存在する種々の仮想オブジェクトもユーザに表示される。動作１０１０では、仮想空間は、ユーザの頭の傾きに対して補正を行うように調整される。１つの例として、ユーザは、ＨＭＤ１０２を上方、下方または左もしくは右及びそれらの組み合わせに傾けることができる。

動作１０１５では、ゲームコンソール１０６は、ユーザの頭の傾きに対応して調整される追加の仮想環境を提供する。これにより、ＨＭＤ１０２の画面１０２Ａの中心部分ではなくユーザの中心視を中心として表示された仮想画像によって、円滑な走査感覚をユーザに提供する。

図１１は、開示の実施形態による、ＨＭＤ１０２の動きを追跡するときに行われる動作方法１１００を例示する、より詳細なフローチャート図である。動作１１０５では、ユーザはＨＭＤ１０２を装着する。ＨＭＤ１０２は、ユーザの顔に着座し、ユーザの目の上に配置された快適な配置で装着される。動作１１１０では、ＨＭＤ１０２の画面１０２Ａ上で仮想空間の画像がユーザに表示される。

動作１１１５では、ユーザは、画面１０２Ａ上に表示された仮想空間画像内の特定の位置またはオブジェクトを注意して見るようにプロンプトされる。ユーザが選択されたオブジェクトまたは位置を注意して見るようにプロンプトされると、ユーザはリラックスし、例えば、快適な配置または姿勢など、自分にとって快適になるように頭を前向き、後方、左右などあらゆる方向に傾けて配置し、選択されたオブジェクトに中心視を向ける傾向がある。

動作１１２０では、ユーザの中心視が向けられている表示画像内の位置が検出される。ユーザの中心視が向けられている表示画像内の位置を検出することは、ユーザのパフォーマンスを測定することにより判定することができる。例えば、ユーザは、動作１１１５で移動オブジェクトを目で追い、表示画像内の特定の位置にあるときに、そのオブジェクトをヒットすることを試みるよう指示され得る。しかしながら、ユーザの頭の傾きにより、ユーザの中心視は、移動オブジェクトの理想的な位置から若干オフセットされることがあり、そのオフセット量を決定することができる。ユーザに特定の位置またはオブジェクトに注目するよう指示し、ユーザの中心視が向けられている表示画像内の位置を検出するプロセスは、上記の図６Ａ及び図６Ｂに記載した＋Ｚ及び−Ｚオフセットなどの検出されたオフセットを精緻化するために何度も実行することができる。

別の例では、ユーザは、具体的には、表示画像内の１つまたは複数の移動中の位置もしくはオブジェクトまたは固定された位置もしくはオブジェクトを見るよう求められることがあり、次いで、画像に焦点が合っているか、または合っていないかをユーザに確認することがある。ユーザは、ＨＭＤ１０２及び／またはゲームコントローラに入力（例えば、ボタンの押下、または口頭指示もしくは他の入力）を提供して、そのオブジェクトに焦点が合っているか、合っていないかを示すことができる。

別の例では、ユーザは、図７Ａ〜図７Ｄに示す通り、レチクル５２０を見るように指示されることがある。別の例では、ユーザは、固定されたオブジェクトまたは移動オブジェクトなどの、仮想空間に表示された特定のオブジェクトを注意して見るまたは見るように指示されることがある。特定のオブジェクトに注目するようユーザに指示することは較正プロセスの一部となり得、このプロセスでは、ユーザは、選択されたオブジェクトに焦点を向けるように特にプロンプトされる。代替的には、較正プロセスは、ユーザがＨＭＤ１０２で体験しているゲームまたは他の仮想空間アクティビティの一部であってよく、ユーザは、ＨＭＤの画面１０２Ａ上に表示された仮想空間の表示画像内にある何らかのアクションに注目する。ＶＲコンテンツ傾き調整モジュール８１０は、ガイド及び／またはフィードバックを提供し、初期方向になるべきとき、または動きを停止すべきときをユーザにプロンプトすることができる。１つの実施態様では、ＶＲコンテンツ傾き調整モジュール８１０はさらに、システムが初期方向及び指示方向の両方の座標を取得できるよう、ユーザに較正が完了したことをプロンプトすることができる。例として、プロンプトは、ＯＫまたは良好のような画面上の視覚的合図、または発信音もしくは口頭指示のような可聴キューを表示することを含むことができ、あるいはユーザは、画面１０２Ａに表示された場面が改善されたことを示すために、口頭応答またはゲームコントローラへのボタン入力などの入力を提供するようにプロンプトされることがある。

別の実施態様では、指示方向は、選択された期間または閾値期間の後に取得することができる。例えば、選択された期間は、約０．５秒〜約２秒の間とすることができる。代替的には、選択された期間は、画面１０２Ａに提示された対話型コンテンツに関連することがあり、ユーザがコンテンツとの対話の一部を完了したとき、例えば、ゲームのプレイの一部を完了したときの時間が決定される。別の実施態様では、選択された期間は選択されたオブジェクトがレンダリングされた後であってよい。閾値時間はさらに、ユーザがオブジェクトの位置を見るために初期方向から動くのに必要な予測期間の後となることがある。

動作１１２５では、動作１１２０で検出されたオフセットが事前に選択された量を超えない場合、画面上に表示された画像への調整が必要ないため、動作方法を終了することができる。しかしながら、画像調整プロセスは継続中の場合があり、したがって、現在の反復がユーザの頭の傾きによる測定可能なオフセットを見つけなかったとしても、ユーザによるＨＭＤの使用中に、しばらくしてから追加的に頭の傾きが発生し得ることを理解されたい。例として、ユーザがＨＭＤの使用中に最初は立っている場合、ユーザは、頭を大幅に前向きかつ下に傾けた姿勢となり得、次いで、ＨＭＤはユーザの頭の傾きによって生じたオフセットを補正するために画像を調整することがある。後に、同じくＨＭＤの使用中に、ユーザは、椅子に座るか、またはベッドに横たわることがあり、その結果、ユーザの頭の傾きが変化することがあり、ユーザの頭の変更した傾きを補正するために、画像に異なる調整が必要になり得る。

動作１１２０で検出されたオフセットが事前に選択された量を超える場合、動作１１３０で動作方法を継続することができ、動作１１３０では、画面１０２Ａに表示された画像を調整し、検出されたオフセットに対して補正することができる。検出されたオフセットに対して補正することは、画像の表示された中心がユーザの中心視と整合するように画像を調整することを含む場合がある。上記の図７Ｅ及び図７Ｆに示す、ユーザに向けて野球ボールを投げる例に戻ると、図７Ｅに示す通り、検出されたオフセットが＋Ｚオフセットの場合、画像は、＋Ｚの量または＋Ｚの関数、例えば＋Ｚの比率などだけ上方に調整することができる。動作方法１１００のオフセット検出プロセスを次いで繰り返し行い、調整された画像が、検出されたオフセットを事前に選択された量より減少させたかどうかを判定することができる。

検出されたオフセットの追加の使用は、ＨＭＤの後続使用においてユーザがＨＭＤを使用しているときに常時オフセットを呼び出すことができるように、オフセットをユーザのプロファイルに保存することを含むことがある。ユーザのプロファイルに記憶されたオフセット値は、ＨＭＤの使用中に定期的または継続的に更新することができる。例として、オフセット値は、ユーザがＨＭＤ使用セッションを開始したときにユーザのプロファイルから最初に呼び出され、次いで、ユーザの現在のＨＭＤセッションが終了したときに、修正したオフセットをユーザのプロファイルに記憶することができるか、さらにはユーザのＨＭＤセッション中に１回または複数回記憶することができる。オフセット値をユーザのプロファイルに保存するには、ＨＭＤ１０２及び／またはゲームコンソール及び／またはゲームサーバがユーザの識別を収集し、ユーザのプロファイルプロファイルにアクセスする必要があることを理解されたい。１つの実装では、ユーザの識別情報は、ユーザによるデータ入力もしくは生体測定データまたはそれらの組み合わせによって得ることができる。

いくつかの実施形態では、動作は、ユーザの識別を検出することを含み得る。識別は、パスワードのユーザ入力、音の検出、生体測定検出、指紋検出、ログインユーザ、ユーザアカウントへのアクセス等によって検出され得る。ユーザが識別されると、ユーザのプロファイルにアクセスすることができる。プロファイルは、ローカルまたはリモートサーバ上のいずれかのユーザデータベースなどのデータベースに保存され得る。プロファイルは、１つの実施形態では、例えば、ＨＭＤの使用セッション中に、補正を可能にするために使用されるオフセット（及び他の補正データまたはメタデータ）を保存する。

１つの実施形態では、後続場面は、ＨＭＤ上でレンダリングされる対話型コンテンツに関連付けられる。例えば、後続場面は、ゲーム、アプリケーション、ツアー、会合またはマルチプレイヤー対話性のものであってよい。

１つの実施形態では、場面または後続場面は、ゲーム、アプリケーション、広告、プログラムまたはそれらの組み合わせの形態で対話型コンテンツを提供する。

１つの実施形態では、ＨＭＤを装着しているときに、少なくとも１つの矯正レンズがユーザによって使用され、これにより、ユーザは眼鏡が使用されるときに快適な視聴配置を有する。

１つの構成では、少なくとも１つの矯正レンズは多焦点レンズであり、レンズの上部分にある第１の視力補正と、レンズの下部分にある第２の視力補正との間に可視化された分割ラインを有する。可視化された分割ラインは、例えば、オブジェクトを見るときのユーザの指示方向に影響を及ぼすことがある。

１つの実施形態では、後続場面の配置を調整することにより、当該特定のオブジェクトを見るときのオフセットが低減される。例えば、特定のオブジェクトは、場面内にレンダリングされる対話型コンテンツの対象となるオブジェクトである。

１つの実施形態では、３次元空間におけるＨＭＤの初期方向は実世界環境のものであり、実世界環境は物理的基準を有する。物理的基準は、重力の方位、地面、テーブル、部屋にある物理的物体、ＨＭＤを見ているカメラまたはそれらの組み合わせとなる場合がある。

１つの実施形態では、快適な視聴配置は、ＨＭＤを装着したときに、ユーザの前方の１つの方位を見ているユーザに対して定義される。

１つの実施形態では、場面内のオブジェクトは、複数の他の視覚画像から識別可能な視覚画像である。視覚画像は、場面内のオブジェクト上に重ね合わされたレチクルであってよい。さらに、視覚画像は、場面内の対話型オブジェクトである。

いくつかの実施形態では、場面内の位置は、画面上の所定の座標（例えば、中心位置、側部位置、上部位置、下部位置またはディスプレイ画面上もしくはユーザが特定の時点の間に特定の場所で視聴しているときにＨＭＤの画面上にレンダリングされる画像上の特定のピクセル座標にある。

１つの実施形態では、指示方向は、ＨＭＤが位置する３次元空間内に実世界の座標を有する。

いくつかの実施形態では、プロンプトは、ＨＭＤと相互作用するコンピューティングデバイスによって生成される。プロンプトは、可聴プロンプト、視覚プロンプトまたは可聴プロンプトと視覚プロンプトとの組み合わせのうち１つであるか、あるいはさらに触覚フィードバックを含むことがある。１つの実施形態では、プロンプトは、ＨＭＤの較正中にユーザに対して生成される。別の実施形態では、プロンプトは、ＨＭＤとの対話セッション中に生成される。

１つの実施形態では、指示方向は、閾値期間の後に取得される。閾値時間は、オブジェクトの位置を見るために初期方向から動くのに必要な予測期間の後である。さらに別の構成では、プロンプトは、一定期間の間、オブジェクトの視聴を保持する要求を含む。

１つの例では、オフセットは、実世界空間における座標及び実世界の基準に関連する。オフセットは、垂直オフセットパラメータ、または水平オフセットパラメータ、またはそれらの組み合わせを有してよい。オフセットはさらに、ＨＭＤ内の慣性センサによって検出されて決定された配置変化から測定されてよい。オフセットはさらに、カメラによって取得されたＨＭＤの検出画像によって測定されてよく、カメラは、当該カメラが取得する１つ以上の画像フレームにおけるＨＭＤの動きを見るように指示されている。さらに他の構成では、オフセットは、ＨＭＤの慣性センサにおいて検出された変化と、ＨＭＤの発光ダイオードで取得された画像データとの組み合わせによって測定される。さらに、オフセットは、全てのユーザに対して事前に定義してよい。一部のユーザは中央レチクルユーザであってよく、一部のユーザは低レチクルユーザであってよく、他のユーザは高レチクルユーザであってよい。この意味で、レチクルは、ユーザがＨＭＤに指し示すよう指示する位置のことを指す。例えば、ユーザが頭を後ろに傾けて前を直接見る場合、ユーザは高レチクルユーザである。この場合、システムは所定の補正オフセットを適用することができる。この構成により、実際の測定を行わずにユーザにオフセットを適用することができる。

図１２を参照すると、開示の実施形態による、ヘッドマウントディスプレイ１０２の構成要素例を例示する図が示される。有効化する構成及び機能に応じてより多数または少数の構成要素をＨＭＤ１０２に含めるか、または除外し得ることを理解されたい。ヘッドマウントディスプレイ１０２は、プログラム指令を実行するためのプロセッサ２０００を含んでよい。メモリ２００２は、記憶のために提供され、揮発性メモリ及び不揮発性メモリの両方を含んでよい。ユーザが視聴し得る視覚的インタフェースを提供するディスプレイ２００４が含まれる。

ディスプレイ２００４は、単一のディスプレイによって、またはそれぞれの目のための個別のディスプレイ画面の形態で定義され得る。２つのディスプレイ画面が提供されるとき、左目及び右目の映像コンテンツを個別に提供することが可能となる。それぞれの目に対する映像コンテンツの個別提示は、例えば、より優れた３次元（３Ｄ）のコンテンツの没入型コントロールを提供し得る。上述のように、１つの実施形態では、第２の画面１０７は、ＨＭＤ１０２の片目用の出力を使用し、次いで２Ｄ形式での表示用にコンテンツをフォーマット化することによって、ＨＭＤ１０２の第２の画面コンテンツを備える。片目は、１つの実施形態では、左目映像フィードであり得るが、他の実施形態では、右目映像フィードであり得る。

バッテリー２００６は、ヘッドマウントディスプレイ１０２のための電源として提供されてよい。他の実施形態では、電源は、電力に対する出力接続を含み得る。他の実施形態では、電力に対する出力接続及びバッテリー２００６が提供されてよい。運動検出モジュール２００８は、磁力計２０１０、加速度計２０１２及びジャイロスコープ２０１４などの任意の種々の種類の運動感度の高いハードウェアを含んでよい。

加速度計２０１２は、反作用の力を生じさせる加速度及び重力を測定するためのデバイスである。単一の及び複数の軸（例えば６軸）のモデルは、様々な方位における加速度の大きさ及び方位を検出することができる。加速度計は、傾き、振動及び衝撃を感知するために使用される。１つの実施形態では、３つの加速度計２０１２は、重力の方位を提供するために使用され、２つの角度（ワールドスペースピッチ及びワールドスペースロール）に絶対基準を与える。

磁力計２０１０はヘッドマウントディスプレイ近傍で磁界の強さ及び方位を測定する。１つの実施形態では、３つの磁力計２０１０がヘッドマウントディスプレイ内で使用され、ワールドスペースヨー角のための絶対基準を確保する。１つの実施形態では、磁力計は±８０マイクロテスラである地磁界に及ぶように設計される。磁力計は金属によって影響され、実際のヨーによって単調なヨー計測を提供する。磁界は、環境内の金属によって歪み得るものであり、これはヨー計測において歪みを生じさせる。必要であれば、この歪みはジャイロスコープまたはカメラなどの他のセンサからの情報を用いて較正してよい。１つの実施形態では、加速度計２０１２は、ヘッドマウントディスプレイ１０２の傾き及び方位を得るために磁力計２０１０と共に使用される。

ジャイロスコープ２０１４は、角運動量の原理に基づいて配置及びポーズを測定または維持するためのデバイスである。１つの実施形態では、３つのジャイロスコープ２０１４は、慣性力の感知に基づいてそれぞれの軸（ｘ、ｙ及びｚ）にわたり動きについての情報を提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対基準がなければ経時的にドリフトし得る。これは、定期的なジャイロスコープの再設定を必要とし、これは、オブジェクト、加速度計、磁力計等の視覚的追跡に基づいた配置及びポーズ判定などの他の入手可能な情報を使用して行われ得る。

カメラ２０１６は、実環境の画像及び画像ストリームを取得するために提供される。２つ以上のカメラは、（任意には）ＨＭＤ１０２に含まれてよく、後向きのカメラ（ユーザがＨＭＤ１０２のディスプレイを見るときにユーザの背後を向く）と、前向きのカメラ（ユーザがＨＭＤ１０２のディスプレイを見るときにユーザの方を向く）とを含む。追加的に、深度カメラ２０１８が実際の環境におけるオブジェクトの深さ情報を感知するためにＨＭＤ１０２に含まれてよい。

ＨＭＤ１０２は、音声出力を提供するためのスピーカー２０２０を含む。さらに、マイク２０２２は、周囲環境からの音、ユーザの発話等を含む実際の環境からの音声を取得するために含まれてよい。ＨＭＤ１０２は、ユーザに対して触知性のフィードバックを提供するための触知性フィードバックモジュール２０２４を含む。１つの実施形態では、触知性フィードバックモジュール２０２４は、ユーザに対して触知性のフィードバックを提供するように、ＨＭＤ１０２の動き及び／または振動を生じさせることができる。

ＬＥＤ２０２６は、ヘッドマウントディスプレイ１０２の状態の視覚的指示器として提供される。例えば、ＬＥＤはバッテリーレベル、電源オン等を示してよい。カードリーダー２０２８は、ヘッドマウントディスプレイ１０２の読み取りならびにメモリカードへの情報の書き込み及びメモリカードからの書き出しを可能とするように提供される。ＵＳＢインタフェース２０３０は、ハンドヘルド周辺デバイスの接続または他のポータブルデバイス、コンピュータ等などの他のデバイスへの接続を可能にするインタフェースの１つの例として含まれる。ＨＭＤ１０２の種々の実施形態では、ＨＭＤ１０２のより優れた接続性を可能とするように任意の種々の種類のインタフェースが含まれてよい。

ＷｉＦｉ（登録商標）モジュール２０３２は、無線ネットワーク技術を介したインターネットへの接続を可能とするように含まれてよい。さらに、ＨＭＤ１０２は、他のデバイスに対する無線接続を可能とするようにＢｌｕｅｔｏｏｔｈ（登録商標）モジュール２０３４を含んでよい。通信リンク２０３６はさらに、他のデバイスへの接続のために含まれてよい。１つの実施形態では、通信リンク２０３６は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク２０３６は、他のデバイスとの通信のための任意の種々の無線または有線の伝送プロトコルを利用してよい。

入力ボタン／センサ２０３８は、ユーザ用の入力インタフェースを提供するために含まれる。任意の種々の種類の入力インタフェースに、ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等などが含まれてよい。超音波通信モジュール２０４０は、超音波技術を介した他のデバイスとの通信を容易とするためにＨＭＤ１０２に含まれてよい。

バイオセンサ２０４２は、ユーザからの生理学的データの検出を可能とするために含まれる。１つの実施形態では、バイオセンサ２０４２は、ユーザ／プロファイル等を識別するためにユーザの肌、声の検出、目の網膜の検出によってユーザの生体電子信号を検出するための１つまたは複数のドライ電極を含む。

前述のＨＭＤ１０２の構成要素は、単にＨＭＤ１０２に含まれ得る例示的な構成要素として記載された。本開示の種々の実施形態では、ＨＭＤ１０２は、種々の前述の構成要素のいくつかを含んでよく、または含まなくてよい。ＨＭＤ１０２の実施形態は、追加的には、本明細書において記載されないが、本明細書において記載された本開示の態様を容易にする目的のため当分野で知られる他の構成要素を含んでよい。

当業者は、本開示の種々の実施形態では、前述のハンドヘルドデバイスは、種々の対話型機能を提供するためにディスプレイに表示された対話型アプリケーションと共に利用され得ることを理解されたい。本明細書に記載される例示的な実施形態は、例示によってのみ提供され、限定により提供されるものではない。

１つの実施形態では、本明細書が指すクライアント及び／またはクライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス及び／またはその他を含んでよい。通常、クライアントは、符号化された映像ストリームを受信し、映像ストリームを復号化し、結果としての映像をユーザ、例えばゲームのプレイヤーに提示するように構成される。符号化された映像ストリームを受信するプロセス及び／または映像ストリームを復号化するプロセスは、通常、クライアントの受信バッファにおいて個々の映像フレームを記憶するプロセスを含む。映像ストリームは、クライアントに搭載されたディスプレイ上で、あるいはモニタまたはテレビなどの個別デバイス上でユーザに提示されてよい。

クライアントは、任意には、２人以上のゲームプレイヤーを支援するように構成される。例えば、ゲームコンソールは、２人の、３人の、４人のまたはそれ以上の同時ユーザ（例えば、Ｐ１、Ｐ２・・・Ｐｎ）を支援するように構成されてよい。これらのユーザのそれぞれは、映像ストリームを受信または共有してよく、あるいは、単一の映像ストリームは、それぞれのプレイヤーのために特別に生成された、例えばそれぞれのユーザの視点に基づいて生成された、フレームの領域を含んでよい。任意の数のクライアントは、ローカル（例えば、共同設置）であってよく、または地理的に分散され得る。ゲームシステムに含まれるクライアントの数は、１つまたは２つから数千、数万またはそれ以上へと幅広く変更されてよい。本明細書に使用する場合、「ゲームプレイヤー」または「ユーザ」という語は、ゲームをプレイする人を指すために使用され、「ゲームプレイデバイス」という語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイデバイスは、ユーザにゲーム体験を配信するために協働する複数のコンピューティングデバイスを指してよい。

例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを配信するために映像サーバシステムと協働してよい。１つの実施形態では、ゲームコンソールは、映像サーバシステムから映像ストリームを受信し、ゲームコンソールは、レンダリングのためにＨＭＤ及び／またはテレビに対して映像ストリームを転送するか、または映像ストリームを更新する。

さらに、ＨＭＤは、ビデオゲームコンテンツ、映画コンテンツ、映像クリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンボルゲームコンテンツ、会議電話／会合コンテンツ、ソーシャルメディアコンテンツ（例えば、投稿、メッセージ、メディアストリーム、友人イベント及び／またはゲームプレイ）、映像部分及び／または音声コンテンツならびにブラウザやアプリケーションを介したインターネット上のソースからの消費のために作成されたコンテンツ及び任意の種類のストリームコンテンツなどの、生成または使用された任意の種類のコンテンツを見るため及び／またはこれらと対話するために使用され得る。当然のことながら、前述のコンテンツのリストは限定するものではなく、ＨＭＤで見られる限りまたは画面もしくはＨＭＤの画面でレンダリングされ得る限り、任意の種類のコンテンツがレンダリングされ得る。

クライアントは、要求されるものではないが、受信された映像を修正するために構成されたシステムをさらに含み得る。例えば、クライアントは、１つのビデオ画像を別のビデオ画像に対して重ねるために、ビデオ画像を切り取るために及び／またはその他のために、さらなるレンダリングを実行するように構成されてよい。例えば、クライアントは、Ｉ−フレーム、Ｐ−フレーム及びＢ−フレームなどの種々の種類の映像フレームを受信し、ユーザに表示するためにこれらのフレームを画像に処理するように構成されてよい。いくつかの実施形態では、クライアントのメンバーは、さらなるレンダリング、共有化、３Ｄへの変換、２Ｄへの変換、歪み除去、サイジングまたは映像ストリーム上のその他の操作を実行するように構成される。クライアントのメンバーは、選択的に２つ以上の音声または映像ストリームを受信するように構成される。

クライアントの入力デバイスは、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視覚認識システム、音声認識システム、キーボード、ジョイスティック、位置指示デバイス、力フィードバックデバイス、運動感知デバイス及び／または位置感知デバイス、マウス、タッチ画面、神経インタフェース、カメラ、まだ開発中の入力デバイス及び／またはその他を含んでよい。

映像ソースは、例えば、ストレージのようなコンピュータ可読媒体に記憶される、例えば、ハードウェア、ファームウェア及び／またはソフトウェアなどのレンダリングロジックを含んでよい。このレンダリングロジックは、ゲーム状態に基づいて映像ストリームの映像フレームを作成するように構成される。レンダリングロジックの全てまたは一部は、任意には１つまたは複数のグラフィックス処理装置（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいてオブジェクトの間の３次元の空間関係を決定すること及び／または適したテクスチャを適用すること等を行うように構成された処理ステージを通常含む。レンダリングロジックは、符号化された未処理の映像を生成し得る。例えば、未処理の映像は、ＡｄｏｂｅのＦｌａｓｈ（登録商標）標準、ＨＴＭＬ−５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３またはその他に従って符号化されてよい。符号化プロセスは、デバイス上のデコーダに対して配信するために任意にパッケージされる映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートによって特徴付けられる。通常のフレームサイズは、８００×６００、１２８０×７２０（例えば７２０ｐ）、１０２４×７６８、１０８０ｐを含むが、任意の他のフレームサイズが使用されてよい。フレームレートは、毎秒の映像フレームの数である。映像ストリームは、様々な種類の映像フレームを含んでよい。例えば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームはディスプレイデバイスにおいて全てのマクロブロック／ピクセルをリフレッシュするための情報を含み、一方で、Ｐ−フレームはそのサブセットをリフレッシュするための情報を含む。Ｐ−フレームは、通常、データサイズがＩ−フレームより小さい。本明細書において使用される場合、「フレームサイズ」という語は、フレーム内のピクセルの数を指すことを意味する。「フレームデータサイズ」という語は、フレームを記憶するために必要とされるバイト数を指すように使用される。

いくつかの実施形態では、クライアントは、汎用コンピュータ、特定用途のコンピュータ、ゲームコンソール、パーソナルコンピュータ、ノートパソコン、タブレットコンピュータ、モバイルコンピューティングデバイス、ポータブルゲームデバイス、携帯電話、セットトップボックス、ストリームメディアインタフェース／デバイス、スマートテレビまたはネットワーク化されたディスプレイまたは本明細書に定義されたクライアントの機能性を満たすように構成可能な任意の他のコンピューティングデバイスであり得る。１つの実施形態では、クラウドゲームサーバは、ユーザによって利用されているクライアントデバイスの種類を検出するように構成され、ユーザのクライアントデバイスに適したクラウドゲーム体験を提供する。例えば、画像設定、音声設定及び他の種類の設定は、ユーザのクライアントデバイスのために最適化されてよい。

図１３は、情報サービスプロバイダアーキテクチャの実施形態を例示する。情報サービスプロバイダ（ＩＳＰ）２１７０は、地理的に分散されネットワーク２１５０を介して接続されたユーザ２１８２に複数の情報サービスを配信する。ＩＳＰは、株価更新のような１種類のサービスのみを配信し得るか、または、放送メディア、ニュース、スポーツ、ゲーム等などの多様なサービスを配信し得る。追加的に、それぞれのＩＳＰによって供給されたサービスは動的であり、すなわち、サービスは、どの時点においても付加または排除され得る。したがって、特定の個人に対して特定の種類のサービスを提供するＩＳＰは、経時的に変化し得る。例えば、ユーザは、自分のホームタウンにいる間、ユーザの近傍のＩＳＰによってサービス供給されてよく、ユーザは、異なる街へ移動するときに異なるＩＳＰによってサービス供給されてよい。ホームタウンのＩＳＰは、要求された情報及びデータを新しいＩＳＰに転送し、これによって、ユーザ情報はユーザを「追って」新しい街に行き、データはユーザにより近くなりアクセスし易くなる。別の実施形態では、ユーザのために情報を管理するマスタＩＳＰとマスタＩＳＰからの制御下でユーザと直接的に相互作用するサーバＩＳＰとの間のマスタサーバ関係が確立されてよい。別の実施形態では、クライアントが世界中を動きまわると、ユーザにサービスを提供するより良い配置にあるＩＳＰがこれらのサービスを配信するＩＳＰになるよう、データは１つのＩＳＰから別のＩＳＰに転送される。

ＩＳＰ２１７０は、ネットワーク上で顧客に対してコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）２１０６を含む。ＡＳＰモデルを使用して供給されるソフトウェアは、しばしばオンデマンドソフトウェアまたはサービス型ソフトウェア（ＳａａＳ）とも呼ばれる。特定のアプリケーションプログラム（顧客関係管理など）に対するアクセスを提供する簡易な形態は、ＨＴＴＰなどの標準プロトコルを使用して行われる。アプリケーションソフトウェアは、ベンダーのシステムに常駐し、ＨＴＭＬを使用しているウェブブラウザを通じたユーザによって、ベンダーによって提供される特定用途のクライアントソフトウェアによって、またはシンクライアントなどの他のリモートインタフェースによってアクセスされる。

広い地理的領域にわたり配信されるサービスは、クラウドコンピューティングを使用することが多い。クラウドコンピューティングはコンピューティングの様式であり、ここでは、動的に拡張可能であり多くの場合仮想化されるリソースがインターネット上でサービスとして提供される。ユーザは、これらを支援する「クラウド」の技術インフラの専門知識を持つ必要はない。クラウドコンピューティングは、サービス型インフラ（ＩａａＳ）、サービス型プラットフォーム（ＰａａＳ）及びサービス型ソフトウェア（ＳａａＳ）などの異なるサービスに分割され得る。ソフトウェア及びデータがサーバに記憶される一方で、クラウドコンピューティングサービスは、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供することが多い。クラウドという語は、コンピュータネットワーク図においてインターネットがどのように図示されるかに基づいて、インターネットに対する例えとして使用され（例えば、サーバ、ストレージ及びロジックを使用する）、それが包含する複雑なインフラのための抽象的概念である。

さらに、ＩＳＰ２１７０は、１人及び複数のプレイヤーのビデオゲームをプレイするためにゲームクライアントによって使用されるゲーム処理サーバ（ＧＰＳ）２１０８を含む。インターネット上でプレイされる多くのビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレイヤーからデータを収集し、それを他のプレイヤーに配信する専用のサーバアプリケーションを使用する。これはピアツーピア構成より効率的かつ効果的であるが、サーバアプリケーションをホストするための個別サーバを必要とする。別の実施形態では、ＧＰＳは、プレイヤー間の通信を確立し、プレイヤーの各ゲームプレイデバイスは、中心化されたＧＰＳに頼ることなく情報を交換する。

専用ＧＰＳは、クライアントから独立的に作動するサーバである。係るサーバは、通常、データセンタに配置された専用ハードウェア上で作動し、より高い処理能力及び専用の処理パワーを提供する。専用サーバは、多くのＰＣベースの複数プレイヤーによるゲーム用のゲームサーバをホストするには好適な方法である。専用サーバ上で実行される大規模な複数プレイヤーのオンラインゲームは、通常、ゲームの権利を所有するソフトウェア会社によってホストされ、これによりコンテンツの制御及び更新が可能となる。

ブロードキャスト処理サーバ（ＢＰＳ）２１１０は、音声信号または映像信号を視聴者に対して配信する。非常に狭い範囲の視聴者へのブロードキャストは、ナローキャスティングと呼ばれることがある。ブロードキャスト配信の最後の工程は、いかに信号がリスナーまたは視聴者に対して届けられ、ラジオ局またはテレビ局などの放送局を介してアンテナ及び受信機に送信され得るか、あるいは放送局を介してもしくはネットワークから直接的にケーブルテレビまたはケーブルラジオ（または「無線ケーブル」）を通じて送信され得るか、ということである。インターネットはさらに、特に信号及び帯域幅が共有されるのを可能とするマルチキャストによってラジオまたはテレビのいずれかを受信者へと送ってよい。これまでに、ブロードキャストは、全国ブロードキャストまたは地域ブロードキャストなどの地理的領域によって区切られてきた。しかしながら、高速インターネットの普及により、コンテンツは世界のほとんどいかなる国にも届き得るため、ブロードキャストは地理によって定義されない。

ストレージサービスプロバイダ（ＳＳＰ）２１１２は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰはさらに、定期的なバックアップ及びアーカイブを提供する。ストレージをサービスとして供給することにより、ユーザは、必要に応じてさらなるストレージを注文し得る。別の主要な利点は、ＳＳＰがバックアップサービスを含み、ユーザはコンピュータのハードドライブが故障した場合であっても全てのデータを失わないということである。さらに、複数のＳＳＰは、ユーザデータの全体のまたは部分的なコピーを有することがあり、ユーザは、ユーザがどこにいるのかに関係なく、またはデータにアクセスするために使用されるデバイスに関係なく、効率的な方法でデータにアクセスすることができる。例えば、ユーザは、ユーザが移動している間に携帯電話にアクセスするのと同様に、自宅のコンピュータの個人的なファイルにアクセスし得る。

通信プロバイダ２１１４は、ユーザに接続性を提供する。１つの種類の通信プロバイダは、インターネットへのアクセスを供給するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰはダイアルアップ、ＤＳＬ、ケーブルモデム、ファイバ、無線または専用の高速相互接続などのインターネットプロトコルデータグラムの配信に適したデータ伝送技術を使用してその顧客を接続する。通信プロバイダはさらに、電子メール、インスタントメッセージ及びＳＭＳテキストなどのメッセージサービスを提供し得る。別の種類の通信プロバイダは、インターネットへの直接的な基幹アクセスを提供することにより伝送容量またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、高速インターネットアクセスを供給する電気通信会社、データキャリア、無線通信プロバイダ、インターネットサービスプロバイダ、ケーブルテレビオペレータ等で構成され得る。

データ交換２１０４は、ＩＳＰ２１７０内のいくつかのモジュールを相互連結させ、これらのモジュールを、ネットワーク２１５０を介してユーザ２１８２に接続する。データ交換２１０４は、ＩＳＰ２１７０の全てのモジュールが近傍にある小さな領域をカバーしてよいか、または異なるモジュールが地理的に分散されるときに大きな地理的領域をカバーしてよい。例えば、データ交換２１０４は、データセンタのキャビネット内の高速なＧｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ（登録商標）（またはより高速なもの）あるいは大陸間仮想エリアネットワーク（ＶＬＡＮ）を含み得る。

ユーザ２１８２は、クライアントデバイス２１２０により遠隔サービスにアクセスし、これは、少なくともＣＰＵ、ディスプレイ及びＩ／Ｏを含む。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲームシステム、ＰＤＡ等であり得る。１つの実施形態では、ＩＳＰ２１７０は、クライアントによって使用されるデバイスの種類を認識し、使用される通信方法を調整する。他の場合では、クライアントデバイスは、ＩＳＰ２１７０にアクセスするためにｈｔｍｌなどの標準の通信方法を使用する。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な民生用電子機器、ミニコンピュータ、メインフレームコンピュータ及びその他を含む種々のコンピュータシステム構成によって実行されてよい。さらに本開示は、有線ベースのネットワークまたは無線ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境において実行され得る。

上述の実施形態を考慮し、本開示が、コンピュータシステムに記憶されたデータを伴う、種々のコンピュータ実施動作を利用し得ると理解されたい。これらの動作は、物理量の物理的操作を要するものである。本開示の一部を形成する本明細書に記載されたいかなる動作も有益な機械動作である。本開示は、さらにこれらの動作を実行するためのデバイスまたは装置に関する。装置は、必要とされる目的のために特別に構成されてよく、または装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであり得る。特に、種々の汎用機械は、本明細書における教示に従って記述されたコンピュータプログラムによって使用されることがあるか、または、必要な動作を実行するためにより特化した装置を構成することは便利であり得る。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとしてさらに具現化され得る。コンピュータ可読媒体は、データを記憶でき、その後コンピュータシステムにより読み取られ得る任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープならびに他の光学的及び非光学的データストレージデバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散された方法で記憶されて実行されるような、ネットワーク結合されたコンピュータシステムにわたり分散したコンピュータ可読有形媒体を含み得る。

動作方法は特定の順序で説明されたが、動作の間において他の維持管理動作が実行されてよく、または動作はわずかに異なる時間においてそれらが発生するように調整されてよく、またはシステムにおいて分散されてよく、これは、重複動作の処理が目的の方法において実行される限り、処理と関連した種々の間隔で処理動作が発生することを可能とすることを理解されたい。

理解を明確にする目的上、いくらかの詳細において前述の開示を記載してきたが、特定の変更及び修正が添付の特許請求の範囲内で実行され得ることは明らかである。したがって、本実施形態は、限定するものではなく例示として考慮されるべきものであり、本開示は、本明細書において提供された詳細に限定されるべきものではなく、記載された実施形態の範囲内及び均等物内において修正され得る。

Claims (30)

1. ヘッドマウントディスプレイ（ＨＭＤ）の画面上に表示されたときの場面の配置を最適化する方法であって、
   ３次元空間で前記ＨＭＤの初期方向を検出することであって、前記ＨＭＤの前記初期方向は、ユーザの快適な視聴配置である、前記検出することと、
   前記場面内でオブジェクトをレンダリングすることであって、前記レンダリングは、前記ＨＭＤの前記画面上に表示するときに前記オブジェクトを前記場面内の位置に表示させる、前記レンダリングすること、
   前記３次元空間で前記ＨＭＤの指示方向を検出することであって、前記指示方向は、前記ユーザに前記場面内の前記オブジェクトを注意して見るように指示するプロンプトに応答して、前記ＨＭＤを装着している前記ユーザが前記ＨＭＤを前記初期方向から動かした後に検出される、前記検出することと、
   前記初期方向と前記指示方向との間の３次元空間におけるオフセットを決定することと、
   前記オフセットを前記ユーザのプロファイルに保存することであって、前記オフセットは、前記ユーザに対してレンダリングしているときに後続場面の配置を調整するために適用され、これにより、前記後続場面内の特定のオブジェクトは前記画面上にレンダリングされ、前記ユーザの前記快適な視聴配置に近接して前記特定のオブジェクトの視聴を可能にする、前記保存することとを備える、方法。
2. 前記ユーザの識別を検出することと、
   前記ＨＭＤの使用セッション中に使用されることになる前記オフセットを有する前記プロファイルを前記ユーザに対して得ることと
   をさらに備える、請求項１に記載の方法。
3. 前記後続場面は前記ＨＭＤ上にレンダリングされた対話型コンテンツに関連付けられている、請求項１に記載の方法。
4. 前記場面または後続場面は、ゲーム、アプリケーション、広告、プログラムまたはそれらの組み合わせの形態で対話型コンテンツを提供する、請求項１に記載の方法。
5. 前記ＨＭＤを装着しているときに、少なくとも１つの矯正レンズが前記ユーザによって使用され、これにより、前記ユーザは眼鏡が使用されるときに前記快適な視聴配置を設定できる、請求項１に記載の方法。
6. 前記少なくとも１つの矯正レンズは多焦点レンズであり、前記多焦点レンズの上部分にある第１の視力補正と、前記多焦点レンズの下部分にある第２の視力補正との間に可視化された分割ラインを有し、前記可視化された分割ラインは、前記オブジェクトを見るときの前記ユーザの前記指示方向に影響を及ぼす、請求項５に記載の方法。
7. 前記後続場面の前記配置を調整することにより、前記特定のオブジェクトを見るときの前記オフセットが低減される、請求項１に記載の方法。
8. 前記特定のオブジェクトは、前記場面内にレンダリングされる対話型コンテンツの対象となるオブジェクトである、請求項１に記載の方法。
9. ３次元空間における前記ＨＭＤの前記初期方向は実世界環境のものであり、前記実世界環境は物理的基準を有する、請求項１に記載の方法。
10. 前記快適な視聴配置は、前記ＨＭＤを装着したときに、前記ユーザの前方の１つの方位を見ている前記ユーザに対して定義される、請求項１に記載の方法。
11. 前記場面内の前記オブジェクトは、複数の他の視覚画像から識別可能な視覚画像である、請求項１に記載の方法。
12. 前記視覚画像は、前記場面内のオブジェクト上に重ね合わされたレチクルである、請求項１１に記載の方法。
13. 前記視覚画像は、前記場面内の対話型オブジェクトである、請求項１１に記載の方法。
14. 前記場面内の前記位置は、前記画面上の所定の座標にある、請求項１に記載の方法。
15. 前記指示方向は、前記ＨＭＤが位置する前記３次元空間内に実世界の座標を有する、請求項１に記載の方法。
16. 前記プロンプトは、前記ＨＭＤと相互作用するコンピューティングデバイスによって生成され、前記プロンプトは、可聴プロンプト、視覚プロンプトまたは可聴プロンプトと視覚プロンプトとの組み合わせのうち１つである、請求項１に記載の方法。
17. 前記プロンプトは、前記ＨＭＤの較正中に前記ユーザに対して生成される、請求項１に記載の方法。
18. 前記プロンプトは、前記ＨＭＤとの対話セッション中に生成される、請求項１に記載の方法。
19. 前記指示方向は、閾値期間の後に取得され、前記閾値期間は、前記オブジェクトの前記位置を見るために前記初期方向から動くのに必要な予測期間の後である、請求項１に記載の方法。
20. 前記プロンプトは、一定期間、前記オブジェクトの視聴を保持する要求を含む、請求項１に記載の方法。
21. 前記オフセットは、実世界空間における座標及び実世界の基準に関連付けられる、請求項１に記載の方法。
22. 前記オフセットは、垂直オフセットパラメータを有する、請求項１に記載の方法。
23. 前記オフセットは、水平オフセットパラメータを有する、請求項１に記載の方法。
24. 前記オフセットは、前記ＨＭＤ内の慣性センサによって検出されて決定された配置変化から測定される、請求項１に記載の方法。
25. 前記オフセットは、カメラによって取得された前記ＨＭＤの検出画像によって測定されてよく、前記カメラは、前記カメラが取得する１つ以上の画像フレームにおける前記ＨＭＤの動きを見るように指示されている、請求項１に記載の方法。
26. 前記オフセットは、前記ＨＭＤの慣性センサにおいて検出された変化と、前記ＨＭＤの発光ダイオードで取得された画像データとの組み合わせによって測定される、請求項１に記載の方法。
27. ヘッドマウントディスプレイ（ＨＭＤ）の画面上に表示されたときの場面の配置を最適化する方法であって、
    ３次元空間で前記ＨＭＤの初期方向を検出することであって、前記ＨＭＤの前記初期方向は、ユーザの快適な視聴配置である、前記検出することと、
    前記場面内でオブジェクトをレンダリングすることであって、前記レンダリングは、前記ＨＭＤの前記画面上に表示するときに前記オブジェクトを前記場面内の位置に表示させる、前記レンダリングすること、
    前記３次元空間で前記ＨＭＤの指示方向を検出することであって、前記指示方向は、前記ＨＭＤを装着している前記ユーザが前記場面内で前記オブジェクトを注意して見るために前記ＨＭＤを前記初期方向から動かした後に検出される、前記検出することと、
    前記初期方向と前記指示方向との間の３次元空間におけるオフセットを決定することと、
    前記オフセットを前記ユーザのプロファイルに保存することであって、前記オフセットは、前記ユーザに対してレンダリングするときに後続場面の配置を調整するために適用され、これにより、前記後続場面内の特定のオブジェクトは前記画面にレンダリングされ、前記ユーザの前記快適な視聴配置に近接して前記特定のオブジェクトの視聴を可能にする、前記プロファイルに保存することとを備える、方法。
28. 前記オブジェクトは、前記ＨＭＤの前記画面に表示するときに前記場面内の第２の場所に表示され、次いで、第２のオフセットを決定し、前記第２のオフセットは前記オフセットの代わりに前記プロファイルに保存されている、請求項２７に記載の方法。
29. 前記オブジェクトは対話型セッションに表示され、前記初期方向及び前記指示方向は前記オフセットを決定するために受動的に取得される、請求項２７に記載の方法。
30. 前記初期方向及び前記指示方向を受動的に取得することは、前記ユーザに前記オブジェクトを注意して見るように指示するプロンプトを必要とすることなく、一定の期間にわたり１回または複数回発生する、請求項２７に記載の方法。