JP2019211864A - コンピュータプログラム、情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】ユーザの仮想体験の質を向上させる。【解決手段】本実施形態に係るコンピュータプログラムは、ヘッドマウントデバイスを装着したユーザに仮想体験を提供するためにコンピュータに実行させるためのコンピュータプログラムであって、前記仮想体験を提供するための仮想空間を規定するステップと、前記仮想空間に仮想カメラを設定するステップと、前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスの第１回転量を計算するステップと、前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスの第２回転量を計算するステップと、前記第２回転量に応じて、前記第１回転量を補正するステップと、前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップとを備える。【選択図】図１５

Description

本開示は、コンピュータプログラム、情報処理装置および情報処理方法に関する。

ユーザの頭部に装着されて、ユーザに仮想空間を提供するヘッドマウントデバイス（ＨＭＤ）が、バーチャルリアリティ（ＶＲ）を体験するツールの１つ注目されている。ＶＲでは、現実空間におけるユーザの頭の向き（ＨＭＤの向き）と連動するように、仮想空間内における仮想カメラの向き（視界）を制御する。

米国特許出願公開２０１５／０３７９７７２号明細書

しかしながら、ＨＭＤの向きと仮想カメラの向きがずれると、ユーザにずれた画像が提示されるため、ユーザの仮想体験の質が低下する。

本開示は、ユーザの仮想体験の質を向上させることが可能なコンピュータプログラム、情報処理装置および情報処理方法を提供する。

本発明の実施形態に係るコンピュータプログラムは、ヘッドマウントデバイスを装着したユーザに仮想体験を提供するためにコンピュータに実行させるためのコンピュータプログラムであって、前記仮想体験を提供するための仮想空間を規定するステップと、前記仮想空間に仮想カメラを設定するステップと、前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、前記第２回転量に応じて、前記第１回転量を補正するステップと、前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップとを備える。

ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。 仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。 図１２（Ａ）におけるユーザ５Ａの視界画像を示す図である。 ある実施の形態に従うＨＭＤシステムにおいて実行する処理を示すシーケンス図である。 他のＨＭＤシステムの構成を表す図である。 ＨＭＤの向きと、仮想カメラの向きとの関係を説明する図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 仮想カメラ制御モジュールの処理の第１の例のフローチャートである。 仮想カメラの向きの再設定処理を説明するための図である。 回転量の計算を説明するための図である。 図１７のステップＳ１７５５の処理の一例のフローチャートである。 第１回転量と、第２回転量と、補正後の第１回転量とを格納したテーブルの例を示す図である。 ＨＭＤの推定回転量からＨＭＤの向きを推定する例を示す図である。 図１７のステップＳ１７５５の処理の他の例のフローチャートである。 回転量の差分を計算する例を示す図である。 図１７のステップＳ１７５５の処理の他の例のフローチャートである。 仮想カメラ制御モジュールの処理の第２の例のフローチャートである。 仮想カメラ制御モジュールの処理の第３の例のフローチャートである。 差分の絶対値と、第１重みと、第２重みとを格納したテーブルの例を示す図である。 仮想カメラ制御モジュールの処理の第４の例のフローチャートである。 図２９のステップＳ２９７３の処理の一例のフローチャートである。 図２９のステップＳ２９７３の処理の他の例のフローチャートである。 仮想カメラ制御モジュールの処理の第５の例のフローチャートである。 仮想カメラ制御モジュールの処理の第６の例のフローチャートである。

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。

ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。

モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。

別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。

注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。

第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。

マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。

コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。

モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。

サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。

外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。

［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。

プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。

ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。

ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。

図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。

ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。

図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。

ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。

ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。

ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。

仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。

コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。

注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。

別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。

図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。

このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。

ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。

ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定す る。

ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。

図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。

右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。

フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。

ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。

プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。

メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。

ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。

別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。

通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。

ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。

［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。

図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。

コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。

コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。

コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。

コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。

コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。

コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。

コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。

コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。

ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。

メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。

空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。

オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。

ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。

メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。

通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。

ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。

［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。

図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。

ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。

ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１３２にて、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。

ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。

ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。

ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。

ステップＳ１１６０にて、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。

ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。

ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。

［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。

図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。

ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。

図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。

図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。

ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。

図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。

ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。

ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。

ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤ１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。

続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。

ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。

ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。

［他のＨＭＤの構成］
上記の実施形態では、ＨＭＤシステム１００として、ＨＭＤ１２０とコンピュータ２００とが別体の例を説明したが、ここでは、ＨＭＤシステムの他の構成例として、ＨＭＤ１２０とコンピュータ２００とが一体となっている形態について更に説明する。

図１４は、ＨＭＤシステム１４３１の構成を表す。ＨＭＤシステム１４３１は、ＨＭＤ１４３２と、携帯型の情報処理端末（情報処理装置）１４４１とを有する。ＨＭＤ１４３２は、筐体にスマートフォン等の移動体端末を装着可能な形式の所謂モバイル型のＨＭＤである。情報処理端末（情報処理装置）１４４１は、コントローラ３００と無線または有線で通信可能である。情報処理端末１４４１は例えばスマートフォン等の移動体端末であり、上記実施形態のコンピュータ２００に対応する。

ＨＭＤ１４３２は、筐体１４３３と、ベルト１４３４と、調節部材１４３５と、前カバー１４３６と、突起１４３８とを有する。ユーザ５は、ベルト１４３４を自身の頭部にかけた後に、調節部材１４３５でベルト１４３４の長さを調節することにより、ＨＭＤ１４３２を自身の頭部に固定する。

前カバー１４３６は、筐体１４３３の前方下部に取り付けられており、取り付け箇所を軸として回動可能に構成される。前カバー１４３６にはフック１４３７が設けられている。ユーザ５は、前カバー１４３６に情報処理端末１４４１を載せた状態で、前カバー１４３６を閉じる。ユーザ５はさらに、前カバー１４３６が閉じられた状態でフック１４３７を突起１４３８にかけることにより、情報処理端末１４４１をＨＭＤ１４３２に固定する。

筐体１４３３はさらに、レンズ１４３９を有する。レンズ１４３９は、左目用のレンズと右目用のレンズとを含む。筐体１４３３のレンズ１４３９から前方部分は開口されている。ユーザ５は、ＨＭＤ１４３２を頭部に装着した状態において、レンズ１４３９を介して情報処理端末１４４１のモニタ１４４２を視認する。なお、ＨＭＤ１４３２はさらに、レンズ１４３９の位置を調節するための調節機構を有していてもよい。

情報処理端末１４４１はさらに、上述のプロセッサ２１０，メモリ２２０，ストレージ２３０，通信インターフェイス２５０，スピーカ１８０，マイク１７０の各々に相当する構成要素を含む（図示しない）。ＨＭＤシステム１４３１において、上述の各種処理（視界画像を生成する処理など）は、情報処理端末１４４１に設けられたプロセッサ２１０が各種の構成要素と連携することにより実現される。また、情報処理端末１４４１は、ＨＭＤ１４３２の動きを検出するモーションセンサおよびＨＭＤ１４３２の向いている方向（向き）を検出する方向センサなど、各種のセンサを備えている。これらのセンサは、情報処理端末１４４１（スマートフォン等）に備え付けのものを利用できる。

図１４のＨＭＤシステムでは、ＨＭＤ１４３２の筐体に対して情報処理端末１４４１を脱着可能であったが、ＨＭＤと情報処理端末（情報処理装置）とが一体型のＨＭＤシステムとしてもよい。

以下に示す実施形態においては、ユーザ５が図１４のＨＭＤ１４３２を装着して、コンテンツを実行（例えばゲームをプレイ）する状況を想定する。ＨＭＤ１４３２を装着したユーザ５には、ＨＭＤ１４３２によって提供される仮想空間１１における視界領域１５内の画像が視認されている。ユーザ５は、頭を左右に動かすまたは体を回転させるなどして、仮想カメラ１４および視界領域１５を移動させることで、ＨＭＤ１４３２の向きに応じた画像を見ることができる。このようにＨＭＤ１４３２の向きに合わせて適切な画像を提供するためには、ユーザ５の動きに応じて、ＨＭＤ１４３２の向き（ユーザ５の向き、あるいは、情報処理端末１４４１の向き）を推定し、推定した向きに仮想カメラ１４の向きを合わせる必要がある。本実施形態に係るプログラムでは、ユーザ５の動きに応じて、ＨＭＤ１４３２の向きを高精度に推定し、推定した向きに仮想カメラ１４の向きを一致させる。これにより、ユーザ５の向きに応じた適切な画像を提供し、ユーザ５の仮想体験の質を向上させる。

ＨＭＤ１４３２の向きを推定する方法として、ＨＭＤ１４３２の動きを検出するモーションセンサを用いる方法がある。すなわち、ＨＭＤ１４３２にモーションセンサを設け、モーションセンサにより検出したＨＭＤ１４３２の動きに基づき、ＨＭＤ１４３２の向きを推定する。しかしながら、この方法では、ユーザ５が急に動いた場合などに、モーションセンサが、この動き（速度の変化）に追従できずに、モーションセンサの検出性能が低下する問題がある。この場合、ＨＭＤ１４３２の向きの推定精度が低下し、ＨＭＤ１４３２の向きと仮想カメラ１４の向きがずれる問題が発生する。以下、このことについて図１５を用いて説明する。

図１５（Ａ）において、現実空間においてＨＭＤ１４３２を装着したユーザ５が正面方向（ここではＺ軸正方向）を向いている。仮想空間における仮想カメラ１４も、ユーザ５と同じ方向を向いている。視界領域１５内には、オブジェクト１５４１（例えば建物）が配置されており、ユーザ５のほぼ正面方向にオブジェクト１５４１が見えている。

図１５（Ｂ）に示すように、ユーザ５の頭が図１５（Ａ）の状態から、ＸＺ平面に平行に、Ｙ軸周りに９０度左にゆっくりした動作で回転する。ユーザ５に装着されたＨＭＤ１４３２も同じ方向に同じ回転量（回転角）だけ回転し、ＨＭＤ１４３２はＸ軸の負方向を向く。この際、モーションセンサを用いて、ＨＭＤ１４３２の向きを推定し、推定したＨＭＤ１４３２の向きに合わせて、仮想カメラ１４の向きを調整する。この例では、推定したＨＭＤ１４３２の向きが、ユーザ５の頭の向きと一致し、仮想カメラ１４の向きが、実際のＨＭＤ１４３２の向きに一致する。調整後の仮想カメラ１４の向きに応じて視界領域１５を再設定し、視界領域１５に対応する視界画像をモニタ１４４２に表示すると、オブジェクト１５４１が視界領域１５外になり、ユーザ５からは、オブジェクト１５４１が見えなくなる。

一方、図１５（Ｃ）に示すように、ユーザ５の頭が図１５（Ａ）の状態から、ＸＺ平面に平行に、Ｙ軸周りに９０度左に急な動作で回転する。図１５（Ｂ）と同様に、モーションセンサを用いて、ＨＭＤ１４３２の向きを推定し、推定したＨＭＤ１４３２の向きに合わせて、仮想カメラ１４の向きを調整する。この例では、モーションセンサがユーザ５の動きに追従できず、ユーザ５の頭の回転量が、実際よりも少ない量として検出されている。つまり、９０度よりも小さい角度で、ユーザ５の頭が回転したと計算されている。この結果、推定されたＨＭＤ１４３２の向きが、実際のＨＭＤ１４３２の向き（ユーザ５の頭の向き）よりもＺ軸正方向側にずれている。この状態で、仮想カメラ１４の向きを、推定したＨＭＤ１４３２に合わせると、図示のように、図１５（Ｂ）では視界領域１５外となっていたオブジェクト１５４１が、図１５（Ｃ）では、視界領域１５内に存在し、ユーザ５から見て右方にオブジェクト１５４１が視認される。つまり、推定したＨＭＤ１４３２の向きが正しければ、本来見えるはずのないオブジェクトが、図１５（Ｃ）では見えてしまっている。

図１５（Ｃ）のようなＨＭＤの向きと仮想カメラの向きとにずれは、一般的に、時間の経過とともに大きくなる。このずれを解消する方法として、コントローラ操作で、仮想カメラの正面方向を再設定する方法があるが、ゲーム中に、再設定操作を行うのは煩雑である。また、別の方法として、仮想カメラの向きが正面方向となるように、ユーザ５が自分（ＨＭＤ）の体の向きを、仮想カメラの向きに合わせて調整する方法がある。この方法は、ユーザが立っている場合や、回転椅子に座っている場合には容易に実行できるが、非回転椅子やソファーに座っている場合は困難である。したがって、ＨＭＤの向きと仮想カメラの向きとにずれは、ユーザの仮想体験の質の低下を招く。ＨＭＤの向きと仮想カメラの向きとにずれが生じない、もしくはずれの発生の頻度または大きさを低減することが望まれる。

そこで、本実施形態ではモーションセンサに加えて、ＨＭＤ１４３２の向きを検出する方向センサを用いることで、ＨＭＤの向きの推定精度を高める。具体的には、モーションセンサから計算される回転量（第１回転量）を、方向センサから検出される回転量（第２回転量）で補正する。そして、補正後の第１回転量に応じて、仮想カメラ１４の向きを制御する。つまり、補正後の第１回転量だけ回転した方向をＨＭＤ１４３２の向きと推定し、推定した向きに合わせて仮想カメラ１４の向きを調整する。このように方向センサを補助的に利用することによって、モーションセンサの検出性能が低下する場合の問題を解決する。

以下、図１６〜図３３を用いて、本実施形態に係るプログラムの処理について、詳細に説明する。
［モジュールの詳細構成］
図１６を参照して、図１４のＨＭＤシステム１４３１における情報処理端末１４４１のモジュール構成について説明する。図１６は、情報処理端末１４４１（コンピュータ２００）のモジュール構成を表わすブロック図である。情報処理端末１４４１（コンピュータ２００）は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、センサモジュール１６２６とを含む。センサモジュール１６２６は、センサ（モーションセンサ）１９０、複数の方向センサ１６２７Ａ、１６２７Ｂを備える。他の構成例として、モーションセンサ１９０、複数の方向センサ１６２７Ａ、１６２７Ｂを、ＨＭＤ１４３２内の情報処理端末１４４１以外の箇所に設け、これらのセンサの検出信号を情報処理端末１４４１に出力する構成も可能である。また、図１６の情報処理端末１４４１と同等の機能を、図２のＨＭＤシステム１００で実現することも可能である。この場合、センサモジュール１６２６（モーションセンサ１９０、方向センサ１６２７Ａ、１６２７Ｂ）をＨＭＤ１２０に搭載し、これらのセンサの検出信号を無線または有線でコンピュータ２００に出力すればよい。

複数の方向センサ１６２７Ａ、１６２７Ｂのうちの任意の方向センサを方向センサ１６２７と表す。図の例では方向センサは２つだが、１つでもよいし、３つ以上でもよい。また、図の例ではモーションセンサは１つだが、２つ以上でもよい。また、センサモジュール１６２６は、これらモーションセンサおよび方向センサ以外の種類のセンサを備えていてもよい。

モーションセンサ１９０は、ＨＭＤ１４３２の動きを検出するセンサ（第１センサ）である。モーションセンサとして、例えば、３軸の加速度センサと３軸の角速度センサ（ジャイロセンサ）とを含む６軸センサを用いることができる。この場合、一例として、ＸＹＺ座標系において、Ｘ軸、Ｙ軸およびＺ軸の加速度と、Ｘ軸、Ｙ軸およびＺ軸の角速度を検出できる。モーションセンサ１９０は、６軸センサに限定されず、他のセンサ、例えばジャイロセンサであってもよい。

方向センサ１６２７は、ＨＭＤ１２０の向いている方向（ＨＭＤ１２０の向き）を検出する。方向センサ１６２７として、例えば、電子コンパス（地磁気センサ）またはＧＰＳ（Global Positioning System）コンパス等の方位センサを用いることができる。電子コンパスは、複数の磁気センサを用いて、直交する複数の方向の地磁気を測定し、測定結果に基づき方向（方位）を特定する。ＧＰＳコンパスは、複数のアンテナでＧＰＳ信号を受信し、各アンテナで受信したＧＰＳ信号と、アンテナの位置関係とに基づき、方向（方位）を特定する。これらのセンサは一例に過ぎず、例えばジャイロコンパスなど、他の種類のセンサを用いてもよい。方位センサの場合、検出する方向（方位）は、例えば、真北方向を０度とし、東回りに３５９．９９までの範囲で表すことができる。出力形式はセンサに依存し、特定のフォーマットに限定されない。方向として、方位に加え、傾き（傾斜角）を検出する場合には、傾斜センサ（例えばＸ軸周りの傾きの傾斜センサ、Ｚ軸周りの傾きの傾斜センサ）を追加で用いればよい。この場合、方位センサと傾斜センサとを用いて、方向センサを構成する。方向センサ１６２７が検出する座標系が、ＸＹＺ座標系に一致しない場合は、方向センサ１６２７で検出した方向を、ＸＹＺ座標系に変換すればよい。一例として、真北がＺ軸正方向、真東がＸ軸正方向にそれぞれ対応するようにする。このような変換処理は、一例として、コントロールモジュール５１０または仮想カメラ制御モジュール１６２１で行う。あるいは、変換処理の機能を方向センサ１６２７に組み込んでも良い。

コントロールモジュール５１０は、仮想カメラ制御モジュール１６２１と、視界領域決定モジュール１６２２と、仮想空間定義モジュール１６２３と、仮想オブジェクト生成モジュール１６２４と、操作オブジェクト制御モジュール１６２５と、センサ情報取得モジュール１６２８と、を備えている。レンダリングモジュール５２０は、視界画像生成モジュール１６３８を備えている。コントロールモジュール５１０は、レンダリングモジュール５２０、メモリモジュール５３０およびセンサモジュール１６２６に接続されている。

センサ情報取得モジュール１６２８は、モーションセンサ１９０、方向センサ１６２７Ａおよび方向センサ１６２７Ｂで検出された情報（検出情報）を取得する。センサ情報取得モジュール１６２８は、ある局面では、これらの各センサから、一定時間間隔で検出情報を取得する。各センサから検出情報を取得する周期は同じでもよいし、異なってもよい。別の局面では、センサ情報取得モジュール１６２８は、これらの各センサに取得要求を出力し、その応答として、各センサから検出情報を取得する。センサ情報取得モジュール１６２８は、各センサから直接、検出情報を取得する形態以外に、メモリモジュール５３０を介して、検出情報を各センサから取得する形態も可能である。この場合、各センサは、検出情報をメモリモジュール５３０における各センサ用の所定の記憶領域（図示せず）に書き込む。センサ情報取得モジュール１６２８は、各センサ用の記憶領域にアクセスし、各センサの検出情報を読み出す。

仮想カメラ制御モジュール１６２１は、仮想空間１１に仮想カメラ１４を配置する。仮想カメラ制御モジュール１６２１は、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）を制御する。

仮想カメラ制御モジュール１６２１は、モーションセンサ１９０と、１つまたは複数の方向センサ１６２７とを用いて、ＨＭＤ１４３２の向きを推定する。ＨＭＤ１４３２の向きを推定する処理については後に詳しく述べる。

仮想カメラ制御モジュール１６２１は、推定したＨＭＤ１４３２の向きに、仮想カメラ１４の向きを合わせる。すなわち、現実空間におけるＨＭＤ１４３２の向き（ユーザの頭の向き）に連動するように、仮想空間における仮想カメラ１４の向き（視界）を制御する。

視界領域決定モジュール１６２２は、仮想カメラ１４の向き（推定したＨＭＤ１４３２の向き）と、仮想カメラ１４の配置位置に応じて、視界領域１５を規定する。

レンダリングモジュール５２０の視界画像生成モジュール１６３８は、決定された視界領域１５に基づいて、情報処理端末１４４１のモニタ１４４２に表示される視界画像１７を生成する。

仮想空間定義モジュール１６２３は、仮想空間１１を表わす仮想空間データを生成することにより、ＨＭＤシステム１４３１における仮想空間１１を規定する。

仮想オブジェクト生成モジュール１６２４は、仮想空間１１に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。

操作オブジェクト制御モジュール１６２５は、仮想空間１１に配置された、ユーザの操作を受け付けるための操作オブジェクトを制御する。操作オブジェクトは、例えば、ＨＭＤ１４３２を装着したユーザの手、コントローラ３００、またはこれらの両方により操作可能である。

メモリモジュール５３０は、情報処理端末１４４１が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報１６３１と、オブジェクト情報１６３２と、ユーザ情報１６３３と、を保持している。

空間情報１６３１は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。

オブジェクト情報１６３２は、仮想空間１１において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間１１に配置するための情報（たとえば、位置情報）を保持している。当該コンテンツは、例えば、ゲームコンテンツ、実社会と同様の風景を表したコンテンツ、または映像コンテンツ等を含み得る。

ユーザ情報１６３３は、ＨＭＤシステム１４３１の制御装置として情報処理端末１４４１を機能させるためのプログラム、およびオブジェクト情報１６３２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。

図１７は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに仮想カメラ１４の向きを制御する処理の第１の例のフローチャートである。本処理では、モーションセンサ１９０と１つの方向センサ１６２７とを用いて、所定時間毎に、ＨＭＤ１４３２の向きの推定を行い、推定した向きに基づき仮想カメラ１４の向きを制御する。以下、本処理の詳細を説明する。

ステップＳ１７５１において、仮想カメラ制御モジュール１６２１は、仮想カメラ１４の向きを初期設定または再設定する。仮想カメラ制御モジュール１６２１は、ユーザ５により入力される初期設定または再設定の操作を受け付ける。初期設定または再設定の操作は、一例として、ユーザ５がコントローラ３００から入力する。仮想カメラ制御モジュール１６２１は、当該操作を受け付けた時点のＨＭＤ１４３２の向く方位（例えば方向センサ１６２７が示す向きの方位）が正面方向となるように、仮想カメラ１４の向きを設定する。正面方向は一例としてＺ軸正方向であるが、これに限定されるものではない。設定後の仮想カメラ１４の向きに基づき、視界画像生成モジュール１６３８により視界画像１７を生成し、生成した視界画像１７をモニタ１４４２に表示する。初期設定の操作は、一例として、コンテンツ（ゲーム）の起動時または開始時に行う。再設定の操作は、一例として、ゲームの途中等で、ユーザ５の判断に基づき行う。例えば、ＨＭＤ１４３２の向きと仮想カメラ１４の向き（推定したＨＭＤの向き）とのずれをユーザ５が認識した場合などである。

図１８に、仮想カメラ１４の向きの初期設定または再設定操作を行う例を示す。ここでは、図１５（Ｃ）に示したＨＭＤ１４３２の向きと仮想カメラ１４の向きとがずれた状態で初期設定または再設定操作を行う例を示す。上図は、図１５（Ｃ）と同じである。ユーザ５が初期設定または再設定操作を行うと、下図に示すように、ＨＭＤ１４３２の向きままたは方位（方向センサが示す向きまたは方位）が正面方向となるように、仮想カメラ１４の向きを設定する。この結果、仮想カメラ１４は図１５（Ｂ）と同じ方向を向き、図１５（Ｂ）と同じ画像が見えるようになる。なお、方向センサの検出性能が低い環境の場合、初期設定または再設定後も、ＨＭＤ１４３２の向きと仮想カメラ１４の向きとがずれる可能性がある。しかしながら、その場合も、複数回、設定の操作を繰り返すことで改善が期待される。別の局面においては、初期設定または再設定操作時の仮想カメラ１４の向きが正面方向となるように、視界画像の生成（更新）を行うことも可能である。

ステップＳ１７５２において、所定時間が経過したかを判断する。所定時間の長さは、画像表示のフレーム単位で設定してもよいし、それ以外の方法で定めた時間長を設定してもよい。所定時間が経過していない場合は（ＮＯ）待機し、所定時間が経過した場合は（ＹＥＳ）、ステップＳ１７５３に進む。なお、情報処理端末は時刻をカウントする時計を内部に備えている。

ステップＳ１７５３において、仮想カメラ制御モジュール１６２１は、モーションセンサ１９０の検出情報に基づき、ＨＭＤ１４３２の回転した量（第１回転量）を計算する。計算する回転量（回転角）は、ある局面では、Ｙ軸周りの回転量である。別の局面では、３つの軸（Ｙ軸、Ｚ軸、Ｘ軸）周りの回転量である。さらに別の局面では、２つの軸（Ｙ軸、Ｚ軸、Ｘ軸のうちの任意の２つ）周りの回転量である。回転量は、一例として、該当する軸（例えばＹ軸）周りの角速度を時間積分することで計算できる。以下では、説明の簡単のため、ユーザ５の頭がＸＺ平面に平行にＺ軸正面方向を向いている状態で、ＸＺ平面に平行でＹ軸周りに回転した場合を想定する。Ｘ軸周りの回転およびＺ軸周りの回転も考慮する場合は、各軸で個別に処理を行えばよい。これは方向センサ１６２７についても同様である。

図１９に第１回転量を計算する例を示す。回転量の計算は、基準方向からどれだけの角度を所定の軸周りにＨＭＤ１４３２が回転したかを計算することで行う。図の例では、Ｙ軸周りに、ＺＸ平面に平行に、第１回転量を計算する例を示す。モーションセンサ１９０に基づき計算された第１回転量がｒｑ１によって表されている。方向ｄ１は、ＨＭＤ１４３２が基準方向から第１回転量ｒｑ１だけ回転した場合に向く方向（すなわちＨＭＤ１４３２が第１回転量ｒｑ１だけ回転した場合の向き）を示している。基準方向は、第１の局面では、前回（所定時間前に）推定したＨＭＤ１４３２の向きである。第２の局面では、基準方向は、予め定めた特定の方向、例えば正面方向である。前者の場合、計算するごと基準方向が変わるもしくはその可能性があるのに対して、後者では基準方向は固定されている。以下の説明では、基準方向は、前回推定したＨＭＤ１４３２の向きである場合を想定する。

ステップＳ１７５４において、仮想カメラ制御モジュール１６２１は、方向センサ１６２７の検出情報に基づき、方向センサ１６２７が示す向きを特定する。仮想カメラ制御モジュール１６２１は、方向センサ１６２７が示す向きと、基準方向との差分から第２回転量を計算する。第２回転量は、基準方向からＨＭＤ１４３２がどれだけ回転したかを表す回転量（回転角）である。図１９において、方向センサ１６２７が示す向きｄ２と基準方向との差分から第２回転量ｒｑ２が計算されている。図の例では、第２回転量ｒｑ２は、第１回転量ｒｑ１よりも小さい。

ステップＳ１７５５において、仮想カメラ制御モジュール１６２１は、第１回転量ｒｑ１と第２回転量ｒｑ２とに基づき、ＨＭＤ１４３２の向きを推定する。この具体的な処理は後述する。

ステップＳ１７５６において、仮想カメラ制御モジュール１６２１は、推定したＨＭＤ１４３２の向きに基づき、仮想カメラ１４の向きを制御する。すなわち、仮想カメラ１４の向きを、推定したＨＭＤ１４３２の向きに合わせる。この後、仮想カメラ１４の向きに応じて、視界領域１５が設定され、視界領域１５に対応する視界画像がモニタ１４４２に表示される。

ステップＳ１７５７において、仮想カメラ制御モジュール１６２１は、本処理を終了するかを判断する。終了しないと判断した場合は（ＮＯ）、ステップＳ１７６６に進む。

ステップＳ１７６６において、ユーザから仮想カメラ１４の向きの再設定操作があったかを判断する。再設定操作がなければ（ＮＯ）、ステップＳ１７５２に戻る。この場合、ステップＳ１７５２で所定時間が経過したか判断する際の所定時間の起点は、一例として、直前にＨＭＤ１４３２の向きの推定を行った時点である。再設定操作があった場合は（ＹＥＳ）、ステップＳ１７５１に戻る。この場合、ステップＳ１７５１に続くステップＳ１７５２での所定時間の起点は、一例として、ステップＳ１７５１で再設定が行われた時点である。ただし、所定時間の起点はここで述べた以外にも任意の基準で決めた時点を用いることができる。

ステップＳ１７５７で本処理を終了すると判断した場合は（ＹＥＳ）、本処理を終了する。例えば、ユーザ５がゲームを終了するためにコントローラ３００に終了操作を行うと、コントローラ３００が終了指示信号を出力する。この終了指示信号を仮想カメラ制御モジュール１６２１が受信、もしくはコントロールモジュール５１０を介して受信すると、本処理を終了する。

図２０は、図１７のステップＳ１７５５の詳細な処理の一例のフローチャートである。

ステップＳ２０５８において、第２回転量に基づき、第１回転量を補正（キャリブレーション）する。補正された第１回転量を、ＨＭＤ１４３２が実際に回転した量の推定値（推定回転量）とする。

第１回転量の補正は、一例として、以下の関数で表現できる。ｒｑ１は、第１回転量、ｒｑ２は第２回転量、ＥＲは、補正後の第１回転量（推定回転量）である。ｆ０は、ｒｑ１、ｒｑ２を引数とする関数である。
ＥＲ＝ｆ０（ｒｑ１、ｒｑ２） 式（１）

関数の形は任意に定めることができる。関数は、ある局面において、第２回転量に一定の係数（例えば絶対値が１より小さい正または負の値）を乗じ、得られた乗算値を第１回転量に加算、または第１回転量から減算するものがある。

別の局面において、第１回転量と第２回転量との差分に基づき、当該係数の値を変更してもよい。一例として、差分が大きいほど、係数の値を大きくまたは小さくする。

また、さらに別の局面において、第１回転量を第２回転量によって置換し、置換後の値を、補正後の第１回転量としてもよい。例えば第１回転量と第２回転量との差分の絶対値が閾値以上の場合に、第１回転量を第２回転量によって置換してもよい。差分の絶対値が大きくなることは、モーションセンサ１９０の検出性能が大きく低下している可能性があるためである。また、この方法は、方向センサ１６２７の検出性能が高いと想定される環境（例えば周辺磁場の大きさが低い場合、またはＧＰＳ信号の受信品質が高い場合など）で有効である。例えば、ある局面では、方向センサ１６２７が地磁気センサを含む場合に、地磁気センサで計測される磁場の大きさが閾値未満の場合に、第１回転量を第２回転量によって置換する。なお、磁気の大きさの測定は、磁気センサをセンサモジュール１６２６内に別途設け、当該磁気センサの検出信号に基づき行ってもよい。別の局面において、方向センサ１６２７がＧＰＳコンパスの場合に、ＧＰＳコンパスで受信されるＧＰＳ信号の受信品質が閾値以上の場合に、第１回転量を第２回転量によって置換してもよい。受信品質としては、例えば、受信強度またはＳＮＲ（Signal to Noise Ratio）を用いることができる。

また、さらに別の局面において、第１回転量を補正せず、第１回転量の値をそのまま、推定回転量としてもよい。例えば第１回転量と第２回転量との差分の絶対値が閾値未満の場合に、このようにしてもよい。差分の絶対値が小さいことは、モーションセンサ１９０の検出性能が良いと考えられるためである。この場合に第２回転量による補正の演算を省くことで、処理負荷を軽減できる。また、この方法は、方向センサ１６２７の検出性能が低いと想定される環境（例えば周辺磁場の大きさが高い場合、またはＧＰＳ信号の受信品質が低い場合など）で有効である。例えば、ある局面において、方向センサ１６２７または別途設けた地磁気センサで計測される磁場の大きさが閾値以上の場合に、第１回転量の値を推定回転量とする。別の局面において、方向センサ１６２７（ＧＰＳコンパス）で受信されるＧＰＳ信号の受信品質が閾値未満の場合に、第１回転量の値をそのまま推定回転量とする。

第１回転量の補正は、第１回転量と、第２回転量と、補正後の第１回転量とを対応づけたテーブルを用いて行ってもよい。テーブルの例を図２１に示す。図の値は、理解を容易にするための一例である。第１回転量ｒｑ１および第２回転量ｒｑ２の組に基づきテーブルにアクセスすることで、組に対応する補正後の第１回転量ＥＲを求める。テーブルは、例えばメモリモジュール５３０またはユーザ情報１６３３に格納しておく。

ステップＳ２０５９において、ＨＭＤ１４３２が上述の基準方向から推定回転量だけ回転した場合のＨＭＤ１４３２の向きを推定する。具体的には、基準方向を示す値に推定回転量を加算した方向を求め、この方向をＨＭＤ１４３２の向きとする。

図２２に、第１回転量および第２回転量から推定回転量ＥＲを計算し、計算した推定回転量ＥＲからＨＭＤ１４３２の向きを特定する例を示す。第２回転量ｒｑ２に応じて第１回転量ｒｑ１を補正する。補正後の第１回転量を、推定回転量ＥＲとして得る。そして、基準方向から推定回転量ＥＲだけ回転した向きを、ＨＭＤ１４３２の向きとして推定する。

図２３は、図１７のステップＳ１７５５の処理の他の例のフローチャートである。図２０のフローチャートに対して、ステップＳ２３６０、Ｓ２３６１、Ｓ２３６２が追加されている。

ステップＳ２３６０において、第１回転量と第２回転量の差分を計算する。

図２４に、第１回転量と第２回転量との差分を計算する例を示す。第１回転量ｒｑ１から第２回転量ｒｑ２を引くことで、これらの差分ｄｑが計算される。

ステップＳ２３６１において、第１回転量と第２回転量の差分の絶対値が閾値以上かを判断する。

差分の絶対値が閾値未満の場合（ＮＯ）、ステップＳ２３６２に進む。

ステップＳ２３６２において、第１回転量を、ＨＭＤ１４３２の推定回転量とする。すなわち、第１回転量を補正せず、第１回転量をそのまま、ＨＭＤ１４３２の推定回転量とする。これは、差分の絶対値が閾値未満の場合は、モーションセンサ１９０の検出性能が高いと判断できるためである。この場合、第１回転量を補正する演算は不要になるため、コンピュータ２００の処理負荷を軽減できる。ステップＳ２３６２の後、ステップＳ２０５９に進む。

一方、差分の絶対値が閾値以上である場合（ＹＥＳ）、ステップＳ２０５８に進む。ステップＳ２０５８は、図２０と同じである。すなわち、第２回転量に応じて、第１回転量を補正し、補正後の第１回転量を、ＨＭＤ１４３２の推定回転量とする。このようにするのは、差分の絶対値が閾値以上の場合、モーションセンサ１９０の検出性能に問題がある可能性があると考えられるためである。ステップＳ２０５８の後、ステップＳ２０５９に進む。

ステップＳ２０５９の処理は、図２０と同じである。

図２５は、図１７のステップＳ１７５５の処理の他の例のフローチャートである。

ステップＳ２５６６において、仮想カメラ制御モジュール１６２１は、第１回転量と第２回転量とに重みを設定する。第１回転量に設定する重みは第１重み、第２回転量に設定する重みは第２重みに対応する。第１重みおよび第２重みの設定方法として、ＨＭＤ１４３２の回転速度（角速度）を用いる方法がある。ＨＭＤ１４３２の回転速度が大きいほど、第１重みを小さく、および第２重みを大きくすることの少なくとも一方を行う。これは、ユーザ５の頭の回転の速度が急に大きくなった場合に、モーションセンサ１９０の検出性能（モーションセンサ１９０の信頼性）が低下する可能性を想定したものである。ユーザ５の頭の回転の速度が急に大きくなる場合の例として、ユーザ５の頭が急に動き出した場合がある。

ある局面において、ＨＭＤ１４３２の回転速度ｒｓを、第１重みをｗ１、第２重みをｗ２とすると、第１重みｗ１、および第２重みｗ２の計算式は、以下の式（２）および式（３）で表すことができる。
ｗ１＝ｆ１（ｒｓ） 式（２）
ｗ２＝ｆ２（ｒｓ） 式（３）
ｆ１は、ｒｓを引数とする単調減少関数である。ｆ２は、ｒｓを引数とする単調増加関数である。

別の局面において、関数の代わりに、テーブルを用いてもよい。この場合、ｒｓと、ｗ１およびｗ２の少なくとも一方と、を対応づけたテーブルを用意する。関数またはテーブルは、ｒｓと、ｗ１およびｗ２の少なくとも一方と、を互いに対応づけた情報の一例である。このような情報を用いる限り、関数またはテーブル以外の手段を用いてもよい。

ＨＭＤ１４３２の回転速度の代わりに、ＨＭＤ１４３２の回転加速度を用いてもよい。回転加速度が大きいほど、第１重みを小さくする、および第２重みを大きくすることの少なくとも一方を行う。回転加速度の場合も、回転速度と同様に、回転加速度と、ｗ１およびｗ２の少なくとも一方と、を対応づけた情報（関数またはテーブル等）を用いて、第１重みおよび第２重みを決定できる。

第１重みおよび第２重みの設定方法には、様々なバリエーションがあり、その他の例は後述する。

ステップＳ２５６７において、仮想カメラ制御モジュール１６２１は、ステップＳ２５６６で設定した第１重みおよび第２重みに基づき、第１回転量および第２回転量の重み付け平均を計算する。計算した重み付け平均を、補正された第１回転量とする。そして、補正された第１回転量を、ＨＭＤ１４３２の推定回転量とする。第１回転量をｒｑ１、第２回転量をｒｑ２、第１重みをｗ１、第２重みをｗ２とすると、推定回転量ＥＲは以下の式（４）で表される。

ＥＲ＝（ｒｑ１×ｗ１＋ｒｑ２×ｗ２）／（ｗ１＋ｗ２） 式（４）

上述のステップＳ２５６６で第１重みおよび第２重みを計算する際、第１重みおよび第２重みの合計が１になるように正規化してもよい。この場合、重み付け平均を計算することは、第１重みおよび第２重みによる、第１回転量および第２回転量の重み付け合計を計算することと同じである。

ステップＳ２０５９において、ＨＭＤ１４３２が上述の基準方向から推定回転量だけ回転した場合のＨＭＤ１４３２の向きを推定する。基準方向を示す値に推定回転量（推定回転角度）を加算した方向を求め、この方向をＨＭＤ１４３２の向きとする。

図２６は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに仮想カメラ１４の向きを制御する処理の第２の例のフローチャートである。本処理において、第２回転量は、ＨＭＤ１４３２の回転速度（角速度）が閾値以上の場合のみ計算する。

ステップＳ１７５１〜Ｓ１７５３は図１７と同じである。

ステップＳ２６６３において、仮想カメラ制御モジュール１６２１が、モーションセンサ１９０の検出情報に基づき、ＨＭＤ１４３２の回転速度を計算する。

回転速度は、ある局面では、直前の所定時間（図１７のＳ１７５２参照）の間の平均速度である。別の局面では、所定時間内の任意の時点の速度（例えば所定時間の開始時または終了時の速度）である。

ステップＳ２６６４において、計算した回転速度が所定値以上か否かを判断する。計算した回転速度が所定値未満の場合（ＮＯ）、ステップＳ２６６５に進む。

ステップＳ２６６５において、第１回転量に基づきＨＭＤ１４３２の向きを推定する。つまり第１回転量を補正せず、第１回転量の値をそのままＨＭＤ１４３２の推定回転量として、ＨＭＤ１４３２の向きを計算する。これにより、方向センサ１６２７を用いないで、つまり、第２回転量を計算することなく、ＨＭＤ１４３２の向きを推定する。回転速度が小さい場合は、モーションセンサ１９０の検出性能が高いことが想定されるため、第２回転量の計算を無くして、演算量を低減させる。ステップＳ２６６５の後、ステップＳ１７５６に進む。ステップＳ１７５６では、ステップＳ２６６５で推定されたＨＭＤ１４３２の向きに基づき、仮想カメラ１４の向きを制御する。

一方、回転速度が所定値以上の場合（ＹＥＳ）、ステップＳ１７５４に進む。以降の処理は図１７のフローチャートと同じである。すなわち、第２回転量の計算（Ｓ１７５４）、第１回転量および第２回転量に基づくＨＭＤ１４３２の向きの推定（Ｓ１７５５）、および仮想カメラの向きの制御（Ｓ１７５６）を行う。よって、回転速度が所定値以上の場合のみ、第２回転量の計算、および差分の絶対値が閾値以上かの判断（図２３のＳ２３６１）が行われることになる。

図２６のステップＳ２６６３では回転速度を計算したが、ＨＭＤ１４３２の回転の加速度（回転加速度または角加速度）を計算する構成も可能である。この場合、ステップＳ２６６４では、回転加速度が所定値以上かを判断する。回転加速度が所定値以上の場合にステップＳ１７５４に進み、所定値未満の場合に、ステップＳ２６６５に進む。

回転加速度は、一例として、角加速度の微分により求めることができる。ある局面において、回転加速度は、直前の所定時間（図１７のＳ１７５２参照）の間の平均加速度である。別の局面において、回転加速度は、所定時間内の任意の時点の加速度（例えば所定時間の開始時または終了時の加速度）である。

これまで説明した処理では、方向センサ１６２７を１つのみ用いたが、複数の方向センサ１６２７を用いてもよい。例えば電子コンパスおよびＧＰＳコンパスといった複数種類の方向センサ１６２７を用いる。使用する方向センサ１６２７の個数が増えても、これまで記載した処理を拡張して、ＨＭＤ１４３２の向きを推定できる。例えば、図１７のステップＳ１７５４において、ｎ−１個の方向センサ１６２７について回転量（第２回転量〜第ｎ回転量）を計算する。ｎは３以上の整数である。第２回転量は１番目の方向センサ１６２７から計算される回転量、第ｎ回転量はｎ−１番目の方向センサ１６２７から計算される回転量である。

そして、第１回転量〜第ｎ回転量に基づき、ＨＭＤ１４３２の向きを推定する。例えば、第２回転量〜第ｎ回転量に基づき、第１回転量を補正し、補正後の第１回転量をＨＭＤ１４３２の推定回転量とする（図２０のステップＳ２０５８参照）。また、別の例として、第１回転量〜第ｎ回転量に重み（第１重み〜第ｎ重み）を設定し、第１回転量〜第ｎ回転量の重み付け平均を計算する（図２５のＳ２５６６、Ｓ２５６７参照）。計算した重み付け平均の値を、補正後の第１回転量とする。そして、補正後の第１回転量を、ＨＭＤ１４３２の推定回転量とみなす。

図２７は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに応じて仮想カメラ１４の向きを制御する処理の第３の例のフローチャートである。

本処理では、複数の方向センサ１６２７を用いる場合に、複数の方向センサ１６２７から計算された複数の回転量のうち、検出性能が低い方向センサから得られた回転量（外れ値）を除外する。除外後に残った回転量と、モーションセンサから計算された回転量とを用いて、ＨＭＤ１４３２の向きを推定する。これにより、ＨＭＤ１４３２の向きをより高精度に推定できる。

ステップＳ１７５１〜Ｓ１７５３は図１７と同じである。

ステップＳ２７６８において、複数の方向センサ１６２７を用いて、複数の回転量を計算する。ここでは、２番目の方向センサ〜ｎ番目の方向センサのｎ−１個の方向センサ１６２７があるとし、２番目の方向センサ〜ｎ番目の方向センサからそれぞれ第２回転量〜第ｎ回転量を計算する。

ステップＳ２７６９において、第２回転量〜第ｎ回転量の中から外れ値を除外する。外れ値は、１つまたは複数存在し得る。また、外れ値が存在しない場合もあり得る。

ある局面において、第２回転量〜第ｎ回転量の内、第１回転量と最も距離が近い所定個数の回転量を選択し、残りを外れ値とする。一例として、モーションセンサ１９０の回転量が３１．１０であり、２つの方向センサ（１番目の方向センサ、２番目の方向センサ）１６２７の回転量が３０．１３と２５．４０であるとする。所定個数は１とする。３１．１０に最も距離が近い値は３０．１３であるため、２５．４０（２番目の方向センサの回転量）を除外する。

別の局面において、統計分布を利用する方法や、クラスタリングを用いる方法などもある。前者の例として、正規分布を利用する方法がある。例えば、回転量の分布が正規分布に従うと仮定して、第２回転量〜第ｎ回転量の分布を近似する正規分布を求める。求めた正規分布の上位の所定パーセント以上または下位の所定パーセント以下の範囲に属する回転量を、外れ値とする。後者の例として、k-means方などのアルゴリズムを用いる方法がある。この場合、複数の回転量を複数のクラスタに分割し、属する要素数（回転量数）の最も多いクラスタを選択する。選択されなかったクラスタに属する回転量（要素）を外れ値とする。ここで列挙した以外の方法で外れ値を検出してもよい。

ステップＳ２７７０において、第１回転量と、第２回転量〜第ｎ回転量のうち外れ値を除外した後の回転量とに基づいて、ＨＭＤ１４３２の向きを推定する。例えば、第２回転量〜第ｎ回転量のうち外れ値を除外した後の回転量に基づき、第１回転量を補正し（図２０のステップＳ２０５８参照）、補正後の第１回転量をＨＭＤ１４３２の推定回転量とする。また、別の例として、第１回転量と、除外後の回転量とにそれぞれ重みを設定し、重み付け平均を計算する（図２５のＳ２５６６、Ｓ２５６７参照）。第１回転量を、計算した重み付け平均の値に置き換え、これを補正後の第１回転量とする。補正後の第１回転量を、ＨＭＤ１４３２の推定回転量とする。

図２７のステップＳ２７６９の処理の変形例として、モーションセンサ１９０から計算される第１回転量も含めた第１回転量〜第ｎ回転量の中から外れ値を除外してもよい。ある局面では、第１回転量〜第ｎ回転量のうち最も距離が近い所定個数の回転量を選択し、残りを外れ値とする。例えば、モーションセンサ１９０の回転量が３１．１０であり、２つの方向センサ１６２７の回転量が２５．１３と２５．４０であるとする。所定個数は２であるとする。このとき、最も距離が近い値は、２つの方向センサ１６２７の回転量である２５．１３と２５．４０であるため、モーションセンサ１９０の回転量である３１．１０を除外する。除外後に残った回転量の重み付け平均を計算し、第１回転量を、重み付け平均の値に置換し、これを補正後の第１回転量とする。そして、補正後の第１回転量を、ＨＭＤ１４３２の推定回転量とする。

また、方向センサが複数存在し、かつモーションセンサが複数存在する場合も同様の処理が可能である。例えば、複数の方向センサから計算される１つまたは複数の回転量と、複数のモーションセンサから計算される複数の回転量との中から、外れ値を除外する。

以上、本発明の実施形態によれば、モーションセンサ１９０により計算した回転量（第１回転量）を、方向センサにより計算した回転量（第２回転量）で補正し、補正した第１回転量を用いて、ＨＭＤ１４３２の向きを推定することで、ＨＭＤ１４３２の向きを高精度に推定できる。これにより、仮想カメラ１４の向きを、実際のＨＭＤ１４３２の向きに高精度に一致させることができる。モーションセンサ１９０のみを用いてＨＭＤ１４３２の向きを推定する場合、ユーザの頭が急に動いた場合など、推定精度が低下する問題がある。一方、方向センサのみを用いた場合、方向センサの機能が低下する環境では、正しく推定することができない。例えば電子コンパスでは周辺の磁場が大きい場合が、これに該当する。ＧＰＳコンパスではＧＰＳ信号の受信品質が悪い場合が、これに該当する。そこで、両センサを用いることで、モーションセンサ１９０および方向センサ１６２７のそれぞれの検出性能が低下するケースを互いに補完することで、ＨＭＤ１４３２の向きをより正確に検出できる。

前述したように、ＨＭＤの向きと仮想カメラの向きとにずれが生じた場合に、ずれを解消する方法として、コントローラ操作で、仮想カメラの正面方向を再設定する方法がある。しかしながら、ゲーム中に、再設定操作を行うのは煩雑である。これに対して、本実施形態によれば、ＨＭＤの向きを高精度に推定できるため、再設定操作を行う機会を無くすまたは低減できる。また、上記のずれを解消する別の方法として、仮想カメラの向きが正面方向となるように、ユーザ５が自分（ＨＭＤ）の体の向きを、仮想カメラの向きに合わせて調整する方法がある。この方法は、前述したように、ユーザが立っている場合や、回転椅子に座っている場合には容易に実行できるが、非回転椅子やソファーに座っている場合は困難である。これに対して、本実施形態によれば、ＨＭＤの向きを高精度に推定できるため、このような動作の必要はなくなる、もしくは動きの量を最小限に抑えることができる。よって、ユーザは快適にゲームをプレイできる。これにより、ユーザの仮想体験の質を向上させることができる。

（変形例１）
以下、図２５のフローチャートのステップＳ２５６６における第１重みおよび第２重みの設定方法のバリエーションについて説明する。

［バリエーション１］
第１重みおよび第２重みを、予め定めた値に設定する。この場合において、第１重みおよび第２重みは同じ値でも、異なる値でもよい。異なる値にする場合、第１重みが第２重みより大きくても、第２重みが第１重みより大きくてもよい。例えば、第１重みを第２重みより大きくする場合、第１重みを０．７、第２重みを０．３とする。これらの数値は例示であり、第１重みおよび第２重みの値は、これらに限定されるものではない。

［バリエーション２］
第１回転量と第２回転量との差分を計算し、差分の絶対値に基づき、第１重みおよび第２重みを設定する。ある局面において、差分の絶対値が大きいほど、第１重みを小さく、第２重みを大きくすることの少なくとも一方を行う。これを実現する方法として、差分の絶対値と、第１重みの値と、第２重みの値とを対応づけたテーブルを、図２８に示すように、用意しておく。差分の絶対値をＡＳ、第１重みをｗ１、第２重みをｗ２と表している。ＡＳ＿ｋ、ＡＳ＿ｋ＋１、ＡＳ＿ｋ＋２は、ＡＳの値の例である。テーブルの下側に行くほど、ＡＳの値が大きい。第１重みおよび第２重みの値は理解を容易にするための一例である。ＡＳに基づきテーブルにアクセスし、ＡＳに対応するｗ１およびｗ２を求める。ある局面において、差分の絶対値を閾値と比較し、差分の絶対値が以上のときに、第１重みをゼロとしてもよい。

本バリエーション２は、方向センサ１６２７の検出性能が高いと想定される環境（例えば周辺磁場の大きさが低い場合、またはＧＰＳ信号の受信品質が高い場合など）で有効である。このような環境において、第１回転量および第２回転量の差分の絶対値が大きくなることは、モーションセンサ１９０の検出性能が大きく低下している可能性があるためである。ある局面では、方向センサ１６２７または別途設けた地磁気センサで計測される磁場の大きさが閾値未満の場合に、本バリエーション２による重み設定を行う。また、別の局面では、方向センサ１６２７がＧＰＳコンパスであり、ＧＰＳコンパスで受信されるＧＰＳ信号の受信品質が閾値以上の場合に、本バリエーション２による重み設定を行う。受信品質として、例えば受信強度またはＳＮＲ（Signal to Noise Ratio）を用いることができる。

［バリエーション３］
バリエーション２とは逆に、差分の絶対値が大きいほど、第１重みを大きく、および第２重みを小さくすることの少なくとも一方を行う。ある局面において、差分の絶対値を閾値と比較し、差分の絶対値が閾値以上のときに、第２重みをゼロとしてもよい。この場合、方向センサ１６２７を用いないで、ＨＭＤ１４３２の向きを推定することになる。

本バリエーション３は、方向センサ１６２７の検出性能が低い可能性がある環境（例えば周辺磁場の大きさが高い場合、またはＧＰＳ信号の受信品質が低い場合など）において有効である。このような環境において差分の絶対値が大きくなることは、方向センサ１６２７の検出性能が大きく低下している可能性があるためである。仮想カメラ制御モジュール１６２１は、例えば、磁場の大きさが閾値以上の場合、またはＧＰＳ信号の受信品質が閾値未満の場合に、本バリエーション３による重み設定を行ってもよい。

［バリエーション４］
ＨＭＤ１４３２の回転速度が第１の所定値未満の場合に、第２重みをゼロにしてもよい。第１の重みは、予め定めた値（例えば１）に設定する。これは、回転速度が小さい場合、モーションセンサ１９０の検出性能が高いと想定されるためである。第２重みをゼロにすることは、方向センサを用いないで、ＨＭＤ１４３２の向きを推定することを意味する。また、別の局面において、回転速度が第２の所定値以上の場合に、第１重みをゼロにしてもよい。第２の重みは、予め定めた値（例えば１）に設定する。これは、回転速度が大きい場合、モーションセンサ１９０の検出性能が低い可能性があるためである。第１重みをゼロにすることは、モーションセンサを用いずに、ＨＭＤ１４３２の向きを推定することを意味する。

同様に、ＨＭＤ１４３２の加速度が第３の所定値未満の場合に、第２重みをゼロにしてもよい。第１の重みは、予め定めた値（例えば１）に設定する。これは、加速度が小さい場合（加速度がゼロの場合も含む）、モーションセンサ１９０の検出性能が高と想定されるためである。また、別の局面において、加速度が第４の所定値以上の場合に、第１重みをゼロにしてもよい。第２の重みは、予め定めた値（例えば１）に設定する。これは、加速度が大きい場合は、モーションセンサ１９０の検出性能が低い可能性があるためである。

バリエーション１〜４以外の方法で第１重みおよび第２重みを決定することも排除されない。また、バリエーション１〜４の方法、および図２５のステップＳ２５６６で説明した方法を任意に組み合わせ、条件分岐によって実行する方法を切り換えてもよい。例えば周辺磁場の大きさが低い場合には、バリエーション２の方法を実行し、周辺磁場の大きさが高い場合には、バリエーション１の方法を実行する。その他にも任意の組み合わせおよび条件分岐が可能である。

（変形例２）
図２０のステップＳ２０５８では第２回転量に応じて第１回転量を補正したが、第１回転量に応じて、第２回転量を補正してもよい。この場合、補正された第２回転量を、ＨＭＤ１４３２の推定回転量とする。第２回転量の補正は、第１回転量の補正と同様の方法で行うことができる。

（変形例３）
図２９は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに応じて仮想カメラ１４の向きを制御する処理の第４の例のフローチャートである。

ステップＳ１７５１〜Ｓ１７５３、Ｓ１７５６、Ｓ１７５７、Ｓ１７６６は図１７と同じである。

ステップＳ２９７１において、方向センサ１６２７の検出情報に基づき、方向センサ１６２７が示す向き（第２向き）を特定する。この向きは、ステップＳ１７５２で所定時間が経過したと判断された時点の方向センサ１６２７が示す向きである。この向きは、図１９の方向ｄ２に対応する。

ステップＳ２９７２において、ＨＭＤ１４３２が基準方向から第１回転量だけ回転した場合の向き（第１向き）を計算する。この向きは、例えば、基準方向を示す値に、第１回転量（回転角）を加算することで計算される。この向きは、図１９の方向ｄ１に対応する。

ステップＳ２９７３において、第１向きと、第２向きとに基づき、ＨＭＤ１４３２の向きを推定する。推定した向きは、図２２の方向ＥＤに対応する。

図３０は、図２９のステップＳ２９７３の処理の例のフローチャートを示す。

ステップＳ３０７４において、第２向きに基づき、第１向きを補正（キャリブレーション）する。ある局面において、第２向きに一定の係数（例えば絶対値が１より小さい正または負の値）を乗じ、得られた乗算値を第１向きに加算、または第１向きから減算する。これにより、第１向きを補正する。第１向きと第２向きとの差分に基づき、当該係数の値を変更してもよい。一例として、差分が大きいほど、係数の値を大きくまたは小さくする。具体的な構成として、差分と係数の値とを対応づけた情報（テーブルまたは関数等）を用いてもよい。

ステップＳ３０７５において、補正された第１向きを、ＨＭＤ１４３２の向きと決定する。

図３０のステップＳ３０７４の処理の変形例として、第１向きに基づき、第２向きを補正してもよい。ある局面において、第１向きに一定の係数（例えば絶対値が１より小さい正または負の値）を乗じ、得られた乗算値を第２向きに加算、または第２向きから減算する。これにより、第２向きを補正する。ステップＳ３０７５において、補正された第２向きを、ＨＭＤ１４３２の向きとする。別の局面において、第１向きと第２向きとの差分に基づき、係数の値を変更してもよい。一例として、差分が大きいほど、係数の値を大きくまたは小さくする。具体的な構成として、差分と係数の値とを対応づけた情報（テーブルまたは関数等）を用いてもよい。

図３１に、図２９のステップＳ２９７３の処理の他の例のフローチャートを示す。本処理では第１向きおよび第２向きの重み付け平均を計算することで、ＨＭＤ１４３２の向きを推定する。

ステップＳ３１７６において、第１向きと第２向きとにそれぞれ重みを設定する。第１向きに設定する重みは第１重み、第２向きに設定する重みは第２重みに対応する。前述した図２５のステップＳ２５６６の説明およびその各バリエーションの説明において、第１回転量を第１向き、第２回転量を第２向きに読み変えることで、同様の設定方法が実施可能である。

ステップＳ３１７７において、ステップＳ３１７６で設定された第１重みおよび第２重みに基づき、第１向きおよび第２向きの重み付け平均を計算する。計算された重み付け平均の値を、補正後の第１向きとする。補正後の第１向きＣｄ１は、第１向きをｄ１、第２向きをｄ２、第１重みをｗ１、第２重みをｗ２とすると、以下の式５で表される。

Ｃｄ１＝（ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２） 式（５）

ステップＳ３１７６で第１重みおよび第２重みを計算する際、第１重みおよび第２重みの合計が１になるように、第１重みおよび第２重みを正規化してもよい。

ステップＳ３０７５において、補正後の第１向きを、ＨＭＤ１４３２の向き（ＥＤ）と推定する。

（変形例４）
図２９のフローチャートの処理では、図１７のフローチャートの処理における第１回転量および第２回転量の代わりに、第１向きおよび第２向きを用いた。同様の変更が、図２６のフローチャート（回転速度が閾値以上の場合は第１回転量のみからＨＭＤの向きを推定）、および図２７のフローチャート（外れ値を除外してＨＭＤの向きを推定）の処理に対しても適用可能である。以下、それぞれの場合の処理を説明する。

図３２は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに応じて仮想カメラ１４の向きを制御する処理の第５の例のフローチャートである。

ステップＳ１７５１〜Ｓ１７５３、Ｓ２６６３〜Ｓ２６６５、およびステップＳ２６６４がＮＯの場合の処理は、図２６と同じである。ステップＳ２６６４がＹＥＳの場合（回転速度が閾値以上の場合）、ステップＳ２９７１に進む。ステップＳ２９７１において、方向センサ１６２７によりＨＭＤ１４３２の向き（第２向き）を特定する。

ステップＳ２９７２において、第１回転量に基づきＨＭＤの向き（第１向き）を計算する。

ステップＳ２９７３において、第１向きおよび第２向きに基づき、ＨＭＤの向きを推定する（この処理の詳細は図３０または図３１参照）。ステップＳ１７５６において、推定したＨＭＤ１４３２の向きに基づき、仮想カメラ１４の向きを制御する。

図３３は、仮想カメラ制御モジュール１６２１がＨＭＤ１４３２の向きを推定し、推定した向きに応じて仮想カメラ１４の向きを制御する処理のする処理の第６の例のフローチャートである。

ステップＳ１７５１〜Ｓ１７５３、Ｓ１７６６は図２７と同じである。

ステップＳ２９７２において、ＨＭＤ１４３２が基準方向から第１回転量だけ回転した場合の向き（第１向き）を計算する。

ステップＳ３３７８において、複数の方向センサ１６２７の検出情報に基づき、これらの方向センサ１６２７が示す向きを特定する。ここでは、ｎ−１個の方向センサ１６２７があるとし、２番目の方向センサ〜ｎ番目の方向センサが示す向き（第２向き〜第ｎ向き）を特定する。

ステップＳ３３７９において、第２向き〜第ｎ向きの中から外れ値を除外する。外れ値の検出は、図２７で説明したのと同様の方法を用いることができる。

ステップＳ３３８０において、第１向きと、第２向き〜第ｎ向きのうち外れ値を除外後の向きとに基づいて、ＨＭＤ１４３２の向きを推定する。例えば、第２向き〜第ｎ向きのうち外れ値を除外した後の向きに基づき、第１向きを補正し、補正後の第１向きをＨＭＤ１４３２の向きとする。また、別の例として、第１向きと、除外後の向きとにそれぞれ重みを設定し、設定した重みに基づき、重み付け平均を計算する。計算した重み付け平均の値を、補正後の第１向きとする。そして、補正後の第１向きを、ＨＭＤ１４３２の向きと推定する。ステップＳ１７５６において、推定したＨＭＤ１４３２の向きに基づき、仮想カメラ１４の向きを制御する。

（変形例５）
上述した図１４〜図３３の実施形態の説明では、ＨＭＤ４３２の向きを推定するためにモーションセンサ１９０を用いることを前提としていた。本変形例では、モーションセンサ１９０を用いずに、複数の方向センサ１６２７を用いて、ＨＭＤ４３２の向きを推定する。ある局面において、複数の方向センサ１６２７からそれぞれＨＭＤ１４３２の回転量を計算する。計算した回転量のうちの１つを、他の回転量によって補正する。または、これらの回転量に重みを設定し、重み付け平均を計算する。補正後の回転量または重み付け平均を、ＨＭＤ１４３２の推定回転量とする。補正の方法および重み付け平均の方法は、前述した方法と同様である。

別の局面において、複数の方向センサ１６２７からそれぞれＨＭＤ１４３２の向きを特定する。計算した向きのうちの１つを、他の向きによって補正する。または、これらの向きに重みを設定し、重み付け平均を計算する。補正後の向きまたは重み付け平均を、ＨＭＤ１４３２の向きとする。

上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

本発明は、上述した実施形態に限定されるものではなく、本発明の構成要素を種々に具体化できる。また、上記実施形態における各構成要素を適宜、拡張し、変更し、削除し、または組み合わせて、本発明を形成することも可能である。また、別の構成要素を新たに追加して、本発明を形成することも可能である。

以下に、本願明細書に開示された主題を付記する。

［項目１］
ヘッドマウントデバイスを装着したユーザに仮想体験を提供するためにコンピュータに実行させるためのコンピュータプログラムであって、
前記仮想体験を提供するための仮想空間を規定するステップと、
前記仮想空間に仮想カメラを設定するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
前記第２回転量に応じて、前記第１回転量を補正するステップと、
前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
をコンピュータに実行させるためのコンピュータプログラム。
第１センサのみならず、第２センサを用いてヘッドマウントデバイスの向きを推定することで、第１センサのみを用いた推定に比べて、ヘッドマウントデバイスの向きを高精度に推定できる。これにより、仮想カメラの向きをヘッドマウントデバイスの向きに高精度に合わせることができるため、ユーザに提供される仮想体験の質を向上できる。

［項目２］
前記第１回転量を補正するステップにおいて、前記第１回転量と前記第２回転量との差分に基づき、前記第１回転量を補正する
項目１に記載のコンピュータプログラム。

［項目３］
前記第１回転量を補正するステップにおいて、前記差分が閾値以上の場合に、前記第１回転量を補正し、前記差分が閾値未満の場合に、前記第１回転量を補正せず、
前記仮想カメラの向きを制御するステップにおいて、前記第１回転量を補正しない場合に、前記第１回転量に基づき、前記仮想カメラの向きを推定する
項目２に記載のコンピュータプログラム。
前記差分が閾値未満の場合、第１センサの検出性能が高いと考えられる。この場合に第１回転量の補正を行わず、第１回転量に基づき仮想カメラの向きを推定することで、高い推定精度を維持しつつ、演算量を低減できる。

［項目４］
前記第１センサを用いて、前記ヘッドマウントデバイスの回転速度または回転加速度を計算するステップを、前記コンピュータに実行させ、
前記第１回転量を補正するステップにおいて、前記回転速度または前記回転加速度が所定値以上の場合に、前記差分が前記閾値以上かを判断し、前記回転速度または前記回転加速度が前記所定値未満の場合に、前記第１回転量を補正しない、
項目３に記載のコンピュータプログラム。
回転速度または回転加速度が所定値未満の場合、第１センサの検出性能が高いと考えられる。第１回転量の補正を行わず、第１回転量に基づき仮想カメラの向きを推定することで、高い推定精度を維持しつつ、演算量を低減できる。

［項目５］
前記第１回転量を補正するステップにおいて、前記第１回転量を前記第２回転量に置き換えることによって、前記第１回転量を補正する
項目２ないし４のいずれか一項に記載のコンピュータプログラム。
第２センサの検出性能が高いと想定される状況で、第１回転量を第２回転量に置換することで、高精度な推定が可能となる。

［項目６］
前記第１回転量を補正するステップにおいて、前記第１回転量と前記第２回転量との重み付け平均を計算し、前記第１回転量を前記計算した重み付け平均に置き換えることによって、前記第１回転量を補正する
項目２ないし４のいずれか一項に記載のコンピュータプログラム。
第１回転量と第２回転量との重み付け平均を用いることで、より高精度な推定が可能となる。

［項目７］
前記第１センサを用いて、前記ヘッドマウントデバイスの回転速度または回転加速度を計算するステップを、前記コンピュータに実行させ、
前記回転速度または回転加速度が大きいほど、前記第１回転量の重みを小さく、および前記第２回転量の重みを大きくすることの少なくとも一方を行う
項目６に記載のコンピュータプログラム。
回転速度または回転加速度が大きくなるほど、第１センサの検出性能が低くなる傾向がある場合に、第１回転量の重みを小さく、または第２回転量の重みを大きくすることで、より高精度なヘッドマウントデバイスの向きの推定が可能となる。

［項目８］
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第３センサ〜第ｎセンサを用いて、前記ヘッドマウントデバイスが回転した量である第３回転量〜第ｎ回転量を計算するステップを、前記コンピュータに実行させ、ｎは３以上の整数であり、
前記第１回転量を補正するステップにおいて、前記第２回転量〜第ｎ回転量の中から外れ値を除外し、前記第１回転量と、前記第２回転量〜第ｎ回転量のうち前記外れ値を除外した後の回転量に基づいて、前記第１回転量を補正する
項目１に記載のコンピュータプログラム。
外れ値を除外することで、より高精度な推定が可能となる。

［項目９］
前記ユーザにより設定操作を受け付け、前記設定操作を受け付けたきの前記第２センサが示す向きが正面方向となるように、前記仮想カメラの向きを制御するステップを、前記コンピュータに実行させる
項目１ないし８のいずれか一項に記載のコンピュータプログラム。
仮想カメラの向きが、ヘッドマウントデバイスの向きとずれた場合でも、適正な表示画像に戻すことができる。

［項目１０］
ヘッドマウントデバイスを装着したユーザに仮想体験を提供するための、プロセッサを備えた情報処理装置であって、
前記仮想体験を提供するための仮想空間を規定するステップと、
前記仮想空間に仮想カメラを設定するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
前記第２回転量に応じて、前記第１回転量を補正するステップと、
前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
が前記プロセッサの制御により実行される情報処理装置。

［項目１１］
ヘッドマウントデバイスを装着したユーザに仮想体験を提供するための情報処理方法であって、
前記仮想体験を提供するための仮想空間を規定するステップと、
前記仮想空間に仮想カメラを設定するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
前記第２回転量に応じて、前記第１回転量を補正するステップと、
前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
を備えた情報処理方法。

２：ネットワーク
１１：仮想空間
１３：パノラマ画像
１４：仮想カメラ
１５：視界領域
１７：視界画像
１００：ＨＭＤシステム
１１０：ＨＭＤセット
１２０：ＨＭＤ
１３０：モニタ
１４０：注視センサ
１５０：第１カメラ
１６０：第２カメラ
１７０：マイク
１８０：スピーカ
１９０：センサ（モーションセンサ）
２００：コンピュータ
２１０：プロセッサ
２２０：メモリ
２３０：ストレージ
２４０：入出力インターフェイス
２５０：通信インターフェイス
３００：コントローラ
３１０：グリップ
３２０：フレーム
３３０：天面
３４０、３５０、３７０、３８０：ボタン
３６０：赤外線ＬＥＤ
３９０：アナログスティック
４１０：ＨＭＤセンサ
４２０：モーションセンサ
４３０：ディスプレイ
５１０：コントロールモジュール
５２０：レンダリングモジュール
５３０：メモリモジュール
５４０：通信制御モジュール
６００：サーバ
７００：外部機器
１６２１：仮想カメラ制御モジュール
１６２２：視界領域決定モジュール
１６２３：仮想空間定義モジュール
１６２４：仮想オブジェクト生成モジュール
１６２５：操作オブジェクト制御モジュール
１６２６：センサモジュール
１６２７：方向センサ
１６２８：センサ情報取得モジュール
１６３１：空間情報
１６３２：オブジェクト情報
１６３３：ユーザ情報

Claims (11)

1. ヘッドマウントデバイスを装着したユーザに仮想体験を提供するためにコンピュータに実行させるためのコンピュータプログラムであって、
   前記仮想体験を提供するための仮想空間を規定するステップと、
   前記仮想空間に仮想カメラを設定するステップと、
   前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
   前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
   前記第２回転量に応じて、前記第１回転量を補正するステップと、
   前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
   を備えたコンピュータプログラム。
2. 前記第１回転量を補正するステップにおいて、前記第１回転量と前記第２回転量との差分に基づき、前記第１回転量を補正する
   請求項１に記載のコンピュータプログラム。
3. 前記第１回転量を補正するステップにおいて、前記差分が閾値以上の場合に、前記第１回転量を補正し、前記差分が閾値未満の場合に、前記第１回転量を補正せず、
   前記仮想カメラの向きを制御するステップにおいて、前記第１回転量を補正しない場合に、前記第１回転量に基づき、前記仮想カメラの向きを推定する
   請求項２に記載のコンピュータプログラム。
4. 前記第１センサを用いて、前記ヘッドマウントデバイスの回転速度または回転加速度を計算するステップを、前記コンピュータに実行させ、
   前記第１回転量を補正するステップにおいて、前記回転速度または前記回転加速度が所定値以上の場合に、前記差分が前記閾値以上かを判断し、前記回転速度または前記回転加速度が前記所定値未満の場合に、前記第１回転量を補正しない、
   請求項３に記載のコンピュータプログラム。
5. 前記第１回転量を補正するステップにおいて、前記第１回転量を前記第２回転量に置き換えることによって、前記第１回転量を補正する
   請求項１ないし４のいずれか一項に記載のコンピュータプログラム。
6. 前記第１回転量を補正するステップにおいて、前記第１回転量と前記第２回転量との重み付け平均を計算し、前記第１回転量を前記計算した重み付け平均に置き換えることによって、前記第１回転量を補正する
   請求項１ないし４のいずれか一項に記載のコンピュータプログラム。
7. 前記第１センサを用いて、前記ヘッドマウントデバイスの回転速度または回転加速度を計算するステップを、前記コンピュータに実行させ、
   前記回転速度または回転加速度が大きいほど、前記第１回転量の重みを小さく、および前記第２回転量の重みを大きくすることの少なくとも一方を行う
   請求項６に記載のコンピュータプログラム。
8. 前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第３センサ〜第ｎセンサを用いて、前記ヘッドマウントデバイスが回転した量である第３回転量〜第ｎ回転量を計算するステップを、前記コンピュータに実行させ、ｎは３以上の整数であり、
   前記第１回転量を補正するステップにおいて、前記第２回転量〜第ｎ回転量の中から外れ値を除外し、前記第１回転量と、前記第２回転量〜第ｎ回転量のうち前記外れ値を除外した後の回転量に基づいて、前記第１回転量を補正する
   請求項１に記載のコンピュータプログラム。
9. 前記ユーザにより設定操作を受け付け、前記設定操作を受け付けたきの前記第２センサが示す向きが正面方向となるように、前記仮想カメラの向きを制御するステップを、前記コンピュータに実行させる
   請求項１ないし８のいずれか一項に記載のコンピュータプログラム。
10. ヘッドマウントデバイスを装着したユーザに仮想体験を提供するための、プロセッサを備えた情報処理装置であって、
    前記仮想体験を提供するための仮想空間を規定するステップと、
    前記仮想空間に仮想カメラを設定するステップと、
    前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
    前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
    前記第２回転量に応じて、前記第１回転量を補正するステップと、
    前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
    が前記プロセッサの制御により実行される情報処理装置。
11. ヘッドマウントデバイスを装着したユーザに仮想体験を提供するための情報処理方法であって、
    前記仮想体験を提供するための仮想空間を規定するステップと、
    前記仮想空間に仮想カメラを設定するステップと、
    前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの動きを検出する第１センサを用いて、前記ヘッドマウントデバイスが回転した量である第１回転量を計算するステップと、
    前記ヘッドマウントデバイスに設けられ、前記ヘッドマウントデバイスの向きを検出する第２センサを用いて、前記ヘッドマウントデバイスが回転した量である第２回転量を計算するステップと、
    前記第２回転量に応じて、前記第１回転量を補正するステップと、
    前記補正された第１回転量に基づいて、前記仮想カメラの向きを制御するステップと
    を備えた情報処理方法。

Images