以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD装置110(ヘッドマウントデバイス)と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、モニタ112(表示部)と、マイク118と、注視センサ140とを含む。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。モニタ112は、HMD装置110の本体と一体に構成されてもよいし、別体として構成されてもよい。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。検知結果は、後述するアバターの表情等に反映されてもよい。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110およびコントローラ160の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾き、ならびにコントローラ160の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110およびコントローラ160の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾き、ならびにコントローラ160の位置および傾きを検出することができる。
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。なお、サーバ150は、一または複数のコンピュータ装置により構成され、後述するコンピュータ200のハードウェア構成と同様に、一般的なコンピュータが備えるハードウェア構成(プロセッサ、メモリ、ストレージ等)を備える。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。本実施形態では、コントローラ160は、ユーザ190によって両手で把持されるタイプの入力装置である。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。上述したように、現実空間におけるコントローラ160の位置および傾きは、HMDセンサ120(あるいはカメラ等)によって検出され得る。別の局面において、コントローラ160は、位置検出器として、上述したセンサ114と同様のセンサ(図示しない)を備えてもよい。この場合、当該センサにより、コントローラ160の位置および傾きが検出され得る。また、HMDセンサ120とコントローラ160が備えるセンサとが併用されてもよい。この場合、例えば、コントローラ160の位置はHMDセンサ120によって検出され、コントローラ160の傾きはコントローラ160が備えるセンサによって検出される。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD装置110およびHMDセンサ120との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。例えば、入出力インターフェース13は、Bluetooth(登録商標)等の無線通信インターフェースを含んでもよい。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、コントローラ160から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてモニタ112に映像を表示する。
サーバ150は、ネットワーク19を介して複数のHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMD装置110Aを有するHMDシステム100Aと、HMD装置110Bを有するHMDシステム100Bとを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。なお、HMDシステム100A、HMDシステム100B、およびその他のHMDシステム100は、いずれも同様の構成を備える。ただし、各HMDシステム100は、互いに異なる機種であってもよいし、互いに異なる性能(処理性能および検知性能等)を有するものであってもよい。
なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1は、例えば仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD装置110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野が定義される。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。図8の状態(A)は、コントローラ160の上面の外観構成を示しており、図8の状態(B)は、コントローラ160の奥側側面の外観構成を示している。ここで、コントローラ160の上面とは、ユーザ190がコントローラ160を両手で保持した場合に、ユーザ190の方を向く面である。
図8の状態(A)に示されるように、コントローラ160の上面には、入力部としての、方向キー161、アナログスティック162L,162R、4種の操作ボタン163、タッチパッド164、および機能ボタン165等が設けられている。また、コントローラ160は、ユーザ190がコントローラ160を把持するための把持部166を有する。把持部166は、ユーザ190の左手によって把持される左把持部166Lとユーザ190の右手によって把持される右把持部166Rとを有する。また、図8の状態(B)に示されるように、コントローラ160の奥側側面には、入力部としての上部ボタン167L,167Rと、コントローラ160から送信される指示情報等に基づいて発光する発光部168とが設けられている。
タッチパッド164は、方向キー161と操作ボタン163との間に設けられている。機能ボタン165は、左右のアナログスティック162L,162Rの間に設けられている。機能ボタン165は、例えばコントローラ160を起動したり、コントローラ160とコンピュータ200との間の通信接続をアクティブにしたりするために使用され得る。その他の入力部(方向キー161、アナログスティック162、操作ボタン163、および上部ボタン167)は、後述するアバターおよびプレイヤキャラクタの操作等に使用され得る。例えば、アナログスティック162は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。
方向キー161およひアナログスティック162Lは、ユーザ190の左手の親指による操作を受け付けることを想定して配置されている。操作ボタン163およびアナログスティック162Rは、ユーザ190の右手の親指による操作を受け付けることを想定して配置されている。上部ボタン167Lは、ユーザ190の左手の人差し指による操作を受け付けることを想定して配置されており、上部ボタン167Rは、ユーザ190の右手の人差し指による操作を受け付けることを想定して配置されている。ただし、コントローラ160の形状、各部の配置構成、および各部の機能は、上記例に限られない。例えば、操作ボタン163の個数は4つ以外(例えば2つ)であってもよいし、アナログスティック162L,162Rが省略されてもよい。
ある局面において、コントローラ160は、発光部168その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、コントローラ160は、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、コントローラ160は、電池を必要としない。
[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、コントローラ情報取得モジュール233と、チャット制御モジュール234とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD装置110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像を生成する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト制御モジュール232は、後述するオブジェクト情報242に基づいて、仮想空間2に配置される対象オブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2における対象オブジェクトの動作(移動および状態変化等)を制御する。また、仮想オブジェクト制御モジュール232は、後述するコントローラ情報取得モジュール233により取得されたコントローラ情報等に基づいて、アバターおよびプレイヤキャラクタの動作(移動および状態変化等)を制御する。対象オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。アバターは、HMD装置110を装着したユーザに関連付けられたオブジェクトである。アバターは、仮想空間2におけるユーザの分身としての位置付けを有するオブジェクトである。一方、プレイヤキャラクタは、仮想空間2で展開されるゲームにおいて、ユーザによって操作されるキャラクタオブジェクトである。本実施形態では、仮想空間2で展開されるゲームは、複数のユーザが仮想空間2に用意されたゲームフィールド(例えば闘技場)上で各自のプレイヤキャラクタ同士を闘わせる対戦ゲーム(あるいは、複数のユーザ同士が協力して進めるアクションゲーム等)である。また、アバターは人型のオブジェクトであり、プレイヤキャラクタは動物を模したオブジェクトである。ただし、プレイヤキャラクタは、仮想空間2で展開されるゲームの内容に応じて適宜の形態を採り得る。例えば、プレイヤキャラクタは、人型のオブジェクトであってもよいし、ロボット等の生物以外を模したオブジェクトであってもよい。より具体的には、仮想空間2で展開されるゲームがラジコンカーを用いたレースゲームである場合、プレイヤキャラクタは、ラジコンカーを表すオブジェクトであってもよい。
コントローラ情報取得モジュール233は、コントローラ160の状態を特定するための状態情報と、コントローラ160に対するユーザ190による入力操作の内容を示す操作情報とを含むコントローラ情報を取得する。状態情報は、例えば、上述したHMDセンサ120等により検出されたコントローラ160の位置および傾きを特定するための情報である。コントローラ情報は、コントローラ160の状態およびコントローラ160に対する入力操作の内容を仮想空間2におけるアバターまたはプレイヤキャラクタに反映させるために、仮想オブジェクト制御モジュール232に受け渡される。また、コントローラ情報取得モジュール233は、後述するチャット制御モジュール234を介して取得された他のユーザのコントローラ情報についても、適宜仮想オブジェクト制御モジュール232に受け渡す。これにより、他のユーザに関連付けられたアバターまたはプレイヤキャラクタを、他のユーザのコントローラ情報に基づいて動作させることができる。
チャット制御モジュール234は、同じ仮想空間2に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール234は、仮想空間2を介したチャットを行うために必要なデータ(例えば、マイク118に入力された音声データ)をサーバ150に送信する。また、チャット制御モジュール234は、サーバ150から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール234は、その他ユーザ間で共有すべきデータについても、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き情報、およびプレイヤキャラクタの動作を制御するためのコントローラ情報等がある。動き情報は、例えば、HMDセンサ120等により検出されたHMD装置110の位置および傾きを特定するための情報(以下「向きデータ」)、および注視センサ140等により検出されたアイトラッキングデータ等である。本実施形態では、チャット制御モジュール234は、音声データと動き情報とコントローラ情報とを含む情報(以下「プレイヤ情報」という。)を、ユーザ間で共有すべき情報として、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。プレイヤ情報の送受信は、後述する通信制御モジュール250の機能を利用することにより実現される。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。空間情報241には、例えば、仮想空間2を提供するために規定された1つ以上のテンプレートが含まれている。オブジェクト情報242には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報242には、各オブジェクト(例えば、対象オブジェクトおよびアバター等)を描画するための描画情報も含まれている。また、オブジェクト情報242は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。対象オブジェクトの属性情報としては、例えば当該対象オブジェクトが可動物であるか固定物であるかを示す情報等が挙げられる。ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。
メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190A(第1ユーザ)によって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。
ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する仮想空間データを取得する。ここで、プロセッサ10は、仮想空間2を共有する他のユーザのアバターおよびプレイヤキャラクタの初期配置等に関する情報をサーバ150等から受信することにより、当該他のユーザのアバターおよびプレイヤキャラクタを含む仮想空間2を定義する仮想空間データを生成することができる。あるいは、各HMDシステム100と通信可能に接続されたサーバ150によって、複数のユーザに共通の仮想空間2を定義する仮想空間データが生成されてもよい。この場合、プロセッサ10は、サーバ150から仮想空間データをダウンロードすることにより、仮想空間データを取得することができる。
ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点(あるいはその他の予め規定されたデフォルト位置)に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
ステップS4において、HMD装置110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110を装着したユーザ190Aは、視界画像を視認すると仮想空間2を認識し得る。
ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110の位置と傾きとに基づいて、HMD装置110を装着したユーザ190Aの視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
ステップS7において、コントローラ160は、現実空間におけるユーザ190Aの操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190Aによってボタンが押下されたことを検出する。また、上述したようにHMDセンサ120またはコントローラ160自身が備えるセンサは、コントローラ160の位置および傾きを検出する。検出結果を示す信号は、HMDセンサ120またはコントローラ160からコンピュータ200に送られる。このようにして、コントローラ160に対するユーザ190Aによる入力操作の内容を示す操作情報とコントローラ160の状態(位置および傾き等)を特定するための状態情報とを含むコントローラ情報が、コンピュータ200に送られる。そして、プロセッサ10は、コントローラ情報取得モジュール233として、当該コントローラ情報を取得する。
ステップS8において、プロセッサ10は、コントローラ情報取得モジュール233およびチャット制御モジュール234として、サーバ150から、仮想空間2を共有する他のユーザのプレイヤ情報(音声データ、動き情報、およびコントローラ情報等)を取得する。
ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ユーザ190Aを含む各ユーザ190のプレイヤ情報に基づいて、各ユーザのアバターおよびプレイヤキャラクタの動作を制御する。
ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS9の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
ステップS11において、HMD装置110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
図11は、仮想空間2の一例を模式的に表す図である。図11に示されるように、仮想空間2は、ユーザ190Aに関連付けられたアバターA1(第1アバター)と、ユーザ190Aにより使用されるコントローラ160A(第1コントローラ)に対する入力操作に基づいて操作されるプレイヤキャラクタC1(第1キャラクタオブジェクト)と、ユーザ190Aとは異なるユーザ190B(第2ユーザ)に関連付けられたアバターA2(第2アバター)と、ユーザ190Bにより使用されるコントローラ160B(第2コントローラ)に対する入力操作に基づいて操作されるプレイヤキャラクタC2(第2キャラクタオブジェクト)と、ユーザ190Aに装着され、モニタ112(第1表示部)を備えるHMD装置110A(第1ヘッドマウントデバイス)に提供される視界画像M1を定義する仮想カメラ1A(第1仮想カメラ)と、ユーザ190Bに装着され、モニタ112(第2表示部)を備えるHMD装置110B(第2ヘッドマウントデバイス)に提供される視界画像M2を定義する仮想カメラ1B(第2仮想カメラ)とを含む。また、図11に示される例では、仮想空間2は、さらに、コントローラ160A,160Bに対応する仮想的なコントローラを表すコントローラオブジェクトVC1,VC2と、アバターA1,A2の仮想的な手を表す手オブジェクトVH1,VH2とを含む。
図11に示される例では、仮想空間2において、複数のユーザ190A,190Bが各自のプレイヤキャラクタC1,C2をゲームフィールドF上で闘わせる対戦ゲーム(ここでは、爆弾B1を投げ合うゲーム)が展開されている。仮想空間2では、ゲームに関連するプレイヤキャラクタC1,C2だけでなく、コントローラオブジェクトVC1,VC2を保持するアバターA1,A2が所定の位置に配置されている。これにより、仮想空間2において、各ユーザ190A,190BのアバターA1,A2が各プレイヤキャラクタC1,C2を操作しているシチュエーションが表現されている。また、仮想カメラ1A,1Bは、アバターA1,A2の視点に関連付けられている。これにより、ユーザ190A,190Bに対して、アバターA1,A2の1人称視点における視界画像M1,M2が提供される。
図12は、HMD装置110Aを介してユーザ190Aに提供される視界画像M1の一例を表す図である。図12に示されるように、ユーザ190Aは、視界画像M1を認識することによって、あたかも自分がアバターA1として仮想空間2に存在しているかのような仮想体験をすることができる。同様に、ユーザ190Bは、視界画像M2を認識することによって、あたかも自分がアバターA2として仮想空間2に存在しているかのような仮想体験をすることができる。
ここで、仮想空間2におけるコントローラオブジェクトVC1,VC2のデザインは、コントローラ160A,160Bの機種等に応じて決定されてもよい。例えば、プロセッサ10は、コントローラ160Aの機種を示す情報をコントローラ160Aから取得し、オブジェクト情報242として機種毎に予め用意されたコントローラオブジェクトの描画データに基づいて、コントローラオブジェクトVC1を描画してもよい。これにより、各ユーザ190A,190Bは、視界画像M1,M2に表示されるコントローラオブジェクトVC1,VC2のデザインに基づいて、他のユーザが利用するコントローラ160のタイプ(例えば両手持ちであるか片手持ちであるか)を把握することができる。
このような仮想空間2によれば、各ユーザ190A,190Bに対して、アバターA1,A2を介したチャットおよびマルチプレイゲームを提供することができる。また、この仮想空間2には、各ユーザ190A,190BのアバターA1,A2およびプレイヤキャラクタC1,C2の両方が存在する。このため、各ユーザ190A,190Bは、アバターA1,A2を介して互いの存在を認識しつつ、仮想空間2において共通のゲームを楽しむことができる。これにより、各ユーザ190A,190Bは、仮想空間2において、複数人で盛り上がっている感覚を容易に得ることができる。その結果、各ユーザ190A,190Bの仮想体験のエンタテイメント性を向上させることができる。
図13は、複数ユーザ190A,190Bに同一の仮想空間2を共有させるために、各HMDシステム100A,100Bおよびサーバ150によって実行される処理を表すシーケンス図である。なお、図13に示される処理は、図10におけるステップS7〜S9に示される処理と一部重複している。
ステップS21Aにおいて、HMDシステム100Aにおけるプロセッサ10は、コントローラ情報取得モジュール233として、コントローラ160Aについてのコントローラ情報を取得する。また、プロセッサ10は、チャット制御モジュール234として、ユーザ190Aの音声データを取得する。また、プロセッサ10は、HMDセンサ120および注視センサ140等によって検出された向きデータおよびアイトラッキングデータを含む動き情報を取得する。これにより、音声データ、コントローラ情報、および動き情報を含むプレイヤ情報が取得される。また、プレイヤ情報には、アバターA1(あるいはユーザ190A)を特定するための情報(ユーザID等)、およびアバターA1が存在する仮想空間2を特定するための情報(ルームID等)が含まれ得る。プロセッサ10は、チャット制御モジュール234として、上述のように取得されたプレイヤ情報を、ネットワーク19を介してサーバ150に送信する。
ステップS21Bにおいて、HMDシステム100Bのプロセッサ10は、ステップS21Aの処理と同様に、ユーザ190Bのプレイヤ情報を取得し、サーバ150に送信する。
ステップS22において、サーバ150は、複数のHMDシステム100(ここでは、HMDシステム100A,100B)のそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ150は、各プレイヤ情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間2に関連付けられた全ユーザ(この例では、ユーザ190A,190B)のプレイヤ情報を統合する。そして、サーバ150は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間2に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDシステム100A,100Bは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。
続いて、サーバ150から各HMDシステム100A,100Bに送信されたプレイヤ情報に基づいて、各HMDシステム100A,100Bは、ステップS23A,S23Bの処理を実行する。ステップS23Aの処理は、図10におけるステップS9の処理に相当する。
ステップS23Aにおいて、HMDシステム100Aにおけるプロセッサ10は、仮想オブジェクト制御モジュール232として、仮想空間2におけるアバターA1,A2およびプレイヤキャラクタC1,C2の動作を制御する。ステップS23Bの処理は、ステップS23Aの処理と同様である。
図14は、ステップS23Aの詳細な処理を示すフローチャートである。以下、図14を参照して、ステップS23Aの処理内容(アバターおよびプレイヤキャラクタについての基本的な動作制御)について説明する。
ステップS31において、プロセッサ10は、各ユーザ190A,190Bのプレイヤ情報(音声データ、動き情報、およびコントローラ情報)をサーバ150から取得する。
ステップS32において、プロセッサ10は、各ユーザ190A,190Bのプレイヤ情報に含まれる動き情報(向きデータおよびアイトラッキングデータ)に基づいて、アバターA1,A2の動作を制御する。例えば、プロセッサ10は、各ユーザ190A,190Bの向きデータに基づいて、対応するアバターA1,A2の頭部の向きを変化させる。また、プロセッサ10は、各ユーザ190A,190Bのアイトラッキングデータに基づいて、対応するアバターA1,A2に瞬きさせたり、当該アバターA1,A2の視線方向を変化させたりする。また、プロセッサ10は、動き情報に含まれるHMD装置110A,110Bの位置情報とコントローラ情報に含まれるコントローラ160A,160Bの位置情報とに基づいて、現実空間におけるコントローラ160A,160BのHMD装置110A,110Bに対する相対位置を算出する。そして、プロセッサ10は、当該相対位置に基づいて、各アバターA1,A2によって保持されるコントローラオブジェクトVC1,VC2の位置を決定する。例えば、プロセッサ10は、現実空間におけるコントローラ160A,160BのHMD装置110A,110Bに対する相対位置が、仮想空間2におけるコントローラオブジェクトVC1,VC2のアバターA1,A2の頭部に対する相対位置と一致するように、コントローラオブジェクトVC1,VC2を仮想空間2に配置する。また、プロセッサ10は、このようにして決定されたコントローラオブジェクトVC1,VC2の位置に基づいて、アバターA1,A2の手オブジェクトVH1,VH2の位置を決定する。例えば、プロセッサ10は、手オブジェクトVH1,VH2がコントローラオブジェクトVC1,VC2の両側を保持するように、手オブジェクトVH1,VH2を配置する(図11および図12参照)。
ステップS33において、プロセッサ10は、各ユーザ190A,190Bのプレイヤ情報に含まれるコントローラ情報に基づいて、プレイヤキャラクタC1,C2の動作を制御する。例えば、プロセッサ10は、コントローラ160A,160Bに対する入力操作の内容(操作情報)に基づいて、プレイヤキャラクタC1,C2の位置を変化させたり、特定の動作(例えば爆弾を投げる動作、および防御する動作等)を実行させたりする。
以上のような動作制御により、ユーザ190A,190Bの動作(ここでは、頭部および目の動き)およびコントローラ160A,160Bに対する入力操作に応じた動作を、アバターA1,A2およびプレイヤキャラクタC1,C2に反映させることができる。なお、図14に示されるフローチャートにおいて、ステップS33の処理は、ステップS32の処理よりも先に実行されてもよいし、ステップS32の処理と同時並行的に実行されてもよい。
[第1の変形例]
続いて、本実施形態の第1の変形例について説明する。第1の変形例は、コントローラ160に対する入力操作に基づいてプレイヤキャラクタが操作される第1操作モードと、コントローラ160に対する入力操作に基づいてアバターが操作される第2操作モードとを切替可能な構成を有する。以下、図15に示されるフローチャートを参照して、第1の変形例におけるアバターおよびプレイヤキャラクタの動作制御について説明する。図15は、本変形例において、図14に示されるフローチャートの代わりに実行される処理を表すフローチャートである。
ステップS41において、プロセッサ10は、ステップS31の処理と同様に、各ユーザ190A,190Bのプレイヤ情報をサーバ150から取得する。
ステップS42〜S45において、プロセッサ10は、ユーザ毎に適用される操作モードを判定し、適用される操作モードに応じた動作制御を各ユーザのアバターおよびプレイヤキャラクタに対して実行する。
ステップS42において、プロセッサ10は、判定対象のユーザ(ここでは一例としてユーザ190A)を選択する。
ステップS43において、プロセッサ10は、判定対象のユーザ190Aに適用される操作モードを決定する。例えば、プロセッサ10は、コントローラ160Aに対する予め定められた入力操作がされたか否かに基づいて、適用される操作モードを決定する。例えば、タッチパッド164の押下操作が予め定められた入力操作である場合、第1操作モードと第2操作モードとは、タッチパッド164が1回押下される毎に切り替えられてもよい。この場合、プロセッサ10は、現在の操作モードを示す情報(例えばメモリモジュール240に保持された情報)と、ユーザ190Aのコントローラ情報とに基づいて、適用される操作モードを決定することができる。例えば、コントローラ情報に含まれる操作情報に上記の予め定められた入力操作(ここではタッチパッド164の押下操作)が含まれている場合には、プロセッサ10は、現在の操作モードとは異なる方の操作モードを適用される操作モードとして決定することができる。一方、操作情報に予め定められた入力操作が含まれていない場合には、プロセッサ10は、現在の操作モードを引き続き適用される操作モードとして決定することができる。
また、ステップS43において、プロセッサ10は、コントローラ160Aの状態に基づいて、適用される操作モードを決定してもよい。この場合、プロセッサ10は、ユーザ190Aのコントローラ情報に含まれる状態情報を参照することにより、コントローラ160Aの位置または傾きを特定してもよい。例えば、プロセッサ10は、コントローラ160Aの傾き(例えばコントローラ160Aの上面が水平面に平行であるときを基準とした傾斜角度等)が所定値以上であるか否かを判定する。そして、プロセッサ10は、コントローラ160Aの傾きが所定値未満である場合に、コントローラ160Aの状態がユーザ190Aによって両手で保持されている第1状態であると判定してもよい。一方、プロセッサ10は、コントローラ160Aの傾きが所定値以上である場合に、コントローラ160Aの状態がユーザ190Aによって片手で保持されている第2状態であると判定してもよい。プロセッサ10は、コントローラ160Aの状態が第1状態であると判定された場合には、第1操作モードを適用されるモードとして決定し、コントローラ160Aの状態が第2状態であると判定された場合には、第2操作モードを適用されるモードとして決定してもよい。これによれば、ユーザ190Aは、コントローラ160Aの保持状態(すなわち、両手持ちの状態または片手持ちの状態)に応じて、プレイヤキャラクタC1を操作可能な第1操作モードとアバターA1を操作可能な第2操作モードとを直感的に切り替えることができる。
また、ステップS43において、プロセッサ10は、コントローラ160AのHMD装置110Aに対する相対位置に基づいて、適用される操作モードを決定してもよい。例えば、プロセッサ10は、当該相対位置に基づいて、ユーザ190Aの頭部の左側または右側において頭部の高さ位置よりも高い位置にコントローラ160Aが位置する状態であるか否かを判定することができる。そして、プロセッサ10は、コントローラ160Aが当該状態であると判定された場合に、コントローラ160Aの状態が第2状態(片手持ちの状態)であると判定してもよい。
また、コントローラ160Aに対するユーザ190Aによる予め定められた入力操作に基づいて操作モードを切り替える場合、上述したコントローラ160Aの状態判定が併用されてもよい。例えば、プロセッサ10は、上述したような判定によってコントローラ160Aの状態が第2状態(片手持ちの状態)であると判定され、かつ、コントローラ160Aに対する予め定められた入力操作(例えば、上部ボタン167の押下操作等)がされた場合に、操作モードを切り替えてもよい。このように、コントローラ160Aに対する入力操作とコントローラ160Aの状態との両方について所定の条件が満たされた場合に操作モードを切り替える構成によれば、操作モードの切り替えに関する誤操作の発生を抑制し得る。ユーザ190Aの意図しない操作モードの切り替えの発生を抑制することにより、ユーザ190Aのユーザビリティを向上させることができる。
第1操作モードが適用されると判定された場合(ステップS43:YES)、ステップS44において、プロセッサ10は、上述したステップS32における処理と同様に、ユーザ190Aの動き情報に基づいてアバターA1の動作(頭部の向きおよび目の動き等)を制御する。また、プロセッサ10は、上述したステップS33における処理と同様に、ユーザ190Aのコントローラ情報に基づいてプレイヤキャラクタC1の動作を制御する。
一方、第2操作モードが適用されると判定された場合(ステップS43:NO)、ステップS45において、プロセッサ10は、ユーザ190Aの動き情報およびコントローラ情報に基づいてアバターA1の動作(頭部の向きおよび目の動き等)を制御する。さらに、プロセッサ10は、ユーザ190Aのコントローラ情報に基づいてアバターA1の仮想的な身体の一部の動作を制御する。コントローラ160Aの状態が第2状態(片手持ちの状態)であるときに第2操作モードが適用される場合、プロセッサ10は、コントローラ160Aを保持している方のユーザ190Aの手(左手または右手)に関連付けられたアバターA1の手オブジェクトVH1の動作を制御してもよい。例えば、プロセッサ10は、コントローラ160Aを保持している方のユーザ190Aの手が右手である場合、アバターA1の右手部分に対応する手オブジェクトVH1に予め定められた動作を実行させてもよい。なお、コントローラ160Aが左手および右手のいずれで保持されているか否かは、検知されたコントローラ160Aの傾きまたはコントローラ160Aに対する入力操作の内容に基づいて把握され得る。例えば、上部ボタン167L(167R)を押下するためには左手(右手)でコントローラ160Aを操作する必要があるため、上部ボタン167L(167R)の押下操作が検知された場合には、コントローラ160Aは左手(右手)によって保持されていると判断され得る。
上記動作制御によってアバターA1に実行させる動作は、例えばコントローラ160Aを保持している方のユーザ190Aの手によるコントローラ160Aに対する入力操作(例えば、操作ボタン163の押下等)に応じて決定されてもよい。また、この場合、以下のような2段階の操作によってアバターA1の動作が制御されてもよい。すなわち、プロセッサ10は、コントローラ160Aの状態が第2状態であることを検知した場合に、第2操作モードを適用するとともに、アバターA1の手オブジェクトVH1の状態を、予め定められた状態に変化させてもよい。ここでは一例として、予め定められた状態は、爆弾を手に持っている状態であるものとする。その後、プロセッサ10は、コントローラ160Aに対する所定の入力操作(例えば、操作ボタン163の押下等)を検知した場合に、爆弾を投げる動作を手オブジェクトVH1に実行させてもよい。例えば、プロセッサ10は、仮想オブジェクト制御モジュール232として、コントローラ160Aに対する入力操作によってユーザ190Aから指示された方向に対象オブジェクトの一種である爆弾を飛ばす。そして、プロセッサ10は、仮想空間2に予め関連付けられた環境条件(重力、空気抵抗等)に基づく物理計算を実行することにより爆弾の軌跡を算出し、当該軌跡に沿って爆弾を移動させる。
図16は、第2操作モードにおけるアバターA1の動作制御の一例を表す図である。図16に示される例は、上述したアバターA1の動作制御によって、アバターA1の右手部分に対応する手オブジェクトVH1が爆弾B2をゲームフィールドFに投げ込む様子を表している。このように、ユーザ190Aは、操作モードを第2操作モードに切り替えることにより、アバターA1をゲームに介入させることができる。すなわち、この例のように、ユーザ190Aは、アバターA1を操作することにより、自分のプレイヤキャラクタC1を支援すること等ができる。例えば、プレイヤキャラクタC1が戦闘不能(あるいは一時的な麻痺状態等)になったときでも、ユーザ190Aは、操作モードを第2操作モードに切り替えることで、アバターA1を操作してゲームに介入し続けることができる。
ステップS46において、プロセッサ10は、仮想空間2を共有する全てのユーザについて処理を完了したか否かを判定し、全てのユーザについて処理を完了したと判定された場合に処理を終了する。これにより、各ユーザに適用される操作モードに応じて、各ユーザのアバターおよびプレイヤキャラクタの動作が制御される。
上記第1の変形例では、ユーザ190Aに第1操作モードが適用される場合には、各ユーザ190A,190Bに提供される視界画像M1,M2において、アバターA1が、コントローラオブジェクトVC1を手オブジェクトVH1で保持している態様で表示される。これにより、各ユーザ190A,190Bは、視界画像M1,M2の表示内容に基づいて、ユーザ190Aに第1操作モードが適用されていることを直感的に把握することができる。
一方、ユーザ190Aに第2操作モードが適用される場合には、各ユーザ190A,190Bに提供される視界画像M1,M2において、コントローラオブジェクトVC1が表示されず、アバターA1の手オブジェクトVH1が、コントローラ160Aに対する入力操作に応じた態様で表示される(図16参照)。これにより、各ユーザ190A,190Bは、視界画像M1,M2の表示内容に基づいて、ユーザ190Aに第2操作モードが適用されていることを直感的に把握することができる。
なお、第1の変形例において、第1操作モードおよび第2操作モード以外の操作モードを含む複数の操作モードのうちから、適用される操作モードが決定されてもよい。第1操作モードおよび第2操作モード以外の操作モードとしては、例えば視界画像に所定のメニュー画面を表示させ、当該メニュー画面の所定の項目を選択操作するような操作モードが考えられる。
[第2の変形例]
続いて、本実施形態の第2の変形例について説明する。第2の変形例は、仮想カメラ1がアバターの視点に関連付けられる第1視点モードと、仮想カメラ1がプレイヤキャラクタの視点に関連付けられる第2視点モードとを切替可能な構成を有する。
具体的には、プロセッサ10は、図10におけるステップS10の処理の一部として、適用される視点モードを決定し、決定された視点モードに応じた視界画像を表示するための視界画像データを生成し、生成された視界画像データをHMD装置110に出力する。以下、図17に示されるフローチャートを参照して、第2の変形例における処理について説明する。図17は、本変形例において実行される図10におけるステップS10の処理手順の一例を表すフローチャートである。
ステップS51において、プロセッサ10は、第1視点モードおよび第2視点モードのいずれの視点モードを適用するか否かを決定する。ここで、視点モードは、上述した操作モードの切り替えと同様に、コントローラ160Aに対する予め定められた入力操作(例えば、所定の操作ボタン163の押下等)およびコントローラ160Aの状態(位置および傾き等)の少なくとも一方に基づいて切り替えられ得る。すなわち、ユーザ190Aは、コントローラ160Aに対して予め定められた入力操作を行ったり、コントローラ160Aを予め定められた状態(例えば片手持ちの状態等)にしたりすることによって、自由に視点を切り替えることができる。また、現時点で適用されている視点モードを示す情報は、メモリモジュール240に保持され得る。この場合、プロセッサ10は、メモリモジュール240を参照することにより、適用される視点モードを決定することができる。
第1視点モードが適用されると決定された場合(ステップS51:YES)、ステップS52において、プロセッサ10は、第1視点モードが適用された仮想カメラ1Aに基づいて、アバターA1の視点に関連付けられた視界画像(図12に示される視界画像M1参照)を表示するための視界画像データを生成する。
一方、第2視点モードが適用されると決定された場合(ステップS51:NO)、ステップS53において、プロセッサ10は、第2視点モードが適用された仮想カメラ1Aに基づいて、プレイヤキャラクタC1の視点に関連付けられた視界画像を表示するための視界画像データを生成する。ここで、プレイヤキャラクタC1の視点は、プレイヤキャラクタC1の1人称視点であってもよいし、プレイヤキャラクタC1の少し後方から撮影される3人称視点であってもよい。
上述したように、通常、アバターA1の視線方向は、ユーザ190Aのアイトラッキングデータに基づいて制御される。しかし、第2視点モードが適用されている場合には、ユーザ190Aは、アバターA1の視点ではなくプレイヤキャラクタC1の視点で仮想空間2内を視認している。したがって、この場合の現実空間におけるユーザ190Aの視線方向は、プレイヤキャラクタC1に反映されるべきであり、アバターA1に反映されるべきではない。しかし、特別な処理が実行されない限り、第2視点モードが適用されている場合でも、現実空間におけるユーザ190Aの視線方向がアバターA1に反映されてしまう。このため、他のユーザ(ここではユーザ190B)に提供される視界画像M2にアバターA1が含まれる場合、視界画像M2において、アバターA1の視線方向は、実際にはユーザ190Aが見ていない方向を向いてしまうおそれがある。このような状況は、ユーザ190Bに違和感を与えてしまい、ユーザ190Bの仮想空間2への没入感覚を損なうおそれがあるため好ましくない。また、ユーザ190Bに対して誤った情報を通知することになるため、アバターA1が見ている方向(すなわちユーザ190Aが見ている方向)がゲームをプレイする上で重要な情報となる場合には、適切なゲーム進行が阻害され得る。
そこで、本変形例において、プロセッサ10は、第2視点モードが適用されている場合に、ユーザ190Bによって装着されるHMD装置110Bに接続されたコンピュータ200(すなわち、HMDシステム100Bのプロセッサ10)に対して、ユーザ190AがプレイヤキャラクタC1の視点を介して見ている位置を特定するための補助情報を出力してもよい。例えば、プロセッサ10は、上述したプレイヤ情報の一部として、当該補助情報をサーバ150に送信すればよい。これにより、HMDシステム100Bのプロセッサ10は、当該補助情報に基づいて、視界画像M2におけるアバターA1の視線方向を適切に表現することが可能となる。
補助情報は、例えば、ユーザ190AがプレイヤキャラクタC1の視点を介して見ている位置(以下「注目点」)を特定するための情報である。注目点は、ユーザ190Aのアイトラッキングデータと、仮想空間2における視点位置(すなわち、プレイヤキャラクタC1の視点位置)とに基づいて特定され得る。例えば、プロセッサ10は、第2視点モードが適用された仮想カメラ1Aの位置(プレイヤキャラクタC1の視点位置)を基準位置とする視線方向を、アイトラッキングデータに基づいて特定する。そして、プロセッサ10は、当該視線方向の先にある仮想オブジェクト(すなわち、ユーザ190AがプレイヤキャラクタC1の視点を介して実際に注目している対象)を特定し、当該視線方向と当該仮想オブジェクトとが交わる位置を注目点として特定する。そして、プロセッサ10は、注目点を示す情報(例えば座標データ)を補助情報として生成してもよい。一方、プレイヤキャラクタC1の視線の先に仮想オブジェクトが存在しない場合、プロセッサ10は、プレイヤキャラクタC1の視線と天球状の仮想空間画像22(図4参照)との交差位置を注目点として特定してもよい。あるいは、プロセッサ10は、プレイヤキャラクタC1の視線と予め定められた基準平面(例えば仮想空間2において定義された地面)とが交差する場合には、その交差位置を注目点として特定してもよい。
なお、補助情報は、注目点を直接示す情報でなくてもよく、注目点を特定するために用いられる情報であってもよい。例えば、補助情報は、ユーザ190AのアイトラッキングデータおよびプレイヤキャラクタC1の視点位置の組情報であってもよい。この場合、補助情報を受信したHMDシステム100Bのプロセッサ10が、当該補助情報に基づいて注目点を特定することができる。あるいは、プレイヤ情報を最初に受信するサーバ150が、プレイヤ情報に含まれる補助情報に基づいて注目点を特定し、特定された注目点を示す情報をHMDシステム100Bに送信してもよい。この場合には、注目点を特定するための処理をサーバ150側で一括して行うことができる。
以下、図18に示されるフローチャートを参照して、第2の変形例においてHMDシステム100Bによって実行される処理について説明する。図18は、HMDシステム100B側で実行される、図10のステップS10の処理に対応する処理の一部を表すフローチャートである。なお、本フローチャートの説明においては、特に断らない限り、「プロセッサ10」は、HMDシステム100Bのプロセッサ10を指す。
ステップS61において、プロセッサ10は、HMDシステム100Aから補助情報を取得したか否かを判定する。例えば、プロセッサ10は、ユーザ190Aのプレイヤ情報に補助情報に該当する情報が含まれているか否かに基づいて、上述の判定を実行することができる。
補助情報を取得したと判定された場合(ステップS61:YES)、ステップS62において、プロセッサ10は、補助情報に基づいてアバターA1の視線方向を決定する。例えば、補助情報が上述した注目点を示す情報である場合には、プロセッサ10は、当該注目点を向くように、アバターA1の視線方向を決定する。これにより、ユーザ190Bに対して、実際にユーザ190AがプレイヤキャラクタC1を介して見ている位置を向くように、アバターA1の視線方向が適切に表現された視界画像M2が提供される。
一方、補助情報を取得したと判定されなかった場合(ステップS61:NO)、プロセッサ10は、ユーザ190Aは第1視点モードを利用していると判断できる。このため、ステップS63において、プロセッサ10は、通常通り、ユーザ190Aのアイトラッキングデータに基づいて、アバターA1の視線方向を決定する。
図19および図20は、それぞれ、図18に示される制御が実行された場合の仮想空間2および視界画像M2の一例を表す図である。図19に示されるように、ユーザ190Aの仮想カメラ1Aに第2視点モードが適用されている場合、仮想カメラ1AはプレイヤキャラクタC1の視点に関連付けられる。この例では、ユーザ190Aは、プレイヤキャラクタC1の視点を介して、視線方向E1の先にある対象(プレイヤキャラクタC2)を見ている。すなわち、この例では、プレイヤキャラクタC2と視線方向E1とが交わる位置が上述した注目点に該当する。
HMDシステム100B側において、仮にユーザ190Aのアイトラッキングデータに基づいてアバターA1の視線方向が決定された場合、アバターA1の視線方向は、プレイヤキャラクタC1の視線方向E1と平行となるように表現される。しかし、上述した通り、そのように表現された視界画像M2がユーザ190Bに提供された場合、ユーザ190Bに違和感を与えてしまうおそれがある。そこで、本変形例では、HMDシステム100B側で図18に示される制御が実行される。これにより、図20に示されるように、ユーザ190Bに提供される視界画像M2において、アバターA1の視線方向E2は、補助情報に基づいて、プレイヤキャラクタC2を向くように表現される。
以上述べたように、第2視点モードが適用される側のHMDシステム100Aから他のHMDシステム100Bに補助情報が送られることにより、HMDシステム100Bは、補助情報に基づいてアバターA1の視線方向を適切に決定することができる。このような構成により、一のユーザ190Aが視点モードを第2視点モードに切り替えた場合であっても、他のユーザ190Bに対して違和感を与えることなく、他のユーザ190Bの仮想空間2への没入感覚が損なわれることを防止できる。逆の視点から言い換えると、一のユーザ190Bは、他のユーザ190Aに第2視点モードが適用されている場合であっても、他のユーザ190Aが注目している対象を当該他のユーザ190AのアバターA1の視線方向E2によって正確に把握することができる。
また、例えば3人以上のユーザによって仮想空間2が共有され、かつ、ゲームフィールドFが広い場合には、一のユーザは、他のユーザの視線方向を手掛かりとして、ゲーム内で盛り上がっている場所を見つけようとする状況が想定され得る。上述した補助情報に基づくアバターの視線方向の制御によれば、第2視点モードが適用されているユーザのアバターの視線方向が適切に表現される。このため、各ユーザは、他のユーザがいずれの視点モードを利用しているか否かによらず、他のユーザのアバターの視線方向を手掛かりとして、ゲーム内で盛り上がっている場所を容易に把握することができる。
なお、第2の変形例において、仮想空間2内において予め定められた条件が成立した場合に、当該条件に関連付けられた視点モードが強制的に適用されるように構成されてもよい。例えば、プロセッサ10は、ユーザ190Aに第2視点モードが適用されているときにプレイヤキャラクタC1が戦闘不能(予め定められた状態)となったと判定した場合に、第2視点モードから第1視点モードへと強制的に切り替えてもよい。これによれば、プレイヤキャラクタC1を操作不能な状態になった場合に、操作可能なアバターA1に視点を強制的に戻すことができる。その結果、ユーザ190Aは、スムーズにゲームをプレイすることができる。なお、強制的に視点モードを切り替えるトリガは、上記例に限られない。例えば、プロセッサ10は、ユーザ190Aに第1視点モードが適用されているときに予め定められたイベントが発生した場合に、第1視点モードから第2視点モードへと強制的に切り替えてもよい。
また、第1視点モードおよび第2視点モード以外の視点モードを含む複数の視点モードのうちから、適用される視点モードが決定されてもよい。第1視点モードおよび第2視点モード以外の操作モードとしては、例えばアバターおよびプレイヤキャラクタの上方から、これらのオブジェクトを俯瞰する視点モード等が考えられる。
[第3の変形例]
続いて、本実施形態の第3の変形例について説明する。第3の変形例は、左右の手オブジェクトVH1の動作がコントローラ160Aの位置に基づいて決定される第1モードと、左右の手オブジェクトVH1の動作が左右別々に決定される第2モードとを切替可能な構成を有する。なお、本変形例におけるアバターの手オブジェクトの動作制御は、仮想空間2内にプレイヤキャラクタが存在せず、アバターのみが存在するようなケース(例えば、アバターを介したチャットを行うだけの場合等)にも適用可能である。
以下、図21に示されるフローチャートを参照して、第3の変形例における処理について説明する。図21は、図14に示されるフローチャートの代わりに実行される処理のうち、アバターの手オブジェクトの動作制御に関する処理(すなわち、図13におけるステップS23Aの処理の一部)を表すフローチャートである。したがって、図21においては、アバターの手オブジェクト以外の部分およびプレイヤキャラクタの動作制御に関する処理は省略されている。
ステップS71において、プロセッサ10は、ステップS31の処理と同様に、各ユーザ190A,190Bのプレイヤ情報をサーバ150から取得する。
ステップS72〜S75において、プロセッサ10は、ユーザ毎に適用されるモードを判定し、適用されるモードに応じた動作制御を各ユーザのアバターの手オブジェクトに対して実行する。
ステップS72において、プロセッサ10は、判定対象のユーザ(ここでは一例としてユーザ190A)を選択する。
ステップS73において、プロセッサ10は、判定対象のユーザ190Aについて適用されるモードを判定する。例えば、プロセッサ10は、第1変形例(図15におけるステップS43)と同様の手法により、適用されるモードを決定することができる。
第1モードが適用されると判定された場合(ステップS73:YES)、ステップS74において、プロセッサ10は、コントローラ160の位置に基づいて、アバターA1の手オブジェクトVH1の動作を制御する。例えば、プロセッサ10は、コントローラ160のHMD装置110Aに対する相対位置に基づいて、アバターA1の手オブジェクトVH1を仮想空間2に配置してもよい。具体的には、プロセッサ10は、現実空間におけるコントローラ160AのHMD装置110Aに対する相対位置が、仮想空間2におけるコントローラオブジェクトVC1のアバターA1の頭部に対する相対位置と一致するように、コントローラオブジェクトVC1を仮想空間2に配置してもよい。そして、プロセッサ10は、このようにして決定されたコントローラオブジェクトVC1の両側を左右の手オブジェクトVH1が保持するように、左右の手オブジェクトVH1を配置してもよい。これにより、第1モードが適用される場合には、コントローラ160のHMD装置110Aに対する相対位置の変化にともなって、手オブジェクトVH1およびコントローラオブジェクトVC1を移動させることができる。
ステップS74における処理によれば、ユーザ190Aについて第1モードが適用される場合には、各ユーザ190A,190Bに提供される視界画像M1,M2において、アバターA1が、コントローラオブジェクトVC1を手オブジェクトVH1で保持している態様で表示される。これにより、各ユーザ190A,190Bは、視界画像M1,M2の表示内容に基づいて、ユーザ190Aに第1モードが適用されていることを直感的に把握することができる。
また、コントローラ160Aに対応するコントローラオブジェクトVC1が視界画像M1,M2に表示されるので、ユーザ190Aが利用しているコントローラ160Aのタイプ(例えば両手持ちであるか片手持ちであるか)を他のユーザ190Bに把握させることができる。例えば、仮想空間2を共有する複数のユーザの中には、現実空間における手の動きをアバターに精度良く反映できる高機能なコントローラ(例えば、左右の手に別々に装着され、モーションセンサを備えるハンドデバイス等)を利用するユーザが存在し得る。一方で、本実施形態のコントローラ160のような低スペックのコントローラ(ここでは両手持ちのコントローラ)を利用するユーザも存在し得る。このような低スペックのコントローラを利用するユーザは、当該ユーザの現実空間における手の動きをアバターに反映させることができない。このため、当該ユーザのアバターの動作が単調であることが原因で、周囲のユーザは、当該ユーザが仮想体験を楽しんでいないと誤解してしまうおそれがある。したがって、上述のように視界画像にコントローラオブジェクトを表示してコントローラのスペック等を他のユーザに周知することは、仮想空間におけるコミュニケーションの円滑化に貢献し得る。
なお、コントローラオブジェクトVC1が仮想空間2で提供される世界観に合わないような場合等、視界画像にコントローラオブジェクトVC1を保持する態様でアバターA1が表現された場合に各ユーザが違和感を感じてしまう状況もあり得る。したがって、プロセッサ10は、仮想空間2に手オブジェクトVH1を配置する一方で、コントローラオブジェクトVC1を配置しなくてもよい。また、コントローラオブジェクトVC1を配置するか否かは、ユーザ190Aによる明示的な操作(例えばコントローラ160に対する所定操作)によって切り替えられてもよい。
第2モードが適用されると判定された場合(ステップS73:NO)、ステップS75において、プロセッサ10は、左右の手オブジェクトVH1の動作を左右別々に決定する。例えば、プロセッサ10は、ユーザ190Aのアイトラッキングデータ(視線情報)に基づいて、上述したような手法によってユーザ190Aが仮想空間2において注目している特定位置を特定する。そして、プロセッサ10は、左右の手オブジェクトVH1のうちいずれか一方が特定位置を指し示すように、手オブジェクトVH1を動作させてもよい。
あるいは、プロセッサ10は、コントローラ160Aに対して予め定められた入力操作を検知したことをトリガとして、左右の手オブジェクトVH1のうち当該入力操作に関連付けられた方の手オブジェクトVH1が特定位置を指し示すように、手オブジェクトVH1の動作を制御してもよい。例えば、プロセッサ10は、コントローラ160Aの左側の上部ボタン167Lが押下された場合には、左側の手オブジェクトVH1を動作させ、コントローラ160Aの右側の上部ボタン167Rが押下された場合には、右側の手オブジェクトVH1を動作させてもよい。
ステップS76において、プロセッサ10は、仮想空間2を共有する全てのユーザについて処理を完了したか否かを判定し、全てのユーザについて処理を完了したと判定された場合に処理を終了する。これにより、各ユーザに適用されるモードに応じて、各ユーザのアバターの手オブジェクトの動作が制御される。
図22は、第2モードにおけるアバターA1の手オブジェクトVH1の動作制御の一例を表す図である。具体的には、図22は、上述した動作制御によって、アバターA1の右手に対応する手オブジェクトVH1がアバターA1の視線方向E2に基づいて特定された特定位置Pを指し示している状態を表している。これにより、ユーザ190A,190Bが互いに協力してゲームをプレイするような状況において、ユーザ190Aは、アバターA1に指差し動作を実行させることによって、ユーザ190Bに指示(例えば爆弾B1を当てる目標位置を示す指示)を出すことができる。このように、ユーザ190Aは、コントローラ160Aを実際には両手で操作しながらも、実際のユーザ190Aの手の動きと連動しない所定の動作(ここでは指差し)をアバターA1の手オブジェクトVH1に実行させることができる。その結果、モーションセンサ等を備える高スペックのコントローラを有さないユーザも、仮想空間2において他のユーザと直感的なコミュニケーションを図ることが可能となる。特に、複数ユーザで協力してプレイされるゲームにおいて、本変形例に係るアバターA1の手オブジェクトVH1の動作制御は有効である。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
例えば、上述のアバターおよびプレイヤキャラクタの動作制御に関する処理(図10におけるステップS9の処理)は、各ユーザのHMDシステムにおいて、視界画像に含まれるアバター等についてのみ実行されてもよい。これにより、視界画像に含まれないアバター等に関する制御のための処理を削減することができる。なお、視界画像にアバター等が含まれるか否かは、例えば、図10におけるステップS6の処理により特定される視界方向に基づいて定められる視界領域23にアバター等が含まれるか否かに基づいて判定され得る。
また、各HMDシステム100のコンピュータ200(プロセッサ10)で実行される処理(図10のステップS1〜S3,S6,S9,S10等)の一部または全部は、サーバ150によって実行されてもよいし、コンピュータ200とサーバ150とによって分散して実行されてもよい。このように、一部または全部の処理をサーバ150側で負担することにより、各HMDシステム100側の処理量を低減し得る。また、各HMDシステム100で共通で必要となる処理をサーバ150が一括して処理することにより、処理の効率化を図ることもできる。
また、コントローラの形態は、上述したコントローラ160(図8参照)に限られない。例えば、HMDシステム100において、Nintendo Switch(登録商標)用のコントローラのように支持部材に着脱可能な左右のコントローラを備える形態のコントローラが用いられてもよい。図23を参照して、そのようなコントローラの変形例(コントローラ260)について説明する。以下では、コントローラ260を利用する場合における、状態(特に、上述した片手持ちの状態および両手持ちの状態)の判定手法の一例について説明する。一方、コントローラ260の各種ボタン等の機能および役割等は、上述したコントローラ160の各種ボタン等の機能および役割等と同様であるため、詳細な説明を繰り返さない。
図23に示されるように、コントローラ260は、支持部材261と、左コントローラ262と、右コントローラ263とを備える。左コントローラ262および右コントローラ263の各々には、ユーザ190の操作を受け付けるための各種ボタン等が設けられている。左コントローラ262および右コントローラ263は、それぞれ支持部材261に対してスライドさせることで着脱自在とされている。
図23の(A)は、左コントローラ262および右コントローラ263の両方が支持部材261に装着された状態(以下「装着状態」)を表している。装着状態において、左コントローラ262はユーザ190の左手で操作され、右コントローラ263はユーザ190の右手で操作される。すなわち、装着状態であるコントローラ260は、一体的なコントローラとして、ユーザ190によって両手で保持された状態で操作される。したがって、プロセッサ10は、装着状態を上述した両手持ちの状態に対応付けてもよい。すなわち、プロセッサ10は、コントローラ260が装着状態である場合に、上述した両手持ちの状態であると判定してもよい。
図23の(B)は、左コントローラ262および右コントローラ263の両方が支持部材261に装着されていない状態を表している。このように、左コントローラ262および右コントローラ263の少なくとも一方が支持部材261に装着されていない状態(以下「非装着状態」)においては、ユーザ190は、左コントローラ262と右コントローラ263とを独立して動かすことができる。例えば、ユーザ190は、左コントローラ262とは独立して、右コントローラ263だけを頭上に振りかざしたり、振ったりすることができる。したがって、プロセッサ10は、非装着状態を上述した片手持ちの状態に対応付けてもよい。すなわち、プロセッサ10は、コントローラ260が非装着状態である場合に、上述した片手持ちの状態であると判定してもよい。
なお、左コントローラ262および右コントローラ263が支持部材261に装着されているか否かを示す情報は、左コントローラ262および右コントローラ263から、上述したコントローラ情報の一部としてプロセッサ10に通知され得る。これにより、プロセッサ10は、コントローラ情報に基づいてコントローラ260が装着状態であるか非装着状態であるかを把握することができる。ただし、コントローラ260に対して適用可能な状態判定は、装着状態であるか否かに基づく判定に限られない。例えば、コントローラ260が装着状態であるか否かと共に、予め定められたボタン操作がされたか否かにも基づいて、上述した状態判定が実行されてもよい。また、非装着状態は、図23の(B)に示されるように左コントローラ262および右コントローラ263の両方が支持部材261に装着されていない状態だけでなく、左コントローラ262のみが支持部材261に装着されていない状態、および右コントローラ263のみが支持部材261に装着されていない状態を含み得る。
本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
表示部(モニタ112)を備えるヘッドマウントデバイス(HMD装置110A)を介して第1ユーザ(ユーザ190A)に仮想空間2を提供するためにコンピュータ(コンピュータ200またはサーバ150)によって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1アバター(アバターA1)と、前記第1ユーザにより使用されるコントローラ160Aに対する入力操作に基づいて操作されるキャラクタオブジェクト(プレイヤキャラクタC1)と、第2ユーザ(ユーザ190B)に関連付けられた第2アバター(アバターA2)と、前記ヘッドマウントデバイスに提供される視界画像M1を定義する仮想カメラ1Aとを含む仮想空間2を定義する仮想空間データを取得するステップ(例えば図10のS1)と、
前記コントローラ160Aに対する予め定められた入力操作および前記コントローラ160Aの状態の少なくとも一方に基づいて、前記仮想カメラ1Aが前記第1アバターの視点に関連付けられる第1視点モードと、前記仮想カメラ1Aが前記キャラクタオブジェクトの視点に関連付けられる第2視点モードとを含む複数の視点モードのうちから、適用される視点モードを決定するステップ(例えば図17のS51)と、
前記適用される視点モードに応じて前記仮想カメラ1Aにより定義される前記視界画像M1を、前記ヘッドマウントデバイス(HMD装置110A)を介して前記第1ユーザに提供するステップ(例えば図17のS52またはS53)と、
を含む、情報処理方法。
本項目の情報処理方法によれば、第1ユーザは、第1ユーザに関連付けられた第1アバターと、第1ユーザがコントローラで操作可能なキャラクタオブジェクトとが存在する仮想空間において、第1アバターの視点とキャラクタオブジェクトの視点とを切り替えることができる。その結果、第1ユーザの仮想体験のエンタテイメント性を向上させることができる。
(項目2)
前記第2視点モードが前記適用される視点モードとして決定された場合、前記第2ユーザによって装着されるヘッドマウントデバイス(HMD装置110B)に接続されたコンピュータ200に対して、前記第1ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を特定するための補助情報を出力するステップ(例えば図13のS21A)を更に含む、
項目1の情報処理方法。
本項目の情報処理方法によれば、第2視点モードが適用されている場合において、第2ユーザに提供される視界画像における第1アバターの視線方向を当該補助情報に基づいて適切に表現することが可能となる。
(項目3)
前記仮想空間内において予め定められた条件が成立した場合に、前記条件に関連付けられた視点モードを強制的に適用するステップを更に含む、
項目1または2の情報処理方法。
本項目の情報処理方法によれば、予め定められた条件の成立に応じて視点モードを適切かつ強制的に切り替えることができ、第1ユーザの操作性を向上し得る。
(項目4)
前記適用するステップにおいて、前記第2視点モードが適用されているときに前記キャラクタオブジェクトの状態が予め定められた状態となった場合に、前記第1視点モードを強制的に適用する、
項目3の情報処理方法。
本項目の情報処理方法によれば、例えばキャラクタオブジェクトを操作不能な状態になった場合等に、操作可能な第1アバターに視点を強制的に戻すことができる。その結果、第1ユーザの操作性を向上し得る。
(項目5)
項目1〜4のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目6)
少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により項目1〜4のいずれかの情報処理方法を実行する、装置。
(項目7)
第2ユーザ(ユーザ190B)に仮想空間2を提供するためにコンピュータ(コンピュータ200またはサーバ150)によって実行される情報処理方法であって、
第1ユーザ(ユーザ190A)に関連付けられた第1アバター(アバターA1)と、前記第1ユーザにより使用されるコントローラ160Aに対する入力操作に基づいて操作されるキャラクタオブジェクト(プレイヤキャラクタC1)と、前記第2ユーザに関連付けられた第2アバター(アバターA2)と、前記第1ユーザに装着され、第1表示部を備える第1ヘッドマウントデバイス(HMD装置110A)に提供される視界画像M1を定義する第1仮想カメラ(仮想カメラ1A)と、前記第2ユーザに装着され、第2表示部を備える第2ヘッドマウントデバイス(HMD装置110B)に提供される視界画像M2を定義する第2仮想カメラ(仮想カメラ1B)とを含む仮想空間2を定義する仮想空間データを取得するステップ(例えば図10のS1)と、
前記第2仮想カメラにより定義される前記視界画像M2を、前記第2ヘッドマウントデバイスを介して前記第2ユーザに提供するステップ(例えば図10のS10)と、
を含み、
前記提供するステップにおいて、前記第1仮想カメラが前記キャラクタオブジェクトの視点に関連付けられている場合、前記第1ユーザが前記キャラクタオブジェクトの視点を介して見ている位置を向くように、前記第1アバターの視線方向が表現された前記視界画像M2を提供する、
情報処理方法。
本項目の情報処理方法によれば、第1ユーザに第2視点モードが適用されている場合に、第2ユーザに提供される視界画像において、第1アバターの視線方向を、第1ユーザが実際に見ている位置を向くように適切に表示させることができる。
本開示は、上述のような課題を解決するためになされたものであり、複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。