JP6458179B1 - プログラム、情報処理装置、および方法 - Google Patents

プログラム、情報処理装置、および方法 Download PDF

Info

Publication number
JP6458179B1
JP6458179B1 JP2018029840A JP2018029840A JP6458179B1 JP 6458179 B1 JP6458179 B1 JP 6458179B1 JP 2018029840 A JP2018029840 A JP 2018029840A JP 2018029840 A JP2018029840 A JP 2018029840A JP 6458179 B1 JP6458179 B1 JP 6458179B1
Authority
JP
Japan
Prior art keywords
virtual
user
virtual space
operation object
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018029840A
Other languages
English (en)
Other versions
JP2019144942A (ja
Inventor
圭佑 中原
圭佑 中原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2018029840A priority Critical patent/JP6458179B1/ja
Application granted granted Critical
Publication of JP6458179B1 publication Critical patent/JP6458179B1/ja
Publication of JP2019144942A publication Critical patent/JP2019144942A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想オブジェクトを仮想空間におけるより適切な位置に配置するプログラム、情報処理装置、及び方法を提供する。
【解決手段】HMDシステムにおいて、プロセッサは、ユーザ5の右手の動きおよび左手の動きに応じて、仮想右手1521Rおよび仮想左手1521Lのうち一方を、ユーザの利き手に対応する仮想利き手オブジェクトとして特定する。プロセッサは、仮想利き手の特定結果に応じた銃オブジェクト1541および剣オブジェクト1542を、第2仮想空間2011に配置する。
【選択図】図20

Description

本発明は、プログラム、情報処理装置、および方法に関する。
非特許文献1に、仮想空間においてユーザが敵キャラクタと戦うゲームの一例が開示されている。
AllGamesWorldHd、"Titan Slayer Gameplay walkthrough part 1: Episode 1 Complete in VR (Htc Vive, Oculus Rift cv1)"、[online]、平成29年4月27日、YouTube(登録商標)、[平成30年2月1日検索]、インターネット〈https://www.youtube.com/watch?v=a2ID0CxX2Xs〉
従来の技術には、仮想オブジェクトを仮想空間におけるより適切な位置に配置することができる余地がある。
本開示の一態様は、仮想オブジェクトを仮想空間におけるより適切な位置に配置することを目的とする。
本発明の一態様によれば、ユーザの頭部に関連付けられた画像表示装置を介して仮想体験をユーザに提供するために、プロセッサを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間を定義するステップと、仮想空間に第1操作オブジェクトおよび第2操作オブジェクトを配置するステップと、ユーザの身体の右側の一部を構成する第1部位の動きを検出するステップと、ユーザの身体の左側の一部を構成する第2部位の動きを検出するステップと、第1部位の動きに応じて、第1操作オブジェクトを動かすステップと、第2部位の動きに応じて、第2操作オブジェクトを動かすステップと、第1部位の動きおよび第2部位の動きに応じて、第1操作オブジェクトおよび第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、利き操作オブジェクトの特定結果に応じた付加オブジェクトを、仮想空間に配置するステップとを実行させる。
本開示の一態様によれば、仮想オブジェクトを仮想空間におけるより適切な位置に配置することができる。
ある実施の形態に従うHMDシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMDに設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMDを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をX方向から見たYZ断面を表す図である。 仮想空間において視界領域をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各HMDがユーザに仮想空間を提供する状況を表す模式図である。 図12(A)におけるユーザ5Aの視界画像を示す図である。 ある実施の形態に従うHMDシステムにおいて実行する処理を示すシーケンス図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うアバターオブジェクトをその背面から示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭部に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭部の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
ある局面において、コントロールモジュール510及びレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510及びレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1132にて、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
ステップS1160にて、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A〜200Dは、HMD120A〜120Dを介して、ユーザ5A〜5Dに、仮想空間11A〜11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A〜5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMDセット110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
続いて、サーバ600から各HMDセット110A〜110Cに送信されたアバター情報に基づいて、各HMDセット110A〜110Cは、ステップS1330A〜S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
〔実施形態1〕
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表わすブロック図である。図14に示されるように、コントロールモジュール510は、仮想オブジェクト生成モジュール1421、仮想カメラ制御モジュール1422、操作オブジェクト制御モジュール1423、衝突検出モジュール1424、および仮想利き手特定モジュール1425を備えている。
仮想オブジェクト生成モジュール1421は、各種の仮想オブジェクトを仮想空間11に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、UI(User Interface)オブジェクト、敵オブジェクト、および武器オブジェクトを含み得る。
仮想カメラ制御モジュール1422は、仮想空間11における仮想カメラ14の挙動を制御する。仮想カメラ制御モジュール1422は、例えば、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)とを制御する。
操作オブジェクト制御モジュール1423は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを制御する。ユーザ5は、操作オブジェクトを操作することによって、例えば、仮想空間11に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザ5の手に相当する手オブジェクト(仮想手)等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
衝突検出モジュール1424は、仮想空間11に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール1424は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール1424は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール1424は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール1424は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。コントロールモジュール510は、これらの検出結果に基づいて、予め定められた処理を実行する。
仮想利き手特定モジュール1425は、ユーザ5の右手の動きおよび左手の動きに基づいて、アバターオブジェクトの仮想右手および仮想左手のうち一方を、ユーザ5の利き手に対応する仮想利き手(利き操作オブジェクト)として特定する。仮想利き手特定モジュール1425は、仮想右手および仮想左手のうち他方を、ユーザ5の非利き手に対応する仮想非利き手(非利き操作オブジェクト)として特定する。仮想非利き手とは、仮想利き手の反対の仮想手のことである。仮想利き手特定モジュール1425は、仮想右手を仮想利き手として特定した場合、仮想左手を仮想非利き手として特定する。これとは逆に、仮想利き手特定モジュール1425は、仮想左手を仮想利き手として特定した場合、仮想右手を仮想非利き手として特定する。
図15は、ある実施の形態に従う仮想空間11および視界画像1517を示す図である。図15(A)では、ユーザ5に仮想体験を提供するための仮想空間11に、アバターオブジェクト6、仮想カメラ14、敵オブジェクト1531、銃オブジェクト1541(第1付加オブジェクト)、および剣オブジェクト1542(第2付加オブジェクト)が配置される。ユーザ5は、頭部にHMD120を装着している。ユーザ5は、ユーザ5の身体の右側の一部を構成する右手(第1部位)で右コントローラ300Rを把持し、ユーザ5の身体の左側の一部を構成する左手(第1部位)で左コントローラ300Lを把持している。アバターオブジェクト6は、仮想右手1521Rおよび仮想左手1521Lを含む。仮想右手1521Rは操作オブジェクトの一種であり、ユーザ5の右手の動きに応じて仮想空間11において動くことができる。仮想左手1521Lは操作オブジェクトの一種であり、ユーザ5の左手の動きに応じて仮想空間11において動くことができる。
敵オブジェクト1531は仮想オブジェクトの一種であり、仮想空間11における規定の位置に配置され、プロセッサ210による自動的な制御に基づいて、仮想空間11内を移動したり、アバターオブジェクト6を攻撃したりする。銃オブジェクト1541は仮想オブジェクトの一種であり、仮想右手1521Rに関連付けられている。言い換えれば、アバターオブジェクト6は、仮想右手1521Rで銃オブジェクト1541を把持している。剣オブジェクト1542は仮想オブジェクトの一種であり、仮想左手1521Lに関連付けられている。言い換えれば、アバターオブジェクト6は、仮想左手1521Lで剣オブジェクト1542を把持している。銃オブジェクト1541および剣オブジェクト1542は、アバターオブジェクト6が敵オブジェクト1531を攻撃するために使用することができる武器オブジェクトの一種である。
図15(A)に示す仮想空間11は、コンピュータ200においてゲームコンテンツが再生されることによって、構築される。このゲームコンテンツに対応するゲームは、例えば、アバターオブジェクト6と敵オブジェクト1531とが戦闘することによって、進行する。アバターオブジェクト6は、ユーザ5の右手の動きに基づいて、仮想右手1521Rで銃オブジェクト1541を用いて敵オブジェクト1531を攻撃する。アバターオブジェクト6は、ユーザ5の左手の動きに基づいて、仮想左手1521Lで剣オブジェクト1542を用いて敵オブジェクト1531を攻撃する。敵オブジェクト1531は、プロセッサ210による制御に基づいて、仮想空間11内を移動してアバターオブジェクト6に近づいたり、アバターオブジェクト6を攻撃したりする。
ある局面において、銃オブジェクト1541は、ユーザ5の利き手に対応する仮想利き手に応じた武器オブジェクトであり、剣オブジェクト1542は、ユーザ5の非利き手に対応する仮想非利き手に応じた武器オブジェクトである。これらの対応関係は、武器オブジェクトの扱い難さに基づいている。図15では、ユーザ5は、銃オブジェクト1541を用いて敵オブジェクト1531を攻撃する場合、銃オブジェクト1541の照準を銃オブジェクト1541に正しく合わせるように右手を動かした上で、さらに、右コントローラ300Rのいずれかのボタンを押下する必要がある。一方、ユーザ5は、剣オブジェクト1542を用いて敵オブジェクト1531を攻撃する場合、剣オブジェクト1542で敵オブジェクト1531を斬りつけるように、左手を動かすだけでよい。これらのように、銃オブジェクト1541は、敵オブジェクト1531を攻撃する上で剣オブジェクト1542よりも扱いが難しい武器オブジェクトである。したがって、銃オブジェクト1541は、扱いが難しいためユーザ5の利き手で用いられることが好ましいという意味で、利き手に対応する仮想利き手に応じた武器オブジェクトである。一方、剣オブジェクト1542は、扱いが易しいためユーザ5の非利き手で用いられることが好ましいという意味で、非利き手に対応する仮想非利き手に応じた武器オブジェクトである。
図15(A)において、仮想カメラ14は、アバターオブジェクト6の頭部に配置される。仮想カメラ14は、仮想カメラ14の位置および向きに応じた視界領域15を規定する。視界領域15の範囲内に、仮想右手1521R、仮想左手1521L、敵オブジェクト1531、銃オブジェクト1541、および剣オブジェクト1542が配置される。仮想カメラ14は、視界領域15に対応する視界画像1517を生成して、図15(B)に示すようにHMD120に表示させる。視界画像1517は、視界領域15の範囲内に配置される仮想右手1521R、仮想左手1521L、敵オブジェクト1531、銃オブジェクト1541、および剣オブジェクト1542をいずれも含む。ユーザ5は、視界画像1517を視認することによって、アバターオブジェクト6の視点で仮想空間の一部を視認する。これにより、ユーザ5は、あたかもユーザ5自身がアバターオブジェクト6であるかのような仮想体験を、得ることができる。さらには、ユーザ5自身が仮想空間11においてアバターオブジェクト6として敵オブジェクト1531と戦闘するかのような仮想体験をも、得ることができる。
[仮想利き手特定処理]
図16は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。図17は、ある実施の形態に従う第1仮想空間1711および視界画像1717を示す図である。本実施形態では、ユーザ5の利き手に対応する仮想利き手を特定するための一連の処理が、HMDセット110Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDセット110B,100Cにより実行されてもよいし、当該処理の一部または全部がサーバ600によって実行されてもよい。
ステップS1601において、コンピュータ200のプロセッサ210(以下単に「プロセッサ210」)は、図17(A)に示すような第1仮想空間1711を定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210は、仮想空間データを特定することによって、仮想空間データによって表される第1仮想空間1711を定義する。第1仮想空間1711は、戦闘ゲームが開始される前にアバターオブジェクト6が配置される仮想空間である。
ステップS1602において、プロセッサ210は、仮想オブジェクト生成モジュール1421として、仮想カメラ14を生成し、第1仮想空間1711に配置する。ステップS1603において、プロセッサ210は、仮想オブジェクト生成モジュール1421として、仮想右手1521Rおよび仮想左手1521Lを含むアバターオブジェクト6を生成し、第1仮想空間1711に配置する。ステップS1604において、プロセッサ210は、仮想オブジェクト生成モジュール1421として、UIパネル1750(第1UIオブジェクト)、ペンオブジェクト1753、およびペンオブジェクト1754を生成し、第1仮想空間1711に配置する。
UIパネル1750はUIオブジェクトの一種であり、戦闘ゲームに関連する処理をプロセッサ210に実行させるために、ユーザ5によって用いられる。UIパネル1750は、UIパネル1750の前面に配置される選択肢1751および1752を含む。選択肢1751および1752は、その選択肢がユーザ5によって選択された場合にプロセッサ210が実行する処理を説明する情報を含む。選択肢1751は、戦闘ゲームを開始するための処理をプロセッサ210に実行させるための項目である。選択肢1752は、アバターオブジェクト6に武器オブジェクトを関連付けるための処理をプロセッサ210に実行させるための項目である。
ペンオブジェクト1753は、仮想オブジェクトの一種であり、UIパネル1750の選択肢1751または1752を選択するために、仮想右手1521Rまたは1521Lによって把持されかつ使用される。ペンオブジェクト1754は、仮想オブジェクトの一種であり、UIパネル1750の選択肢1751または1752を選択するために、仮想右手1521Rまたは1521Lによって把持されかつ使用される。
プロセッサ210は、第1仮想空間1711におけるUIパネル1750の左側(UIパネル1750の正面に向かって右側)に、UIパネル1750から一定距離を置いてペンオブジェクト1753を配置する。プロセッサ210は、さらに、第1仮想空間1711におけるUIパネル1750の右側(UIパネル1750の正面に向かって左側)に、UIパネル1750から一定距離を置いてペンオブジェクト1754を配置する。アバターオブジェクト6がUIパネル1750の前面に正対した場合、ペンオブジェクト1753は、第1仮想空間1711における仮想右手1521R側の位置に配置され、ペンオブジェクト1754は、第1仮想空間1711における仮想左手1521L側の位置に配置される。
ステップS1605において、プロセッサ210は、仮想カメラ制御モジュール1422として、HMD120の動きに応じて第1仮想空間1711における仮想カメラ14の位置および傾きを決定する。より詳細には、プロセッサ210は、ユーザ5の頭部の姿勢と、第1仮想空間1711における仮想カメラ14の位置とに応じて、第1仮想空間1711における仮想カメラ14からの視界である視界領域15を制御する。当該処理は、図11のステップS1140の処理の一部に相当する。
ステップS1606において、プロセッサ210は、視界画像17をモニタ130に出力する。具体的には、プロセッサ210は、HMD120の動き(すなわち仮想カメラ14の位置および傾き)と、第1仮想空間1711を定義する仮想空間データと、に基づいて、視界領域15に対応する視界画像17を定義する。視界画像17を定義することは、視界画像17を生成することと同義である。プロセッサ210は、さらに、HMD120のモニタ130に視界画像17を出力することによって、視界画像17をHMD120に表示させる。当該処理は、図11のステップS1180およびS1190の処理に相当する。
プロセッサ210は、例えば、図17(A)に示す第1仮想空間1711に対応する視界画像1717を、図17(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像1717を視認することによって、UIパネル1750の選択肢1751または選択肢1752を選択する必要があることを認識する。
上述したステップS1605およびS1606の処理(すなわち、HMD120の動きに応じた視界画像1517の更新)は、後述するステップS1607〜S1613が実行される間にも、継続して繰り返し実行される。
ステップS1607において、プロセッサ210は、操作オブジェクト制御モジュール1423として、右コントローラ300Rの出力に基づいて、ユーザ5の右手の動きを検出する。ステップS1608において、プロセッサ210は、操作オブジェクト制御モジュール1423として、左コントローラ300Lの出力に基づいて、ユーザ5の左手の動きを検出する。ステップS1609において、プロセッサ210は、操作オブジェクト制御モジュール1423として、検出されたユーザ5の右手の動きに応じて、第1仮想空間1711において仮想右手1521Rを動かす。ステップS1610において、プロセッサ210は、操作オブジェクト制御モジュール1423として、検出されたユーザ5の左手の動きに応じて、第1仮想空間1711において仮想左手1521Lを動かす。
ある局面において、プロセッサ210は、ユーザ5の右手の動きに基づいて、ペンオブジェクト1753に仮想右手1521Rを近づけるように、第1仮想空間1711において仮想右手1521Rを動かす。プロセッサ210は、仮想右手1521Rがペンオブジェクト1753に十分に近づいた後、ユーザ5の右手の動きに基づいて、仮想右手1521Rでペンオブジェクト1753を選択する(掴む)。ユーザ5の右手の動きとしては、例えば、右コントローラ300Rのいずれかのボタンを押下する動きが挙げられる。これにより、仮想右手1521Rでペンオブジェクト1753が把持される。
図18は、ある実施の形態に従う第1仮想空間1711および視界画像1817を示す図である。図18の例では、ユーザ5の利き手は右手である。図18(A)に示すように、プロセッサ210は、仮想右手1521Rがペンオブジェクト1753を選択した後、ユーザ5の右手の動きに基づいて、ペンオブジェクト1753の先端をUIパネル1750の選択肢1751に近づけるように、第1仮想空間1711において仮想右手1521Rおよびペンオブジェクト1753を動かす。プロセッサ210は、衝突検出モジュール1424として、ペンオブジェクト1753の先端と選択肢1751とが第1位置関係になった場合、ペンオブジェクト1753の先端と選択肢1751とが衝突したことを検出する。第1位置関係とは、例えば、ペンオブジェクト1753の先端と選択肢1751との距離が第1距離を下回ることである。あるいは、ペンオブジェクト1753の先端に規定されるコリジョンエリアと、選択肢1751に設定されるコリジョンエリアとが少なくとも部分的に衝突することである。プロセッサ210は、ペンオブジェクト1753の先端と選択肢1751とが衝突したことに基づいて、ペンオブジェクト1753によって選択肢1751が選択されたことを検出する。プロセッサ210は、さらに、この選択に使用されたペンオブジェクト1753に、仮想右手1521Rが関連付けられることを特定する。この特定に基づいて、ステップS1611において、プロセッサ210は、仮想右手1521RによるUIパネル1750の選択を受け付ける。
プロセッサ210は、例えば、図18(A)に示す第1仮想空間1711に対応する視界画像1817を、図18(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像1817を視認することによって、UIパネル1750の選択肢1751を選択したことを認識する。
ステップS1612において、プロセッサ210は、仮想利き手特定モジュール1425として、UIパネル1750の選択に用いられた仮想右手1521Rを、ユーザ5の利き手に対応する仮想利き手として特定する。一般に、ユーザ5は、右手および左手のうち利き手の方をよく使う傾向にある。ユーザ5の利き手が右手であれば、ユーザ5は、UIパネル1750の選択肢1751を選択するために、ユーザ5の右手を動かすことによって仮想右手1521Rを操作する可能性が高い。逆に言えば、UIパネル1750の選択肢1751の選択に仮想右手1521Rが用いられた理由は、仮想右手1521Rを操作するためのユーザ5の右手が、ユーザ5にとって左手よりも使いやすい利き手であったことである可能性が高い。したがって、プロセッサ210は、UIパネル1750の選択に仮想右手1521Rが用いられたことの検出に基づいて、ユーザ5の利き手が右手であり、仮想右手1521Rがユーザ5の利き手に対応する仮想利き手であることを、精度良く特定できる。
以上のように、プロセッサ210は、ユーザ5の利き手が右手および左手のうちいずれであるのか、ユーザ5に質問する必要がなく、ユーザ5の利き手に対応する仮想利き手を特定することができる。これにより、プロセッサ210は、利き手に関する質問をゲーム開始前に受ける煩わしさを、ユーザ5に与えずに済む。
ステップS1613において、プロセッサ210は、UIパネル1750の選択に用いられなかった仮想左手1521Lを、ユーザ5の非利き手に対応する仮想非利き手として特定する。これにより、図16に示す一連の処理が完了する。この後、プロセッサ210は、ユーザ5に対する第1仮想空間1711の提供を終了する。プロセッサ210は、さらに、戦闘ゲームを開始するための一連の処理を実行することによって、ユーザ5が戦闘ゲームをプレイする環境である第2仮想空間2011をユーザ5に提供する。
[戦闘ゲーム開始処理]
図19は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。図20は、ある実施の形態に従う第2仮想空間2011および視界画像2017を示す図である。本実施形態では、戦闘ゲームを開始するための一連の処理が、HMDセット110Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDセット110B,100Cにより実行されてもよいし、当該処理の一部または全部がサーバ600によって実行されてもよい。
ステップS1901において、プロセッサ210は、図20(A)に示すような第2仮想空間2011を定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210は、仮想空間データを特定することによって、仮想空間データによって表される第2仮想空間2011を定義する。第2仮想空間2011は第1仮想空間1711とは異なる仮想空間であり、かつ、戦闘ゲームの開始後にアバターオブジェクト6および敵オブジェクト1531が配置される仮想空間である。
ステップS1902において、プロセッサ210は、仮想カメラ14を生成し、第2仮想空間2011に配置する。ステップS1903において、プロセッサ210は、仮想右手1521Rおよび仮想左手1521Lを含むアバターオブジェクト6を生成し、第2仮想空間2011に配置する。ステップS1904において、プロセッサ210は、敵オブジェクト1531を生成し、第2仮想空間2011に配置する。
ステップS1905において、プロセッサ210は、仮想利き手に応じた銃オブジェクト1541を生成し、ステップS1612において仮想利き手として特定された仮想右手1521Rに関連付けて、第2仮想空間2011に配置する。より詳細には、プロセッサ210は、アバターオブジェクト6の仮想右手1521Rに銃オブジェクト1541を把持させる。ステップS1906において、プロセッサ210は、仮想非利き手に応じた剣オブジェクト1542を生成し、仮想左手1521Lに関連付けて第2仮想空間2011に配置する。より詳細には、プロセッサ210は、アバターオブジェクト6の仮想左手1521Lに剣オブジェクト1542を把持させる。
ステップS1907において、プロセッサ210は、仮想カメラ制御モジュール1422として、HMD120の動きに応じて第2仮想空間2011における仮想カメラ14の位置および傾きを決定する。この処理は、ステップS1605における処理と基本的に同一であるため、詳細な説明を繰り返さない。ステップS1908において、プロセッサ210は、視界画像17をモニタ130に出力する。この処理は、ステップS1606における処理と基本的に同一であるため、詳細な説明を繰り返さない。
図20(A)に示す第2仮想空間2011において、視界領域15の範囲内に、仮想右手1521R、仮想左手1521L、右コントローラ300R、銃オブジェクト1541、および剣オブジェクト1542が配置される。プロセッサ210は、例えば、図20(A)に示す第2仮想空間2011に対応する視界画像2017を、図20(B)に示すようにモニタ130に表示する。視界画像2017は、視界領域15の範囲内に配置される敵オブジェクト1531、仮想右手1521R、仮想左手1521L、銃オブジェクト1541、および剣オブジェクト1542をいずれも含む。ユーザ5は、視界画像2017を視認することによって、戦闘ゲームが開始されたことを認識する。ユーザ5は、さらに、仮想右手1521Rに銃オブジェクト1541が把持されているので、仮想右手1521Rを操作することによって、銃オブジェクト1541で敵オブジェクト1531を攻撃できることを認識する。ユーザ5は、さらに、仮想左手1521Lに剣オブジェクト1542が把持されているので、仮想左手1521Lを操作することによって、剣オブジェクト1542で敵オブジェクト1531を攻撃できることを認識する。
ユーザ5は、戦闘ゲームのプレイ中に、敵オブジェクト1531を攻撃するために右コントローラ300Rを操作する。プロセッサ210は、右コントローラ300Rの出力に基づいて、アバターオブジェクト6に銃オブジェクト1541を用いて敵オブジェクト1531を攻撃させる。これにより、ユーザ5は、あたかも自身の右手で銃オブジェクト1541を用いて敵オブジェクト1531を攻撃したかのような仮想体験を、得ることができる。戦闘ゲームのプレイ中に、ユーザ5は、敵オブジェクト1531を攻撃するために、左コントローラ300Lを操作する。プロセッサ210は、左コントローラ300Lの出力に基づいて、アバターオブジェクト6に剣オブジェクト1542を用いて敵オブジェクト1531を攻撃させる。これにより、ユーザ5は、あたかも自身の左手で剣オブジェクト1542を用いて敵オブジェクト1531を攻撃したかのような仮想体験を、得ることができる。
図20の例では、ユーザ5の利き手(右手)に対応する仮想右手1521Rに、剣オブジェクト1542よりも扱いが難しい銃オブジェクト1541が把持されている。さらに、ユーザ5の非利き手(左手)に対応する仮想左手1521Lに、銃オブジェクト1541よりも扱いが易しい剣オブジェクト1542が把持されている。ユーザ5は、利き手である右手を動かすことによって、銃オブジェクト1541を仮想右手1521Rで容易に扱うことができる。ユーザ5は、さらに、扱いが難しい銃オブジェクト1541で敵オブジェクト1531を攻撃するために、利き手ではない左手を動かす必要がないので、銃オブジェクト1541の扱いに困らずに済む。これらのことから、ユーザ5は、戦闘ゲームをより有利に進めることができる。
図21は、ある実施の形態に従う第1仮想空間1711および視界画像2117を示す図である。図21の例では、ユーザ5の利き手は左手である。ユーザ5は、左手を動かすことによって、仮想左手1521Lでペンオブジェクト1754を把持する。ユーザ5は、さらに、ペンオブジェクト1754の先端でUIパネル1750の選択肢1751を選択する。プロセッサ210は、選択肢1751が選択された場合、この選択に使用されたペンオブジェクト1754に、仮想左手1521Lが関連付けられることを特定する。この特定に基づいて、プロセッサ210は、仮想左手1521LによるUIパネル1750の選択を受け付ける。プロセッサ210は、例えば、図21(A)に示す第1仮想空間1711に対応する視界画像2117を、図21(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像2117を視認することによって、UIパネル1750の選択肢1751を選択したことを認識する。
プロセッサ210は、UIパネル1750の選択に用いられた仮想左手1521Lを、ユーザ5の利き手に対応する仮想利き手として特定する。これにより、プロセッサ210は、ユーザ5の利き手が左手であり、仮想左手1521Lがユーザ5の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ210は、さらに、UIパネル1750の選択に用いられなかった仮想右手1521Rを、ユーザ5の非利き手に対応する仮想非利き手として特定する。
図22は、ある実施の形態に従う第2仮想空間2011および視界画像2217を示す図である。UIパネル1750の選択肢1751が選択された後、プロセッサ210は、図22(A)に示す第2仮想空間2011を定義し、さらに、仮想カメラ14、アバターオブジェクト6、および敵オブジェクト1531を第2仮想空間2011に配置する。プロセッサ210は、さらに、仮想利き手に応じた銃オブジェクト1541を生成し、仮想利き手として特定された仮想左手1521Lに関連付けて第2仮想空間2011に配置する。より詳細には、プロセッサ210は、アバターオブジェクト6の仮想左手1521Lに銃オブジェクト1541に把持させる。プロセッサ210は、仮想非利き手に応じた剣オブジェクト1542を生成し、仮想非利き手として特定された仮想右手1521Rに関連付けて第2仮想空間2011に配置する。より詳細には、プロセッサ210は、アバターオブジェクト6の仮想右手1521Rに剣オブジェクト1542を把持させる。
図22(A)に示す第2仮想空間2011において、視界領域15の範囲内に、仮想右手1521R、仮想左手1521L、敵オブジェクト1531、銃オブジェクト1541、および剣オブジェクト1542が配置される。プロセッサ210は、例えば、図22(A)に示す第2仮想空間2011に対応する視界画像2217を、図22(B)に示すようにモニタ130に表示する。視界画像2217は、視界領域15の範囲内に配置される仮想右手1521R、仮想左手1521L、敵オブジェクト1531、銃オブジェクト1541、および剣オブジェクト1542をいずれも含む。ユーザ5は、視界画像2017を視認することによって、戦闘ゲームが開始されたことを認識する。ユーザ5は、仮想右手1521Rを操作することによって、剣オブジェクト1542で敵オブジェクト1531を攻撃できることを認識する。ユーザ5は、さらに、仮想左手1521Lを操作することによって、銃オブジェクト1541で敵オブジェクト1531を攻撃できることを認識する。
図22の例では、ユーザ5の利き手(左手)に対応する仮想左手1521Lに、銃オブジェクト1541が把持されている。さらに、ユーザ5の非利き手(左手)に対応する仮想右手1521Rに、剣オブジェクト1542が把持されている。ユーザ5は、利き手である左手を動かすことによって、銃オブジェクト1541を仮想左手1521Lで容易に扱うことができる。ユーザ5は、さらに、扱いが難しい銃オブジェクト1541で敵オブジェクト1531を攻撃するために、利き手ではない右手を動かす必要がないので、銃オブジェクト1541の扱いに困らずに済む。これらのことから、ユーザ5は、戦闘ゲームをより有利に進めることができる。
本実施形態において、プロセッサ210は、仮想利き手として仮想右手1521Rを特定した場合、仮想利き手の判定結果に応じた銃オブジェクト1541を、仮想右手1521Rに関連付けて第2仮想空間2011に配置する。一方、プロセッサ210は、仮想利き手として仮想左手1521Lを特定した場合、仮想利き手の判定結果に応じた銃オブジェクト1541を、仮想左手1521Lに関連付けて第2仮想空間2011に配置する。いずれの場合も、プロセッサ210は、仮想利き手の判定結果に応じた銃オブジェクト1541を、第2仮想空間2011におけるより適切な位置に配置することができる。
〔実施形態2〕
図23は、ある実施の形態に従うアバターオブジェクト6をその背面から示す図である。本実施形態では、プロセッサ210は、アバターオブジェクト6の身体の右側の一部に右領域2322R(第1領域)を設定し、アバターオブジェクト6の身体の左側の一部に左領域2322L(第2領域)を設定する。図23の例では、右領域2322Rはアバターオブジェクト6の右肩部分に設定され、左領域2322Lはアバターオブジェクト6の左肩部分に設定される。右領域2322Rおよび左領域2322Lは、いずれも、銃オブジェクト1541および剣オブジェクト1542のうちいずれかを関連付けることができる領域である。
図24は、ある実施の形態に従う第1仮想空間1711および視界画像2417を示す図である。図24の例では、右領域2322Rおよび左領域2322Lが設定されるアバターオブジェクト6が、第1仮想空間1711に配置される。ユーザ5の利き手は右手である。ユーザ5は、右手を動かすことによって、仮想右手1521Rでペンオブジェクト1753を把持する。ユーザ5は、さらに、ペンオブジェクト1753の先端でUIパネル1750の選択肢1752を選択する。プロセッサ210は、選択肢1752が選択された場合、この選択に使用されたペンオブジェクト1753に、仮想右手1521Rが関連付けられることを特定する。この特定に基づいて、プロセッサ210は、仮想右手1521RによるUIパネル1750の選択を受け付ける。プロセッサ210は、例えば、図24(A)に示す第1仮想空間1711に対応する視界画像2417を、図24(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像2417を視認することによって、UIパネル1750の選択肢1752を選択したことを認識する。
プロセッサ210は、UIパネル1750の選択に用いられた仮想右手1521Rを、ユーザ5の利き手に対応する仮想利き手として特定する。これにより、プロセッサ210は、ユーザ5の利き手が右手であり、仮想右手1521Rがユーザ5の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ210は、さらに、UIパネル1750の選択に用いられなかった仮想左手1521Lを、ユーザ5の非利き手に対応する仮想非利き手として特定する。
UIパネル1750の選択肢1752が選択された後、プロセッサ210は、ユーザ5に対する第1仮想空間1711の提供を終了する。プロセッサ210は、さらに、銃オブジェクト1541および剣オブジェクト1542をアバターオブジェクト6に関連付ける環境である第3仮想空間2611をユーザ5に提供する。詳細には、プロセッサ210は、図25に示す一連の処理を実行する。
[武器オブジェクト関連付け処理]
図25は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。図26は、ある実施の形態に従う第3仮想空間2611および視界画像2617を示す図である。本実施形態では、銃オブジェクト1541および剣オブジェクト1542をアバターオブジェクト6に関連付けるための一連の処理が、HMDセット110Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDセット110B,100Cにより実行されてもよいし、当該処理の一部または全部がサーバ600によって実行されてもよい。
ステップS2501において、プロセッサ210は、図26(A)に示すような第3仮想空間2611を定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210は、仮想空間データを特定することによって、仮想空間データによって表される第3仮想空間2611を定義する。第3仮想空間2611は第1仮想空間1711および第2仮想空間2011とは異なる仮想空間であり、かつ、戦闘ゲームの開始前にアバターオブジェクト6が配置されるさらに別の仮想空間である。
ステップS2502において、プロセッサ210は、仮想カメラ14を生成し、第3仮想空間2611に配置する。ステップS2503において、プロセッサ210は、仮想右手1521Rおよび仮想左手1521Lを含むアバターオブジェクト6を生成し、第3仮想空間2611に配置する。ステップS2504において、プロセッサ210は、UIボード2660(第2UIオブジェクト)を生成し、第3仮想空間2611に配置する。
UIボード2660はUIオブジェクトの一種であり、アバターオブジェクト6に銃オブジェクト1541および剣オブジェクト1542を関連付けるためにユーザ5によって用いられる。UIボード2660は、アバターモデル2661、右配置領域2662R(第1配置領域)、および左配置領域2662L(第2配置領域)を含む。アバターモデル2661は、UIボード2660の中央に描かれ、アバターオブジェクト6の背面を表すモデルである。アバターモデル2661の右肩部分に右配置領域2662Rが設定され、アバターモデル2661の左肩部分に左配置領域2662Lが設定される。右配置領域2662Rは、アバターオブジェクト6の右肩部分に設定される右領域2322Rに対応する。右配置領域2662Rは、右配置領域2662Rに配置された武器アイコンが示す武器オブジェクトをアバターオブジェクト6の右領域2322Rに関連付けるための領域である。左配置領域2662Lは、アバターオブジェクト6の左肩部分に設定される左領域2322Lに対応する。左配置領域2662Lは、左配置領域2662Lに配置された武器アイコンが示す武器オブジェクトをアバターオブジェクト6の左領域2322Lに関連付けるための領域である。
ステップS2505において、プロセッサ210は、仮想利き手に応じた銃アイコン2663(第1付加オブジェクト)を生成し、仮想利き手として特定された仮想右手1521Rから独立した状態で、第3仮想空間2611における仮想右手1521R側に配置する。これにより、銃アイコン2663はUIボード2660の左側(UIボード2660の正面に向かって右側)に、UIボード2660から一定距離を置いて配置される。銃アイコン2663は仮想オブジェクトの一種であり、銃オブジェクト1541(第1付随オブジェクト)を表すアイコンである。銃アイコン2663は、銃オブジェクト1541と同様に仮想利き手に対応する。ユーザ5は、仮想右手1521Rまたは仮想左手1521Lを用いて銃アイコン2663を把持したり、第3仮想空間2611において移動させたりすることができる。
ステップS2506において、プロセッサ210は、仮想非利き手に応じた剣アイコン2664(第2付加オブジェクト)を生成し、仮想非利き手として特定された仮想左手1521Lから独立した状態で、第3仮想空間2611における仮想左手1521L側に配置する。これにより、剣アイコン2664は、UIボード2660の右側(UIボード2660の正面に向かって左側)に、UIボード2660から一定距離を置いて配置される。剣アイコン2664は仮想オブジェクトの一種であり、剣オブジェクト1542(第2付随オブジェクト)を表すアイコンである。剣アイコン2664は、剣オブジェクト1542と同様に仮想非利き手に対応する。ユーザ5は、仮想右手1521Rまたは仮想左手1521Lを用いて剣アイコン2664を把持したり、第3仮想空間2611において移動させたりすることができる。
ステップS2507において、プロセッサ210は、仮想カメラ制御モジュール1422として、HMD120の動きに応じて第3仮想空間2611における仮想カメラ14の位置および傾きを決定する。この処理は、ステップS1605における処理と基本的に同一であるため、詳細な説明を繰り返さない。ステップS2508において、プロセッサ210は、視界画像17をモニタ130に出力する。この処理は、ステップS1606における処理と基本的に同一であるため、詳細な説明を繰り返さない。
図26(A)に示す第3仮想空間2611において、視界領域15の範囲内に、UIボード2660、銃アイコン2663、および剣アイコン2664が配置される。プロセッサ210は、例えば、図26(A)に示す第3仮想空間2611に対応する視界画像2617を、図26(B)に示すようにモニタ130に表示する。視界画像2617は、視界領域15の範囲内に配置されるUIボード2660、銃アイコン2663、および剣アイコン2664を含む。ユーザ5は、視界画像2617を視認することによって、戦闘ゲームにおいて使用可能な銃オブジェクト1541および剣オブジェクト1542をアバターオブジェクト6に関連付けるために、UIボード2660を用いる必要があることを認識する。
図27は、ある実施の形態に従う第3仮想空間2611および視界画像2717を示す図である。ユーザ5は、利き手である右手を動かすことによって、仮想右手1521Rで銃アイコン2663を把持する。ユーザ5は、右手をさらに動かすことによって、仮想右手1521Rに把持された銃アイコン2663を動かし、さらに、右配置領域2662Rに銃アイコン2663を配置させる。プロセッサ210は、右配置領域2662Rに銃アイコン2663が配置された場合、アバターオブジェクト6における右領域2322Rに、銃アイコン2663が示す銃オブジェクト1541を関連付ける。右領域2322Rに銃オブジェクト1541が関連付けられればよく、右領域2322Rに銃オブジェクト1541が実際に配置されるか否かはいずれでもよい。
プロセッサ210は、例えば、図27(A)に示す第3仮想空間2611に対応する視界画像2717を、図27(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像2417を視認することによって、UIボード2660における右配置領域2662Rに銃アイコン2663が配置されたことを認識する。
図示しないが、ユーザ5は、銃アイコン2663を右領域2322Rに配置した後、右手を動かすことによって、仮想右手1521Rで剣アイコン2664を把持する。ユーザ5は、右手をさらに動かすことによって、仮想右手1521Rに把持された剣アイコン2664を動かし、さらに、左配置領域2662Lに剣アイコン2664を配置させる。プロセッサ210は、左配置領域2662Lに剣アイコン2664が配置された場合、アバターオブジェクト6における左領域2322Lに、剣アイコン2664が示す剣オブジェクト1542を関連付ける。
アバターオブジェクト6に対する銃オブジェクト1541および剣オブジェクト1542の関連付けが完了した後、プロセッサ210は、ユーザ5に対する第3仮想空間2611の提供を終了する。プロセッサ210は、さらに、戦闘ゲームを開始させるための一連の処理を実行することによって、例えば、図28に示すような第2仮想空間2011を新たに定義する。
図28は、ある実施の形態に従う第2仮想空間2011および視界画像2817を示す図である。図28に示す第2仮想空間2011には、アバターオブジェクト6および敵オブジェクト1531が配置される。図20の例とは異なり、アバターオブジェクト6の仮想右手1521Rおよび仮想左手1521Lには銃オブジェクト1541または剣オブジェクト1542が予め関連付けられていない。その代わりに、アバターオブジェクト6における仮想左手1521Lおよび仮想右手1521R以外の箇所に、第3仮想空間2611における武器オブジェクトの設定に基づいて、銃オブジェクト1541および剣オブジェクト1542が関連付けられている。図28では、アバターオブジェクト6における右領域2322Rに銃オブジェクト1541が関連付けられ、アバターオブジェクト6の左領域2322Lに剣オブジェクト1542が関連付けられている。
図28(A)に示す第2仮想空間2011において、視界領域15の範囲内に、仮想右手1521R、仮想左手1521L、および敵オブジェクト1531が配置される。プロセッサ210は、例えば、図28(A)に示す第2仮想空間2011に対応する視界画像2817を、図28(B)に示すようにモニタ130に表示する。視界画像2817は、視界領域15の範囲内に配置される仮想右手1521R、仮想左手1521L、および敵オブジェクト1531を含むが、視界領域15の範囲外に配置される銃オブジェクト1541および剣オブジェクト1542は含まない。ユーザ5は、視界画像2817を視認することによって、戦闘ゲームが開始されたが、仮想右手1521Rおよび仮想左手1521Lが何の武器オブジェクトも把持していないので、このままでは敵オブジェクト1531を攻撃できないことを認識する。
図29は、ある実施の形態に従う第2仮想空間2011および視界画像2917を示す図である。図29(A)に示すように、ユーザ5は、右コントローラ300Rを把持した右手を、自身の右肩付近まで移動させる。プロセッサ210は、ユーザ5の右手の動きに応じて、仮想右手1521Rを、視界領域15の範囲外に位置するアバターオブジェクト6の右肩付近まで移動させる。
プロセッサ210は、例えば、図29(A)に示す第2仮想空間2011に対応する視界画像2917を、図29(B)に示すようにモニタ130に表示する。仮想右手1521Rが視界領域15の範囲内に配置されないので、視界画像2917には仮想右手1521Rが含まれない。
プロセッサ210は、仮想右手1521Rと、右領域2322Rに関連付けられる銃オブジェクト1541とが第1位置関係になった場合、仮想右手1521Rと銃オブジェクト1541との衝突を検出する。第1位置関係とは、例えば、仮想右手1521Rと銃オブジェクト1541との距離が第1距離を下回ることである。あるいは、仮想右手1521Rに設定されるコリジョンエリアと、銃オブジェクト1541に設定されるコリジョンエリアとが少なくとも部分的に衝突することである。プロセッサ210は、仮想右手1521Rと銃オブジェクト1541とが衝突した場合、右領域2322Rに対する銃オブジェクト1541の関連付けを解消する共に、アバターオブジェクト6の仮想右手1521Rに銃オブジェクト1541を把持させる。
図30は、ある実施の形態に従う第2仮想空間2011および視界画像3017を示す図である。図30(A)に示すように、ユーザ5は、仮想右手1521Rが銃オブジェクト1541を把持した後、右コントローラ300Rを把持した右手を、自身の視界内に移動させる。図30(A)に示すように、プロセッサ210は、ユーザ5の右手の動きに応じて、銃オブジェクト1541を把持した仮想右手1521Rを、仮想カメラ14の視界領域15の範囲内に移動させる。この結果、ユーザ5が右手を動かすことによって、仮想右手1521Rに把持された銃オブジェクト1541で敵オブジェクト1531を攻撃することが、可能になる。
プロセッサ210は、図30(A)に示す第2仮想空間2011に対応する視界画像3017を、図30(B)に示すようにモニタ130に表示する。銃オブジェクト1541を把持した仮想右手1521Rが配置されるため、視界画像3017は、仮想右手1521Rおよび銃オブジェクト1541を含む。ユーザ5は、視界画像3017を視認することによって、仮想右手1521Rに銃オブジェクト1541が把持されているので、仮想右手1521Rを操作することによって、銃オブジェクト1541で敵オブジェクト1531を攻撃できることを認識する。
図26の例では、第3仮想空間2611において、銃アイコン2663は、仮想右手1521Rおよび仮想左手1521Lのうち仮想右手1521Rの方により近い位置に配置される。これにより、ユーザ5が利き手(右手)に対応する仮想右手1521Rを操作して銃アイコン2663を把持するように、ユーザ5を自然に誘導することできる。銃アイコン2663は、さらに、UIボード2660における右配置領域2662Rおよび左配置領域2662Lのうち右配置領域2662Rの方により近い位置に配置される。これにより、ユーザ5が仮想右手1521Rを操作することによって銃アイコン2663をUIボード2660における右配置領域2662Rに配置するように、ユーザを自然に誘導することができる。これらの結果、仮想利き手に対応する銃オブジェクト1541が、アバターオブジェクト6における右肩部分(右領域2322R)に関連付けられる可能性を、高めることができる。
図28の例では、第2仮想空間2011において、仮想右手1521Rは、アバターオブジェクト6における右領域2322Rおよび左領域2322Lのうち右領域2322Rの方により近い方に位置する。これにより、ユーザ5が利き手(右手)を動かすことによって仮想右手1521Rをアバターオブジェクト6の右肩付近に近づけさせ、仮想右手1521Rに銃オブジェクト1541を把持させるように、ユーザ5を自然に誘導することができる。この結果、図30に示すように、ユーザ5が利き手(右手)用いて銃オブジェクト1541で敵オブジェクト1531を攻撃するように、ユーザ5を自然と誘導することができる。ユーザ5が仮想右手1521Rに銃オブジェクト1541を把持された場合、ユーザ5は、利き手である右手を動かすことによって、剣オブジェクト1542よりも扱いが難しい銃オブジェクト1541を容易に扱うことができる。したがって、ユーザ5は、戦闘ゲームをより有利に進めることができる。
図31は、ある実施の形態に従う第1仮想空間1711および視界画像3117を示す図である。図31の例では、右領域2322Rおよび左領域2322Lが設定されるアバターオブジェクト6が、第1仮想空間1711に配置される。ユーザ5の利き手は左手である。ユーザ5は、左手を動かすことによって、仮想左手1521Lでペンオブジェクト1754を把持し、さらに、ペンオブジェクト1754の先端でUIパネル1750の選択肢1752を選択する。プロセッサ210は、ペンオブジェクト1754で選択肢1752が選択されたことに基づいて、ペンオブジェクト1754を把持する仮想左手1521Lを、ユーザ5の利き手に対応する仮想利き手として特定する。これにより、プロセッサ210は、ユーザ5の利き手が左手であり、仮想左手1521Lがユーザ5の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ210は、さらに、UIパネル1750の選択に用いられなかった仮想右手1521Rを、ユーザ5の非利き手に対応する仮想非利き手として特定する。
プロセッサ210は、例えば、図31(A)に示す第1仮想空間1711に対応する視界画像3117を、図31(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像3117を視認することによって、UIパネル1750の選択肢1752を選択したことを認識する。
図32は、ある実施の形態に従う第3仮想空間2611および視界画像3217を示す図である。UIパネル1750の選択肢1752が選択された後、プロセッサ210は、図32(A)に示す第3仮想空間2611を定義し、さらに、仮想カメラ14、アバターオブジェクト6、およびUIボード2660を第3仮想空間2611に配置する。プロセッサ210は、さらに、仮想利き手に応じた銃アイコン2663を生成し、仮想利き手として特定された仮想左手1521Lから独立した状態で、第3仮想空間2611における仮想左手1521L側に配置する。これにより、銃アイコン2663はUIボード2660の右側(UIボード2660の正面に向かって左側)に、UIボード2660から一定距離を置いて配置される。プロセッサ210は、さらに、仮想非利き手に応じた剣アイコン2664を生成し、仮想非利き手として特定された仮想左手1521Lから独立した状態で、第3仮想空間2611における仮想左手1521L側に配置する。これにより、剣アイコン2664は、UIボード2660の左側(UIボード2660の正面に向かって右側)に、UIボード2660から一定距離を置いて配置される。
図32(A)に示す第3仮想空間2611において、視界領域15の範囲内に、UIボード2660、銃アイコン2663、および剣アイコン2664が配置される。プロセッサ210は、例えば、図32(A)に示す第3仮想空間2611に対応する視界画像3217を、図32(B)に示すようにモニタ130に表示する。視界画像3217は、視界領域15の範囲内に配置されるUIボード2660、銃アイコン2663、および剣アイコン2664を含む。ユーザ5は、視界画像3217を視認することによって、戦闘ゲームにおいて使用可能な銃オブジェクト1541および剣オブジェクト1542をアバターオブジェクト6に設定するために、UIボード2660を用いる必要があることを認識する。
図33は、ある実施の形態に従う第3仮想空間2611および視界画像3317を示す図である。ユーザ5は、利き手である左手を動かすことによって、仮想左手1521Lで銃アイコン2663を把持する。ユーザ5は、左手をさらに動かすことによって、仮想左手1521Lに把持された銃アイコン2663を動かし、さらに、左配置領域2662Lに銃アイコン2663を配置する。プロセッサ210は、仮想左手1521Lに銃アイコン2663が配置された場合、アバターオブジェクト6における仮想左手1521Lに、銃アイコン2663が示す銃オブジェクト1541を関連付ける。
プロセッサ210は、例えば、図33(A)に示す第3仮想空間2611に対応する視界画像3317を、図33(B)に示すようにモニタ130に表示する。ユーザ5は、視界画像3317を視認することによって、UIボード2660における左配置領域2662Lに銃アイコン2663が配置されたことを認識する。
図示しないが、ユーザ5は、銃アイコン2663を左配置領域2662Lに配置した後、左手を動かすことによって、仮想左手1521Lで剣アイコン2664を把持する。ユーザ5は、左手をさらに動かすことによって、仮想左手1521Lに把持された剣アイコン2664を動かし、さらに、右配置領域2662Rに剣オブジェクト1542を配置させる。プロセッサ210は、右配置領域2662Rに剣アイコン2664が配置された場合、アバターオブジェクト6における右領域2322Rに、剣アイコン2664が示す剣オブジェクト1542を関連付ける。
図32の例では、第3仮想空間2611において、銃アイコン2663は、仮想右手1521Rおよび仮想左手1521Lのうち仮想左手1521Lの方により近い位置に配置される。これにより、ユーザ5が利き手(左手)に対応する仮想左手1521Lを操作して銃アイコン2663を把持するように、ユーザ5を自然に誘導することできる。銃アイコン2663は、さらに、UIボード2660における右配置領域2662Rおよび左配置領域2662Lのうち左配置領域2662Lの方により近い位置に配置される。これにより、ユーザ5が仮想左手1521Lを操作することによって銃アイコン2663をUIボード2660における左配置領域2662Lに配置するように、ユーザを自然に誘導することができる。これらの結果、仮想利き手に対応する銃オブジェクト1541が、アバターオブジェクト6における左肩部分(左領域2322L)に関連付けられる可能性を、高めることができる。
銃オブジェクト1541および剣オブジェクト1542の関連付けが完了すると、戦闘ゲームが開始される。第2仮想空間2011において、アバターオブジェクト6における左領域2322Lに銃オブジェクト1541が関連付けられ、アバターオブジェクト6の右領域2322Rに剣オブジェクト1542が関連付けられている。ユーザ5は、左手を動かすことによって、仮想左手1521Lで銃オブジェクト1541を把持する。ユーザ5は、左手をさらに動かすことによって、仮想左手1521Lに把持された銃オブジェクト1541で敵オブジェクト1531を攻撃する。
このように、戦闘ゲームの開始後、ユーザ5が仮想左手1521Lで銃オブジェクト1541を把持するように、ユーザ5を自然に誘導することができる。ユーザ5が仮想左手1521Lに銃オブジェクト1541を把持した場合、ユーザ5は、利き手である左手を動かすことによって、剣オブジェクト1542よりも扱いが難しい銃オブジェクト1541を容易に扱うことができる。したがって、ユーザ5は、戦闘ゲームをより有利に進めることができる。
本実施形態において、プロセッサ210は、仮想利き手として仮想右手1521Rを特定した場合、仮想利き手の判定結果に応じた銃アイコン2663を、第3仮想空間2611における仮想右手1521R側に配置する。一方、プロセッサ210は、仮想利き手として仮想左手1521Lを特定した場合、仮想利き手の判定結果に応じた銃アイコン2663を、第3仮想空間2611における仮想左手1521L側に配置する。いずれの場合も、プロセッサ210は、仮想利き手の判定結果に応じた銃アイコン2663を、第3仮想空間2611における適切な位置に配置することができる。
本実施形態において、第1仮想空間1711および第3仮想空間2611は、同一の仮想空間であってもよい。言い換えると、プロセッサ210は、第1仮想空間1711にUIパネル1750およびUIボード2660を両方とも配置することができる。プロセッサ210は、例えば、UIボード2660をUIパネル1750の右側(UIパネル1750の正面に向かって左側)に配置する。プロセッサ210は、ユーザ5がUIボード2660を用いる前の任意の時点で、ユーザ5の右手の動きおよび左手の動きに基づいて、仮想右手1521Rおよび仮想左手1521Lのうち一方を、仮想利き手として事前に特定する。プロセッサ210は、さらに、仮想右手1521Rおよび仮想左手1521Lのうち他方を、仮想非利き手として事前に特定する。プロセッサ210は、仮想利き手の特定結果に応じた銃アイコン2663を、第1仮想空間1711におけるUIボード2660の左側(UIボード2660の正面に向かって右側)に配置する。プロセッサ210は、仮想非利き手に特定結果に応じた剣アイコン2664を、第1仮想空間1711におけるUIボード2660の右側(UIボード2660の正面に向かって左側)に配置する。プロセッサ210は、ユーザ5の頭部の動きに応じて仮想カメラ14の向きを変更する。これにより第1仮想空間1711における視界領域15の位置も変更される。視界領域15に新たにUIボード2660、および銃アイコン2663、および剣アイコン2664が含まれると、ユーザ5は、第1仮想空間1711においてUIボード2660の使用を開始することができる。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
第1仮想空間1711および第2仮想空間2011は、同一の仮想空間であってもよい。言い換えれば、プロセッサ210は、第1仮想空間1711において戦闘ゲームをユーザ5にプレイさせることもできる。
ユーザ5の身体の右側の一部を構成する第1部位は、右手に限らず、例えば右足でもよい。ユーザ5の身体の左側の一部を構成する第2部位は、左手に限らず、例えば右足でもよい。プロセッサ210は、ユーザ5の右足の動きを検出し、その動きに応じてアバターオブジェクト6の仮想右足を動かすことができる。仮想右足は操作オブジェクトの一種であり、ユーザ5の右足に対応する。プロセッサ210は、ユーザ5の左足の動きを検出し、その動きに応じてアバターオブジェクト6の仮想左足を動かすことができる。仮想左足は操作オブジェクトの一種であり、ユーザ5の左足に対応する。プロセッサ210は、ユーザ5の右足および左足の動きに基づいて、仮想右足および仮想左足のうち一方を、ユーザ5の利き足に対応する仮想利き足として特定する。プロセッサ210は、さらに、仮想右足および仮想左足のうち一方を、ユーザ5の非利き足に対応する仮想非利き足として特定する。
プロセッサ210は、ユーザ5の右足および左足の動きに基づいて、ユーザ5の利き足に対応する仮想利き足を特定することができる。プロセッサ210は、例えばUIパネル1750の選択肢1751が仮想右足で選択された場合、仮想右足を仮想利き足として特定する。プロセッサ210は、例えばUIパネル1750の選択肢1751が仮想左足で選択された場合、仮想左足を仮想利き足として特定する。プロセッサ210は、仮想利き足の特定結果に応じた付加オブジェクトを、第1仮想空間1711に配置する。プロセッサ210は、例えば仮想利き足として仮想右足を特定した場合、仮想足の能力を高めるゲームアイテムを生成し、仮想右足に関連付けて第1仮想空間1711に配置する。これにより、ゲーム中にユーザ5がよく使う仮想右足の能力が高められるので、ユーザ5はゲームを有利に進めることができる。
ユーザ5がUIパネル1750を選択するための右コントローラ300Rの操作には、右コントローラ300Rの位置を変更することに加えて、右コントローラ300Rの何れかのボタンを押下することが含まれても良い。プロセッサ210は、例えば、仮想レーザー光を照射するレーザーポインタオブジェクトを第1仮想空間1711に配置する。ユーザ5は、右手を動かすことによって、仮想レーザー光を照射中のレーザーポインタオブジェクトを、例えば仮想右手1521Rで把持する。ユーザ5は、さらに、右手を動かすことによって、仮想レーザー光がUIパネル1750の選択肢1751に照射される位置までに、レーザーポインタオブジェクトを把持した仮想左手1521Lを仮想空間11において動かす。ユーザ5は、さらに、仮想レーザー光がUIパネル1750の選択肢1751に照射される状態で、右コントローラ300Rのいずれかのボタンを押下する。プロセッサ210は、このボタン押下に基づいて、仮想右手1521RによるUIパネル1750の選択を検出する。プロセッサ210は、この検出に基づいて、仮想右手1521Rを仮想利き手として特定する。同様のことは、左コントローラ300Lの操作にも当てはまる。
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
(項目1) プログラムを説明した。本開示のある局面によれば、プログラムは、ユーザに仮想体験を提供するために、プロセッサ210を備えたコンピュータ200によって実行される。プログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間(第1仮想空間1711)を定義するステップ(S1601)と、仮想空間に第1操作オブジェクト(仮想右手1521R)および第2操作オブジェクト(仮想左手1521L)を配置するステップ(S1603)と、ユーザの身体の右側の一部を構成する第1部位の動きを検出するステップ(S1607)と、ユーザの身体の左側の一部を構成する第2部位の動きを検出するステップ(S1608)と、第1部位の動きに応じて、第1操作オブジェクトを動かすステップと、第2部位の動きに応じて、第2操作オブジェクトを動かすステップと、第1部位の動きおよび第2部位の動きに応じて、第1操作オブジェクトおよび第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップ(S1612)と、利き操作オブジェクトの特定結果に応じた付加オブジェクト(銃オブジェクト1541、剣オブジェクト1542)を、仮想空間(第2仮想空間2011)に配置するステップ(S1905、S1906)とを実行させる。
(項目2) (項目1)において、プログラムは、プロセッサに、仮想空間にUIパネル1750を配置するステップと、第1部位の動きまたは第2部位の動きに基づいて、第1操作オブジェクトまたは第2操作オブジェクトによるUIオブジェクトの選択を受け付けるステップとをさらに実行させ、特定するステップにおいて、第1操作オブジェクトおよび第2操作オブジェクトのうちUIオブジェクトの選択に使用された操作オブジェクトを、利き操作オブジェクトとして特定する。
(項目3) (項目1)または(項目2)において、付加オブジェクトを配置するステップにおいて、利き操作オブジェクトに応じた第1付加オブジェクトを、利き操作オブジェクトに関連付けて仮想空間に配置する。
(項目4) (項目3)において、特定するステップにおいて、第1操作オブジェクトおよび第2操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、付加オブジェクトを配置するステップにおいて、非利き操作オブジェクトに応じた第2付加オブジェクトを、非利き操作オブジェクトに関連付けて仮想空間に配置する。
(項目5) (項目1)または(項目2)において、付加オブジェクトを配置するステップにおいて、利き操作オブジェクトに応じた第1付加オブジェクトを、仮想空間(第3仮想空間2611)における利き操作オブジェクト側の位置に、利き操作オブジェクトから独立した状態で配置する。
(項目6) (項目5)において、特定するステップにおいて、第1操作オブジェクトおよび第2操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、付加オブジェクトを配置するステップにおいて、非利き操作オブジェクトに応じた第2付加オブジェクトを、仮想空間における非利き操作オブジェクト側の位置に、非利き操作オブジェクトから独立した状態で配置する。
(項目7) (項目5)または(項目6)において、プログラムは、プロセッサに、仮想空間(第3仮想空間2611)にアバターオブジェクト6を配置するステップ(S)と、仮想空間に、アバターオブジェクトの身体の右側の一部に設定される第1領域に対応する第1配置領域と、アバターオブジェクトの身体の左側の一部に設定される第2領域に対応する第2配置領域とを含む第2UIオブジェクトを配置するステップと、第1部位または第2部位の動きに基づいて、第1操作オブジェクトまたは第2操作オブジェクトによって第1付加オブジェクトを動かし、さらに、第1付加オブジェクトを第1配置領域または第2配置領域に配置するステップと、第1配置領域に第1付加オブジェクトが配置された場合、アバターオブジェクトにおける第1領域に、第1付加オブジェクトが示す第1付随オブジェクトを関連付けるステップと、第2配置領域に第1付加オブジェクトが配置された場合、アバターオブジェクトにおける第2領域に、第1付加オブジェクトが示す第1付随オブジェクトを関連付けるステップとをさらに実行させる。
(項目8) (項目1)〜(項目7)のいずれにおいて、第1部位の動きを検出するステップにおいて、第1部位に関連付けられた第1コントローラ(右コントローラ300R)の出力に基づいて、第1部位の動きを検出し、第2部位の動きを検出するステップにおいて、第2部位に関連付けられた第2コントローラ(左コントローラ300L)の出力に基づいて、第2部位の動きを検出する。
(項目9) (項目1)〜(項目8)のいずれにおいて、プログラムは、プロセッサに、ユーザの頭部の姿勢と仮想空間における仮想視点の位置とに応じて、仮想空間における仮想視点からの視界(視界領域15)を制御するステップと、仮想視点からの視界に対応する視界画像17を定義するステップと、ユーザの頭部に関連付けられた画像表示装置(HMD120)に視界画像1517を出力するステップとをさらに実行させる。
(項目10) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(コンピュータ200)は、ユーザの頭部に関連付けられた画像表示装置(HMD120)と、情報処理装置によって実行されるプログラムを記憶する記憶部(ストレージ230)と、情報処理装置の動作を制御する制御部(プロセッサ210)と、を備えている。制御部は、仮想体験をユーザに提供するための仮想空間(第1仮想空間1711)を定義し、仮想空間に第1操作オブジェクト(仮想右手1521R)および第2操作オブジェクト(仮想左手1521L)を配置し、ユーザの身体の右側の一部を構成する第1部位の動きを検出し、ユーザの身体の左側の一部を構成する第2部位の動きを検出し、第1部位の動きに応じて、第1操作オブジェクトを動かし、第2部位の動きに応じて、第2操作オブジェクトを動かし、第1部位の動きおよび第2部位の動きに応じて、第1操作オブジェクトおよび第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定し、利き操作オブジェクトの特定結果に応じた付加オブジェクト(銃オブジェクト1541、剣オブジェクト1542)を、仮想空間(第2仮想空間2011)に配置する。
(項目11) プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、ユーザ5の頭部に関連付けられた画像表示装置(HMD120)を介して仮想体験をユーザに提供するために、プロセッサ210を備えたコンピュータ200によって実行される。プログラムは、プロセッサが、仮想体験をユーザに提供するための仮想空間(第1仮想空間1711)を定義するステップ(S1601)と、仮想空間に第1操作オブジェクト(仮想右手1521R)および第2操作オブジェクト(仮想左手1521L)を配置するステップ(S1603)と、ユーザの身体の右側の一部を構成する第1部位の動きを検出するステップ(S1607)と、ユーザの身体の左側の一部を構成する第2部位の動きを検出するステップ(S1608)と、第1部位の動きに応じて、第1操作オブジェクトを動かすステップと、第2部位の動きに応じて、第2操作オブジェクトを動かすステップと、第1部位の動きおよび第2部位の動きに応じて、第1操作オブジェクトおよび第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップ(S1612)と、利き操作オブジェクトの特定結果に応じた付加オブジェクト(銃オブジェクト1541、剣オブジェクト1542)を、仮想空間(第2仮想空間2011)に配置するステップ(S1905、S1906)と、を含む。
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
2 ネットワーク、11,11A,11B,11C 仮想空間、5,5A,5B,5C、5D ユーザ、6A,6B,6C アバターオブジェクト、11 仮想空間、12 中心、13 パノラマ画像、14,14A 仮想カメラ、15 視界領域、16 基準視線、17,17A 視界画像、18,19 領域、100 HMDシステム、110,110A,110B,110C,110D HMDセット、120,120A,120B,HMD、130,130A モニタ、140,140 注視センサ、150 第1カメラ、160 第2カメラ、170,170A マイク、180,180A,180B スピーカ、190 センサ、200,200A,200B コンピュータ、210,210A、210B,210C,610 プロセッサ、220,620 メモリ、230,630 ストレージ、240,640 入出力インターフェイス、250,650 通信インターフェイス、260,660 バス、300,300B コントローラ、300R 右コントローラ、310 グリップ、320 フレーム、330 天面、340,340,350,370,380 ボタン、360 赤外線LED、390 アナログスティック、410 HMDセンサ、420,420A モーションセンサ、430 ディスプレイ、510 コントロールモジュール、520 レンダリングモジュール、530 メモリモジュール、540 通信制御モジュール、600 サーバ、700 外部機器、1421 仮想オブジェクト生成モジュール、1422 仮想カメラ制御モジュール、1423 操作オブジェクト制御モジュール、1424 衝突検出モジュール、1425 仮想利き手特定モジュール、1717,1817,2017,2117,2217,2417,2617,2717,2817,2917,3017,3117,3217,3317 視界画像、1521L 仮想左手、1521R 仮想右手、1531 敵オブジェクト、1541 銃オブジェクト、1542 剣オブジェクト、1711 第1仮想空間、1750 UIパネル、1751,1752 選択肢、1753,1754 ペンオブジェクト、2011 第2仮想空間、2322L 左領域、2322R 右領域、2611 第3仮想空間、2660 UIボード、2661 アバターモデル、2662L 左配置領域、2662R 右配置領域、2663 銃アイコン、2664 剣アイコン

Claims (10)

  1. ユーザに仮想体験を提供するために、プロセッサを備えたコンピュータによって実行されるプログラムであって、
    前記プログラムは、前記プロセッサに、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
    前記仮想空間に第1操作オブジェクトおよび第2操作オブジェクトを配置するステップと、
    前記ユーザの身体の右側の一部を構成する第1部位の動きを検出するステップと、
    前記ユーザの身体の左側の一部を構成する第2部位の動きを検出するステップと、
    前記第1部位の動きに応じて、前記第1操作オブジェクトを動かすステップと、
    前記第2部位の動きに応じて、前記第2操作オブジェクトを動かすステップと、
    前記第1部位の動きおよび前記第2部位の動きに応じて、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、
    前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置するステップと
    前記仮想空間にUIオブジェクトを配置するステップと、
    前記第1部位の動きまたは前記第2部位の動きに基づいて、前記第1操作オブジェクトまたは第2操作オブジェクトによる前記UIオブジェクトの選択を受け付けるステップとを実行させ、
    前記特定するステップにおいて、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち前記UIオブジェクトの選択に使用された操作オブジェクトを、前記利き操作オブジェクトとして特定する、プログラム。
  2. 前記付加オブジェクトを配置するステップにおいて、前記利き操作オブジェクトに応じた第1付加オブジェクトを、前記利き操作オブジェクトに関連付けて前記仮想空間に配置する、請求項に記載のプログラム。
  3. 前記特定するステップにおいて、前記第1操作オブジェクトおよび第2操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、
    前記付加オブジェクトを配置するステップにおいて、前記非利き操作オブジェクトに応じた第2付加オブジェクトを、前記非利き操作オブジェクトに関連付けて前記仮想空間に配置する、請求項に記載のプログラム。
  4. 前記付加オブジェクトを配置するステップにおいて、前記利き操作オブジェクトに応じた第1付加オブジェクトを、前記仮想空間における前記利き操作オブジェクト側の位置に、前記利き操作オブジェクトから独立した状態で配置する、請求項に記載のプログラム。
  5. 前記特定するステップにおいて、前記第1操作オブジェクトおよび第2操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、
    前記付加オブジェクトを配置するステップにおいて、前記非利き操作オブジェクトに応じた第2付加オブジェクトを、前記仮想空間における前記非利き操作オブジェクト側の位置に、前記非利き操作オブジェクトから独立した状態で配置する請求項に記載のプログラム。
  6. 前記プログラムは、前記プロセッサに、
    前記仮想空間にアバターオブジェクトを配置するステップと、
    前記仮想空間に、前記アバターオブジェクトの身体の右側の一部に設定される第1領域に対応する第1配置領域と、前記アバターオブジェクトの身体の左側の一部に設定される第2領域に対応する第2配置領域とを含む第2UIオブジェクトを配置するステップと、
    前記第1部位または前記第2部位の動きに基づいて、前記第1操作オブジェクトまたは前記第2操作オブジェクトによって前記第1付加オブジェクトを動かし、さらに、前記第1付加オブジェクトを前記第1配置領域または前記第2配置領域に配置するステップと、
    前記第1配置領域に前記第1付加オブジェクトが配置された場合、前記アバターオブジェクトにおける第1領域に、前記第1付加オブジェクトが示す第1付随オブジェクトを関連付けるステップと、
    前記第2配置領域に前記第1付加オブジェクトが配置された場合、前記アバターオブジェクトにおける第2領域に、前記第1付加オブジェクトが示す第1付随オブジェクトを関連付けるステップとをさらに実行させる、請求項4または5に記載のプログラム。
  7. 前記第1部位の動きを検出するステップにおいて、前記第1部位に関連付けられた第1コントローラの出力に基づいて、前記第1部位の動きを検出し、
    前記第2部位の動きを検出するステップにおいて、前記第2部位に関連付けられた第2コントローラの出力に基づいて、前記第2部位の動きを検出する、請求項1〜6のいずれか1項に記載のプログラム。
  8. 前記プログラムは、前記プロセッサに、
    前記ユーザの頭部の姿勢と前記仮想空間における仮想視点の位置とに応じて、前記仮想空間における前記仮想視点からの視界を制御するステップと、
    前記仮想視点からの前記視界に対応する視界画像を定義するステップと、
    前記ユーザの頭部に関連付けられた画像表示装置に前記視界画像を出力するステップとをさらに実行させる、請求項1〜7のいずれか1項に記載のプログラム。
  9. 情報処理装置であって、
    前記情報処理装置は、
    ユーザの頭部に関連付けられた画像表示装置と、
    前記画像表示装置を介して仮想体験を前記ユーザに提供するために、プロセッサを備えたコンピュータによって実行されるプログラムを記憶する記憶部と、
    前記情報処理装置の動作を制御する制御部と、を備え、
    前記制御部は、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義し、
    前記仮想空間に第1操作オブジェクトおよび第2操作オブジェクトを配置し、
    前記ユーザの身体の右側の一部を構成する第1部位の動きを検出し、
    前記ユーザの身体の左側の一部を構成する第2部位の動きを検出し、
    前記第1部位の動きに応じて、前記第1操作オブジェクトを動かし、
    前記第2部位の動きに応じて、前記第2操作オブジェクトを動かし、
    前記第1部位の動きおよび前記第2部位の動きに応じて、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定し、
    前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置し、
    前記仮想空間にUIオブジェクトを配置し、
    前記第1部位の動きまたは前記第2部位の動きに基づいて、前記第1操作オブジェクトまたは第2操作オブジェクトによる前記UIオブジェクトの選択を受け付け、
    前記特定する際、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち前記UIオブジェクトの選択に使用された操作オブジェクトを、前記利き操作オブジェクトとして特定する、情報処理装置。
  10. ユーザの頭部に関連付けられた画像表示装置を介して仮想体験を前記ユーザに提供するために、プロセッサを備えたコンピュータがプログラムを実行する方法であって、
    前記方法は、前記プロセッサが、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
    前記仮想空間に第1操作オブジェクトおよび第2操作オブジェクトを配置するステップと、
    前記ユーザの身体の右側の一部を構成する第1部位の動きを検出するステップと、
    前記ユーザの身体の左側の一部を構成する第2部位の動きを検出するステップと、
    前記第1部位の動きに応じて、前記第1操作オブジェクトを動かすステップと、
    前記第2部位の動きに応じて、前記第2操作オブジェクトを動かすステップと、
    前記第1部位の動きおよび前記第2部位の動きに応じて、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、
    前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置するステップと
    前記仮想空間にUIオブジェクトを配置するステップと、
    前記第1部位の動きまたは前記第2部位の動きに基づいて、前記第1操作オブジェクトまたは第2操作オブジェクトによる前記UIオブジェクトの選択を受け付けるステップと、を含み、
    前記特定するステップにおいて、前記第1操作オブジェクトおよび前記第2操作オブジェクトのうち前記UIオブジェクトの選択に使用された操作オブジェクトを、前記利き操作オブジェクトとして特定する、方法。
JP2018029840A 2018-02-22 2018-02-22 プログラム、情報処理装置、および方法 Active JP6458179B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018029840A JP6458179B1 (ja) 2018-02-22 2018-02-22 プログラム、情報処理装置、および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018029840A JP6458179B1 (ja) 2018-02-22 2018-02-22 プログラム、情報処理装置、および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018239645A Division JP2019145084A (ja) 2018-12-21 2018-12-21 プログラム、情報処理装置、および方法

Publications (2)

Publication Number Publication Date
JP6458179B1 true JP6458179B1 (ja) 2019-01-23
JP2019144942A JP2019144942A (ja) 2019-08-29

Family

ID=65037004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018029840A Active JP6458179B1 (ja) 2018-02-22 2018-02-22 プログラム、情報処理装置、および方法

Country Status (1)

Country Link
JP (1) JP6458179B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989811B2 (en) 2021-10-29 2024-05-21 Gree, Inc. Information processing system, information processing method, and computer program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296199A (ja) * 2006-05-01 2007-11-15 Square Enix Co Ltd ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
JP2011215920A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2012236095A (ja) * 2012-09-11 2012-12-06 Sega Corp ゲーム装置、コントローラ、プログラム及び記録媒体
JP2015502816A (ja) * 2011-12-05 2015-01-29 レッドダック インコーポレーテッドREDDUCK Inc. オンライン一人称シューティングゲームでのデュアルモード武器提供システム、方法およびコンピューターで読み込める記録媒体
JP6220937B1 (ja) * 2016-08-26 2017-10-25 株式会社コロプラ 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296199A (ja) * 2006-05-01 2007-11-15 Square Enix Co Ltd ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
JP2011215920A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2015502816A (ja) * 2011-12-05 2015-01-29 レッドダック インコーポレーテッドREDDUCK Inc. オンライン一人称シューティングゲームでのデュアルモード武器提供システム、方法およびコンピューターで読み込める記録媒体
JP2012236095A (ja) * 2012-09-11 2012-12-06 Sega Corp ゲーム装置、コントローラ、プログラム及び記録媒体
JP6220937B1 (ja) * 2016-08-26 2017-10-25 株式会社コロプラ 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ

Also Published As

Publication number Publication date
JP2019144942A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20180357817A1 (en) Information processing method, program, and computer
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US20180348987A1 (en) Method executed on computer for providing virtual space, program and information processing apparatus therefor
JP6201028B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6479933B1 (ja) プログラム、情報処理装置、および方法
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019133309A (ja) プログラム、情報処理装置、及び情報処理方法
JP6457446B2 (ja) 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP2020161168A (ja) プログラム、情報処理方法及び情報処理装置
JP7192151B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP6458179B1 (ja) プログラム、情報処理装置、および方法
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019020836A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019155115A (ja) プログラム、情報処理装置、及び情報処理方法
JP6441517B1 (ja) プログラム、情報処理装置、および方法
JP2019016358A (ja) 情報処理方法、プログラム及びコンピュータ
JP2019145084A (ja) プログラム、情報処理装置、および方法
JP7145177B2 (ja) プログラム、方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180702

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181221

R150 Certificate of patent or registration of utility model

Ref document number: 6458179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250