JP2019144942A - Program, information processing device, and method - Google Patents
Program, information processing device, and method Download PDFInfo
- Publication number
- JP2019144942A JP2019144942A JP2018029840A JP2018029840A JP2019144942A JP 2019144942 A JP2019144942 A JP 2019144942A JP 2018029840 A JP2018029840 A JP 2018029840A JP 2018029840 A JP2018029840 A JP 2018029840A JP 2019144942 A JP2019144942 A JP 2019144942A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- user
- virtual space
- operation object
- dominant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、プログラム、情報処理装置、および方法に関する。 The present invention relates to a program, an information processing apparatus, and a method.
非特許文献１に、仮想空間においてユーザが敵キャラクタと戦うゲームの一例が開示されている。 Non-Patent Document 1 discloses an example of a game in which a user fights an enemy character in a virtual space.
従来の技術には、仮想オブジェクトを仮想空間におけるより適切な位置に配置することができる余地がある。 The conventional technology has a room for arranging the virtual object at a more appropriate position in the virtual space.
本開示の一態様は、仮想オブジェクトを仮想空間におけるより適切な位置に配置することを目的とする。 An object of one aspect of the present disclosure is to arrange a virtual object at a more appropriate position in a virtual space.
本発明の一態様によれば、ユーザの頭部に関連付けられた画像表示装置を介して仮想体験をユーザに提供するために、プロセッサを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間を定義するステップと、仮想空間に第１操作オブジェクトおよび第２操作オブジェクトを配置するステップと、ユーザの身体の右側の一部を構成する第１部位の動きを検出するステップと、ユーザの身体の左側の一部を構成する第２部位の動きを検出するステップと、第１部位の動きに応じて、第１操作オブジェクトを動かすステップと、第２部位の動きに応じて、第２操作オブジェクトを動かすステップと、第１部位の動きおよび第２部位の動きに応じて、第１操作オブジェクトおよび第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、利き操作オブジェクトの特定結果に応じた付加オブジェクトを、仮想空間に配置するステップとを実行させる。 According to one aspect of the present invention, a program executed by a computer with a processor is provided for providing a virtual experience to a user via an image display device associated with the user's head. The program includes: defining a virtual space in the processor for providing a virtual experience to the user; placing a first operation object and a second operation object in the virtual space; The step of detecting the movement of the first part constituting, the step of detecting the movement of the second part constituting a part of the left side of the user's body, and the movement of the first operation object according to the movement of the first part One of the first operation object and the second operation object according to the step, the step of moving the second operation object according to the movement of the second part, and the movement of the first part and the movement of the second part, Step to identify as a dominant operation object corresponding to the user's dominant part, and additional objects according to the identification result of the dominant operation object , And a step of disposing the virtual space.
本開示の一態様によれば、仮想オブジェクトを仮想空間におけるより適切な位置に配置することができる。 According to one aspect of the present disclosure, a virtual object can be arranged at a more appropriate position in the virtual space.
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。 Hereinafter, embodiments of the technical idea will be described in detail with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. In one or more embodiments shown in the present disclosure, elements included in each embodiment can be combined with each other, and the combined result is also part of the embodiments shown in the present disclosure.
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
A configuration of an HMD (Head-Mounted Device)
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
The
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
In one aspect, the
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 may be worn on the head of the
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
The
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
In one aspect, the
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
In another aspect, the
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
In another aspect, the
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
The
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
The
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
The
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
In a certain aspect, the
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
The
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
[Computer hardware configuration]
A
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
The
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
The
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
The input /
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain aspects, the input /
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
The
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
In one aspect, the
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
In the example shown in FIG. 2, a configuration in which the
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
In an embodiment, in the
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
In one aspect,
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing the uvw visual field coordinate system set in
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
As shown in FIG. 3, the
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
In a certain situation, when the
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
After the uvw visual field coordinate system is set to the
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
The
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
In one aspect, the
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
In one aspect, the
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
When the
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
As with the
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
The
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
The line of sight of the
［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。
[User's line of sight]
The determination of the line of sight of the
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
In one aspect, the
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
When the
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
[Visibility area]
The field-of-
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
As shown in FIG. 6, the field-of-
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
As shown in FIG. 7, the field-of-
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭部に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
Thus, the inclination of the
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
While wearing the
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
In one aspect, the
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect, the
［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。
[controller]
An example of the
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
As shown in FIG. 8, in one aspect, the
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
The
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
The
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
The
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
In one aspect, the
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the state (A) and the state (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of the
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
[Hardware configuration of server]
A
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
The
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
The
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
The
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
The input /
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
The
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
In one aspect, the
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
[HMD control device]
With reference to FIG. 10, the control apparatus of HMD120 is demonstrated. In one embodiment, the control device is realized by a
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
As shown in FIG. 10, the
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
The
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
The
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
The
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭部の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In one aspect, the
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
When the
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
The spatial information holds one or more templates defined for providing the
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
Data and programs stored in the
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, the
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
Processing in the
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart showing a part of processing executed in HMD set 110 according to an embodiment.
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
As shown in FIG. 11, in step S <b> 1110, the
ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
In step S1120,
ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1130,
ステップＳ１１３２にて、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
In step S1132, the
ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
In step S <b> 1134,
ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
In step S1140,
ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
In step S1150,
ステップＳ１１６０にて、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160,
ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
In step S <b> 1170,
ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1180,
ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
In step S1190, the
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
[Avatar object]
With reference to FIGS. 12A and 12B, an avatar object according to the present embodiment will be described. Hereinafter, it is a figure explaining the avatar object of each
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
FIG. 12A is a schematic diagram illustrating a situation where each
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
In one aspect, the processor 210A may place the virtual camera 14A that captures the
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
FIG. 12B is a diagram illustrating a field-of-
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
In the state of FIG. 12 (B), the user 5A can communicate with the user 5B through the
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
The operation of the user 5B (the operation of the
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
FIG. 13 is a sequence chart showing a part of processing executed in
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the operation of the
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires avatar information for determining the operation of the
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320,
続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
Subsequently, based on the avatar information transmitted from the
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates information on the avatar objects 6B and avatar objects 6C of the other users 5B and 5C in the
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A and 6C of the users 5A and 5C in the
〔実施形態１〕
［モジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表わすブロック図である。図１４に示されるように、コントロールモジュール５１０は、仮想オブジェクト生成モジュール１４２１、仮想カメラ制御モジュール１４２２、操作オブジェクト制御モジュール１４２３、衝突検出モジュール１４２４、および仮想利き手特定モジュール１４２５を備えている。
Embodiment 1
[Detailed module configuration]
Details of the module configuration of the
仮想オブジェクト生成モジュール１４２１は、各種の仮想オブジェクトを仮想空間１１に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、ＵＩ（User Interface）オブジェクト、敵オブジェクト、および武器オブジェクトを含み得る。
The virtual
仮想カメラ制御モジュール１４２２は、仮想空間１１における仮想カメラ１４の挙動を制御する。仮想カメラ制御モジュール１４２２は、例えば、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）とを制御する。
The virtual
操作オブジェクト制御モジュール１４２３は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを制御する。ユーザ５は、操作オブジェクトを操作することによって、例えば、仮想空間１１に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザ５の手に相当する手オブジェクト（仮想手）等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The operation
衝突検出モジュール１４２４は、仮想空間１１に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール１４２４は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール１４２４は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール１４２４は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール１４２４は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。コントロールモジュール５１０は、これらの検出結果に基づいて、予め定められた処理を実行する。
The
仮想利き手特定モジュール１４２５は、ユーザ５の右手の動きおよび左手の動きに基づいて、アバターオブジェクトの仮想右手および仮想左手のうち一方を、ユーザ５の利き手に対応する仮想利き手（利き操作オブジェクト）として特定する。仮想利き手特定モジュール１４２５は、仮想右手および仮想左手のうち他方を、ユーザ５の非利き手に対応する仮想非利き手（非利き操作オブジェクト）として特定する。仮想非利き手とは、仮想利き手の反対の仮想手のことである。仮想利き手特定モジュール１４２５は、仮想右手を仮想利き手として特定した場合、仮想左手を仮想非利き手として特定する。これとは逆に、仮想利き手特定モジュール１４２５は、仮想左手を仮想利き手として特定した場合、仮想右手を仮想非利き手として特定する。
The virtual dominant
図１５は、ある実施の形態に従う仮想空間１１および視界画像１５１７を示す図である。図１５（Ａ）では、ユーザ５に仮想体験を提供するための仮想空間１１に、アバターオブジェクト６、仮想カメラ１４、敵オブジェクト１５３１、銃オブジェクト１５４１（第１付加オブジェクト）、および剣オブジェクト１５４２（第２付加オブジェクト）が配置される。ユーザ５は、頭部にＨＭＤ１２０を装着している。ユーザ５は、ユーザ５の身体の右側の一部を構成する右手（第１部位）で右コントローラ３００Ｒを把持し、ユーザ５の身体の左側の一部を構成する左手（第１部位）で左コントローラ３００Ｌを把持している。アバターオブジェクト６は、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌを含む。仮想右手１５２１Ｒは操作オブジェクトの一種であり、ユーザ５の右手の動きに応じて仮想空間１１において動くことができる。仮想左手１５２１Ｌは操作オブジェクトの一種であり、ユーザ５の左手の動きに応じて仮想空間１１において動くことができる。
FIG. 15 shows
敵オブジェクト１５３１は仮想オブジェクトの一種であり、仮想空間１１における規定の位置に配置され、プロセッサ２１０による自動的な制御に基づいて、仮想空間１１内を移動したり、アバターオブジェクト６を攻撃したりする。銃オブジェクト１５４１は仮想オブジェクトの一種であり、仮想右手１５２１Ｒに関連付けられている。言い換えれば、アバターオブジェクト６は、仮想右手１５２１Ｒで銃オブジェクト１５４１を把持している。剣オブジェクト１５４２は仮想オブジェクトの一種であり、仮想左手１５２１Ｌに関連付けられている。言い換えれば、アバターオブジェクト６は、仮想左手１５２１Ｌで剣オブジェクト１５４２を把持している。銃オブジェクト１５４１および剣オブジェクト１５４２は、アバターオブジェクト６が敵オブジェクト１５３１を攻撃するために使用することができる武器オブジェクトの一種である。
The
図１５（Ａ）に示す仮想空間１１は、コンピュータ２００においてゲームコンテンツが再生されることによって、構築される。このゲームコンテンツに対応するゲームは、例えば、アバターオブジェクト６と敵オブジェクト１５３１とが戦闘することによって、進行する。アバターオブジェクト６は、ユーザ５の右手の動きに基づいて、仮想右手１５２１Ｒで銃オブジェクト１５４１を用いて敵オブジェクト１５３１を攻撃する。アバターオブジェクト６は、ユーザ５の左手の動きに基づいて、仮想左手１５２１Ｌで剣オブジェクト１５４２を用いて敵オブジェクト１５３１を攻撃する。敵オブジェクト１５３１は、プロセッサ２１０による制御に基づいて、仮想空間１１内を移動してアバターオブジェクト６に近づいたり、アバターオブジェクト６を攻撃したりする。
The
ある局面において、銃オブジェクト１５４１は、ユーザ５の利き手に対応する仮想利き手に応じた武器オブジェクトであり、剣オブジェクト１５４２は、ユーザ５の非利き手に対応する仮想非利き手に応じた武器オブジェクトである。これらの対応関係は、武器オブジェクトの扱い難さに基づいている。図１５では、ユーザ５は、銃オブジェクト１５４１を用いて敵オブジェクト１５３１を攻撃する場合、銃オブジェクト１５４１の照準を銃オブジェクト１５４１に正しく合わせるように右手を動かした上で、さらに、右コントローラ３００Ｒのいずれかのボタンを押下する必要がある。一方、ユーザ５は、剣オブジェクト１５４２を用いて敵オブジェクト１５３１を攻撃する場合、剣オブジェクト１５４２で敵オブジェクト１５３１を斬りつけるように、左手を動かすだけでよい。これらのように、銃オブジェクト１５４１は、敵オブジェクト１５３１を攻撃する上で剣オブジェクト１５４２よりも扱いが難しい武器オブジェクトである。したがって、銃オブジェクト１５４１は、扱いが難しいためユーザ５の利き手で用いられることが好ましいという意味で、利き手に対応する仮想利き手に応じた武器オブジェクトである。一方、剣オブジェクト１５４２は、扱いが易しいためユーザ５の非利き手で用いられることが好ましいという意味で、非利き手に対応する仮想非利き手に応じた武器オブジェクトである。
In one aspect, the
図１５（Ａ）において、仮想カメラ１４は、アバターオブジェクト６の頭部に配置される。仮想カメラ１４は、仮想カメラ１４の位置および向きに応じた視界領域１５を規定する。視界領域１５の範囲内に、仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、敵オブジェクト１５３１、銃オブジェクト１５４１、および剣オブジェクト１５４２が配置される。仮想カメラ１４は、視界領域１５に対応する視界画像１５１７を生成して、図１５（Ｂ）に示すようにＨＭＤ１２０に表示させる。視界画像１５１７は、視界領域１５の範囲内に配置される仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、敵オブジェクト１５３１、銃オブジェクト１５４１、および剣オブジェクト１５４２をいずれも含む。ユーザ５は、視界画像１５１７を視認することによって、アバターオブジェクト６の視点で仮想空間の一部を視認する。これにより、ユーザ５は、あたかもユーザ５自身がアバターオブジェクト６であるかのような仮想体験を、得ることができる。さらには、ユーザ５自身が仮想空間１１においてアバターオブジェクト６として敵オブジェクト１５３１と戦闘するかのような仮想体験をも、得ることができる。
In FIG. 15A, the
［仮想利き手特定処理］
図１６は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。図１７は、ある実施の形態に従う第１仮想空間１７１１および視界画像１７１７を示す図である。本実施形態では、ユーザ５の利き手に対応する仮想利き手を特定するための一連の処理が、ＨＭＤセット１１０Ａにより実行されるものとして説明する。ただし、当該処理は、他のＨＭＤセット１１０Ｂ，１００Ｃにより実行されてもよいし、当該処理の一部または全部がサーバ６００によって実行されてもよい。
[Virtual dominant hand identification process]
FIG. 16 is a sequence chart representing a part of processing executed in HMD set 110 according to an embodiment. FIG. 17 is a diagram showing a first
ステップＳ１６０１において、コンピュータ２００のプロセッサ２１０（以下単に「プロセッサ２１０」）は、図１７（Ａ）に示すような第１仮想空間１７１１を定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０は、仮想空間データを特定することによって、仮想空間データによって表される第１仮想空間１７１１を定義する。第１仮想空間１７１１は、戦闘ゲームが開始される前にアバターオブジェクト６が配置される仮想空間である。
In step S1601, the
ステップＳ１６０２において、プロセッサ２１０は、仮想オブジェクト生成モジュール１４２１として、仮想カメラ１４を生成し、第１仮想空間１７１１に配置する。ステップＳ１６０３において、プロセッサ２１０は、仮想オブジェクト生成モジュール１４２１として、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌを含むアバターオブジェクト６を生成し、第１仮想空間１７１１に配置する。ステップＳ１６０４において、プロセッサ２１０は、仮想オブジェクト生成モジュール１４２１として、ＵＩパネル１７５０（第１ＵＩオブジェクト）、ペンオブジェクト１７５３、およびペンオブジェクト１７５４を生成し、第１仮想空間１７１１に配置する。
In step S1602, the
ＵＩパネル１７５０はＵＩオブジェクトの一種であり、戦闘ゲームに関連する処理をプロセッサ２１０に実行させるために、ユーザ５によって用いられる。ＵＩパネル１７５０は、ＵＩパネル１７５０の前面に配置される選択肢１７５１および１７５２を含む。選択肢１７５１および１７５２は、その選択肢がユーザ５によって選択された場合にプロセッサ２１０が実行する処理を説明する情報を含む。選択肢１７５１は、戦闘ゲームを開始するための処理をプロセッサ２１０に実行させるための項目である。選択肢１７５２は、アバターオブジェクト６に武器オブジェクトを関連付けるための処理をプロセッサ２１０に実行させるための項目である。
The
ペンオブジェクト１７５３は、仮想オブジェクトの一種であり、ＵＩパネル１７５０の選択肢１７５１または１７５２を選択するために、仮想右手１５２１Ｒまたは１５２１Ｌによって把持されかつ使用される。ペンオブジェクト１７５４は、仮想オブジェクトの一種であり、ＵＩパネル１７５０の選択肢１７５１または１７５２を選択するために、仮想右手１５２１Ｒまたは１５２１Ｌによって把持されかつ使用される。
The
プロセッサ２１０は、第１仮想空間１７１１におけるＵＩパネル１７５０の左側（ＵＩパネル１７５０の正面に向かって右側）に、ＵＩパネル１７５０から一定距離を置いてペンオブジェクト１７５３を配置する。プロセッサ２１０は、さらに、第１仮想空間１７１１におけるＵＩパネル１７５０の右側（ＵＩパネル１７５０の正面に向かって左側）に、ＵＩパネル１７５０から一定距離を置いてペンオブジェクト１７５４を配置する。アバターオブジェクト６がＵＩパネル１７５０の前面に正対した場合、ペンオブジェクト１７５３は、第１仮想空間１７１１における仮想右手１５２１Ｒ側の位置に配置され、ペンオブジェクト１７５４は、第１仮想空間１７１１における仮想左手１５２１Ｌ側の位置に配置される。
The
ステップＳ１６０５において、プロセッサ２１０は、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０の動きに応じて第１仮想空間１７１１における仮想カメラ１４の位置および傾きを決定する。より詳細には、プロセッサ２１０は、ユーザ５の頭部の姿勢と、第１仮想空間１７１１における仮想カメラ１４の位置とに応じて、第１仮想空間１７１１における仮想カメラ１４からの視界である視界領域１５を制御する。当該処理は、図１１のステップＳ１１４０の処理の一部に相当する。
In step S <b> 1605, the
ステップＳ１６０６において、プロセッサ２１０は、視界画像１７をモニタ１３０に出力する。具体的には、プロセッサ２１０は、ＨＭＤ１２０の動き（すなわち仮想カメラ１４の位置および傾き）と、第１仮想空間１７１１を定義する仮想空間データと、に基づいて、視界領域１５に対応する視界画像１７を定義する。視界画像１７を定義することは、視界画像１７を生成することと同義である。プロセッサ２１０は、さらに、ＨＭＤ１２０のモニタ１３０に視界画像１７を出力することによって、視界画像１７をＨＭＤ１２０に表示させる。当該処理は、図１１のステップＳ１１８０およびＳ１１９０の処理に相当する。
In step S <b> 1606, the
プロセッサ２１０は、例えば、図１７（Ａ）に示す第１仮想空間１７１１に対応する視界画像１７１７を、図１７（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像１７１７を視認することによって、ＵＩパネル１７５０の選択肢１７５１または選択肢１７５２を選択する必要があることを認識する。
For example, the
上述したステップＳ１６０５およびＳ１６０６の処理（すなわち、ＨＭＤ１２０の動きに応じた視界画像１５１７の更新）は、後述するステップＳ１６０７〜Ｓ１６１３が実行される間にも、継続して繰り返し実行される。
The processes in steps S1605 and S1606 described above (that is, the update of the
ステップＳ１６０７において、プロセッサ２１０は、操作オブジェクト制御モジュール１４２３として、右コントローラ３００Ｒの出力に基づいて、ユーザ５の右手の動きを検出する。ステップＳ１６０８において、プロセッサ２１０は、操作オブジェクト制御モジュール１４２３として、左コントローラ３００Ｌの出力に基づいて、ユーザ５の左手の動きを検出する。ステップＳ１６０９において、プロセッサ２１０は、操作オブジェクト制御モジュール１４２３として、検出されたユーザ５の右手の動きに応じて、第１仮想空間１７１１において仮想右手１５２１Ｒを動かす。ステップＳ１６１０において、プロセッサ２１０は、操作オブジェクト制御モジュール１４２３として、検出されたユーザ５の左手の動きに応じて、第１仮想空間１７１１において仮想左手１５２１Ｌを動かす。
In step S1607, the
ある局面において、プロセッサ２１０は、ユーザ５の右手の動きに基づいて、ペンオブジェクト１７５３に仮想右手１５２１Ｒを近づけるように、第１仮想空間１７１１において仮想右手１５２１Ｒを動かす。プロセッサ２１０は、仮想右手１５２１Ｒがペンオブジェクト１７５３に十分に近づいた後、ユーザ５の右手の動きに基づいて、仮想右手１５２１Ｒでペンオブジェクト１７５３を選択する（掴む）。ユーザ５の右手の動きとしては、例えば、右コントローラ３００Ｒのいずれかのボタンを押下する動きが挙げられる。これにより、仮想右手１５２１Ｒでペンオブジェクト１７５３が把持される。
In one aspect, the
図１８は、ある実施の形態に従う第１仮想空間１７１１および視界画像１８１７を示す図である。図１８の例では、ユーザ５の利き手は右手である。図１８（Ａ）に示すように、プロセッサ２１０は、仮想右手１５２１Ｒがペンオブジェクト１７５３を選択した後、ユーザ５の右手の動きに基づいて、ペンオブジェクト１７５３の先端をＵＩパネル１７５０の選択肢１７５１に近づけるように、第１仮想空間１７１１において仮想右手１５２１Ｒおよびペンオブジェクト１７５３を動かす。プロセッサ２１０は、衝突検出モジュール１４２４として、ペンオブジェクト１７５３の先端と選択肢１７５１とが第１位置関係になった場合、ペンオブジェクト１７５３の先端と選択肢１７５１とが衝突したことを検出する。第１位置関係とは、例えば、ペンオブジェクト１７５３の先端と選択肢１７５１との距離が第１距離を下回ることである。あるいは、ペンオブジェクト１７５３の先端に規定されるコリジョンエリアと、選択肢１７５１に設定されるコリジョンエリアとが少なくとも部分的に衝突することである。プロセッサ２１０は、ペンオブジェクト１７５３の先端と選択肢１７５１とが衝突したことに基づいて、ペンオブジェクト１７５３によって選択肢１７５１が選択されたことを検出する。プロセッサ２１０は、さらに、この選択に使用されたペンオブジェクト１７５３に、仮想右手１５２１Ｒが関連付けられることを特定する。この特定に基づいて、ステップＳ１６１１において、プロセッサ２１０は、仮想右手１５２１ＲによるＵＩパネル１７５０の選択を受け付ける。
FIG. 18 is a diagram showing a first
プロセッサ２１０は、例えば、図１８（Ａ）に示す第１仮想空間１７１１に対応する視界画像１８１７を、図１８（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像１８１７を視認することによって、ＵＩパネル１７５０の選択肢１７５１を選択したことを認識する。
For example, the
ステップＳ１６１２において、プロセッサ２１０は、仮想利き手特定モジュール１４２５として、ＵＩパネル１７５０の選択に用いられた仮想右手１５２１Ｒを、ユーザ５の利き手に対応する仮想利き手として特定する。一般に、ユーザ５は、右手および左手のうち利き手の方をよく使う傾向にある。ユーザ５の利き手が右手であれば、ユーザ５は、ＵＩパネル１７５０の選択肢１７５１を選択するために、ユーザ５の右手を動かすことによって仮想右手１５２１Ｒを操作する可能性が高い。逆に言えば、ＵＩパネル１７５０の選択肢１７５１の選択に仮想右手１５２１Ｒが用いられた理由は、仮想右手１５２１Ｒを操作するためのユーザ５の右手が、ユーザ５にとって左手よりも使いやすい利き手であったことである可能性が高い。したがって、プロセッサ２１０は、ＵＩパネル１７５０の選択に仮想右手１５２１Ｒが用いられたことの検出に基づいて、ユーザ５の利き手が右手であり、仮想右手１５２１Ｒがユーザ５の利き手に対応する仮想利き手であることを、精度良く特定できる。
In step S <b> 1612, the
以上のように、プロセッサ２１０は、ユーザ５の利き手が右手および左手のうちいずれであるのか、ユーザ５に質問する必要がなく、ユーザ５の利き手に対応する仮想利き手を特定することができる。これにより、プロセッサ２１０は、利き手に関する質問をゲーム開始前に受ける煩わしさを、ユーザ５に与えずに済む。
As described above, the
ステップＳ１６１３において、プロセッサ２１０は、ＵＩパネル１７５０の選択に用いられなかった仮想左手１５２１Ｌを、ユーザ５の非利き手に対応する仮想非利き手として特定する。これにより、図１６に示す一連の処理が完了する。この後、プロセッサ２１０は、ユーザ５に対する第１仮想空間１７１１の提供を終了する。プロセッサ２１０は、さらに、戦闘ゲームを開始するための一連の処理を実行することによって、ユーザ５が戦闘ゲームをプレイする環境である第２仮想空間２０１１をユーザ５に提供する。
In step S <b> 1613, the
［戦闘ゲーム開始処理］
図１９は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。図２０は、ある実施の形態に従う第２仮想空間２０１１および視界画像２０１７を示す図である。本実施形態では、戦闘ゲームを開始するための一連の処理が、ＨＭＤセット１１０Ａにより実行されるものとして説明する。ただし、当該処理は、他のＨＭＤセット１１０Ｂ，１００Ｃにより実行されてもよいし、当該処理の一部または全部がサーバ６００によって実行されてもよい。
[Battle game start processing]
FIG. 19 is a sequence chart showing a part of processing executed in HMD set 110 according to an embodiment. FIG. 20 is a diagram showing a second
ステップＳ１９０１において、プロセッサ２１０は、図２０（Ａ）に示すような第２仮想空間２０１１を定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０は、仮想空間データを特定することによって、仮想空間データによって表される第２仮想空間２０１１を定義する。第２仮想空間２０１１は第１仮想空間１７１１とは異なる仮想空間であり、かつ、戦闘ゲームの開始後にアバターオブジェクト６および敵オブジェクト１５３１が配置される仮想空間である。
In step S1901, the
ステップＳ１９０２において、プロセッサ２１０は、仮想カメラ１４を生成し、第２仮想空間２０１１に配置する。ステップＳ１９０３において、プロセッサ２１０は、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌを含むアバターオブジェクト６を生成し、第２仮想空間２０１１に配置する。ステップＳ１９０４において、プロセッサ２１０は、敵オブジェクト１５３１を生成し、第２仮想空間２０１１に配置する。
In step S1902, the
ステップＳ１９０５において、プロセッサ２１０は、仮想利き手に応じた銃オブジェクト１５４１を生成し、ステップＳ１６１２において仮想利き手として特定された仮想右手１５２１Ｒに関連付けて、第２仮想空間２０１１に配置する。より詳細には、プロセッサ２１０は、アバターオブジェクト６の仮想右手１５２１Ｒに銃オブジェクト１５４１を把持させる。ステップＳ１９０６において、プロセッサ２１０は、仮想非利き手に応じた剣オブジェクト１５４２を生成し、仮想左手１５２１Ｌに関連付けて第２仮想空間２０１１に配置する。より詳細には、プロセッサ２１０は、アバターオブジェクト６の仮想左手１５２１Ｌに剣オブジェクト１５４２を把持させる。
In step S1905, the
ステップＳ１９０７において、プロセッサ２１０は、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０の動きに応じて第２仮想空間２０１１における仮想カメラ１４の位置および傾きを決定する。この処理は、ステップＳ１６０５における処理と基本的に同一であるため、詳細な説明を繰り返さない。ステップＳ１９０８において、プロセッサ２１０は、視界画像１７をモニタ１３０に出力する。この処理は、ステップＳ１６０６における処理と基本的に同一であるため、詳細な説明を繰り返さない。
In step S1907, the
図２０（Ａ）に示す第２仮想空間２０１１において、視界領域１５の範囲内に、仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、右コントローラ３００Ｒ、銃オブジェクト１５４１、および剣オブジェクト１５４２が配置される。プロセッサ２１０は、例えば、図２０（Ａ）に示す第２仮想空間２０１１に対応する視界画像２０１７を、図２０（Ｂ）に示すようにモニタ１３０に表示する。視界画像２０１７は、視界領域１５の範囲内に配置される敵オブジェクト１５３１、仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、銃オブジェクト１５４１、および剣オブジェクト１５４２をいずれも含む。ユーザ５は、視界画像２０１７を視認することによって、戦闘ゲームが開始されたことを認識する。ユーザ５は、さらに、仮想右手１５２１Ｒに銃オブジェクト１５４１が把持されているので、仮想右手１５２１Ｒを操作することによって、銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃できることを認識する。ユーザ５は、さらに、仮想左手１５２１Ｌに剣オブジェクト１５４２が把持されているので、仮想左手１５２１Ｌを操作することによって、剣オブジェクト１５４２で敵オブジェクト１５３１を攻撃できることを認識する。
In the second
ユーザ５は、戦闘ゲームのプレイ中に、敵オブジェクト１５３１を攻撃するために右コントローラ３００Ｒを操作する。プロセッサ２１０は、右コントローラ３００Ｒの出力に基づいて、アバターオブジェクト６に銃オブジェクト１５４１を用いて敵オブジェクト１５３１を攻撃させる。これにより、ユーザ５は、あたかも自身の右手で銃オブジェクト１５４１を用いて敵オブジェクト１５３１を攻撃したかのような仮想体験を、得ることができる。戦闘ゲームのプレイ中に、ユーザ５は、敵オブジェクト１５３１を攻撃するために、左コントローラ３００Ｌを操作する。プロセッサ２１０は、左コントローラ３００Ｌの出力に基づいて、アバターオブジェクト６に剣オブジェクト１５４２を用いて敵オブジェクト１５３１を攻撃させる。これにより、ユーザ５は、あたかも自身の左手で剣オブジェクト１５４２を用いて敵オブジェクト１５３１を攻撃したかのような仮想体験を、得ることができる。
The
図２０の例では、ユーザ５の利き手（右手）に対応する仮想右手１５２１Ｒに、剣オブジェクト１５４２よりも扱いが難しい銃オブジェクト１５４１が把持されている。さらに、ユーザ５の非利き手（左手）に対応する仮想左手１５２１Ｌに、銃オブジェクト１５４１よりも扱いが易しい剣オブジェクト１５４２が把持されている。ユーザ５は、利き手である右手を動かすことによって、銃オブジェクト１５４１を仮想右手１５２１Ｒで容易に扱うことができる。ユーザ５は、さらに、扱いが難しい銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃するために、利き手ではない左手を動かす必要がないので、銃オブジェクト１５４１の扱いに困らずに済む。これらのことから、ユーザ５は、戦闘ゲームをより有利に進めることができる。
In the example of FIG. 20, a
図２１は、ある実施の形態に従う第１仮想空間１７１１および視界画像２１１７を示す図である。図２１の例では、ユーザ５の利き手は左手である。ユーザ５は、左手を動かすことによって、仮想左手１５２１Ｌでペンオブジェクト１７５４を把持する。ユーザ５は、さらに、ペンオブジェクト１７５４の先端でＵＩパネル１７５０の選択肢１７５１を選択する。プロセッサ２１０は、選択肢１７５１が選択された場合、この選択に使用されたペンオブジェクト１７５４に、仮想左手１５２１Ｌが関連付けられることを特定する。この特定に基づいて、プロセッサ２１０は、仮想左手１５２１ＬによるＵＩパネル１７５０の選択を受け付ける。プロセッサ２１０は、例えば、図２１（Ａ）に示す第１仮想空間１７１１に対応する視界画像２１１７を、図２１（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像２１１７を視認することによって、ＵＩパネル１７５０の選択肢１７５１を選択したことを認識する。
FIG. 21 is a diagram showing a first
プロセッサ２１０は、ＵＩパネル１７５０の選択に用いられた仮想左手１５２１Ｌを、ユーザ５の利き手に対応する仮想利き手として特定する。これにより、プロセッサ２１０は、ユーザ５の利き手が左手であり、仮想左手１５２１Ｌがユーザ５の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ２１０は、さらに、ＵＩパネル１７５０の選択に用いられなかった仮想右手１５２１Ｒを、ユーザ５の非利き手に対応する仮想非利き手として特定する。
The
図２２は、ある実施の形態に従う第２仮想空間２０１１および視界画像２２１７を示す図である。ＵＩパネル１７５０の選択肢１７５１が選択された後、プロセッサ２１０は、図２２（Ａ）に示す第２仮想空間２０１１を定義し、さらに、仮想カメラ１４、アバターオブジェクト６、および敵オブジェクト１５３１を第２仮想空間２０１１に配置する。プロセッサ２１０は、さらに、仮想利き手に応じた銃オブジェクト１５４１を生成し、仮想利き手として特定された仮想左手１５２１Ｌに関連付けて第２仮想空間２０１１に配置する。より詳細には、プロセッサ２１０は、アバターオブジェクト６の仮想左手１５２１Ｌに銃オブジェクト１５４１に把持させる。プロセッサ２１０は、仮想非利き手に応じた剣オブジェクト１５４２を生成し、仮想非利き手として特定された仮想右手１５２１Ｒに関連付けて第２仮想空間２０１１に配置する。より詳細には、プロセッサ２１０は、アバターオブジェクト６の仮想右手１５２１Ｒに剣オブジェクト１５４２を把持させる。
FIG. 22 is a diagram showing a second
図２２（Ａ）に示す第２仮想空間２０１１において、視界領域１５の範囲内に、仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、敵オブジェクト１５３１、銃オブジェクト１５４１、および剣オブジェクト１５４２が配置される。プロセッサ２１０は、例えば、図２２（Ａ）に示す第２仮想空間２０１１に対応する視界画像２２１７を、図２２（Ｂ）に示すようにモニタ１３０に表示する。視界画像２２１７は、視界領域１５の範囲内に配置される仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、敵オブジェクト１５３１、銃オブジェクト１５４１、および剣オブジェクト１５４２をいずれも含む。ユーザ５は、視界画像２０１７を視認することによって、戦闘ゲームが開始されたことを認識する。ユーザ５は、仮想右手１５２１Ｒを操作することによって、剣オブジェクト１５４２で敵オブジェクト１５３１を攻撃できることを認識する。ユーザ５は、さらに、仮想左手１５２１Ｌを操作することによって、銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃できることを認識する。
In the second
図２２の例では、ユーザ５の利き手（左手）に対応する仮想左手１５２１Ｌに、銃オブジェクト１５４１が把持されている。さらに、ユーザ５の非利き手（左手）に対応する仮想右手１５２１Ｒに、剣オブジェクト１５４２が把持されている。ユーザ５は、利き手である左手を動かすことによって、銃オブジェクト１５４１を仮想左手１５２１Ｌで容易に扱うことができる。ユーザ５は、さらに、扱いが難しい銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃するために、利き手ではない右手を動かす必要がないので、銃オブジェクト１５４１の扱いに困らずに済む。これらのことから、ユーザ５は、戦闘ゲームをより有利に進めることができる。
In the example of FIG. 22, a
本実施形態において、プロセッサ２１０は、仮想利き手として仮想右手１５２１Ｒを特定した場合、仮想利き手の判定結果に応じた銃オブジェクト１５４１を、仮想右手１５２１Ｒに関連付けて第２仮想空間２０１１に配置する。一方、プロセッサ２１０は、仮想利き手として仮想左手１５２１Ｌを特定した場合、仮想利き手の判定結果に応じた銃オブジェクト１５４１を、仮想左手１５２１Ｌに関連付けて第２仮想空間２０１１に配置する。いずれの場合も、プロセッサ２１０は、仮想利き手の判定結果に応じた銃オブジェクト１５４１を、第２仮想空間２０１１におけるより適切な位置に配置することができる。
In this embodiment, when the
〔実施形態２〕
図２３は、ある実施の形態に従うアバターオブジェクト６をその背面から示す図である。本実施形態では、プロセッサ２１０は、アバターオブジェクト６の身体の右側の一部に右領域２３２２Ｒ（第１領域）を設定し、アバターオブジェクト６の身体の左側の一部に左領域２３２２Ｌ（第２領域）を設定する。図２３の例では、右領域２３２２Ｒはアバターオブジェクト６の右肩部分に設定され、左領域２３２２Ｌはアバターオブジェクト６の左肩部分に設定される。右領域２３２２Ｒおよび左領域２３２２Ｌは、いずれも、銃オブジェクト１５４１および剣オブジェクト１５４２のうちいずれかを関連付けることができる領域である。
[Embodiment 2]
FIG. 23 is a diagram showing an
図２４は、ある実施の形態に従う第１仮想空間１７１１および視界画像２４１７を示す図である。図２４の例では、右領域２３２２Ｒおよび左領域２３２２Ｌが設定されるアバターオブジェクト６が、第１仮想空間１７１１に配置される。ユーザ５の利き手は右手である。ユーザ５は、右手を動かすことによって、仮想右手１５２１Ｒでペンオブジェクト１７５３を把持する。ユーザ５は、さらに、ペンオブジェクト１７５３の先端でＵＩパネル１７５０の選択肢１７５２を選択する。プロセッサ２１０は、選択肢１７５２が選択された場合、この選択に使用されたペンオブジェクト１７５３に、仮想右手１５２１Ｒが関連付けられることを特定する。この特定に基づいて、プロセッサ２１０は、仮想右手１５２１ＲによるＵＩパネル１７５０の選択を受け付ける。プロセッサ２１０は、例えば、図２４（Ａ）に示す第１仮想空間１７１１に対応する視界画像２４１７を、図２４（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像２４１７を視認することによって、ＵＩパネル１７５０の選択肢１７５２を選択したことを認識する。
FIG. 24 is a diagram showing a first
プロセッサ２１０は、ＵＩパネル１７５０の選択に用いられた仮想右手１５２１Ｒを、ユーザ５の利き手に対応する仮想利き手として特定する。これにより、プロセッサ２１０は、ユーザ５の利き手が右手であり、仮想右手１５２１Ｒがユーザ５の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ２１０は、さらに、ＵＩパネル１７５０の選択に用いられなかった仮想左手１５２１Ｌを、ユーザ５の非利き手に対応する仮想非利き手として特定する。
The
ＵＩパネル１７５０の選択肢１７５２が選択された後、プロセッサ２１０は、ユーザ５に対する第１仮想空間１７１１の提供を終了する。プロセッサ２１０は、さらに、銃オブジェクト１５４１および剣オブジェクト１５４２をアバターオブジェクト６に関連付ける環境である第３仮想空間２６１１をユーザ５に提供する。詳細には、プロセッサ２１０は、図２５に示す一連の処理を実行する。
After the
［武器オブジェクト関連付け処理］
図２５は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。図２６は、ある実施の形態に従う第３仮想空間２６１１および視界画像２６１７を示す図である。本実施形態では、銃オブジェクト１５４１および剣オブジェクト１５４２をアバターオブジェクト６に関連付けるための一連の処理が、ＨＭＤセット１１０Ａにより実行されるものとして説明する。ただし、当該処理は、他のＨＭＤセット１１０Ｂ，１００Ｃにより実行されてもよいし、当該処理の一部または全部がサーバ６００によって実行されてもよい。
[Weapon object association processing]
FIG. 25 is a sequence chart showing a part of processing executed in HMD set 110 according to an embodiment. FIG. 26 shows third
ステップＳ２５０１において、プロセッサ２１０は、図２６（Ａ）に示すような第３仮想空間２６１１を定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０は、仮想空間データを特定することによって、仮想空間データによって表される第３仮想空間２６１１を定義する。第３仮想空間２６１１は第１仮想空間１７１１および第２仮想空間２０１１とは異なる仮想空間であり、かつ、戦闘ゲームの開始前にアバターオブジェクト６が配置されるさらに別の仮想空間である。
In step S2501, the
ステップＳ２５０２において、プロセッサ２１０は、仮想カメラ１４を生成し、第３仮想空間２６１１に配置する。ステップＳ２５０３において、プロセッサ２１０は、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌを含むアバターオブジェクト６を生成し、第３仮想空間２６１１に配置する。ステップＳ２５０４において、プロセッサ２１０は、ＵＩボード２６６０（第２ＵＩオブジェクト）を生成し、第３仮想空間２６１１に配置する。
In step S2502, the
ＵＩボード２６６０はＵＩオブジェクトの一種であり、アバターオブジェクト６に銃オブジェクト１５４１および剣オブジェクト１５４２を関連付けるためにユーザ５によって用いられる。ＵＩボード２６６０は、アバターモデル２６６１、右配置領域２６６２Ｒ（第１配置領域）、および左配置領域２６６２Ｌ（第２配置領域）を含む。アバターモデル２６６１は、ＵＩボード２６６０の中央に描かれ、アバターオブジェクト６の背面を表すモデルである。アバターモデル２６６１の右肩部分に右配置領域２６６２Ｒが設定され、アバターモデル２６６１の左肩部分に左配置領域２６６２Ｌが設定される。右配置領域２６６２Ｒは、アバターオブジェクト６の右肩部分に設定される右領域２３２２Ｒに対応する。右配置領域２６６２Ｒは、右配置領域２６６２Ｒに配置された武器アイコンが示す武器オブジェクトをアバターオブジェクト６の右領域２３２２Ｒに関連付けるための領域である。左配置領域２６６２Ｌは、アバターオブジェクト６の左肩部分に設定される左領域２３２２Ｌに対応する。左配置領域２６６２Ｌは、左配置領域２６６２Ｌに配置された武器アイコンが示す武器オブジェクトをアバターオブジェクト６の左領域２３２２Ｌに関連付けるための領域である。
The
ステップＳ２５０５において、プロセッサ２１０は、仮想利き手に応じた銃アイコン２６６３（第１付加オブジェクト）を生成し、仮想利き手として特定された仮想右手１５２１Ｒから独立した状態で、第３仮想空間２６１１における仮想右手１５２１Ｒ側に配置する。これにより、銃アイコン２６６３はＵＩボード２６６０の左側（ＵＩボード２６６０の正面に向かって右側）に、ＵＩボード２６６０から一定距離を置いて配置される。銃アイコン２６６３は仮想オブジェクトの一種であり、銃オブジェクト１５４１（第１付随オブジェクト）を表すアイコンである。銃アイコン２６６３は、銃オブジェクト１５４１と同様に仮想利き手に対応する。ユーザ５は、仮想右手１５２１Ｒまたは仮想左手１５２１Ｌを用いて銃アイコン２６６３を把持したり、第３仮想空間２６１１において移動させたりすることができる。
In step S2505, the
ステップＳ２５０６において、プロセッサ２１０は、仮想非利き手に応じた剣アイコン２６６４（第２付加オブジェクト）を生成し、仮想非利き手として特定された仮想左手１５２１Ｌから独立した状態で、第３仮想空間２６１１における仮想左手１５２１Ｌ側に配置する。これにより、剣アイコン２６６４は、ＵＩボード２６６０の右側（ＵＩボード２６６０の正面に向かって左側）に、ＵＩボード２６６０から一定距離を置いて配置される。剣アイコン２６６４は仮想オブジェクトの一種であり、剣オブジェクト１５４２（第２付随オブジェクト）を表すアイコンである。剣アイコン２６６４は、剣オブジェクト１５４２と同様に仮想非利き手に対応する。ユーザ５は、仮想右手１５２１Ｒまたは仮想左手１５２１Ｌを用いて剣アイコン２６６４を把持したり、第３仮想空間２６１１において移動させたりすることができる。
In step S2506, the
ステップＳ２５０７において、プロセッサ２１０は、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０の動きに応じて第３仮想空間２６１１における仮想カメラ１４の位置および傾きを決定する。この処理は、ステップＳ１６０５における処理と基本的に同一であるため、詳細な説明を繰り返さない。ステップＳ２５０８において、プロセッサ２１０は、視界画像１７をモニタ１３０に出力する。この処理は、ステップＳ１６０６における処理と基本的に同一であるため、詳細な説明を繰り返さない。
In step S2507, the
図２６（Ａ）に示す第３仮想空間２６１１において、視界領域１５の範囲内に、ＵＩボード２６６０、銃アイコン２６６３、および剣アイコン２６６４が配置される。プロセッサ２１０は、例えば、図２６（Ａ）に示す第３仮想空間２６１１に対応する視界画像２６１７を、図２６（Ｂ）に示すようにモニタ１３０に表示する。視界画像２６１７は、視界領域１５の範囲内に配置されるＵＩボード２６６０、銃アイコン２６６３、および剣アイコン２６６４を含む。ユーザ５は、視界画像２６１７を視認することによって、戦闘ゲームにおいて使用可能な銃オブジェクト１５４１および剣オブジェクト１５４２をアバターオブジェクト６に関連付けるために、ＵＩボード２６６０を用いる必要があることを認識する。
In the third
図２７は、ある実施の形態に従う第３仮想空間２６１１および視界画像２７１７を示す図である。ユーザ５は、利き手である右手を動かすことによって、仮想右手１５２１Ｒで銃アイコン２６６３を把持する。ユーザ５は、右手をさらに動かすことによって、仮想右手１５２１Ｒに把持された銃アイコン２６６３を動かし、さらに、右配置領域２６６２Ｒに銃アイコン２６６３を配置させる。プロセッサ２１０は、右配置領域２６６２Ｒに銃アイコン２６６３が配置された場合、アバターオブジェクト６における右領域２３２２Ｒに、銃アイコン２６６３が示す銃オブジェクト１５４１を関連付ける。右領域２３２２Ｒに銃オブジェクト１５４１が関連付けられればよく、右領域２３２２Ｒに銃オブジェクト１５４１が実際に配置されるか否かはいずれでもよい。
FIG. 27 shows third
プロセッサ２１０は、例えば、図２７（Ａ）に示す第３仮想空間２６１１に対応する視界画像２７１７を、図２７（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像２４１７を視認することによって、ＵＩボード２６６０における右配置領域２６６２Ｒに銃アイコン２６６３が配置されたことを認識する。
For example, the
図示しないが、ユーザ５は、銃アイコン２６６３を右領域２３２２Ｒに配置した後、右手を動かすことによって、仮想右手１５２１Ｒで剣アイコン２６６４を把持する。ユーザ５は、右手をさらに動かすことによって、仮想右手１５２１Ｒに把持された剣アイコン２６６４を動かし、さらに、左配置領域２６６２Ｌに剣アイコン２６６４を配置させる。プロセッサ２１０は、左配置領域２６６２Ｌに剣アイコン２６６４が配置された場合、アバターオブジェクト６における左領域２３２２Ｌに、剣アイコン２６６４が示す剣オブジェクト１５４２を関連付ける。
Although not shown, the
アバターオブジェクト６に対する銃オブジェクト１５４１および剣オブジェクト１５４２の関連付けが完了した後、プロセッサ２１０は、ユーザ５に対する第３仮想空間２６１１の提供を終了する。プロセッサ２１０は、さらに、戦闘ゲームを開始させるための一連の処理を実行することによって、例えば、図２８に示すような第２仮想空間２０１１を新たに定義する。
After the association of the
図２８は、ある実施の形態に従う第２仮想空間２０１１および視界画像２８１７を示す図である。図２８に示す第２仮想空間２０１１には、アバターオブジェクト６および敵オブジェクト１５３１が配置される。図２０の例とは異なり、アバターオブジェクト６の仮想右手１５２１Ｒおよび仮想左手１５２１Ｌには銃オブジェクト１５４１または剣オブジェクト１５４２が予め関連付けられていない。その代わりに、アバターオブジェクト６における仮想左手１５２１Ｌおよび仮想右手１５２１Ｒ以外の箇所に、第３仮想空間２６１１における武器オブジェクトの設定に基づいて、銃オブジェクト１５４１および剣オブジェクト１５４２が関連付けられている。図２８では、アバターオブジェクト６における右領域２３２２Ｒに銃オブジェクト１５４１が関連付けられ、アバターオブジェクト６の左領域２３２２Ｌに剣オブジェクト１５４２が関連付けられている。
FIG. 28 is a diagram showing a second
図２８（Ａ）に示す第２仮想空間２０１１において、視界領域１５の範囲内に、仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、および敵オブジェクト１５３１が配置される。プロセッサ２１０は、例えば、図２８（Ａ）に示す第２仮想空間２０１１に対応する視界画像２８１７を、図２８（Ｂ）に示すようにモニタ１３０に表示する。視界画像２８１７は、視界領域１５の範囲内に配置される仮想右手１５２１Ｒ、仮想左手１５２１Ｌ、および敵オブジェクト１５３１を含むが、視界領域１５の範囲外に配置される銃オブジェクト１５４１および剣オブジェクト１５４２は含まない。ユーザ５は、視界画像２８１７を視認することによって、戦闘ゲームが開始されたが、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌが何の武器オブジェクトも把持していないので、このままでは敵オブジェクト１５３１を攻撃できないことを認識する。
In the second
図２９は、ある実施の形態に従う第２仮想空間２０１１および視界画像２９１７を示す図である。図２９（Ａ）に示すように、ユーザ５は、右コントローラ３００Ｒを把持した右手を、自身の右肩付近まで移動させる。プロセッサ２１０は、ユーザ５の右手の動きに応じて、仮想右手１５２１Ｒを、視界領域１５の範囲外に位置するアバターオブジェクト６の右肩付近まで移動させる。
FIG. 29 is a diagram showing a second
プロセッサ２１０は、例えば、図２９（Ａ）に示す第２仮想空間２０１１に対応する視界画像２９１７を、図２９（Ｂ）に示すようにモニタ１３０に表示する。仮想右手１５２１Ｒが視界領域１５の範囲内に配置されないので、視界画像２９１７には仮想右手１５２１Ｒが含まれない。
For example, the
プロセッサ２１０は、仮想右手１５２１Ｒと、右領域２３２２Ｒに関連付けられる銃オブジェクト１５４１とが第１位置関係になった場合、仮想右手１５２１Ｒと銃オブジェクト１５４１との衝突を検出する。第１位置関係とは、例えば、仮想右手１５２１Ｒと銃オブジェクト１５４１との距離が第１距離を下回ることである。あるいは、仮想右手１５２１Ｒに設定されるコリジョンエリアと、銃オブジェクト１５４１に設定されるコリジョンエリアとが少なくとも部分的に衝突することである。プロセッサ２１０は、仮想右手１５２１Ｒと銃オブジェクト１５４１とが衝突した場合、右領域２３２２Ｒに対する銃オブジェクト１５４１の関連付けを解消する共に、アバターオブジェクト６の仮想右手１５２１Ｒに銃オブジェクト１５４１を把持させる。
When the virtual
図３０は、ある実施の形態に従う第２仮想空間２０１１および視界画像３０１７を示す図である。図３０（Ａ）に示すように、ユーザ５は、仮想右手１５２１Ｒが銃オブジェクト１５４１を把持した後、右コントローラ３００Ｒを把持した右手を、自身の視界内に移動させる。図３０（Ａ）に示すように、プロセッサ２１０は、ユーザ５の右手の動きに応じて、銃オブジェクト１５４１を把持した仮想右手１５２１Ｒを、仮想カメラ１４の視界領域１５の範囲内に移動させる。この結果、ユーザ５が右手を動かすことによって、仮想右手１５２１Ｒに把持された銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃することが、可能になる。
FIG. 30 is a diagram showing a second
プロセッサ２１０は、図３０（Ａ）に示す第２仮想空間２０１１に対応する視界画像３０１７を、図３０（Ｂ）に示すようにモニタ１３０に表示する。銃オブジェクト１５４１を把持した仮想右手１５２１Ｒが配置されるため、視界画像３０１７は、仮想右手１５２１Ｒおよび銃オブジェクト１５４１を含む。ユーザ５は、視界画像３０１７を視認することによって、仮想右手１５２１Ｒに銃オブジェクト１５４１が把持されているので、仮想右手１５２１Ｒを操作することによって、銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃できることを認識する。
The
図２６の例では、第３仮想空間２６１１において、銃アイコン２６６３は、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌのうち仮想右手１５２１Ｒの方により近い位置に配置される。これにより、ユーザ５が利き手（右手）に対応する仮想右手１５２１Ｒを操作して銃アイコン２６６３を把持するように、ユーザ５を自然に誘導することできる。銃アイコン２６６３は、さらに、ＵＩボード２６６０における右配置領域２６６２Ｒおよび左配置領域２６６２Ｌのうち右配置領域２６６２Ｒの方により近い位置に配置される。これにより、ユーザ５が仮想右手１５２１Ｒを操作することによって銃アイコン２６６３をＵＩボード２６６０における右配置領域２６６２Ｒに配置するように、ユーザを自然に誘導することができる。これらの結果、仮想利き手に対応する銃オブジェクト１５４１が、アバターオブジェクト６における右肩部分（右領域２３２２Ｒ）に関連付けられる可能性を、高めることができる。
In the example of FIG. 26, in the third
図２８の例では、第２仮想空間２０１１において、仮想右手１５２１Ｒは、アバターオブジェクト６における右領域２３２２Ｒおよび左領域２３２２Ｌのうち右領域２３２２Ｒの方により近い方に位置する。これにより、ユーザ５が利き手（右手）を動かすことによって仮想右手１５２１Ｒをアバターオブジェクト６の右肩付近に近づけさせ、仮想右手１５２１Ｒに銃オブジェクト１５４１を把持させるように、ユーザ５を自然に誘導することができる。この結果、図３０に示すように、ユーザ５が利き手（右手）用いて銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃するように、ユーザ５を自然と誘導することができる。ユーザ５が仮想右手１５２１Ｒに銃オブジェクト１５４１を把持された場合、ユーザ５は、利き手である右手を動かすことによって、剣オブジェクト１５４２よりも扱いが難しい銃オブジェクト１５４１を容易に扱うことができる。したがって、ユーザ５は、戦闘ゲームをより有利に進めることができる。
In the example of FIG. 28, in the second
図３１は、ある実施の形態に従う第１仮想空間１７１１および視界画像３１１７を示す図である。図３１の例では、右領域２３２２Ｒおよび左領域２３２２Ｌが設定されるアバターオブジェクト６が、第１仮想空間１７１１に配置される。ユーザ５の利き手は左手である。ユーザ５は、左手を動かすことによって、仮想左手１５２１Ｌでペンオブジェクト１７５４を把持し、さらに、ペンオブジェクト１７５４の先端でＵＩパネル１７５０の選択肢１７５２を選択する。プロセッサ２１０は、ペンオブジェクト１７５４で選択肢１７５２が選択されたことに基づいて、ペンオブジェクト１７５４を把持する仮想左手１５２１Ｌを、ユーザ５の利き手に対応する仮想利き手として特定する。これにより、プロセッサ２１０は、ユーザ５の利き手が左手であり、仮想左手１５２１Ｌがユーザ５の利き手に対応する仮想利き手であることを、精度良く特定できる。プロセッサ２１０は、さらに、ＵＩパネル１７５０の選択に用いられなかった仮想右手１５２１Ｒを、ユーザ５の非利き手に対応する仮想非利き手として特定する。
FIG. 31 is a diagram showing a first
プロセッサ２１０は、例えば、図３１（Ａ）に示す第１仮想空間１７１１に対応する視界画像３１１７を、図３１（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像３１１７を視認することによって、ＵＩパネル１７５０の選択肢１７５２を選択したことを認識する。
For example, the
図３２は、ある実施の形態に従う第３仮想空間２６１１および視界画像３２１７を示す図である。ＵＩパネル１７５０の選択肢１７５２が選択された後、プロセッサ２１０は、図３２（Ａ）に示す第３仮想空間２６１１を定義し、さらに、仮想カメラ１４、アバターオブジェクト６、およびＵＩボード２６６０を第３仮想空間２６１１に配置する。プロセッサ２１０は、さらに、仮想利き手に応じた銃アイコン２６６３を生成し、仮想利き手として特定された仮想左手１５２１Ｌから独立した状態で、第３仮想空間２６１１における仮想左手１５２１Ｌ側に配置する。これにより、銃アイコン２６６３はＵＩボード２６６０の右側（ＵＩボード２６６０の正面に向かって左側）に、ＵＩボード２６６０から一定距離を置いて配置される。プロセッサ２１０は、さらに、仮想非利き手に応じた剣アイコン２６６４を生成し、仮想非利き手として特定された仮想左手１５２１Ｌから独立した状態で、第３仮想空間２６１１における仮想左手１５２１Ｌ側に配置する。これにより、剣アイコン２６６４は、ＵＩボード２６６０の左側（ＵＩボード２６６０の正面に向かって右側）に、ＵＩボード２６６０から一定距離を置いて配置される。
FIG. 32 is a diagram showing a third
図３２（Ａ）に示す第３仮想空間２６１１において、視界領域１５の範囲内に、ＵＩボード２６６０、銃アイコン２６６３、および剣アイコン２６６４が配置される。プロセッサ２１０は、例えば、図３２（Ａ）に示す第３仮想空間２６１１に対応する視界画像３２１７を、図３２（Ｂ）に示すようにモニタ１３０に表示する。視界画像３２１７は、視界領域１５の範囲内に配置されるＵＩボード２６６０、銃アイコン２６６３、および剣アイコン２６６４を含む。ユーザ５は、視界画像３２１７を視認することによって、戦闘ゲームにおいて使用可能な銃オブジェクト１５４１および剣オブジェクト１５４２をアバターオブジェクト６に設定するために、ＵＩボード２６６０を用いる必要があることを認識する。
In the third
図３３は、ある実施の形態に従う第３仮想空間２６１１および視界画像３３１７を示す図である。ユーザ５は、利き手である左手を動かすことによって、仮想左手１５２１Ｌで銃アイコン２６６３を把持する。ユーザ５は、左手をさらに動かすことによって、仮想左手１５２１Ｌに把持された銃アイコン２６６３を動かし、さらに、左配置領域２６６２Ｌに銃アイコン２６６３を配置する。プロセッサ２１０は、仮想左手１５２１Ｌに銃アイコン２６６３が配置された場合、アバターオブジェクト６における仮想左手１５２１Ｌに、銃アイコン２６６３が示す銃オブジェクト１５４１を関連付ける。
FIG. 33 is a diagram showing a third
プロセッサ２１０は、例えば、図３３（Ａ）に示す第３仮想空間２６１１に対応する視界画像３３１７を、図３３（Ｂ）に示すようにモニタ１３０に表示する。ユーザ５は、視界画像３３１７を視認することによって、ＵＩボード２６６０における左配置領域２６６２Ｌに銃アイコン２６６３が配置されたことを認識する。
For example, the
図示しないが、ユーザ５は、銃アイコン２６６３を左配置領域２６６２Ｌに配置した後、左手を動かすことによって、仮想左手１５２１Ｌで剣アイコン２６６４を把持する。ユーザ５は、左手をさらに動かすことによって、仮想左手１５２１Ｌに把持された剣アイコン２６６４を動かし、さらに、右配置領域２６６２Ｒに剣オブジェクト１５４２を配置させる。プロセッサ２１０は、右配置領域２６６２Ｒに剣アイコン２６６４が配置された場合、アバターオブジェクト６における右領域２３２２Ｒに、剣アイコン２６６４が示す剣オブジェクト１５４２を関連付ける。
Although not shown, the
図３２の例では、第３仮想空間２６１１において、銃アイコン２６６３は、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌのうち仮想左手１５２１Ｌの方により近い位置に配置される。これにより、ユーザ５が利き手（左手）に対応する仮想左手１５２１Ｌを操作して銃アイコン２６６３を把持するように、ユーザ５を自然に誘導することできる。銃アイコン２６６３は、さらに、ＵＩボード２６６０における右配置領域２６６２Ｒおよび左配置領域２６６２Ｌのうち左配置領域２６６２Ｌの方により近い位置に配置される。これにより、ユーザ５が仮想左手１５２１Ｌを操作することによって銃アイコン２６６３をＵＩボード２６６０における左配置領域２６６２Ｌに配置するように、ユーザを自然に誘導することができる。これらの結果、仮想利き手に対応する銃オブジェクト１５４１が、アバターオブジェクト６における左肩部分（左領域２３２２Ｌ）に関連付けられる可能性を、高めることができる。
In the example of FIG. 32, in the third
銃オブジェクト１５４１および剣オブジェクト１５４２の関連付けが完了すると、戦闘ゲームが開始される。第２仮想空間２０１１において、アバターオブジェクト６における左領域２３２２Ｌに銃オブジェクト１５４１が関連付けられ、アバターオブジェクト６の右領域２３２２Ｒに剣オブジェクト１５４２が関連付けられている。ユーザ５は、左手を動かすことによって、仮想左手１５２１Ｌで銃オブジェクト１５４１を把持する。ユーザ５は、左手をさらに動かすことによって、仮想左手１５２１Ｌに把持された銃オブジェクト１５４１で敵オブジェクト１５３１を攻撃する。
When the association between the
このように、戦闘ゲームの開始後、ユーザ５が仮想左手１５２１Ｌで銃オブジェクト１５４１を把持するように、ユーザ５を自然に誘導することができる。ユーザ５が仮想左手１５２１Ｌに銃オブジェクト１５４１を把持した場合、ユーザ５は、利き手である左手を動かすことによって、剣オブジェクト１５４２よりも扱いが難しい銃オブジェクト１５４１を容易に扱うことができる。したがって、ユーザ５は、戦闘ゲームをより有利に進めることができる。
Thus, after the start of the battle game, the
本実施形態において、プロセッサ２１０は、仮想利き手として仮想右手１５２１Ｒを特定した場合、仮想利き手の判定結果に応じた銃アイコン２６６３を、第３仮想空間２６１１における仮想右手１５２１Ｒ側に配置する。一方、プロセッサ２１０は、仮想利き手として仮想左手１５２１Ｌを特定した場合、仮想利き手の判定結果に応じた銃アイコン２６６３を、第３仮想空間２６１１における仮想左手１５２１Ｌ側に配置する。いずれの場合も、プロセッサ２１０は、仮想利き手の判定結果に応じた銃アイコン２６６３を、第３仮想空間２６１１における適切な位置に配置することができる。
In the present embodiment, when the
本実施形態において、第１仮想空間１７１１および第３仮想空間２６１１は、同一の仮想空間であってもよい。言い換えると、プロセッサ２１０は、第１仮想空間１７１１にＵＩパネル１７５０およびＵＩボード２６６０を両方とも配置することができる。プロセッサ２１０は、例えば、ＵＩボード２６６０をＵＩパネル１７５０の右側（ＵＩパネル１７５０の正面に向かって左側）に配置する。プロセッサ２１０は、ユーザ５がＵＩボード２６６０を用いる前の任意の時点で、ユーザ５の右手の動きおよび左手の動きに基づいて、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌのうち一方を、仮想利き手として事前に特定する。プロセッサ２１０は、さらに、仮想右手１５２１Ｒおよび仮想左手１５２１Ｌのうち他方を、仮想非利き手として事前に特定する。プロセッサ２１０は、仮想利き手の特定結果に応じた銃アイコン２６６３を、第１仮想空間１７１１におけるＵＩボード２６６０の左側（ＵＩボード２６６０の正面に向かって右側）に配置する。プロセッサ２１０は、仮想非利き手に特定結果に応じた剣アイコン２６６４を、第１仮想空間１７１１におけるＵＩボード２６６０の右側（ＵＩボード２６６０の正面に向かって左側）に配置する。プロセッサ２１０は、ユーザ５の頭部の動きに応じて仮想カメラ１４の向きを変更する。これにより第１仮想空間１７１１における視界領域１５の位置も変更される。視界領域１５に新たにＵＩボード２６６０、および銃アイコン２６６３、および剣アイコン２６６４が含まれると、ユーザ５は、第１仮想空間１７１１においてＵＩボード２６６０の使用を開始することができる。
In the present embodiment, the first
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。 As mentioned above, although embodiment of this indication was described, the technical scope of this invention should not be limitedly interpreted by description of this embodiment. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalents thereof.
第１仮想空間１７１１および第２仮想空間２０１１は、同一の仮想空間であってもよい。言い換えれば、プロセッサ２１０は、第１仮想空間１７１１において戦闘ゲームをユーザ５にプレイさせることもできる。
The first
ユーザ５の身体の右側の一部を構成する第１部位は、右手に限らず、例えば右足でもよい。ユーザ５の身体の左側の一部を構成する第２部位は、左手に限らず、例えば右足でもよい。プロセッサ２１０は、ユーザ５の右足の動きを検出し、その動きに応じてアバターオブジェクト６の仮想右足を動かすことができる。仮想右足は操作オブジェクトの一種であり、ユーザ５の右足に対応する。プロセッサ２１０は、ユーザ５の左足の動きを検出し、その動きに応じてアバターオブジェクト６の仮想左足を動かすことができる。仮想左足は操作オブジェクトの一種であり、ユーザ５の左足に対応する。プロセッサ２１０は、ユーザ５の右足および左足の動きに基づいて、仮想右足および仮想左足のうち一方を、ユーザ５の利き足に対応する仮想利き足として特定する。プロセッサ２１０は、さらに、仮想右足および仮想左足のうち一方を、ユーザ５の非利き足に対応する仮想非利き足として特定する。
The 1st site | part which comprises a part of right side of the user's 5 body is not restricted to a right hand, For example, a right leg may be sufficient. The 2nd site | part which comprises a part of left side of the user's 5 body is not restricted to a left hand, For example, a right leg may be sufficient. The
プロセッサ２１０は、ユーザ５の右足および左足の動きに基づいて、ユーザ５の利き足に対応する仮想利き足を特定することができる。プロセッサ２１０は、例えばＵＩパネル１７５０の選択肢１７５１が仮想右足で選択された場合、仮想右足を仮想利き足として特定する。プロセッサ２１０は、例えばＵＩパネル１７５０の選択肢１７５１が仮想左足で選択された場合、仮想左足を仮想利き足として特定する。プロセッサ２１０は、仮想利き足の特定結果に応じた付加オブジェクトを、第１仮想空間１７１１に配置する。プロセッサ２１０は、例えば仮想利き足として仮想右足を特定した場合、仮想足の能力を高めるゲームアイテムを生成し、仮想右足に関連付けて第１仮想空間１７１１に配置する。これにより、ゲーム中にユーザ５がよく使う仮想右足の能力が高められるので、ユーザ５はゲームを有利に進めることができる。
The
ユーザ５がＵＩパネル１７５０を選択するための右コントローラ３００Ｒの操作には、右コントローラ３００Ｒの位置を変更することに加えて、右コントローラ３００Ｒの何れかのボタンを押下することが含まれても良い。プロセッサ２１０は、例えば、仮想レーザー光を照射するレーザーポインタオブジェクトを第１仮想空間１７１１に配置する。ユーザ５は、右手を動かすことによって、仮想レーザー光を照射中のレーザーポインタオブジェクトを、例えば仮想右手１５２１Ｒで把持する。ユーザ５は、さらに、右手を動かすことによって、仮想レーザー光がＵＩパネル１７５０の選択肢１７５１に照射される位置までに、レーザーポインタオブジェクトを把持した仮想左手１５２１Ｌを仮想空間１１において動かす。ユーザ５は、さらに、仮想レーザー光がＵＩパネル１７５０の選択肢１７５１に照射される状態で、右コントローラ３００Ｒのいずれかのボタンを押下する。プロセッサ２１０は、このボタン押下に基づいて、仮想右手１５２１ＲによるＵＩパネル１７５０の選択を検出する。プロセッサ２１０は、この検出に基づいて、仮想右手１５２１Ｒを仮想利き手として特定する。同様のことは、左コントローラ３００Ｌの操作にも当てはまる。
The operation of the
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
[Additional Notes]
The contents according to one aspect of the present invention are listed as follows.
（項目１） プログラムを説明した。本開示のある局面によれば、プログラムは、ユーザに仮想体験を提供するために、プロセッサ２１０を備えたコンピュータ２００によって実行される。プログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間（第１仮想空間１７１１）を定義するステップ（Ｓ１６０１）と、仮想空間に第１操作オブジェクト（仮想右手１５２１Ｒ）および第２操作オブジェクト（仮想左手１５２１Ｌ）を配置するステップ（Ｓ１６０３）と、ユーザの身体の右側の一部を構成する第１部位の動きを検出するステップ（Ｓ１６０７）と、ユーザの身体の左側の一部を構成する第２部位の動きを検出するステップ（Ｓ１６０８）と、第１部位の動きに応じて、第１操作オブジェクトを動かすステップと、第２部位の動きに応じて、第２操作オブジェクトを動かすステップと、第１部位の動きおよび第２部位の動きに応じて、第１操作オブジェクトおよび第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップ（Ｓ１６１２）と、利き操作オブジェクトの特定結果に応じた付加オブジェクト（銃オブジェクト１５４１、剣オブジェクト１５４２）を、仮想空間（第２仮想空間２０１１）に配置するステップ（Ｓ１９０５、Ｓ１９０６）とを実行させる。
(Item 1) The program was explained. According to certain aspects of the present disclosure, the program is executed by a
（項目２） （項目１）において、プログラムは、プロセッサに、仮想空間にＵＩパネル１７５０を配置するステップと、第１部位の動きまたは第２部位の動きに基づいて、第１操作オブジェクトまたは第２操作オブジェクトによるＵＩオブジェクトの選択を受け付けるステップとをさらに実行させ、特定するステップにおいて、第１操作オブジェクトおよび第２操作オブジェクトのうちＵＩオブジェクトの選択に使用された操作オブジェクトを、利き操作オブジェクトとして特定する。
(Item 2) In (Item 1), the program arranges the
（項目３） （項目１）または（項目２）において、付加オブジェクトを配置するステップにおいて、利き操作オブジェクトに応じた第１付加オブジェクトを、利き操作オブジェクトに関連付けて仮想空間に配置する。 (Item 3) In (Item 1) or (Item 2), in the step of arranging the additional object, the first additional object corresponding to the dominant operation object is arranged in the virtual space in association with the dominant operation object.
（項目４） （項目３）において、特定するステップにおいて、第１操作オブジェクトおよび第２操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、付加オブジェクトを配置するステップにおいて、非利き操作オブジェクトに応じた第２付加オブジェクトを、非利き操作オブジェクトに関連付けて仮想空間に配置する。 (Item 4) In (Item 3), in the specifying step, the other of the first operation object and the second operation object is specified as a non-dominant operation object, and in the step of arranging the additional object, the non-dominant operation object is determined. The corresponding second additional object is arranged in the virtual space in association with the non-dominant operation object.
（項目５） （項目１）または（項目２）において、付加オブジェクトを配置するステップにおいて、利き操作オブジェクトに応じた第１付加オブジェクトを、仮想空間（第３仮想空間２６１１）における利き操作オブジェクト側の位置に、利き操作オブジェクトから独立した状態で配置する。 (Item 5) In (Item 1) or (Item 2), in the step of arranging the additional object, the first additional object corresponding to the dominant operation object is assigned to the dominant operation object side in the virtual space (third virtual space 2611). Arranged in a position independent of the dominant operation object.
（項目６） （項目５）において、特定するステップにおいて、第１操作オブジェクトおよび第２操作オブジェクトのうち他方を、非利き操作オブジェクトとして特定し、付加オブジェクトを配置するステップにおいて、非利き操作オブジェクトに応じた第２付加オブジェクトを、仮想空間における非利き操作オブジェクト側の位置に、非利き操作オブジェクトから独立した状態で配置する。 (Item 6) In (Item 5), in the specifying step, the other of the first operation object and the second operation object is specified as a non-dominant operation object, and in the step of arranging the additional object, the non-dominant operation object is determined. The corresponding second additional object is arranged at a position on the non-dominant operation object side in the virtual space in a state independent of the non-dominant operation object.
（項目７） （項目５）または（項目６）において、プログラムは、プロセッサに、仮想空間（第３仮想空間２６１１）にアバターオブジェクト６を配置するステップ（Ｓ）と、仮想空間に、アバターオブジェクトの身体の右側の一部に設定される第１領域に対応する第１配置領域と、アバターオブジェクトの身体の左側の一部に設定される第２領域に対応する第２配置領域とを含む第２ＵＩオブジェクトを配置するステップと、第１部位または第２部位の動きに基づいて、第１操作オブジェクトまたは第２操作オブジェクトによって第１付加オブジェクトを動かし、さらに、第１付加オブジェクトを第１配置領域または第２配置領域に配置するステップと、第１配置領域に第１付加オブジェクトが配置された場合、アバターオブジェクトにおける第１領域に、第１付加オブジェクトが示す第１付随オブジェクトを関連付けるステップと、第２配置領域に第１付加オブジェクトが配置された場合、アバターオブジェクトにおける第２領域に、第１付加オブジェクトが示す第１付随オブジェクトを関連付けるステップとをさらに実行させる。
(Item 7) In (Item 5) or (Item 6), the program places the
（項目８） （項目１）〜（項目７）のいずれにおいて、第１部位の動きを検出するステップにおいて、第１部位に関連付けられた第１コントローラ（右コントローラ３００Ｒ）の出力に基づいて、第１部位の動きを検出し、第２部位の動きを検出するステップにおいて、第２部位に関連付けられた第２コントローラ（左コントローラ３００Ｌ）の出力に基づいて、第２部位の動きを検出する。
(Item 8) In any of (Item 1) to (Item 7), in the step of detecting the movement of the first part, based on the output of the first controller (
（項目９） （項目１）〜（項目８）のいずれにおいて、プログラムは、プロセッサに、ユーザの頭部の姿勢と仮想空間における仮想視点の位置とに応じて、仮想空間における仮想視点からの視界（視界領域１５）を制御するステップと、仮想視点からの視界に対応する視界画像１７を定義するステップと、ユーザの頭部に関連付けられた画像表示装置（ＨＭＤ１２０）に視界画像１５１７を出力するステップとをさらに実行させる。
(Item 9) In any one of (Item 1) to (Item 8), the program causes the processor to view from the virtual viewpoint in the virtual space according to the posture of the user's head and the position of the virtual viewpoint in the virtual space. A step of controlling the (view field 15), a step of defining a
（項目１０） 情報処理装置を説明した。本開示のある局面によると、情報処理装置（コンピュータ２００）は、ユーザの頭部に関連付けられた画像表示装置（ＨＭＤ１２０）と、情報処理装置によって実行されるプログラムを記憶する記憶部（ストレージ２３０）と、情報処理装置の動作を制御する制御部（プロセッサ２１０）と、を備えている。制御部は、仮想体験をユーザに提供するための仮想空間（第１仮想空間１７１１）を定義し、仮想空間に第１操作オブジェクト（仮想右手１５２１Ｒ）および第２操作オブジェクト（仮想左手１５２１Ｌ）を配置し、ユーザの身体の右側の一部を構成する第１部位の動きを検出し、ユーザの身体の左側の一部を構成する第２部位の動きを検出し、第１部位の動きに応じて、第１操作オブジェクトを動かし、第２部位の動きに応じて、第２操作オブジェクトを動かし、第１部位の動きおよび第２部位の動きに応じて、第１操作オブジェクトおよび第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定し、利き操作オブジェクトの特定結果に応じた付加オブジェクト（銃オブジェクト１５４１、剣オブジェクト１５４２）を、仮想空間（第２仮想空間２０１１）に配置する。
(Item 10) The information processing apparatus has been described. According to an aspect of the present disclosure, the information processing device (computer 200) includes an image display device (HMD 120) associated with the user's head and a storage unit (storage 230) that stores a program executed by the information processing device. And a control unit (processor 210) for controlling the operation of the information processing apparatus. The control unit defines a virtual space (first virtual space 1711) for providing a virtual experience to the user, and arranges the first operation object (virtual
（項目１１） プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、ユーザ５の頭部に関連付けられた画像表示装置（ＨＭＤ１２０）を介して仮想体験をユーザに提供するために、プロセッサ２１０を備えたコンピュータ２００によって実行される。プログラムは、プロセッサが、仮想体験をユーザに提供するための仮想空間（第１仮想空間１７１１）を定義するステップ（Ｓ１６０１）と、仮想空間に第１操作オブジェクト（仮想右手１５２１Ｒ）および第２操作オブジェクト（仮想左手１５２１Ｌ）を配置するステップ（Ｓ１６０３）と、ユーザの身体の右側の一部を構成する第１部位の動きを検出するステップ（Ｓ１６０７）と、ユーザの身体の左側の一部を構成する第２部位の動きを検出するステップ（Ｓ１６０８）と、第１部位の動きに応じて、第１操作オブジェクトを動かすステップと、第２部位の動きに応じて、第２操作オブジェクトを動かすステップと、第１部位の動きおよび第２部位の動きに応じて、第１操作オブジェクトおよび第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップ（Ｓ１６１２）と、利き操作オブジェクトの特定結果に応じた付加オブジェクト（銃オブジェクト１５４１、剣オブジェクト１５４２）を、仮想空間（第２仮想空間２０１１）に配置するステップ（Ｓ１９０５、Ｓ１９０６）と、を含む。
(Item 11) A method for executing a program has been described. According to certain aspects of the present disclosure, the program is executed by a
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the embodiment described above, the virtual space (VR space) in which the user is immersed by the HMD has been described as an example. However, a transmissive HMD may be adopted as the HMD. In this case, an augmented reality (AR) space or a mixed reality (AR) space or a mixed reality (AR) is output by outputting a view field image obtained by synthesizing a part of an image constituting a virtual space to a real space visually recognized by a user via a transmissive HMD. A virtual experience in an MR (Mixed Reality) space may be provided to the user. In this case, instead of the operation object, an action on the target object in the virtual space may be generated based on the movement of the user's hand. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space and define the position of the target object in the virtual space in relation to the coordinate information in the real space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and can execute processing corresponding to the above-described collision control or the like between the user's hand and the target object. . As a result, it is possible to act on the target object based on the movement of the user's hand.
２ ネットワーク、１１，１１Ａ，１１Ｂ，１１Ｃ 仮想空間、５，５Ａ，５Ｂ，５Ｃ、５Ｄ ユーザ、６Ａ，６Ｂ，６Ｃ アバターオブジェクト、１１ 仮想空間、１２ 中心、１３ パノラマ画像、１４，１４Ａ 仮想カメラ、１５ 視界領域、１６ 基準視線、１７，１７Ａ 視界画像、１８，１９ 領域、１００ ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ ＨＭＤセット、１２０，１２０Ａ，１２０Ｂ，ＨＭＤ、１３０，１３０Ａ モニタ、１４０，１４０ 注視センサ、１５０ 第１カメラ、１６０ 第２カメラ、１７０，１７０Ａ マイク、１８０，１８０Ａ，１８０Ｂ スピーカ、１９０ センサ、２００，２００Ａ，２００Ｂ コンピュータ、２１０，２１０Ａ、２１０Ｂ，２１０Ｃ，６１０ プロセッサ、２２０，６２０ メモリ、２３０，６３０ ストレージ、２４０，６４０ 入出力インターフェイス、２５０，６５０ 通信インターフェイス、２６０，６６０ バス、３００，３００Ｂ コントローラ、３００Ｒ 右コントローラ、３１０ グリップ、３２０ フレーム、３３０ 天面、３４０，３４０，３５０，３７０，３８０ ボタン、３６０ 赤外線ＬＥＤ、３９０ アナログスティック、４１０ ＨＭＤセンサ、４２０，４２０Ａ モーションセンサ、４３０ ディスプレイ、５１０ コントロールモジュール、５２０ レンダリングモジュール、５３０ メモリモジュール、５４０ 通信制御モジュール、６００ サーバ、７００ 外部機器、１４２１ 仮想オブジェクト生成モジュール、１４２２ 仮想カメラ制御モジュール、１４２３ 操作オブジェクト制御モジュール、１４２４ 衝突検出モジュール、１４２５ 仮想利き手特定モジュール、１７１７，１８１７，２０１７，２１１７，２２１７，２４１７，２６１７，２７１７，２８１７，２９１７，３０１７，３１１７，３２１７，３３１７ 視界画像、１５２１Ｌ 仮想左手、１５２１Ｒ 仮想右手、１５３１ 敵オブジェクト、１５４１ 銃オブジェクト、１５４２ 剣オブジェクト、１７１１ 第１仮想空間、１７５０ ＵＩパネル、１７５１，１７５２ 選択肢、１７５３，１７５４ ペンオブジェクト、２０１１ 第２仮想空間、２３２２Ｌ 左領域、２３２２Ｒ 右領域、２６１１ 第３仮想空間、２６６０ ＵＩボード、２６６１ アバターモデル、２６６２Ｌ 左配置領域、２６６２Ｒ 右配置領域、２６６３ 銃アイコン、２６６４ 剣アイコン 2 network, 11, 11A, 11B, 11C virtual space, 5, 5A, 5B, 5C, 5D user, 6A, 6B, 6C avatar object, 11 virtual space, 12 center, 13 panoramic image, 14, 14A virtual camera, 15 Field of View, 16 Reference Line of Sight, 17, 17A Field of View Image, 18, 19 Region, 100 HMD System, 110, 110A, 110B, 110C, 110D HMD Set, 120, 120A, 120B, HMD, 130, 130A Monitor, 140, 140 Gaze sensor, 150 First camera, 160 Second camera, 170, 170A Microphone, 180, 180A, 180B Speaker, 190 sensor, 200, 200A, 200B Computer, 210, 210A, 210B, 210C, 610 Processor, 22 0,620 memory, 230,630 storage, 240,640 input / output interface, 250,650 communication interface, 260,660 bus, 300,300B controller, 300R right controller, 310 grip, 320 frame, 330 top, 340,340 , 350, 370, 380 buttons, 360 infrared LED, 390 analog stick, 410 HMD sensor, 420, 420A motion sensor, 430 display, 510 control module, 520 rendering module, 530 memory module, 540 communication control module, 600 server, 700 External device, 1421 Virtual object generation module, 1422 Virtual camera control module, 1423 Project control module, 1424 collision detection module, 1425 virtual dominant hand identification module, 1717, 1817, 2017, 2117, 2217, 2417, 2617, 2717, 2817, 2917, 3017, 3117, 3217, 3317 Visibility image, 1521L virtual left hand, 1521R Virtual right hand, 1531 Enemy object, 1541 Gun object, 1542 Sword object, 1711 First virtual space, 1750 UI panel, 1751, 1752 Options, 1753, 1754 Pen object, 2011 Second virtual space, 2322L Left area, 2322R Right area, 2611 3rd virtual space, 2660 UI board, 2661 avatar model, 2662L left arrangement area, 2662R right arrangement area, 2663 gun icon, 2 664 sword icon
Claims (11)
前記プログラムは、前記プロセッサに、
前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
前記仮想空間に第１操作オブジェクトおよび第２操作オブジェクトを配置するステップと、
前記ユーザの身体の右側の一部を構成する第１部位の動きを検出するステップと、
前記ユーザの身体の左側の一部を構成する第２部位の動きを検出するステップと、
前記第１部位の動きに応じて、前記第１操作オブジェクトを動かすステップと、
前記第２部位の動きに応じて、前記第２操作オブジェクトを動かすステップと、
前記第１部位の動きおよび前記第２部位の動きに応じて、前記第１操作オブジェクトおよび前記第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、
前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置するステップとを実行させる、プログラム。 A program executed by a computer with a processor to provide a virtual experience to a user,
The program is stored in the processor.
Defining a virtual space for providing the virtual experience to the user;
Arranging a first operation object and a second operation object in the virtual space;
Detecting a movement of a first part constituting a part of the right side of the user's body;
Detecting a movement of a second part constituting a part of the left side of the user's body;
Moving the first operation object in accordance with the movement of the first part;
Moving the second operation object in accordance with the movement of the second part;
Identifying one of the first operation object and the second operation object as a dominant operation object corresponding to a user's dominant part according to the movement of the first part and the movement of the second part;
A program for executing an additional object corresponding to a result of specifying the dominant operation object in the virtual space.
前記仮想空間にＵＩオブジェクトを配置するステップと、
前記第１部位の動きまたは前記第２部位の動きに基づいて、前記第１操作オブジェクトまたは第２操作オブジェクトによる前記ＵＩオブジェクトの選択を受け付けるステップとをさらに実行させ、
前記特定するステップにおいて、前記第１操作オブジェクトおよび前記第２操作オブジェクトのうち前記ＵＩオブジェクトの選択に使用された操作オブジェクトを、前記利き操作オブジェクトとして特定する、請求項１に記載のプログラム。 The program is stored in the processor.
Placing a UI object in the virtual space;
Receiving the selection of the UI object by the first operation object or the second operation object based on the movement of the first part or the movement of the second part; and
The program according to claim 1, wherein in the specifying step, an operation object used for selecting the UI object among the first operation object and the second operation object is specified as the dominant operation object.
前記付加オブジェクトを配置するステップにおいて、前記非利き操作オブジェクトに応じた第２付加オブジェクトを、前記非利き操作オブジェクトに関連付けて前記仮想空間に配置する、請求項３に記載のプログラム。 In the specifying step, the other of the first operation object and the second operation object is specified as a non-dominant operation object,
The program according to claim 3, wherein, in the step of arranging the additional object, a second additional object corresponding to the non-dominant operation object is arranged in the virtual space in association with the non-dominant operation object.
前記付加オブジェクトを配置するステップにおいて、前記非利き操作オブジェクトに応じた第２付加オブジェクトを、前記仮想空間における前記非利き操作オブジェクト側の位置に、前記非利き操作オブジェクトから独立した状態で配置する請求項５に記載のプログラム。 In the specifying step, the other of the first operation object and the second operation object is specified as a non-dominant operation object,
In the step of arranging the additional object, a second additional object corresponding to the non-dominant operation object is arranged in a position independent of the non-dominant operation object at a position on the non-dominant operation object side in the virtual space. Item 6. The program according to item 5.
前記仮想空間にアバターオブジェクトを配置するステップと、
前記仮想空間に、前記アバターオブジェクトの身体の右側の一部に設定される第１領域に対応する第１配置領域と、前記アバターオブジェクトの身体の左側の一部に設定される第２領域に対応する第２配置領域とを含む第２ＵＩオブジェクトを配置するステップと、
前記第１部位または前記第２部位の動きに基づいて、前記第１操作オブジェクトまたは前記第２操作オブジェクトによって前記第１付加オブジェクトを動かし、さらに、前記第１付加オブジェクトを前記第１配置領域または前記第２配置領域に配置するステップと、
前記第１配置領域に前記第１付加オブジェクトが配置された場合、前記アバターオブジェクトにおける第１領域に、前記第１付加オブジェクトが示す第１付随オブジェクトを関連付けるステップと、
前記第２配置領域に前記第１付加オブジェクトが配置された場合、前記アバターオブジェクトにおける第２領域に、前記第１付加オブジェクトが示す第１付随オブジェクトを関連付けるステップとをさらに実行させる、請求項５または６に記載のプログラム。 The program is stored in the processor.
Placing an avatar object in the virtual space;
Corresponding to a first arrangement area corresponding to a first area set in a part on the right side of the body of the avatar object and a second area set in a part on the left side of the body of the avatar object in the virtual space Placing a second UI object including a second placement area to be
Based on the movement of the first part or the second part, the first additional object is moved by the first operation object or the second operation object, and the first additional object is moved to the first arrangement area or the Placing in the second placement region;
Associating the first additional object indicated by the first additional object with the first area of the avatar object when the first additional object is arranged in the first arrangement area;
The step of associating the first additional object indicated by the first additional object with the second area of the avatar object is further executed when the first additional object is arranged in the second arrangement area. 6. The program according to 6.
前記第２部位の動きを検出するステップにおいて、前記第２部位に関連付けられた第２コントローラの出力に基づいて、前記第２部位の動きを検出する、請求項１〜７のいずれか１項に記載のプログラム。 Detecting the movement of the first part in the step of detecting the movement of the first part based on the output of the first controller associated with the first part;
In the step of detecting the movement of the second part, the movement of the second part is detected based on the output of the second controller associated with the second part. The listed program.
前記ユーザの頭部の姿勢と前記仮想空間における仮想視点の位置とに応じて、前記仮想空間における前記仮想視点からの視界を制御するステップと、
前記仮想視点からの前記視界に対応する視界画像を定義するステップと、
前記ユーザの頭部に関連付けられた画像表示装置に前記視界画像を出力するステップとをさらに実行させる、請求項１〜８のいずれか１項に記載のプログラム。 The program is stored in the processor.
Controlling the field of view from the virtual viewpoint in the virtual space according to the posture of the user's head and the position of the virtual viewpoint in the virtual space;
Defining a view image corresponding to the view from the virtual viewpoint;
The program of any one of Claims 1-8 which further performs the step which outputs the said visual field image to the image display apparatus linked | related with the said user's head.
前記情報処理装置は、
ユーザの頭部に関連付けられた画像表示装置と、
前記画像表示装置を介して仮想体験を前記ユーザに提供するために、プロセッサを備えたコンピュータによって実行されるプログラムを記憶する記憶部と、
前記情報処理装置の動作を制御する制御部と、を備え、
前記制御部は、
前記仮想体験を前記ユーザに提供するための仮想空間を定義し、
前記仮想空間に第１操作オブジェクトおよび第２操作オブジェクトを配置し、
前記ユーザの身体の右側の一部を構成する第１部位の動きを検出し、
前記ユーザの身体の左側の一部を構成する第２部位の動きを検出し、
前記第１部位の動きに応じて、前記第１操作オブジェクトを動かし、
前記第２部位の動きに応じて、前記第２操作オブジェクトを動かし、
前記第１部位の動きおよび前記第２部位の動きに応じて、前記第１操作オブジェクトおよび前記第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定し、
前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置する、情報処理装置。 An information processing apparatus,
The information processing apparatus includes:
An image display device associated with the user's head;
A storage unit for storing a program executed by a computer having a processor to provide a virtual experience to the user via the image display device;
A control unit for controlling the operation of the information processing apparatus,
The controller is
Defining a virtual space for providing the virtual experience to the user;
Arranging a first operation object and a second operation object in the virtual space;
Detecting a movement of a first part constituting a part of the right side of the user's body;
Detecting a movement of a second part constituting a part of the left side of the user's body;
According to the movement of the first part, the first operation object is moved,
Moving the second operation object in accordance with the movement of the second part;
According to the movement of the first part and the movement of the second part, one of the first operation object and the second operation object is specified as a dominant operation object corresponding to a user's dominant part,
An information processing apparatus that arranges an additional object according to a result of specifying the dominant operation object in the virtual space.
前記プログラムは、前記プロセッサが、
前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
前記仮想空間に第１操作オブジェクトおよび第２操作オブジェクトを配置するステップと、
前記ユーザの身体の右側の一部を構成する第１部位の動きを検出するステップと、
前記ユーザの身体の左側の一部を構成する第２部位の動きを検出するステップと、
前記第１部位の動きに応じて、前記第１操作オブジェクトを動かすステップと、
前記第２部位の動きに応じて、前記第２操作オブジェクトを動かすステップと、
前記第１部位の動きおよび前記第２部位の動きに応じて、前記第１操作オブジェクトおよび前記第２操作オブジェクトのうち一方を、ユーザの利き部位に対応する利き操作オブジェクトとして特定するステップと、
前記利き操作オブジェクトの特定結果に応じた付加オブジェクトを、前記仮想空間に配置するステップと、を含む、方法。 A method in which a computer with a processor executes a program to provide a virtual experience to the user via an image display device associated with the user's head comprising:
The program is executed by the processor,
Defining a virtual space for providing the virtual experience to the user;
Arranging a first operation object and a second operation object in the virtual space;
Detecting a movement of a first part constituting a part of the right side of the user's body;
Detecting a movement of a second part constituting a part of the left side of the user's body;
Moving the first operation object in accordance with the movement of the first part;
Moving the second operation object in accordance with the movement of the second part;
Identifying one of the first operation object and the second operation object as a dominant operation object corresponding to a user's dominant part according to the movement of the first part and the movement of the second part;
Placing an additional object in the virtual space according to the result of specifying the dominant operation object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018029840A JP6458179B1 (en) | 2018-02-22 | 2018-02-22 | Program, information processing apparatus, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018029840A JP6458179B1 (en) | 2018-02-22 | 2018-02-22 | Program, information processing apparatus, and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018239645A Division JP2019145084A (en) | 2018-12-21 | 2018-12-21 | Program, information processing device, and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6458179B1 JP6458179B1 (en) | 2019-01-23 |
| JP2019144942A true JP2019144942A (en) | 2019-08-29 |
Family
ID=65037004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018029840A Active JP6458179B1 (en) | 2018-02-22 | 2018-02-22 | Program, information processing apparatus, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6458179B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11989811B2 (en) | 2021-10-29 | 2024-05-21 | Gree, Inc. | Information processing system, information processing method, and computer program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007296199A (en) * | 2006-05-01 | 2007-11-15 | Square Enix Co Ltd | Video game processor, video game processing method, and video game processing program |
| JP2011215920A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
| JP2012236095A (en) * | 2012-09-11 | 2012-12-06 | Sega Corp | Game apparatus, controller, program, and recording medium |
| JP2015502816A (en) * | 2011-12-05 | 2015-01-29 | レッドダック インコーポレーテッドＲＥＤＤＵＣＫ Ｉｎｃ． | Dual mode weapon delivery system, method and computer readable recording medium for online first person shooter |
| JP6220937B1 (en) * | 2016-08-26 | 2017-10-25 | 株式会社コロプラ | Information processing method, program for causing computer to execute information processing method, and computer |
-
2018
- 2018-02-22 JP JP2018029840A patent/JP6458179B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007296199A (en) * | 2006-05-01 | 2007-11-15 | Square Enix Co Ltd | Video game processor, video game processing method, and video game processing program |
| JP2011215920A (en) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
| JP2015502816A (en) * | 2011-12-05 | 2015-01-29 | レッドダック インコーポレーテッドＲＥＤＤＵＣＫ Ｉｎｃ． | Dual mode weapon delivery system, method and computer readable recording medium for online first person shooter |
| JP2012236095A (en) * | 2012-09-11 | 2012-12-06 | Sega Corp | Game apparatus, controller, program, and recording medium |
| JP6220937B1 (en) * | 2016-08-26 | 2017-10-25 | 株式会社コロプラ | Information processing method, program for causing computer to execute information processing method, and computer |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11989811B2 (en) | 2021-10-29 | 2024-05-21 | Gree, Inc. | Information processing system, information processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6458179B1 (en) | 2019-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6244593B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6263252B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6392911B2 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
| US20180357817A1 (en) | Information processing method, program, and computer | |
| JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| US20180348987A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
| JP2018089228A (en) | Information processing method, apparatus, and program for implementing that information processing method on computer | |
| JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| JP2018124981A (en) | Information processing method, information processing device and program causing computer to execute information processing method | |
| JP6368404B1 (en) | Information processing method, program, and computer | |
| JP2019032844A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP6457446B2 (en) | Method and apparatus for supporting communication in virtual space, and program for causing computer to execute the method | |
| JP2019133309A (en) | Program, information processor and information processing method | |
| JP2020161168A (en) | Program, information processing method, and information processing device | |
| JP6458179B1 (en) | Program, information processing apparatus, and method | |
| JP7192151B2 (en) | Program, information processing device, and information processing method | |
| JP2018092635A (en) | Information processing method, device, and program for implementing that information processing method on computer | |
| JP2019168962A (en) | Program, information processing device, and information processing method | |
| JP2018032384A (en) | Method and device for assisting communication in virtual space and program enabling computer to execute method | |
| JP2019020836A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP2019155115A (en) | Program, information processor and information processing method | |
| JP2019145084A (en) | Program, information processing device, and method | |
| JP6441517B1 (en) | Program, information processing apparatus, and method | |
| JP2019016358A (en) | Information processing method, program and computer | |
| JP7145177B2 (en) | Program, method and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180524 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180702 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6458179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |