JP6545761B2 - Information processing method, apparatus, and program for causing a computer to execute the information processing method - Google Patents

Information processing method, apparatus, and program for causing a computer to execute the information processing method Download PDF

Info

Publication number
JP6545761B2
JP6545761B2 JP2017156909A JP2017156909A JP6545761B2 JP 6545761 B2 JP6545761 B2 JP 6545761B2 JP 2017156909 A JP2017156909 A JP 2017156909A JP 2017156909 A JP2017156909 A JP 2017156909A JP 6545761 B2 JP6545761 B2 JP 6545761B2
Authority
JP
Japan
Prior art keywords
user
avatar
virtual space
character
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017156909A
Other languages
Japanese (ja)
Other versions
JP2019033894A (en
Inventor
一平 近藤
一平 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2017156909A priority Critical patent/JP6545761B2/en
Publication of JP2019033894A publication Critical patent/JP2019033894A/en
Application granted granted Critical
Publication of JP6545761B2 publication Critical patent/JP6545761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。   The present disclosure relates to an information processing method, an apparatus, and a program for causing a computer to execute the information processing method.

仮想空間におけるゲーム体験（ＶＲゲーム）をユーザに提供するハードウェアとして、プレイステーション（登録商標）ＶＲが知られている（非特許文献１参照）。プレイステーションＶＲでは、ユーザは、例えば両手で保持可能なコントローラを用いて仮想空間におけるプレイヤキャラクタ等を操作することにより、ＶＲゲームをプレイすることができる。コントローラを用いてＶＲゲームをプレイするための技術については、特許文献１，２にも開示されている。   The Playstation (registered trademark) VR is known as hardware for providing a user with a game experience (VR game) in a virtual space (see Non-Patent Document 1). In the play station VR, for example, a user can play a VR game by operating a player character or the like in a virtual space using a controller that can be held by both hands. The techniques for playing a VR game using a controller are also disclosed in Patent Documents 1 and 2.

特開２０１５−２３２７８３号公報Unexamined-Japanese-Patent No. 2015-232783 特開２０１６−１５８７９４号公報JP, 2016-158794, A

“PlayStation（登録商標）VR”、［online］、SONY、［平成２９年２月８日検索］、インターネット＜http://www.jp.playstation.com/psvr/＞"PlayStation (registered trademark) VR", [online], SONY, [search on February 8, 2017], Internet <http://www.jp.playstation.com/psvr/>

ところで、複数のユーザが仮想空間で各自のプレイヤキャラクタを操作するマルチプレイゲームにおいては、各ユーザは他のユーザによって操作されるプレイヤキャラクタを認識することはできるが、他のユーザ自身の存在を認識することができない。したがって、このようなゲームデザインには、複数人で盛り上がってゲームをプレイしている感覚が得られにくいという問題がある。   By the way, in a multiplayer game in which a plurality of users operate their player characters in a virtual space, each user can recognize player characters operated by other users, but recognizes the existence of other users themselves I can not do it. Therefore, such a game design has a problem that it is difficult to obtain a feeling that a plurality of people are playing to play the game.

本開示は、上述のような問題点を解決するためになされたものであり、複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。   The present disclosure has been made to solve the above-described problems, and an information processing method, apparatus, and information processing that can improve the entertainment of a virtual experience in a virtual space shared by a plurality of users. The purpose is to provide a program for causing a computer to execute the method.

本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介して第１ユーザに仮想空間を提供するためにコンピュータにより実行される情報処理方法であって、前記第１ユーザに関連付けられた第１アバター、前記第１ユーザによる第１操作入力に基づいて前記仮想空間内に定義されたフィールド内で動作する当該第１アバターに関連付けられた第１キャラクタ、前記第１操作入力とは異なる操作データによって制御される第２アバター、および前記第２アバターに関連付けられ前記フィールド内で動作する第２キャラクタを含む仮想空間を規定する仮想空間データを特定するステップと、前記仮想空間において実行されるゲームにおける前記第１アバター、前記第１キャラクタ、前記第２アバター、および前記第２キャラクタのいずれかの動作に基づく前記のゲームの進行を示すゲーム進行データに基づいて、前記第１ユーザのゲーム進行を有利または不利にさせるよう調整するステップと、前記第１アバター、前記第１キャラクタ、前記第２アバター、および前記第２キャラクタの操作結果に基づいて、前記第１アバターから視界画像を生成するステップと、を備える。   According to an aspect that the present disclosure indicates, an information processing method executed by a computer to provide a first user with a virtual space via a head mounted device including a display unit, the information processing method being associated with the first user A first avatar, a first character associated with the first avatar operating in a field defined in the virtual space based on a first operation input by the first user, different from the first operation input Identifying virtual space data defining a virtual space including a second avatar controlled by operation data and a second character associated with the second avatar and operating in the field; and performed in the virtual space The first avatar, the first character, the second avatar, and the second character in a game Adjusting the progress of the game of the first user to be advantageous or disadvantageous based on game progress data indicating the progress of the game based on any of the actions of the first avatar, the first avatar, the first character, Generating a view image from the first avatar based on the second avatar and the operation result of the second character.

本開示によれば、複数のユーザに共有される仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。   According to the present disclosure, it is possible to provide an information processing method and apparatus capable of improving the entertainment property of a virtual experience in a virtual space shared by a plurality of users, and a program for causing a computer to execute the information processing method. It becomes.

ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。FIG. 1 is a diagram schematically illustrating the configuration of an HMD system 100 according to an embodiment. 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。It is a block diagram showing an example of the hardware constitutions of computer 200 according to one mode. ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。FIG. 6 conceptually illustrates an uvw view coordinate system set in the HMD device 110 according to an embodiment. ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。FIG. 1 conceptually illustrates an aspect of representing a virtual space 2 according to an embodiment. ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。FIG. 7 is a top view of a head of a user 190 wearing the HMD device 110 according to an embodiment. 仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。FIG. 6 is a diagram illustrating a YZ cross section in which a view area 23 is viewed from the X direction in a virtual space 2; 仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。FIG. 6 is a diagram illustrating an XZ cross section in which a visibility region 23 in the virtual space 2 is viewed from the Y direction. ある実施の形態に従うコントローラ１６０の概略構成を表す図である。FIG. 6 is a diagram illustrating a schematic configuration of a controller 160 according to an embodiment. ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。FIG. 2 is a block diagram representing a computer 200 according to an embodiment as a modular configuration. ＨＭＤシステム１００Ａが実行する処理を表すフローチャートである。It is a flowchart showing the process which HMD system 100A performs. 複数ユーザに共有される仮想空間２を模式的に表す図である。It is a figure showing typically the virtual space 2 shared by a plurality of users. ユーザ１９０Ａに提供される視界画像Ｍ１の一例を表す図である。It is a figure showing an example of view image M1 provided to user 190A. ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびサーバ１５０が実行する処理を表すシーケンス図である。It is a sequence diagram showing the process which HMD system 100A, HMD system 100B, and server 150 perform. 図１３におけるステップＳ２３Ａの詳細な処理を表すフローチャートである。It is a flowchart showing the detailed process of step S23 A in FIG.

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description about them will not be repeated.

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head Mount Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。 [Configuration of HMD system]
The configuration of an HMD (Head Mount Device) system 100 will be described with reference to FIG. FIG. 1 is a diagram schematically illustrating the configuration of an HMD system 100 according to an embodiment. In one aspect, the HMD system 100 is provided as a home system or a business system.

ＨＭＤシステム１００は、ＨＭＤ装置１１０（ヘッドマウントデバイス）と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、モニタ１１２（表示部）と、マイク１１８と、注視センサ１４０とを含む。   The HMD system 100 includes an HMD device 110 (head mount device), an HMD sensor 120, a controller 160, and a computer 200. The HMD device 110 includes a monitor 112 (display unit), a microphone 118, and a gaze sensor 140.

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。   In one aspect, the computer 200 can connect to the Internet or other network 19 and can communicate with a server 150 or other computer connected to the network 19. In another aspect, the HMD device 110 may include a sensor 114 instead of the HMD sensor 120.

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。   The HMD device 110 may be worn on the user's head and provide the user with virtual space during operation. More specifically, the HMD device 110 displays the image for the right eye and the image for the left eye on the monitor 112, respectively. When each eye of the user views each image, the user can recognize the image as a three-dimensional image based on the parallax of both eyes.

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。モニタ１１２は、ＨＭＤ装置１１０の本体と一体に構成されてもよいし、別体として構成されてもよい。   The monitor 112 is implemented, for example, as a non-transmissive display device. In one aspect, the monitor 112 is disposed on the main body of the HMD device 110 so as to be located in front of the user's eyes. Therefore, when the user visually recognizes the three-dimensional image displayed on the monitor 112, the user can immerse in the virtual space. In one embodiment, the virtual space includes, for example, a background, an object operable by the user, and an image of a menu selectable by the user. In one embodiment, the monitor 112 can be realized as a liquid crystal monitor or an organic EL (Electro Luminescence) monitor provided in a so-called smart phone or other information display terminal. The monitor 112 may be configured integrally with the main body of the HMD device 110 or may be configured separately.

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。   In one aspect, the monitor 112 may include a sub monitor for displaying an image for the right eye and a sub monitor for displaying an image for the left eye. In another aspect, the monitor 112 may be configured to integrally display an image for the right eye and an image for the left eye. In this case, the monitor 112 includes a high speed shutter. The high speed shutter operates so as to alternately display the image for the right eye and the image for the left eye so that the image is recognized only for one of the eyes.

マイク１１８は、ユーザが発した音声を取得する。マイク１１８によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。検知結果は、後述するアバターの表情等に反映されてもよい。当該音声は、仮想空間２に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク１９およびサーバ１５０等を介して、他のユーザが使用するＨＭＤシステムに送られ、当該ＨＭＤシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話（チャット）が実現される。   The microphone 118 acquires the voice emitted by the user. The speech acquired by the microphone 118 may be used to detect the user's emotions by speech analysis processing. The detection result may be reflected on the facial expression or the like of an avatar described later. The voice can also be used to give a voice instruction to the virtual space 2. Further, the voice may be sent to the HMD system used by another user via the network 19 and the server 150 or the like, and may be output from a speaker or the like connected to the HMD system. Thereby, conversation (chat) between users sharing the virtual space is realized.

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０およびコントローラ１６０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾き、ならびにコントローラ１６０の位置および傾きを検出する。   The HMD sensor 120 includes a plurality of light sources (not shown). Each light source is realized by, for example, an LED (Light Emitting Diode) that emits infrared light. The HMD sensor 120 has a position tracking function for detecting the movement of the HMD device 110 and the controller 160. The HMD sensor 120 uses this function to detect the position and tilt of the HMD device 110 in the physical space and the position and tilt of the controller 160.

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０およびコントローラ１６０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾き、ならびにコントローラ１６０の位置および傾きを検出することができる。   In another aspect, the HMD sensor 120 may be realized by a camera. In this case, the HMD sensor 120 executes an image analysis process using the image information of the HMD device 110 and the controller 160 output from the camera, whereby the position and the tilt of the HMD device 110 and the position and the tilt of the controller 160 Can be detected.

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。   In another aspect, the HMD device 110 may include a sensor 114 instead of the HMD sensor 120 as a position detector. HMD device 110 may use sensor 114 to detect the position and tilt of HMD device 110 itself. For example, when the sensor 114 is an angular velocity sensor, a geomagnetic sensor, an acceleration sensor, a gyro sensor or the like, the HMD device 110 uses one of these sensors instead of the HMD sensor 120 to position and tilt itself. Can be detected. As an example, when the sensor 114 is an angular velocity sensor, the angular velocity sensor detects the angular velocity around three axes of the HMD device 110 in real space over time. The HMD device 110 calculates temporal changes in angles around the three axes of the HMD device 110 based on each angular velocity, and further calculates inclination of the HMD device 110 based on temporal changes in angles. The HMD device 110 may also include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transmissive display device by adjusting the transmittance thereof. Further, the view image may include a configuration for presenting the real space in a part of the image constituting the virtual space. For example, an image captured by a camera mounted on the HMD device 110 may be displayed so as to be superimposed on a part of the field of view image, or the field of view can be set by setting the transmittance of part of the transmissive display device high. The real space may be visible from part of the image.

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。   The gaze sensor 140 detects the direction (gaze direction) in which the gaze of the right eye and the left eye of the user 190 is directed. The detection of the direction is realized by, for example, a known eye tracking function. The gaze sensor 140 is realized by a sensor having the eye tracking function. In one aspect, the gaze sensor 140 preferably includes a sensor for the right eye and a sensor for the left eye. The gaze sensor 140 may be, for example, a sensor that emits infrared light to the right and left eyes of the user 190, and detects the rotation angle of each eye by receiving reflected light from the cornea and iris to the irradiated light. . The gaze sensor 140 can detect the gaze direction of the user 190 based on each detected rotation angle.

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。なお、サーバ１５０は、一または複数のコンピュータ装置により構成され、後述するコンピュータ２００のハードウェア構成と同様に、一般的なコンピュータが備えるハードウェア構成（プロセッサ、メモリ、ストレージ等）を備える。   The server 150 may send the program to the computer 200. In another aspect, server 150 may communicate with other computers 200 to provide virtual reality to HMD devices used by other users. For example, when a plurality of users play a participatory game in an amusement facility, each computer 200 communicates a signal based on each user's operation with another computer 200 to share a plurality of users in the same virtual space. Allows you to enjoy the game. The server 150 is configured by one or more computer devices, and has a hardware configuration (a processor, a memory, a storage, and the like) provided in a general computer, as in the hardware configuration of the computer 200 described later.

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。本実施形態では、コントローラ１６０は、ユーザ１９０によって両手で把持されるタイプの入力装置である。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。上述したように、現実空間におけるコントローラ１６０の位置および傾きは、ＨＭＤセンサ１２０（あるいはカメラ等）によって検出され得る。別の局面において、コントローラ１６０は、位置検出器として、上述したセンサ１１４と同様のセンサ（図示しない）を備えてもよい。この場合、当該センサにより、コントローラ１６０の位置および傾きが検出され得る。また、ＨＭＤセンサ１２０とコントローラ１６０が備えるセンサとが併用されてもよい。この場合、例えば、コントローラ１６０の位置はＨＭＤセンサ１２０によって検出され、コントローラ１６０の傾きはコントローラ１６０が備えるセンサによって検出される。   The controller 160 receives an input of an instruction from the user 190 to the computer 200. In one aspect, controller 160 is configured to be graspable by user 190. In the present embodiment, the controller 160 is an input device of a type gripped by the user 190 with both hands. In another aspect, the controller 160 may be configured to output vibration, sound, light, and / or light based on a signal sent from the computer 200. In another aspect, the controller 160 receives operations given by the user 190 to control the position, movement, etc. of objects placed in the space providing virtual reality. As described above, the position and tilt of the controller 160 in real space may be detected by the HMD sensor 120 (or a camera or the like). In another aspect, the controller 160 may include a sensor (not shown) similar to the sensor 114 described above as a position detector. In this case, the sensor may detect the position and tilt of the controller 160. Also, the HMD sensor 120 and the sensor provided in the controller 160 may be used in combination. In this case, for example, the position of the controller 160 is detected by the HMD sensor 120, and the tilt of the controller 160 is detected by a sensor provided in the controller 160.

［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。 [Hardware configuration]
A computer 200 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating an example of a hardware configuration of a computer 200 according to an aspect. The computer 200 includes a processor 10, a memory 11, a storage 12, an input / output interface 13, and a communication interface 14 as main components. Each component is connected to the bus 15 respectively.

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。   The processor 10 executes a series of instructions included in a program stored in the memory 11 or the storage 12 based on a signal supplied to the computer 200 or based on the establishment of a predetermined condition. In one aspect, the processor 10 is realized as a central processing unit (CPU), a micro processor unit (MPU), a field-programmable gate array (FPGA) or other devices.

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。   The memory 11 temporarily stores programs and data. The program is loaded from, for example, the storage 12. The data stored in the memory 11 includes data input to the computer 200 and data generated by the processor 10. In one aspect, the memory 11 is implemented as a random access memory (RAM) or another volatile memory.

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。   The storage 12 holds programs and data permanently. The storage 12 is implemented, for example, as a read-only memory (ROM), a hard disk drive, a flash memory, or another non-volatile storage device. The programs stored in the storage 12 include a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, a program for realizing communication with another computer 200, and the like. The data stored in the storage 12 includes data, objects, etc. for defining a virtual space.

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。   In another aspect, the storage 12 may be realized as a removable storage device like a memory card. In still another aspect, a configuration using programs and data stored in an external storage device may be used instead of the storage 12 built in the computer 200. According to such a configuration, for example, when a plurality of HMD systems 100 are used, such as an amusement facility, it is possible to perform updating of programs, data, etc. collectively.

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０およびＨＭＤセンサ１２０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。例えば、入出力インターフェース１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェースを含んでもよい。   In one embodiment, input / output interface 13 communicates signals between HMD device 110 and HMD sensor 120. In one aspect, the input / output interface 13 is realized using a Universal Serial Bus (USB) interface, a Digital Visual Interface (DVI), a High-Definition Multimedia Interface (HDMI (registered trademark)), and other terminals. The input / output interface 13 is not limited to the one described above. For example, the input / output interface 13 may include a wireless communication interface such as Bluetooth (registered trademark).

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、コントローラ１６０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。   In one embodiment, input / output interface 13 may further communicate with controller 160. For example, the input / output interface 13 receives an input of a signal output from the controller 160. In another aspect, the input / output interface 13 sends an instruction output from the processor 10 to the controller 160. The command instructs the controller 160 to vibrate, output sound, emit light, and the like. When the controller 160 receives the command, the controller 160 executes vibration, voice output or light emission according to the command.

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。   The communication interface 14 is connected to the network 19 to communicate with other computers (for example, the server 150) connected to the network 19. In one aspect, the communication interface 14 is implemented as, for example, a LAN (Local Area Network) or other wired communication interface, or a WiFi (Wireless Fidelity), Bluetooth (registered trademark), an NFC (Near Field Communication) or other wireless communication interface. Be done. The communication interface 14 is not limited to the one described above.

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてモニタ１１２に映像を表示する。   In one aspect, the processor 10 accesses the storage 12, loads one or more programs stored in the storage 12 into the memory 11, and executes a series of instructions included in the program. The one or more programs may include an operating system of the computer 200, an application program for providing a virtual space, game software executable in the virtual space using the controller 160, and the like. The processor 10 sends a signal for providing a virtual space to the HMD device 110 via the input / output interface 13. The HMD device 110 displays an image on the monitor 112 based on the signal.

サーバ１５０は、ネットワーク１９を介して複数のＨＭＤシステム１００の各々の制御装置と接続される。図２に示される例では、サーバ１５０は、ＨＭＤ装置１１０Ａを有するＨＭＤシステム１００Ａと、ＨＭＤ装置１１０Ｂを有するＨＭＤシステム１００Ｂとを含む複数のＨＭＤシステム１００を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各ＨＭＤシステムを使用するユーザに提供される。なお、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、およびその他のＨＭＤシステム１００は、いずれも同様の構成を備える。ただし、各ＨＭＤシステム１００は、互いに異なる機種であってもよいし、互いに異なる性能（処理性能および検知性能等）を有するものであってもよい。   The server 150 is connected to the control devices of each of the plurality of HMD systems 100 via the network 19. In the example shown in FIG. 2, the server 150 communicably connects a plurality of HMD systems 100 including the HMD system 100A having the HMD device 110A and the HMD system 100B having the HMD device 110B. As a result, virtual experiences using a common virtual space are provided to users using each HMD system. The HMD system 100A, the HMD system 100B, and the other HMD systems 100 all have the same configuration. However, the HMD systems 100 may be of different models, or may have different performances (such as processing performance and detection performance).

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。   Although the configuration in which the computer 200 is provided outside the HMD device 110 is shown in the example illustrated in FIG. 2, the computer 200 may be incorporated in the HMD device 110 in another aspect. As one example, a portable information communication terminal (for example, a smartphone) including the monitor 112 may function as the computer 200.

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のＨＭＤシステム１００は、入出力インターフェース１３により、コンピュータ２００に直接接続されてもよい。また、本実施形態におけるサーバ１５０の各機能（例えば後述する同期処理等）は、コンピュータ２００に実装されてもよい。   In addition, the computer 200 may be configured to be commonly used by a plurality of HMD devices 110. According to such a configuration, for example, since the same virtual space can be provided to a plurality of users, each user can enjoy the same application as other users in the same virtual space. In such a case, the plurality of HMD systems 100 in the present embodiment may be directly connected to the computer 200 by the input / output interface 13. In addition, each function (for example, synchronization processing to be described later) of the server 150 in the present embodiment may be implemented in the computer 200.

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。   In one embodiment, in the HMD system 100, a global coordinate system is preset. The global coordinate system has three reference directions (axes) parallel to the vertical direction in real space, the horizontal direction perpendicular to the vertical direction, and the front-back direction orthogonal to both the vertical direction and the horizontal direction. In the present embodiment, the global coordinate system is one of viewpoint coordinate systems. Therefore, the horizontal direction, the vertical direction (vertical direction), and the front-rear direction in the global coordinate system are defined as an x-axis, a y-axis, and a z-axis, respectively. More specifically, in the global coordinate system, the x-axis is parallel to the horizontal direction of the real space. The y-axis is parallel to the vertical direction of the real space. The z axis is parallel to the front and back direction of the real space.

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。   In one aspect, the HMD sensor 120 includes an infrared sensor. When an infrared sensor detects infrared light emitted from each light source of the HMD device 110, the presence of the HMD device 110 is detected. The HMD sensor 120 further determines the position and inclination of the HMD device 110 in the physical space according to the movement of the user 190 wearing the HMD device 110 based on the value of each point (each coordinate value in the global coordinate system). To detect. More specifically, the HMD sensor 120 can detect temporal changes in the position and inclination of the HMD device 110 using each value detected over time.

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。   The global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the HMD device 110 detected by the HMD sensor 120 corresponds to each inclination around the three axes of the HMD device 110 in the global coordinate system. The HMD sensor 120 sets the uvw visual field coordinate system to the HMD device 110 based on the inclination of the HMD device 110 in the global coordinate system. The uvw visual field coordinate system set in the HMD device 110 corresponds to the visual point coordinate system when the user 190 wearing the HMD device 110 views an object in the virtual space.

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。 [Uvw view coordinate system]
The uvw view coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually illustrating the uvw visual field coordinate system set in the HMD device 110 according to an embodiment. The HMD sensor 120 detects the position and tilt of the HMD device 110 in the global coordinate system when the HMD device 110 is activated. The processor 10 sets the uvw visual field coordinate system in the HMD device 110 based on the detected value.

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。   As shown in FIG. 3, the HMD device 110 sets a three-dimensional uvw visual field coordinate system centered on the head of the user wearing the HMD device 110 (origin). More specifically, the HMD device 110 defines the global coordinate system in the horizontal direction, the vertical direction, and the front-back direction (x-axis, y-axis, z-axis) around each axis of the HMD device 110 in the global coordinate system. The pitch direction (u axis), the yaw direction (v axis), and the roll direction (w axis) of the uvw visual field coordinate system in the HMD device 110 are newly obtained by inclining each direction about each axis by the inclination of Set as.

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。   In one aspect, when the user 190 wearing the HMD device 110 stands upright and views the front, the processor 10 sets the uvw visual field coordinate system parallel to the global coordinate system to the HMD device 110. In this case, the horizontal direction (x-axis), vertical direction (y-axis) and front-back direction (z-axis) in the global coordinate system are the pitch direction (u-axis) of the uvw view coordinate system in the HMD device 110 and the yaw direction (v Match the axis) and the roll direction (w axis).

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。   After the uvw visual field coordinate system is set in the HMD device 110, the HMD sensor 120 can detect the inclination (the amount of change in the inclination) of the HMD device 110 in the set uvw visual field coordinate system based on the movement of the HMD device 110. . In this case, the HMD sensor 120 detects the pitch angle (θu), the yaw angle (θv), and the roll angle (θw) of the HMD device 110 in the uvw view coordinate system as the inclination of the HMD device 110. The pitch angle (θu) represents the tilt angle of the HMD device 110 around the pitch direction in the uvw view coordinate system. The yaw angle (θv) represents the tilt angle of the HMD device 110 around the yaw direction in the uvw view coordinate system. The roll angle (θw) represents the tilt angle of the HMD device 110 around the roll direction in the uvw view coordinate system.

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。   The HMD sensor 120 sets the uvw visual field coordinate system in the HMD device 110 after the HMD device 110 has moved to the HMD device 110 based on the detected inclination angle of the HMD device 110. The relationship between the HMD device 110 and the uvw view coordinate system of the HMD device 110 is always constant regardless of the position and tilt of the HMD device 110. When the position and the inclination of the HMD device 110 change, the position and the inclination of the uvw visual field coordinate system of the HMD device 110 in the global coordinate system change in conjunction with the change of the position and the inclination.

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。   In one aspect, the HMD sensor 120 detects the HMD based on the light intensity of the infrared light acquired based on the output from the infrared sensor and the relative positional relationship between the plurality of points (for example, the distance between each point). The position of the device 110 in the physical space may be identified as a relative position to the HMD sensor 120. Also, the processor 10 may determine the origin of the uvw visual field coordinate system of the HMD device 110 in the real space (global coordinate system) based on the identified relative position.

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。 [Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually illustrating an aspect of representing virtual space 2 according to an embodiment. The virtual space 2 has an all-sky spherical structure that covers the entire 360-degree direction of the center 21. In FIG. 4, the celestial sphere in the upper half of the virtual space 2 is illustrated so as not to complicate the description. In the virtual space 2, each mesh is defined. The position of each mesh is previously defined as coordinate values in the XYZ coordinate system defined in the virtual space 2. The computer 200 associates each partial image constituting content (a still image, a moving image, etc.) that can be expanded in the virtual space 2 with each corresponding mesh in the virtual space 2 to make the virtual space image 22 visible by the user. Provides the user with a virtual space 2 in which is deployed.

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。   In one aspect, in the virtual space 2, an XYZ coordinate system having a center 21 as an origin is defined. The XYZ coordinate system is, for example, parallel to the global coordinate system. Since the XYZ coordinate system is a kind of viewpoint coordinate system, the horizontal direction, the vertical direction (vertical direction), and the front-rear direction in the XYZ coordinate system are defined as an X axis, a Y axis, and a Z axis, respectively. Therefore, the X axis (horizontal direction) of the XYZ coordinate system is parallel to the x axis of the global coordinate system, the Y axis (vertical direction) of the XYZ coordinate system is parallel to the y axis of the global coordinate system, and The Z-axis (front-back direction) is parallel to the z-axis of the global coordinate system.

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１は、例えば仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および向きの変化が、仮想空間２において同様に再現される。   When the HMD device 110 is activated, that is, in the initial state of the HMD device 110, the virtual camera 1 is disposed, for example, at the center 21 of the virtual space 2. The virtual camera 1 similarly moves in the virtual space 2 in conjunction with the movement of the HMD device 110 in the real space. Thereby, changes in the position and orientation of the HMD device 110 in the real space are similarly reproduced in the virtual space 2.

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。   As in the case of the HMD device 110, the uvw visual field coordinate system is defined in the virtual camera 1. The uvw view coordinate system of the virtual camera 1 in the virtual space 2 is defined to interlock with the uvw view coordinate system of the HMD device 110 in the real space (global coordinate system). Therefore, when the inclination of the HMD device 110 changes, the inclination of the virtual camera 1 also changes accordingly. The virtual camera 1 can also move in the virtual space 2 in conjunction with the movement of the user wearing the HMD device 110 in the real space.

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。   Since the direction of the virtual camera 1 is determined according to the position and the inclination of the virtual camera 1, the line of sight (reference line of sight 5) serving as a reference when the user views the virtual space image 22 depends on the direction of the virtual camera 1 It is decided. The processor 10 of the computer 200 defines a view area 23 in the virtual space 2 based on the reference line of sight 5. The view area 23 corresponds to the view of the user wearing the HMD device 110 in the virtual space 2.

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。   The gaze direction of the user 190 detected by the gaze sensor 140 is a direction in the viewpoint coordinate system when the user 190 visually recognizes an object. The uvw view coordinate system of the HMD device 110 is equal to the view coordinate system when the user 190 views the monitor 112. Further, the uvw visual field coordinate system of the virtual camera 1 is interlocked with the uvw visual field coordinate system of the HMD device 110. Therefore, the HMD system 100 according to an aspect can regard the gaze direction of the user 190 detected by the gaze sensor 140 as the gaze direction of the user in the uvw view coordinate system of the virtual camera 1.

［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。 [User's gaze]
The determination of the user's gaze direction will be described with reference to FIG. FIG. 5 is a top view of the head of a user 190 wearing the HMD device 110 according to one embodiment.

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。   In one aspect, the gaze sensor 140 detects the gaze of each of the right eye and the left eye of the user 190. In one aspect, when the user 190 is looking close, the gaze sensor 140 detects the sight lines R1 and L1. In another aspect, if the user 190 is looking far, the gaze sensor 140 detects the gazes R2 and L2. In this case, the angle formed by the sight lines R2 and L2 with respect to the roll direction w is smaller than the angle formed by the sight lines R1 and L1 with the roll direction w. The gaze sensor 140 transmits the detection result to the computer 200.

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。   When the computer 200 receives the detection values of the lines of sight R1 and L1 from the gaze sensor 140 as the detection result of the line of sight, the gaze point N1 which is the intersection of the lines of sight R1 and L1 is specified based on the detection values. On the other hand, when the computer 200 receives the detection values of the sight lines R2 and L2 from the gaze sensor 140, the computer 200 specifies the intersection of the sight lines R2 and L2 as the gaze point. The computer 200 identifies the gaze direction N0 of the user 190 based on the identified position of the fixation point N1. The computer 200 detects, for example, the direction in which the straight line passing through the midpoint of the straight line connecting the right eye R and the left eye L of the user 190 and the gaze point N1 is the line of sight direction N0. The gaze direction N0 is the direction in which the user 190 is actually pointing the gaze with both eyes. Further, the line-of-sight direction N0 corresponds to the direction in which the user 190 actually points the line of sight with respect to the view area 23.

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。   Also, in another aspect, the HMD system 100 may include a television broadcast receiver tuner. According to such a configuration, the HMD system 100 can display a television program in the virtual space 2.

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。   In still another aspect, the HMD system 100 may be provided with a communication circuit for connecting to the Internet, or a call function for connecting to a telephone line.

［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。 [View area]
The view area 23 will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram showing a YZ cross section of the virtual space 2 when the field of view 23 is viewed from the X direction. FIG. 7 is a diagram showing an XZ cross section in which the visibility region 23 is viewed from the Y direction in the virtual space 2.

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。   As shown in FIG. 6, the view area 23 in the YZ cross section includes the area 24. The area 24 is defined by the reference line of sight 5 of the virtual camera 1 and the YZ cross section of the virtual space 2. The processor 10 defines a range including the polar angle α centering on the reference gaze 5 in the virtual space 2 as a region 24.

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。   As shown in FIG. 7, the view area 23 in the XZ cross section includes the area 25. The area 25 is defined by the reference line of sight 5 and the XZ cross section of the virtual space 2. The processor 10 defines a range including the azimuth angle β centered on the reference gaze 5 in the virtual space 2 as a region 25.

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。   In one aspect, the HMD system 100 provides the user 190 with a virtual space by displaying a view image on the monitor 112 based on a signal from the computer 200. The view image corresponds to a portion of the virtual space image 22 superimposed on the view area 23. When the user 190 moves the HMD device 110 worn on the head, the virtual camera 1 also moves in conjunction with the movement. As a result, the position of the view area 23 in the virtual space 2 changes. As a result, the view image displayed on the monitor 112 is updated to an image of the virtual space image 22 superimposed on the view area 23 in the direction in which the user turned in the virtual space 2. The user can view a desired direction in the virtual space 2.

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。   While wearing the HMD device 110, the user 190 can view only the virtual space image 22 developed in the virtual space 2 without viewing the real world. Therefore, the HMD system 100 can provide the user with a high sense of immersion in the virtual space 2.

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ装置１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野が定義される。   In one aspect, the processor 10 may move the virtual camera 1 in the virtual space 2 in conjunction with the movement of the user 190 equipped with the HMD device 110 in the real space. In this case, the processor 10 specifies an image area (that is, a view area 23 in the virtual space 2) to be projected on the monitor 112 of the HMD device 110 based on the position and the orientation of the virtual camera 1 in the virtual space 2. That is, the virtual camera 1 defines the field of view of the user 190 in the virtual space 2.

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。   According to an embodiment, the virtual camera 1 desirably includes two virtual cameras, ie, a virtual camera for providing an image for the right eye, and a virtual camera for providing an image for the left eye. Further, it is preferable that appropriate parallaxes be set to two virtual cameras so that the user 190 can recognize the three-dimensional virtual space 2. In the present embodiment, the virtual camera 1 includes two virtual cameras, and the roll direction (w) generated by combining the roll directions of the two virtual cameras is the roll direction (w) of the HMD device 110. The technical idea according to the present disclosure is illustrated as being configured to be adapted.

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。図８の状態（Ａ）は、コントローラ１６０の上面の外観構成を示しており、図８の状態（Ｂ）は、コントローラ１６０の奥側側面の外観構成を示している。ここで、コントローラ１６０の上面とは、ユーザ１９０がコントローラ１６０を両手で保持した場合に、ユーザ１９０の方を向く面である。 [controller]
An example of the controller 160 will be described with reference to FIG. FIG. 8 is a diagram representing a schematic configuration of the controller 160 according to an embodiment. The state (A) of FIG. 8 shows the appearance configuration of the upper surface of the controller 160, and the state (B) of FIG. 8 shows the appearance configuration of the back side surface of the controller 160. Here, the upper surface of the controller 160 is a surface that faces the user 190 when the user 190 holds the controller 160 with both hands.

図８の状態（Ａ）に示されるように、コントローラ１６０の上面には、入力部としての、方向キー１６１、アナログスティック１６２Ｌ，１６２Ｒ、４種の操作ボタン１６３、タッチパッド１６４、および機能ボタン１６５等が設けられている。また、コントローラ１６０は、ユーザ１９０がコントローラ１６０を把持するための把持部１６６を有する。把持部１６６は、ユーザ１９０の左手によって把持される左把持部１６６Ｌとユーザ１９０の右手によって把持される右把持部１６６Ｒとを有する。また、図８の状態（Ｂ）に示されるように、コントローラ１６０の奥側側面には、入力部としての上部ボタン１６７Ｌ，１６７Ｒと、コントローラ１６０から送信される指示情報等に基づいて発光する発光部１６８とが設けられている。   As shown in the state (A) of FIG. 8, on the top surface of the controller 160, the direction key 161, the analog sticks 162L and 162R, the four operation buttons 163, the touch pad 164, and the function buttons 165 as input units. Etc. are provided. The controller 160 also has a grip portion 166 for the user 190 to grip the controller 160. The grip portion 166 has a left grip portion 166L gripped by the left hand of the user 190 and a right grip portion 166R gripped by the right hand of the user 190. Further, as shown in the state (B) of FIG. 8, light emission is performed on the back side surface of the controller 160 based on the upper buttons 167 L and 167 R as an input unit and instruction information and the like transmitted from the controller 160 A portion 168 is provided.

タッチパッド１６４は、方向キー１６１と操作ボタン１６３との間に設けられている。機能ボタン１６５は、左右のアナログスティック１６２Ｌ，１６２Ｒの間に設けられている。機能ボタン１６５は、例えばコントローラ１６０を起動したり、コントローラ１６０とコンピュータ２００との間の通信接続をアクティブにしたりするために使用され得る。その他の入力部（方向キー１６１、アナログスティック１６２、操作ボタン１６３、および上部ボタン１６７）は、後述するアバターおよびプレイヤキャラクタの操作等に使用され得る。例えば、アナログスティック１６２は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。   The touch pad 164 is provided between the direction key 161 and the operation button 163. The function button 165 is provided between the left and right analog sticks 162L and 162R. The function button 165 may be used, for example, to activate the controller 160 or to activate the communication connection between the controller 160 and the computer 200. Other input units (the direction key 161, the analog stick 162, the operation button 163, and the upper button 167) can be used for operations of an avatar and a player character described later. For example, in a certain phase, the analog stick 162 receives an operation in any direction 360 degrees from the initial position (the position of the neutral position). The operation includes, for example, an operation for moving an object arranged in the virtual space 2.

方向キー１６１およびアナログスティック１６２Ｌは、ユーザ１９０の左手の親指による操作を受け付けることを想定して配置されている。操作ボタン１６３およびアナログスティック１６２Ｒは、ユーザ１９０の右手の親指による操作を受け付けることを想定して配置されている。上部ボタン１６７Ｌは、ユーザ１９０の左手の人差し指による操作を受け付けることを想定して配置されており、上部ボタン１６７Ｒは、ユーザ１９０の右手の人差し指による操作を受け付けることを想定して配置されている。ただし、コントローラ１６０の形状、各部の配置構成、および各部の機能は、上記例に限られない。例えば、操作ボタン１６３の個数は４つ以外（例えば２つ）であってもよいし、アナログスティック１６２Ｌ，１６２Ｒが省略されてもよい。   The direction key 161 and the analog stick 162L are arranged on the assumption that the operation with the thumb of the left hand of the user 190 is received. The operation button 163 and the analog stick 162R are arranged on the assumption that the operation by the thumb of the right hand of the user 190 is received. The upper button 167L is disposed on the assumption that the operation by the index finger of the left hand of the user 190 is received, and the upper button 167R is disposed on the assumption that the operation by the index finger of the right hand of the user 190 is received. However, the shape of the controller 160, the arrangement configuration of each part, and the function of each part are not limited to the above example. For example, the number of operation buttons 163 may be other than four (for example, two), and the analog sticks 162L and 162R may be omitted.

ある局面において、コントローラ１６０は、発光部１６８その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、コントローラ１６０は、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、コントローラ１６０は、電池を必要としない。   In one aspect, the controller 160 includes a battery for driving the light emitting unit 168 and other members. The battery includes, but is not limited to, a rechargeable battery, a button battery, and a dry battery battery. In another aspect, controller 160 may be connected to, for example, a USB interface of computer 200. In this case, the controller 160 does not require a battery.

［ＨＭＤ装置の制御装置］
図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。 [Control device of HMD device]
The control device of the HMD device 110 will be described with reference to FIG. In one embodiment, the controller is implemented by a computer 200 having a known configuration. FIG. 9 is a block diagram representing a computer 200 as a modular configuration according to one embodiment.

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、コントローラ情報取得モジュール２３３と、チャット制御モジュール２３４とを含む。   As shown in FIG. 9, the computer 200 includes a display control module 220, a virtual space control module 230, a memory module 240, and a communication control module 250. The display control module 220 includes, as sub-modules, a virtual camera control module 221, a view area determination module 222, a view image generation module 223, and a reference gaze specification module 224. The virtual space control module 230 includes, as sub-modules, a virtual space definition module 231, a virtual object control module 232, a controller information acquisition module 233, and a chat control module 234.

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。   In one embodiment, display control module 220 and virtual space control module 230 are implemented by processor 10. In another embodiment, a plurality of processors 10 may operate as a display control module 220 and a virtual space control module 230. The memory module 240 is realized by the memory 11 or the storage 12. The communication control module 250 is realized by the communication interface 14.

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。   In one aspect, display control module 220 controls image display on monitor 112 of HMD device 110. The virtual camera control module 221 places the virtual camera 1 in the virtual space 2 and controls the behavior, direction, and the like of the virtual camera 1. The view area determination module 222 defines the view area 23 according to the orientation of the head of the user wearing the HMD device 110. The view image generation module 223 generates a view image to be displayed on the monitor 112 based on the determined view area 23. The reference gaze identification module 224 identifies the gaze of the user 190 based on the signal from the gaze sensor 140.

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。   The virtual space control module 230 controls the virtual space 2 provided to the user 190. The virtual space definition module 231 defines virtual space 2 in the HMD system 100 by generating virtual space data representing the virtual space 2.

仮想オブジェクト制御モジュール２３２は、後述するオブジェクト情報２４２に基づいて、仮想空間２に配置される仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における仮想オブジェクトの動作（移動および状態変化等）を制御する。また、仮想オブジェクト制御モジュール２３２は、後述するコントローラ情報取得モジュール２３３により取得されたコントローラ情報等に基づいて、アバターおよびプレイヤキャラクタの動作（移動および状態変化等）を制御する。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。アバターは、ＨＭＤ装置１１０を装着したユーザに関連付けられたオブジェクトである。アバターは、仮想空間２におけるユーザの分身としての位置付けを有するオブジェクトである。一方、プレイヤキャラクタは、仮想空間２で展開されるゲームにおいて、ユーザによって操作されるキャラクタオブジェクトである。本実施形態では、仮想空間２で展開されるゲームは、複数のユーザが仮想空間２に用意されたゲームフィールド（例えば闘技場）上で各自のプレイヤキャラクタ同士を闘わせる対戦ゲーム（あるいは、複数のユーザ同士が協力して進めるアクションゲーム等）である。また、アバターは人型のオブジェクトであり、プレイヤキャラクタは動物を模したオブジェクトである。ただし、プレイヤキャラクタは、仮想空間２で展開されるゲームの内容に応じて適宜の形態を採り得る。例えば、プレイヤキャラクタは、人型のオブジェクトであってもよいし、ロボット等の生物以外を模したオブジェクトであってもよい。より具体的には、仮想空間２で展開されるゲームがラジコンカーを用いたレースゲームである場合、プレイヤキャラクタは、ラジコンカーを表すオブジェクトであってもよい。   The virtual object control module 232 generates a virtual object arranged in the virtual space 2 based on object information 242 described later. Also, the virtual object control module 232 controls the operation (movement, state change, etc.) of the virtual object in the virtual space 2. Also, the virtual object control module 232 controls the action (movement, state change, etc.) of the avatar and the player character based on controller information etc. obtained by the controller information acquisition module 233 described later. The virtual objects may include, for example, landscapes including animals, mountains, etc., arranged according to the progression of the game story. The avatar is an object associated with the user wearing the HMD device 110. An avatar is an object having a position as a user's alternative in the virtual space 2. On the other hand, in the game developed in the virtual space 2, the player character is a character object operated by the user. In the present embodiment, the game developed in the virtual space 2 is a battle game (or a plurality of players) in which a plurality of users fight each other's player characters on a game field (for example, an arena) prepared in the virtual space 2 It is an action game etc. which a user cooperates and advances. Also, the avatar is a human-shaped object, and the player character is an object imitating an animal. However, the player character can adopt an appropriate form in accordance with the contents of the game developed in the virtual space 2. For example, the player character may be a humanoid object or an object imitating something other than a living thing such as a robot. More specifically, when the game developed in the virtual space 2 is a racing game using a radio controlled car, the player character may be an object representing a radio controlled car.

コントローラ情報取得モジュール２３３は、コントローラ１６０の状態を特定するための状態情報と、コントローラ１６０に対するユーザ１９０による入力操作の内容を示す操作情報とを含むコントローラ情報を取得する。状態情報は、例えば、上述したＨＭＤセンサ１２０等により検出されたコントローラ１６０の位置および傾きを特定するための情報である。コントローラ情報は、コントローラ１６０の状態およびコントローラ１６０に対する入力操作の内容を仮想空間２におけるアバターまたはプレイヤキャラクタに反映させるために、仮想オブジェクト制御モジュール２３２に受け渡される。また、コントローラ情報取得モジュール２３３は、後述するチャット制御モジュール２３４を介して取得された他のユーザのコントローラ情報についても、適宜仮想オブジェクト制御モジュール２３２に受け渡す。これにより、他のユーザに関連付けられたアバターまたはプレイヤキャラクタを、他のユーザのコントローラ情報に基づいて動作させることができる。   The controller information acquisition module 233 acquires controller information including state information for specifying the state of the controller 160 and operation information indicating the content of the input operation by the user 190 on the controller 160. The state information is, for example, information for specifying the position and inclination of the controller 160 detected by the above-described HMD sensor 120 or the like. The controller information is passed to the virtual object control module 232 in order to reflect the state of the controller 160 and the content of the input operation to the controller 160 on the avatar or player character in the virtual space 2. In addition, the controller information acquisition module 233 appropriately passes, to the virtual object control module 232, controller information of other users acquired via the chat control module 234 described later. This allows the avatar or player character associated with the other user to operate based on the controller information of the other user.

チャット制御モジュール２３４は、同じ仮想空間２に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール２３４は、仮想空間２を介したチャットを行うために必要なデータ（例えば、マイク１１８に入力された音声データ）をサーバ１５０に送信する。また、チャット制御モジュール２３４は、サーバ１５０から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール２３４は、その他ユーザ間で共有すべきデータについても、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き情報、およびプレイヤキャラクタの動作を制御するためのコントローラ情報等がある。動き情報は、例えば、ＨＭＤセンサ１２０等により検出されたＨＭＤ装置１１０の位置および傾きを特定するための情報（以下「向きデータ」）、および注視センサ１４０等により検出されたアイトラッキングデータ等である。本実施形態では、チャット制御モジュール２３４は、音声データと動き情報とコントローラ情報とを含む情報（以下「プレイヤ情報」という。）を、ユーザ間で共有すべき情報として、サーバ１５０を介して他のユーザのＨＭＤシステム１００との間で送受信する。プレイヤ情報の送受信は、後述する通信制御モジュール２５０の機能を利用することにより実現される。   The chat control module 234 performs control to chat with avatars of other users staying in the same virtual space 2. For example, the chat control module 234 transmits, to the server 150, data necessary for conducting a chat via the virtual space 2 (for example, voice data input to the microphone 118). Also, the chat control module 234 outputs the voice data of another user received from the server 150 to a speaker (not shown). Thus, voice chat is realized. The chat control module 234 also transmits and receives data to be shared among other users with the HMD system 100 of other users via the server 150. The data to be shared includes motion information for controlling the motion of a part of the avatar's body, and controller information for controlling the motion of the player character. The movement information is, for example, information (hereinafter referred to as “direction data”) for specifying the position and tilt of the HMD device 110 detected by the HMD sensor 120 or the like, and eye tracking data detected by the gaze sensor 140 or the like. . In the present embodiment, the chat control module 234 uses the server 150 as another information to be shared between users (hereinafter referred to as "player information") including information including voice data, motion information, and controller information. It transmits and receives to and from the HMD system 100 of the user. Transmission and reception of player information is realized by using the function of the communication control module 250 described later.

仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。   The virtual space control module 230 detects the collision when each of the objects arranged in the virtual space 2 collides with another object. The virtual space control module 230 can detect, for example, the timing at which an object touches another object, and performs predetermined processing when the detection is performed. The virtual space control module 230 can detect the timing at which the object and the object are away from the touch, and performs predetermined processing when the detection is performed. The virtual space control module 230 can detect that the object is in contact with the object by executing a known collision determination based on, for example, a collision area set for each object.

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。空間情報２４１には、例えば、仮想空間２を提供するために規定された１つ以上のテンプレートが含まれている。オブジェクト情報２４２には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報２４２には、各オブジェクト（例えば、仮想オブジェクトおよびアバター等）を描画するための描画情報も含まれている。また、オブジェクト情報２４２は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。仮想オブジェクトの属性情報としては、例えば当該仮想オブジェクトが可動物であるか固定物であるかを示す情報等が挙げられる。ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。   Memory module 240 holds data used by computer 200 to provide virtual space 2 to user 190. In one aspect, the memory module 240 holds space information 241, object information 242, and user information 243. The space information 241 includes, for example, one or more templates defined to provide the virtual space 2. The object information 242 includes, for example, content to be reproduced in the virtual space 2, information for arranging an object used in the content, and the like. The content may include, for example, a game, content representing a scene similar to a real society, and the like. The object information 242 also includes drawing information for drawing each object (for example, a virtual object and an avatar). The object information 242 may also include attribute information indicating an attribute associated with each object. Examples of attribute information of a virtual object include, for example, information indicating whether the virtual object is a movable object or a fixed object. The user information 243 includes, for example, a program for causing the computer 200 to function as a control device of the HMD system 100, an application program using each content held in the object information 242, and the like.

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。   Data and programs stored in the memory module 240 are input by the user of the HMD device 110. Alternatively, the processor 10 downloads a program or data from a computer (for example, the server 150) operated by a provider providing the content, and stores the downloaded program or data in the memory module 240.

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。   Communication control module 250 may communicate with server 150 and other information communication devices via network 19.

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。   In one aspect, the display control module 220 and the virtual space control module 230 may be implemented using, for example, Unity (registered trademark) provided by Unity Technologies. In another aspect, the display control module 220 and the virtual space control module 230 can also be realized as a combination of circuit elements that implement each process.

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。   Processing in the computer 200 is realized by hardware and software executed by the processor 10. Such software may be stored in advance in a hard disk or other memory module 240. The software may be stored in a CD-ROM or other computer readable non-volatile data storage medium and distributed as a program product. Alternatively, the software may be provided as a downloadable program product by an information provider connected to the Internet or other network. Such software is temporarily stored in the memory module 240 after being read from the data recording medium by an optical disk drive or other data reader, or downloaded from the server 150 or other computer via the communication control module 250. Ru. The software is read by the processor 10 from the memory module 240 and stored in RAM in the form of an executable program. The processor 10 executes the program.

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。   The hardware constituting the computer 200 shown in FIG. 9 is general. Therefore, it can be said that the most essential part according to the present embodiment is a program stored in computer 200. The operation of the hardware of computer 200 is well known, and therefore detailed description will not be repeated.

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。   Incidentally, the data recording medium is not limited to CD-ROM, FD (Flexible Disk), hard disk, magnetic tape, cassette tape, optical disk (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc) ), IC (Integrated Circuit) cards (including memory cards), optical cards, mask ROMs, EPROMs (erasable programmable read-only memories), EEPROMs (electrically erasable programmable read-only memories), semiconductor memories such as flash ROMs, etc. It may be a non-volatile data storage medium that carries a program fixedly.

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。   The program referred to here may include not only a program directly executable by the processor 10 but also a program in source program format, a compressed program, an encrypted program, and the like.

［制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ユーザ１９０Ａ（第１ユーザ）によって使用されるＨＭＤシステム１００Ａがユーザ１９０Ａに仮想空間２を提供するために実行する処理を表すフローチャートである。 Control structure
The control structure of the computer 200 according to the present embodiment will be described with reference to FIG. FIG. 10 is a flow chart showing processing executed by the HMD system 100A used by the user 190A (first user) to provide the virtual space 2 to the user 190A.

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間２を定義する仮想空間データを取得する。ここで、プロセッサ１０は、仮想空間２を共有する他のユーザのアバターおよびプレイヤキャラクタの初期配置等に関する情報をサーバ１５０等から受信することにより、当該他のユーザのアバターおよびプレイヤキャラクタを含む仮想空間２を定義する仮想空間データを生成することができる。あるいは、各ＨＭＤシステム１００と通信可能に接続されたサーバ１５０によって、複数のユーザに共通の仮想空間２を定義する仮想空間データが生成されてもよい。この場合、プロセッサ１０は、サーバ１５０から仮想空間データをダウンロードすることにより、仮想空間データを取得することができる。   In step S1, the processor 10 of the computer 200 specifies virtual space image data as the virtual space definition module 231, and acquires virtual space data defining the virtual space 2. Here, the processor 10 receives, from the server 150 or the like, information on avatars of other users who share the virtual space 2 and the initial arrangement of player characters, etc., thereby including the avatars and player characters of the other users. Virtual space data defining 2 can be generated. Alternatively, virtual space data defining the virtual space 2 common to a plurality of users may be generated by the server 150 communicably connected to each HMD system 100. In this case, the processor 10 can obtain virtual space data by downloading virtual space data from the server 150.

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点（あるいはその他の予め規定されたデフォルト位置）に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。   In step S2, the processor 10 initializes the virtual camera 1 as the virtual camera control module 221. For example, in the work area of the memory, the processor 10 arranges the virtual camera 1 at a predetermined center point (or other predetermined default position) in the virtual space 2 and the user 190 views the line of sight of the virtual camera 1 Turn in the direction you are facing.

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。   In step S <b> 3, the processor 10 generates visibility image data for displaying an initial visibility image as the visibility image generation module 223. The generated view image data is sent to the HMD device 110 by the communication control module 250 via the view image generation module 223.

ステップＳ４において、ＨＭＤ装置１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０を装着したユーザ１９０Ａは、視界画像を視認すると仮想空間２を認識し得る。   In step S4, the monitor 112 of the HMD device 110 displays a view image based on the signal received from the computer 200. The user 190A wearing the HMD device 110 can recognize the virtual space 2 when viewing the view image.

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０から発信される複数の赤外線光に基づいて、ＨＭＤ装置１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。   In step S5, the HMD sensor 120 detects the position and inclination of the HMD device 110 based on the plurality of infrared light beams emitted from the HMD device 110. The detection result is sent to the computer 200 as motion detection data.

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２として、ＨＭＤ装置１１０の位置と傾きとに基づいて、ＨＭＤ装置１１０を装着したユーザ１９０Ａの視界方向を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２にオブジェクトを配置する。   In step S6, the processor 10, as the view field determination module 222, specifies the view direction of the user 190A wearing the HMD device 110 based on the position and the tilt of the HMD device 110. The processor 10 executes an application program, and places an object in the virtual space 2 based on an instruction included in the application program.

ステップＳ７において、コントローラ１６０は、現実空間におけるユーザ１９０Ａの操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０Ａによってボタンが押下されたことを検出する。また、上述したようにＨＭＤセンサ１２０またはコントローラ１６０自身が備えるセンサは、コントローラ１６０の位置および傾きを検出する。検出結果を示す信号は、ＨＭＤセンサ１２０またはコントローラ１６０からコンピュータ２００に送られる。このようにして、コントローラ１６０に対するユーザ１９０Ａによる入力操作の内容を示す操作情報とコントローラ１６０の状態（位置および傾き等）を特定するための状態情報とを含むコントローラ情報が、コンピュータ２００に送られる。そして、プロセッサ１０は、コントローラ情報取得モジュール２３３として、当該コントローラ情報を取得する。   In step S7, the controller 160 detects an operation of the user 190A in the real space. For example, in one aspect, controller 160 detects that a button has been pressed by user 190A. Also, as described above, the sensors provided in the HMD sensor 120 or the controller 160 itself detect the position and the tilt of the controller 160. A signal indicating the detection result is sent from the HMD sensor 120 or the controller 160 to the computer 200. In this manner, controller information including operation information indicating the content of the input operation by the user 190A on the controller 160 and state information for specifying the state (position, inclination, etc.) of the controller 160 is sent to the computer 200. Then, the processor 10 acquires the controller information as the controller information acquisition module 233.

ステップＳ８において、プロセッサ１０は、コントローラ情報取得モジュール２３３およびチャット制御モジュール２３４として、サーバ１５０から、仮想空間２を共有する他のユーザのプレイヤ情報（音声データ、動き情報、およびコントローラ情報等）を取得する。   In step S8, the processor 10 acquires player information (voice data, motion information, controller information, etc.) of another user sharing the virtual space 2 from the server 150 as the controller information acquisition module 233 and the chat control module 234. Do.

ステップＳ９において、プロセッサ１０は、仮想オブジェクト制御モジュール２３２として、ユーザ１９０Ａを含む各ユーザ１９０のプレイヤ情報に基づいて、各ユーザのアバターおよびプレイヤキャラクタの動作を制御する。   In step S9, the processor 10, as the virtual object control module 232, controls the action of the avatar and player character of each user based on the player information of each user 190 including the user 190A.

ステップＳ１０において、プロセッサ１０は、視界画像生成モジュール２２３として、ステップＳ９の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ装置１１０に出力する。   In step S10, the processor 10 causes the view image generation module 223 to generate view image data for displaying a view image based on the processing result in step S9, and outputs the generated view image data to the HMD device 110.

ステップＳ１１において、ＨＭＤ装置１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。   In step S11, the monitor 112 of the HMD device 110 updates the view image based on the received view image data, and displays the updated view image.

図１１は、仮想空間２の一例を模式的に表す図である。図１１に示されるように、仮想空間２は、ユーザ１９０Ａに関連付けられたアバターＡ１（第１アバター）と、ユーザ１９０Ａにより使用されるコントローラ１６０Ａ（第１コントローラ）に対する入力操作に基づいて操作されるプレイヤキャラクタＣ１（第１キャラクタオブジェクト）と、ユーザ１９０Ａとは異なるユーザ１９０Ｂ（第２ユーザ）に関連付けられたアバターＡ２（第２アバター）と、ユーザ１９０Ｂにより使用されるコントローラ１６０Ｂ（第２コントローラ）に対する入力操作に基づいて操作されるプレイヤキャラクタＣ２（第２キャラクタオブジェクト）と、ユーザ１９０Ａに装着され、モニタ１１２（第１表示部）を備えるＨＭＤ装置１１０Ａ（第１ヘッドマウントデバイス）に提供される視界画像Ｍ１を定義する仮想カメラ１Ａ（第１仮想カメラ）と、ユーザ１９０Ｂに装着され、モニタ１１２（第２表示部）を備えるＨＭＤ装置１１０Ｂ（第２ヘッドマウントデバイス）に提供される視界画像Ｍ２を定義する仮想カメラ１Ｂ（第２仮想カメラ）とを含む。また、図１１に示される例では、仮想空間２は、さらに、コントローラ１６０Ａ，１６０Ｂに対応する仮想的なコントローラを表すコントローラオブジェクトＶＣ１，ＶＣ２と、アバターＡ１，Ａ２の仮想的な手を表す手オブジェクトＶＨ１，ＶＨ２とを含む。   FIG. 11 schematically shows an example of the virtual space 2. As shown in FIG. 11, the virtual space 2 is operated based on an input operation on an avatar A1 (first avatar) associated with the user 190A and a controller 160A (first controller) used by the user 190A. For the player character C1 (first character object), avatar A2 (second avatar) associated with the user 190B (second user) different from the user 190A, and the controller 160B (second controller) used by the user 190B The field of view provided to the HMD device 110A (first head mounted device) equipped with the player character C2 (second character object) operated based on the input operation and the user 190A and equipped with the monitor 112 (first display unit) Define image M1 Virtual camera 1B that is mounted on the virtual camera 1A (first virtual camera) and the user 190B and defines a view image M2 provided to the HMD device 110B (second head mounted device) including the monitor 112 (second display unit) And (second virtual camera). Further, in the example illustrated in FIG. 11, the virtual space 2 further includes controller objects VC1 and VC2 that represent virtual controllers corresponding to the controllers 160A and 160B, and a hand object that represents virtual hands of avatars A1 and A2. And VH1 and VH2.

図１１に示される例では、仮想空間２において、複数のユーザ１９０Ａ，１９０Ｂが各自のプレイヤキャラクタＣ１，Ｃ２をゲームフィールドＦ上で闘わせる対戦ゲーム（ここでは、爆弾Ｂ１を投げ合うゲーム）が展開されている。仮想空間２では、ゲームに関連するプレイヤキャラクタＣ１，Ｃ２だけでなく、コントローラオブジェクトＶＣ１，ＶＣ２を保持するアバターＡ１，Ａ２が所定の位置に配置されている。これにより、仮想空間２において、各ユーザ１９０Ａ，１９０ＢのアバターＡ１，Ａ２が各プレイヤキャラクタＣ１，Ｃ２を操作しているシチュエーションが表現されている。また、仮想カメラ１Ａ，１Ｂは、アバターＡ１，Ａ２の視点に関連付けられている。これにより、ユーザ１９０Ａ，１９０Ｂに対して、アバターＡ１，Ａ２の１人称視点における視界画像Ｍ１，Ｍ２が提供される。   In the example shown in FIG. 11, in the virtual space 2, a battle game (here, a game in which the bomb B1 is thrown) in which a plurality of users 190A and 190B fight their player characters C1 and C2 on the game field F is developed. It is done. In the virtual space 2, avatars A1 and A2 holding controller objects VC1 and VC2 as well as player characters C1 and C2 related to the game are arranged at predetermined positions. As a result, in the virtual space 2, a situation in which the avatars A1 and A2 of the users 190A and 190B operate the player characters C1 and C2 is represented. The virtual cameras 1A and 1B are associated with the viewpoints of the avatars A1 and A2. Thereby, view images M1 and M2 in the first person viewpoints of avatars A1 and A2 are provided to users 190A and 190B.

図１２は、ＨＭＤ装置１１０Ａを介してユーザ１９０Ａに提供される視界画像Ｍ１の一例を表す図である。図１２に示されるように、ユーザ１９０Ａは、視界画像Ｍ１を認識することによって、あたかも自分がアバターＡ１として仮想空間２に存在しているかのような仮想体験をすることができる。同様に、ユーザ１９０Ｂは、視界画像Ｍ２を認識することによって、あたかも自分がアバターＡ２として仮想空間２に存在しているかのような仮想体験をすることができる。   FIG. 12 is a diagram illustrating an example of a view image M1 provided to the user 190A via the HMD device 110A. As shown in FIG. 12, by recognizing the view image M1, the user 190A can have a virtual experience as if he / she was present in the virtual space 2 as the avatar A1. Similarly, by recognizing the view image M2, the user 190B can have a virtual experience as if he / she is present in the virtual space 2 as the avatar A2.

ここで、仮想空間２におけるコントローラオブジェクトＶＣ１，ＶＣ２のデザインは、コントローラ１６０Ａ，１６０Ｂの機種等に応じて決定されてもよい。例えば、プロセッサ１０は、コントローラ１６０Ａの機種を示す情報をコントローラ１６０Ａから取得し、オブジェクト情報２４２として機種毎に予め用意されたコントローラオブジェクトの描画データに基づいて、コントローラオブジェクトＶＣ１を描画してもよい。これにより、各ユーザ１９０Ａ，１９０Ｂは、視界画像Ｍ１，Ｍ２に表示されるコントローラオブジェクトＶＣ１，ＶＣ２のデザインに基づいて、他のユーザが利用するコントローラ１６０のタイプ（例えば両手持ちであるか片手持ちであるか）を把握することができる。   Here, the design of the controller objects VC1 and VC2 in the virtual space 2 may be determined according to the model of the controllers 160A and 160B. For example, the processor 10 may obtain information indicating the model of the controller 160A from the controller 160A, and may draw the controller object VC1 based on drawing data of a controller object prepared in advance for each model as the object information 242. Thus, each user 190A, 190B can use the type of controller 160 used by another user (for example, two-handed or one-handed) based on the design of controller objects VC1, VC2 displayed in view images M1, M2. Can understand).

このような仮想空間２によれば、各ユーザ１９０Ａ，１９０Ｂに対して、アバターＡ１，Ａ２を介したチャットおよびマルチプレイゲームを提供することができる。また、この仮想空間２には、各ユーザ１９０Ａ，１９０ＢのアバターＡ１，Ａ２およびプレイヤキャラクタＣ１，Ｃ２の両方が存在する。このため、各ユーザ１９０Ａ，１９０Ｂは、アバターＡ１，Ａ２を介して互いの存在を認識しつつ、仮想空間２において共通のゲームを楽しむことができる。これにより、各ユーザ１９０Ａ，１９０Ｂは、仮想空間２において、複数人で盛り上がっている感覚を容易に得ることができる。その結果、各ユーザ１９０Ａ，１９０Ｂの仮想体験のエンタテイメント性を向上させることができる。   According to such virtual space 2, it is possible to provide chat and multiplayer games via avatars A1 and A2 to each user 190A and 190B. Further, in the virtual space 2, both avatars A1 and A2 and player characters C1 and C2 of the users 190A and 190B exist. Therefore, the users 190A and 190B can enjoy the common game in the virtual space 2 while recognizing the existence of each other through the avatars A1 and A2. As a result, each of the users 190A and 190B can easily obtain a feeling of being swelled by a plurality of people in the virtual space 2. As a result, it is possible to improve the entertainment of the virtual experience of each user 190A, 190B.

図１３は、複数ユーザ１９０Ａ，１９０Ｂに同一の仮想空間２を共有させるために、各ＨＭＤシステム１００Ａ，１００Ｂおよびサーバ１５０によって実行される処理を表すシーケンス図である。なお、図１３に示される処理は、図１０におけるステップＳ７〜Ｓ９に示される処理と一部重複している。   FIG. 13 is a sequence diagram showing processing executed by each of the HMD systems 100A, 100B and the server 150 in order to make the same virtual space 2 shared by multiple users 190A, 190B. The process shown in FIG. 13 partially overlaps with the processes shown in steps S7 to S9 in FIG.

ステップＳ２１Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、コントローラ情報取得モジュール２３３として、コントローラ１６０Ａについてのコントローラ情報を取得する。また、プロセッサ１０は、チャット制御モジュール２３４として、ユーザ１９０Ａの音声データを取得する。また、プロセッサ１０は、ＨＭＤセンサ１２０および注視センサ１４０等によって検出された向きデータおよびアイトラッキングデータを含む動き情報を取得する。これにより、音声データ、コントローラ情報、および動き情報を含むプレイヤ情報が取得される。また、プレイヤ情報には、アバターＡ１（あるいはユーザ１９０Ａ）を特定するための情報（ユーザＩＤ等）、およびアバターＡ１が存在する仮想空間２を特定するための情報（ルームＩＤ等）が含まれ得る。プロセッサ１０は、チャット制御モジュール２３４として、上述のように取得されたプレイヤ情報を、ネットワーク１９を介してサーバ１５０に送信する。   In step S21A, the processor 10 in the HMD system 100A acquires controller information on the controller 160A as the controller information acquisition module 233. Also, the processor 10 acquires voice data of the user 190A as the chat control module 234. The processor 10 also acquires motion information including orientation data and eye tracking data detected by the HMD sensor 120 and the gaze sensor 140 or the like. Thereby, player information including audio data, controller information, and motion information is acquired. The player information may also include information (such as a user ID) for identifying avatar A1 (or user 190A) and information (such as a room ID) for identifying virtual space 2 in which avatar A1 is present. . The processor 10 transmits the player information acquired as described above to the server 150 via the network 19 as the chat control module 234.

ステップＳ２１Ｂにおいて、ＨＭＤシステム１００Ｂのプロセッサ１０は、ステップＳ２１Ａの処理と同様に、ユーザ１９０Ｂのプレイヤ情報を取得し、サーバ１５０に送信する。   In step S21B, the processor 10 of the HMD system 100B acquires player information of the user 190B and transmits it to the server 150, as in the process of step S21A.

ステップＳ２２において、サーバ１５０は、複数のＨＭＤシステム１００（ここでは、ＨＭＤシステム１００Ａ，１００Ｂ）のそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ１５０は、各プレイヤ情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間２に関連付けられた全ユーザ（この例では、ユーザ１９０Ａ，１９０Ｂ）のプレイヤ情報を統合する。そして、サーバ１５０は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間２に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤシステム１００Ａ，１００Ｂは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。   In step S22, the server 150 temporarily stores player information received from each of the plurality of HMD systems 100 (here, the HMD systems 100A and 100B). The server 150 integrates player information of all users (users 190A and 190B in this example) associated with the common virtual space 2 based on the user ID and the room ID included in each player information. Then, the server 150 transmits the integrated player information to all the users associated with the virtual space 2 at a predetermined timing. Thus, the synchronization process is performed. By such synchronization processing, the HMD systems 100A and 100B can share the player information of each other at substantially the same timing.

続いて、サーバ１５０から各ＨＭＤシステム１００Ａ，１００Ｂに送信されたプレイヤ情報に基づいて、各ＨＭＤシステム１００Ａ，１００Ｂは、ステップＳ２３Ａ，Ｓ２３Ｂの処理を実行する。ステップＳ２３Ａの処理は、図１０におけるステップＳ９の処理に相当する。   Subsequently, based on the player information transmitted from the server 150 to the HMD systems 100A and 100B, the HMD systems 100A and 100B execute the processes of steps S23A and S23B. The process of step S23A corresponds to the process of step S9 in FIG.

ステップＳ２３Ａにおいて、ＨＭＤシステム１００Ａにおけるプロセッサ１０は、仮想オブジェクト制御モジュール２３２として、仮想空間２におけるアバターＡ１，Ａ２およびプレイヤキャラクタＣ１，Ｃ２の動作を制御する。ステップＳ２３Ｂの処理は、ステップＳ２３Ａの処理と同様である。   In step S23A, the processor 10 in the HMD system 100A controls the operations of avatars A1 and A2 and player characters C1 and C2 in the virtual space 2 as the virtual object control module 232. The process of step S23B is similar to the process of step S23A.

図１４は、ステップＳ２３Ａの詳細な処理を示すフローチャートである。以下、図１４を参照して、ステップＳ２３Ａの処理内容について説明する。この処理は、ユーザ１９０Ａによる第１操作入力に基づいて仮想空間２内に定義されたゲームフィールド内で動作するプレイヤキャラクタＣ１、第１操作入力とは異なる操作データによって制御されるアバターＡ２、およびアバターＡ２に関連付けられゲームフィールド内で動作するプレイヤキャラクタＣ２を含む仮想空間における処理である。アバターＡ２およびプレイヤキャラクタＣ２は、ユーザ１９０Ｂにより操作されるものであるが、図示しないコンピュータにより操作制御されるものとしてもよい。   FIG. 14 is a flowchart showing a detailed process of step S23A. Hereinafter, the processing content of step S23A will be described with reference to FIG. This process includes a player character C1 operating in a game field defined in the virtual space 2 based on a first operation input by the user 190A, an avatar A2 controlled by operation data different from the first operation input, and an avatar This is processing in a virtual space including the player character C2 associated with A2 and operating in the game field. The avatar A2 and the player character C2 are operated by the user 190B, but may be controlled by a computer (not shown).

ステップＳ２３Ａでは、プロセッサ１０は、ゲーム進行データに基づいてユーザのゲーム進行を有利または不利のさせるための調整を行う。ゲーム進行データとは、仮想空間において実行されるゲームにおけるアバターＡ１、Ａ２、プレイヤキャラクタＣ１、Ｃ２のいずれかの動作に基づいて定められたデータである。図１１の例においては、プレイヤキャラクタＣ１、Ｃ２同士が、ゲームフィールドＦで対戦している。例えば、プレイヤキャラクタＣ１およびアバターＡ１は、プレイヤキャラクタＣ２またはアバターＡ２から、干渉（アクション）を受けることにより、ユーザ１９０Ａのゲーム進行を有利または不利にさせるよう調整する。当然にその逆もあり得る。プロセッサ１０は、ゲーム進行に応じて生ずるイベントに基づいた干渉により、ユーザ１９０Ａのゲーム進行を有利または不利にさせるよう調整してもよい。   In step S23A, the processor 10 makes adjustments to make the user's game progress advantageous or disadvantageous based on the game progress data. The game progress data is data determined based on an action of any of avatars A1 and A2 and player characters C1 and C2 in a game executed in a virtual space. In the example of FIG. 11, the player characters C1 and C2 are competing in the game field F. For example, the player character C1 and the avatar A1 adjust the game progress of the user 190A to be advantageous or disadvantageous by receiving an interference (action) from the player character C2 or the avatar A2. Naturally the opposite is also possible. The processor 10 may adjust the game progress of the user 190A to be advantageous or disadvantageous by interference based on an event generated in response to the game progress.

ステップＳ３１において、プロセッサ１０は、各ユーザ１９０Ａおよび１９０Ｂのプレイヤ情報およびイベント情報を取得する。プレイヤ情報は、音声データ、動き情報、コントローラ情報である。コントローラ情報は、仮想オブジェクトに対する操作を示す操作情報を含む。コントローラ情報は、アバターＡ１、Ａ２またはプレイヤキャラクタＣ１、Ｃ２が、仮想オブジェクトに対してどのような操作をしたかを示す。例えば、どのアバターまたはプレイヤキャラクタが、爆弾という仮想オブジェクトを、どこにまたは誰に向かって投げたかを示す情報である。   In step S31, the processor 10 acquires player information and event information of each of the users 190A and 190B. The player information is voice data, motion information, and controller information. The controller information includes operation information indicating an operation on the virtual object. The controller information indicates what operation the avatars A1, A2 or player characters C1, C2 have performed on the virtual object. For example, it is information indicating which avatar or player character threw a virtual object called a bomb where or to whom.

イベント情報は、仮想空間２内において、定期的に発生するイベントを示す。各ユーザ１９０および仮想空間２を管理するサーバ１５０は、仮想空間２におけるゲーム進行に基づいたイベントを発生させる。例えば、時間ごとまたは予め定められたた出現条件を満たした場合に、後述するルーレットオブジェクトを仮想空間内に出現させるなどである。サーバ１５０は、ルーレットオブジェクトを出現させる前にそのルーレットの目を決定する。サーバ１５０は、イベント情報として、ルーレットオブジェクト出現というイベントおよびそのルーレットの目を各ユーザ１９０に送信する。イベント情報は、その出現条件を満たさない場合にはサーバ１５０から送信されない。その場合、各ＨＭＤシステム１００は、イベント情報を取得しない。   The event information indicates an event that periodically occurs in the virtual space 2. The server 150 managing each user 190 and the virtual space 2 generates an event based on the game progress in the virtual space 2. For example, a roulette object, which will be described later, is made to appear in the virtual space, for example, when a time or a predetermined appearance condition is satisfied. The server 150 determines the eyes of the roulette before causing the roulette object to appear. The server 150 transmits an event called roulette object appearance and the eyes of the roulette to each user 190 as event information. The event information is not transmitted from the server 150 when the appearance condition is not satisfied. In that case, each HMD system 100 does not acquire event information.

ステップＳ３２において、プロセッサ１０は、プレイヤ情報およびイベント情報に基づいて仮想オブジェクトを生成する。例えば、アバターＡ２またはプレイヤキャラクタＣ２が、爆弾をアバターＡ１またはプレイヤキャラクタＣ１に投げた場合には、プロセッサ１０は、そのプレイヤ情報に基づいて、爆弾という仮想オブジェクトを生成する。状況に応じて爆風を示す仮想オブジェクトや、煙幕を示す仮想オブジェクトを生成する。   In step S32, the processor 10 generates a virtual object based on the player information and the event information. For example, when the avatar A2 or the player character C2 throws a bomb to the avatar A1 or the player character C1, the processor 10 generates a virtual object called a bomb based on the player information. Depending on the situation, create a virtual object indicating a blast or a virtual object indicating a smoke screen.

ステップＳ３３において、プロセッサ１０は、取得したプレイヤ情報に含まれている動き情報、コントローラ情報、および操作情報に基づいて、アバターＡ１、Ａ２、プレイヤキャラクタＣ１、Ｃ２および仮想オブジェクトの動作を制御する。アバターＡ１およびプレイヤキャラクタＣ１に対するプレイヤ情報は、ステップＳ３１においてサーバ１５０から取得したものでもよいし、ステップＳ２１Ａにおいて取得したものでもよい。   In step S33, the processor 10 controls the actions of the avatars A1 and A2, the player characters C1 and C2, and the virtual object based on the motion information, the controller information, and the operation information included in the acquired player information. The player information for the avatar A1 and the player character C1 may be acquired from the server 150 in step S31 or may be acquired in step S21A.

例えば、ユーザ１９０ＢのアバターＡ２またはプレイヤキャラクタＣ２が、プレイヤキャラクタＣ１またはアバターＡ１に対して爆弾を投げた場合、ユーザ１９０ＡのＨＭＤシステム１００Ａは、その動作を示す情報を含んだプレイヤ情報を取得する。プロセッサ１０は、爆弾が投げつけられたというプレイヤ情報に基づいて、ユーザ１９０Ａのゲーム進行を有利または不利にさせるよう調整する。爆弾が投げつけられた場合には、プロセッサ１０は、コリジョンエリアに基づく判定処理を行う。プロセッサ１０は、判定処理に基づいてユーザ１９０Ａにとってゲーム進行を不利にさせるための調整処理を行う。例えば、プロセッサ１０は、爆弾が投げつけられた対象であるアバターＡ１またはプレイヤキャラクタＣ１に対する操作を制限する制御を行う。操作を制限する制御は、爆弾が投げつけられた対象であるアバターＡ１またはプレイヤキャラクタＣ１の動作を遅くする制御を含む。   For example, when the avatar A2 or the player character C2 of the user 190B throws a bomb against the player character C1 or the avatar A1, the HMD system 100A of the user 190A acquires player information including information indicating the operation. The processor 10 adjusts the game progress of the user 190A to be advantageous or disadvantageous based on the player information that the bomb has been thrown. When a bomb is thrown, the processor 10 performs a determination process based on a collision area. The processor 10 performs adjustment processing to make the game progress disadvantageous for the user 190A based on the determination processing. For example, the processor 10 performs control to limit the operation on the avatar A1 or the player character C1 which is the target of bombing. The control for restricting the operation includes control for delaying the action of the avatar A1 or the player character C1 which is the target of bombing.

プロセッサ１０は、他の操作を制限する制御として、ユーザ１９０Ａの視界を制限する制御を行う。例えば、アバターＡ１またはプレイヤキャラクタＣ１が、アバターＡ２またはプレイヤキャラクタＣ２のプレイヤ情報に基づいて煙幕弾が投げつけられた場合を想定する。その場合、プロセッサ１０は、爆弾に基づいて、煙幕という仮想オブジェクトをアバターＡ１の周囲に生成する。プロセッサ１０は、煙幕という仮想オブジェクトによりユーザ１９０Ａの視界を制限する制御を行うことができる。   The processor 10 performs control to limit the view of the user 190A as control to limit other operations. For example, it is assumed that a smoke bullet is thrown based on avatar A1 or player character C1 and player information of avatar A2 or player character C2. In that case, the processor 10 generates a virtual object called a smoke screen around avatar A1 based on the bomb. The processor 10 can perform control to limit the view of the user 190A by a virtual object called a smoke screen.

ステップＳ３４において、プロセッサ１０は、ステップＳ３１においてイベント情報を取得した場合には、そのイベント情報に基づいて、各アバターＡ、プレイヤキャラクタＣおよび仮想オブジェクトの動作を制御する。例えば、イベント情報は、上述したとおり、ゲーム進行に従って定められた出現条件に基づいたイベントである。出現条件は、例えば、アバターＡ１、Ａ２、プレイヤキャラクタＣ１、Ｃ２が、規定の動作を行った場合や、規定の時間が経過した場合などを含む。イベント情報は、アバターＡ１、Ａ２、プレイヤキャラクタＣ１、Ｃ２に対して、ゲーム進行を有利または不利にさせる状態にすることを含んだものである。例えば、イベント情報は、ルーレットオブジェクトの出現およびそのルーレットの目を含む。イベント情報は、ルーレットの目に従って各アバターＡ１、Ａ２、プレイヤキャラクタＣ１、Ｃ２に対してゲーム進行を有利または不利にさせる。プロセッサ１０は、そのイベント情報に基づいてルーレットオブジェクトを生成し、ルーレットを回す制御を行う。プロセッサ１０は、イベント情報で指定されたルーレットの目を出すように、ルーレットオブジェクトを制御する。   In step S34, when the processor 10 acquires event information in step S31, the processor 10 controls operations of each avatar A, player character C and virtual object based on the event information. For example, as described above, the event information is an event based on the appearance condition defined in accordance with the game progress. The appearance conditions include, for example, when the avatars A1 and A2 and the player characters C1 and C2 perform a prescribed operation or when a prescribed time has elapsed. The event information includes making the progress of the game advantageous or disadvantageous to the avatars A1 and A2 and the player characters C1 and C2. For example, event information includes the appearance of a roulette object and the eyes of the roulette. The event information makes the game progress advantageous or disadvantageous to the avatars A1 and A2 and the player characters C1 and C2 according to the eyes of the roulette. The processor 10 generates a roulette object based on the event information and performs control of turning the roulette. The processor 10 controls the roulette object so that the eyes of the roulette specified by the event information appear.

プロセッサ１０は、ルーレットの目に応じてユーザ１９０（アバターＡ）を選択し、選択されたアバターＡに対する制御を行う。プロセッサ１０は、アバターＡ１を選択した場合には、そのアバターＡ１に対してロケットを装着させ、上方に射出させる制御を行う。その結果、ユーザ１９０ＡのアバターＡ１は、身動きがとれないという状態となる。結果的にユーザ１９０Ａは操作をすることができず、操作の制限を受けることになる。   The processor 10 selects the user 190 (avatar A) according to the eyes of the roulette, and controls the selected avatar A. When the processor A1 selects the avatar A1, the processor 10 controls the avatar A1 to mount a rocket and eject the rocket upward. As a result, the avatar A1 of the user 190A can not move. As a result, the user 190A can not operate and is restricted in operation.

その他、イベントとしては様々なものがあるが、仮想空間におけるアバターＡ１またはＡ２に対してゲーム進行を有利または不利にさせるイベントであればよい。   There are various other events, but they may be events that make the game progress advantageous or disadvantageous with respect to avatar A1 or A2 in the virtual space.

このようにして、アバターＡ１またはプレイヤキャラクタＣ１に対する、アバターＡ２またはプレイヤキャラクタＣ２の動作またはゲーム進行上発生するイベントに基づいて、アバターＡ１またはプレイヤキャラクタＣ１はゲーム進行を不利にする処理が行われる。上述のステップＳ３３およびＳ３４の順番は逆でもよいし、または同時並行的に行われてもよい。   In this manner, the avatar A1 or the player character C1 performs a process of making the game progress disadvantageous, based on the avatar A1 or the player character C1, based on an action of the avatar A2 or the player character C2 or an event occurring on the game progress. The order of steps S33 and S34 described above may be reversed, or may be performed concurrently.

上述説明ではゲーム進行を不利に調整する処理を説明したが、ゲーム進行を有利に調整する処理も当然に行うことも可能である。アバターＡ２が、アバターＡ１またはプレイヤキャラクタＣ１に対して、アバターＡ１の動きを早くするためのアイテムを投げつけることで、プロセッサ１０は、ユーザ１９０Ａにとって有利になるよう調整することもできる。アイテムとしては、瞬間移動させるなどのアイテムや、体力回復のためのアイテムや煙幕を取り払うためのアイテムが考えられる。このような有利な調整処理はチーム戦でゲームを行うときに、盛り上げる要素になりうる。   In the above description, the process of adjusting the game progress disadvantageously has been described, but it is also possible to perform the process of adjusting the game progress in an advantageous manner. The processor 10 can also be adjusted to be advantageous to the user 190A as the avatar A2 throws an item on the avatar A1 or the player character C1 to accelerate the movement of the avatar A1. As an item, an item such as an instant movement, an item for recovery of physical strength or an item for removing a smoke can be considered. Such an advantageous adjustment process can be an exciting element when playing a game in a team game.

アバターＡ１またはプレイヤキャラクタＣ１が、アバターＡ２またはプレイヤキャラクタＣ２に対して、爆弾を投げるなどの動作を行う。ユーザ１９０Ｂにとって操作の制限等を受ける場合には、その制限は、ユーザ１９０Ａにとって有利な調整処理を行うことに相当する。   The avatar A1 or the player character C1 performs an action such as throwing a bomb on the avatar A2 or the player character C2. In the case where the user 190B receives a restriction on operation or the like, the restriction corresponds to performing an adjustment process advantageous to the user 190A.

ユーザ１９０Ａが、ゲーム進行を有利または不利にさせる調整処理に基づいた有利な状態または不利な状態を、以下の操作やアイテムを使用することで、解消することができる。   The user 190A can eliminate the advantageous state or the disadvantageous state based on the adjustment process which makes the game progress advantageous or disadvantageous by using the following operation or item.

例えば、すでに、ステップＳ３１〜Ｓ３４の処理に従って、ユーザ１９０Ａが煙幕などで視界が制限されている状態となっている場合を想定する。ユーザ１９０Ａは、アバターＡ１を操作して、目の周りにある煙幕を振り払う操作をする。ユーザ１９０Ａは、煙幕を取り除くことができる。プロセッサ１０は、アバターＡ１のプレイヤキャラクタ情報に基づいて、煙幕を取り除く動作を行ったと判断する場合には、その煙幕を示す仮想オブジェクトを除去する制御を行う。これによって、ユーザ１９０Ａの不利な状態を解消することができる。これは、ユーザ１９０Ｂ（アバターＡ２）においても同様である。   For example, it is assumed that the user 190A is already in a state where the field of view is limited by a smoke screen or the like according to the processes of steps S31 to S34. The user 190A operates the avatar A1 to shake off the smoke screen around the eyes. The user 190A can remove the smoke screen. The processor 10 performs control of removing the virtual object indicating the smoke screen, when it is determined that the operation of removing the smoke screen has been performed based on the player character information of the avatar A1. This can eliminate the disadvantageous state of the user 190A. The same applies to the user 190B (avatar A2).

アバターＡ１が、煙幕用のメガネやゴーグルをもっている場合には、そのメガネやゴーグルを装着することで、煙幕がある中でも視界を確保することができる。プロセッサ１０は、アバターＡ１のプレイヤ情報として煙幕用のメガネを装着するとの情報を取得した場合で、仮想オブジェクトとして煙幕がアバターＡ１の周囲にあった場合には、その煙幕を示す仮想オブジェクトを除去する。プロセッサ１０は、煙幕を透明にする制御を行うってもよい。これによって、視界の制限を受けることがない。   If the avatar A1 has smoke glasses or goggles, wearing the glasses or goggles can ensure visibility even in the presence of smoke. The processor 10, when acquiring the information of wearing the glasses for the smoke screen as the player information of the avatar A1, removes the virtual object showing the smoke screen when the smoke screen is around the avatar A1 as the virtual object. . The processor 10 may perform control to make the smoke screen transparent. This will not limit your view.

すでに視界の制限を受けないアイテム等をアバターＡ１が有している場合には、アバターＡ２からの爆弾による煙幕の影響を受けないようにすることもできる。ステップＳ３２およびＳ３３において、プロセッサ１０は、プレイヤ情報に基づいて仮想オブジェクトの生成およびその制御を行う。プロセッサ１０は、アバターＡ１がゲーム進行の不利を受けないアイテムを有している、またはそれを装着している場合、その不利を受けないための制御を行う。   If the avatar A1 already has an item or the like that is not limited in visibility, it is possible to prevent the influence of the smoke from the bomb from the avatar A2. In steps S32 and S33, the processor 10 generates a virtual object and controls the virtual object based on the player information. The processor 10 performs control so as not to receive the disadvantage when the avatar A1 has an item that does not receive the disadvantage of the game progress or wears it.

プロセッサ１０は、例えばメガネを装着しているなどの条件を満たしている場合には、視界制限を受けないような仮想オブジェクト（煙幕が半透明など）を生成する。プロセッサ１０は、視界制限を受けないように（煙幕が目の周りにはない）仮想オブジェクトを制御してもよい。   The processor 10 generates a virtual object (such as a semitransparent smoke screen) that is not subject to the view restriction when the conditions such as wearing glasses are satisfied. The processor 10 may control the virtual object so that it is not subject to visibility restrictions (the smoke is not around the eyes).

本明細書に開示された主題は、例えば以下のような項目として示される。   The subject matter disclosed in the present specification is indicated, for example, as the following items.

（項目１）
表示部（モニタ１１２）を備えるヘッドマウントデバイス（ＨＭＤ装置１１０Ａ）を介して第１ユーザ（ユーザ１９０Ａ）に仮想空間２を提供するためにコンピュータ（コンピュータ２００）により実行される情報処理方法であって、
前記第１ユーザに関連付けられた第１アバター（アバターＡ１）、前記第１ユーザによる第１操作入力に基づいて前記仮想空間内に定義されたフィールド内で動作する第１キャラクタ（プレイヤキャラクタＣ１）、前記第１操作入力とは異なる操作データによって制御される第２アバター（アバターＡ２）、および前記第２アバターに関連付けられ前記フィールド内で動作する第２キャラクタ（プレイヤキャラクタＣ２）を含む仮想空間を規定する仮想空間データを特定するステップと、
前記仮想空間において実行されるゲームにおける前記第１アバター、前記第１キャラクタ、前記第２アバター、および前記第２キャラクタのいずれかの動作に基づく前記のゲームの進行を示すゲーム進行データ（プレイヤ情報またはイベント情報）に基づいて、前記第１ユーザのゲーム進行を有利または不利にさせるよう調整するステップと、
前記第１アバター、前記第１キャラクタ、前記第２アバター、および前記第２キャラクタの操作結果に基づいて、前記第１アバターから視界画像を生成するステップと、
を備える情報処理方法。 (Item 1)
The information processing method is executed by a computer (computer 200) to provide a virtual space 2 to a first user (user 190A) via a head mounted device (HMD device 110A) including a display unit (monitor 112). ,
A first avatar (avatar A1) associated with the first user, a first character (player character C1) operating in a field defined in the virtual space based on a first operation input by the first user, Define a virtual space including a second avatar (avatar A2) controlled by operation data different from the first operation input, and a second character (player character C2) associated with the second avatar and operating in the field Identifying virtual space data to be
Game progress data (player information or game information indicating the progress of the game based on the motion of one of the first avatar, the first character, the second avatar, and the second character in a game executed in the virtual space (player information or Adjusting the progress of the game of the first user to be advantageous or disadvantageous based on the event information);
Generating a view image from the first avatar based on an operation result of the first avatar, the first character, the second avatar, and the second character;
An information processing method comprising:

本項目の情報処理方法によれば、アバターと当該アバターが操作しているかのごとく表現されているキャラクタとを用いた仮想空間内で行われているゲームに対してエンタテイメント性を向上させることができる。   According to the information processing method of this item, it is possible to improve entertainment for a game performed in a virtual space using an avatar and a character represented as if the avatar is operating. .

（項目２）
前記動作データは、前記第１アバターまたは前記第１キャラクタと、前記第２アバターまたは前記第２キャラクタとの間で行われる動作を含む、項目１に記載の情報処理方法。 (Item 2)
The information processing method according to Item 1, wherein the motion data includes a motion performed between the first avatar or the first character, and the second avatar or the second character.

本項目の情報処理方法によれば、ユーザの動作に基づいてゲーム進行を有利または不利にさせる。したがって、ユーザに対しては、自分のゲーム進行を有利にさせ、他のユーザのゲーム進行を不利にさせるために積極的にゲームをプレイすることが期待され、複数人でのゲームを大いに盛り上げることができ、ゲームのエンタテイメント性をさらに向上させる。   According to the information processing method of this item, game progress is made advantageous or disadvantageous based on the user's action. Therefore, it is expected that the user actively plays the game in order to make his game progress advantageous and the other user's game progress penalized, so that the game with multiple players can be greatly enhanced To further enhance the entertainment of the game.

（項目３）
前記調整するステップは、前記第１アバター若しくは前記第１キャラクタに対する前記第１ユーザの操作性を有利または不利にさせる処理を含む、項目１または２に記載の情報処理方法。 (Item 3)
The information processing method according to Item 1 or 2, wherein the adjusting step includes processing to make the first user's operability with respect to the first avatar or the first character advantageous or disadvantageous.

本項目の情報処理方法によれば、ユーザの操作性を有利または不利にさせることで、ゲームのエンタテイメント性を向上させることができる。すなわち、ゲームの操作性はゲームを進行する上で重要な要素であり、その制限はユーザに対してゲームのエンタテイメント性を向上させることになる。   According to the information processing method of this item, the entertainment property of the game can be improved by making the user's operability advantageous or disadvantageous. That is, the operability of the game is an important factor in advancing the game, and the restriction thereof improves the entertainment of the game for the user.

（項目４）
前記調整するステップは、前記第１ユーザが、前記第１アバター若しくは前記第１キャラクタに対する操作を制限する処理を含む、項目３に記載の情報処理方法。 (Item 4)
The information processing method according to Item 3, wherein the adjusting step includes a process in which the first user restricts an operation on the first avatar or the first character.

本項目の情報処理方法によれば、ユーザの操作を制限することで、そのユーザに対してゲームのエンタテイメント性を向上させることになる。   According to the information processing method of this item, by restricting the operation of the user, the entertainability of the game is improved for the user.

（項目５）
前記調整するステップは、前記第１ユーザにおける前記第１アバターからの視界を制限する処理を含む、項目３または４に記載の情報処理方法。 (Item 5)
The information processing method according to Item 3 or 4, wherein the adjusting step includes a process of limiting a field of view of the first user from the first avatar.

本項目の情報処理方法によれば、操作性を有利または不利にさせる処理として、視界を制限することで、ユーザするゲームエンタテイメント性を向上させることができる。ユーザはゲームをプレイする上では、視界は重要な要素であり、それに対して制限をかけることはゲームのエンタテイメント性を向上させるものである。   According to the information processing method of the present item, it is possible to improve the game entertainment properties for the user by limiting the field of view as processing to make the operability advantageous or disadvantageous. When a user plays a game, the view is an important factor, and the restriction on it improves the entertainment of the game.

（項目６）
前記調整するステップによる調整に基づいた前記第１アバターまたは前記第１キャラクタの状態を解消するための条件を満たす場合には、当該状態を解消する、項目１〜５のいずれか一項に記載の情報処理方法。 (Item 6)
When the condition for canceling the state of the first avatar or the first character based on the adjustment in the adjusting step is satisfied, the state is canceled, according to any one of items 1 to 5. Information processing method.

本項目の情報処理方法によれば、ゲーム進行を有利または不利にさせる処理に基づいたアバターまたはキャラクタのゲーム状態を、その解消条件に従って解消することで、ゲームのエンタテイメント性を向上させることができる。   According to the information processing method of this item, the entertainment property of the game can be improved by eliminating the game state of the avatar or the character based on the process of making the game progress advantageous or disadvantageous according to the cancellation condition.

（項目７）
項目１〜６のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。 (Item 7)
A program that causes a computer to execute the information processing method according to any one of Items 1 to 6.

（項目８）
少なくともメモリ（メモリモジュール２４０）と、前記メモリに結合されたプロセッサ（プロセッサ１０）とを備え、前記プロセッサの制御により項目１〜６のいずれか一項に記載の情報処理方法を実行する、装置。 (Item 8)
An apparatus comprising at least a memory (memory module 240) and a processor (processor 10) coupled to the memory, the information processing method according to any one of the items 1 to 6 under control of the processor.

Claims (10)

表示部を備えるヘッドマウントデバイスを介して第１ユーザに仮想空間を提供するためにコンピュータにより実行される情報処理方法であって、
フィールドオブジェクト、前記第１ユーザに関連付けられた第１キャラクタ、前記第１ユーザに関連付けられ、前記第１キャラクタの外側に位置し、第１コントローラオブジェクトを保持している第１アバター、第２ユーザに関連付けられた第２キャラクタ、前記第２ユーザに関連付けられ、前記第２キャラクタの外側に位置し、第２コントローラオブジェクトを保持している第２アバターを含む仮想空間を規定するステップと、
前記仮想空間内で前記第１キャラクタおよび前記第２キャラクタを任意のタイミングで動作させられるゲームを進行させるステップと、
前記ゲームの進行中に、前記第１コントローラオブジェクトに対応する第１コントローラを保持している前記第１ユーザによる前記第１コントローラへの第１操作入力に基づいて、前記フィールドオブジェクト上で前記第１キャラクタを前記第１アバターから離れた状態で制御し、また、前記第１操作入力に基づいて、前記第１アバターとの相対位置を変化させるように前記第１キャラクタを動作させるステップと、
前記ゲームの進行中に、前記第２コントローラオブジェクトに対応する第２コントローラを保持している前記第２ユーザによる前記第２コントローラへの第２操作入力に基づいて、前記フィールドオブジェクト上で前記第２キャラクタを前記第２アバターから離れた状態で制御し、また、前記第２操作入力に基づいて、前記第２アバターとの相対位置を変化させるように前記第２キャラクタを動作させるステップと、
前記ゲームの進行中に、前記第１ユーザによる頭部の動きおよび前記第１ユーザによる前記第１コントローラへの第３操作入力の少なくともいずれかに基づいて、前記第１アバターの動作を制御するステップと、
前記ゲームの進行中に、前記第２ユーザによる頭部の動きおよび前記第２ユーザによる前記第２コントローラへの第４操作入力の少なくともいずれかに基づいて、前記第２アバターの動作を制御するステップと、
前記第１アバターからの視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、
前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１アバターの動作及び視界の少なくともいずれかを制限又は補助するステップと、を備え、
前記第１ユーザは、前記第１アバターと前記第１キャラクタとを同時に制御可能であり、前記第２ユーザは、前記第２アバターと前記第２キャラクタとを同時に制御可能である、情報処理方法。 An information processing method performed by a computer to provide a first user with a virtual space via a head mounted device comprising a display unit, the information processing method comprising:
To a field object , a first character associated with the first user, a first avatar associated with the first user, located outside the first character, and holding a first controller object, to a second user Defining a virtual space including a second avatar associated with the second user, the second avatar associated with the second user, located outside the second character, and holding a second controller object ;
Advancing a game in which the first character and the second character can be operated at any timing in the virtual space;
According to a first operation input to the first controller by the first user holding the first controller corresponding to the first controller object while the game is in progress, the first on the field object Controlling the character in a state of being separated from the first avatar, and operating the first character so as to change the relative position with the first avatar based on the first operation input ;
While the game is in progress, based on a second operation input to the second controller by the second user holding a second controller corresponding to the second controller object, the second object is displayed on the field object. Controlling the character in a state of being separated from the second avatar, and operating the second character so as to change a relative position with the second avatar based on the second operation input ;
Controlling an operation of the first avatar based on at least one of a head movement by the first user and a third operation input to the first controller by the first user while the game is in progress When,
Controlling the operation of the second avatar based on at least one of head movement by the second user and fourth operation input to the second controller by the second user while the game is in progress When,
Displaying a view image corresponding to the view from the first avatar on the head mounted device;
Restricting or assisting at least one of the motion and view of the first avatar according to at least one of the motion of the second character, the motion of the second avatar, and an event occurring in the virtual space; , And
The information processing method , wherein the first user can simultaneously control the first avatar and the first character, and the second user can simultaneously control the second avatar and the second character . 前記ゲームは、格闘ゲーム、アクションゲーム、及びレースゲームの少なくともいずれかである、請求項１に記載の情報処理方法。   The information processing method according to claim 1, wherein the game is at least one of a fighting game, an action game, and a racing game. 前記制限又は補助するステップでは、前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１ユーザによる頭部の動きおよび前記第１ユーザによる前記第３操作入力の少なくともいずれかに基づく前記第１アバターの動作を、無効化又は遅くする、請求項１または２に記載の情報処理方法。 In the limiting or assisting step, according to at least one of the motion of the second character, the motion of the second avatar, and an event occurring in the virtual space, the motion of the head by the first user and the motion of the head the operation of the first avatar based on at least one of the third operation input by the first user to disable or slow information processing method according to claim 1 or 2. 前記制限又は補助するステップでは、前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１ユーザによる頭部の動きおよび前記第１ユーザによる前記第３操作入力の少なくともいずれかに基づく前記第１アバターの動作を無効化するとともに、前記第１アバターを前記第１キャラクタから遠ざける、請求項１〜３のいずれか１項に記載の情報処理方法。 In the limiting or assisting step, according to at least one of the motion of the second character, the motion of the second avatar, and an event occurring in the virtual space, the motion of the head by the first user and the motion of the head The motion of the said 1st avatar based on the at least one of the said 3rd operation input by a 1st user is invalidated, and the said 1st avatar is kept away from the said 1st character. Information processing method described. 前記制限又は補助するステップでは、前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１ユーザによる頭部の動きおよび前記第１ユーザによる前記第３操作入力の少なくともいずれかに基づく前記第１アバターの動作を、速く又は離散的にする、請求項１〜４のいずれか１項に記載の情報処理方法。 In the limiting or assisting step, according to at least one of the motion of the second character, the motion of the second avatar, and an event occurring in the virtual space, the motion of the head by the first user and the motion of the head the operation of the first avatar least based on either the third operation input by the first user, fast or discrete to information processing method according to any one of claims 1 to 4. 前記制限又は補助するステップでは、前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１アバターの視界の視認性を低下させる、請求項１〜５のいずれか１項に記載の情報処理方法。   In the limiting or assisting step, the visibility of the first avatar is decreased depending on at least one of the operation of the second character, the operation of the second avatar, and an event occurring in the virtual space. The information processing method according to any one of claims 1 to 5, wherein the information processing method is performed. 前記制限又は補助するステップでは、前記第１アバターが第１条件を満たす場合、前記第２キャラクタの動作、前記第２アバターの動作、および前記仮想空間内で発生するイベントの少なくともいずれかに応じて、前記第１アバターの視界の視認性を低下させない、請求項６に記載の情報処理方法。   In the limiting or assisting step, when the first avatar satisfies the first condition, according to at least one of the action of the second character, the action of the second avatar, and an event occurring in the virtual space The information processing method according to claim 6, wherein the visibility of the view of the first avatar is not reduced. 前記制限又は補助するステップでは、前記第１アバターの視界の視認性が低下している状態において、第２条件が成立すると、前記第１アバターの視界の視認性の低下を回復する、請求項６に記載の情報処理方法。   In the limiting or assisting step, when the second condition is satisfied in the state where the visibility of the field of view of the first avatar is lowered, the decrease in the field of view of the first avatar is recovered. The information processing method described in. 請求項１〜８のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。   The program which makes a computer perform the information processing method as described in any one of Claims 1-8. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項１〜８のいずれか一項に記載の情報処理方法を実行する、装置。   An apparatus comprising at least a memory and a processor coupled to the memory, the control method of the processor executing the information processing method according to any one of claims 1 to 8.
JP2017156909A 2017-08-15 2017-08-15 Information processing method, apparatus, and program for causing a computer to execute the information processing method Active JP6545761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017156909A JP6545761B2 (en) 2017-08-15 2017-08-15 Information processing method, apparatus, and program for causing a computer to execute the information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156909A JP6545761B2 (en) 2017-08-15 2017-08-15 Information processing method, apparatus, and program for causing a computer to execute the information processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019071592A Division JP2019166325A (en) 2019-04-03 2019-04-03 Information processing method, device, and program for causing computer to execute the information processing method

Publications (2)

Publication Number Publication Date
JP2019033894A JP2019033894A (en) 2019-03-07
JP6545761B2 true JP6545761B2 (en) 2019-07-17

Family

ID=65636241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156909A Active JP6545761B2 (en) 2017-08-15 2017-08-15 Information processing method, apparatus, and program for causing a computer to execute the information processing method

Country Status (1)

Country Link
JP (1) JP6545761B2 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6721295B2 (en) * 2015-04-24 2020-07-15 株式会社コロプラ Game experience sharing system, method, program and recording medium

Also Published As

Publication number Publication date
JP2019033894A (en) 2019-03-07

Similar Documents

Publication Publication Date Title
US10599286B2 (en) Information processing method and apparatus for executing the information processing method
JP6392911B2 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP6201028B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP2018124826A (en) Information processing method, apparatus, and program for implementing that information processing method in computer
JP6248219B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP2018147465A (en) Information processing method, device, and program for causing computer to execute the method
JP2020161168A (en) Program, information processing method, and information processing device
JP6425846B1 (en) PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD
JP7030669B2 (en) An information processing method, a device, and a program for causing a computer to execute the information processing method.
JP2019086848A (en) Program, information processing device and method
JP6771006B2 (en) Programs, methods and information processing equipment
JP6419268B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6263292B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP6554139B2 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP2019087262A (en) Program, information processing device and method
JP2022020686A (en) Information processing method, program, and computer
JP2019030638A (en) Information processing method, device, and program for causing computer to execute information processing method
JP2018092592A (en) Information processing method, apparatus, and program for implementing that information processing method on computer
JP6856572B2 (en) An information processing method, a device, and a program for causing a computer to execute the information processing method.
JP6392953B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6545761B2 (en) Information processing method, apparatus, and program for causing a computer to execute the information processing method
JP6330072B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6441517B1 (en) Program, information processing apparatus, and method
JP2019048045A (en) Information processing method device, and program for causing computer to execute the information processing method
JP2018175849A (en) Information processing method, apparatus, and program for implementing that information processing method in computer

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190619

R150 Certificate of patent or registration of utility model

Ref document number: 6545761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250