JP6836379B2

JP6836379B2 - An information processing method, a device, and a program that causes a computer to execute the information processing method.

Info

Publication number: JP6836379B2
Application number: JP2016235872A
Authority: JP
Inventors: 大介津留
Original assignee: Colopl Inc
Current assignee: Colopl Inc
Priority date: 2016-12-05
Filing date: 2016-12-05
Publication date: 2021-03-03
Anticipated expiration: 2036-12-05
Also published as: JP2018092416A

Description

本開示は、仮想空間におけるユーザを管理するための技術に関する。 The present disclosure relates to techniques for managing users in virtual space.

近年、非特許文献１に記載されているような、仮想空間内でチャットを楽しむことができるサービスが考えられている。 In recent years, a service that allows chat to be enjoyed in a virtual space as described in Non-Patent Document 1 has been considered.

“Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote”、［online］、平成２８年１０月６日、VRvibe、［平成２８年１２月５日検索］、インターネット＜https://www.youtube.com/watch?v=NCpNKLXovtE＞"Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote", [online], October 6, 2016, VRvibe, [Search December 5, 2016], Internet <https://www.youtube.com / watch? v = NCpNKLXovtE ＞

仮想空間内での会話やチャットを健全に運営するためには、不正ユーザ、迷惑行為ユーザを早期に発見することが望まれる。 In order to manage conversations and chats in the virtual space soundly, it is desirable to detect unauthorized users and annoying users at an early stage.

そこで、本発明は、不正ユーザ、迷惑行為ユーザなどの特定の行為を行ったユーザを早期に発見することができる情報処理方法、装置およびその方法をコンピュータに実行させるプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an information processing method, a device, and a program for causing a computer to execute a specific act such as an unauthorized user or a nuisance user at an early stage. To do.

本開示が示す一態様によれば、一のユーザが使用するヘッドマウントディスプレイを含むユーザ端末に対して、他のユーザのアバターを含んだ仮想空間を提供する情報処理装置の情報処理方法において、前記仮想空間における前記複数のユーザ端末のそれぞれに対して視界画像を提供可能な情報を、前記ヘッドマウントディスプレイを介して取得し、前記複数のユーザ端末のそれぞれに出力する出力ステップと、前記複数のユーザ端末のうちの一のユーザ端末において前記ヘッドマウントディスプレイを介した視界画像の撮影操作が行われると、当該一のユーザ端末を使用しているユーザの識別情報、当該撮影操作の時刻、通報対象となる対象ユーザの識別情報および前記視界画像を含んだ通報データを取得する取得ステップと、前記通報データに基づいて、通報対象となる対象ユーザを特定する特定ステップと、を含む。 According to one aspect of the present disclosure, in the information processing method of an information processing device that provides a virtual space including an avatar of another user to a user terminal including a head-mounted display used by one user. An output step of acquiring information capable of providing a field view image to each of the plurality of user terminals in the virtual space via the head-mounted display and outputting the information to each of the plurality of user terminals, and the plurality of users. When a view image shooting operation is performed via the head-mounted display on one of the user terminals, the identification information of the user using the one user terminal, the time of the shooting operation, and the report target are displayed. It includes an acquisition step of acquiring the identification information of the target user and the notification data including the view image, and a specific step of identifying the target user to be notified based on the notification data.

本開示によれば、ユーザによる簡単な操作で、通報対象となる対象ユーザを容易に特定することができる。 According to the present disclosure, a target user to be notified can be easily identified by a simple operation by the user.

ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。It is a figure which shows the outline of the structure of the HMD system 100 according to a certain embodiment. 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。It is a block diagram which shows an example of the hardware composition of the computer 200 which follows one aspect. ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。It is a figure which conceptually represents the uvw field-of-view coordinate system set in the HMD apparatus 110 according to a certain embodiment. ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。It is a figure which conceptually represents one aspect which expresses the virtual space 2 according to a certain embodiment. ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。It is a figure which showed the head of the user 190 who wears the HMD apparatus 110 according to a certain embodiment from the top. 仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。It is a figure which shows the YZ cross section which looked at the visual field area 23 from the X direction in virtual space 2. 仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。It is a figure which shows the XZ cross section which looked at the field of view area 23 from the Y direction in virtual space 2. ある実施の形態に従うコントローラ１６０の概略構成を表す図である。It is a figure which shows the schematic structure of the controller 160 according to a certain embodiment. ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。FIG. 3 is a block diagram showing a computer 200 according to an embodiment as a module configuration. ＨＭＤシステム１００が実行する処理を表すフローチャートである。It is a flowchart which shows the process which HMD system 100 executes. サーバ１５０の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of a server 150. プレイ履歴データベース１５４ａの具体例を示す図である。It is a figure which shows the specific example of the play history database 154a. 視界画像を生成のためのパラメータを示す説明図である。It is explanatory drawing which shows the parameter for generating a field of view image. 通報データベース１５４ｂの具体例を示す図である。It is a figure which shows the specific example of the report database 154b. ブラックリストデータ１５４ｃの具体的な例を示す図である。It is a figure which shows the specific example of blacklist data 154c. サーバ１５０を用いたブラックリストデータの生成処理を示すシーケンス図である。It is a sequence diagram which shows the blacklist data generation processing using a server 150. 仮想空間２にアバターが存在していることを示す模式図である。It is a schematic diagram which shows that the avatar exists in virtual space 2. 通報者となるユーザの視界画像を示す図である。It is a figure which shows the field of view image of the user who becomes a reporter.

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
［ＨＭＤシステムの構成］ Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated.
[HMD system configuration]

図１を参照して、ＨＭＤ（Head Mount Display：ヘッドマウントディスプレイ）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。 The configuration of the HMD (Head Mount Display) system 100 will be described with reference to FIG. FIG. 1 is a diagram showing an outline of the configuration of the HMD system 100 according to an embodiment. In some aspects, the HMD system 100 is provided as a home system or a business system.

ＨＭＤシステム１００は、ＨＭＤ装置１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、モニタ１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。 The HMD system 100 includes an HMD device 110, an HMD sensor 120, a controller 160, and a computer 200. The HMD device 110 includes a monitor 112 and a gaze sensor 140. The controller 160 may include a motion sensor 130.

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。 In some aspects, the computer 200 can connect to the Internet or other network 19 and communicate with the server 150 or other computer connected to the network 19. In another aspect, the HMD device 110 may include a sensor 114 instead of the HMD sensor 120.

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。 The HMD device 110 can be worn on the user's head and provide the user with a virtual space during operation. More specifically, the HMD device 110 displays an image for the right eye and an image for the left eye on the monitor 112, respectively. When each eye of the user visually recognizes the image, the user can recognize the image as a three-dimensional image based on the parallax of both eyes.

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。 The monitor 112 is realized as, for example, a non-transparent display device. In one aspect, the monitor 112 is arranged in the body of the HMD device 110 so as to be located in front of both eyes of the user. Therefore, the user can immerse himself in the virtual space by visually recognizing the three-dimensional image displayed on the monitor 112. In certain embodiments, the virtual space includes, for example, a background, user-operable objects, user-selectable menu images, and the like. In certain embodiments, the monitor 112 can be realized as a liquid crystal monitor or an organic EL (Electro Luminescence) monitor included in a so-called smartphone or other information display terminal.

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。 In some aspects, the monitor 112 may include a sub-monitor for displaying an image for the right eye and a sub-monitor for displaying an image for the left eye. In another aspect, the monitor 112 may be configured to display the image for the right eye and the image for the left eye as a unit. In this case, the monitor 112 includes a high speed shutter. The high-speed shutter operates so that the image for the right eye and the image for the left eye can be alternately displayed so that the image is recognized by only one of the eyes.

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。 The HMD sensor 120 includes a plurality of light sources (not shown). Each light source is realized by, for example, an LED (Light Emitting Diode) that emits infrared rays. The HMD sensor 120 has a position tracking function for detecting the movement of the HMD device 110. The HMD sensor 120 uses this function to detect the position and tilt of the HMD device 110 in the real space.

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾きを検出することができる。 In another aspect, the HMD sensor 120 may be realized by a camera. In this case, the HMD sensor 120 can detect the position and tilt of the HMD device 110 by executing the image analysis process using the image information of the HMD device 110 output from the camera.

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。 In another aspect, the HMD device 110 may include the sensor 114 as the position detector instead of the HMD sensor 120. The HMD device 110 can detect the position and tilt of the HMD device 110 itself by using the sensor 114. For example, when the sensor 114 is an angular velocity sensor, a geomagnetic sensor, an acceleration sensor, a gyro sensor, or the like, the HMD device 110 uses any of these sensors instead of the HMD sensor 120 to position and tilt itself. Can be detected. As an example, when the sensor 114 is an angular velocity sensor, the angular velocity sensor detects the angular velocity around the three axes of the HMD device 110 in the real space over time. The HMD device 110 calculates the temporal change of the angle around the three axes of the HMD device 110 based on each angular velocity, and further calculates the inclination of the HMD device 110 based on the temporal change of the angle. Further, the HMD device 110 may include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transparent display device by adjusting its transmittance. Further, the field of view image may include a configuration for presenting the real space as a part of the image constituting the virtual space. For example, an image taken by a camera mounted on the HMD device 110 may be superimposed on a part of the field of view image and displayed, or by setting a high transmittance of a part of the transmissive display device, the field of view may be displayed. The real space may be visible from a part of the image.

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検出することができる。 The gaze sensor 140 detects the direction in which the eyes of the user 190's right eye and left eye are directed (line-of-sight direction). The detection of the direction is realized by, for example, a known eye tracking function. The gaze sensor 140 is realized by a sensor having the eye tracking function. In certain aspects, the gaze sensor 140 preferably includes a sensor for the right eye and a sensor for the left eye. The gaze sensor 140 may be, for example, a sensor that irradiates the right eye and the left eye of the user 190 with infrared light and detects the angle of rotation of each eyeball by receiving the reflected light from the cornea and the iris with respect to the irradiation light. .. The gaze sensor 140 can detect the line-of-sight direction of the user 190 based on each detected rotation angle.

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームやチャットを楽しむことを可能にする。 The server 150 may send the program to the computer 200. In another aspect, the server 150 may communicate with another computer 200 to provide virtual reality to the HMD device used by another user. For example, in an amusement facility, when a plurality of users play a participatory game, each computer 200 communicates a signal based on the operation of each user with another computer 200, and the plurality of users are common in the same virtual space. Allows you to enjoy games and chat.

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。 The controller 160 receives an instruction input from the user 190 to the computer 200. In one aspect, the controller 160 is configured to be grippable by the user 190. In another aspect, the controller 160 is configured to be wearable on a body or part of clothing of the user 190. In another aspect, the controller 160 may be configured to output at least one of vibration, sound, and light based on a signal sent from the computer 200. In another aspect, the controller 160 accepts an operation given by the user 190 to control the position, movement, etc. of an object placed in a space that provides virtual reality.

モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
［ハードウェア構成］ The motion sensor 130 is attached to the user's hand in a certain aspect to detect the movement of the user's hand. For example, the motion sensor 130 detects the rotation speed, the number of rotations, and the like of the hand. The detected signal is sent to the computer 200. The motion sensor 130 is provided in, for example, a glove-shaped controller 160. In certain embodiments, for safety in real space, it is desirable that the controller 160 be attached to something that does not easily fly by being attached to the user 190's hand, such as a glove type. In another aspect, a sensor not attached to the user 190 may detect the movement of the user 190's hand. For example, the signal of the camera that captures the user 190 may be input to the computer 200 as a signal representing the operation of the user 190. The motion sensor 130 and the computer 200 are connected to each other by wire or wirelessly. In the case of wireless communication, the communication mode is not particularly limited, and for example, Bluetooth (registered trademark) or other known communication method is used.
[Hardware configuration]

図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。 The computer 200 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram showing an example of the hardware configuration of the computer 200 according to one aspect. The computer 200 includes a processor 10, a memory 11, a storage 12, an input / output interface 13, and a communication interface 14 as main components. Each component is connected to the bus 15.

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。 The processor 10 executes a series of instructions included in the program stored in the memory 11 or the storage 12 based on the signal given to the computer 200 or when a predetermined condition is satisfied. In a certain aspect, the processor 10 is realized as a CPU (Central Processing Unit), an MPU (Micro Processor Unit), an FPGA (Field-Programmable Gate Array) or other device.

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。 The memory 11 temporarily stores programs and data. The program is loaded from storage 12, for example. The data stored in the memory 11 includes the data input to the computer 200 and the data generated by the processor 10. In a certain aspect, the memory 11 is realized as a RAM (Random Access Memory) or other volatile memory.

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。 The storage 12 permanently holds programs and data. The storage 12 is realized as, for example, a ROM (Read-Only Memory), a hard disk device, a flash memory, or other non-volatile storage device. The program stored in the storage 12 includes a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, a program for realizing communication with another computer 200, and the like. The data stored in the storage 12 includes data, objects, and the like for defining the virtual space.

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。 In another aspect, the storage 12 may be realized as a detachable storage device such as a memory card. In yet another aspect, a configuration that uses programs and data stored in an external storage device may be used instead of the storage 12 built into the computer 200. According to such a configuration, for example, in a scene where a plurality of HMD systems 100 are used such as an amusement facility, it is possible to collectively update programs, data, and the like.

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。 In certain embodiments, the input / output interface 13 communicates signals with the HMD device 110, the HMD sensor 120, or the motion sensor 130. In a certain aspect, the input / output interface 13 is realized by using a USB (Universal Serial Bus) interface, a DVI (Digital Visual Interface), an HDMI (registered trademark) (High-Definition Multimedia Interface), and other terminals. The input / output interface 13 is not limited to the above.

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。 In certain embodiments, the input / output interface 13 may further communicate with the controller 160. For example, the input / output interface 13 receives an input of a signal output from the motion sensor 130. In another aspect, the input / output interface 13 sends an instruction output from the processor 10 to the controller 160. The command instructs the controller 160 to vibrate, output voice, emit light, and the like. Upon receiving the instruction, the controller 160 executes either vibration, audio output, or light emission in response to the instruction.

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。 The communication interface 14 is connected to the network 19 and communicates with another computer (for example, the server 150) connected to the network 19. In a certain aspect, the communication interface 14 is realized as, for example, a LAN (Local Area Network) or other wired communication interface, or a WiFi (Wireless Fidelity), Bluetooth (registered trademark), NFC (Near Field Communication) or other wireless communication interface. Will be done. The communication interface 14 is not limited to the above.

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてモニタ１１２に映像を表示する。 In one aspect, the processor 10 accesses the storage 12, loads one or more programs stored in the storage 12 into the memory 11, and executes a series of instructions contained in the program. The one or more programs may include an operating system of the computer 200, an application program for providing the virtual space, game software that can be executed in the virtual space using the controller 160, and the like. The processor 10 sends a signal for providing the virtual space to the HMD device 110 via the input / output interface 13. The HMD device 110 displays an image on the monitor 112 based on the signal.

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。 In the example shown in FIG. 2, the configuration in which the computer 200 is provided outside the HMD device 110 is shown, but in another aspect, the computer 200 may be built in the HMD device 110. As an example, a portable information communication terminal (for example, a smartphone) including a monitor 112 may function as a computer 200.

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。 Further, the computer 200 may have a configuration commonly used in a plurality of HMD devices 110. According to such a configuration, for example, the same virtual space can be provided to a plurality of users, so that each user can enjoy the same application as other users in the same virtual space.

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。 In one embodiment, the HMD system 100 has a preset global coordinate system. The global coordinate system has three reference directions (axes) that are parallel to the vertical direction in the real space, the horizontal direction orthogonal to the vertical direction, and the front-back direction orthogonal to both the vertical direction and the horizontal direction. In the present embodiment, the global coordinate system is one of the viewpoint coordinate systems. Therefore, the horizontal direction, the vertical direction (vertical direction), and the front-back direction in the global coordinate system are defined as the x-axis, the y-axis, and the z-axis, respectively. More specifically, in the global coordinate system, the x-axis is parallel to the horizontal direction of real space. The y-axis is parallel to the vertical direction in real space. The z-axis is parallel to the front-back direction of the real space.

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。 In some aspects, the HMD sensor 120 includes an infrared sensor. When the infrared sensor detects infrared rays emitted from each light source of the HMD device 110, the presence of the HMD device 110 is detected. The HMD sensor 120 further determines the position and inclination of the HMD device 110 in the real space according to the movement of the user 190 wearing the HMD device 110 based on the value of each point (each coordinate value in the global coordinate system). To detect. More specifically, the HMD sensor 120 can detect a temporal change in the position and inclination of the HMD device 110 by using each value detected over time.

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。
［ｕｖｗ視野座標系］ The global coordinate system is parallel to the coordinate system in real space. Therefore, each inclination of the HMD device 110 detected by the HMD sensor 120 corresponds to each inclination of the HMD device 110 around three axes in the global coordinate system. The HMD sensor 120 sets the uvw field of view coordinate system to the HMD device 110 based on the inclination of the HMD device 110 in the global coordinate system. The uvw field-of-view coordinate system set in the HMD device 110 corresponds to the viewpoint coordinate system when the user 190 wearing the HMD device 110 sees an object in the virtual space.
[Uvw field coordinate system]

図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。 The uvw field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually representing the uvw field coordinate system set in the HMD device 110 according to a certain embodiment. The HMD sensor 120 detects the position and tilt of the HMD device 110 in the global coordinate system when the HMD device 110 is activated. The processor 10 sets the uvw field coordinate system in the HMD device 110 based on the detected value.

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。 As shown in FIG. 3, the HMD device 110 sets a three-dimensional uvw visual field coordinate system centered (origin) on the head of the user wearing the HMD device 110. More specifically, the HMD device 110 sets the horizontal, vertical, and front-back directions (x-axis, y-axis, z-axis) that define the global coordinate system around each axis of the HMD device 110 in the global coordinate system. The three directions newly obtained by tilting each axis by the inclination of are the pitch direction (u axis), the yaw direction (v axis), and the roll direction (w axis) of the uvw field coordinate system in the HMD apparatus 110. Set as.

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。 In a certain aspect, when the user 190 wearing the HMD device 110 is upright and visually recognizing the front surface, the processor 10 sets the uvw field coordinate system parallel to the global coordinate system to the HMD device 110. In this case, the horizontal direction (x-axis), vertical direction (y-axis), and front-back direction (z-axis) in the global coordinate system are the pitch direction (u-axis) and yaw direction (v-axis) of the uvw visual field coordinate system in the HMD apparatus 110. Axis) and roll direction (w-axis).

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。 After the uvw field coordinate system is set in the HMD device 110, the HMD sensor 120 can detect the tilt (change amount of tilt) of the HMD device 110 in the set uvw field coordinate system based on the movement of the HMD device 110. .. In this case, the HMD sensor 120 detects the pitch angle (θu), yaw angle (θv), and roll angle (θw) of the HMD device 110 in the uvw visual field coordinate system as the inclination of the HMD device 110, respectively. The pitch angle (θu) represents the tilt angle of the HMD device 110 around the pitch direction in the uvw visual field coordinate system. The yaw angle (θv) represents the tilt angle of the HMD device 110 around the yaw direction in the uvw visual field coordinate system. The roll angle (θw) represents the tilt angle of the HMD device 110 around the roll direction in the uvw visual field coordinate system.

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。 The HMD sensor 120 sets the uvw field coordinate system in the HMD device 110 after the HMD device 110 has moved based on the detected tilt angle of the HMD device 110 in the HMD device 110. The relationship between the HMD device 110 and the uvw field coordinate system of the HMD device 110 is always constant regardless of the position and inclination of the HMD device 110. When the position and inclination of the HMD device 110 change, the position and inclination of the uvw visual field coordinate system of the HMD device 110 in the global coordinate system changes in conjunction with the change of the position and inclination.

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。
［仮想空間］ In one aspect, the HMD sensor 120 is based on the infrared light intensity acquired based on the output from the infrared sensor and the relative positional relationship between the points (eg, the distance between the points). The position of the device 110 in the real space may be specified as a relative position with respect to the HMD sensor 120. Further, the processor 10 may determine the origin of the uvw visual field coordinate system of the HMD device 110 in the real space (global coordinate system) based on the specified relative position.
[Virtual space]

図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。 The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually representing one aspect of expressing the virtual space 2 according to a certain embodiment. The virtual space 2 has an all-sky spherical structure that covers the entire center 21 in the 360-degree direction. In FIG. 4, the celestial sphere in the upper half of the virtual space 2 is illustrated so as not to complicate the explanation. Each mesh is defined in the virtual space 2. The position of each mesh is predetermined as a coordinate value in the XYZ coordinate system defined in the virtual space 2. The computer 200 associates each partial image constituting the content (still image, moving image, etc.) that can be expanded in the virtual space 2 with each corresponding mesh in the virtual space 2, and the virtual space image 22 that can be visually recognized by the user. Provides the user with the virtual space 2 in which is expanded.

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。 In a certain aspect, the virtual space 2 defines an XYZ coordinate system with the center 21 as the origin. The XYZ coordinate system is, for example, parallel to the global coordinate system. Since the XYZ coordinate system is a kind of viewpoint coordinate system, the horizontal direction, the vertical direction (vertical direction), and the front-back direction in the XYZ coordinate system are defined as the X-axis, the Y-axis, and the Z-axis, respectively. Therefore, the X-axis (horizontal direction) of the XYZ coordinate system is parallel to the x-axis of the global coordinate system, and the Y-axis (vertical direction) of the XYZ coordinate system is parallel to the y-axis of the global coordinate system. The Z-axis (front-back direction) is parallel to the z-axis of the global coordinate system.

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および向きの変化が、仮想空間２において同様に再現される。 At the time of starting the HMD device 110, that is, in the initial state of the HMD device 110, the virtual camera 1 is arranged at the center 21 of the virtual space 2. The virtual camera 1 moves in the virtual space 2 in the same manner in conjunction with the movement of the HMD device 110 in the real space. As a result, changes in the position and orientation of the HMD device 110 in the real space are similarly reproduced in the virtual space 2.

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。 As in the case of the HMD device 110, the virtual camera 1 is defined with an uvw field-of-view coordinate system. The uvw field-of-view coordinate system of the virtual camera 1 in the virtual space 2 is defined to be linked to the uvw field-of-view coordinate system of the HMD device 110 in the real space (global coordinate system). Therefore, when the inclination of the HMD device 110 changes, the inclination of the virtual camera 1 also changes accordingly. Further, the virtual camera 1 can also move in the virtual space 2 in conjunction with the movement of the user wearing the HMD device 110 in the real space.

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。 Since the orientation of the virtual camera 1 is determined according to the position and inclination of the virtual camera 1, the reference line of sight (reference line of sight 5) when the user visually recognizes the virtual space image 22 depends on the orientation of the virtual camera 1. It is decided. The processor 10 of the computer 200 defines the field of view 23 in the virtual space 2 based on the reference line of sight 5. The field of view 23 corresponds to the field of view of the user wearing the HMD device 110 in the virtual space 2.

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。
［ユーザの視線］ The line-of-sight direction of the user 190 detected by the gaze sensor 140 is a direction in the viewpoint coordinate system when the user 190 visually recognizes an object. The uvw field-of-view coordinate system of the HMD device 110 is equal to the viewpoint coordinate system when the user 190 visually recognizes the monitor 112. Further, the uvw field-of-view coordinate system of the virtual camera 1 is linked to the uvw field-of-view coordinate system of the HMD device 110. Therefore, the HMD system 100 according to a certain aspect can consider the line-of-sight direction of the user 190 detected by the gaze sensor 140 as the line-of-sight direction of the user in the uvw field-of-view coordinate system of the virtual camera 1.
[User's line of sight]

図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。 The determination of the line-of-sight direction of the user will be described with reference to FIG. FIG. 5 is a top view of the head of the user 190 who wears the HMD device 110 according to an embodiment.

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。 In one aspect, the gaze sensor 140 detects each line of sight of the user 190's right and left eyes. In one aspect, when the user 190 is looking closer, the gaze sensor 140 detects the lines of sight R1 and L1. In another aspect, when the user 190 is looking far away, the gaze sensor 140 detects the lines of sight R2 and L2. In this case, the angle formed by the lines of sight R2 and L2 with respect to the roll direction w is smaller than the angle formed by the lines of sight R1 and L1 with respect to the roll direction w. The gaze sensor 140 transmits the detection result to the computer 200.

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。 When the computer 200 receives the detection values of the lines of sight R1 and L1 from the gaze sensor 140 as the detection result of the line of sight, the computer 200 identifies the gaze point N1 which is the intersection of the lines of sight R1 and L1 based on the detected values. On the other hand, when the computer 200 receives the detected values of the lines of sight R2 and L2 from the gaze sensor 140, the computer 200 identifies the intersection of the lines of sight R2 and L2 as the gaze point. The computer 200 specifies the line-of-sight direction N0 of the user 190 based on the position of the specified gazing point N1. For example, the computer 200 detects the midpoint of the straight line connecting the right eye R and the left eye L of the user 190 and the extending direction of the straight line passing through the gazing point N1 as the line-of-sight direction N0. The line-of-sight direction N0 is the direction in which the user 190 actually directs the line of sight with both eyes. Further, the line-of-sight direction N0 corresponds to the direction in which the user 190 actually directs the line of sight with respect to the view area 23.

別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。 In another aspect, the HMD system 100 may include a microphone and a speaker in any of the parts constituting the HMD system 100. The user can give a voice instruction to the virtual space 2 by speaking to the microphone.

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。 In another aspect, the HMD system 100 may include a television broadcast reception tuner. According to such a configuration, the HMD system 100 can display a television program in the virtual space 2.

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
［視界領域］ In yet another aspect, the HMD system 100 may include a communication circuit for connecting to the Internet or a telephone function for connecting to a telephone line.
[Visibility area]

図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。 The field of view 23 will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram showing a YZ cross section of the field of view 23 as viewed from the X direction in the virtual space 2. FIG. 7 is a diagram showing an XZ cross section of the field of view 23 as viewed from the Y direction in the virtual space 2.

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。 As shown in FIG. 6, the field of view region 23 in the YZ cross section includes the region 24. The area 24 is defined by the reference line of sight 5 of the virtual camera 1 and the YZ cross section of the virtual space 2. The processor 10 defines a range including the polar angle α centered on the reference line of sight 5 in the virtual space 2 as a region 24.

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。 As shown in FIG. 7, the field of view region 23 in the XZ cross section includes the region 25. The region 25 is defined by the reference line of sight 5 and the XZ cross section of the virtual space 2. The processor 10 defines a range including the azimuth angle β centered on the reference line of sight 5 in the virtual space 2 as a region 25.

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。 In one aspect, the HMD system 100 provides the user 190 with a virtual space by displaying a field of view image on the monitor 112 based on a signal from the computer 200. The field-of-view image corresponds to a portion of the virtual space image 22 that is superimposed on the field-of-view area 23. When the user 190 moves the HMD device 110 attached to the head, the virtual camera 1 also moves in conjunction with the movement. As a result, the position of the field of view 23 in the virtual space 2 changes. As a result, the field-of-view image displayed on the monitor 112 is updated to the image superimposed on the field-of-view area 23 in the direction facing the user in the virtual space 2 among the virtual space images 22. The user can visually recognize the desired direction in the virtual space 2.

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。 While wearing the HMD device 110, the user 190 can visually recognize only the virtual space image 22 developed in the virtual space 2 without visually recognizing the real world. Therefore, the HMD system 100 can give the user a high sense of immersion in the virtual space 2.

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ装置１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野が定義される。 In a certain aspect, the processor 10 may move the virtual camera 1 in the virtual space 2 in conjunction with the movement of the user 190 equipped with the HMD device 110 in the real space. In this case, the processor 10 identifies an image area (that is, a field of view area 23 in the virtual space 2) projected on the monitor 112 of the HMD device 110 based on the position and orientation of the virtual camera 1 in the virtual space 2. That is, the virtual camera 1 defines the field of view of the user 190 in the virtual space 2.

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
［コントローラ］ According to certain embodiments, the virtual camera 1 preferably includes two virtual cameras, a virtual camera for providing an image for the right eye and a virtual camera for providing an image for the left eye. Further, it is preferable that an appropriate parallax is set in the two virtual cameras so that the user 190 can recognize the three-dimensional virtual space 2. In the present embodiment, the virtual camera 1 includes two virtual cameras, and the roll direction (w) generated by combining the roll directions of the two virtual cameras is the roll direction (w) of the HMD device 110. The technical idea of the present disclosure is illustrated as being configured to be compatible.
[controller]

図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。 An example of the controller 160 will be described with reference to FIG. FIG. 8 is a diagram showing a schematic configuration of a controller 160 according to an embodiment.

図８の状態（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ１６０Ｒと左コントローラとを含み得る。右コントローラ１６０Ｒは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ１６０Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ１６０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ｒについて説明する。 As shown in the state (A) of FIG. 8, in some aspects, the controller 160 may include a right controller 160R and a left controller. The right controller 160R is operated by the right hand of the user 190. The left controller is operated by the left hand of the user 190. In a certain aspect, the right controller 160R and the left controller are symmetrically configured as separate devices. Therefore, the user 190 can freely move the right hand holding the right controller 160R and the left hand holding the left controller. In another aspect, the controller 160 may be an integrated controller that accepts operations of both hands. Hereinafter, the right controller 160R will be described.

右コントローラ１６０Ｒは、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。 The right controller 160R includes a grip 30, a frame 31, and a top surface 32. The grip 30 is configured to be gripped by the right hand of the user 190. For example, the grip 30 may be held by the palm of the user 190's right hand and three fingers (middle finger, ring finger, little finger).

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。 The grip 30 includes buttons 33 and 34 and a motion sensor 130. The button 33 is arranged on the side surface of the grip 30 and accepts an operation by the middle finger of the right hand. The button 34 is arranged on the front surface of the grip 30 and accepts an operation by the index finger of the right hand. In one aspect, the buttons 33, 34 are configured as trigger-type buttons. The motion sensor 130 is built in the housing of the grip 30. If the operation of the user 190 can be detected from around the user 190 by a camera or other device, the grip 30 does not have to include the motion sensor 130.

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ１６０Ｒと左コントローラとの各位置および姿勢（傾き、向き）等を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。 The frame 31 includes a plurality of infrared LEDs 35 arranged along its circumferential direction. The infrared LED 35 emits infrared rays as the program progresses while the program using the controller 160 is being executed. The infrared rays emitted from the infrared LED 35 can be used to detect the positions and orientations (tilts, orientations) of the right controller 160R and the left controller. In the example shown in FIG. 8, infrared LEDs 35 arranged in two rows are shown, but the number of arrays is not limited to that shown in FIG. An array with one or more columns may be used.

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。 The top surface 32 includes buttons 36 and 37 and an analog stick 38. The buttons 36 and 37 are configured as push-type buttons. Buttons 36 and 37 accept operations by the thumb of the user 190's right hand. The analog stick 38 accepts an operation 360 degrees in any direction from the initial position (neutral position) in a certain aspect. The operation includes, for example, an operation for moving an object arranged in the virtual space 2.

ある局面において、右コントローラ１６０Ｒおよび左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ１６０Ｒおよび左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ１６０Ｒおよび左コントローラは、電池を必要としない。 In one aspect, the right controller 160R and the left controller include a battery for driving the infrared LED 35 and other components. Batteries include, but are not limited to, rechargeable, button type, dry cell type and the like. In another aspect, the right controller 160R and the left controller may be connected, for example, to the USB interface of computer 200. In this case, the right controller 160R and the left controller do not require batteries.

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ１９０の右手８１０に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ１９０が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
［ＨＭＤ装置の制御装置］ As shown in the states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand 810 of the user 190. When the user 190 extends the thumb and index finger, the direction in which the thumb extends is the yaw direction, the direction in which the index finger extends is the roll direction, and the direction perpendicular to the plane defined by the yaw direction axis and the roll direction axis is the pitch direction. Is defined as.
[Control device for HMD device]

図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。 The control device of the HMD device 110 will be described with reference to FIG. In certain embodiments, the control device is implemented by a computer 200 having a well-known configuration. FIG. 9 is a block diagram showing a computer 200 according to an embodiment as a module configuration.

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、操作オブジェクト制御モジュール２３３とを含む。 As shown in FIG. 9, the computer 200 includes a display control module 220, a virtual space control module 230, a memory module 240, and a communication control module 250. The display control module 220 includes a virtual camera control module 221, a field of view area determination module 222, a field of view image generation module 223, and a reference line of sight identification module 224 as submodules. The virtual space control module 230 includes a virtual space definition module 231, a virtual object control module 232, and an operation object control module 233 as submodules.

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。 In certain embodiments, the display control module 220 and the virtual space control module 230 are implemented by the processor 10. In another embodiment, a plurality of processors 10 may operate as the display control module 220 and the virtual space control module 230. The memory module 240 is realized by the memory 11 or the storage 12. The communication control module 250 is realized by the communication interface 14.

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の移動、挙動、傾き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の傾きや、ユーザ操作に基づいた移動に応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。 In a certain aspect, the display control module 220 controls the image display on the monitor 112 of the HMD device 110. The virtual camera control module 221 arranges the virtual camera 1 in the virtual space 2 and controls the movement, behavior, tilt, and the like of the virtual camera 1. The field-of-view area determination module 222 defines the field-of-view area 23 according to the inclination of the head of the user wearing the HMD device 110 and the movement based on the user operation. The field of view image generation module 223 generates a field of view image to be displayed on the monitor 112 based on the determined field of view area 23. The reference line-of-sight identification module 224 identifies the line-of-sight of the user 190 based on the signal from the gaze sensor 140.

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。 The virtual space control module 230 controls the virtual space 2 provided to the user 190. The virtual space definition module 231 defines the virtual space 2 in the HMD system 100 by generating virtual space data representing the virtual space 2.

仮想オブジェクト制御モジュール２３２は、仮想空間２に配置される対象オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における対象オブジェクトおよびキャラクタオブジェクトの動作（移動および状態変化等）を制御する。対象オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、チャットを行うために定義された仮想空間にしたがって配置されるテーブル、椅子などであってもよい。キャラクタオブジェクトは、例えば、他のユーザのアバターなどである。アバターは複数種類用意されており、仮想オブジェクト制御モジュール２３２は、他のユーザのユーザＩＤに対応付けられたアバターを表現することができる。 The virtual object control module 232 generates a target object to be arranged in the virtual space 2. Further, the virtual object control module 232 controls the operation (movement, state change, etc.) of the target object and the character object in the virtual space 2. The target object may include, for example, a landscape including forests, mountains, etc., animals, etc., which are arranged as the story of the game progresses. It may also be a table, chairs, etc. arranged according to a virtual space defined for chatting. The character object is, for example, another user's avatar. A plurality of types of avatars are prepared, and the virtual object control module 232 can express an avatar associated with a user ID of another user.

操作オブジェクト制御モジュール２３３は、仮想空間２に配置されるオブジェクトを操作するための操作オブジェクトを仮想空間２に配置する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ装置１１０を装着したユーザの手に相当する手オブジェクト、ユーザの指に相当する指オブジェクト、ユーザが使用するスティックに相当するスティックオブジェクト等を含み得る。操作オブジェクトが指オブジェクトの場合、特に、操作オブジェクトは、当該指が指し示す方向（軸方向）の軸の部分に対応している。 The operation object control module 233 arranges the operation object for operating the object arranged in the virtual space 2 in the virtual space 2. In a certain aspect, the operation object may include, for example, a hand object corresponding to the user's hand wearing the HMD device 110, a finger object corresponding to the user's finger, a stick object corresponding to the stick used by the user, and the like. When the operation object is a finger object, in particular, the operation object corresponds to a portion of the axis in the direction (axial direction) pointed by the finger.

チャット制御モジュール２３４は、同じ仮想空間２に滞在する他のユーザのアバターとチャットや会話をするための制御を行う。例えば、チャット制御モジュール２３４は、ユーザのアバターの位置・向きなどの情報や、ユーザ操作により入力された音声データをサーバ１５０に送信する制御を行う。なお、チャットのための音声データは、図示しないマイクから入力可能にし、図示しないスピーカから出力することで、音声によるチャット可能にする。なお、音声に限定するものではなく、テキストデータに基づいてチャットを可能にしてもよい。 The chat control module 234 controls for chatting and talking with the avatars of other users who stay in the same virtual space 2. For example, the chat control module 234 controls to transmit information such as the position and orientation of the user's avatar and voice data input by the user's operation to the server 150. The voice data for chat can be input from a microphone (not shown) and output from a speaker (not shown) to enable chat by voice. It should be noted that the chat is not limited to voice, and chat may be enabled based on text data.

通報処理モジュール２３０ａは、ユーザ操作により視界画像の撮影処理（スクリーンショット）を行うとともに、通報データの取得処理を行い、視界画像データ（スクリーンショットデータ）と通報データをサーバ１５０に送信する制御を行う。 The report processing module 230a performs a view image shooting process (screenshot) by user operation, performs a report data acquisition process, and controls transmission of the view image data (screenshot data) and the report data to the server 150. ..

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。空間情報２４１には、例えば、仮想空間２を提供するために規定された１つ以上のテンプレートが含まれている。オブジェクト情報２４２には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツやユーザごとに設定されたアバターの情報等を含み得る。ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。 The memory module 240 holds data used by the computer 200 to provide the virtual space 2 to the user 190. In a certain aspect, the memory module 240 holds the spatial information 241 and the object information 242 and the user information 243. Spatial information 241 includes, for example, one or more templates defined to provide virtual space 2. The object information 242 includes, for example, content to be reproduced in the virtual space 2, information for arranging objects used in the content, and the like. The content may include, for example, a game, content representing a landscape similar to that in the real world, avatar information set for each user, and the like. The user information 243 includes, for example, a program for operating the computer 200 as a control device of the HMD system 100, an application program for using each content stored in the object information 242, and the like.

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。 The data and programs stored in the memory module 240 are input by the user of the HMD device 110. Alternatively, the processor 10 downloads a program or data from a computer (for example, a server 150) operated by a business operator that provides the content, and stores the downloaded program or data in the memory module 240.

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。 The communication control module 250 can communicate with the server 150 and other information communication devices via the network 19.

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。 In certain aspects, the display control module 220 and the virtual space control module 230 can be implemented using, for example, Unity® provided by Unity Technologies. In another aspect, the display control module 220 and the virtual space control module 230 can also be realized as a combination of circuit elements that realize each process.

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。 The processing in the computer 200 is realized by the hardware and the software executed by the processor 10. Such software may be pre-stored in a hard disk or other memory module 240. The software may also be stored in a computer-readable non-volatile data recording medium such as a CD-ROM and distributed as a program product. Alternatively, the software may be provided as a downloadable program product by an information provider connected to the Internet or other networks. Such software is temporarily stored in the memory module 240 after being read from the data recording medium by an optical disk drive or other data reader, or downloaded from the server 150 or other computer via the communication control module 250. To. The software is read from the memory module 240 by the processor 10 and stored in RAM in the form of an executable program. Processor 10 executes the program.

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。 The hardware that constitutes the computer 200 shown in FIG. 9 is general. Therefore, it can be said that the most essential part according to the present embodiment is the program stored in the computer 200. Since the operation of the hardware of the computer 200 is well known, the detailed description will not be repeated.

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。 The data recording medium is not limited to CD-ROM, FD (Flexible Disk), and hard disk, but also magnetic tape, cassette tape, and optical disc (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc). ), IC (Integrated Circuit) cards (including memory cards), optical cards, mask ROMs, EPROMs (Erasable Programmable Read-Only Memory), EPROMs (Electrically Erasable Programmable Read-Only Memory), semiconductor memories such as flash ROMs, etc. It may be a non-volatile data recording medium that fixedly carries the program.

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
［制御構造］ The program referred to here may include not only a program that can be directly executed by the processor 10, but also a source program format program, a compressed program, an encrypted program, and the like.
[Control structure]

図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ＨＭＤシステム１００が実行するプログラムの処理を表すフローチャートである。 The control structure of the computer 200 according to the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing the processing of the program executed by the HMD system 100.

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間を定義する。 In step S1, the processor 10 of the computer 200 identifies the virtual space image data and defines the virtual space as the virtual space definition module 231.

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。 In step S2, the processor 10 initializes the virtual camera 1 as the virtual camera control module 221. For example, the processor 10 arranges the virtual camera 1 at a predetermined center point in the virtual space 2 in the work area of the memory, and directs the line of sight of the virtual camera 1 in the direction in which the user 190 is facing.

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。 In step S3, the processor 10 generates the field of view image data for displaying the initial field of view image as the field of view image generation module 223. The generated field of view image data is sent to the HMD device 110 by the communication control module 250 via the field of view image generation module 223.

ステップＳ４において、ＨＭＤ装置１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。 In step S4, the monitor 112 of the HMD device 110 displays a field of view image based on the signal received from the computer 200. The user 190 wearing the HMD device 110 can recognize the virtual space 2 when he / she visually recognizes the field of view image.

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の向きを検出する。検出結果は、動き検出データとして、コンピュータ２００に送られる。 In step S5, the HMD sensor 120 detects the orientation of the HMD device 110. The detection result is sent to the computer 200 as motion detection data.

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２および視界画像生成モジュール２２３として、仮想カメラ１の位置および向きに応じた視界画像を生成・出力する。その際、他のユーザのパラメータに基づいてアバターを生成して、出力する。例えば、ユーザＩＤごとにアバターの種類等がコンピュータ２００（オブジェクト情報２４２）に登録されており、サーバ１５０から出力されたユーザのパラメータに基づいてアバターの生成を行うことができる。 In step S6, the processor 10 generates and outputs a field of view image according to the position and orientation of the virtual camera 1 as the field of view area determination module 222 and the field of view image generation module 223. At that time, an avatar is generated and output based on the parameters of other users. For example, the type of avatar and the like are registered in the computer 200 (object information 242) for each user ID, and the avatar can be generated based on the user parameters output from the server 150.

ステップＳ８において、ＨＭＤ装置１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。 In step S8, the monitor 112 of the HMD device 110 updates the field of view image based on the received field of view image data, and displays the updated field of view image.

上述の通り、ＨＭＤセンサ１２０の動きに応じて、コンピュータ２００は、視界画像を生成して、ＨＭＤ装置１１０に出力することで、ユーザに対して仮想空間に滞在しているかのような体験を提供することができる。さらに、本実施形態のシステム１００は、このユーザと同じ仮想空間に他のユーザのアバターを滞在させ、互いにチャットをさせることができる。例えば、図２において、このシステム１００に通信可能なサーバ１５０が記載されている。このサーバ１５０は、他のユーザが使用するコンピュータ２００から、各ユーザのアバターの位置・向きおよび発言・行動を収集し、仮想空間を構成するパラ-メータとして各コンピュータ２００に送信する。各コンピュータ２００（仮想空間制御モジュール２３０）は、送信されたパラメータに基づいて他のユーザのアバターを含んだ仮想空間を生成することができる。以下、発言・行動をプレイ内容と称する場合があるが、これに限るものではなく、ユーザにより行われるあらゆる行為を含めてもよいし、いずれか一方のみをプレイ内容としてもよい。 As described above, in response to the movement of the HMD sensor 120, the computer 200 generates a field of view image and outputs it to the HMD device 110 to provide the user with an experience as if he / she is staying in a virtual space. can do. Further, the system 100 of the present embodiment can allow other users' avatars to stay in the same virtual space as this user and chat with each other. For example, in FIG. 2, a server 150 capable of communicating with the system 100 is shown. The server 150 collects the position, orientation, speech, and action of each user's avatar from the computers 200 used by other users, and transmits them to each computer 200 as parameters constituting the virtual space. Each computer 200 (virtual space control module 230) can generate a virtual space including avatars of other users based on the transmitted parameters. Hereinafter, remarks / actions may be referred to as play contents, but the present invention is not limited to this, and any action performed by the user may be included, or only one of them may be the play contents.

つぎに、このように仮想空間において音声によるチャットを実現するためのパラメータを各コンピュータ２００に送信するためのサーバ１５０について説明する。図１１は、サーバ１５０の機能構成を示すブロック図である。図１１に示されるとおり、サーバ１５０は、通信制御モジュール１５１、パラメータ制御モジュール１５２、通報処理モジュール１５３、およびメモリモジュール１５４を含んで構成されている。メモリモジュール１５４は、プレイ履歴データベース１５４ａ、通報データベース１５４ｂ、ブラックリストデータベース１５４ｃを含んでいる。このサーバ１５０は、コンピュータ２００と同様に図２に示されるようにプロセッサおよびメモリ等のハードウェアにより構成されている。 Next, the server 150 for transmitting the parameters for realizing the voice chat in the virtual space to each computer 200 in this way will be described. FIG. 11 is a block diagram showing a functional configuration of the server 150. As shown in FIG. 11, the server 150 includes a communication control module 151, a parameter control module 152, a notification processing module 153, and a memory module 154. The memory module 154 includes a play history database 154a, a notification database 154b, and a blacklist database 154c. Like the computer 200, the server 150 is composed of hardware such as a processor and a memory as shown in FIG.

パラメータ制御モジュール１５２は、通信制御モジュール１５１を介して送受信した他のユーザのＨＭＤ装置１１０の仮想空間における位置・向きおよび発言・行動を示すパラメータを用いて視界画像生成のための制御を行う部分である。 The parameter control module 152 is a part that controls for visual field image generation using parameters indicating the position / orientation and speech / action of another user's HMD device 110 in the virtual space transmitted / received via the communication control module 151. is there.

通報処理モジュール１５３は、通信制御モジュール１５１を介して受信した通報データに基づいてブラックリストを生成する部分である。 The report processing module 153 is a part that generates a blacklist based on the report data received via the communication control module 151.

プレイ履歴データベース１５４ａは、各ＨＭＤ装置１１０から送信されたパラメータを記憶する部分であり、各ユーザのプレイ履歴データを記憶する部分である。図１２は、プレイ履歴データベース１５４ａの具体例を示す図である。図１２に示されるとおり、プレイ履歴データベース１５４ａは、ルームＩＤ、時間、ユーザＩＤ、ユーザの位置、向き、発言、行動を対応付けて記述している。 The play history database 154a is a part that stores parameters transmitted from each HMD device 110, and is a part that stores play history data of each user. FIG. 12 is a diagram showing a specific example of the play history database 154a. As shown in FIG. 12, the play history database 154a describes the room ID, the time, the user ID, the user's position, the direction, the remark, and the action in association with each other.

ここでルームＩＤとは、チャットをするための仮想空間のＩＤを示す。通常、複数の仮想空間が用意されており、ユーザは任意の仮想空間または事業者から指定された仮想空間にログインすることができる。時間は、他のユーザが発言し行動をした時間である。ユーザＩＤは、発言・行動を行ったユーザのＩＤ、位置・向きは、仮想空間におけるユーザのアバターの位置およびその向き、発言は、チャットで発言した内容、行動は、ユーザがしている行為であって、走り回っている、歩いているなどである。 Here, the room ID indicates an ID of a virtual space for chatting. Usually, a plurality of virtual spaces are prepared, and a user can log in to any virtual space or a virtual space specified by a business operator. The time is the time when another user speaks and acts. The user ID is the ID of the user who made the statement / action, the position / direction is the position and direction of the user's avatar in the virtual space, the statement is the content of the statement in the chat, and the action is the action performed by the user. There are, running around, walking, etc.

なお、発言として、音声によるチャットを想定している。この場合、図示しない音声処理部が、音声データのファイルを、プレイ履歴データベース１５４ａの発言欄に登録する。また、図示しない音声認識部が、入力された音声を音声認識処理によりテキストデータに変換して当該プレイ履歴データベース１５４ａに登録するようにしてもよい。 It should be noted that voice chat is assumed as a statement. In this case, the voice processing unit (not shown) registers the voice data file in the remark column of the play history database 154a. Further, a voice recognition unit (not shown) may convert the input voice into text data by voice recognition processing and register it in the play history database 154a.

通報データベース１５４ｂは、通報者と通報対象者とを対応付けた通報データを記述する部分である。通報者とは、悪質なユーザがいた場合、その旨を通報したユーザであり、通報対象者とは、悪質なユーザである。図１４は、通報データベース１５４ｂの具体例を示す図である。図１４に示されるとおり、通報データベース１５４ｂは、通報者、ルームＩＤ、時間、通報対象者、近隣のユーザを対応付けて記述している。通報者は、通報したユーザのユーザＩＤを示し、ルームＩＤは、複数ある仮想空間のうち一の仮想空間を特定するためのＩＤを示す。時間は、通報者が通報した時間である、通報対象者は、通報対象となるユーザのＩＤである。近隣のユーザは、通報対象者の近隣にいるユーザである。近隣ユーザの判定は、通報対象者の位置から所定範囲にいるか否かにより行われる。 The report database 154b is a part that describes report data in which the reporter and the report target person are associated with each other. The whistleblower is a user who has reported to that effect when there is a malicious user, and the whistleblower is a malicious user. FIG. 14 is a diagram showing a specific example of the notification database 154b. As shown in FIG. 14, the report database 154b describes the reporter, the room ID, the time, the report target person, and the nearby user in association with each other. The caller indicates the user ID of the user who made the report, and the room ID indicates an ID for identifying one of the plurality of virtual spaces. The time is the time when the whistleblower makes a report, and the whistleblower is the ID of the user who is the whistleblower. The nearby user is a user who is in the vicinity of the report target person. The determination of a neighboring user is made based on whether or not it is within a predetermined range from the position of the report target person.

ブラックリストデータベース１５４ｃは、通報データベース１５４ｂに基づいて決定されたブラックリストの対象となったユーザを示すリストを記述する部分である。図１５は、ブラックリストデータ１５４ｃの具体的な例を示す図である。図１５に示されるとおり、対象者、ルームＩＤ、時間、発言、行動、および判定を対応付けて記述している。対象者は通報対象者である。ほか、ルームＩＤから行動については、上述プレイ履歴データベース１５４ａと同じである。判定は、ブラックリストとして登録されたユーザの悪質の度合いを示す。図１５においては、“警告”が記述されており、そのユーザに対してメール等により警告を行うことを要することを意味している。そのほか、仮想空間の利用を不可とする除名などがあり得る。 The blacklist database 154c is a part that describes a list indicating users who are the target of the blacklist determined based on the notification database 154b. FIG. 15 is a diagram showing a specific example of blacklist data 154c. As shown in FIG. 15, the target person, the room ID, the time, the remark, the action, and the judgment are described in association with each other. The target person is the person to be reported. In addition, the action from the room ID is the same as the above-mentioned play history database 154a. The determination indicates the degree of maliciousness of the user registered as a blacklist. In FIG. 15, a "warning" is described, which means that it is necessary to give a warning to the user by e-mail or the like. In addition, there may be expulsion that makes the use of virtual space impossible.

つぎに、このように構成されたサーバ１５０およびコンピュータ２００（ＨＭＤ装置１１０を含む）の処理について説明する。図１６は、サーバ１５０を用いたブラックリストデータの生成処理を示すシーケンス図である。 Next, the processing of the server 150 and the computer 200 (including the HMD device 110) configured in this way will be described. FIG. 16 is a sequence diagram showing a blacklist data generation process using the server 150.

ステップＳ１０１ａにおいて、コンピュータ２００は、サーバ１５０に対して、ユーザのパラメータ（位置、向き、発言、行動）を出力する。また、ステップＳ１０１ｂにおいて、同様に他のユーザのコンピュータ２００は、サーバ１５０に対して、ユーザのパラメータ（位置、向き、発言、行動）を出力する。 In step S101a, the computer 200 outputs the user's parameters (position, orientation, speech, action) to the server 150. Further, in step S101b, the computer 200 of another user similarly outputs the user's parameters (position, orientation, speech, action) to the server 150.

ステップＳ１０２において、サーバ１５０は、通信制御モジュール１５１を用いて、各ユーザのコンピュータ２００から送信された各ユーザのパラメータを受信し、パラメータ制御モジュール１５２を用いて、プレイ履歴データベース１５４ａにプレイ履歴データを記憶する。 In step S102, the server 150 uses the communication control module 151 to receive the parameters of each user transmitted from the computer 200 of each user, and uses the parameter control module 152 to store the play history data in the play history database 154a. Remember.

ステップＳ１０３において、サーバ１５０は、パラメータ制御モジュール１５２を用いて、各ユーザのパラメータを、各ユーザが使用するコンピュータ２００に対して送信する。 In step S103, the server 150 uses the parameter control module 152 to transmit the parameters of each user to the computer 200 used by each user.

ステップＳ１０４ａにおいて、コンピュータ２００は、通信制御モジュール２５０を用いてサーバ１５０から送信された各ユーザのパラメータを受信し、視界画像生成モジュール２２３を用いてパラメータに基づいた視界画像を生成する。ステップＳ１０４ｂにおいても、同様に、他のユーザのコンピュータ２００は、パラメータの受信および視界画像の生成処理を行う。 In step S104a, the computer 200 receives the parameters of each user transmitted from the server 150 using the communication control module 250, and generates a field of view image based on the parameters using the field of view image generation module 223. Similarly, in step S104b, another user's computer 200 receives parameters and generates a field of view image.

この視界画像を生成のためのパラメータは、図１３に示される情報からなるものである。例えば、パラメータは、ユーザを示すユーザＩＤ、そのユーザの位置、向き、発言および行動を示す情報からなる。コンピュータ２００の視界画像生成モジュール２２３は、このパラメータを用いて、ユーザＩＤで特定されるアバターがどの位置にいて、どの向きに向いているか、またどのような発言をしているか、どのような行動をしているかを示す視界画像を生成することができる。また、チャット制御モジュール２３４は、その視界画像にどのユーザが含んでいるかということを把握することができる。 The parameters for generating this field of view image consist of the information shown in FIG. For example, a parameter consists of a user ID indicating a user and information indicating the user's position, orientation, speech, and action. The field-of-view image generation module 223 of the computer 200 uses this parameter to determine where the avatar specified by the user ID is, in what direction, what kind of remark, and what kind of action. It is possible to generate a field-of-view image showing whether or not the user is doing this. In addition, the chat control module 234 can grasp which user is included in the field of view image.

ステップＳ１０５において、コンピュータ２００のユーザはスクリーンショットの操作を行うと、コンピュータ２００の通報処理モジュール２３０ａは、視界画像の撮影処理を行う。ステップＳ１０６において、コンピュータ２００の通報処理モジュール２３０ａは、視界画像を生成しているパラメータに基づいて、通報対象などの通報データを抽出して、スクリーンショットデータとともにサーバ１５０に送信する。なお、通報処理モジュール２３０ａは、ユーザの視線に基づいてアバターを特定することで、通報対象となる対象ユーザを特定することができるが、これに限定するものではない。対象ユーザの特定はあらゆる方法が考えられ、例えば、視界画像の中央にいるアバターを特定することで、ユーザを対象ユーザとして特定してもよい。また、コントローラ１６０を用いてポインタ・カーソルなどを操作して、アバターを特定することで、対象ユーザを特定してもよい。 In step S105, when the user of the computer 200 operates a screenshot, the notification processing module 230a of the computer 200 performs a field of view image capturing process. In step S106, the report processing module 230a of the computer 200 extracts report data such as a report target based on the parameters that generate the view image, and transmits the report data together with the screenshot data to the server 150. The report processing module 230a can specify the target user to be reported by specifying the avatar based on the line of sight of the user, but the report processing module 230a is not limited to this. Any method can be considered for specifying the target user. For example, the user may be specified as the target user by specifying the avatar in the center of the field of view image. Further, the target user may be specified by operating the pointer / cursor or the like using the controller 160 to specify the avatar.

ステップＳ１０７において、サーバ１５０の通信制御モジュール１５１は、スクリーンショットデータおよび通報データを、コンピュータ２００から受信し、通報データベース１５４ｂに記憶する。 In step S107, the communication control module 151 of the server 150 receives the screenshot data and the notification data from the computer 200 and stores them in the notification database 154b.

ステップＳ１０８において、サーバ１５０の通報処理モジュール１５３は、通報データベース１５４ｂおよびプレイ履歴データベース１５４ａに基づいて、ブラックリストユーザを特定する。すなわち、通報処理モジュール１５３は、プレイ履歴データベース１５４ａを参照して、通報データベース１５４ｂに記述されている通報対象者となるユーザの発言および行動を抽出し、予め定められた発言や行動をしていた場合、当該通報対象者となるユーザをブラックリストユーザとして特定する。そして、通報処理モジュール１５３は、ブラックリストデータベース１５４ｃに、該当するユーザの通報データを記憶する。ここで、通報処理モジュール１５３は、ブラックリストユーザの悪質度の度合いを判定して、ブラックリストデータベース１５４ｃに記憶する。図１５では、対象者であるユーザＩＤ：ｘｘｘ１は、警告レベルとして判定されている。チャットの運営者は、この判定結果に基づいて電子メール等により警告を行う。なお、悪質度の度合いは、発言内容や行動が、予め定められた基準に達しているか否かに基づいて判定される。また、通報数や通報した人数（通報者数）に基づいて悪質度の度合いは判定されてもよい。 In step S108, the notification processing module 153 of the server 150 identifies the blacklist user based on the notification database 154b and the play history database 154a. That is, the report processing module 153 refers to the play history database 154a, extracts the statements and actions of the user who is the report target person described in the report database 154b, and makes predetermined statements and actions. In this case, the user who is the subject of the report is specified as a blacklist user. Then, the report processing module 153 stores the report data of the corresponding user in the blacklist database 154c. Here, the report processing module 153 determines the degree of maliciousness of the blacklist user and stores it in the blacklist database 154c. In FIG. 15, the target user ID: xxx1 is determined as a warning level. The chat operator gives a warning by e-mail or the like based on the judgment result. The degree of maliciousness is determined based on whether or not the content of the statement or the action reaches a predetermined standard. In addition, the degree of maliciousness may be determined based on the number of reports and the number of reporters (number of reporters).

つぎに、仮想空間２におけるアバターを用いたチャットの具体例および通報方法について視界画像を用いて説明する。図１７は、仮想空間２にアバターが存在していることを示す模式図である。図１７において、アバターＡ_１、アバターＡ_２、およびアバターＡ_３が示されている。例えばアバターＡ_１は通報者であるユーザであり、アバターＡ_２およびアバターＡ_３は他のユーザである。これらアバターＡ_１、アバターＡ_２およびアバターＡ_３は、サーバ１５０において収集されたユーザのパラメータに基づいて、各コンピュータ２００の仮想オブジェクト制御モジュール２３２は、そのパラメータにしたがって、どのようなアバターが仮想空間２内のどの位置に、どの向きに向いているかを決定し、視界画像において表現することができる。 Next, a specific example of chat using an avatar in the virtual space 2 and a reporting method will be described using a field of view image. FIG. 17 is a schematic diagram showing that an avatar exists in the virtual space 2. In FIG. 17, avatar A ₁ , avatar A ₂ , and avatar A ₃ are shown. For example, avatar A ₁ is a user who is a whistleblower, and avatar A ₂ and avatar A ₃ are other users. These avatars A ₁ , avatars A ₂ and avatars A ₃ are based on the user's parameters collected on the server 150, and the virtual object control module 232 of each computer 200 determines what avatars are in the virtual space according to the parameters. It is possible to determine which position in 2 and which direction it is facing, and express it in the field image.

図１８は、通報者となるユーザの視界画像を示す。図１８に示されるとおり、視界画像には、他のユーザのアバターＡ_２およびアバターＡ_３が表示されている。また、操作アイコンＯが画面左上に表示されており、コントローラ１６０などを用いて操作可能にしている。また、視点Ｐは、ユーザの視線に基づいて特定された部分であり、通報対象となる対象ユーザを特定するための情報である。メッセージＱは、ここではアバターＡ_３のユーザにより入力されたチャットのための音声を示す。説明の便宜上、吹き出しにより表現しているが、図示しないスピーカから音声を出力することで、チャットを可能にする。オブジェクトＲは、アバターＡ_２のユーザにより入力された感情を表すものである。一のユーザはコンピュータ２００またはＨＭＤ装置１１０を操作することによって、チャット制御モジュール２３４は、一のユーザが他のユーザのアバターＡ_２およびＡ_３とチャットを行うための制御を行う。 FIG. 18 shows a field of view image of a user who is a whistleblower. As shown in FIG. 18, the field of view image shows avatars A ₂ and avatars A _{3 of} other users. Further, the operation icon O is displayed on the upper left of the screen, and can be operated by using a controller 160 or the like. Further, the viewpoint P is a portion specified based on the line of sight of the user, and is information for identifying the target user to be notified. Message Q here shows an audio for chatting input by the user of the avatar A _3. Although it is expressed by a balloon for convenience of explanation, chatting is enabled by outputting voice from a speaker (not shown). Object R is representative of the emotion entered by the user of the avatar A _2. When one user operates the computer 200 or the HMD device 110, the chat control module 234 controls for one user to chat with _{the avatars A 2} and A _{3 of another user.}

ここで、通報者となるユーザは、コンピュータ２００を操作することにより視界画像の撮影操作（いあゆるスクリーンショット）を行うことができる。例えば、ユーザが、図１８に示されるような視界画像に対して撮影操作を行うと、通報処理モジュール２３０ａは、操作アイコンＯを視界画像に重畳表示する。そして、コンピュータ２００の通報処理モジュール２３０ａは、その操作に応じて視界画像の撮影処理を行うとともに、サーバ１５０から送信された視界画像を生成するための各種パラメータに基づいてアバターＡ_２およびＡ_３のユーザＩＤを抽出する。また、コンピュータ２００の通報処理モジュール２３０ａは、撮影した視界画像と、抽出したユーザＩＤに加えて、仮想空間２を識別するためのルームＩＤ、撮影した時間を抽出する。 Here, the user who is the whistleblower can perform a field-of-view image shooting operation (so-called screenshot) by operating the computer 200. For example, when the user performs a shooting operation on the visual field image as shown in FIG. 18, the notification processing module 230a superimposes and displays the operation icon O on the visual field image. Then, the notification processing module 230a of the computer 200 performs a field of view image shooting process according to the operation, and the avatars A ₂ and A ₃ are based on various parameters for generating the field of view image transmitted from the server 150. Extract the user ID. Further, the notification processing module 230a of the computer 200 extracts the captured field of view image, the extracted user ID, the room ID for identifying the virtual space 2, and the captured time.

そして、ユーザは、コントローラ１６０などを用いて、このアイコンＯを払うような操作をすることで、通報指示を行う。通報指示を行うと、通報処理モジュール１５３は、これら情報を通報データとしてサーバ１５０に送信する。図１８においては、視点Ｐが視線により特定された箇所を示す。したがって、コンピュータ２００の通報処理モジュール２３０ａは、その視線により特定されたアバターＡ_３のユーザＩＤを抽出することができる。また、通報処理モジュール２３０ａは、通報対象者から所定範囲にいる近隣のユーザも同様にして、そのユーザＩＤを抽出することができる。 Then, the user gives a report instruction by performing an operation such as paying the icon O by using the controller 160 or the like. When the report instruction is given, the report processing module 153 transmits this information as report data to the server 150. FIG. 18 shows a portion where the viewpoint P is specified by the line of sight. Therefore, notification processing module 230a of the computer 200 may extract the user ID of the avatar _{A 3} identified by the line of sight. Further, the report processing module 230a can extract the user ID of a nearby user who is within a predetermined range from the report target person in the same manner.

上述の例示においては、サーバ１５０は、ユーザのパラメータ（位置や向きなど）のみを送信して、コンピュータ２００は、それらパラメータに基づいて視界画像を生成しているが、これに限るものではない。サーバ１５０において、一のユーザおよび他のユーザの位置・向き等に基づいて視界画像を生成し、その視界画像を各コンピュータ２００に送信するようにしてもよい。 In the above example, the server 150 transmits only the user's parameters (position, orientation, etc.), and the computer 200 generates a field of view image based on those parameters, but the present invention is not limited to this. The server 150 may generate a field of view image based on the positions and orientations of one user and another user, and transmit the field of view image to each computer 200.

本発明に開示された主題は、例えば以下のような項目として示される。
（項目１）
一のユーザが使用するユーザ端末であるコンピュータ２００（ＨＭＤ装置１１０を含む）に対して、他のユーザのアバターを含んだ仮想空間２を提供する情報処理装置であるサーバ１５０の情報処理方法において、
仮想空間２における複数のコンピュータ２００（ＨＭＤ装置１１０）のそれぞれに対して視界画像を提供可能な情報を、複数のコンピュータ２００（ＨＭＤ装置１１０）のそれぞれに出力する出力ステップ（図１６のステップＳ１０３）と、
複数のコンピュータ２００（ＨＭＤ装置１１０）のうちの一のコンピュータ２００において視界画像の撮影操作が行われると、当該一のコンピュータ２００を使用しているユーザのユーザＩＤ（識別情報）、当該撮影操作の時刻、通報対象となるアバターを操作する対象ユーザのユーザＩＤ（識別情報）および視界画像を含んだ通報データを取得する取得ステップ（図１６のステップＳ１０７）と、
通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する特定ステップ（図１６のステップＳ１０８）と、
を備える情報処理方法。
この開示によれば、ユーザによる簡単な操作で、仮想空間内において迷惑行為を行うようなユーザを容易に特定することができる。なお、迷惑行為を行うユーザを特定することに限定するものではなく、通報対象となるアバターを操作するユーザであれば何でもよい。例えば、仮想空間２内で人気投票のようなものを行いたい場合には、一のユーザが好みと思われるユーザを通報対象のユーザとして一意に特定することにも適用することができる。なお、コンピュータ２００は、視界画像の撮影操作に基づいて通報データを抽出して、送信しているが、視界画像操作や視界画像自体は必須の要件ではない。ただし、サーバ１５０側で通報対象となる対象者を含んだ視界画像を得ることで、仮想空間の運営者が視覚により確認することができ、その判断を確実にすることができる。
（項目２）
取得ステップでは、
コンピュータ２００における視界画像の撮影操作時に送信された一のユーザの識別情報、当該撮影操作の時刻、および視線情報を取得し、
特定ステップでは、
当該視線情報に基づいて通報対象となるアバターを操作する対象ユーザを特定する、
項目１に記載の情報処理方法。
この開示によれば、視線情報に基づいて通報対象となる対象ユーザを特定することができ、簡単な操作で迷惑行為を行うなどの所定のユーザを一意に特定することができる。
（項目３）
取得ステップでは、
対象ユーザの仮想空間２における位置の所定範囲にいる他のユーザである近隣ユーザのユーザＩＤ（識別情報）を含んだ通報データを取得し、
特定ステップでは、
近隣のユーザからの通報データを用いて通報対象となるアバターを操作する対象ユーザを特定する、
項目１または２に記載の情報処理方法。
この開示によれば、通報対象となる対象ユーザの仮想空間における位置の近隣の他のユーザからの通報データを使って所定のユーザを一意に特定することができる。すなわち、近隣のユーザからの通報データにより対象ユーザが特定された場合には、その対象ユーザは、迷惑行為を行ったなど、所定条件を満たしたユーザである可能性が高い。
（項目４）
仮想空間２における複数のユーザにより行われたプレイ内容と当該プレイ内容が行われた時刻とを含んだプレイ履歴データを記憶する履歴データ記憶ステップ（ステップＳ１０２）を備え、
特定ステップでは、プレイ履歴データと通報データとに基づいて、通報対象となるアバターを操作する対象ユーザを特定する、
項目１から３のいずれか一項に記載の情報処理方法。
この開示によれば、プレイ履歴データと通報データとから所定条件を満たしたユーザを特定することができる。すなわち、迷惑行為や迷惑な行動や発言など、特定のプレイをしたことをプレイ履歴データでチェックすることができ、迷惑行為などをしていないユーザを、通報データのみから通報対象である対象ユーザとすることを防止することができる。すなわち、あるユーザがいたずらで通報データを送信したとしても、そのような通報データに基づいて迷惑行為を行ったなどの特定の行為をしたユーザとして特定することを防止することができる。
（項目５）
取得ステップでは、複数のユーザによる通報データを取得し、
特定ステップでは、複数のユーザによる通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する、
項目１から４のいずれか一項に記載の情報処理方法。
この開示によれば、複数のユーザからの通報データに基づいて所定条件を満たしたユーザを特定することができ、対象ユーザを正確に決定することができる。
（項目６）
項目１〜６のいずれか一項に記載の方法をコンピュータに実行させる、プログラム。
（項目７）
項目６に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。 The subject matter disclosed in the present invention is shown as, for example, the following items.
(Item 1)
In the information processing method of the server 150, which is an information processing device that provides the virtual space 2 including the avatars of other users to the computer 200 (including the HMD device 110), which is the user terminal used by one user.
An output step of outputting information capable of providing a field of view image to each of a plurality of computers 200 (HMD device 110) in the virtual space 2 to each of the plurality of computers 200 (HMD device 110) (step S103 in FIG. 16). When,
When a field-of-view image shooting operation is performed on one of the plurality of computers 200 (HMD device 110), the user ID (identification information) of the user using the one computer 200 and the shooting operation are performed. An acquisition step (step S107 in FIG. 16) of acquiring report data including a time, a user ID (identification information) of a target user who operates an avatar to be reported, and a field of view image, and
A specific step (step S108 in FIG. 16) for identifying a target user who operates an avatar to be reported based on the report data, and
Information processing method including.
According to this disclosure, it is possible to easily identify a user who causes annoying acts in the virtual space by a simple operation by the user. It should be noted that the present invention is not limited to identifying the user who performs the annoying act, and any user who operates the avatar to be reported may be used. For example, when it is desired to perform a popularity vote in the virtual space 2, it can be applied to uniquely identify a user who is considered to be a favorite by one user as a user to be notified. Although the computer 200 extracts and transmits the report data based on the field of view image shooting operation, the field of view image operation and the field of view image itself are not essential requirements. However, by obtaining a field-of-view image including the target person to be reported on the server 150 side, the operator of the virtual space can visually confirm the image, and the judgment can be ensured.
(Item 2)
In the acquisition step
Acquires the identification information of one user, the time of the shooting operation, and the line-of-sight information transmitted at the time of the shooting operation of the field of view image in the computer 200.
In a particular step
Identify the target user who operates the avatar to be reported based on the line-of-sight information,
The information processing method according to item 1.
According to this disclosure, it is possible to identify the target user to be notified based on the line-of-sight information, and it is possible to uniquely identify a predetermined user who performs a nuisance act with a simple operation.
(Item 3)
In the acquisition step
Acquires report data including user IDs (identification information) of neighboring users who are other users within a predetermined range of positions in the virtual space 2 of the target user.
In a particular step
Identify the target user who operates the avatar to be reported using the report data from nearby users,
The information processing method according to item 1 or 2.
According to this disclosure, a predetermined user can be uniquely identified by using the report data from another user in the vicinity of the position in the virtual space of the target user to be reported. That is, when the target user is identified by the report data from the neighboring user, it is highly possible that the target user is a user who satisfies a predetermined condition such as performing a nuisance act.
(Item 4)
A history data storage step (step S102) for storing play history data including play contents performed by a plurality of users in the virtual space 2 and the time when the play contents are performed is provided.
In the specific step, the target user who operates the avatar to be reported is specified based on the play history data and the report data.
The information processing method according to any one of items 1 to 3.
According to this disclosure, it is possible to identify a user who satisfies a predetermined condition from the play history data and the report data. That is, it is possible to check the play history data that a specific play such as annoying behavior, annoying behavior, or remark is performed, and the user who does not perform annoying behavior is classified as the target user who is the target user to be reported only from the report data. It can be prevented from doing so. That is, even if a certain user mischievously transmits the report data, it is possible to prevent the user from being identified as a user who has performed a specific act such as performing a nuisance act based on the report data.
(Item 5)
In the acquisition step, report data by multiple users is acquired, and
In the specific step, the target user who operates the avatar to be reported is specified based on the report data by a plurality of users.
The information processing method according to any one of items 1 to 4.
According to this disclosure, it is possible to identify a user who satisfies a predetermined condition based on report data from a plurality of users, and it is possible to accurately determine a target user.
(Item 6)
A program that causes a computer to execute the method according to any one of items 1 to 6.
(Item 7)
The memory that stores the program described in item 6 and
A device coupled to the memory and comprising a processor for executing the program.

１…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、２２…仮想空間画像、２３…視界領域、２４…領域、２５…領域、１００…ＨＭＤシステム、１１０…ＨＭＤ装置、１１２…モニタ、１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１５１…通信制御モジュール、１５２…パラメータ制御モジュール、１５３…通報処理モジュール、１５４…メモリモジュール、１５４ａ…プレイ履歴データベース、１５４ｂ…通報データベース、１５４ｃ…ブラックリストデータベース、１６０…コントローラ、２００…コンピュータ、２２０…表示制御モジュール、２３０…仮想空間制御モジュール、２３０ａ…通報処理モジュール、２４０…メモリモジュール、２５０…通信制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…操作オブジェクト制御モジュール、２３４…チャット制御モジュール、２４１…空間情報、２４２…オブジェクト情報、２４３…ユーザ情報。

1 ... virtual camera, 2 ... virtual space, 5 ... reference line of sight, 10 ... processor, 11 ... memory, 12 ... storage, 13 ... input / output interface, 14 ... communication interface, 15 ... bus, 22 ... virtual space image, 23 ... Visibility area, 24 ... area, 25 ... area, 100 ... HMD system, 110 ... HMD device, 112 ... monitor, 120 ... HMD sensor, 130 ... motion sensor, 140 ... gaze sensor, 150 ... server, 151 ... communication control module, 152 ... Parameter control module, 153 ... Report processing module, 154 ... Memory module, 154a ... Play history database, 154b ... Report database, 154c ... Blacklist database, 160 ... Controller, 200 ... Computer, 220 ... Display control module, 230 ... Virtual space control module, 230a ... Notification processing module, 240 ... Memory module, 250 ... Communication control module, 221 ... Virtual camera control module, 222 ... Visibility area determination module, 223 ... Visibility image generation module, 224 ... Reference line-of-sight identification module, 231 ... Virtual space definition module, 232 ... Virtual object control module, 233 ... Operation object control module, 234 ... Chat control module, 241 ... Spatial information, 242 ... Object information, 243 ... User information.

Claims

一のユーザが使用するヘッドマウントディスプレイを含むユーザ端末に対して、他のユーザのアバターを含んだ仮想空間を提供する情報処理装置の情報処理方法において、
前記仮想空間における複数のユーザ端末のそれぞれに対して視界画像を提供可能な情報を前記ヘッドマウントディスプレイを介して取得し、前記複数のユーザ端末のそれぞれに出力する出力ステップと、
前記複数のユーザ端末のうち一のユーザ端末において前記ヘッドマウントディスプレイを介した視界画像の撮影操作が行われると、前記一のユーザ端末を使用している前記一のユーザに対して通報操作を許可するステップと、
前記一のユーザ端末において通報操作が行われると、前記一のユーザの識別情報、当該撮影操作の時刻、通報対象となるアバターを操作する対象ユーザの識別情報および前記視界画像を含んだ通報データを取得する取得ステップと、
前記通報データに基づいて、通報対象となるアバターを操作する対象ユーザを特定する特定ステップと、
を備える情報処理方法。 In the information processing method of an information processing device that provides a virtual space including an avatar of another user to a user terminal including a head-mounted display used by one user.
An output step of acquiring information capable of providing a field of view image to each of the plurality of user terminals in the virtual space via the head-mounted display and outputting the information to each of the plurality of user terminals.
When an operation of capturing a field of view image via the head-mounted display is performed on one of the plurality of user terminals, the one user using the one user terminal is permitted to perform a notification operation. Steps to do and
When the reporting operation is performed on the one user terminal, the identification information of the one user, the time of the shooting operation, the identification information of the target user who operates the avatar to be reported, and the reporting data including the field of view image are displayed. Get step to get and get
Based on the report data, a specific step to identify the target user who operates the avatar to be reported, and
Information processing method including.

前記取得ステップでは、
前記一のユーザ端末における視界画像の撮影操作時に送信された前記一のユーザの識別情報、当該撮影操作の時刻、および視線情報を取得し、
前記特定ステップでは、前記視線情報に基づいて前記視界画像における前記一のユーザの視点の位置を特定し、前記視点の位置に基づいて前記対象ユーザを特定する、
請求項１に記載の情報処理方法。 In the acquisition step,
The identification information of the one user, the time of the shooting operation, and the line-of-sight information transmitted at the time of the shooting operation of the visual field image on the one user terminal are acquired.
In the specific step, the position of the viewpoint of the one user in the field of view image is specified based on the line-of-sight information, and the target user is specified based on the position of the viewpoint.
The information processing method according to claim 1.

前記取得ステップでは、
前記対象ユーザの仮想空間における位置に基づいて定められた所定範囲にいる他のユーザの識別情報を含んだ通報データを取得し、
前記特定ステップでは、
前記他のユーザからの通報データを用いて前記対象ユーザを特定する、
請求項１または２に記載の情報処理方法。 In the acquisition step,
Acquire report data including identification information of other users within a predetermined range determined based on the position of the target user in the virtual space.
In the specific step,
Identifying the target user using a notification data from the other users,
The information processing method according to claim 1 or 2.

前記仮想空間における複数のユーザにより行われたプレイ内容と当該プレイ内容が行われた時刻とを含んだプレイ履歴データを記憶する履歴データ記憶ステップを備え、
前記特定ステップでは、前記プレイ履歴データと前記通報データとに基づいて、前記対象ユーザを特定する、
請求項１〜３のいずれか一項に記載の情報処理方法。 A history data storage step for storing play history data including play contents performed by a plurality of users in the virtual space and the time when the play contents are performed is provided.
Wherein in the specifying step, the based on the play history data and the notification data, identifying the target user,
The information processing method according to any one of claims 1 to 3.

前記取得ステップでは、複数のユーザによる通報データを取得し、
前記特定ステップでは、前記複数のユーザによる通報データに基づいて、前記対象ユーザを特定する、
請求項１〜４のいずれか一項に記載の情報処理方法。 In the acquisition step, report data by a plurality of users is acquired, and the report data is acquired.
Wherein in the specifying step, on the basis of the notification data by the plurality of users, identifies the target user,
The information processing method according to any one of claims 1 to 4.

請求項１〜５のいずれか一項に記載の方法をコンピュータに実行させる、プログラム。 A program that causes a computer to execute the method according to any one of claims 1 to 5.

請求項６に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。 A memory storing the program according to claim 6 and
A device coupled to the memory and comprising a processor for executing the program.