JP6770562B2 - Program, virtual space provision method and information processing device - Google Patents
Program, virtual space provision method and information processing device Download PDFInfo
- Publication number
- JP6770562B2 JP6770562B2 JP2018181994A JP2018181994A JP6770562B2 JP 6770562 B2 JP6770562 B2 JP 6770562B2 JP 2018181994 A JP2018181994 A JP 2018181994A JP 2018181994 A JP2018181994 A JP 2018181994A JP 6770562 B2 JP6770562 B2 JP 6770562B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- effect
- hmd
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本開示は、プログラム、仮想空間の提供方法および情報処理装置に関する。 The present disclosure relates to a program, a method of providing a virtual space, and an information processing device.
従来、ヘッドマウントデバイス（以下、ＨＭＤ：Head Mounted Device）を用いて、ユーザに仮想空間を提供することが行われている。仮想空間では、あたかも仮想空間に実在しているかのような没入感をユーザに与えるための様々な技術が提案されている。 Conventionally, a head-mounted device (hereinafter, HMD: Head Mounted Device) is used to provide a virtual space to a user. In virtual space, various technologies have been proposed to give users an immersive feeling as if they actually exist in virtual space.
例えば、現実に近い自然な動きでキャラクタを移動させるため、仮想空間に配置したキャラクタに重量を設定し、キャラクタ同士が接触した時に重量に応じた移動方向および移動量で、各キャラクタを移動させる方法が提案されている（例えば、特許文献１参照。）。 For example, in order to move a character with a natural movement close to reality, a method of setting a weight for a character placed in a virtual space and moving each character in a movement direction and a movement amount according to the weight when the characters come into contact with each other. Has been proposed (see, for example, Patent Document 1).
仮想空間では、ユーザは現実空間では難しい体験が可能である。例えば、他国、創造上の町等が定義された仮想空間において、ユーザは遠方の国や創造上の世界等を体験できる。また、バトルゲームが提供される仮想空間では、敵のアバターまたは他のユーザのアバターとインタラクトしてバトルすることも可能である。このように、現実では難しいことも体験できる仮想空間があたかも現実かのようにユーザに体感させることが重要であり、より高い現実感を付与することが求められている。 In virtual space, users can have difficult experiences in real space. For example, in a virtual space in which another country, a creative town, etc. are defined, a user can experience a distant country, a creative world, etc. Also, in the virtual space where the battle game is provided, it is possible to interact with the avatar of the enemy or the avatar of another user to battle. In this way, it is important for the user to experience the virtual space where they can experience difficult things in reality as if it were real, and it is required to give a higher sense of reality.
本開示は、仮想空間においてユーザに付与する現実感を向上させることを目的とする。 An object of the present disclosure is to improve the sense of reality given to a user in a virtual space.
本開示が示す一態様によれば、プロセッサにより実行されるプログラムが提供される。プログラムはプロセッサに、仮想空間を定義するステップと、仮想空間に仮想視点を配置するステップと、ユーザの頭部の動きに応じて、仮想視点からの視界を決定するステップと、ユーザの動きに連動するアバターを仮想空間に配置するステップと、ユーザの発声音および口の形状の少なくとも１つを検出するステップと、発声音の音量、母音および口の形状の少なくとも１つに応じて、アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップと、仮想視点からの視界に対応する視界画像を、ヘッドマウントデバイスに表示するステップと、を実行させる。エフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像は前記エフェクトを含む。 According to one aspect of the present disclosure, a program executed by a processor is provided. The program is linked to the user's movement, the step of defining the virtual space in the processor, the step of arranging the virtual viewpoint in the virtual space, and the step of determining the field of view from the virtual viewpoint according to the movement of the user's head. Associate the avatar with the avatar according to the step of placing the avatar in the virtual space, the step of detecting at least one of the user's vocal sound and mouth shape, and at least one of the vocal sound volume, vowel and mouth shape. The step of deciding whether or not to place the effect in the near area to be created and the step of displaying the field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device are executed. If the placement of the effect is determined and the field of view includes a neighborhood area, the field of view image includes the effect.
本開示によれば、仮想空間においてユーザに付与する現実感を向上させることができる。 According to the present disclosure, it is possible to improve the sense of reality given to the user in the virtual space.
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。 Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated. In one or more embodiments shown in the present disclosure, the elements included in each embodiment may be combined with each other, and the combined result shall also form part of the embodiments shown in the present disclosure.
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[HMD system configuration]
The configuration of the HMD (Head-Mounted Device)
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
The
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
In some aspects, the
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 may be worn on the
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
The
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In some aspects, the
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
In one aspect, the
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
In another aspect, the
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
In another aspect, the
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
The
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
The
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
The
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
In a certain aspect, the
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
The
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
The
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
The
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
[Computer hardware configuration]
The
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
The
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
The
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
In another aspect, the
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
The input /
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In some aspects, the input /
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
The
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
In one aspect, the
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
In the example shown in FIG. 2, the
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
In a certain embodiment, in the
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
In some aspects, the
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
[Uvw field coordinate system]
The uvw field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually representing the uvw field coordinate system set in the
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
As shown in FIG. 3, the
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
In a certain aspect, when the
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
After the uvw field coordinate system is set to the
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
The
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
In one aspect, the
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually representing one aspect of expressing the
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
In a certain aspect, the
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
At the time of starting the
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
As in the case of the
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
The
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
The line of sight of the
［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。
[User's line of sight]
The determination of the line of sight of the
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
In one aspect, the
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
When the
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In yet another aspect, the
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
[Visibility area]
The field of
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
As shown in FIG. 6, the field of
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
As shown in FIG. 7, the field of
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
As described above, the inclination of the
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
While wearing the
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
In a certain aspect, the
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In some aspects, the
［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。
[controller]
An example of the
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
As shown in FIG. 8, in some aspects, the
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
The
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
The
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
The
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
In one aspect, the
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined with respect to the right hand of the
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
[Server hardware configuration]
The
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
The
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
In another aspect, the
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
The input /
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
The
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
In one aspect, the
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。
[HMD control device]
The control device of the
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
As shown in FIG. 10, the
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
The
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
The
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
When each of the objects arranged in the
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In one aspect, the
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
When the
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
Spatial information holds one or more templates defined to provide the
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
The data and programs stored in the
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In certain aspects, the
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
The processing in the
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart showing a part of the processing performed in the HMD set 110 according to an embodiment.
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
As shown in FIG. 11, in step S1110, the
ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
In step S1120, the
ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1130, the
ステップＳ１１３２にて、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
In step S1132, the
ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
In step S1134, the
ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
In step S1140, the
ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
In step S1150, the
ステップＳ１１６０にて、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160, the
ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
In step S1170, the
ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1180, the
ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
In step S1190, the
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
[Avatar Object]
An avatar object according to the present embodiment will be described with reference to FIGS. 12A and 12B. Hereinafter, it is a figure explaining the avatar object of each
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
FIG. 12A is a schematic diagram showing a situation in which each
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
In one aspect, the processor 210A may place a virtual camera 14A that captures the field of
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
FIG. 12B is a diagram showing a field of
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
In the state of FIG. 12B, the user 5A can communicate with the user 5B through the
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
The operation of the user 5B (the operation of the
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
FIG. 13 is a sequence chart showing a part of the processing executed in the
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires the avatar information for determining the operation of the
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires the avatar information for determining the operation of the
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤ１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320, the
続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
Subsequently, each HMD set 110A to 110C executes the process of steps S1330A to S1330C based on the avatar information transmitted from the
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates the information of the
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A, 6C of the users 5A, 5C in the
［モジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表すブロック図である。
[Detailed configuration of module]
The details of the module configuration of the
図１４に示されるように、コントロールモジュール５１０は、仮想カメラ制御モジュール１４２１と、視界領域決定モジュール１４２２と、基準視線特定モジュール１４２３と、顔器官検出モジュール１４２４と、動き検出モジュール１４２５と、仮想空間定義モジュール１４２６と、仮想オブジェクト生成モジュール１４２７と、操作オブジェクト制御モジュール１４２８と、アバター制御モジュール１４２９と、を備える。レンダリングモジュール５２０は、視界画像生成モジュール１４３８を備える。メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４と、を保持している。
As shown in FIG. 14, the
仮想カメラ制御モジュール１４２１は、仮想空間１１に仮想カメラ１４を配置する。仮想カメラ制御モジュール１４２１は、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）を制御する。視界領域決定モジュール１４２２は、ＨＭＤ１２０を装着したユーザの頭の向きと、仮想カメラ１４の配置位置に応じて、視界領域１５を規定する。視界画像生成モジュール１４３８は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。
The virtual
基準視線特定モジュール１４２３は、注視センサ１４０からの信号に基づいて、ユーザ５の視線を特定する。顔器官検出モジュール１４２４は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。動き検出モジュール１４２５は、顔器官検出モジュール１４２４が検出した各器官の動き（形状）を検出する。図１５〜図１８において、顔器官検出モジュール１４２４および動き検出モジュール１４２５の制御内容は後述される。
The reference line-of-
仮想空間定義モジュール１４２６は、仮想空間１１を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間１１を規定する。
The virtual
仮想オブジェクト生成モジュール１４２７は、仮想空間１１に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
The virtual
操作オブジェクト制御モジュール１４２８は、仮想空間１１においてユーザの操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The operation
アバター制御モジュール１４２９は、ネットワーク２を介して接続される他のコンピュータ２００のユーザのアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５のアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール１４２９は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。
The
アバター制御モジュール１４２９は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール１４２９は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバター制御モジュール１４２９は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール１４２９は、ユーザ５Ａの顔の動作をアバターオブジェクトに反映する。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール１４２８は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
When each of the objects arranged in the
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４とを保持している。
The
空間情報１４３１は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
オブジェクト情報１４３２は、仮想空間１１において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間１１に配置するための情報（たとえば、位置情報）を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
The
ユーザ情報１４３３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報１４３２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
The
顔情報１４３４は、顔器官検出モジュール１４２４が、ユーザ５の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報１４３４は、口テンプレート１４３５と、目テンプレート１４３６と、眉テンプレート１４３７とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート１４３５は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
In the
［フェイストラッキング］
以下、図１５〜図１８を参照して、ユーザの表情（顔の動き）を検出するための具体例について説明する。図１５〜図１８では、一例として、ユーザ５の口の動きを検出する具体例について説明する。なお、図１５〜図１８で説明される検出方法は、ユーザ５の口の動きに限られず、ユーザ５の顔を構成する他の器官（例えば、目、眉、鼻、頬）の動きの検出にも適用され得る。
[Face tracking]
Hereinafter, a specific example for detecting a user's facial expression (face movement) will be described with reference to FIGS. 15 to 18. 15 to 18 show, as an example, a specific example of detecting the movement of the mouth of the
図１５は、ユーザの顔画像１５２１から口を検出する制御について説明する図である。第１カメラ１５０により生成された顔画像１５２１は、ユーザ５の鼻と口を含む。
FIG. 15 is a diagram illustrating control for detecting a mouth from a user's
顔器官検出モジュール１４２４は、顔情報１４３４に格納される口テンプレート１４３５を利用したパターンマッチングにより、顔画像１５２１から口領域１５３１を特定する。ある局面において、顔器官検出モジュール１４２４は、顔画像において、矩形上の比較領域を設定し、この比較領域の大きさ、位置および角度をそれぞれ変えながら、比較領域の画像と、口テンプレート１４３５の画像との類似度を算出する。顔器官検出モジュール１４２４は、予め定められたしきい値よりも大きい類似度が算出された比較領域を、口領域１５３１として特定し得る。
The face
顔器官検出モジュール１４２４はさらに、算出した類似度がしきい値よりも大きい比較領域の位置と、他の顔器官（例えば、目、鼻）の位置との相対関係に基づいて、当該比較領域が口領域に相当するか否かを判断し得る。
The facial
動き検出モジュール１４２５は、顔器官検出モジュール１４２４が検出した口領域１５３１から、より詳細な口の形状を検出する。
The
図１６は、動き検出モジュール１４２５が口の形状を検出する処理を説明する図（その１）である。図１６を参照して、動き検出モジュール１４２５は、口領域１５３１に含まれる口の形状（唇の輪郭）を検出するための輪郭検出線１６４１を設定する。輪郭検出線１６４１は、顔の高さ方向に直交する方向に、所定間隔で複数本設定される。
FIG. 16 is a diagram (No. 1) illustrating a process by which the
動き検出モジュール１４２５は、複数本の輪郭検出線１６４１の各々に沿った口領域１５３１の輝度値の変化を検出し、輝度値の変化が急激な位置を輪郭点として特定し得る。より具体的には、動き検出モジュール１４２５は、隣接画素との輝度差（すなわち、輝度値変化）が予め定められたしきい値以上である画素を、輪郭点として特定し得る。画素の輝度値は、例えば、画素のＲＢＧ値を所定の重み付けで積算することにより得られる。
The
動き検出モジュール１４２５は、口領域１５３１に対応する画像から２種類の輪郭点を特定する。動き検出モジュール１４２５は、口（唇）の外側の輪郭に対応する輪郭点１６４２と、口（唇）の内側の輪郭に対応する輪郭点１６４３とを特定する。ある局面において、動き検出モジュール１４２５は、１つの輪郭検出線１６４１上に３つ以上の輪郭点が検出された場合には、両端の輪郭点を外側の輪郭点１６４２として特定し得る。この場合、動き検出モジュール１４２５は、外側の輪郭点１６４２以外の輪郭点を、内側の輪郭点１６４３として特定し得る。また、動き検出モジュール１４２５は、１つの輪郭検出線１６４１上に２つ以下の輪郭点が検出された場合には、検出された輪郭点を外側の輪郭点１６４２として特定し得る。
The
図１７は、動き検出モジュール１４２５が口の形状を検出する処理を説明するための図（その２）である。図１７では、外側の輪郭点１６４２は白丸、内側の輪郭点１６４３はハッチングされた丸としてそれぞれ示されている。
FIG. 17 is a diagram (No. 2) for explaining a process in which the
動き検出モジュール１４２５は、内側の輪郭点１６４３間を補間することにより、口形状１７２１を特定する。ある局面において、動き検出モジュール１４２５は、スプライン補間などの非線形の補間方法を用いて、口形状１７２１を特定し得る。なお、他の局面において、動き検出モジュール１４２５は、外側の輪郭点１６４２間を補間することにより口形状１７２１を特定してもよい。さらに他の局面において、動き検出モジュール１４２５は、想定される口形状（人の上唇と下唇とによって形成され得る所定の形状）から、大きく逸脱する輪郭点を除外し、残った輪郭点によって口形状１７２１を特定してもよい。このようにして、動き検出モジュール１４２５は、ユーザの口の動作（形状）を特定し得る。なお、口形状１７２１の検出方法は上記に限られず、動き検出モジュール１４２５は、他の手法により口形状１７２１を検出してもよい。また、動き検出モジュール１４２５は、同様にして、ユーザの目および眉の動作を検出し得る。なお、動き検出モジュール１４２５は、頬、鼻などの器官の形状を検出可能に構成されてもよい。
The
図１８は、フェイストラッキングデータの構造の一例を表す。動き検出モジュール１４２５は、ユーザ５の表情を表すフェイストラッキングデータを生成する。フェイストラッキングデータは、検出対象の各器官の形状を構成する特徴点のｕｖｗ視野座標系における位置座標を表す。例えば、図１８に示されるポイントｍ１、ｍ２・・は、口形状１７２１を構成する外側の輪郭点１６４２に対応する。ある局面において、フェイストラッキングデータは、第１カメラ１５０の位置を基準（原点）としたｕｖｗ視野座標系における座標値である。他の局面において、フェイストラッキングデータは、各器官に予め定められた特徴点を基準（原点）とした座標系における座標値である。一例として、ポイントｍ１、ｍ２・・は、外側の輪郭点１６４２のうち口角に対応するいずれか一方の特徴点を原点とした座標系における座標値である。
FIG. 18 shows an example of the structure of face tracking data. The
コンピュータ２００は、生成されたフェイストラッキングデータをサーバ６００に送信する。サーバ６００は、コンピュータ２００と通信する他のコンピュータ２００にこのデータを転送する。他のコンピュータ２００は、受信したフェイストラッキングデータを、受信元のコンピュータ２００のユーザに対応するアバターオブジェクトに反映する。
The
図１２（Ａ）に示される例において、コンピュータ２００Ａは、コンピュータ２００Ｂからユーザ５Ｂの表情を表すフェイストラッキングデータを受信する。コンピュータ２００Ａは、受信したデータをアバターオブジェクト６Ｂに反映する。一例として、アバターオブジェクト６Ｂを構成するポリゴンの頂点のうち、フェイストラッキングデータに対応する頂点が設定されている。コンピュータ２００Ａは、対応する頂点の位置をフェイストラッキングデータに基づいて移動する。これにより、ユーザ５Ｂの表情がアバターオブジェクト６Ｂに反映される。その結果、ユーザ５Ａは、アバターオブジェクト６Ｂを介してユーザ５Ｂの表情を認識できる。
In the example shown in FIG. 12A, the
［音声の解析］
コンピュータ２００は、マイク１７０によってユーザ５の発声音（発話）が検出され、音声信号が入力されると、プロセッサ２１０により音声信号を解析して発声音の音量または母音を特定する。ストレージ２３０には、音声解析に使用するデータがあらかじめ保存される。
[Voice analysis]
When the utterance sound (utterance) of the
例えば、プロセッサ２１０は、音声信号の波形の振幅から音量を特定することができる。また、プロセッサ２１０は、音声信号の波形から特徴量を抽出し、抽出した特徴量を音響モデルと照合する。音響モデルは、認識対象となる音声を構成するすべての音素の特徴量である。プロセッサ２１０は、音声解析に使用するデータとして、あらかじめストレージ２３０に保存された音響モデルを読み出して照合に使用することができる。使用できる特徴量としては、例えばＭＦＣＣ（Mel-Frequency Cepstrum Coefficient：メル周波数ケプストラム係数）、ＬＰＣ（Linear Predictive Coding：線形予測符号）等が挙げられる。
For example, the
プロセッサ２１０は、音響モデルとの照合により、抽出した特徴量との類似度が最も高い音素を特定する。音素を子音と母音に分けてそれぞれの音響モデルを準備することにより、プロセッサ２１０は母音の特定が可能である。なお、プロセッサ２１０によって発声音の音量または母音を特定できるのであれば、音声の解析方法は上記解析方法に限定されず、公知の解析方法を使用することができる。
The
［３６０度動画］
ある実施の形態において、仮想空間１１とは別に、仮想空間１１に関連付けられた１または複数の仮想空間１１ｚが定義され得る。仮想空間１１ｚは、３６０度動画データによって定義される全天球の空間である。３６０度動画データは、３６０度カメラにより撮像され、ストレージ２３０に保存され得る。コンピュータ２００は、プロセッサ２１０によりストレージ２３０から３６０度空間画像データを読み出し、仮想空間１１と同様に仮想カメラ１４を含む仮想空間１１ｚを定義する仮想空間データを生成する。なお、３６０度動画データは、ネットワーク２上のコンピュータ、例えばサーバ６００等から通信インターフェイス２５０を介してダウンロードされてもよい。ダウンロードされた３６０度空間画像データはストレージ２３０に組み込まれる。
[360 degree video]
In certain embodiments, apart from the
仮想空間１１では、関連付けられた複数の仮想空間１１ｚのうちの１つが、ユーザ５のアバターオブジェクト６によって選択され得る。例えば、プロセッサ２１０が、選択可能な複数の３６０度動画データにそれぞれ関連付けられた複数の仮想オブジェクトを仮想空間１１に配置する。この選択用の仮想オブジェクトは、３６０度動画のプレビューが再生される水晶玉等の仮想オブジェクト等であってもよい。プロセッサ２１０は、ユーザ５のアバターオブジェクト６によって選択された１つの仮想オブジェクトに対応する３６０度動画データをストレージ２３０から取得し、取得した３６０度動画データによって仮想空間１１ｚを定義する。
In the
［温度パラメータの設定］
ある実施の形態において、各仮想空間１１および１１ｚには、仮想空間１１および１１ｚの全部または一部に温度パラメータが設定される。例えば、３６０度動画によって砂漠地帯を定義する仮想空間１１ｚには、仮想空間１１ｚの全部に４０℃の温度パラメータが設定される。また、３６０度動画によって北極圏を定義する仮想空間１１ｚには、仮想空間１１ｚの全部に−２０℃の温度パラメータが設定される。仮想空間１１および１１ｚの一部としては、例えば仮想空間１１および１１ｚにおいて定義される国や都市等の地域、施設内、地下通路等の空間が挙げられる。
[Temperature parameter setting]
In certain embodiments, the respective
図１９は、温度パラメータが設定された仮想空間１１の一例を示す。図１９に示す例では、仮想空間１１のうち、寒い地域に該当する空間１９２１には−１０℃の温度パラメータが設定され、暑い地域に該当する空間１９２２には３５℃の温度パラメータが設定され、それ以外の空間１９２３には常温の２０℃の温度パラメータが設定されている。空間１９２１のなかでも、施設等の内部に該当する空間１９２４の温度パラメータは、２０℃に設定されている。また、地下空間１９２５には０℃の温度パラメータが設定されている。
FIG. 19 shows an example of the
温度パラメータは、仮想空間１１および１１ｚの時間軸によって連続的または段階的に変化するパラメータであってもよい。例えば、朝の時間帯は５℃、昼の時間帯は２０℃、夜の時間帯は５℃のように、段階的に変化する温度パラメータが設定され得る。
The temperature parameter may be a parameter that changes continuously or stepwise depending on the time axis of the
仮想空間１１および１１ｚと同様に、ユーザ５のアバターオブジェクト６にも、温度パラメータが設定され得る。アバターオブジェクト６の温度パラメータは、仮想空間１１または１１ｚにおいて温度を体感させる目的から、人の体温と同程度の温度、例えば３６℃に設定される。
Similar to the
［温度のエフェクトの表示制御］
ある実施の形態において、コンピュータ２００におけるプロセッサ２１０が、仮想空間１１の温度を表現するエフェクトをＨＭＤ１２０に表示する制御を行う。温度を表現するエフェクトは、例えば息のエフェクトである。ある局面におけるエフェクトは、３次元のオブジェクトとして仮想空間１１に配置され、レンダリングによって視界画像中に描画される。また、ある局面におけるエフェクトは、視界画像の生成時に描画される２次元の画像である。プロセッサ２１０は、ストレージ２３０等のメモリに保存されたエフェクトを読み出して使用することができる。また、プロセッサ２１０は、ネットワーク２上のコンピュータ、例えばサーバ６００等から通信インターフェイス２５０を介して、エフェクトをダウンロードしてもよい。この場合、エフェクトはストレージ２３０に保存される。
[Display control of temperature effect]
In one embodiment, the
図２０は、温度のエフェクトの表示制御時に、プロセッサ２１０により実行される処理を示すフローチャートである。この処理は、図１１に示す処理の一部として実行される。以下、図１１に示す処理によって仮想空間１１にアバターオブジェクト６が配置された後、図２０に示す処理が実行される例を説明するが、仮想空間１１にアバターオブジェクト６を配置するのと並行して、図２０に示す処理が実行されてもよい。
FIG. 20 is a flowchart showing a process executed by the
図２０に示すように、ステップＳ２０２１において、プロセッサ２１０は、マイク１７０によりユーザ５の発声音が検出されたか、または顔器官検出モジュール１４２４によりユーザ５の口の形状１７２１が検出されたか否かを判断する。
As shown in FIG. 20, in step S2021, the
発声音および口の形状１７２１の少なくとも１つが検出された場合（ステップＳ２０２１でＹＥＳ）、ステップＳ２０２２において、プロセッサ２１０は、アバターオブジェクト６に設定された温度パラメータを取得する。また、プロセッサ２１０は、アバターオブジェクト６が配置された仮想空間１１から、アバターオブジェクト６の配置位置に設定された温度パラメータを取得する。プロセッサ２１０は、取得した各温度パラメータの温度差を演算し、演算した温度差が閾値を超えるか否かを判断する。
If at least one of the vocal sounds and the
温度差の閾値は、現実空間において人が吐いた息が白く曇る現象が生じるときの環境温度と人の体温との差によって設定され得る。例えば、人の体温が３６℃付近であり、環境温度が１３℃以下であると、人が吐いた息が白く曇る現象が生じる場合、温度差の閾値は１３℃（３６℃−１３℃）に設定され得る。仮想空間１１の温度パラメータが、アバターオブジェクト６の温度パラメータより１３℃以上低い場合に、息のエフェクトを配置することによって、現実空間と同様の現象を仮想空間上で再現することが可能になる。
The threshold value of the temperature difference can be set by the difference between the environmental temperature and the human body temperature when the phenomenon that the breath exhaled by a person becomes cloudy white occurs in the real space. For example, if a person's body temperature is around 36 ° C and the environmental temperature is 13 ° C or less, the temperature difference threshold will be 13 ° C (36 ° C-13 ° C) if the phenomenon that the person's exhaled breath becomes cloudy white occurs. Can be set. When the temperature parameter of the
温度差が閾値を超えると判断された場合（ステップＳ２０２２でＹＥＳ）、ステップＳ２０２３において、プロセッサ２１０は、発声音の音量、母音および口の形状の少なくとも１つに応じて、アバターオブジェクト６に関連付けられる近傍領域に、仮想空間１１の温度を表現するエフェクトを配置するか否かを決定する。アバターオブジェクト６に関連付けられる近傍領域は、アバターオブジェクト６の身体の周辺において身体から一定範囲内にある領域であり、あらかじめ設定される。エフェクトが息のエフェクトである場合、息のエフェクトが配置される近傍領域は、アバターオブジェクト６の身体のうち、口に関連付けられる近傍領域である。アバターオブジェクト６の口から一定範囲内にある口の周辺領域が、近傍領域としてアバターオブジェクト６に関連付けられる。
If it is determined that the temperature difference exceeds the threshold (YES in step S2022), in step S2023, the
例えば、発声音の音量が閾値以上である場合、発声音の母音が認識できた場合、口の形状１７２１が開いた形状である場合等に、プロセッサ２１０は、息のエフェクトを配置することを決定できる。
For example, when the volume of the vocal sound is equal to or higher than the threshold value, the vowel of the vocal sound can be recognized, the shape of the
息のエフェクトの配置が決定された場合（ステップＳ２０２３でＹＥＳ）、ステップＳ２０２４において、プロセッサ２１０は、検出された発声音の音量および口の形状１７２１の大きさの少なくとも１つに基づいて、息のエフェクトのサイズを制御する。例えば、プロセッサ２１０は、発声音の音量が大きいほど、または口の形状１７２１が大きいほど、息のエフェクトの体積、長さ等のサイズを大きくすることができる。
If the placement of the breath effect is determined (YES in step S2023), in step S2024 the
プロセッサ２１０は、発声音の音量または口の形状１７２１の大きさに応じて、息のエフェクトのサイズを連続的に変化させてもよいし、段階的に変化させてもよい。プロセッサ２１０は、連続的に変化させる場合、音量または口の形状１７２１の大きさに対応する息のエフェクトのサイズがあらかじめ定められた関数を用いて、サイズを決定できる。また、プロセッサ２１０は、段階的に変化させる場合、音量または口の形状１７２１の大きさを閾値と比較して、閾値以上であれば閾値未満の場合よりも大きいサイズに決定できる。プロセッサ２１０は、複数の閾値を用いることにより、複数段階でサイズを変更できる。
The
ステップＳ２０２５において、プロセッサ２１０は、検出された発声音の母音および口の形状１７２１の少なくとも１つに基づいて、息のエフェクトの形状、方向および配置位置の少なくとも１つを制御する。プロセッサ２１０は、例えば発声音の母音が「ａ」である場合、または口角の間隔が広い口の形状１７２１である場合は、息のエフェクトを球状または円形状にすることができる。また、プロセッサ２１０は、息のエフェクトの配置位置を、アバターオブジェクト６の口に関連付けられる近傍領域において、口と一部重なる近い位置にすることができる。
In step S2025, the
一方、プロセッサ２１０は、母音が「ｕ」または「ｏ」の場合、または口角の間隔が狭くすぼめた口の形状１７２１である場合は、息のエフェクトを一方向に延びる細長い形状とすることができる。また、プロセッサ２１０は、細長い形状の息のエフェクトの長さ方向を口から口の正面に向かう方向とし、息のエフェクトの配置位置をアバターオブジェクト６の口に関連付けられる近傍領域において、口から離れた位置とすることができる。
なお、プロセッサ２１０は、上記口角が広いか狭いかを、図１７において口角に対応する２つの外側の輪郭点１６４２間の距離を閾値と比較することにより、判断することができる。
On the other hand, the
The
ステップＳ２０２６において、プロセッサ２１０は、ステップＳ２０２２で演算した温度差に応じて、息のエフェクトの色および濃度の少なくとも１つを制御する。例えば、プロセッサ２１０は、息のエフェクトの色を白にすることができ、温度差が大きいほど白の濃度を増やすことができる。プロセッサ２１０は、息のエフェクトの色を、仮想空間１１でのアバターオブジェクト６の背景の色と同じ色にして、息のエフェクトの透明度を調整することもできる。
In step S2026,
ステップＳ２０２７において、プロセッサ２１０は、仮想カメラ１４からの視界に対応する視界画像を表示するための視界画像データを生成する。仮想カメラ１４は、仮想空間１１に配置された仮想視点である。プロセッサ２１０は、ユーザ５の動きに応じて、仮想視点からの視界を決定し、視界に対応する視界画像データをレンダンリングによって生成する。
In step S2027, the
近傍領域への配置が決定されたエフェクトが３次元のオブジェクトである場合、プロセッサ２１０は、仮想空間１１にエフェクトのオブジェクトを配置した後、レンダリングによって視界画像データを生成する。一方、エフェクトが２次元の画像である場合、プロセッサ２１０は、レンダリングと並行してエフェクトの画像を描画し、視界画像データを生成する。近傍領域へのエフェクトの配置が決定され、仮想視点からの視界内に近傍領域が含まれる場合、視界画像はエフェクトを含む。
When the effect determined to be arranged in the neighborhood region is a three-dimensional object, the
プロセッサ２１０が、生成した視界画像データを出力すると、ＨＭＤ１２０は、コンピュータ２００から受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
When the
以上のようにして息のエフェクトを含む視界画像を表示させた後、新たに発声音または口の形状１７２１が検出されると、プロセッサ２１０は、上記処理を繰り返す。これにより、プロセッサ２１０は、新たに検出された発声音および口の形状１７２１に基づいて、新たな息のエフェクトを含む視界画像をＨＭＤ１２０に表示させる。このとき、プロセッサ２１０は、先に表示された息のエフェクトのサイズ、形状、方向、位置、色および濃度の少なくとも１つを制御してもよい。例えば、プロセッサ２１０は、先に配置した息のエフェクトを口からさらに離れた位置に移動し、白色の濃度を減らすことができる。これにより、時間経過によって息の蒸気が消えていく現象を再現することができる。
After displaying the visual field image including the breath effect as described above, when a new vocal sound or
図２１は、ＨＭＤ１２０に表示される視界画像の一例を示す。図２２は、図２１に示す視界画像の仮想視点を示す。
図２２に示すように、仮想空間１１には、ユーザ５Ａのアバターオブジェクト６Ａと、他のユーザ５Ｂのアバターオブジェクト６Ｂが配置されている。また、仮想空間１１には仮想カメラ１４が配置されている。仮想カメラ１４の位置が仮想視点２２２２に相当し、仮想カメラ１４の傾きが基準視線２２１６に相当する。仮想視点２２２２はユーザ５Ａの視点と同じであり、基準視線２２１６はユーザ５Ａの視線と同じである。視界領域２２１５は、この仮想視点２２２２と基準視線２２１６によって定義される。基準視線２２１６はユーザ５Ａの視線と同じであるため、図２１に示すように、一人称視点の視界画像２１１７がユーザ５ＡのＨＭＤ１２０Ａに表示される。
FIG. 21 shows an example of a field of view image displayed on the
As shown in FIG. 22, the
仮想視点２２２２からの視界領域２２１５には、アバターオブジェクト６Ａの口に関連付けられた近傍領域２２３１が含まれる。そのため、近傍領域２２３１へ息のエフェクトの配置が決定された場合は、図２１に示すように、視界画像２１１７に息のエフェクト２１７１が含まれる。ユーザ５Ａの発声音が大きいため、息のエフェクト２１７１のサイズも大きい。また、ユーザ５Ａの発声音の母音が［ａ］であるため、息のエフェクト２１７１は円形状である。
The field of
視界領域２２１５には、他のユーザ５Ｂのアバターオブジェクト６Ｂと、アバターオブジェクト６Ｂの口に関連付けられた近傍領域２２３２も含まれる。よって、視界画像２１１７には、他のユーザ５Ｂのアバター２１６１と、近傍領域２２３２に配置された息のエフェクト２１７２が含まれる。ユーザ５Ｂの口の形状１７２１が小さいため、息のエフェクト２１７２のサイズも小さい。また、ユーザ５Ｂの口角の間隔が狭い口の形状１７２１であるため、息のエフェクト２１７２の形状は細長く、その長さ方向が口から口の正面方向に位置する。
The field of
エフェクトを含む視界画像は、上述した仮想視点２２２２がユーザ５の視点である一人称視点の視点画像だけでなく、仮想視点からの視界にユーザ５のアバターも含まれる三人称視点の視界画像であってもよい。三人称視点の視界画像は、仮想視点２２２２からの視界にユーザ５のアバターオブジェクト６も含まれる位置に、仮想カメラ１４を移動することにより得られる。例えば、一人称視点の仮想カメラ１４を、１８０度回転させて、さらに一人称視点の位置から所定距離だけ離間させることにより、アバターオブジェクト６を正面から視る三人称視点の位置へ仮想カメラ１４を移動させることができる。
The field of view image including the effect is not only the first-person field of view image in which the
上記温度のエフェクトの表示制御によれば、仮想空間１１において息のエフェクトを含む視界画像がＨＭＤ１２０に表示される。息のエフェクトは、ユーザ５の発声音または口の形状１７２１に応じて配置され、またアバターオブジェクト６の口に関連付けられた近傍領域に配置される。そのため、ユーザ５は、視界画像中の息のエフェクトによって仮想空間１１の温度を体感することができ、あたかも仮想空間１１に存在するかのような現実感をより高めることができる。
According to the display control of the temperature effect, the visual field image including the breath effect is displayed on the
ユーザ５に温度を体感させる方法としては、現実空間において低温の霧、風等をユーザ５に向けて送り出すハプティック等があるが、ハプティック用の設備が必要になる。これに対し、上記エフェクトの表示制御によれば、特別な設備を用いることなく、視界画像上の表現で仮想空間１１の温度を体感させることができる。
また、息のエフェクトは、一方的に提供されるのではなく、ユーザ５の発声や口の動きに連動したサイズ、形状等で提供されるため、仮想空間１１における現実感がより高められ得る。
As a method for allowing the
Further, since the breath effect is not provided unilaterally, but is provided in a size, shape, etc. linked to the utterance of the
［曇る材質の設定］
ある局面においては、各仮想空間１１および１１ｚに配置される仮想オブジェクトの一部が、曇る材質に設定される。曇る材質に設定される仮想オブジェクトは、現実空間において蒸気が吹き付けられると、蒸気と環境温度との温度差によって表面に水滴が付着し、この水滴に光が乱反射して白く曇る材質を有する仮想オブジェクトである。曇る材質に設定される仮想オブジェクトとしては、例えば窓、鏡、眼鏡のレンズ、ヘルメットの窓等の仮想オブジェクトが挙げられる。
[Setting of cloudy material]
In one aspect, some of the virtual objects placed in each of the
仮想空間１１においてアバターオブジェクト６の周辺に曇る材質の仮想オブジェクトが配置された場合、プロセッサ２１０は、曇る材質の仮想オブジェクトと息のエフェクトの衝突を検出することがある。例えば、息のエフェクトがオブジェクトである場合、プロセッサ２１０は、オブジェクト同士の衝突を検出する。息のエフェクトが画像である場合、プロセッサ２１０は、レンダリングによって仮想オブジェクトから画像を描画する位置とエフェクトの画像を描画する位置が重なる場合に各画像の衝突を検出する。衝突が検出されると、プロセッサ２１０は、発声音の音量、母音、口の形状１７２１、温度差等に応じて、曇る材質の仮想オブジェクトのうち、息のエフェクトとの衝突部分の色および濃度の少なくとも１つを制御する。
When a virtual object made of a cloudy material is arranged around the avatar object 6 in the
例えば、曇る材質として設定された窓の仮想オブジェクトとの衝突が検出された場合、プロセッサ２１０は、窓の仮想オブジェクトにおいて、息のエフェクトと衝突し重なる部分の色を白色にし、温度差が大きいほど白色の濃度を増やすことができる。発声音の音量が大きいほど、息のエフェクトのサイズが大きくなるため、白色で表現される窓の仮想オブジェクトとの衝突部分のサイズが大きくなり、曇り具合が変化する様子が再現される。これにより、冷たい窓に息がかかって窓に水滴が付着し、乱反射によって曇る現象を表現でき、仮想空間１１での温度をユーザ５に体感させることができる。
For example, when a collision with a window virtual object set as a cloudy material is detected, the
図２３は、ＨＭＤ１２０に表示される視界画像の一例を示す。
仮想空間１１においてアバターオブジェクト６の近傍領域内に窓の仮想オブジェクトが含まれる場合、図２３に示すように、三人称視点の視界画像２３１７には、レンダリングによって描画されたアバター２３６１と窓の画像２３６２が含まれる。近傍領域に息のエフェクトが配置された場合は、視界画像２３１７には、息のエフェクト２３７１も含まれる。窓の仮想オブジェクトと息のエフェクトは同じ近傍領域内にあるため、両者の衝突が検出される。その結果、窓の画像２３６２は灰色であるが、息のエフェクト２３７１と衝突した画像部分２３６３は白色に制御されて、曇りが表現されている。
FIG. 23 shows an example of a field of view image displayed on the
When the virtual object of the window is included in the vicinity area of the avatar object 6 in the
［３６０度動画でのエフェクトの表示制御］
ある局面において、仮想空間１１に関連付けられた１または複数の３６０度動画データのうちの１つが、ユーザ５の動きに連動するアバターオブジェクト６によって選択され得る。３６０度動画データが選択されると、プロセッサ２１０は、選択された１つの３６０度動画データをストレージ２３０から取得する。プロセッサ２１０は、取得した３６０度動画データにより仮想空間１１ｚを定義し、仮想視点と基準視線に相当する仮想カメラ１４を配置する。プロセッサ２１０は、定義した仮想空間１１ｚにおいて、上述した仮想空間１１の場合と同様にして、視界画像データを生成することができる。
[Effect display control in 360-degree video]
In one aspect, one of one or more 360 degree video data associated with the
これにより、３６０度動画データにより定義された仮想空間１１ｚでも、仮想空間１１ｚの温度をユーザ５が体感することができる。３６０度動画において表現される４０℃の砂漠地帯、−２０℃の北極圏等の各仮想空間１１ｚの温度の体感が可能であり、ユーザ５はより高い没入感が得られる。
As a result, the
［攻撃のエフェクトの表示制御］
ある実施の形態において、コンピュータ２００におけるプロセッサ２１０が、仮想空間１１で提供されるバトルゲームにおいて攻撃力を表現するため、攻撃のエフェクトの表示制御を行う。攻撃のエフェクトは、例えば、光、炎、水、ガス、氷、魔法等による攻撃を表すエフェクトである。エフェクトは、上述のように３次元のオブジェクトであってもよいし、２次元の画像であってもよい。
[Display control of attack effect]
In one embodiment, the
図２４は、攻撃のエフェクトの表示制御時に、コンピュータ２００のプロセッサ２１０により実行される処理を示すフローチャートである。この処理は、例えばバトルゲームの攻撃モードにおいて、図１１に示す処理の一部として実行される。以下、図１１に示す処理によって仮想空間１１にアバターオブジェクト６が配置された後に、図２４に示す処理が実行される例を説明するが、仮想空間１１にアバターオブジェクト６を配置するのと並行して図２４に示す処理が実行されてもよい。
FIG. 24 is a flowchart showing a process executed by the
図２４に示すように、ステップＳ２４２１において、プロセッサ２１０は、マイク１７０によりユーザ５の発声音が検出されたか、または顔器官検出モジュール１４２４により口の形状１７２１が検出されたか否かを判断する。
As shown in FIG. 24, in step S2421, the
発声音および口の形状１７２１の少なくとも１つが検出された場合（ステップＳ２４２１でＹＥＳ）、ステップＳ２４２２において、プロセッサ２１０は、攻撃力を表現するエフェクトとして、攻撃のエフェクトを配置するか否かを決定する。アバターオブジェクト６に関連付けられる近傍領域は、息のエフェクトの場合と同様に、アバターオブジェクト６の身体の周辺においてあらかじめ設定される領域である。近傍領域は、アバターオブジェクト６の手、足、目、口等の身体の一部に関連付けられる領域であってもよい。近傍領域への配置により、アバターオブジェクト６の身体から攻撃が出される様子が再現される。
If at least one of the vocal sounds and the
例えば、発声音の音量または口の形状１７２１の大きさが閾値以上の場合、プロセッサ２１０は、攻撃のエフェクトを配置することを決定できる。ユーザ５は、口を少し開いただけで攻撃を出すのではなく、攻撃を出す明確な意思がある場合のみ、攻撃を出すことができる。
For example, if the volume of the vocalization or the magnitude of the
ステップＳ２４２３において、プロセッサ２１０は、検出された発声音の音量および口の形状１７２１の大きさの少なくとも１つに基づいて、攻撃のエフェクトのサイズ、色および濃度の少なくとも１つを制御する。例えば、プロセッサ２１０は、音量が大きいほど、または口の形状１７２１が大きいほど、攻撃のエフェクトの体積を大きく、または長さを長くすることができる。プロセッサ２１０は、息のエフェクトと同様にして、音量および口の形状１７２１の大きさに応じて、攻撃のエフェクトのサイズを連続的にまたは段階的に変化させることができる。
In step S2423, the
また、プロセッサ２１０は、音量が大きいほど、または口の形状１７２１が大きいほど、攻撃のエフェクトの色を寒色系から暖色系にするか、または濃度を増やすことができる。例えば、攻撃のエフェクトが炎である場合、プロセッサ２１０は、炎の色を黄色から赤色に制御する、または赤色の濃度を増やすことができる。プロセッサ２１０は、息のエフェクトと同様にして、音量および口の形状１７２１の大きさに応じて、攻撃のエフェクトの色および濃度を連続的にまたは段階的に変化させることができる。
In addition, the
ステップＳ２４２４において、プロセッサ２１０は、発声音の母音および口の形状１７２１の少なくとも１つに基づいて、攻撃のエフェクトの形状、方向および配置位置の少なくとも１つを制御する。例えば、プロセッサ２１０は、母音が「ａ」の場合か、口角の間隔が広い口の形状１７２１である場合、攻撃のエフェクトの形状を球状、円盤状等にして、配置位置を開いた口のすぐ近くの位置に制御することができる。プロセッサ２１０は、母音が［ｕ］または［ｏ］の場合か、口角の間隔が狭くすぼむ口の形状１７２１である場合、攻撃のエフェクトの形状を細長くして、その長さ方向を口から口の正面へ向かう方向にすることができる。
In step S2424, the
ステップＳ２４２５において、プロセッサ２１０は、仮想空間１１において視界画像を表示するための視界画像データを生成する。近傍領域への攻撃のエフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像は攻撃のエフェクトを含む。
In step S2425, the
ＨＭＤ１２０は、コンピュータ２００から受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
The
図２５は、ＨＭＤ１２０に表示される視界画像の他の一例を示す。
仮想空間１１において、仮想視点からの基準視線上に攻撃対象のアバターオブジェクトが配置された場合、図２５に示すように、一人称視点の視界画像２５１７には攻撃対象のアバター２５６１が含まれる。ユーザ５の視点と同じである仮想視点からの視界にはアバターオブジェクト６に関連付けられた近傍領域が含まれるため、近傍領域に配置された炎の攻撃のエフェクト２５７１が視界画像２５１７に含まれる。攻撃のエフェクト２５７１は、口の形状１７２１の大きさに応じた長いサイズに制御され、長さ方向が口から口の正面に向かう方向となるように配置されている。
FIG. 25 shows another example of the field of view image displayed on the
When the attack target avatar object is arranged on the reference line of sight from the virtual viewpoint in the
上記攻撃のエフェクトの表示制御によれば、攻撃のエフェクトを含む視界画像がＨＭＤ１２０に表示される。攻撃のエフェクトは、ユーザ５の発声音の音量、母音および口の形状１７２１の少なくとも１つに基づいて、アバターオブジェクト６の身体に関連付ける近傍領域に配置される。そのため、ユーザ５は、身体から攻撃を発するという行動を、視界画像中の攻撃のエフェクトによって体感することができる。したがって、現実空間では難しいバトルゲームが提供される仮想空間での現実感をより高めることができる。
According to the display control of the attack effect, the field of view image including the attack effect is displayed on the
攻撃のエフェクト２５７１は、口の動きに連動してサイズ等が制御されるため、アバターオブジェクト６の身体のなかでも、口に関連付けられる近傍領域に配置されることにより、ユーザ５はより攻撃力を体感しやすく、現実感が高まりやすい。また、直感的な攻撃の操作が可能である。
Since the size and the like of the
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。 Although the embodiments of the present disclosure have been described above, the technical scope of the present invention should not be construed as being limited by the description of the present embodiments. This embodiment is an example, and it is understood by those skilled in the art that various embodiments can be changed within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalent scope thereof.
例えば、コンピュータ２００は、ユーザ５のような人に限らず、動物のオブジェクトの身体に関連付ける近傍領域に、息のエフェクトを配置してもよい。コンピュータ２００は、仮想空間１１において定義された動物の鳴き声の大きさに基づいて、息のエフェクトのサイズ、色、濃度等を制御してもよい。
For example, the
また、コンピュータ２００は、仮想空間１１に設定された温度と、攻撃のエフェクトに設定された温度との温度差によって、攻撃のエフェクトを変化させる制御を行ってもよい。例えば、水の攻撃のエフェクトの場合、プロセッサ２１０は、仮想空間１１に設定された温度と水の攻撃のエフェクトに設定された温度差が０℃以下であれば、水の攻撃を氷の攻撃のエフェクトに変化させる。また、温度差が５０℃以上であれば、水の攻撃をガスの攻撃のエフェクトに変化させる。これにより、ユーザ５に仮想空間の温度を体感させることができる。
Further, the
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above embodiment, the virtual space (VR space) in which the user is immersed by the HMD has been illustrated and described, but a transparent HMD may be adopted as the HMD. In this case, augmented reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) MR: Mixed Reality) A virtual experience in space may be provided to the user. In this case, instead of the operation object, an action on the target object in the virtual space may be generated based on the movement of the user's hand. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space, and may define the position of the target object in the virtual space in relation to the coordinate information in the real space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and can execute the process corresponding to the above-mentioned collision control or the like between the user's hand and the target object. .. As a result, it becomes possible to give an action to the target object based on the movement of the user's hand.
（構成）
以上に開示された技術的特徴は、以下のように要約され得る。
(Constitution)
The technical features disclosed above can be summarized as follows.
（構成１）
ある実施形態によれば、プロセッサ２１０により実行されるプログラムが提供される。プログラムはプロセッサ２１０に、仮想空間１１を定義するステップ（Ｓ１１１０）と、仮想空間１１に仮想視点を配置するステップ（Ｓ１１２０）と、ユーザ５の頭部の動きに応じて、仮想視点からの視界を決定するステップ（Ｓ１１４０）と、ユーザ５の動きに連動するアバターを仮想空間１１に配置するステップ（Ｓ１１５０）と、ユーザ５の発声音および口の形状の少なくとも１つを検出するステップと、発声音の音量、母音および口の形状の少なくとも１つに応じて、アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップ（Ｓ２０２３、Ｓ２４２２）と、仮想視点からの視界に対応する視界画像を、ＨＭＤ１２０に表示するステップ（Ｓ２０２７、Ｓ１１９０）と、を実行させる。エフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像はエフェクトを含む。
(Structure 1)
According to one embodiment, a program executed by
（構成２）
（構成１）において、エフェクトは、息のエフェクトであり、息のエフェクトが配置される近傍領域は、アバターの口に関連付けられる近傍領域である。
(Structure 2)
In (Structure 1), the effect is a breath effect, and the neighborhood area where the breath effect is placed is a neighborhood area associated with the mouth of the avatar.
（構成３）
（構成２）において、プログラムはプロセッサ２１０に、発声音の音量および口の形状の大きさの少なくとも１つに基づいて、息のエフェクトのサイズを制御するステップ（Ｓ２０２４）をさらに実行させる。
(Structure 3)
In (Structure 2), the program causes the
（構成４）
（構成２）または（構成３）において、プログラムはプロセッサ２１０に、発声音の母音および口の形状の少なくとも１つに基づいて、息のエフェクトの形状、方向および配置位置の少なくとも１つを制御するステップ（Ｓ２０２５）をさらに実行させる。
(Structure 4)
In (Structure 2) or (Structure 3), the program controls the
（構成５）
（構成２）〜（構成４）のいずれか一つの構成において、プログラムはプロセッサ２１０に、アバターに設定された温度パラメータと、仮想空間１１の全部または一部に設定された温度パラメータとの温度差に応じて、息のエフェクトの色および濃度の少なくとも１つを制御するステップ（Ｓ２０２６）をさらに実行させる。
(Structure 5)
In any one of the configurations (configuration 2) to (configuration 4), the program tells the
（構成６）
（構成２）〜（構成５）のいずれか一つの構成において、プログラムはプロセッサ２１０に、温度パラメータが設定された１または複数の３６０度動画のうち、アバターによって選択された１つの３６０度動画によって仮想空間１１を定義するステップと、３６０度動画によって定義された仮想空間１１に、仮想視点を配置するステップと、ユーザ５の動きに応じて、仮想視点からの視界を決定するステップと、３６０度動画によって定義された仮想空間１１に、アバターを配置するステップと、ユーザ５の発声音および口の形状の少なくとも１つを検出するステップと、ユーザ５の発声音の音量、母音および口の形状の少なくとも１つに基づいて、息のエフェクトを近傍領域に配置するか否かを決定するステップと、息のエフェクトの配置が決定された場合、アバターに設定された温度パラメータと、３６０度動画によって定義された仮想空間１１の温度パラメータとの温度差に応じて、息のエフェクトの色および濃度の少なくとも１つを制御するステップと、仮想視点からの視界に対応する視界画像を、ＨＭＤ１２０に表示するステップと、をさらに実行させ、息のエフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像は息のエフェクトを含む。
(Structure 6)
In any one of the configurations (Structure 2) to (Structure 5), the program tells the
（構成７）
（構成２）〜（構成６）のいずれか一つの構成において、プログラムはプロセッサ２１０に、仮想空間１１に配置された、曇る材質の仮想オブジェクトと、息のエフェクトとの衝突を検出するステップと、仮想オブジェクトの息のエフェクトとの衝突部分の色および濃度の少なくとも１つを制御するステップと、をさらに実行させる。
(Structure 7)
In any one of the configurations (configuration 2) to (configuration 6), the program detects a collision between a virtual object of a cloudy material arranged in the
（構成８）
（構成１）において、エフェクトは、攻撃のエフェクトであり、攻撃のエフェクトが配置される近傍領域は、アバターの身体の一部に関連付けられる近傍領域である。
(Structure 8)
In (Structure 1), the effect is an attack effect, and the neighborhood area where the attack effect is placed is a neighborhood area associated with a part of the avatar's body.
（構成９）
（構成８）において、プログラムはプロセッサ２１０に、発声音の音量および口の形状の大きさの少なくとも１つに基づいて、攻撃のエフェクトのサイズ、色および濃度の少なくとも１つを制御するステップ（Ｓ２４２３）をさらに実行させる。
(Structure 9)
In (Structure 8), the program causes the
（構成１０）
（構成８）または（構成９）において、プログラムはプロセッサ２１０に、発声音の母音および口の形状の少なくとも１つに基づいて、攻撃のエフェクトの形状、方向および配置位置の少なくとも１つを制御するステップ（Ｓ２４２４）をさらに実行させる。
(Structure 10)
In (Structure 8) or (Structure 9), the program controls the
（構成１１）
（構成８）〜（構成１０）のいずれか一つの構成において、攻撃のオブジェクトが配置される近傍領域は、アバターの口に関連付けられる近傍領域である。
(Structure 11)
In any one of the configurations (8) to (10), the neighborhood area where the attacking object is placed is the neighborhood area associated with the mouth of the avatar.
（構成１２）
ある実施形態によれば、仮想空間の提供方法が提供される。仮想空間の提供方法は、仮想空間１１を定義するステップ（Ｓ１１１０）と、仮想空間１１に仮想視点を配置するステップ（Ｓ１１２０）と、ユーザ５の頭部の動きに応じて、仮想視点からの視界を決定するステップ（Ｓ１１４０）と、ユーザ５の動きに連動するアバターを仮想空間１１に配置するステップ（Ｓ１１５０）と、ユーザ５の発声音および口の形状の少なくとも１つを検出するステップと、発声音の音量、母音および口の形状の少なくとも１つに応じて、アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップ（Ｓ２０２３、Ｓ２４２２）と、仮想視点からの視界に対応する視界画像を、ＨＭＤ１２０に表示するステップ（Ｓ２０２７、Ｓ１１９０）と、を含む。エフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像はエフェクトを含む。
(Structure 12)
According to one embodiment, a method of providing a virtual space is provided. The method of providing the virtual space includes a step of defining the virtual space 11 (S1110), a step of arranging the virtual viewpoint in the virtual space 11 (S1120), and a view from the virtual viewpoint according to the movement of the head of the
（構成１３）
ある実施形態によれば、情報処理装置が提供される。情報処理装置は、プロセッサ２１０と、プログラムを格納したメモリ２２０と、を備える。プログラムはプロセッサ２１０に、仮想空間１１を定義するステップ（Ｓ１１１０）と、仮想空間１１に仮想視点を配置するステップ（Ｓ１１２０）と、ユーザ５の頭部の動きに応じて、仮想視点からの視界を決定するステップ（Ｓ１１４０）と、ユーザ５の動きに連動するアバターを仮想空間１１に配置するステップ（Ｓ１１５０）と、ユーザ５の発声音および口の形状の少なくとも１つを検出するステップと、発声音の音量、母音および口の形状の少なくとも１つに応じて、アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップ（Ｓ２０２３、Ｓ２４２２）と、仮想視点からの視界に対応する視界画像を、ＨＭＤ１２０に表示するステップ（Ｓ２０２７、Ｓ１１９０）と、を実行させる。エフェクトの配置が決定され、視界内に近傍領域が含まれる場合、視界画像はエフェクトを含む。
(Structure 13)
According to certain embodiments, an information processing device is provided. The information processing device includes a
２…ネットワーク、５…ユーザ、６…アバターオブジェクト、１１…仮想空間、１２…中心、１４…仮想カメラ、１５…視界領域、１００…ＨＭＤシステム、１１０…ＨＭＤセット、１３０…モニタ、１７０…マイク、１８０…スピーカ、１９０…センサ、２００…コンピュータ、２１０…プロセッサ、２２０…メモリ、２３０…ストレージ、２４０…入出力インターフェイス、２５０…通信インターフェイス、３００…コントローラ、３１０…グリップ、３２０…フレーム、３４０、３５０、３７０、３８０…ボタン、３９０…アナログスティック、４１０…ＨＭＤセンサ、４２０…モーションセンサ、４３０…ディスプレイ、５１０…コントロールモジュール、５２０…レンダリングモジュール、５３０…メモリモジュール、５４０…通信制御モジュール、６００…サーバ、６１０…プロセッサ、６２０…メモリ、６３０…ストレージ、６４０…入出力インターフェイス、６５０…通信インターフェイス、１４２１…仮想カメラ制御モジュール、１４２２…視界領域決定モジュール、１４２３…基準視線特定モジュール、１４２４…動き検出モジュール、１４２４…顔器官検出モジュール、１４２５…動き検出モジュール、１４２６…仮想空間定義モジュール、１４２７…仮想オブジェクト生成モジュール、１４２８…操作オブジェクト制御モジュール、１４２９…アバター制御モジュール、１４３１…空間情報、１４３２…オブジェクト情報、１４３３…ユーザ情報、１４３４ 顔情報、１４３５…口テンプレート、１４３８…視界画像生成モジュール、１５３１…口領域、１６４１…輪郭検出線
2 ... network, 5 ... user, 6 ... avatar object, 11 ... virtual space, 12 ... center, 14 ... virtual camera, 15 ... view area, 100 ... HMD system, 110 ... HMD set, 130 ... monitor, 170 ... microphone, 180 ... Speaker, 190 ... Sensor, 200 ... Computer, 210 ... Processor, 220 ... Memory, 230 ... Storage, 240 ... Input / Output Interface, 250 ... Communication Interface, 300 ... Controller, 310 ... Grip, 320 ... Frame, 340, 350 370, 380 ... Button, 390 ... Analog Stick, 410 ... HMD Sensor, 420 ... Motion Sensor, 430 ... Display, 510 ... Control Module, 520 ... Rendering Module, 530 ... Memory Module, 540 ... Communication Control Module, 600 ... Server , 610 ... Processor, 620 ... Memory, 630 ... Storage, 640 ... Input / output interface, 650 ... Communication interface, 1421 ... Virtual camera control module, 1422 ... View area determination module, 1423 ... Reference line-of-sight identification module, 1424 ... Motion detection module , 1424 ... Face organ detection module, 1425 ... Motion detection module, 1426 ... Virtual space definition module, 1427 ... Virtual object generation module, 1428 ... Operation object control module, 1429 ... Avatar control module, 1431 ... Spatial information, 1432 ... Object information , 1433 ... user information, 1434 face information, 1435 ... mouth template, 1438 ... view image generation module, 1531 ... mouth area, 1641 ... contour detection line
Claims (12)
仮想空間を定義するステップと、
前記仮想空間に仮想視点を配置するステップと、
ユーザの頭部の動きに応じて、前記仮想視点からの視界を決定するステップと、
前記ユーザの動きに連動するアバターを前記仮想空間に配置するステップと、
前記ユーザの発声音および口の形状の少なくとも１つを検出するステップと、
前記発声音の音量、母音および前記口の形状の少なくとも１つに応じて、前記アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップと、
前記仮想視点からの視界に対応する視界画像を、ヘッドマウントデバイスに表示するステップと、を実行させ、
前記エフェクトの配置が決定され、前記視界内に前記近傍領域が含まれる場合、前記視界画像は前記エフェクトを含み、
前記エフェクトは、前記ユーザの発声又は口の動きに連動する現象又は行動を表現するエフェクトであり、
前記近傍領域は、前記アバターの口から一定範囲内にある周辺領域である、
プログラム。 A program executed by a processor, the program being delivered to the processor.
Steps to define virtual space and
The step of arranging the virtual viewpoint in the virtual space and
The step of determining the field of view from the virtual viewpoint according to the movement of the user's head,
A step of arranging an avatar linked to the movement of the user in the virtual space,
The step of detecting at least one of the user's vocal sounds and mouth shape, and
A step of determining whether to place the effect in the neighborhood area associated with the avatar, depending on at least one of the vocal volume, vowels and mouth shape.
The step of displaying the field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device is executed.
If the arrangement of the effect is determined, the include neighboring region within said field of view, said viewing image viewing including the effect,
The effect is an effect that expresses a phenomenon or action that is linked to the user's utterance or mouth movement.
The neighborhood area is a peripheral area within a certain range from the mouth of the avatar.
program.
請求項１に記載のプログラム。 The effect, Ru effects der breath to represent the phenomenon of breath from the mouth of the avatar in conjunction with the movement of the utterance or mouth of the user is discharged,
The program according to claim 1.
前記発声音の音量および前記口の形状の大きさの少なくとも１つに基づいて、前記息のエフェクトのサイズを制御するステップをさらに実行させる、
請求項２に記載のプログラム。 The program is on the processor
Further performing a step of controlling the size of the breath effect based on at least one of the volume of the vocalization and the size of the mouth shape.
The program according to claim 2.
前記発声音の母音および口の形状の少なくとも１つに基づいて、前記息のエフェクトの形状、方向および配置位置の少なくとも１つを制御するステップをさらに実行させる、
請求項２または３に記載のプログラム。 The program is on the processor
Further performing steps to control at least one of the shape, orientation and placement position of the breath effect based on at least one of the vowels and mouth shape of the vocalization.
The program according to claim 2 or 3.
前記アバターに設定された温度パラメータと、前記仮想空間の全部または一部に設定された温度パラメータとの温度差に応じて、前記息のエフェクトの色および濃度の少なくとも１つを制御するステップをさらに実行させる、
請求項２〜４のいずれか一項に記載のプログラム。 The program is on the processor
Further steps are taken to control at least one of the colors and densities of the breath effect, depending on the temperature difference between the temperature parameters set on the avatar and the temperature parameters set on all or part of the virtual space. Let it run
The program according to any one of claims 2 to 4.
温度パラメータが設定された１または複数の３６０度動画のうち、前記アバターによって選択された１つの３６０度動画によって仮想空間を定義するステップと、
前記３６０度動画によって定義された前記仮想空間に、前記仮想視点を配置するステップと、
前記ユーザの動きに応じて、前記仮想視点からの視界を決定するステップと、
前記３６０度動画によって定義された前記仮想空間に、前記アバターを配置するステップと、
前記ユーザの発声音および口の形状の少なくとも１つを検出するステップと、
前記ユーザの発声音の音量、母音および前記口の形状の少なくとも１つに基づいて、前記息のエフェクトを前記近傍領域に配置するか否かを決定するステップと、
前記息のエフェクトの配置が決定された場合、前記アバターに設定された温度パラメータと、前記３６０度動画によって定義された前記仮想空間の温度パラメータとの温度差に応じて、前記息のエフェクトの色および濃度の少なくとも１つを制御するステップと、
前記仮想視点からの視界に対応する視界画像を、前記ヘッドマウントデバイスに表示するステップと、をさらに実行させ、
前記息のエフェクトの配置が決定され、前記視界内に前記近傍領域が含まれる場合、前記視界画像は前記息のエフェクトを含む、
請求項２〜５のいずれか一項に記載のプログラム。 The program is on the processor
A step of defining a virtual space by one 360-degree video selected by the avatar out of one or more 360-degree videos with temperature parameters set.
A step of arranging the virtual viewpoint in the virtual space defined by the 360-degree moving image, and
A step of determining the field of view from the virtual viewpoint according to the movement of the user,
The step of arranging the avatar in the virtual space defined by the 360-degree moving image, and
The step of detecting at least one of the user's vocal sounds and mouth shape, and
A step of determining whether or not to place the breath effect in the neighborhood region based on at least one of the user's vocal volume, vowels and mouth shape.
When the arrangement of the breath effect is determined, the color of the breath effect depends on the temperature difference between the temperature parameter set in the avatar and the temperature parameter in the virtual space defined by the 360 degree moving image. And the step of controlling at least one of the concentrations,
Further executing the step of displaying the field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
When the arrangement of the breath effect is determined and the near area is included in the field of view, the field of view image includes the breath effect.
The program according to any one of claims 2 to 5.
前記仮想空間に配置された、曇る材質の仮想オブジェクトと、前記息のエフェクトとの衝突を検出するステップと、
前記仮想オブジェクトの前記息のエフェクトとの衝突部分の色および濃度の少なくとも１つを制御するステップと、をさらに実行させる、
請求項２〜６のいずれか一項に記載のプログラム。 The program is on the processor
A step of detecting a collision between a virtual object made of a cloudy material placed in the virtual space and the effect of breath,
Further performing a step of controlling at least one of the colors and densities of the part of the virtual object that collides with the breath effect.
The program according to any one of claims 2 to 6.
請求項１に記載のプログラム。 The effect is, Ru effects der of the attack to express the action to issue an attack from the mouth of the avatar in conjunction with the movement of the utterance or mouth of the user,
The program according to claim 1.
前記発声音の音量および口の形状の大きさの少なくとも１つに基づいて、前記攻撃のエフェクトのサイズ、色および濃度の少なくとも１つを制御するステップをさらに実行させる、
請求項８に記載のプログラム。 The program is on the processor
Further performing the step of controlling at least one of the size, color and density of the effect of the attack based on at least one of the volume of the vocalization and the size of the mouth shape.
The program according to claim 8.
前記発声音の母音および口の形状の少なくとも１つに基づいて、前記攻撃のエフェクトの形状、方向および配置位置の少なくとも１つを制御するステップをさらに実行させる、
請求項８または９に記載のプログラム。 The program is on the processor
Further performing steps to control at least one of the shape, orientation and placement position of the attack effect based on at least one of the vocal vowels and mouth shape.
The program according to claim 8 or 9.
前記仮想空間に仮想視点を配置するステップと、
ユーザの頭部の動きに応じて、前記仮想視点からの視界を決定するステップと、
前記ユーザの動きに連動するアバターを前記仮想空間に配置するステップと、
前記ユーザの発声音および口の形状の少なくとも１つを検出するステップと、
前記発声音の音量、母音および前記口の形状の少なくとも１つに応じて、前記アバターに関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップと、
前記仮想視点からの視界に対応する視界画像を、ヘッドマウントデバイスに表示するステップと、を含み、
前記エフェクトの配置が決定され、前記視界内に前記近傍領域が含まれる場合、前記視界画像は前記エフェクトを含み、
前記エフェクトは、前記ユーザの発声又は口の動きに連動する現象又は行動を表現するエフェクトであり、
前記近傍領域は、前記アバターの口から一定範囲内にある周辺領域である、
仮想空間の提供方法。 Steps to define virtual space and
The step of arranging the virtual viewpoint in the virtual space and
The step of determining the field of view from the virtual viewpoint according to the movement of the user's head,
A step of arranging an avatar linked to the movement of the user in the virtual space,
The step of detecting at least one of the user's vocal sounds and mouth shape, and
A step of determining whether to place the effect in the neighborhood area associated with the avatar, depending on at least one of the vocal volume, vowels and mouth shape.
Including a step of displaying a field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
If the arrangement of the effect is determined, the include neighboring region within said field of view, said viewing image viewing including the effect,
The effect is an effect that expresses a phenomenon or action linked to the utterance or mouth movement of the user.
The neighborhood area is a peripheral area within a certain range from the mouth of the avatar.
How to provide virtual space.
プログラムを格納したメモリと、を備え、
前記プログラムは前記プロセッサに、
仮想空間を定義するステップと、
前記仮想空間に仮想視点を配置するステップと、
ユーザの頭部の動きに応じて、前記仮想視点からの視界を決定するステップと、
前記ユーザの動きに連動するアバターを前記仮想空間に配置するステップと、
前記ユーザの発声音および口の形状の少なくとも１つを検出するステップと、
前記発声音の音量、母音および前記口の形状の少なくとも１つに応じて、前記アバター
に関連付けられる近傍領域にエフェクトを配置するか否かを決定するステップと、
前記仮想視点からの視界に対応する視界画像を、ヘッドマウントデバイスに表示するステップと、を実行させ、
前記エフェクトの配置が決定され、前記視界内に前記近傍領域が含まれる場合、前記視界画像は前記エフェクトを含み、
前記エフェクトは、前記ユーザの発声又は口の動きに連動する現象又は行動を表現するエフェクトであり、
前記近傍領域は、前記アバターの口から一定範囲内にある周辺領域である、
情報処理装置。 With the processor
Equipped with memory for storing programs
The program is on the processor
Steps to define virtual space and
The step of arranging the virtual viewpoint in the virtual space and
The step of determining the field of view from the virtual viewpoint according to the movement of the user's head,
A step of arranging an avatar linked to the movement of the user in the virtual space,
The step of detecting at least one of the user's vocal sounds and mouth shape, and
A step of determining whether to place the effect in the neighborhood area associated with the avatar, depending on at least one of the vocal volume, vowels and mouth shape.
The step of displaying the field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device is executed.
If the arrangement of the effect is determined, the include neighboring region within said field of view, said viewing image viewing including the effect,
The effect is an effect that expresses a phenomenon or action linked to the utterance or mouth movement of the user.
The neighborhood area is a peripheral area within a certain range from the mouth of the avatar.
Information processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181994A JP6770562B2 (en) | 2018-09-27 | 2018-09-27 | Program, virtual space provision method and information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181994A JP6770562B2 (en) | 2018-09-27 | 2018-09-27 | Program, virtual space provision method and information processing device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020160139A Division JP2021009713A (en) | 2020-09-24 | 2020-09-24 | Program, method for providing virtual space, and information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052775A JP2020052775A (en) | 2020-04-02 |
| JP6770562B2 true JP6770562B2 (en) | 2020-10-14 |
Family
ID=69997272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018181994A Active JP6770562B2 (en) | 2018-09-27 | 2018-09-27 | Program, virtual space provision method and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6770562B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7459297B2 (en) | 2021-05-28 | 2024-04-01 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Effect generation method, device, equipment and computer program in virtual environment |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022091832A1 (en) * | 2020-10-30 | 2022-05-05 | ソニーグループ株式会社 | Information processing device, information processing system, information processing method, and information processing terminal |
| US11948237B2 (en) | 2021-12-30 | 2024-04-02 | Samsung Electronics Co., Ltd. | System and method for mimicking user handwriting or other user input using an avatar |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248837A (en) * | 2001-11-12 | 2003-09-05 | Mega Chips Corp | Device and system for image generation, device and system for sound generation, server for image generation, program, and recording medium |
| JP2004185437A (en) * | 2002-12-04 | 2004-07-02 | Nippon Hoso Kyokai <Nhk> | Program, server, client and method for body information reflecting chatting |
| US8766983B2 (en) * | 2006-05-07 | 2014-07-01 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
| JP4725918B2 (en) * | 2009-08-06 | 2011-07-13 | 有限会社Ｂｏｎｄ | Program image distribution system, program image distribution method, and program |
| US8786698B2 (en) * | 2010-09-23 | 2014-07-22 | Sony Computer Entertainment Inc. | Blow tracking user interface system and method |
| EP3425635A4 (en) * | 2016-02-29 | 2019-03-27 | Panasonic Intellectual Property Management Co., Ltd. | Audio processing device, image processing device, microphone array system, and audio processing method |
| JP6263252B1 (en) * | 2016-12-06 | 2018-01-17 | 株式会社コロプラ | Information processing method, apparatus, and program for causing computer to execute information processing method |
| JP6266736B1 (en) * | 2016-12-07 | 2018-01-24 | 株式会社コロプラ | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program |
| JP6321263B1 (en) * | 2017-05-19 | 2018-05-09 | 株式会社コロプラ | Information processing method, apparatus, and program for causing computer to execute information processing method |
-
2018
- 2018-09-27 JP JP2018181994A patent/JP6770562B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7459297B2 (en) | 2021-05-28 | 2024-04-01 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Effect generation method, device, equipment and computer program in virtual environment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020052775A (en) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180165862A1 (en) | Method for communication via virtual space, program for executing the method on a computer, and information processing device for executing the program | |
| US10894211B2 (en) | Information processing method, apparatus, and system for executing the information processing method | |
| JP6201028B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| US20180189555A1 (en) | Method executed on computer for communicating via virtual space, program for executing the method on computer, and computer apparatus therefor | |
| JP7394158B2 (en) | Program and method executed on a computer and information processing apparatus for providing a virtual space via a head-mounted device | |
| JP6770562B2 (en) | Program, virtual space provision method and information processing device | |
| JP7466034B2 (en) | Programs and systems | |
| JP6513241B1 (en) | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD | |
| JP7005406B2 (en) | Programs, information processing devices, and information processing methods | |
| JP2021009713A (en) | Program, method for providing virtual space, and information processing device | |
| JP2019030638A (en) | Information processing method, device, and program for causing computer to execute information processing method | |
| JP7138138B2 (en) | Program, information processing method and information processing apparatus | |
| JP2018092592A (en) | Information processing method, apparatus, and program for implementing that information processing method on computer | |
| JP6771006B2 (en) | Programs, methods and information processing equipment | |
| JP6703578B2 (en) | Program, method and information processing apparatus | |
| JP2022048172A (en) | Program, information processing device, and information processing method | |
| JP6965304B2 (en) | Programs, information processing devices, and information processing methods | |
| JP6820299B2 (en) | Programs, information processing equipment, and methods | |
| JP6856572B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
| WO2021145243A1 (en) | Program, method executed by computer, and computer | |
| JP2020004061A (en) | Method and program to be executed in computer for providing virtual experience, information processing device, and information processing system | |
| JP2019032715A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP6722244B2 (en) | Program, information processing method, and information processing apparatus | |
| WO2021131935A1 (en) | Program, method, and information processing device | |
| JP2020181581A (en) | Program, method, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6770562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |