JP2018206340A - 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 - Google Patents

Abstract

【課題】仮想空間における操作が行なわれた場合に没入感が高まる技術を提供する。【解決手段】コンピュータは、ユーザの手のトラッキングに基づいて視界画像における手オブジェクト１２１０を移動させる。手オブジェクト１２１０がスイッチオブジェクト１００２に対して所定位置に位置すると、コンピュータは、手オブジェクト１２１０の第１の向き（枠オブジェクト１０２２に入り込む向き）の移動に連動して、スイッチオブジェクト１００２を第１の向きに移動させる。スイッチオブジェクト１００２の第１の向きの移動量が第１の量（距離）に到達すると、コンピュータは、スイッチオブジェクト１００２が第２の向き（枠オブジェクト１０２２の底から突き出す向き）に移動した視界画像を表示する。【選択図】図３

Description

この開示は仮想空間を提供する技術に関し、より特定的には、移動するオブジェクトを含む仮想空間を提供する技術に関する。

ヘッドマウントデバイス（ＨＭＤ：Head-Mounted Device）を用いて仮想空間を提供する技術が知られている。さらに、提供される仮想空間を、ユーザの入力に応じて変化させるための技術が種々開示されている。たとえば、特開２０１１−３９８４４号公報（特許文献１）は、ユーザの腕の長さに基づく距離の位置に仮想操作面を形成し、当該仮想操作面をユーザの一部が横切ることによりユーザの操作を受け付け、受け付けた操作の内容に従って提供される仮想空間を変化させる技術を開示している。

特開２０１１−３９８４４号公報

ユーザが仮想空間においてオブジェクトを操作した場合、操作した実感を感じられず、没入感が高まらない場合がある。したがって、仮想空間に対する操作が行なわれた場合にも没入感が高まる技術が必要とされている。

本開示のある局面の目的は、仮想空間に対する操作が行なわれた場合であっても没入感が高まる技術を提供することである。

本開示のある局面に従うと、仮想空間を提供するためにコンピュータによって実行される方法が提供される。方法は、仮想空間を定義するステップと、仮想空間に第１のオブジェクトおよび第２のオブジェクトを配置するステップと、仮想空間のユーザの動きに従って第２のオブジェクトを移動させるステップと、第１のオブジェクトと第２のオブジェクトとの位置関係が予め定められた条件を満たした場合に、第２のオブジェクトの第１の向きの移動に連動して、第１のオブジェクトを第１の向きに移動させるステップと、第１のオブジェクトの第１の向きにおける移動量が第１の量に達した場合に、第１のオブジェクトを第１の向きに対向する第２の向きに移動させるステップとを備える。

ある局面において、ユーザの動きに応じて仮想空間のオブジェクトも移動するので、没入感が向上し得る。

コンピュータが表示する視界画像の一例を示す図である。 手のトラッキングを説明するための図である。 スイッチオブジェクト１００２のボタンオブジェクト１０２１の表示の変化 の一例を示す図である。 ある実施の形態に従うＨＭＤ（Head-Mounted Device）システム１００の構 成の概略を表す図である。 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック 図である。 ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的 に表す図である。 ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である 。 ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から 表した図である。 仮想空間２において視認領域２３をＸ方向から見たＹＺ断面を表す図である 。 仮想空間２において視認領域２３をＹ方向から見たＸＺ断面を表す図であ る。 ある実施の形態に従うコントローラ１６０の概略構成を表す図である。 右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間 に配置されるハンドオブジェクト８１０の一例を示す。 ある実施の形態に従うコンピュータ２００をモジュール構成として表すブ ロック図である。 ある実施の形態に従うＨＭＤシステム１００において実行される処理の一 部を表わすシーケンスチャートである。 メモリモジュール２４０におけるチャットモニタ情報の格納の一態様を表 わす図である。 メモリモジュール２４０におけるオブジェクト情報の格納の一態様を表わ す図である。 プロセッサ１０によって実行される処理のフローチャートである。 報知動作の一例として音声が出力されるときの動作態様を模式的に示す図 である。 ユーザの手をトラッキングする処理の変形例を説明するための図である。 図１９の例に従った視界画像の変化を説明するための図である。

以下に、図面を参照しつつ、仮想空間を提供するコンピュータの実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

＜１．開示の概要＞
図１は、コンピュータが表示する視界画像の一例を示す図である。視界画像とは、仮想空間のうち視認領域を表現するために生成された画像をいう。図１の分図（Ａ）に示された視界画像１０００は、チャットルームを表わす。当該チャットルームは、壁オブジェクト１００１、スイッチオブジェクト１００２、額縁オブジェクト１００３、アバターオブジェクト１００４、椅子オブジェクト１００５、および、テーブルオブジェクト１００６を含む。コンピュータは、当該コンピュータに接続されたＨＭＤのユーザの手に対応する手オブジェクトを視界画像に表示することができる。図１の分図（Ｂ）は、さらに手オブジェクト１２１０を含む視界画像１０００Ａを示す。手オブジェクトの表示位置は、ユーザの手のトラッキングによって得られた位置情報に従って変更される。本実施の形態において、トラッキングとは、所定の要素（たとえば、人間の「手」）をの少なくとも一部の位置を継続して計測することをいう。コンピュータは、トラッキングのために、上記所定の要素を特定するためのパターン認識を実行してもよい。

図２は、手のトラッキングを説明するための図である。図２において、分図（Ａ）は現実空間におけるユーザを示し、分図（Ｂ）はユーザの動きに従った仮想空間の視界画像１２００を示す。視界画像１２００は、図１の視界画像１０００の一部を拡大して表わす。

図２の分図（Ａ）に示されるように、ユーザ１９０は、現実空間においてＨＭＤ１１０を装着している。ＨＭＤ１１０には、カメラ１１６が搭載されている。カメラ１１６は、ＨＭＤ１１０の前方の空間１１００に含まれる物体（たとえば、ユーザ１９０の手１１１０）の深度情報（カメラ１１６によって撮影される画像において手１１１０の像の焦点が合っているように見える距離範囲）を取得する。コンピュータは、この深度情報に基づき、ユーザ１９０の手１１１０の位置情報を取得する。なお、カメラ１１６は、ＨＭＤ１１０と別体で設けられていてもよい。

現実空間においてユーザ１９０が手を延ばすと、図２の分図（Ｂ）に示されるように、コンピュータは、視界画像１２００に、スイッチオブジェクト１００２に加えて手オブジェクト１２１０を配置する。なお、図２の分図（Ｂ）では、スイッチオブジェクト１００２は、ボタンオブジェクト１０２１と枠オブジェクト１０２２とによって構成されるように記載されている。視界画像中の手オブジェクト１２１０の位置は、カメラ１１６から受信したトラッキングデータから導出される位置に追随する。トラッキングデータは、たとえば、手１１１０の３次元空間における位置を表わすデータを含む。

図３は、スイッチオブジェクト１００２のボタンオブジェクト１０２１の表示の変化の一例を示す図である。図３において、分図（Ａ１），（Ｂ１）は変化の第１段階を示し、分図（Ａ２），（Ｂ２）は変化の第２段階を示し、分図（Ａ３），（Ｂ３）は変化の第３段階を示し、分図（Ａ４），（Ｂ４）は変化の第４段階を示す。図３の左側に配置された分図（Ａ１）〜（Ａ４）のそれぞれは、スイッチオブジェクト１００２の斜視図である。図３の右側に配置された分図（Ｂ１）〜（Ｂ４）のそれぞれは、分図（Ａ１）〜（Ａ４）のそれぞれに対応したスイッチオブジェクト１００２の断面を表し、たとえばＨＭＤ１１０に対して設定されたｕｖｗ視野座標系におけるｗ軸−ｖ軸平面を表わす。

ある実施の形態において、分図（Ａ１），（Ｂ１）に示されるように手オブジェクト１２１０がボタンオブジェクト１０２１に対して予め定められた条件に従った位置まで移動する。予め定められた条件に従った位置の一例は、手オブジェクト１２１０がボタンオブジェクト１０２１に触れる位置である。

その後、手オブジェクト１２１０がｗ軸方向の第１の向き（図２の分図（Ｂ２）の右向き、つまり、壁オブジェクト１００１に入り込む向き）に移動すると、コンピュータは、分図（Ａ２），（Ｂ２）に示されるように、ボタンオブジェクト１０２１を当該第１の向きに移動させる。これにより、ボタンオブジェクト１０２１が枠オブジェクト１０２２の中に入り込んでいくことが表現され得る。

ボタンオブジェクト１０２１の上記第１の向きの移動距離が第１の量に到達すると、コンピュータは、分図（Ａ３），（Ｂ３）に示されるように、ボタンオブジェクト１０２１をｗ軸方向の上記第１の向きと対向する向き（第２の向き：図２（Ｂ）の左向き、つまり、壁オブジェクト１００１から突き出る向き）に移動させる。これにより、ボタンオブジェクト１０２１の位置が少し戻ったことが表現され得る。第１の量の一例は、ボタンオブジェクト１０２１が分図（Ａ１）の位置から枠オブジェクト１０２２の底まで移動する距離である。

その後、手オブジェクト１２１０がボタンオブジェクト１０２１から離れても、分図（Ａ４），（Ｂ４）に示されるように、コンピュータは、視界画像におけるスイッチオブジェクト１００２の位置を分図（Ａ３），（Ｂ３）に示された位置で維持する。

以上、図３に示された流れによれば、手オブジェクト１２１０がボタンオブジェクト１０２１を枠１０２２の中に押し込むように移動した場合、ボタンオブジェクト１０２１は、枠１０２２の底まで押し込まれた後、押し込まれた向きとは反対の向きに少し戻るように表示される。

＜２．ＨＭＤシステム＞
図４を参照して、ＨＭＤシステム１００の構成について説明する。図４は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、ネットワーク１９を介して、遠隔地にある他のＨＭＤシステム１００Ａ，１００Ｂと通信することができる。ＨＭＤシステム１００Ａは、ユーザ１９０Ａによって使用され得る。ＨＭＤ１００Ｂは、ユーザ１９０Ｂによって使用され得る。ＨＭＤシステム１００Ａ，１００Ｂの構成は、ＨＭＤシステム１００の構成と同様である。ＨＭＤシステム１００の構成要素と同様の構成要素には、符号Ａ，Ｂが付されている。したがって、以下、適宜、ＨＭＤシステム１００の構成を参照して、各ＨＭＤシステムを説明する。

ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ１１０は、モニタ１１２と、スピーカ１１５と、マイク１１９と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０、コンピュータ２００Ａ，２００Ｂその他のコンピュータと通信可能である。他の局面において、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

ＨＭＤ１１０は、ユーザ１９０の頭部に装着され、動作中に仮想空間をユーザ１９０に提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザ１９０の各目がそれぞれの画像を視認すると、ユーザ１９０は、両目の視差に基づき当該画像を３次元の画像として認識し得る。

モニタ１１２は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザ１９０の両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザ１９０は、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、たとえば、背景、ユーザ１９０が操作可能なオブジェクト、ユーザ１９０が選択可能なメニューの画像を含む。

ある局面において、コンピュータ２００，２００Ａ，２００Ｂは、各々のユーザ１９０，１９０Ａ，１９０Ｂの動作に基づく信号を他のコンピュータとの間で通信する。例えば、コンピュータ２００は、仮想空間を提供するための映像信号を生成し、ＨＭＤ１１０に映像信号を送信する。ＨＭＤ１１０は、その映像信号をモニタ１１２に送信すると、モニタ１１２は、その受信した映像信号に基づく仮想空間画像を表示する。他のコンピュータとそのコンピュータに接続されているＨＭＤも、コンピュータ２００とＨＭＤ１１０の場合と同様である。

ＨＭＤシステム１００Ａ，１００Ｂのそれぞれは、ＨＭＤシステム１００と同様の構成を有する。すなわち、ＨＭＤシステム１００Ａ，１００Ｂのそれぞれは、ＨＭＤ１１０Ａ，１１０Ｂ、ＨＭＤセンサ１２０Ａ，１２０Ｂ、コントローラ１６０Ａ，１６０Ｂ、コンピュータ２００Ａ，２００Ｂのそれぞれを備える。ＨＭＤ１１０Ａ，１１０Ｂのそれぞれは、モニタ１１２Ａ，１１２Ｂ、スピーカ１１５Ａ，１１５Ｂ、マイク１１９Ａ，１１９Ｂ、注視センサ１４０Ａ，１４０Ｂのそれぞれを含む。コントローラ１６０Ａ，１６０Ｂのそれぞれは、モーションセンサ１３０Ａ，１３０Ｂのそれぞれを含み得る。ＨＭＤ１１０Ａ，１１０Ｂのそれぞれは、センサ１１４Ａ，１１４Ｂを含み得る。

ある実施の形態において、コンピュータ２００，２００Ａ，２００Ｂが、仮想空間を介して通信するためのＶＲ（Virtual Reality）チャットアプリケーションを実行している時、コンピュータ２００，２００Ａ，２００Ｂは、各ＨＭＤ１１０，１１０Ａ，１１０Ｂによって提示される仮想空間を介した通信を実現する。仮想空間を介した通信では、映像と音声とが通信される。この時、各ユーザに対応するアバターオブジェクトが、仮想空間に提示される。例えば、ユーザ１９０が他のユーザ１９０Ａ，１９０Ｂと通信しているとき、ユーザ１９０が装着したＨＭＤ１１０は、ユーザ１９０Ａ，１９０Ｂに対応するアバターオブジェクトを提示する。ユーザ１９０は、仮想空間に没入した状態で、アバターオブジェクトを介して他のユーザ１９０Ａ，１９０Ｂと通信することができる。

ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、たとえば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。

スピーカ１１５は、コンピュータ２００から受信した音声データに対応する音声（発話）を外部に出力する。マイク１１９は、ユーザ１９０の発話に対応する音声信号をコンピュータ２００に出力する。ユーザ１９０は、マイク１１９を用いて他のユーザ１９０Ａ，１９０Ｂに向けて発話でき、スピーカ１１５を用いて他のユーザ１９０Ａ，１９０Ｂの発話を聞くことができる。

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は、たとえば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。

なお、他の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。

他の局面において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置および傾きを検出し得る。たとえば、センサ１１４が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。

また、ＨＭＤ１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、ＨＭＤ１１０に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。他の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ１１０に仮想現実を提供するための他のコンピュータ２００と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが対話（ＶＲチャット）を楽しむことを可能にする。

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。他の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ１９０によって与えられる操作を受け付ける。

モーションセンサ１３０は、ある局面において、ユーザ１９０の手に取り付けられて、ユーザ１９０の手の動きを検出する。たとえば、モーションセンサ１３０は、手の回転速度、回転数などを検出する。モーションセンサ１３０によって得られたユーザ１９０の手の動きの検出結果を示すデータは、コンピュータ２００に送られる。モーションセンサ１３０は、たとえば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。たとえば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

他の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに他の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

より詳細には、ある局面において、ユーザ１９０は、コントローラを用いてあるいは通信を希望するアバターオブジェクトを視線で選択することにより、通信相手（以下「チャット相手」ともいう。）を選択し得る。以下、チャットの相手としてユーザ１９０Ａが選択された場合について説明する。なお、チャット相手は一人に限られず、二人以上が選択され得る。

ユーザ１９０が、ユーザ１９０Ａを選択した後、マイク１１９に向かって発話すると、その音声に基づく音声信号がコンピュータ２００に送信される。また、注視センサ１４０は、ユーザ１９０の視線の動きを検出する。検出結果はアイトラッキングデータとしてコンピュータ２００に送られる。コンピュータ２００は、その受信した音声信号に基づく音声データおよびアイトラッキングデータをユーザ１９０Ａに送信する。例えば、コンピュータ２００は、ネットワーク１９を介してサーバ１５０に音声データとアイトラッキングデータとを送信する。音声データおよびアイトラッキングデータは、それぞれ、ユーザ１９０Ａが使用するコンピュータ２００Ａのネットワークアドレスを含む。サーバ１５０は、コンピュータ２００から受信した音声データおよびアイトラッキングデータを、ネットワーク１９を介してコンピュータ２００Ａにそれぞれ送信する。なお、音声データおよびアイトラッキングデータがコンピュータ２００Ａに受信されるタイミングは、常に同じではなく、いずれかのデータが他のデータよりも遅延する場合もあり得る。

コンピュータ２００Ａは、サーバ１５０から受信した音声データを、ユーザ１９０Ａが装着するＨＭＤ１１０Ａのスピーカ１１５に出力する。また、コンピュータ２００Ａは、受信したアイトラッキングデータに基づいてユーザ１９０のアバターオブジェクトの視線を変更するためのデータを生成し、そのデータをモニタ１１２に送信する。ユーザ１９０Ａは、ＨＭＤ１１０Ａのスピーカ１１５を介してユーザ１９０の音声を聞くことができ、モニタ１１２に提示されたアバターオブジェクトを視認できる。

ユーザ１９０Ａがユーザ１９０に向けて発話を行なう場合も、上述の場合と同様にして音声データとアイトラッキングデータとが、コンピュータ２００Ａからコンピュータ２００に送信される。このようにして、ユーザ１９０およびユーザ１９０Ａは、各々のアバターオブジェクトを用いて、仮想空間において対話することができる。

次に、サーバ１５０の構成について説明する。図４に示されるように、一局面に従うサーバ１５０のハードウェア構成の一例を表すブロック図である。サーバ１５０は、主たる構成要素として、プロセッサ１５１と、メモリ１５２と、通信インターフェース１５３とを備える。

プロセッサ１５１は、サーバ１５０に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１５２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１５１は、ＣＰＵ、ＭＰＵ、ＦＰＧＡ、その他のデバイスとして実現される。

メモリ１５２は、プログラムおよびデータを格納する。プログラムは、例えば、プロセッサ１５１によって実行される。データは、サーバ１５０に入力されたデータと、プロセッサ１５１によって生成されたデータとを含む。

メモリ１５２は、揮発性メモリおよび／または不揮発性メモリを含む。メモリ１５２は、プログラムおよびデータを永続的に保持する記憶装置を含んでもよい。この場合、メモリ１５２は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。メモリ１５２に格納されるプログラムは、チャットシステムの各ＨＭＤシステム１００において提供される仮想空間を、他のＨＭＤシステム１００における入力に従って調整するためのプログラムを含む。メモリ１５２は、後述するチャットモニタ情報およびオブジェクト情報を格納するためのチャット情報格納部１５２Ａを含む。

通信インターフェース１５３は、ネットワーク１９を介して他のコンピュータ（例えば、コンピュータ２００）と通信する。ある局面において、通信インターフェース１５３は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、その他の無線通信インターフェイスとして実現される。ただし、通信インターフェース１５３は上述のものに限られない。

［ハードウェア構成］
図５を参照して、本実施の形態に係るコンピュータ２００について説明する。図５は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ１２からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、たとえば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクトなどを含む。

なお、他の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

ある実施の形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェイス１３は、ＵＳＢ（Universal Serial Bus）インターフェイス、ＤＶＩ（Digital Visual Interface）、ＨＭＤＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。

ある実施の形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。たとえば、入出力インターフェイス１３は、モーションセンサ１３０から出力された信号の入力を受ける。他の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光などをコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（たとえば、サーバ１５０、コンピュータ２００Ａ，２００Ｂ等）と通信する。ある局面において、通信インターフェイス１４は、たとえば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、遠隔地を結ぶリモート会議を実現するためのソフトウェア、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェアなどを含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。

なお、図５に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、他の局面において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（たとえば、スマートフォン）がコンピュータ２００として機能してもよい。

また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図６を参照して、ｕｖｗ視野座標系について説明する。図６は、ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。

図６に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。

ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図７を参照して、仮想空間についてさらに説明する。図７は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図７では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラのｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視認領域２３を規定する。視認領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する。

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。

［ユーザの視線］
図８を参照して、ユーザの視線方向の決定について説明する。図８は、ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視認領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図９および図１０を参照して、視認領域２３について説明する。図９は、仮想空間２において視認領域２３をＸ方向から見たＹＺ断面を表す図である。図１０は、仮想空間２において視認領域２３をＹ方向から見たＸＺ断面を表す図である。

図９に示されるように、ＹＺ断面における視認領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間おける基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

図１０に示されるように、ＸＺ断面における視認領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像２６は、仮想空間画像２２のうち視認領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視認領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視認領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視認領域２３）を特定する。

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図１１を参照して、コントローラ１６０の一例について説明する。図１１は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

図１１に示されるように、ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。

右コントローラ８００は、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図１１に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図１１に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。

ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ８００と左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、電池を必要としない。

図１２は、右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト８１０の一例を示す。例えば、ユーザ１９０の右手に対応するハンドオブジェクト８１０に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ８００のボタン３４に対して行なわれると、ハンドオブジェクト８１０の人差し指を握りこんだ状態とし、入力操作がボタン３４に対して行なわれていない場合には、図１２に示されるように、ハンドオブジェクト８１０の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト８１０において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト８１０に規定される。

［ＨＭＤの制御装置］
図１３を参照して、ＨＭＤ１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１３は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

図１３に示されるように、コンピュータ２００は、表示制御モジュール２２０と、音声制御モジュール２２５と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、視線検出モジュール２３３と、識別情報制御モジュール２３４と、チャット制御モジュール２３５とを含む。

ある実施の形態において、表示制御モジュール２２０、音声制御モジュール２２５、仮想空間制御モジュール２３０は、プロセッサ１０によって実現される。他の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０、音声制御モジュール２２５、または仮想空間制御モジュール２３０としてそれぞれ作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。

ある局面において、表示制御モジュール２２０は、ＨＭＤ１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向きなどを制御する。視界領域決定モジュール２２２は、ＨＭＤ１１０を装着したユーザ１９０の頭の向きに応じて、視認領域２３を規定する。視界画像生成モジュール２２３は、決定された視認領域２３に基づいて、モニタ１１２に表示される視界画像を生成する。さらに、視界画像生成モジュール２２３は、仮想空間制御モジュール２３０から受信したデータに基づいて、視界画像を生成する。視界画像生成モジュール２２３によって生成された視界画像のデータは、通信制御モジュール２５０によってＨＭＤ１１０に出力される。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。

音声制御モジュール２２５は、ＨＭＤ１１０から、ユーザ１９０の発話に基づく音声信号がコンピュータ２００に入力されたことを検知する。音声制御モジュール２２５は、当該発話に対応する音声信号にその入力時刻を付して、音声データを生成する。音声制御モジュール２２５は、ユーザ１９０のチャットの相手としてコンピュータ２００が通信可能な状態にある他のコンピュータ２００Ａ，２００Ｂのうち、ユーザ１９０によって選択されたユーザが使用するコンピュータにその音声データを送信する。

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。まず、仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

仮想オブジェクト生成モジュール２３２は、仮想空間２に配置されるオブジェクトのデータを生成する。例えば、仮想オブジェクト生成モジュール２３２は、仮想空間２を介してユーザ１９０とのチャットを行なう他のユーザ１９０Ａ，１９０Ｂをそれぞれ表わすアバターオブジェクトのデータを生成する。さらに、仮想オブジェクト生成モジュール２３２は、他のユーザ１９０Ａ，１９０Ｂからの発話に応じて検出される視線に基づいて、当該ユーザのアバターオブジェクトの視線を変更し得る。

視線検出モジュール２３３は、注視センサ１４０からの出力に基づいて、ユーザ１９０の視線を検出する。ある局面において、視線検出モジュール２３３は、ユーザ１９０による発話が検知されたことに基づいて、その時のユーザ１９０の視線を検出する。視線の検出は、例えば、非接触型のアイトラッキングのように公知の技術により実現される。一例として、強膜反射法のように、注視センサ１４０は、ユーザ１９０の目に赤外線を当て、反射光をカメラ（図示しない）で撮影することにより得られたデータに基づいて、ユーザ１９０の視線の動きを検出し得る。ある局面において、視線検出モジュール２３３は、モニタ１１２の表示領域のいずれかを基準とした座標値（ｘ、ｙ）として、ユーザ１９０の視線の動きに応じた各位置をそれぞれ特定する。

［識別情報の提示］
識別情報制御モジュール２３４は、仮想空間２に提示されるアバターオブジェクトの識別情報の提示を制御する。例えば、ある局面において、識別情報制御モジュール２３４は、注視センサ１４０からの出力に基づいて、ユーザ１９０の視線が仮想空間２に提示されているアバターオブジェクトに向けられていることを検知する。識別情報制御モジュール２３４は、そのアバターオブジェクトに対応する他のユーザ（例えば、ユーザ１９０Ａ，１９０Ｂ）の識別情報を提示する。識別情報は、例えば、当該他のユーザの名前、ハンドルネームその他、他のユーザと区別する情報を含む。

ある局面において、識別情報制御モジュール２３４は、アバターオブジェクトの向きとは独立に、識別情報を表わすオブジェクトがユーザ１９０の視点を向くように、当該オブジェクトを提示する。例えば、識別情報制御モジュール２３４は、識別情報を表わす画像がユーザ１９０の正面を向くように描画するためのデータをモニタ１１２に出力する。ユーザ１９０は、当該アバターオブジェクトを使用しているユーザが誰であるかを容易に知ることができる。

ある局面において、識別情報制御モジュール２３４は、識別情報が提示された時から経過した時間を計測する。経過した時間が予め定められた時間（例えば、数秒）を超えると、識別情報制御モジュール２３４は、識別情報の提示を終了する。このようにすると、ユーザ１９０によって認識された識別情報が仮想空間２に提示され続けなくなるので、仮想空間２に配置されている他のオブジェクトが見にくくなるのを防止できる。

ある局面において、他のユーザ１９０Ａ，１９０Ｂの識別情報が消去された後に、識別情報制御モジュール２３４は、注視センサ１４０からの出力に基づいて、ユーザ１９０の視線が他のユーザ１９０Ａ，１９０Ｂのアバターオブジェクトに再度向けられていることを検知し得る。この場合、識別情報制御モジュール２３４は、他のユーザ１９０Ａ，１９０Ｂの識別情報を再度提示しない。ユーザ１９０は既に他のユーザ１９０Ａ，１９０Ｂを認識しているので、不必要な識別情報が仮想空間２に再度提示されることによる煩雑さが防止され得る。

ある局面において、識別情報制御モジュール２３４は、他のユーザ１９０Ａ，１９０Ｂの識別情報が既に表示されたアバターオブジェクトの提示の態様を、識別情報が提示されていないアバターオブジェクトの提示の態様とは異なる態様で、ＨＭＤ１１０に提示してもよい。このようにすると、ユーザ１９０は、既に識別情報が提示されたアバターオブジェクトと他のアバターオブジェクトとを容易に区別できる。

ある局面において、識別情報制御モジュール２３４は、サーバ１５０から送られる信号に基づいて、仮想空間２におけるアバターオブジェクトの移動を検知し得る。例えば、他のユーザ１９０Ａ，１９０Ｂが右コントローラ８００を操作して、自身のアバターオブジェクトを移動する場合がある。このような場合、仮想オブジェクト生成モジュール２３２は、その移動先の場所にアバターオブジェクトを提示する。識別情報制御モジュール２３４は、移動後のアバターオブジェクトの近傍に識別情報を提示する。このようにすると、識別情報の提示中に、他のユーザ１９０Ａ，１９０Ｂの動作に応じて、各ユーザに対応するアバターオブジェクトの仮想空間２における場所が変わっても、各識別情報もアバターオブジェクトの近傍に提示される。ユーザ１９０は、識別情報とアバターオブジェクトとの対応を見落とすことなく、正確に、他のユーザ１９０Ａ，１９０Ｂを識別できる。

ある局面において、識別情報制御モジュール２３４は、サーバ１５０から受信する信号に基づいて、他のユーザ１９０Ａまたはユーザ１９０Ｂとの通信が遮断されたことを検知する。遮断は、例えば、通信回線が不安定な場合、移動通信網で使用される電波が途切れた場合、停電が発生した場合等によって生じ得る。識別情報制御モジュール２３４は、通信の遮断に応答して、アバターオブジェクトと識別情報との提示を終了し得る。識別情報制御モジュール２３４は、サーバ１５０から受信する信号に基づいて、遮断していた他のユーザとの通信が再度確立されたことを検知すると、アバターオブジェクトを仮想空間２に提示し得る。

通信が遮断されてから再度確立されるまでの時間が予め定められた時間を下回っている場合には、識別情報制御モジュール２３４は、アバターオブジェクトと識別情報とを再度提示し得る。識別情報が提示されている状態で通信が遮断された場合、遮断の時間が短い場合には、ユーザ１９０は、アバターオブジェクトと識別情報とを再度視認することにより、そのアバターオブジェクトを使用する他のユーザを容易にできる。

一方、通信が遮断されている時間が長くなった場合には、アバターオブジェクトが再度仮想空間２に提示された時、ユーザ１９０は、当該アバターオブジェクトを視認しない場合がある。この場合、ユーザ１９０が再度アバターオブジェクトを視認した時に、識別情報制御モジュール２３４は、アバターオブジェクトの近傍に識別情報を再度提示し得る。

さらに別の局面において、識別情報制御モジュール２３４は、他のユーザ１９０Ａ，１９０Ｂが識別情報の提示を許可している場合にのみ、他のユーザ１９０Ａ，１９０Ｂの識別情報を仮想空間２に提示してもよい。例えば、ＶＲチャットのユーザ登録の局面において、登録を希望する各ユーザは、個人情報の開示の可否を設定してもよい。実名、写真その他の個人情報の開示を希望しないユーザは、当該個人情報の開示を禁止する設定をサーバ１５０に登録できる。このような場合、そのユーザは、チャットルームにおいて、個人情報を開示することなくアバターオブジェクトのみで、ＶＲチャットを楽しむことができる。そこで、特定のユーザがこのような設定を行っている場合には、識別情報制御モジュール２３４は、ユーザ１９０によってアバターオブジェクトが見続けられたとしても、識別情報を表示しない。

チャット制御モジュール２３５は、仮想空間を介した通信を制御する。ある局面において、チャット制御モジュール２３５は、ユーザ１９０の操作に基づいて、あるいは、他のコンピュータ２００Ａによって送信されたチャットの開始要求に基づいて、メモリモジュール２４０からチャットアプリケーションを読み出し、仮想空間２を介した通信を開始する。ユーザ１９０がコンピュータ２００にユーザＩＤとパスワードとを入力してログイン操作を行なうと、ユーザ１９０は、仮想空間２を介したチャットのメンバーの一人として、そのチャットのセッション（「ルーム」とも呼ばれる）に関連付けられる。その後、コンピュータ２００Ａを使用するユーザ１９０Ａがそのセッションにおけるチャットにログインすると、ユーザ１９０とユーザ１９０Ａとが、そのチャットのメンバーとして互いに関連付けられる。チャット制御モジュール２３５が、コンピュータ２００の通信相手となるコンピュータ２００Ａのユーザ１９０Ａを認識すると、仮想オブジェクト生成モジュール２３２は、オブジェクト情報２４２を用いて、ユーザ１９０Ａに対応するアバターオブジェクトを提示するためのデータを生成し、そのデータをＨＭＤ１１０に出力する。ＨＭＤ１１０が、そのデータに基づいて、ユーザ１９０Ａに対応するアバターオブジェクトをモニタ１１２に表示すると、ＨＭＤ１１０を装着したユーザ１９０は、そのアバターオブジェクトを仮想空間２において認識する。

ある実施の形態において、チャット制御モジュール２３５は、ユーザ１９０の発話に基づく音声データの入力と、注視センサ１４０からのデータの入力とを待機する。ユーザ１９０が、仮想空間２において、アバターオブジェクトを選択するための操作（例えば、コントローラの操作、ジェスチャ、音声による選択、視線による凝視など）を行なうと、チャット制御モジュール２３５は、その操作に基づいて、そのアバターオブジェクトに対応するユーザ（例えばユーザ１９０）がチャット相手として選択されたことを検知する。チャット制御モジュール２３５は、ユーザ１９０による発話を検知すると、ユーザ１９０Ａが使用するコンピュータ２００Ａのネットワークアドレスに基づいて、通信制御モジュール２５０を介して、マイク１１９から送られてきた信号に基づく音声データと、注視センサ１４０から送られてきた信号に基づくアイトラッキングデータとを、コンピュータ２００Ａに送信する。コンピュータ２００Ａは、アイトラッキングデータに基づいて、ユーザ１９０のアバターオブジェクトの視線を更新し、音声データをＨＭＤ１１０Ａに送信する。コンピュータ２００Ａが、同期機能を有している場合には、モニタ１１２におけるアバターオブジェクトの視線の変化と、スピーカ１１５からの音声の出力とが、ほぼ同じタイミングで実現されるので、ユーザ１９０Ａは、違和感を感じにくくなる。

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３と、チャットモニタ情報２４４とを保持している。

空間情報２４１は、仮想空間２を提供するために規定された１つ以上のテンプレートを保持している。

オブジェクト情報２４２は、仮想空間２を介した通信のために使用されるアバターオブジェクトを表示するためのデータ、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。アバターオブジェクトを表示するためのデータは、例えば、チャット相手として予め関係が確立された通信相手を模式的に表わす画像データ、当該通信相手の写真等を含み得る。

ユーザ情報２４３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム、当該アプリケーションプログラムを実行する際に必要となるユーザＩＤ、パスワードなどを保持している。メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ１１０のユーザ１９０によって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（たとえば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

チャットモニタ情報２４４は、コンピュータ２００と他のコンピュータ２００Ａ，２００Ｂとの間で共有される仮想空間２を介した通信の情報を含む。チャットモニタ情報２４４は、例えば、仮想空間２を用いたチャットに参加している各ユーザの識別情報、各ユーザのログインステータス、識別情報の提示の可否を制御するデータ、識別情報がユーザ１９０に最後に提示された日時等を含む。

ある局面において、各ユーザがＶＲチャットのために予め準備されたチャットルームにログインすると、当該チャットルームにログインしている他のユーザが使用するコンピュータに、そのログインしたユーザの情報が送信される。例えば、ユーザ１９０Ａ，１９０Ｂがそれぞれチャットルームにログインすると、ユーザ１９０Ａ，１９０ＢのユーザＩＤ，識別情報、ログインステータス（例「ログイン」）、識別情報の提示の可否が、コンピュータ２００Ａ，２００Ｂから、ユーザ１９０のコンピュータ２００に送信される。

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。通信制御モジュール２５０は、有線ＬＡＮ、無線ＬＡＮのような公知の通信技術によって実現される。

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、たとえば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。他の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

コンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。

［２ユーザ間の通信によるコンピュータ間の動作］
ここで、二人のユーザ１９０，１９０Ａが仮想空間２を介して通信する場合のコンピュータ２００，２００Ａの動作について説明する。以下、コンピュータ２００Ａに接続されたＨＭＤ１１０Ａを装着したユーザ１９０Ａが、コンピュータ２００に接続されたＨＭＤ１１０を装着したユーザ１９０に発話する場合について説明する。

（送信側）
ある局面において、ＨＭＤ１１０Ａを装着したユーザ１９０Ａは、ユーザ１９０とチャットするために、マイク１１９に向かって発話する。発話の音声信号は、ＨＭＤ１１０Ａに接続されているコンピュータ２００Ａに送信される。音声制御モジュール２２５は、音声信号を音声データに変換し、発話が検出された時を表わすタイムスタンプを音声データに関連付ける。タイムスタンプは、例えば、プロセッサ１０の内部クロックの時刻データである。ある局面において、音声信号が通信制御モジュール２５０によって音声データに変換される時の時刻データがタイムスタンプとして使用される。

ユーザ１９０Ａが発話しているとき、ユーザ１９０Ａの視線の動きは、注視センサ１４０によって検出されている。注視センサ１４０による検出結果（アイトラッキングデータ）は、コンピュータ２００Ａに送られる。視線検出モジュール２３３は、その検出結果に基づいて、ユーザ１９０Ａの視線の変化を表わす各位置（例えば瞳孔の位置）を特定する。

コンピュータ２００Ａは、音声データとアイトラッキングデータとをコンピュータ２００に送信する。音声データおよびアイトラッキングデータは、まず、サーバ１５０に送られる。サーバ１５０は、音声データおよびアイトラッキングデータの各ヘッダにある宛先を参照し、音声データおよびアイトラッキングデータをコンピュータ２００に送信する。このとき、音声データがコンピュータ２００に到達するタイミングと、アイトラッキングデータがコンピュータ２００に到達するタイミングとは、一致しない場合がある。

（受信側）
コンピュータ２００は、コンピュータ２００Ａによって送信されたデータをサーバ１５０から受信する。ある局面において、コンピュータ２００のプロセッサ１０は、通信制御モジュール２５０から送られるデータに基づいて、音声データを受信したことを検知する。プロセッサ１０は、音声データの送信元（すなわちコンピュータ２００Ａ）を特定すると、チャット制御モジュール２３５として、ＨＭＤ１１０のモニタ１１２に、チャットの画面を表示させる。

プロセッサ１０は、さらに、アイトラッキングデータを受信したことを検知する。プロセッサ１０は、アイトラッキングデータの送信元（すなわちコンピュータ２００Ａ）を特定すると、仮想オブジェクト生成モジュール２３２として、ユーザ１９０Ａのアバターオブジェクトを表示するためのデータを生成する。

別の局面において、プロセッサ１０が、音声データよりも先にアイトラッキングデータを受信する場合があり得る。この場合、プロセッサ１０は、アイトラッキングデータから送信元識別番号を検出すると、アイトラッキングデータに対応して送信された音声データが存在すると判定する。プロセッサ１０は、そのアイトラッキングデータに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含む音声データを受信するまで、アバターオブジェクトを表示するためのデータの出力を待機する。

さらに別の局面において、プロセッサ１０は、アイトラッキングデータよりも先に音声データを受信する場合があり得る。この場合、プロセッサ１０は、音声データから送信元識別番号を検出すると、その音声データに対応して送信されたアイトラッキングデータが存在すると判定する。プロセッサ１０は、その音声データに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含むアイトラッキングデータを受信するまで、音声データの出力を待機する。

なお、上記の各局面において、比較対象となる時刻データは、完全に同一の時刻を示していなくてもよい。

プロセッサ１０は、同じ時刻データを含む音声データおよびアイトラッキングデータの受信を確認すると、音声データをスピーカ１１５に出力し、アイトラッキングデータに基づく変更が反映されたアバターオブジェクトを表示するためのデータをモニタ１１２に出力する。その結果、ユーザ１９０は、ユーザ１９０Ａによって発せられた音声とアバターとを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグ（たとえば、アバターオブジェクトの変化と音声出力のタイミングのずれ）を感じることなく、チャットを楽しむことができる。

また、ユーザ１９０Ａが使用するコンピュータ２００Ａのプロセッサ１０も、上述の処理と同様に、音声データの出力タイミングと、ユーザ１９０の視線の動きが反映されたアバターオブジェクトの出力タイミングとの同期をとることができる。その結果、ユーザ１９０Ａも、ユーザ１９０によって発せられた音声の出力とアバターオブジェクトの変化とを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグを感じることなく、チャットを楽しむことができる。

＜３．制御構造＞
図１４を参照して、ＨＭＤシステム１００の制御構造について説明する。図１４は、ある実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表わすシーケンスチャートである。

ステップＳ１５１０にて、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定する。

ステップＳ１５２０にて、プロセッサ１０は、仮想カメラ１を初期化する。例えば、プロセッサ１０は、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。

ステップＳ１５３０にて、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ１１０に送られる。

ステップＳ１５３２にて、ＨＭＤ１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。

ステップＳ１５３４にて、ＨＭＤセンサ１２０は、ＨＭＤ１１０から発信される複数の赤外線光に基づいて、ＨＭＤ１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。

ステップＳ１５４０にて、プロセッサ１０は、ＨＭＤ１１０の位置と傾きとに基づいて、ＨＭＤ１１０を装着したユーザ１９０の視界方向を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２においてオブジェクトを表示させる。ユーザ１９０は、そのアプリケーションプログラムの実行により仮想空間２において視認可能なコンテンツを楽しむ。

ステップＳ１５４２にて、プロセッサ１０は、決定された仮想ユーザの状態に基づいて、視界画像を更新する。仮想ユーザとは、たとえば、プロセッサ１０が搭載されたコンピュータ２００に接続されたＨＭＤ１１０を装着したユーザである。そして、プロセッサ１０は、更新された視界画像を表示させるためのデータ（視界画像データ）をＨＭＤ１１０に出力する。

ステップＳ１５４４にて、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

ステップＳ１５５０にて、コントローラ１６０は、ユーザ１９０の操作を検出する。検出された操作を示す信号は、コンピュータ２００に送られる。ある実施の形態では、当該信号は、ユーザ１９０が対応するアバターの仮想空間における位置を変更させる操作を含む。他の実施の形態では、当該信号は、ユーザ１９０に提供される視界画像が対応する仮想カメラ１の位置を変更させる操作を含む。

ステップＳ１５５２にて、注視センサ１４０は、ユーザ１９０の視線を検出する。検出された視線についての検出値を示す信号は、コンピュータ２００に送られる。本明細書では、アバターの上に注視点が置かれることも、「アバターを指定する」こととして取り扱う。

すなわち、本実施の形態では、コンピュータ２００は、ユーザ１９０がコントローラ１６０を操作することにより仮想手でアバターに触れたこと、および／または、ユーザ１９０の注視点がアバター上に置かれたことが、仮想ユーザがアバターを指定したと扱われる。

ステップＳ１５５４にて、プロセッサ１０は、仮想ユーザがアバターを指定したことを示す入力をサーバ１５０へ送信する。

サーバ１５０は、各コンピュータ２００のプロセッサ１０から、各仮想ユーザが仮想空間上のどのユーザを指定したかについての入力を受け付ける。当該入力が所定の条件を満たしたことに基づいて、サーバ１５０は、マッチングシステムに参加する複数のユーザのうち２以上のユーザをマッチングする。サーバ１５０は、マッチングされたユーザが使用するコンピュータ２００のプロセッサ１０に対して、所定の指示を送信する。

ステップＳ１５６０にて、プロセッサ１０は、サーバ１５０から所定の指示を受信する。

ステップＳ１５７０にて、プロセッサ１０は、サーバ１５０からの指示に応じて視界画面を更新し、更新後の視界画像を表示させるためのデータ（視界画像データ）をＨＭＤ１１０に出力する。

ステップＳ１５７２にて、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

＜４．データ構造＞
図１５および図１６を参照して、メモリモジュール２４０のデータ構造について説明する。なお、図１５に示されるチャットモニタ情報および図１６に示されるオブジェクト情報は、各コンピュータ２００からサーバ１５０に送信される等により、サーバ１５０のチャット情報格納部５１２Ａに格納されていてもよい。

［チャットモニタ情報］
図１５は、メモリモジュール２４０におけるチャットモニタ情報の格納の一態様を表わす図である。ある局面において、メモリモジュール２４０は、チャットモニタ情報２４４を保持している。チャットモニタ情報２４４は、ユーザＩＤ１６１０と、名前１６２０と、ステータス１６３０と、制御フラグ１６４０と、提示開始日時１６５０とを含む。

ユーザＩＤ１６１０は、仮想空間２を共有するユーザを識別する。名前１６２０は、仮想空間２を共有する各ユーザに通知するために使用される。名前１６２０は、例えば、当該ユーザの実名、ペンネームのいずれであってもよい。ステータス１６３０は、当該ユーザが仮想空間２において開設されているチャットルームへのログイン状態を表わす。制御フラグ１６４０は、当該ユーザの識別情報（例えば、実名、ペンネーム等）が他のユーザに提示することを許可するか否かを制御する。提示開始日時１６５０は、仮想空間２において開設されたチャットルームのあるセッションにおいて、当該ユーザの識別情報が最初に提示された日時を表わす。ある局面において、提示開始日時１６５０は、チャットのセッションが終了するごとにリセットされる。したがって、次のセッションで識別情報の提示条件が再度成立した場合には、既に識別情報が提示されたユーザも、新たに識別情報が提示され得る。

［オブジェクト情報］
図１６は、メモリモジュール２４０におけるオブジェクト情報の格納の一態様を表わす図である。ある局面において、メモリモジュール２４０は、オブジェクト情報２４２を保持している。オブジェクト情報２４２は、オブジェクトＩＤ１７１０と、位置情報１７２０と、関連ユーザＩＤ１７３０とを含む。

オブジェクトＩＤ１７１０は、チャットルームに配置される各オブジェクトを識別する。たとえば、図１６の「壁」「スイッチ（ボタン）」「スイッチ（枠）」「額縁」「アバター」「椅子」および、「テーブル」のそれぞれは、図１等の「壁オブジェクト１００１」「スイッチオブジェクト１００２のボタンオブジェクト１０２１」「スイッチオブジェクト１００２の枠オブジェクト１０２２」「額縁オブジェクト１００３」「アバターオブジェクト１００４」「椅子オブジェクト１００５」および「テーブルオブジェクト１００６」のそれぞれに対応する。

位置情報１７２０は、仮想空間における各オブジェクトの位置を識別する。図１６の例において、位置（１）〜位置（７）のそれぞれは、たとえば、仮想空間における三次元の座標を表わす。

＜５．処理の流れ＞
図１７を参照して、図１〜図３等を参照して説明されたような手オブジェクト１２１０の移動に連動したボタンオブジェクト１０２１の移動を実現するための処理を説明する。図１７は、プロセッサ１０によって実行される処理のフローチャートである。図１７の処理は、たとえばプロセッサ１０が所与のプログラムを実行することによって実現される。

ステップＳ１０にて、プロセッサ１０は、手オブジェクト１２１０およびスイッチオブジェクト１００２（ボタンオブジェクト１０２１および枠オブジェクト１０２２）を含む視界画像をＨＭＤ１１０に表示させる。

ステップＳ１２にて、プロセッサ１０は、ユーザの手の位置情報に従って仮想空間における手オブジェクト１２１０を移動させる。そして、プロセッサ１０は、移動された手オブジェクトを含む視界画像を生成し、モニタ１１２に表示させる。ユーザの手は、ＨＭＤ１１０を装着しているユーザの手であってもよいし、ＨＭＤ１１０以外のＨＭＤ（ＨＭＤ１１０Ａ等）を装着しているユーザの手であってもよい。例えば、ＨＭＤ１１０を装着しているユーザの手の位置情報はステップＳ１５４０，Ｓ１５５０等にて取得される。ＨＭＤ１１０以外のＨＭＤを装着しているユーザの手の位置情報はステップＳ１５６０にて取得される。

ステップＳ１４にて、プロセッサ１０は、手オブジェクト１２１０が所定位置に配置されたか否かを判断する。所定位置の一例は、手オブジェクト１２１０がボタンオブジェクト１０２１に触れる位置である（図３の分図（Ｂ１）等）。プロセッサ１０は、手オブジェクト１２１０が所定位置に配置されたと判断すると（ステップＳ１４にてＹＥＳ）、ステップＳ１６へ制御を進める。そうでない場合には（ステップＳ１４にてＮＯ）、ステップＳ１２へ制御を戻す。

ステップＳ１６にて、プロセッサ１０は、手オブジェクト１２１０に連動させてボタンオブジェクト１０２１を移動させる。これにより、たとえば、プロセッサ１０は、手オブジェクト１２１０のｗ軸方向の第１の向きの移動に連動してボタンオブジェクト１０２１が当該第１の向きに移動するように視界画像を生成し、モニタ１１２に当該視界画像を表示させる。ある実施の形態では、ボタンオブジェクト１０２１は、手オブジェクト１２１０に連動して移動することにより、手オブジェクト１２１０の移動量と同じ量だけ移動する。

ステップＳ１８にて、プロセッサ１０は、手オブジェクト１２１０の手オブジェクト１２１０に連動した移動における移動量が予め定められた第１の量に到達したか否かを判断する。プロセッサ１０は、スイッチオブジェクト１００２の移動量が未だ第１の量に到達していないと判断すると（ステップＳ１８にてＮＯ）、ステップＳ１６へ制御を戻し、到達していると判断すると（ステップＳ１８にてＹＥＳ）、ステップＳ２０へ制御を進める。

ステップＳ２０にて、プロセッサ１０は、ユーザの視線が手オブジェクト１２１０上にあるか否かを判断する。プロセッサ１０は、ユーザの視線が手オブジェクト１２１０上にあるか否かを、たとえば、注視センサ１４０によって検出されるユーザ１９０の視線方向に基づいて判断する。プロセッサ１０は、ユーザの視線が手オブジェクト１２１０上にあると判断すると（ステップＳ２０にてＹＥＳ）、ステップＳ２２へ制御を進める。そうでなければ（ステップＳ２０にてＮＯ）、プロセッサ１０は、ステップＳ２８へ制御を進める。

ステップＳ２２にて、プロセッサ１０は、第１の報知動作を実行する。第１の報知動作の一例は、音声の出力である。他の例は、コントローラ１６０の振動である。さらに他の例は、文字列「移動した！」などの表示である。さらに他の例は、音声の出力、振動、および／または、表示の組み合わせである。すなわち、プロセッサ１０は、スイッチオブジェクト１００２が第１の量だけ移動すると、そのことが音声、振動、および／または、表示によって報知される。

ステップＳ２４にて、プロセッサ１０は、手オブジェクト１２１０が少し戻された状態を表わす視界画像を表示する。一例では、ステップＳ２４にて表示される視界画像におけるスイッチオブジェクト１００２の状態は図３の分図（Ｂ３）に示された状態である。

ステップＳ２６にて、プロセッサ１０は、第２の報知動作を実行する。第２の報知動作は、音声の出力であってもよいし、コントローラ１６０の振動であってもよいし、文字列などの表示であってもよいし、これらの組み合わせであってもよい。その後、プロセッサ１０は、図１７の処理を終了する。

以上説明された図１７の処理によれば、手オブジェクト１２１０がスイッチオブジェクト１００２に対して予め定められた位置に配置されると、その後の手オブジェクト１２１０の移動に連動してボタンオブジェクト１０２１が移動する。

ステップＳ２２，Ｓ２６の制御として説明されたように、ボタンオブジェクト１０２１の移動に伴って報知動作が実行されてもよい。図１８は、報知動作の一例として音声が出力されるときの動作態様を模式的に示す図である。

図１８には、図３と同様に分図（Ｂ１）〜（Ｂ４）が示される。分図（Ｂ２）に示されるように、ステップＳ２２の報知動作により、ボタンオブジェクト１０２１が第１の量移動すると、たとえば、「カッ」という擬音がスピーカ１１８から出力される。

さらに、分図（Ｂ３）に示されるように、ステップＳ２６の報知動作により、ボタンオブジェクト１０２１が戻るとき、たとえば、「チッ」という擬音がスピーカ１１８から出力される。

ステップＳ２０にてユーザの視線がスイッチオブジェクト１００２上に無いと判断された場合には、ステップＳ２２〜Ｓ２６の制御が実行されることなく、図１７の処理が終了する。すなわち、ユーザの視線がボタンオブジェクト１０２１上に無ければ、ボタンオブジェクト１０２１が少し戻される、という状態を示す視界画像の表示は省略されてもよい。

＜６．ユーザの移動に従ったオブジェクトの移動の別の態様＞
図１９，図２０を参照して、ユーザの移動に従ったオブジェクトの移動の別の態様について説明する。図１９は、ユーザの手をトラッキングする処理の変形例を説明するための図である。図１９において、分図（Ａ）は現実空間におけるユーザを示し、分図（Ｂ）はユーザの動きに従った仮想空間の視界画像１２９０を示す。図２０は、図１９の例に従った視界画像の変化を説明するための図である。

図１９の例では、手オブジェクト１２１０はスティックオブジェクト１２２０を握っている。手オブジェクト１２１０は、スティックオブジェクト１２２０を使ってスイッチオブジェクト１００２を操作する。スティックオブジェクト１２２０は、仮想空間においてのみ存在し、現実空間では存在しない。

図２０において、分図（Ｃ１）〜（Ｃ４）は、図３の（Ｂ１）〜（Ｂ４）と同様にスイッチオブジェクト１００２を側方から見た状態を表わし、スイッチオブジェクト１００２の表示の変化の第１段階〜第４段階を表わす。

図２０の分図（Ｃ１）は、スティックオブジェクト１２２０がスイッチオブジェクト１００２に対して所定位置に位置する状態を示す。分図（Ｃ１）では、スティックオブジェクト１２２０の先端がスイッチオブジェクト１００２に対して一定の距離だけ離れた場所に位置する。

その後、手オブジェクト１２１０が移動されると、プロセッサ１０は、スティックオブジェクト１２２０を手オブジェクト１２１０と連動させて移動させ、さらに、ボタンオブジェクト１０２１をスティックオブジェクト１２２０に連動させて移動させる。このとき、ボタンオブジェクト１０２１は、スティックオブジェクト１２２０の先端に対して距離Ｄ３が維持されるように移動する。

分図（Ｃ２）は、ボタンオブジェクト１０２１が、スティックオブジェクト１２２０の移動に連動して、第１の向き（分図（Ｃ２）等における右向き）に第１の量移動した状態を示す。その後、分図（Ｃ３）に示されるように、プロセッサ１０は、スイッチオブジェクト１００２を第２の向き（分図（Ｃ３）等における左向き）に第１の量より少ない量だけ移動させた状態の視界画像を表示する。

その後、プロセッサ１０は、分図（Ｃ４）に示されるように、スイッチオブジェクト１００２がボタンオブジェクト１０２１から離れてもボタンオブジェクト１０２１の位置を維持させる。

以上、図１９および図２０を参照して説明された例では、プロセッサ１０は、ユーザの動きに従ってスティックオブジェクト１２２０を移動させ、さらに、スティックオブジェクト１２２０に連動するようにボタンオブジェクト１０２１を移動させる。ボタンオブジェクト１０２１は、スティックオブジェクト１２２０に当接することなく、スティックオブジェクト１２２０と一定の距離を保つように移動する。

＜７．開示の要約＞
（１） 本開示によれば、仮想空間にオブジェクトを配置するためにコンピュータによって実行される方法が提供される。方法は、仮想空間を定義するステップ（Ｓ１５１０）と、仮想空間に第１のオブジェクト（ボタンオブジェクト１０２１）および第２のオブジェクト（手オブジェクト１２１０）を配置するステップ（Ｓ１０）と、仮想空間のユーザの動きに従って第２のオブジェクトを移動させるステップ（Ｓ１２）と、第１のオブジェクトと第２のオブジェクトとの位置関係が予め定められた条件を満たした場合に、第２のオブジェクトの第１の向きの移動に連動して、第１のオブジェクトを第１の向きに移動させるステップ（Ｓ１６）と、第１のオブジェクトの第１の向きにおける移動量が第１の量に達した場合に、第１のオブジェクトを第１の向きに対向する第２の向きに移動させるステップ（Ｓ２４，Ｓ２８）とを備える。

（２） 方法は、第１のオブジェクトの第１の向きにおける移動量が第１の量に達した場合に第１の報知動作を実行するステップ（Ｓ２２）をさらに備えていてもよい。

（３） 方法は、第１のオブジェクトの第２の向きの移動に連動して第２の報知動作を実行するステップ（Ｓ２６）をさらに備えていてもよい。

（４） 仮想空間は、コンピュータに接続されたヘッドマウントデバイスのユーザと、他のユーザとによって共有されていてもよい。動きは、ヘッドマウントデバイスのユーザの動き（ステップＳ１５４０，Ｓ１５５０等にて取得される、ＨＭＤ１１０を装着しているユーザの手の位置情報）、および、他のユーザの動き（ステップＳ１５６０にて取得される、ＨＭＤ１１０以外のＨＭＤを装着しているユーザの手の位置情報）の少なくとも一方を含んでもよい。

（５） 方法は、ヘッドマウントデバイスのユーザの視線（注視センサ１４０によって検出されるユーザ１９０の視線方向）を検出するステップをさらに備えていてもよい。第１のオブジェクトを第１の向きに移動させるステップ、および、第１のオブジェクトを第２の向きに移動させるステップは、ヘッドマウントデバイスのユーザの視線が第１のオブジェクト上にある場合には実行され、第１のオブジェクト上に無い場合には実行されなくてもよい（Ｓ２０）。

今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。

１ 仮想カメラ、２ 仮想空間、５ 基準視線、１０，５１０ プロセッサ、２２ 仮
想空間画像、２３ 視認領域、２６，１０００，１０００Ａ，１２００ 視界画像、１１
０，１１０Ａ，１１０Ｂ ＨＭＤ、１１２ モニタ、１１５，１１８ スピーカ、１１６
カメラ、１１９ マイク、１３０ モーションセンサ、１４０ 注視センサ、１５０
サーバ、１６０ コントローラ、１９０，１９０Ａ，１９０Ｂ，ＩＤ，ＩＤ１６１０ ユ
ーザ、２００，２００Ａ，２００Ｂ コンピュータ、８００ 右コントローラ、８１０
ハンドオブジェクト、１００１ 壁オブジェクト、１００２ スイッチオブジェクト、１
００３ 額縁オブジェクト、１００４ アバターオブジェクト、１００５ 椅子オブジェ
クト、１００６ テーブルオブジェクト、１０２１ ボタンオブジェクト、１０２２ 枠
オブジェクト、１１００ 空間、１１１０ 手、１２１０ 手オブジェクト、１２２０
スティックオブジェクト。

Claims (7)

1. 仮想空間を提供するためにコンピュータによって実行される方法であって、
   仮想空間を定義するステップと、
   前記仮想空間に第１のオブジェクトおよび第２のオブジェクトを配置するステップと、
   前記仮想空間のユーザの動きに従って前記第２のオブジェクトを移動させるステップと、
   前記第１のオブジェクトと前記第２のオブジェクトとの位置関係が予め定められた条件を満たした場合に、前記第２のオブジェクトの第１の向きの移動に連動して、前記第１のオブジェクトを前記第１の向きに移動させるステップと、
   前記第１のオブジェクトの前記第１の向きにおける移動量が第１の量に達した場合に、前記第１のオブジェクトを前記第１の向きに対向する第２の向きに移動させるステップとを備える、方法。
2. 前記第１のオブジェクトの前記第１の向きにおける移動量が前記第１の量に達した場合に第１の報知動作を実行するステップをさらに備える、請求項１に記載の方法。
3. 前記第１のオブジェクトの前記第２の向きの移動に連動して第２の報知動作を実行するステップをさらに備える、請求項１または請求項２に記載の方法。
4. 前記仮想空間は、前記コンピュータに接続されたヘッドマウントデバイスのユーザと、他のユーザとによって共有されており、
   前記動きは、前記ヘッドマウントデバイスのユーザの動き、および、前記他のユーザの動きの少なくとも一方を含む、請求項１〜請求項３のいずれか１項に記載の方法。
5. 前記ヘッドマウントデバイスのユーザの視線を検出するステップをさらに備え、
   前記第１のオブジェクトを前記第１の向きに移動させるステップ、および、前記第１のオブジェクトを前記第２の向きに移動させるステップは、
   前記ヘッドマウントデバイスのユーザの視線が前記第１のオブジェクト上にある場合には実行され、前記第１のオブジェクト上に無い場合には実行されない、請求項４に記載の方法。
6. 請求項１〜請求項５のいずれか１項に記載の方法をコンピュータに実行させる、プログラム。
7. 請求項６に記載のプログラムを格納したメモリと、
   前記プログラムを実行するためのプロセッサとを備える、情報処理装置。
   
   

Images