以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施形態は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を表す。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMDセット105A,105B,105C,105Dと、ネットワーク19とサーバ150とを含む。HMDセット105A,105B,105C,105Dの各々は、ネットワーク19を介してサーバ150と通信可能に構成される。以下、HMDセット105A,105B,105C,105Dを総称して、HMDセット105とも言う。なお、HMDシステム100を構成するHMDセット105の数は、4つに限られず、3つ以下でも、5つ以上でもよい。
HMDセット105は、HMD110と、HMDセンサ120と、コンピュータ200とを備える。HMD110は、モニタ112と、カメラ116と、スピーカ118と、マイク119と、注視センサ140とを含む。他の局面において、HMD110は、センサ114をさらに備える。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータ(例えば、他のHMDセット105のコンピュータ)と通信可能である。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。HMD110は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。ある実施形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
他の局面において、モニタ112は、透過型の表示装置として実現され得る。この場合、HMD110は、図1に示されるようにユーザ190の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ112は、その透過率を調整することにより、一時的に非透過型の表示装置として機能し得る。また、モニタ112は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ112は、HMD110に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
カメラ116は、対象物の深度情報を取得可能に構成される。一例として、カメラ116は、TOF(Time Of Flight)方式に従い、対象物の深度情報を取得する。他の例として、カメラ116は、パターン照射方式に従い、対象物の深度情報を取得する。ある実施形態において、カメラ116は、対象物を2つ以上の異なる方向から撮影できるステレオカメラであり得る。また、カメラ116は、人間が不可視な赤外線カメラであり得る。カメラ116は、HMD110に装着され、ユーザ190の身体の一部を撮影する。以下、一例として、カメラ116は、ユーザ190の手を撮影する。カメラ116は取得したユーザ190の手の深度情報をコンピュータ200に出力する。
スピーカ118は、音声信号を音声に変換してユーザ190に出力する。マイク119は、ユーザ190の発話を電気信号である音声信号に変換してコンピュータ200に出力する。なお、他の局面において、HMD110は、スピーカ118に替えてイヤホンを備えるように構成されてもよい。
HMDセンサ120は、HMD110の位置および傾きを検出する。この場合、HMD110は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、各光源が発する光を検出して、HMD110の位置および姿勢を検出するためのポジショントラッキング機能を有する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
さらに他の局面において、コンピュータ200は、HMDセンサ120の出力に替えてセンサ114の出力に基づいてHMD110の傾きを検出するように構成されてもよい。センサ114は、例えば、角速度センサ、加速度センサ、ジャイロセンサ、地磁気センサにより、またはこれらのセンサの組み合わせにより実現される。コンピュータ200は、センサ114の出力に基づいて、HMD110の傾きを検出する。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。コンピュータ200は、各角速度に基づいて、HMD110の3軸周りの角度の各々の時間的変化を算出してHMD110の傾きを算出する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
[ハードウェア構成]
図2を参照して、本実施形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されているプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されているデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施形態において、入出力インターフェイス13は、HMD110、およびHMDセンサ120との間で信号を通信する。ある局面において、HMD110に含まれるセンサ114、カメラ116、スピーカ118、およびマイク119は、HMD110の入出力インターフェイス13を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、センサ114は、3軸角速度センサと、3軸加速度センサとの組み合わせにより構成される。コンピュータ200は、これらのセンサの出力に基づいて、HMD110の基準方向(例えば、重力(鉛直)方向)に対する角度を算出する。これにより、コンピュータ200は、グローバル座標系におけるHMD110の傾きを取得できる。
他の局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各光源の位置(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定し得る。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定し得る。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。コンピュータ200は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す模式図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD110の傾き角度を表す。
コンピュータ200は、HMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す模式図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、パノラマ画像22を構成する各部分画像を対応する各メッシュに展開する。これにより、ユーザ190は仮想空間2を視認する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。ある局面において、プロセッサ10は、仮想カメラ1が撮影する画像をHMD110のモニタ112に表示する。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現され得る。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
コンピュータ200のプロセッサ10は、仮想カメラ1の位置と、仮想カメラ1の傾き方向、換言すれば、仮想カメラ1の撮影方向を示す基準視線5とに基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2のうち、HMD110を装着したユーザ190が視認する領域に対応する。上記のように、仮想カメラ1のuvw視野座標系はHMD110のuvw視野座標系に連動している。そのため、基準視線5は、HMD110の傾きによって定まる。
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ190の視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した模式図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す。
図6に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の配置位置と基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視認領域23は、領域25を含む。領域25は、仮想カメラ1の配置位置と基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。極角αおよびβは、仮想カメラ1の配置位置と仮想カメラ1の向きとに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間における視界を提供する。視界画像26は、パノラマ画像22のうち視認領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、パノラマ画像22のうち、仮想空間2においてユーザ190が向いた方向の視認領域23に重畳する画像に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
このように、仮想カメラ1の向き(傾き)は仮想空間2におけるユーザ190の視線(基準視線5)に相当し、仮想カメラ1が配置される位置は、仮想空間2におけるユーザ190の視点に相当する。したがって、仮想カメラ1を移動(配置位置を変える動作、向きを変える動作を含む)させることにより、モニタ112に表示される画像が更新され、ユーザ190の視界が移動される。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開されるパノラマ画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動させ得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視認領域23)を特定する。
ある実施形態に従うと、仮想カメラ1は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、2つの仮想カメラに設定される。本実施形態においては、仮想カメラ1が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD110のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[HMDの制御装置]
図8を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図8に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、動き検出モジュール225と、トラッキングモジュール226とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、操作オブジェクト制御モジュール233と、アバター制御モジュール234と、撮影モジュール235とを含む。
ある実施形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。
仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置する。また、仮想カメラ制御モジュール221は、仮想空間2における仮想カメラ1の位置と、仮想カメラ1の傾き(撮影方向)を制御する。視界領域決定モジュール222は、仮想カメラ1の位置と傾きとに応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像26を生成する。つまり、仮想カメラ1の位置は、仮想空間2におけるユーザ190の視座に対応する。
基準視線特定モジュール224は、センサ114またはHMDセンサ120の出力に基づいて、HMD110の傾き(ユーザ190の頭が向いている方向)を特定する。他の局面において、基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定し得る。
動き検出モジュール225は、HMDセンサ120の出力に基づいて、HMD110の基準状態(例えば、仮想空間2を定義したときの状態(初期状態))に対する変位量を算出し得る。仮想カメラ制御モジュール221は、算出された変位量に基づいて、仮想カメラ1の位置および傾きを制御し得る。
トラッキングモジュール226は、ユーザ190の身体の一部の位置を検出(トラッキング)する。ある実施形態において、トラッキングモジュール226は、カメラ116から入力される深度情報に基づいて、HMD110に設定されるuvw視野座標系におけるユーザ190の手の位置を検出する。トラッキングモジュール226の動作は後述される。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール233は、仮想空間2においてユーザ190の操作を受け付けるための操作オブジェクトを仮想空間2に配置する。ユーザ190は、操作オブジェクトを操作することにより、例えば、仮想空間2に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD110を装着したユーザ190の手に相当する手オブジェクトを含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。他の局面において、操作オブジェクトは、アバターオブジェクトによって保持されるオブジェクト(例えば、ステッキ)を含む。
アバター制御モジュール234は、ネットワークを介して接続される他のコンピュータ200のユーザに対応するアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190に対応するアバターオブジェクトを仮想空間2に配置するためのデータを生成する。ある局面において、アバター制御モジュール234は、ユーザ190の画像に基づいて、ユーザ190を模したアバターオブジェクトを生成する。他の局面において、アバター制御モジュール234は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ190による選択を受け付けたアバターオブジェクトを仮想空間2に配置するためのデータを生成する。
アバター制御モジュール234は、HMDセンサ120(またはセンサ114)の出力に基づいて、HMD110の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール234は、HMD110の位置が動いたことを検知して、アバターオブジェクトを移動するためのデータを生成する。また、アバター制御モジュール234は、トラッキングモジュール226の出力に基づいて、現実空間のユーザ190の手の動きを、アバターオブジェクトの手に反映する。また、アバター制御モジュール234は、他のコンピュータ200から入力されるデータに基づいて、他のコンピュータのユーザに対応するアバターオブジェクトの動きを制御する。
撮影モジュール235は、仮想空間2を撮影する。より具体的には、撮影モジュール235は、仮想空間2に撮影機能を有するオブジェクトを配置し、当該オブジェクトにより撮影を行なう。撮影により生成された画像は、ストレージ12に保存される。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、操作オブジェクト制御モジュール233は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、撮影画像DB244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、複数種類のパノラマ画像22、仮想空間2に配置されるオブジェクトを構成するためのモデリングデータ、およびオブジェクトの位置情報を保持している。パノラマ画像22は、非現実空間の画像と現実空間の画像とを含み得る。
オブジェクト情報242はさらに、動き検知データとトラッキングデータを記憶し得る。動き検知データは、HMD110の位置および傾きを表すデータ(HMDセンサ120の出力)である。トラッキングデータは、カメラ116およびトラッキングモジュール226により取得された、ユーザ190の手の位置を示すデータである。これらの情報はHMDセンサ120の出力周期またはカメラ116の撮影周期で随時更新され得る。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。ユーザ情報243は、ユーザ190を識別するためのユーザID(例えば、コンピュータ200に設定されるIPアドレス、MACアドレス)などを含み得る。
撮影画像DB244は、撮影モジュール235によって生成された画像(撮影画像)を管理する。
メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230の一部は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
[サーバ150の構造]
図9は、サーバ150のハードウェア構成およびモジュール構成を説明するための図である。ある実施形態において、サーバ150は、主たる構成要素として通信インターフェイス910と、プロセッサ920と、ストレージ930とを備える。
通信インターフェイス910は、コンピュータ200など外部の通信機器と信号を送受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通信インターフェイス910は、チューナ、高周波回路等により実現される。
プロセッサ920は、サーバ150の動作を制御する。プロセッサ920は、ストレージ930に格納されている各種の制御プログラムを実行することにより、送受信部922、サーバ処理部924、およびマッチング部926として機能する。
送受信部922は、各コンピュータ200との間で各種情報を送受信する。例えば、送受信部922は、仮想空間2にオブジェクトを配置する要求、オブジェクトを仮想空間2から削除する要求、オブジェクトを移動する要求、ユーザの音声などを各コンピュータ200に送信する。
サーバ処理部924は、複数のユーザが仮想空間2を共有するために必要な処理を行なう。例えば、サーバ処理部924は、コンピュータ200から受信した情報に基づいて、後述する位置情報936を更新する。
マッチング部926は、複数のユーザを関連付けるための一連の処理を行なう。マッチング部926は、例えば、複数のユーザが同じ仮想空間2を共有するための入力操作を行った場合に、これらのユーザのユーザIDを互いに関連付ける処理などを行なう。
ストレージ930は、仮想空間指定情報932と、オブジェクト指定情報934と、アバターオブジェクト情報935と、ユーザ情報938と、撮影画像DB939とを保持する。
仮想空間指定情報932は、コンピュータ200の仮想空間定義モジュール231が仮想空間2を定義するために用いられる情報である。ある局面において、仮想空間指定情報932は、コンピュータ200が空間情報241として保持する1つ以上のテンプレートの識別情報を含み得る。他の局面において、仮想空間指定情報932は、仮想空間2の大きさを指定する情報や、仮想空間2を構成する各メッシュに展開されるパノラマ画像22を含み得る。
オブジェクト指定情報934は、コンピュータ200の仮想オブジェクト生成モジュール232が仮想空間2に配置(生成)するオブジェクトを指定するための情報である。他の局面において、オブジェクト指定情報934は、仮想オブジェクト生成モジュール232がオブジェクトを生成するためのモデリングデータなどを含み得る。
アバターオブジェクト情報935は、位置情報936と傾き情報937とを含む。位置情報936は、仮想空間2における各アバターオブジェクトの位置(座標)を表す。傾き情報937は、仮想空間2における各アバターオブジェクトの頭部の傾きを表す。アバターオブジェクトの頭部の傾きは、仮想カメラ1の傾き(基準視線5)である。アバターオブジェクト情報935は、コンピュータ200から入力される情報に基づいて随時更新され得る。
ユーザ情報938は、コンピュータ200のユーザ190についての情報である。ユーザ情報938は、例えば、複数のユーザ190を互いに識別するユーザIDを含む。撮影画像DB939は、各コンピュータ200の撮影画像DB244に保持される情報を含む。
[コンピュータ200の制御構造]
図10を参照して、コンピュータ200における視界画像の更新方法について説明する。図10は、HMDシステム100における処理を表すフローチャートである。
ステップS1010において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義する。例えば、仮想空間定義モジュール231は、サーバ150から受信した仮想空間指定情報932に基づいて、空間情報241を参照して仮想空間2を定義する。
ステップS1020において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を仮想空間2に配置する。このとき、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心21に配置し得る。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像26を表示するための視界画像データを生成する。プロセッサ10は、生成した視界画像データをHMD110に出力する。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から入力された信号に基づいて、視界画像26を表示する。これにより、HMD110を装着したユーザ190は、仮想空間2を認識する。
ステップS1034にて、HMDセンサ120は、HMD110の位置および傾きを検知する。HMDセンサ120は、検知結果を動き検知データとして、コンピュータ200に出力する。
ステップS1040にて、プロセッサ10は、HMDセンサ120から入力された動き検知データに基づいて、HMD110の位置および傾きを検知する。プロセッサ10は、入力された動き検知データをオブジェクト情報242に記憶し得る。プロセッサ10はさらに、仮想カメラ制御モジュール221として、検知した位置および傾きに連動するように仮想空間2における仮想カメラ1の位置および傾きを変更する。視界領域決定モジュール222は、変更後の仮想カメラ1の位置および傾きに応じて視認領域23を規定する。これにより、仮想カメラ1が撮影する視界画像26が更新される。
ステップS1050において、プロセッサ10は、視界画像生成モジュール223として、傾きを変更された仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
ステップS1052において、HMD110のモニタ112は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間2におけるユーザ190の視界が更新される。
[手のトラッキング]
以下、図11〜図14を参照して、手の動きをトラッキングする処理について説明する。図11は、手をトラッキングする処理について説明するための図である。
以下、HMDセット105Aのユーザをユーザ190Aと表す。また、HMDセット105Aに関する各構成要素の参照符号にAが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
図11を参照して、ユーザ190Aは、現実空間においてHMD110Aを装着している。HMD110Aには、カメラ116Aが搭載されている。カメラ116Aは、HMD110Aの前方の空間1100に含まれる物体の深度情報を取得する。図11に示される例において、カメラ116Aは、空間1100に含まれるユーザ190Aの手の深度情報を取得する。
トラッキングモジュール226Aは、この深度情報に基づき、手の位置情報(以下、「トラッキングデータ」とも称する)を生成する。カメラ116AはHMD110Aに搭載される。そのため、トラッキングデータはHMD110Aに設定されるuvw視野座標系における位置を示す。
図12は、トラッキングモジュール226Aの動作を説明するための図である。ある局面において、トラッキングモジュール226Aは、カメラ116Aから入力される深度情報に基づいて、ユーザ190Aの手の骨の動きをトラッキングする。図12に示される例において、トラッキングモジュール226Aは、ユーザ190Aの手の関節a、b、c・・・、xの各位置と、腕を構成する骨の特徴点yの位置とをそれぞれ検知する。一例として、特徴点yは、手に近い側の橈骨の先端であり得る。他の例として、特徴点yは、肘であり得る。
トラッキングモジュール226Aは、関節a〜xの位置関係に基づいて、ユーザ190Aの手の形状(指の動き)を認識可能に構成される。トラッキングモジュール226は、例えば、ユーザ190Aの手が指を指していること、手が開いていること、手が閉じていること、手が何かをつまむ動作をしていること、手がひねられていること、手が握手の形状をしていることなどを認識できる。トラッキングモジュール226Aはさらに、関節a〜dと、その他の関節との位置関係により、認識している手が左手であるか右手であるかを判断できる。トラッキングモジュール226Aはさらに、関節jから特徴点yに伸びる直線方向を特定することにより、ユーザ190Aの腕が伸びる方向を正確にトラッキングし得る。このようなカメラ116Aおよびトラッキングモジュール226Aは、例えば、LeapMotion社によって提供されるLeapMotion(登録商標)によって実現され得る。
図13は、トラッキングデータのデータ構造の一例を表す。トラッキングモジュール226Aは、関節a〜xおよび特徴点yそれぞれについてのトラッキングデータを取得する。これらトラッキングデータは、HMD110Aに設定されるuvw視野座標系における位置情報を表す。コンピュータ200Aは、取得したトラッキングデータをオブジェクト情報242に保存する。
図14は、ユーザ190Aが視認する視界画像1400を表す。視界画像1400は、仮想空間2Aの一部に対応する。仮想空間2Aには、ユーザ190Aに対応するアバターオブジェクトが配置されている。ユーザ190Aの視界画像を撮影する仮想カメラ1Aは、このアバターオブジェクトの位置(例えば、目の位置)に配置される。換言すれば、仮想空間2Aにおけるユーザ190Aの視座(仮想カメラ1Aの位置)に、アバターオブジェクトが配置される。これにより、仮想カメラ1Aとアバターオブジェクトとは原則として同じ位置に配置される。そのため、カメラ116Aがユーザ190Aの手と腕を撮影する場合、図14に示される視界画像1400は、アバターオブジェクトの手と腕とを含む。より具体的には、視界画像1400は、右手1410と、右腕1420と、左手1430と、左腕1440とを含む。
トラッキングモジュール226Aは、ユーザ190Aの現実空間の手および腕の動きを表すトラッキングデータを所定間隔(例えば、1秒間に60回)で生成している。アバター制御モジュール234Aは、このトラッキングデータに基づいてアバターオブジェクトの手および腕を動かす。そのため、例えば、ユーザ190Aが現実空間で右手および右腕を鉛直方向に動かすと、仮想空間2Aに配置される右手1410および右腕1420も鉛直方向(Y方向)に動く。
[UIの表示]
図15は、ユーザインターフェイスの表示方法を説明するための図である。図15に示される視界画像1500は、仮想空間2Aの一部に対応する。視界画像1500は、スクリーンオブジェクト1510と、UI(ユーザインターフェイス)1520とをさらに含む点において、図14に示される視界画像1400と相違する。
スクリーンオブジェクト1510は、撮影モジュール235Aによって仮想空間2Aに配置される。スクリーンオブジェクト1510は、一例として、矩形のオブジェクトであって、おもて面と裏面とを有する。スクリーンオブジェクト1510は、撮影機能を有し、おもて面がプレビュー画面として機能する。ある局面において、おもて面の法線方向がスクリーンオブジェクト1510の撮影方向として設定される。他の局面において、スクリーンオブジェクト1510は、両面にプレビュー画面を表示されるように構成されてもよい。
なお、スクリーンオブジェクト1510は、撮影機能とプレビュー画面とを有していればよく、図15に示される形状でなくともよい。例えば、スクリーンオブジェクト1510は、カメラの形状(レンズ、シャッターボタン、等を含む形状)、携帯情報処理端末(スマートフォン、タブレット)の形状であってもよい。
撮影モジュール235Aは、スクリーンオブジェクト1510をインカメラモードまたはアウトカメラモードに設定する。インカメラモードのスクリーンオブジェクト1510は、自身のおもて面方向を撮影する。一方、アウトカメラモードのスクリーンオブジェクト1510は、自身の裏面方向を撮影する。
図15に示される例において、スクリーンオブジェクト1510はインカメラモードに設定されており、ユーザ190Aに対応するアバターオブジェクト1000Aがプレビュー画面に表示されている。なお、図15に示される例においてアバターオブジェクトは、身体の全体を含むが、他の局面において、アバターオブジェクトは身体の一部のみにより構成されてもよい。例えば、プロセッサ10Aは、アバターオブジェクトとして腕オブジェクト(操作オブジェクトとしても機能する)を仮想空間2Aに配置するように構成されても良い。
ある局面において、UI1520は、スクリーンオブジェクト1510による撮影に関する。ユーザ190Aは、スクリーンオブジェクト1510による撮影をUI1520によって操作する。例えば、ユーザ190Aは、UI1520を操作することにより、スクリーンオブジェクト1510の移動、ズーム倍率、フィルタ(例えば、偏光フィルタ、NDフィルタ)、撮影タイミング、撮影モード(静止画撮影/動画撮影)などの設定を行なう。
ユーザ190Aは、アバターオブジェクト1000Aの右手1410または左手1430を操作オブジェクトとしてUI1520を操作する。
ある局面において、仮想空間制御モジュール230Aは、アバターオブジェクト1000Aの右腕1420または左腕1440のいずれか一方の腕にUI1520を表示する。一例として、ユーザ190Aは、予め自身の利き手をコンピュータ200Aに登録しておく。仮想空間制御モジュール230Aは、利き手ではない側の腕にUI1520を表示する。これにより、ユーザ190Aは、利き手に対応する操作オブジェクトを操作してUI1520を快適に操作できる。
他の局面において、カメラ116Aのセンシング範囲(図11の空間1100)にユーザ190Aの両腕の一方しか存在しない場合もあり得る。係る場合、仮想空間制御モジュール230Aは、この一方の腕に対応するアバターオブジェクト1000Aの腕にUI1520を表示する。ユーザ190Aは、UI1520を見て、UI1520を操作するために他方の腕をカメラ116Aのセンシング範囲に移動させる。
ところで、図21で後述されるUI2110のようにユーザインターフェイスが仮想空間2Aのいずれかに配置されることも考えられる。しかし仮想カメラ1がUI2110から離れている場合、ユーザ190Aは、UI2110をはっきりと視認できない場合がある。また、ユーザ190Aは、仮想カメラ1をUI2110に近づけた上でこれを操作する必要がある。これらの理由により、ユーザ190Aは、UI2110を快適に操作できない場合がある。
ある実施形態に従うUI1520はこれらの課題を解決し得る。アバターオブジェクト1000Aは、仮想カメラ1A(仮想空間2Aにおけるユーザ190Aの視座)に配置される。したがって、ユーザ190Aは、仮想カメラ1Aが仮想空間2Aのどこに配置された場合であっても、腕を見る(カメラ116Aで腕をセンシングする)だけで容易にUI1520を視認して操作できる。そのため、ユーザ190Aは、UI1520を快適に操作できる。
加えて、UI1520は、モニタ112Aに定常的に表示されるものでなく、ユーザ190Aの所望のタイミング(カメラ116でユーザ190Aの腕を撮影したタイミング)で表示される。そのため、コンピュータ200Aは、UI1520により仮想空間2Aにおけるユーザ190Aの視界が塞がれることを抑制し得る。
[触感によるフィードバック]
次に、図16および図17を用いて、ユーザ190Aが、UI1520を操作したことのフィードバックを触感として得られることを説明する。
図16は、ユーザ190AがUI1520を操作しているときの視界画像1600を表す。図17は、図16に対応する現実空間におけるユーザ190Aの動作を説明するための図である。
図16を参照して、アバターオブジェクト1000Aの右手1410が左腕1440に表示されるUI1520を操作している。図11〜図14で説明したように、仮想空間2Aにおけるアバターオブジェクト1000Aの手および腕の動作は、現実空間における190Aの手および腕の動作を反映したものである。そのため、図17に示されるように、ユーザ190Aは、図16の操作を行なっているときに、右手1010で左腕1040を触っている。
つまり、ユーザ190Aは、UI1520を操作したことのフィードバックを右手1010および左腕1040の触感により得ることができる。これにより、ユーザ190Aは、UI1520が確実に操作されたことを把握できる。
上記処理の対比として図21に示されるUI2110について説明する。UI2110は、仮想空間2Aの中空に配置されている。ユーザ190Aは、UI2110を操作するにあたり、右手1010または左手1030を中空で動かす。そのため、ユーザ190Aは、UI2110を操作したときに、触感のフィードバックを得ることができない。係る場合、ユーザ190Aは、コンピュータ200Aに自分の操作が入力されたことの確証を持てず、不安を覚え得る。実施形態に従うコンピュータ200Aは、アバターオブジェクト1000Aの腕にUI1520を表示することにより、このような事態を防ぎ得る。
なお、コンピュータ200Aは、UI1520が操作されたときに、UI1520の色を一時的に変更したり、スピーカ118Aから報知音を出力してもよい。これにより、ユーザ190Aは、UI1520を操作したときに、視覚または聴覚によるフィードバックを得ることができる。
なお、上記の例において、UI1520は、アバターオブジェクト1000Aの腕に表示されるが、アバターオブジェクト1000Aの身体の一部に表示されればよい。例えば、UI1520は、アバターオブジェクトの手の平、手の甲、または足に表示され得る。
[ユーザインターフェイスを表示する処理]
図18は、アバターオブジェクトにユーザインターフェイスを表示する処理を表すフローチャートである。図18に示される処理は、プロセッサ10Aがストレージ12に格納される制御プログラムを実行することにより実現される。
ステップS1810において、プロセッサ10Aは、仮想空間2Aを定義する。ステップS1815において、プロセッサ10Aは、ユーザ190Aに対応するアバターオブジェクト1000Aを仮想空間2Aに配置する。より具体的には、プロセッサ10Aは、ユーザ190Aの仮想空間2Aにおける視座(仮想カメラ1Aの位置)に、アバターオブジェクト1000Aを配置する。アバターオブジェクト1000Aの手は、操作オブジェクトとして機能する。
ステップS1820において、プロセッサ10Aは、スクリーンオブジェクト1510を仮想空間2Aに配置する。ある局面において、プロセッサ10Aは、ユーザ190Aの操作に応じて、スクリーンオブジェクト1510を仮想空間2Aに配置する処理、および仮想空間2Aから削除する処理を実行する。
ステップS1825において、プロセッサ10Aは、トラッキングモジュール226Aとして、カメラ116Aの出力に基づいてユーザ190Aの手および腕の動作を検出する。
ステップS1830において、プロセッサ10Aは、当該検出結果に基づいて、アバターオブジェクト1000Aの手および腕を動かす。これにより、アバターオブジェクト1000Aの手および腕が、現実空間におけるユーザ190Aの手および腕に連動する。
ステップS1835において、プロセッサ10Aは、アバターオブジェクト1000Aの手がスクリーンオブジェクト1510を保持したか否かを判断する。ある局面において、プロセッサ10Aは、右手1410または左手1430がスクリーンオブジェクト1510に接触した場合に、接触した手が当該オブジェクトを保持したと判断する。他の局面において、プロセッサ10Aは、スクリーンオブジェクト1510に接触した手が閉じた形状になったことに応じて、この手が当該オブジェクトを保持したと判断する。
プロセッサ10Aは、手がスクリーンオブジェクト1510を保持したと判断した場合(ステップS1835でYES)、処理をステップS1840に進める。そうでない場合(ステップS1835でNO)、プロセッサ10Aは処理をステップS1835に戻す。
ステップS1840において、プロセッサ10Aは、アバターオブジェクト1000Aの腕にUI1520を表示する。一例として、プロセッサ10Aは、スクリーンオブジェクト1510を保持している側の腕にUI1520を表示する。
ステップS1842において、プロセッサ10Aは、スクリーンオブジェクト1510を、保持された手に連動させる。ユーザ190Aは、このステップにおいて、カメラとして機能するスクリーンオブジェクト1510を仮想空間2Aの任意の位置および傾きに設定する。これにより、ユーザ190Aは、撮影の構図を決定する。
ステップS1843において、プロセッサ10Aは、アバターオブジェクト1000Aの手がUI1520に接触したか否かを判断する。より具体的には、プロセッサ10Aは、手がUI1520に含まれる撮影ボタンに接触したか否かを判断する。
プロセッサ10Aは、手がUI1520に接触したと判断した場合(ステップS1843でYES)、処理をステップS1860に進める。そうでない場合(ステップS1843でNO)、プロセッサ10Aは処理をステップS1845に進める。
ステップS1845において、プロセッサ10Aは、スクリーンオブジェクト1510の保持状態が解除されたか否かを判断する。ある局面において、プロセッサ10Aは、スクリーンオブジェクト1510に接触している手が開いた形状になったことに応じて、スクリーンオブジェクト1510の保持状態が解除されたと判断する。他の局面において、プロセッサ10Aは、UI1520に含まれる解除ボタンにアバターオブジェクト1000Aの手が接触したことに応じて、スクリーンオブジェクト1510の保持状態が解除されたと判断する。
プロセッサ10Aは、スクリーンオブジェクト1510の保持状態が解除されたと判断した場合(ステップS1845でYES)、処理をステップS1850に進める。そうでない場合(ステップS1845でNO)、プロセッサ10Aは処理をステップS1842に戻す。
なお、他の局面において、プロセッサ10Aは、スクリーンオブジェクト1510の保持状態が解除されたことに応じて、腕に表示されているUI1520を削除した上で、処理をS1835に戻してもよい。当該構成によれば、ユーザ190Aは、スクリーンオブジェクト1510を仮想空間2A上で保持している間だけ、UI1520を視認できる。
ステップS1850において、プロセッサ10Aは、保持状態を解除された位置にスクリーンオブジェクト1510を固定する。仮に、仮想空間2Aの中空でスクリーンオブジェクト1510の保持状態が解除された場合、スクリーンオブジェクト1510は重力の影響を受けることなく中空で固定される。当該構成によれば、コンピュータ200Aは、撮影の構図の自由度を高めることができる。また、アバターオブジェクト1000Aがスクリーンオブジェクト1510を保持していないため、ユーザ190Aは所望の姿勢をとることができる。
コンピュータ200Aは、ステップS1842,S1845,S1850の処理を実行することにより、ユーザ190Aが指定する位置にスクリーンオブジェクト1510を配置する。
ステップS1855において、プロセッサ10Aは、アバターオブジェクト1000Aの手がUI1520に接触したか否かを判断する。より具体的には、プロセッサ10Aは、手がUI1520のうちの撮影ボタンに接触したか否かを判断する。
プロセッサ10Aは、手がUI1520に接触したと判断した場合(ステップS1855でYES)、処理をステップS1860に進める。そうでない場合(ステップS1855でNO)、プロセッサ10Aは処理をステップS1855に戻す。
ステップS1860において、プロセッサ10Aは、手がUI1520(の撮影ボタン)に接触してから所定時間(例えば、3秒間)経過後に、スクリーンオブジェクト1510による撮影を実行する。プロセッサ10Aはさらに、撮影により生成された画像をストレージ12Aに保存する。
プロセッサ10Aは、撮影モジュール235Aによって生成された撮影画像を撮影画像DB244Aに保存する。その際、プロセッサ10Aは、撮影画像と所定情報とを関連付けて保存する。所定情報は、撮影時に仮想空間2Aに展開されているパノラマ画像22を識別するパノラマ画像ID、スクリーンオブジェクト1510の撮影方向と仮想空間2Aの天球とが交わる撮影画像位置を含む。
また、パノラマ画像22が動画像である場合、所定情報は、パノラマ画像22の再生中に撮影がなされた撮影タイミングを含む。ある局面において、プロセッサ10Aは、撮影画像DB244に保存する情報をユーザ190AのユーザIDとともにサーバ150に送信する。サーバ150は、受信した情報を撮影画像DB939に保存する。
[ユーザが静止していることに応じて撮影]
上記の例において、プロセッサ10Aは、UI1520(の撮影ボタン)とアバターオブジェクト1000Aの手とが接触したことに応じて撮影するが(ステップS1843,S1855)、撮影のトリガはこれに限られない。例えば、プロセッサ10Aは、ユーザ190Aの動きが所定時間にわたり止まっていることを検知した場合に、撮影するように構成される。
ある局面において、プロセッサ10Aは、ユーザ190Aの手および/または頭の動きが止まっている場合に、ユーザ190Aの動きが止まっていると判断する。プロセッサ10Aは、トラッキングデータの単位時間当たりの変位量が予め定められた変位量未満であるときにユーザ190Aの手が止まっていると判断する。また、プロセッサ10Aは、HMD110A(に設けられた複数光源のうち1つの光源の位置)の単位時間当たりの変位量が予め定められた変位量未満であるときにユーザ190Aの頭が止まっていると判断する。
上記によれば、ユーザ190Aは、わざわざUI1520を操作せずとも、所望の姿勢で撮影を行なうことができる。
[自撮り棒]
図19は、スクリーンオブジェクト1510の他の表示態様を表す。図19に示される視界画像1900は、仮想空間2Aの一部に対応する。ある局面において、プロセッサ10Aは、スクリーンオブジェクト1510とともに当該オブジェクトを支持する支持部材1910を仮想空間2Aに配置する。
スクリーンオブジェクト1510が単体で仮想空間2Aに配置される場合、ユーザ190Aは、一見して当該オブジェクトがカメラとして機能することを理解できない可能性がある。そこで、ある実施形態に従うコンピュータ200Aは、スクリーンオブジェクト1510を支持部材1910とともに配置(表示)することで、ユーザ190Aがスクリーンオブジェクト1510の撮影機能を認知する可能性を高める。
スマートフォン(あるいは撮影機能を有するデバイス)を支持する自撮り棒(セルフィースティック、セルカ棒とも称される)は、広く世間に認知されている。そのため、スクリーン(プレビュー画面)を有するスクリーンオブジェクト1510と、棒状の支持部材1910とを併せて提示することで、ユーザが撮影機能を認知する可能性が高まる。
支持部材1910は、アバターオブジェクト1000Aによって保持可能に構成される。図19に示される例において、アバターオブジェクト1000Aの右手1410が支持部材1910を保持している。プロセッサ10Aは、スクリーンオブジェクト1510および支持部材1910を、支持部材1910を保持している右手1410に連動して動かす。
ある局面において、プロセッサ10Aは、支持部材1910を保持している側のアバターオブジェクト1000Aの腕に、UI1520を表示する。そのため、図19では右腕1420にUI1520が表示されている。アバターオブジェクト1000Aの手が支持部材1910を保持しているか否かの判断は、ステップS1835と同様の処理によって実行される。
図19の状態において、ユーザ190Aは、アバターオブジェクト1000Aの左手1430を操作してUI1520を操作する。ある局面において、UI1520には、支持部材1910の長さを調整可能なボタンが含まれる。ユーザ190Aは、支持部材1910を保持している手を任意の位置および角度に動かし、さらに、支持部材1910の長さを調整することにより、撮影の構図を決定する。当該構成によれば、コンピュータ200Aは、撮影の構図の自由度を高めることができる。
ある局面において、プロセッサ10Aは、支持部材1910がアバターオブジェクト1000Aの手によって保持されている期間だけ、UI1520を腕に表示するように構成されてもよい。
図20は、UI1520を表示しない処理を説明するための図である。図20を参照して、ユーザ190Aの視界画像2000は、スクリーンオブジェクト1510を含まない。このような場合、プロセッサ10Aは、UI1520をアバターオブジェクト1000Aの腕に表示する処理を実行しないように構成される。より具体的には、プロセッサ10Aは、仮想カメラ1Aの位置および傾きから定まる視認領域23にスクリーンオブジェクト1510が配置されていない場合に、UI1520を表示する処理を実行しない。
他の局面において、プロセッサ10Aは、仮想空間2Aにスクリーンオブジェクト1510が配置されていない場合に、UI1520を表示する処理を実行しないように構成される。図18のステップS1820で説明したように、スクリーンオブジェクト1510は、仮想空間2Aに配置されている場合と、配置されていない場合とがある。スクリーンオブジェクト1510が仮想空間2Aに配置されている場合にのみ、プロセッサ10Aは、スクリーンオブジェクト1510を制御するためのUI1520を表示する処理を実行する。
なお、アバターオブジェクト1000Aに表示されるユーザインターフェイスは、スクリーンオブジェクト1510の制御用に限られない。例えば、図21に示されるUI2110(メニュー)の内容がアバターオブジェクト1000Aの身体の一部に表示されても良い。
[目を閉じることによる操作]
図21は、ユーザ190Aの視線に基づく操作を説明するための図である。ある局面において、ユーザ190Aが視認する視界画像2100は、UI2110を含む。UI2110は、チュートリアルボタン2120と、セッティングボタン2130と、戻るボタン2140と、終了ボタン2150とを含む。
UI2110は、複数階層のコンテンツを含むユーザインターフェイスである。プロセッサ10Aは、戻るボタン2140の選択を受け付けると、一つ前の階層のコンテンツを表示する。また、プロセッサ10Aは、終了ボタン2150の選択を受け付けると、UI2110を仮想空間2Aから削除する。
ユーザ190Aは、アバターオブジェクト1000Aの手によって、または視線によってこれらのボタンを選択する。より具体的には、注視センサ140Aによって検出されるユーザ190Aの注視点が予め定められた時間、これらのボタンのいずれかに向けられている場合、プロセッサ10Aは、そのボタンが選択されたと判断する。
しかしながら、ユーザ190Aはこれらの操作に不快感を覚え得る。具体的には、ユーザ190Aは、自身の腕を中空で操作することに対して疲労感を覚え得る。また、ユーザ190Aは、注視点による操作を面倒だと感じる場合がある。
そこで、ある実施形態に従うプロセッサ10Aは、ユーザ190Aの目が閉じている時間が予め定められた時間を超えたことに応じて、ユーザ190Aによる否定的な操作の入力を受け付ける。
プロセッサ10Aは、注視センサ140Aの出力に基づいて、ユーザ190Aの目が閉じていることを検出する。一例として、注視センサ140Aは、ユーザ190Aの目に照射された近赤外光の反射光を検出し、プロセッサ10Aは当該検出結果に基づいてユーザ190Aの目が閉じていることを検出する。
否定的な操作とは、一例として、戻るボタン2140または終了ボタン2150の選択を含む。他の例として、否定的な操作は、仮想空間2Aに配置されるオブジェクトを削除する操作、仮想空間2Aに展開されるパノラマ画像22を変更する操作などを含む。さらに他の例として、否定的な操作は、スクリーンオブジェクト1510を操作するためのUI1520をアバターオブジェクト1000Aの腕から削除する操作を含む。一般的に、人は嫌なことから目を背ける(閉じる)傾向がある。そのため、ユーザは、目を閉じることによりコンピュータ200Aに否定的な操作の入力がなされることを直感的に理解できる。上記によれば、ユーザ190Aは、UI2110を容易に操作できる。
[他のユーザのスクリーンオブジェクトの表示態様]
上記一連の処理は、コンピュータ200Aが単独で実行可能な処理である。ある局面において、仮想空間上で複数のユーザが各々のアバターオブジェクトを用いて互いにコミュニケーションする。その際、ユーザは、自分のアバターオブジェクトと他のユーザのアバターオブジェクトとを含む画像を撮影したいと思う。しかし、他のユーザは、ユーザのカメラ(スクリーンオブジェクト)がインカメラモード(自撮りモード)であることを認識しづらい場合がある。また、他のユーザは、ユーザのカメラにより自身の視界が塞がることに不快感を覚え得る。そこで、以下に、複数のユーザが仮想空間上で通信する際の、カメラ(スクリーンオブジェクト)の表示態様について説明する。
図22は、ネットワーク19において、複数のHMD110のそれぞれが、複数のユーザ190のそれぞれに仮想空間を提供する状況を模式的に表す。以下、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと表す。また、HMDセット105Bに関する各構成要素の参照符号にBが付され、HMDセット105Cに関する各構成要素の参照符号にCが付され、HMDセット105Dに関する各構成要素の参照符号にDが付される。
図22を参照して、コンピュータ200A〜200Dのそれぞれは、HMD110A〜110Dのそれぞれを介して、ユーザ190A〜190Dのそれぞれに、仮想空間2A〜2Dのそれぞれを提供する。図22に示される例において、コンピュータ200A(ユーザ190A)とコンピュータ200B(ユーザ190B)とは同じ仮想空間を共有している。そのため、仮想空間2Aに展開されているコンテンツと、仮想空間2Bに展開されているコンテンツとは同じである。例えば、仮想空間2Aに展開されるパノラマ画像22Aと、仮想空間2Bに展開されるパノラマ画像22Bとは同じ画像である。仮想空間2Aおよび仮想空間2Bには、ユーザ190Aのアバターオブジェクト1000Aと、ユーザ190Bのアバターオブジェクト1000Bとが存在する。なお、仮想空間2Aにおけるアバターオブジェクト1000Aおよび仮想空間2Bにおけるアバターオブジェクト1000BがそれぞれHMDを装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMDを装着していない。
ある局面において、コンピュータ200Aおよび200Bは、動き検知データおよびトラッキングデータを互いに送受信する。これにより、コンピュータ200Aは、仮想空間2Aに配置されるアバターオブジェクト1000Bの動作を、ユーザ190Bの動作に連動できる。つまり、ユーザ190Aは、アバターオブジェクト1000Bを介してユーザ190Bの動作を認識できる。また、コンピュータ200Bは、仮想空間2Bに配置されるアバターオブジェクト1000Aの動作を、ユーザ190Aの動作に連動できる。
(モードに応じたスクリーンオブジェクトの表示態様)
図23は、アウトカメラモード時の他のユーザのスクリーンオブジェクトを表す。図24は、インカメラモード時の他のユーザのスクリーンオブジェクトを表す。
図23を参照して視界画像2300は、仮想空間2Aの一部に対応する。視界画像2300は、ユーザ190Bに対応するアバターオブジェクト1000Bと、スクリーンオブジェクト2310と、木オブジェクト2320とを含む。スクリーンオブジェクト2310は、ユーザ190Bにより操作される。このように仮想空間には、複数のユーザの各々に対応するカメラ(スクリーンオブジェクト)を配置され得る。
図23の例において、スクリーンオブジェクト2310はアウトカメラモードに設定されている。そのため、スクリーンオブジェクト2310のプレビュー画面には、スクリーンオブジェクト2310の裏面方向の空間に存在する木オブジェクト2320が表示されている。
ユーザ190Bは、自身でスクリーンオブジェクト2310のモードを設定するため、スクリーンオブジェクト2310がインカメラモードであるかアウトカメラモードであるかを理解できる。一方、ユーザ190Aは、スクリーンオブジェクト2310がアウトカメラモードであるかインカメラモードであるかを一見して判断しづらい。ユーザ190Aは、スクリーンオブジェクト2310のプレビュー画面と、スクリーンオブジェクト2310の前後に配置されるものとを見比べて、スクリーンオブジェクト2310がいずれのモードに設定されているのかを判断するためである。さらに他の局面において、アバターオブジェクトは、対応するユーザの外見を模したものではなく、予め定められた種類のいずれかから選択される。そのため、アバターオブジェクト1000Aの種類とアバターオブジェクト1000Bの種類とが同じである場合、ユーザ190Aは、プレビュー画面に表示されるアバターオブジェクトが自身の操作するアバターオブジェクトであるか否かを判断しにくい。
そこで、ある実施形態に従うコンピュータ200Aは、他のユーザにより操作されるスクリーンオブジェクト2310の表示態様を、モードに応じて変更する。
図24を参照して、視界画像2400に含まれるスクリーンオブジェクト2310はインカメラモードに設定されている。そのため、スクリーンオブジェクト2310のプレビュー画面には、スクリーンオブジェクト2310のおもて面方向の空間に存在するアバターオブジェクト1000Aおよび1000Bが表示されている。
ある局面において、プロセッサ10Aは、スクリーンオブジェクト2310がインカメラモードに設定されている場合、スクリーンオブジェクト2310を支持部材2415によって支持されている態様で表示する。プロセッサ10Aはさらに、アバターオブジェクト1000Bの手が支持部材2415を握っている態様でこれらのオブジェクトを表示する。
上記によれば、ユーザ190Aは、スクリーンオブジェクト2310が支持部材2415によって支持されていることを視認して、スクリーンオブジェクト2310がインカメラモードに設定されていることを一見して理解できる。上述のように、インカメラモードに設定されたカメラによる自撮りを補助する自撮り棒が世間に広く認知されている。そのため、ユーザ190Aは、支持部材2415を自撮り棒として認識し、スクリーンオブジェクト2310がインカメラモードに設定されていることを容易に理解できる。
さらに、図23に示されるように、アウトカメラモードに設定されるスクリーンオブジェクト2310は、支持部材2415によって支持されていない態様で表示される。そのため、ユーザ190Aは、スクリーンオブジェクト2310が単独で表示されていることを視認して、スクリーンオブジェクト2310がアウトカメラモードに設定されていることを容易に理解できる。
図25は、スクリーンオブジェクトの表示態様をモードに応じて変更する処理を表すフローチャートである。なお、図25に示される処理は、プロセッサ10Aおよびプロセッサ10Bによって実行される。また、これらの処理は、コンピュータ200Aとコンピュータ200Bとがサーバ150を介して通信していることを前提としている。
ステップS2510において、プロセッサ10Aは、仮想空間2Aを定義する。ステップS2515において、プロセッサ10Bは、仮想空間2Bを定義する。
ステップS2520において、プロセッサ10Bは、ユーザ190Bにより操作されるスクリーンオブジェクト2310(図25では「他スクリーンオブジェクト」と表記)を仮想空間2Bに配置する。一例として、スクリーンオブジェクト2310はアウトカメラモードに設定されている。プロセッサ10Bはさらに、スクリーンオブジェクト2310の情報をコンピュータ200Aに送信する。スクリーンオブジェクト2310の情報は、例えば、モデリングデータ、位置情報、傾き情報、モード信号を含む。モード信号とは、スクリーンオブジェクト2310がインカメラモードであるかアウトカメラモードであるかを表す。
ステップS2525において、プロセッサ10Aは、コンピュータ200Bから受信した情報に基づいて、スクリーンオブジェクト2310を仮想空間2Aに配置する。このとき、プロセッサ10Aは、モード信号を参照して、スクリーンオブジェクト2310を支持部材2415によって支持されない態様(つまり、スクリーンオブジェクト2310単体)で表示する。
ステップS2530において、プロセッサ10Bは、ユーザ190Bからスクリーンオブジェクト2310のモードを切り替える指示の入力を受け付けたか否かを判断する。ある局面において、プロセッサ10Bは、アバターオブジェクト1000Bの身体の一部に表示されるユーザインターフェイスの操作に基づいてこの判断を行なう。
プロセッサ10Bは、指示の入力を受けたと判断した場合(ステップS2530でYES)、モード信号をコンピュータ200Aに送信する。そうでない場合(ステップS2530でNO)、プロセッサ10Bは処理をステップS2545に進める。
ステップS2532において、プロセッサ10Aは、コンピュータ200Bからモード信号を受信したか否かを判断する。プロセッサ10Aは、モード信号を受信したと判断した場合(ステップS2532でYES)、処理をステップS2535に進める。そうでない場合(ステップS2532でNO)、プロセッサ10Aは処理をステップS2540に進める。
ステップS2535において、プロセッサ10Aは、受信したモード信号に応じた態様で、スクリーンオブジェクト2310を表示する。ある局面において、モード信号がインカメラモードを表す場合、プロセッサ10Aは、スクリーンオブジェクト2310を支持部材2415によって支持された態様で表示する。また、モード信号がアウトカメラモードを表す場合、プロセッサ10Aは、スクリーンオブジェクト2310を支持部材2415によって支持されていない態様で表示する。
なお、他の局面において、プロセッサ10Aは、モード信号に応じてスクリーンオブジェクト2310の色または透明度を変更するように構成されてもよい。さらに他の局面において、プロセッサ10Aは、モード信号に応じてスクリーンオブジェクト2310の形状を変更するように構成されてもよい。
ステップS2540において、プロセッサ10Aは、視界画像を更新して、更新後の視界画像をHMD110Aに出力する。ステップS2545において、プロセッサ10Bは、視界画像を更新して、更新後の視界画像をHMD110Bに出力する。
上記によれば、ユーザ190Aは、他のユーザにより操作されるスクリーンオブジェクト2310のモードを、一見して判断できる。
例えば、ユーザ190Aは、インカメラモードに設定されているスクリーンオブジェクト2310を見て、ユーザ190Bが仮想空間2B上で自撮り(アバターオブジェクト1000Bの撮影)をしようとしていることを認識する。これにより、ユーザ190Aは、アバターオブジェクト1000Aをアバターオブジェクト1000Bに近づける操作を行なう。その結果、ユーザ190Bは、アバターオブジェクト1000Aおよび1000Bを含む画像を取得できる。コンピュータ200Bは、生成した画像をコンピュータ200Aに送信する。ユーザ190Aおよび190Bは、得られた画像を話題として、仮想空間上でのコミュニケーションを促進し得る。
(位置に応じたスクリーンオブジェクトの表示態様)
図23および図24に示されるように、ある局面において、プロセッサ10Aは、他のユーザにより操作される他のスクリーンオブジェクトを仮想空間2Aに配置するように構成されている。係る場合、ユーザ190Aは、他のスクリーンオブジェクトによってパノラマ画像22Aの視認を妨げられる可能性がある。以下、このような課題を解決し得る処理を説明する。
図26は、仮想空間2Aにおけるアバターオブジェクトとスクリーンオブジェクトとの配置関係を説明するための図である。図26を参照して、アバターオブジェクト1000Bがスクリーンオブジェクト2310の支持部材2415を保持している。
ある実施形態に従うコンピュータ200Aは、スクリーンオブジェクト2310の位置と、アバターオブジェクト1000Aの位置との相対関係に基づいて、スクリーンオブジェクト2310の表示態様を制御する。
仮想空間2Aは、スクリーンオブジェクト2310の面(例えば、おもて面)が存在する平面2600によって空間2610と、空間2620とに2分される。ある局面において、空間2610を、スクリーンオブジェクト2310の後方、空間2620をスクリーンオブジェクト2310の前方と定義する。
図26に示される例において、アバターオブジェクト1000Aは、スクリーンオブジェクト2310の後方(空間2610)に配置される。
図27は、図26の状態においてユーザ190Aが視認する視界画像2700を表す。図27を参照して、ある実施形態に従うプロセッサ10Aは、アバターオブジェクト1000Aがスクリーンオブジェクト2310の後方に配置されている場合、スクリーンオブジェクト2310の枠(例えば、4隅の枠)だけを表示する。そのため、ユーザ190Aは、スクリーンオブジェクト2310の奥側に配置されるパノラマ画像22Aおよびアバターオブジェクト1000Bを視認できる。
当該構成によれば、コンピュータ200Aは、スクリーンオブジェクト2310によってユーザ190Aの視界が塞がれることを抑制し得る。
なお、図27に示される例において支持部材2415が表示されているが、他の局面において、支持部材2415は表示されなくともよい。
図28は、他の局面におけるアバターオブジェクトとスクリーンオブジェクトとの配置関係を説明するための図である。図28を参照して、アバターオブジェクト1000Aは、スクリーンオブジェクト2310の前方(空間2620)に配置されている。係る場合、プロセッサ10Aは、図24に示されるように、スクリーンオブジェクト2310のプレビュー画面を表示する。そのため、ユーザ190Aは、スクリーンオブジェクト2310のプレビュー画面を確認しながら、画角におけるアバターオブジェクト1000Aの位置を調整できる。
上記によれば、コンピュータ200Aは、スクリーンオブジェクト2310の位置とアバターオブジェクト1000Aの位置との相対関係に基づいて、ユーザ190Aに適切な視界画像を提供できる。そのため、ユーザ190Aは、スクリーンオブジェクト2310に対する不快感を覚えにくい。
図29は、他のスクリーンオブジェクトの表示態様をアバターオブジェクトの位置に応じて変更する処理を表すフローチャートである。なお、図29に示される処理のうち前述の処理と同じ処理については同じ符号を付している。そのため、その処理についての説明は繰り返さない。
ステップS2910において、プロセッサ10Aは、ユーザ190Aに対応するアバターオブジェクト1000A(図29では「自アバターオブジェクト」と表記)を仮想空間2Aに配置する。プロセッサ10Aはさらに、アバターオブジェクト1000Aの情報(例えば、モデリングのためのデータ、位置情報など)をコンピュータ200Bに送信する。
ステップS2915において、プロセッサ10Bは、受信したアバターオブジェクト1000Aの情報に基づいて、仮想空間2Bにアバターオブジェクト1000Aを配置する。
ステップS2920およびS2925において、ステップS2910およびS2915と同様に、仮想空間2Aおよび2Bにアバターオブジェクト1000B(図29では「他アバターオブジェクト」と表記)が生成される。
ステップS2930において、プロセッサ10Bは、HMDセンサ120Bが検出する動き検知データまたはトラッキングモジュール226Bが生成するトラッキングデータに基づいて、スクリーンオブジェクト2310の位置情報を更新する。プロセッサ10Bはさらに、更新後のスクリーンオブジェクト2310の位置情報をコンピュータ200Aに送信する。
ステップS2935において、プロセッサ10Aは、コンピュータ200Bから受信した情報に基づいて、仮想空間2Aに配置されるスクリーンオブジェクト2310の位置情報を更新する。
ステップS2940において、プロセッサ10Aは、アバターオブジェクト1000Aの位置情報を更新する。一例として、プロセッサ10Aは、HMDセンサ120が検出する動き検知データに基づいて、この情報を更新する。
ステップS2945において、プロセッサ10Aは、スクリーンオブジェクト2310の位置とアバターオブジェクト1000Aの位置との相対関係に基づいて、スクリーンオブジェクト2310の表示態様を制御する。一例として、アバターオブジェクト1000Aがスクリーンオブジェクト2310の前方に位置する場合、プロセッサ10Aは、スクリーンオブジェクト2310をプレビュー画面を含む態様で表示する。一方、アバターオブジェクト1000Aがスクリーンオブジェクト2310の後方に位置する場合、プロセッサ10Aは、スクリーンオブジェクト2310の枠のみを表示し得る。
ある局面において、プロセッサ10Aは、アバターオブジェクト1000Aがスクリーンオブジェクト2310の前方にいるときと後方にいるときとで、スクリーンオブジェクト2310の枠の表示態様(色、透明度)を変更するように構成されてもよい。
[撮影画像の管理]
図30は、ある実施形態に従う撮影画像DB939のデータ構造の一例を表す。図30に示される例において、撮影画像DB939は、撮影画像と、ユーザIDと、パノラマ画像IDと、撮影画像位置と、撮影タイミングとを互いに関連付けて保持する。これらのデータは各コンピュータ200から受信した情報である。
ユーザIDは、撮影画像を生成したコンピュータ200のユーザ190を識別する。パノラマ画像IDは、撮影時に仮想空間2に展開されているパノラマ画像22を識別する。撮影画像位置は、自動カメラの撮影方向と仮想空間2の天球とが交わる位置を表す。換言すれば、撮影画像位置は、撮影画像に含まれるパノラマ画像22の中央位置を表す。撮影タイミングは、仮想空間2に展開されているパノラマ画像22が動画像である場合に、パノラマ画像22における撮影が行なわれたタイミングを特定する。
撮影画像DB939は、撮影画像が複数のアバターオブジェクトを含む場合に、これらのアバターオブジェクトの各々に対応するユーザIDを併せて保持する。
ユーザ190は、関心を示した対象(例えば、自分または他人のアバターオブジェクト、パノラマ画像22など)を撮影する。そのため、サーバ150の管理者は、撮影画像DB939に基づいて、ユーザ190の関心の対象を把握できる。
ある局面において、サーバ150のプロセッサ920は、撮影画像に含まれる物体(コンテンツ)を公知の機械学習法により特定し、特定結果を撮影画像DB939に保存する。一例として、プロセッサ920は、Selective Search法を用いて撮影画像に含まれる物体を囲むバウンディングボックスを特定する。プロセッサ920は、バウンディングボックスにより切り取られた画像からCNN(Convolutional Neural Network)により導出される特徴量を算出する。プロセッサ920は、算出した特徴量と、複数のSVM(Support Vector Machine)に従う識別器とを用いて、バウンディングボックスに含まれる物体を特定する。
上記によれば、サーバ150の管理者は、ユーザ190の関心の対象(物体)を容易に理解できる。また、サーバ150のプロセッサ920は、特定した物体に基づいて、ユーザ190が関心を示すであろう広告を配信する処理、およびユーザ190が関心を示すであろうパノラマ画像22を推奨する処理を行なうように構成されてもよい。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) ある実施形態に従うと、HMD110に仮想空間2を提供するためにコンピュータ200によって実行される方法が提供される。この方法は、仮想空間2を定義するステップ(S1010)と、HMD110のモニタ112に視界画像を表示してHMD110のユーザ190に仮想空間2を提供するステップ(S1032)と、HMD110の動きを検出するステップ(S1034)と、検出された動きに連動して視界画像を更新するステップ(S1040)と、仮想空間2におけるユーザ190の視座にユーザ190に対応するアバターオブジェクト1000を配置するステップ(S1815)と、アバターオブジェクト1000にユーザ190からの操作を受け付けるためのUI1520を表示するステップ(S1840)とを備える。このアバターオブジェクト1000は、身体の一部のみにより構成され得る。
(構成2) (構成1)に従う方法は、ユーザ190の第1部分(例えば、右手)の動作を検出するステップ(S1825)と、検出された第1部分の動作に連動するように操作オブジェクト(例えば、アバターオブジェクトの右手の部分)を動かすステップ(S1830)と、ユーザ190の第2部分(例えば、左腕)の動作を検出するステップ(S1825)と、検出された第2部分の動作に連動するようにアバターオブジェクト1000の第2部分に対応する箇所を動かすステップ(S1830)とをさらに備える。UI1520を表示するステップは、アバターオブジェクト1000の第2部分に対応する箇所に操作オブジェクトによる操作を受付可能なUI1520を表示することを含む。
(構成3) (構成2)において、第1部分は、右手および左手のうち一方を含む。第2部分は、右手および左手のうち一方とは異なる他方と、他方側の腕とのうち少なくとも一方を含む。
(構成4) (構成1)〜(構成3)のいずれかに従う方法は、撮影機能を有し、プレビュー画像を表示可能なスクリーンオブジェクトを仮想空間2に配置するステップ(S1820)と、スクリーンオブジェクトにより撮影された画像をメモリに保存するステップ(S1860)とをさらに備える。UI1520は、スクリーンオブジェクトによる撮影に関する。
(構成5) (構成4)に従う方法は、ユーザ190の第1部分の動作を検出するステップ(S1825)と、検出された第1部分の動作に連動するように操作オブジェクトを動かすステップ(S1830)とをさらに備える。UI1520を表示するステップは、操作オブジェクトがスクリーンオブジェクトを保持したことに応じて(S1835でYES)、アバターオブジェクト1000にUI1520を表示すること(S1840)を含む。
(構成6) (構成4)または(構成5)おいて、仮想空間2にスクリーンオブジェクトを配置するステップは、ユーザ190の指定する位置にスクリーンオブジェクトを配置すること(S1845,S1850)を含む。
(構成7) (構成6)において、UI1520は、撮影ボタンを含む。スクリーンオブジェクトによる撮影を実行するステップは、撮影ボタンが選択されてから所定時間経過後に撮影を実行すること(S1855,1860)を含む。
(構成8) (構成4)または(構成5)に従う方法は、スクリーンオブジェクトを支持し、アバターオブジェクト1000によって保持可能な支持部材1910を仮想空間2に配置するステップをさらに備える。UI1520は、支持部材の長さを調整可能に構成される(図19)。
(構成9) (構成4)〜(構成8)のいずれかにおいて、スクリーンオブジェクトによる撮影を実行するステップは、HMD110の動きが所定時間にわたり停止していることを検知した場合に撮影を実行することを含む。
(構成10) (構成1)〜(構成9)のいずれかに従う方法は、ユーザ190が目を閉じているか否かを検出するステップと、ユーザ190が目を閉じている時間が予め定められた時間を超えたことに応じて、ユーザ190による否定的な操作の入力を受け付けるステップとをさらに備える。
(構成11) (構成4)〜(構成10)のいずれかに従う方法は、コンピュータ200Aによって実行される。コンピュータ200Aは、コンピュータ200Aと通信可能な他のコンピュータ200Bのユーザ190Bにより操作される、スクリーンオブジェクト1510とは異なる他のスクリーンオブジェクト2310を仮想空間2Aに表示するステップ(S2510)と、他のコンピュータ200Bから他のスクリーンオブジェクト2310がインカメラモードであるかアウトカメラモードであるかを表すモード信号を受信するステップ(2530)とをさらに備える。他のスクリーンオブジェクト2310を仮想空間2Aに表示するステップは、モード信号がインカメラモードを表す場合に、他のスクリーンオブジェクト2310を第1態様で表示することと、モード信号がアウトカメラモードを表す場合に、他のスクリーンオブジェクト2310を第1態様とは異なる第2態様で表示すること(S2535)とを含む。
(構成12) (構成11)において、第1態様は、他のスクリーンオブジェクト2310が支持部材2415によって支持された態様を含む(図24)。第2態様は、他のスクリーンオブジェクト2310が支持部材2415によって支持されていない態様を含む。
(構成13) (構成4)〜(構成12)のいずれかに従う方法は、コンピュータ200Aによって実行される。コンピュータ200Aは、当該コンピュータと通信可能な他のコンピュータ200Bのユーザ190Bにより操作され、プレビュー画像を表示可能な他のスクリーンオブジェクト2310を仮想空間2Aに表示するステップをさらに備える。他のスクリーンオブジェクトを仮想空間2に表示するステップは、他のスクリーンオブジェクト2310の位置と、アバターオブジェクト1000Aの位置との相対関係に基づいてスクリーンオブジェクト2310の表示態様を制御する(S2945)ことを含む。
(構成14) (構成13)において、他のスクリーンオブジェクト2310を仮想空間2Aに表示するステップは、アバターオブジェクト1000Aが他のスクリーンオブジェクト2310の後方に位置する場合に、スクリーンオブジェクト2310の枠のみを表示すること(図27)を含む。
今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。