以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMDシステム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140と、スピーカ115と、マイク119とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間2をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユーザに対応するアバターオブジェクトが、仮想空間2に提示される。
なお、オブジェクトとは、仮想空間2に存在する仮想の物体である。ある局面において、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身に着ける仮想アクセサリおよび仮想衣服、ユーザに関する情報が示されたパネルを模した仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さらに、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタであり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。ユーザ190は、予め決められたオブジェクトのなかから好みのオブジェクトを仮想空間2に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するようにしてもよい。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる。
より具体的には、ユーザ190がマイク119に向かって発話すると、当該ユーザ190の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ150は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これにより、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くことができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110のスピーカ115から出力される。
コンピュータ200は、他のユーザのコンピュータ200から受信した音声データに応じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ112に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このように、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想空間2内で複数のユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザが共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユーザが会話を楽しむことができる。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間2を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間2を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ200など)と通信する。ある局面において、通信インターフェース14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供することもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間2をユーザ190に提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザ190が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザ190の視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。他の局面において、右コントローラ800と左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、音声制御モジュール225と、メモリモジュール240と、通信制御モジュール250とを備える。
表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。
仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232とを含む。
ある実施の形態において、表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。オブジェクトは、たとえば、仮想パネル、仮想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によって生成されたデータは、視界画像生成モジュール223に出力される。
音声制御モジュール225は、HMD110から、ユーザ190のマイク119を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、音声制御モジュール225によって特定されたコンピュータ200に送信される。音声制御モジュール225は、ネットワーク19を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ115から出力する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、オブジェクト情報242は、仮想パネルなどのその他のオブジェクトを仮想空間2に配置するためのデータとを含む。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラムなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるとも言える。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここで言うプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。
[HMDシステムの制御構造]
図10を参照して、HMDシステム100の制御構造について説明する。図10は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。
図10に示されるように、ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する。
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。たとえば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1040にて、プロセッサ10は、HMD110の動き検知データに含まれる位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。
ステップS1050にて、プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提示する。
ステップS1060にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコントローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1065にて、プロセッサ10は、コントローラ160から取得した検出データに基づいて、ユーザ190によるコントローラ160の操作を検出する。
ステップS1080にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1092にて、HMD110は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ112に表示する。
[VR酔いが生じるメカニズム]
ユーザ190がVR酔いを引き起こす一因について説明する。VR酔いの発生原因としては、仮想体験によって得られる感覚が、ユーザが体感や予測している感覚と齟齬することが挙げられる。例えば、HMDを用いてユーザに提供される視界画像によっては、当該ユーザに対し、当該ユーザの体感とは異なる方向に移動しているかのような錯覚を与えてしまう。このような錯覚は、一般的には、視覚誘導性自己運動感覚(ベクション)と称されている。以下では、視界画像によってどのようにベクションが引き起こされてVR酔いが生じるかについて、具体的に説明する。
図11及び図12は、仮想空間2における仮想視点からの視界に対応する視界画像の一例を示す図である。仮想視点は、仮想空間2内を見ている位置、即ち、仮想空間における視座である。仮想視点としては、例えば、仮想カメラ1が挙げられる。なお、仮想視点からの視界の範囲は、仮想視点からの視線方向1180に応じて定まる。視線方向1180は仮想カメラ1が向いている方向を表す。視線方向1180は、ユーザ190の頭(HMD110)が向いている方向に対応する仮想空間2における向きとなる。
図11及び図12に示すように、仮想空間2には、コースオブジェクト1110と、車オブジェクト1120と、障害オブジェクト1130,1135と、木オブジェクト1140,1145,1150とが、配置されている。車オブジェクト1120および障害オブジェクト1130,1135は、コースオブジェクト1110上に配置され、木オブジェクト1140,1145,1150は、コースオブジェクト1110外に配置されている。
図11は、ユーザ190が正面方向を向いているときに視認する視界画像1100を表す。正面方向は、HMDシステム100の起動時におけるHMD110の向きであってもよいし、HMDシステム100の起動後にコントローラ160の操作により規定されたHMD110の向きであってもよい。後者の場合、コントローラ160が操作された時点におけるHMD110の向きを正面方向とすればよい。ある局面において、ユーザ190が正面方向を向いている場合の仮想カメラ1の視界画像1100上での視線方向1180は、図11に示すように、車オブジェクト1120の視界画像1100上での移動方向1160に一致する。詳細には、仮想空間におけるXZ平面を水平面とすると、仮想空間2における視線方向1180の水平面上の向きは、仮想空間2における移動方向1160の水平面上の向きに一致する。図12は、ユーザ190が横方向(右方向)を向いているときに視認する視界画像1200を表す。
視界画像1100,1200は、仮想空間2内で行われる自動スクロールゲームの一場面を表す。自動スクロールゲームはいわゆるランゲームである。ランゲームは、例えば、ユーザ190の操作対象の車オブジェクト1120が移動方向1160に自動で移動するという前提の下、ユーザ190が車オブジェクト1120を障害物となる障害オブジェクト1130,1135等にぶつからないように操作して、ゴールを目指すゲームである。
仮想空間2においては、仮想カメラ1は、車オブジェクト1120を、移動方向1160に対し後方斜め上から俯瞰できるように配置される。プロセッサ10は、仮想空間2において車オブジェクト1120を移動方向1160に移動させる。プロセッサ10はさらに、車オブジェクト1120の移動方向1160への移動に連動して仮想カメラ1を移動方向1160に移動させる。なお、他の局面において、プロセッサ10は、仮想カメラ1を車オブジェクト1120の後方斜め上に配置せず、車オブジェクト1120の位置(例えば運転席)に配置するように構成されてもよい。係る場合、ユーザ190は、さも自分が車オブジェクト1120を運転しているかのような感覚を覚え得る。
上述したように、仮想カメラ1を車オブジェクト1120の移動方向1160に対し後方斜め上に配置し、車オブジェクト1120の移動方向1160への移動に連動して仮想カメラ1を移動させる。この場合、視界画像1100上における車オブジェクト1120の位置は、視界画像1100の下端中央付近となる。また、障害オブジェクト1130,1135は、視界画像1100上において、移動方向1170へ移動するので、視界画像1100の中心付近(奥側)から視界画像1100の下端(手前側)へ移動することになる。同様に、木オブジェクト1140,1145,1150は、視界画像1100上において、移動方向1190へ移動するので、視界画像1100の中心付近(奥側)から視界画像1100の下端右側(手前側)へ移動することになる。その結果、ユーザ190は、障害オブジェクト1130,1135および木オブジェクト1140,1145,1150が車オブジェクト1120に近づいてくる視界画像を視認する。
ユーザ190は、コントローラ160を操作することによって、車オブジェクト1120をコースオブジェクト1110の幅方向に動かして、車オブジェクト1120が障害オブジェクト1130,1135に衝突することを避ける。ある局面において、車オブジェクト1120をコースオブジェクト1110の幅方向に移動させるコントローラ160の操作は、コントローラ160の姿勢による入力が挙げられる。例えば、車オブジェクト1120を右方向に移動させる場合、コントローラ160を右方向に傾け、車オブジェクト1120を左方向に移動させる場合、コントローラ160を左方向に傾ければよい。
コースオブジェクト1110は、仮想空間2において、車オブジェクト1120を移動方向1160にガイドするために配置される。換言すれば、コースオブジェクト1110は、仮想空間2において、車オブジェクト1120を移動方向1160に移動させるようにガイドする。
なお上記の例においてコンピュータ200は、自動スクロールゲームを実現するために車オブジェクト1120および仮想カメラ1を移動方向1160に自動的に移動させる構成を採用しているが、他の局面において、車オブジェクト1120および仮想カメラ1以外のオブジェクトを移動方向1160と逆の方向に移動させてもよい。当該構成によっても、ユーザ190は、車オブジェクト1120および仮想カメラ1が移動方向1160に移動しているように感じることができるためである。
視界画像1100において、移動方向1160と、視線方向1180とは同じ方向を向いている。この状態においては、視界画像1100によるベクションは引き起こされにくく、VR酔いは生じにくい。その理由は、移動方向1160と視線方向1180とが同じ方向を向いている場合、視界画像1100上においては、オブジェクトの広範囲に渡る流れが生じにくく、ユーザ190の視線があまり動かないためである。
例えば、コースオブジェクト1110上に配置されている障害オブジェクト1130,1135は、前述したように、視界画像1100の中心付近(奥側)から視界画像1100の下端(手前側)へ移動する。この際、視界画像1100上では、障害オブジェクト1130,1135が奥側から手前側に移動するにつれて障害オブジェクト1130,1135が徐々に大きく表示される。このため、視界画像1100上における障害オブジェクト1130,1135の位置(例えば、中心位置)の移動は、局所的な範囲に収まり、視界画像1100上において広範囲に渡る流れは生じない。また例えば、コースオブジェクト1110外に配置されている木オブジェクト1140,1145,1150は、前述したように、視界画像1100の中心付近(奥側)から視界画像1100の下端右側(手前側)へ移動する。この際、視界画像1100上では、木オブジェクト1140,1145,1150が奥側から手前側に移動するにつれて木オブジェクト1140,1145,1150が徐々に大きく表示される。このため、視界画像1100上における木オブジェクト1140,1145,1150の位置(例えば、中心位置)の移動についても、局所的な範囲に収まる。
このように、移動方向1160と視線方向1180とが同じ方向を向いている場合、仮想カメラ1や車オブジェクト1120に対して相対移動する障害オブジェクト1130,1135や木オブジェクト1140,1145,1150の移動方向は、車オブジェクト1120や仮想カメラ1に迫ってくるような移動方向となる。このため、視界画像1100上においてオブジェクトの広範囲に渡る流れは生じにくく、ユーザ190の視線がこの流れにつられにくいため、視界画像1100によるベクションは引き起こされにくく、VR酔いは生じにくい。
次に、図12に示される視界画像1200について説明する。視界画像1200は、視界画像1100の状態からユーザ190が頭を右方向に回転させた場合にモニタ112に表示される画像である。詳細には、視界画像1200は、ユーザ190が正面方向を向いている状態から頭をy軸右周りに90度回転させた場合にモニタ112に表示される画像である。視界画像1200においては、移動方向1160に対して視線方向1180が大きく傾いている。この状態においては、視界画像1200によるベクションは引き起こされ易く、VR酔いは生じ易い。その理由は、移動方向1160と視線方向1180との傾きが大きい場合、視界画像1200上においては、オブジェクトの広範囲に渡る流れが生じ易く、ユーザ190の視線が動き易いためである。この結果、ユーザ190自身の身体が実際には移動していなくても、移動しているような錯覚が生じてしまう。
図12に示される視界画像1200においては、障害オブジェクト1130は、移動方向1170へ移動し、木オブジェクト1145,1150は、移動方向1190へ移動する。従って、障害オブジェクト1130及び木オブジェクト1145,1150のいずれも、視界画像1100の左端から右端へ移動することになる。その結果、ユーザ190は、障害オブジェクト1130および木オブジェクト1145,1150が左から右に流れる視界画像を視認する。
このように、移動方向1160に対して視線方向1180が大きく傾いている場合、仮想カメラ1や車オブジェクト1120に対して相対移動する障害オブジェクト1130や木オブジェクト1145,1150の移動方向は、仮想カメラ1を横切るような移動方向となる。このため、視界画像1200上における障害オブジェクト1130及び木オブジェクト1145,1150の位置(例えば、中心位置)の移動は広範囲に渡り、視界画像1100上において広範囲に渡る流れが生じてしまう。この結果、ユーザ190の視線がこの流れにつられ易くなってしまい、視界画像1200によるベクションは引き起こされ易く、VR酔いが生じ易くなる。
[VR酔いを抑制する構成]
上述のように、ユーザ190は、移動方向1160と視線方向1180とがなす角度(以下、「差分角度」とも言う)が大きい場合にVR酔いを引き起こしやすくなる。差分角度は、詳細には、仮想空間2において移動方向1160と視線方向1180とがなすY軸周りの角度差である。そこで、ある実施形態に従うプロセッサ10は、差分角度の絶対値に基づいて、ユーザ190のVR酔いを抑制する。差分角度の絶対値は、移動方向1160を基準とする視線方向1180の傾き度合いを表す。そのため、視線方向1180が移動方向1160を基準として右回りに10°傾いた場合も、視線方向1180が移動方向1160を基準として左回りに10°傾いた場合も、差分角度の絶対値は同じになる。
より具体的には、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、仮想カメラ1の視界の範囲(撮影範囲)に含まれるオブジェクトの視認性を差分角度の絶対値が「0」の場合よりも低下させる。オブジェクトの視認性が低下すると当該オブジェクトを認識しづらくなるため、視界画像上における当該オブジェクトの流れも認識されにくくなる。この結果、ユーザ190の視線がこの流れにつられにくくなり、ベクションは引き起こされにくく、VR酔いが生じにくくなる。当該構成によれば、HMDシステム100は、差分角度の絶対値が「0」より大きい場合に、ユーザ190がオブジェクトを見つめることによりVR酔いを引き起こすことを抑制し得る。以下に、図13を用いてオブジェクトの視認性を低下する処理について説明する。図13は、図12の視界画像1200においてオブジェクトの視認性が低下された場合の視界画像1300を表す。
(環境オブジェクトの数を減らす)
ある実施形態において、プロセッサ10は、差分角度の絶対値が「0」の場合に仮想空間2に配置される環境オブジェクトの総数よりも差分角度の絶対値が「0」より大きい場合に仮想空間2に配置される環境オブジェクトの総数を少なくする。なお、環境オブジェクトの総数の削減を仮想空間2上で行うのではなく、視界画像上で行うようにしてもよい。環境オブジェクトとは、主として、車オブジェクト1120や仮想カメラ1に対して相対移動するオブジェクトを想定しているが、これに限定されるものではない。
具体例として視界画像1300に示されるように、差分角度の絶対値が「90°」の場合の領域1310には本来存在するはずの木オブジェクト1150が配置されていない。
当該構成によれば、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に環境オブジェクトの総数を少なくすることにより、ユーザ190が環境オブジェクトを見つめる可能性を低減する。つまり、環境オブジェクトの総数を削減することで、ユーザ190の視線が環境オブジェクトの流れにつられる可能性を削減する。その結果、ユーザ190がVR酔いを引き起こすことを抑制し得る。
(環境オブジェクトの色を変更)
ある実施形態において、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトの色と、当該環境オブジェクトの周囲の色との差を小さくする。
たとえば、木オブジェクト1145の色が「赤色」で、木オブジェクト1145の周囲(例えば、仮想空間画像22)の色が「青色」である場合、プロセッサ10は、木オブジェクト1145の色を青色に近づける、または青色に変更する。
当該構成によれば、ユーザ190は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトと、当該環境オブジェクトの周囲との見分けが付きにくくなる。つまり、環境オブジェクトの色を周囲の色と調和させることで、視界画像上における当該環境オブジェクトの流れを認識されにくくする。その結果、ユーザ190の視線が環境オブジェクトの流れにつられる可能性が削減され、VR酔いを引き起こしにくくなる。なお、環境オブジェクトの色を周囲の色と調和は、仮想空間2上で行うようにしてもよいし、視界画像上で行うようにしてもよい。
(その他の構成)
ある実施形態において、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトに用いられるテクスチャの解像度を低下させる。他の実施形態において、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトのポリゴン数を減らす。つまり、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトを荒く表現するようにしてもよい。当該構成によっても、環境オブジェクトの視認性が低下される結果、ユーザ190の視線が環境オブジェクトの流れにつられる可能性が削減され、VR酔いを引き起こしにくくなる。なお、環境オブジェクトの荒さ調整は、仮想空間2上で行うようにしてもよいし、視界画像上で行うようにしてもよい。
さらに他の実施形態において、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、仮想カメラ1に関連付けられる設定値を変更することにより、視界画像の視認性を低下させる。設定値は、たとえば、仮想カメラ1の「被写界深度」や、実際のカメラの「絞り」に相当する仮想カメラ1の機能などを含む。プロセッサ10は、これらの設定値を変更することにより、ボケた視界画像をモニタ112に出力できる。これにより、ユーザ190は、環境オブジェクトを視認しづらくなり、視界画像上における当該環境オブジェクトの流れも認識しにくくなるので、VR酔いを引き起こしにくくなる。
さらに他の実施形態において、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、環境オブジェクトの周囲または仮想カメラ1の前方に、環境オブジェクトの視認性を低下させるための処理を施してもよい。詳細には、少なくとも、仮想空間2における、環境オブジェクトと仮想カメラ1との間の空間に対して、環境オブジェクトの視認性を低下させるための処理を施せばよい。たとえば、プロセッサ10は、フォグ処理を施すことにより、仮想空間2上において、環境オブジェクトに、または全体的に”もや”を施す。当該構成によっても、ユーザ190は、環境オブジェクトを視認しづらくなり、視界画像上における当該環境オブジェクトの流れも認識しにくくなるので、VR酔いを引き起こしにくくなる。
(コース外に配置されるオブジェクトの視認性を低下)
ある実施形態においては、環境オブジェクトを、車オブジェクト1120や仮想カメラ1に対して相対移動し、かつコースオブジェクト1110外に配置されているオブジェクトとしてもよい。この実施形態に従うプロセッサ10は、複数の環境オブジェクトのうち、コースオブジェクト1110の外に配置される環境オブジェクト(以下、「コース外オブジェクト」とも言う)の視認性を低下させるように構成される。
差分角度の絶対値が「0」より大きい場合であれば、コースオブジェクト1110上に配置されているか否かに関わらず、環境オブジェクトは仮想カメラ1を横切るような移動方向となる可能性がある。しかしながら、コースオブジェクト1110上に配置されている環境オブジェクトは、コース外オブジェクトよりも仮想カメラ1との距離が近くなるため、コース外オブジェクトに比べ仮想カメラ1を横切る時間が短くなる。つまり、コースオブジェクト1110上に配置されている環境オブジェクトは、コース外オブジェクトに比べ仮想カメラ1を横切る速度が速くなる。ここで、環境オブジェクトの仮想カメラ1を横切る速度が一定速度以上になると、環境オブジェクトの速度が速すぎて、ユーザ190の視線が環境オブジェクトの流れにつられにくくなる。このため、環境オブジェクトが仮想カメラ1を横切る際の速度が一定速度以上となることが担保されるコースオブジェクト1110上に配置されている環境オブジェクトについては、視認性を低下させず、コース外オブジェクトについては、視認性を低下させるようにしてもよい。このようにすれば、不要な視認性低下処理を削減できるため、処理負荷を軽減できる。
(遮蔽オブジェクトによりコース外オブジェクトの視認性を低下)
ある実施形態において、プロセッサ10は、コースオブジェクト1110の境界部分(この例ではコース幅方向の両端)に、遮蔽オブジェクト1320を配置する。遮蔽オブジェクト1320は、コース外オブジェクトの少なくとも一部を遮蔽する。
プロセッサ10は、差分角度の絶対値が「0」の場合に、遮蔽オブジェクト1320の透明度を100%にする。つまり、差分角度の絶対値が「0」の場合、ユーザ190は遮蔽オブジェクト1320を視認できない。
プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、遮蔽オブジェクト1320の透明度を小さくする。これによりユーザ190は、遮蔽オブジェクト1320を視認する。その結果、遮蔽オブジェクト1320によってコース外オブジェクトの少なくとも一部が隠れる。これにより、ユーザ190は、コース外オブジェクトを視認しづらくなり、VR酔いを引き起こしにくくなる。
なお、遮蔽オブジェクト1320は、コース外オブジェクトを遮蔽できるオブジェクト出あればどのようなオブジェクトであってもよい。例えば、遮蔽オブジェクト1320は、ガードレールオブジェクトや壁オブジェクトのような静的なオブジェクトであってもよいし、車オブジェクト1120と併走する大型車オブジェクトなどの動的なオブジェクトであってもよい。また、遮蔽オブジェクト1320が視界画像1300上で目立つ流れを生じさせてしまうことを防止する上でも、遮蔽オブジェクト1320の色を、周囲の色と調和させておくことが好ましい。つまり、遮蔽オブジェクト1320の色は、周囲の色と調和する単色で構成されていることが好ましい。
(コース外オブジェクトの密度を減らす)
ユーザ190はコース外オブジェクトを視認しようとする場合、自身の頭(つまりHMD110)を回転させる。その結果、差分角度の絶対値が大きくなり、ユーザ190はVR酔いを引き起こし得る。
そこで、ある実施形態に従うプロセッサ10は、コース外オブジェクトの密度が予め定められた密度未満になるように、コース外オブジェクトを配置する。たとえば、プロセッサ10は、コースオブジェクト1110に沿った単位長さあたりに配置されるコース外オブジェクトの数が予め定められた数未満になるように、コース外オブジェクトを配置する。
当該構成によれば、プロセッサ10は、ユーザ190がコース外オブジェクトを視認する機会を減らすことにより、ユーザ190がVR酔いを引き起こすことを抑制し得る。
[制御構造]
図14は、環境オブジェクトの視認性を低下させる処理を表すフローチャートである。図14に示される処理は、プロセッサ10がメモリ11またはストレージ12に格納される各種制御プログラムを実行することによって実行される。
ステップS1410にて、プロセッサ10は、HMD110を装着するユーザ190に対して仮想体験を提供するために仮想空間2を定義する。
ステップS1420にて、プロセッサ10は、仮想カメラ1、車オブジェクト1120、コースオブジェクト1110、および環境オブジェクトを仮想空間2に配置する。
ステップS1422にて、プロセッサ10は、仮想カメラ1および車オブジェクト1120をコースオブジェクト1110に沿って自動的に移動させる。
ステップS1424にて、プロセッサ10は、HMD110の動き(傾き)を検出する。一例として、プロセッサ10は、HMD110に設けられたセンサ114(例えばジャイロセンサ)の出力に基づいて、ユーザ190の頭の動き(つまり、HMD110の動き)を検出する。
ステップS1430にて、プロセッサ10は、検出されたユーザ190の頭の動き(傾き)に応じて、仮想カメラ1(仮想視点)が向いている方向(視線方向)を変更する。
ステップS1440にて、プロセッサ10は、仮想カメラ1(仮想視点)の移動方向と、視線方向とがなす差分角度を検出する。ある局面において、プロセッサ10は、ステップS1422の処理の前に、移動方向とHMD110の正面方向とが同じ方向になるように仮想カメラ1の向きを較正する。一例として、プロセッサ10は、ユーザ190に対して正面方向を向いた状態で、コントローラ160の予め定められたボタンを所定時間(例えば3秒間)にわたり押下することを促す。プロセッサ10は、当該ボタンが所定時間にわたり押下されたことを検知したタイミングで、視線方向(仮想カメラ1が向いている方向)と移動方向とを一致させる。この場合、プロセッサ10は、HMD110のヨー角(θv)を差分角度として検出する。
ステップS1450にて、プロセッサ10は、検出された差分角度が予め定められた条件を満たすか否かを判断する。たとえば、プロセッサ10は、差分角度の絶対値が第1角度(例えば30°)より大きい場合に、予め定められた条件を満たすと判断する。
プロセッサ10は、予め定められた条件が満たされたと判断した場合(ステップS1450でYES)、仮想カメラ1の視界の範囲に含まれる所定のオブジェクト(例えば、コース外オブジェクト)の視認性を、差分角度の絶対値が「0」の場合よりも低下させる処理を実行する(ステップS1460)。一方、プロセッサ10は、予め定められた条件が満たされていないと判断した場合(ステップS1450でNO)、ステップS1470の処理を実行する。
なお、プロセッサ10は、ステップS1460の処理において、差分角度の絶対値が第2角度(たとえば、90°)になるまでの間、差分角度の絶対値が大きくなるほど、所定のオブジェクトの視認性の低下度合いを大きくしてもよい。また、プロセッサ10は、差分角度の絶対値が第2角度から第3角度(たとえば、180°)になるまでの間、差分角度の絶対値が小さくなるほど、所定のオブジェクトの視認性の低下度合いを小さくしてもよい。
一例として、プロセッサ10は、差分角度の絶対値が第2角度になるまでの間、差分角度の絶対値が大きくなるほど以下の(1)〜(5)の処理を実行し得る。
(1)所定のオブジェクトを削減する数を多くする。
(2)所定のオブジェクトの色を当該オブジェクトの周囲の色に近づける度合いを大きくする
(3)所定のオブジェクトに用いられるテクスチャの解像度を低下させる度合いを大きくする
(4)所定のオブジェクトを構成するポリゴンを削減する数を多くする
(5)遮蔽オブジェクトの透明度を小さくする度合いを大きくする
ステップS1470にて、プロセッサ10は、仮想カメラ1の視界の範囲に対応する画像である視界画像を生成する。ステップS1480にて、プロセッサ10は、生成した視界画像をHMD110のモニタ112に出力する。その後、プロセッサ10は、ステップS1422の処理を再び実行する。
上記によれば、プロセッサ10は、差分角度の絶対値が「0」より大きい場合に、オブジェクトの視認性を差分角度の絶対値が「0」の場合における視認性よりも低くする。ユーザ190は、オブジェクトの視認性が低下されると当該オブジェクトを認識しづらくなる。その結果、視界画像上における当該オブジェクトの流れも認識されにくくなる。この結果、ユーザ190の視線がこの流れにつられにくくなり、ベクションは引き起こされにくく、VR酔いが生じにくくなる。
[仮想カメラ1が自動的に移動しない場合]
上記の例では、仮想カメラ1(つまり、仮想空間2における仮想視点)が自動的に移動するように構成されていた。他の局面において、仮想カメラ1は、自動的に移動せず、ユーザ190の入力によって移動するように構成される。
係る場合、プロセッサ10は、ユーザ190の入力により定まる仮想カメラ1の移動方向と、仮想カメラ1の向いている方向(視線方向)との差分角度に基づいて、オブジェクトの視認性を低下させる処理を実行する。つまり、仮想カメラ1が自動的に移動しない場合、プロセッサ10は、ユーザ190が仮想カメラ1を移動させる指示を入力している間だけ、オブジェクトの視認性を低下させる処理を実行する。
[当初からのコース外オブジェクトの削減]
図11を参照して、視界画像1100上における障害オブジェクト1130,1135の移動と木オブジェクト1140,1145,1150の移動とを比較する。障害オブジェクト1130,1135はコースオブジェクト1110上に配置されているため、障害オブジェクト1130,1135の移動は、視界画像1100の中心付近から視界画像1100の下端へ移動となる。これに対し、木オブジェクト1140,1145,1150は、コースオブジェクト1110上に配置されていないため、木オブジェクト1140,1145,1150の移動は、視界画像1100の中心付近から視界画像1100の下端右側への移動となる。このため、視界画像1100上におけるいずれの移動も局所的な移動ではあるが、木オブジェクト1140,1145,1150の移動の方が、障害オブジェクト1130,1135の移動よりも移動範囲は大きくなり、オブジェクトの流れが生じやすい。このため、差分角度の絶対値に関わらず、コース外オブジェクトを最初から削減しておくようにしてもよい。
[他のHMDの構成]
上記の例では、HMDシステム100は、HMD110と、コンピュータ200とを備え、各種の演算処理をコンピュータ200のプロセッサ10が実行するように構成されている。以下にHMDシステムの他の構成例を説明する。
図15は、HMDシステム300の構成を表す。HMDシステム300は、HMD310と、携帯型の情報処理端末320とを有する。HMD310は、筐体にスマートフォンを装着可能な形式の所謂モバイル型のHMDである。以下で説明するHMD310は、上述のセンサ114を備えており、当該センサ114を用いてHMD110の向きを検出可能である。
HMD310は、筐体311と、ベルト312と、調節部材313と、前カバー314と、突起316とを有する。ユーザ190は、ベルト312を自身の頭部に引っかけた後に、調節部材313でベルト312の長さを調節することにより、HMD310を自身の頭部に固定する。
前カバー314は、筐体311の前方下部に取り付けられており、取り付け箇所を軸として回動可能に構成される。前カバー314にはフック315が設けられている。ユーザ190は、前カバー314に情報処理端末320を載せた状態で、前カバー314を閉じる。ユーザ190はさらに、前カバー314が閉じられた状態でフック315を突起316に引っかけることにより、情報処理端末320をHMD310に固定する。
筐体311はさらに、レンズ317を有する。レンズ317は、左目用のレンズと右目用のレンズとを含む。筐体311のレンズ317から前方部分は開口されている。ユーザ190は、HMD310を頭部に装着した状態において、レンズ317を介して情報処理端末320のモニタ321を視認する。なお、HMD310はさらに、レンズ317の位置を調節するための調節機構を有していてもよい。
情報処理端末320はさらに、上述のプロセッサ10,メモリ11,ストレージ12,通信インターフェース14,センサ114,スピーカ115,マイク119の各々に相当する構成要素を含む(図示しない)。HMDシステム300において、上述の各種処理(視界画像を生成する処理など)は、情報処理端末320に設けられたプロセッサが各種の構成要素と連携することにより実現される。
[他のコントローラの構成]
図16は、他のコントローラ400の構成を表す。ユーザ190は、コントローラ400を手に把持した状態で使用する。ユーザ190は、コントローラ400を片手または両手で把持する。
コントローラ400は、タッチパッド410と、アプリボタン420と、ホームボタン430と、音量ボタン440と、モーションセンサ130と、通信インターフェース450とを有する。
タッチパッド410は、複数のタッチセンサにより構成される。タッチパッド410は、コントローラ400の長手方向に分割される領域411〜413のいずれの領域をユーザ190によって触られているかを判別可能に構成される。たとえば、ユーザ190は、領域412から領域411に指をスライドさせることで、仮想空間2に配置されるオブジェクトを前方に移動させ得る。但し、タッチパッド410は、単一のタッチセンサにより構成されてもよい。
アプリボタン420は、ゲームなどのアプリケーションにおいて使用されるボタンである。たとえば、プロセッサ10は、アプリボタン420が押下されたことを検知すると、メニュー画面をモニタ112(モニタ321)に表示する。ホームボタン430は、予め定められた画面(たとえば、アプリボタン420を使用するアプリケーションとは異なるアプリケーションの画面)をモニタ112(モニタ321)に表示するためのボタンである。音量ボタン440は、スピーカ115の音量を調整するためのボタンである。
コントローラ400に設けられたモーションセンサ130は、3軸の加速度センサと、3軸の角速度センサとを有する。また、上述の通り、コントローラ400は、ユーザ190の手によって把持される。そのため、コンピュータ200(情報処理端末320)は、モーションセンサ130の出力に基づいて、ユーザ190の手の傾きを検出できる。
通信インターフェース450は、ユーザ190のコントローラ400に対する操作内容を表す信号をコンピュータ200(情報処理端末320)に送信する。たとえば、通信インターフェース450はBluetooth(登録商標)その他の近距離無線通信規格に従い、対向デバイスと通信する。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) ある実施形態に従うと、ユーザ190の頭部に関連付けられた画像表示装置(例えば、モニタ112、321)を介して当該ユーザ190に仮想体験を提供するためのコンピュータで実行されるプログラムが提供される。このプログラムはコンピュータに、仮想体験を提供するための仮想空間2を定義するステップ(ステップS1410)と、仮想空間2に配置された仮想視点(例えば仮想カメラ1)を移動させるステップ(ステップS1422)と、ユーザ190の頭部の動きに応じて、仮想視点の視線方向を制御するステップ(ステップS1430)と、仮想視点の移動方向と仮想視点の視線方向との差(差分角度)を検出するステップ(ステップS1440)と、差の絶対値が0より大きい場合に、仮想視点の視線方向に応じて定まる仮想視点からの視界の範囲に含まれる1以上の所定のオブジェクト(たとえば、コース外オブジェクト)の視認性を差の絶対値が0の場合よりも低下させるステップ(ステップS1460)と、視界の範囲に対応する画像である視界画像を生成するステップ(ステップS1470)と、視界画像を画像表示装置に出力させるステップ(ステップS1480)とを実行させる。
上記の仮想視点を移動させるステップは、仮想空間2における仮想視点の絶対的な移動と相対的な移動とを含む。相対的な移動とは、仮想視点以外のオブジェクトを動かすことにより、仮想視点が当該オブジェクトに対して相対的に移動することを含む。また、仮想視点の絶対的な移動には、ユーザ190の入力によらない自動的な移動と、ユーザ190の入力に従う移動とを含む。
上記の仮想視点の視線方向を制御するステップは、ユーザ190が頭部に装着するHMD(またはHMDに装着される情報処理装置)に設けられたセンサに従いユーザ190の頭部の動きを検知することを含む。
(構成2) プログラムは、上記の低下させるステップにおいて、差の絶対値が0より大きい第1値より大きい場合(ステップS1450でYES)に、1以上の所定のオブジェクトの視認性を差の絶対値が0の場合の視認性よりも低くする。
(構成3) プログラムは、上記の低下させるステップにおいて、差の絶対値が第2値になるまでの間、差の絶対値が大きくなるほど、1以上の所定のオブジェクトの視認性の低下度合いを大きくする。
当該構成によれば、プログラムは、VR酔いが生じやすい条件ほど1以上の所定のオブジェクトの視認性をより低下させる。これにより、視界画像上における当該オブジェクトの流れも認識されにくくなる。この結果、ユーザ190の視線がこの流れにつられにくくなり、ベクションは引き起こされにくく、VR酔いが生じにくくなる。
(構成4) プログラムは、上記の低下させるステップにおいて、差の絶対値が0の場合よりも差の絶対値が0より大きい場合の方が1以上の所定オブジェクトの総数を少なくする。
(構成5) プログラムは、上記の低下させるステップにおいて、差の絶対値が0の場合よりも差の絶対値が0より大きい場合の方が、1以上の所定オブジェクトの色と1以上の所定オブジェクトの周囲の色との差を小さくする。
(構成6) 上記のプログラムはコンピュータに、移動オブジェクトを奥行き方向に移動させるようにガイドするガイドオブジェクトに沿って、移動オブジェクトを奥行き方向に移動させるステップ(ステップS1422)をさらに実行させる。仮想視点は、移動オブジェクトの後方または移動オブジェクト上に位置する。上記の仮想視点を移動させるステップでは、移動オブジェクトの奥行き方向の移動に連動して仮想視点を奥行き方向に移動させる。1以上の所定のオブジェクトは、仮想視点からの視界の範囲に含まれ、かつガイドオブジェクトにより規定される範囲外に配置されている。
なお、ガイドオブジェクトは、上述のコースオブジェクト1110に限られず、たとえば、奥行き方向を指し示した看板オブジェクトなどを含む。また、移動オブジェクトは、上述の車オブジェクト1120に限られず、仮想視点(仮想カメラ1)と連動して動くオブジェクトであればよい。
(構成7) 上記のガイドオブジェクトの境界部分には、仮想視点から1以上の所定のオブジェクトの少なくとも一部を遮蔽可能な遮蔽オブジェクト1320が配置されている。プログラムは、上記の低下させるステップにおいて、差の絶対値が0の場合よりも差の絶対値が0より大きい場合の方が遮蔽オブジェクトの透過度を小さくする。
(構成8) ある実施形態に従うと、プロセッサと、プログラムを格納するメモリとを備える情報処理装置が提供される。このプロセッサは、プログラムを実行することにより、仮想体験を提供するための仮想空間2を定義し、仮想空間2に配置された仮想視点を移動させ、ユーザ190の頭部の動きに応じて、仮想視点の視線方向を制御し、仮想視点の移動方向と仮想視点の視線方向との差を検出し、差の絶対値が0より大きい場合に、仮想視点の視線方向に応じて定まる仮想視点からの視界の範囲に含まれる1以上の所定のオブジェクトの視認性を差の絶対値が0の場合よりも低下させ、視界の範囲に対応する画像である視界画像を生成し、視界画像をユーザ190の頭部に関連付けられる画像表示装置に出力させる。
(構成9) ある実施形態に従うと、ユーザ190の頭部に関連付けられる画像表示装置を介して仮想体験を提供するためのコンピュータで実行される方法が提供される。この方法は、仮想体験を提供するための仮想空間2を定義するステップと、仮想空間2に配置された仮想視点を移動させるステップと、ユーザ190の頭部の動きに応じて、仮想視点の視線方向を制御するステップと、仮想視点の移動方向と仮想視点の視線方向との差を検出するステップと、差の絶対値が0より大きい場合に、仮想視点の視線方向に応じて定まる仮想視点からの視界の範囲に含まれる1以上の所定のオブジェクトの視認性を差の絶対値が0の場合よりも低下させるステップと、視界の範囲に対応する画像である視界画像を生成するステップと、視界画像を画像表示装置に出力させるステップとを備える。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。