JP2019128947A - プログラム、情報処理装置、および方法 - Google Patents

プログラム、情報処理装置、および方法 Download PDF

Info

Publication number
JP2019128947A
JP2019128947A JP2018217776A JP2018217776A JP2019128947A JP 2019128947 A JP2019128947 A JP 2019128947A JP 2018217776 A JP2018217776 A JP 2018217776A JP 2018217776 A JP2018217776 A JP 2018217776A JP 2019128947 A JP2019128947 A JP 2019128947A
Authority
JP
Japan
Prior art keywords
user
virtual
virtual space
hmd
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018217776A
Other languages
English (en)
Other versions
JP7233202B2 (ja
JP2019128947A5 (ja
Inventor
健志 加田
Kenji Kada
健志 加田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2018217776A priority Critical patent/JP7233202B2/ja
Publication of JP2019128947A publication Critical patent/JP2019128947A/ja
Publication of JP2019128947A5 publication Critical patent/JP2019128947A5/ja
Application granted granted Critical
Publication of JP7233202B2 publication Critical patent/JP7233202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間に対するユーザの没入感をより高める。【解決手段】プロセッサは、仮想カメラと移動オブジェクトとが第1位置関係になるまで、仮想カメラの位置変化に追随するように移動オブジェクトを移動させる(S1609)。プロセッサは、仮想カメラと移動オブジェクトとが第1位置関係になった後、仮想カメラの位置変化に追随させずに移動オブジェクトを移動させる(S1610)。【選択図】図16

Description

本発明は、プログラム、情報処理装置、および方法に関する。
非特許文献1および2に、仮想空間においてユーザが敵キャラクタと戦うゲームの一例
が開示されている。
COLOPL CHANNEL、"TITAN SLAYER - Trailer | HTC Vive, Oculus Rift"、[online]、平成29年4月12日、YouTube(登録商標)、[平成29年11月8日検索]、インターネット〈https://www.youtube.com/watch?v=kuo7Z3sfhKU〉 Unreal Engine、"Bullet Train VR Demo by Epic Games on Oculus | Unreal Engine"、[online]、平成27年9月24日、YouTube(登録商標)、[平成29年11月8日検索]、インターネット〈https://www.youtube.com/watch?v=DmaxmnPzMWE〉
従来の技術には、仮想空間に対するユーザの没入感をより高めることができる余地があ
る。
本開示の一態様は、仮想空間に対するユーザの没入感をより高めることを目的とする。
本発明の一態様によれば、ユーザの頭部に関連付けられた画像表示装置を介して仮想体
験をユーザに提供するために、プロセッサを備えたコンピュータによって実行されるプロ
グラムが提供される。プログラムは、プロセッサに、仮想体験をユーザに提供するための
仮想空間を定義するステップと、ユーザの身体の一部の動きに連動する第1オブジェクト
を仮想空間に生成するステップと、身体の一部の動きに応じて、第1オブジェクトを動か
すステップと、第2オブジェクトを仮想空間に生成するステップと、第1オブジェクトと
第2オブジェクトとが第1位置関係になるまで、第1オブジェクトの位置変化に追随する
ように第2オブジェクトを移動させ、第1オブジェクトと第2オブジェクトとが第1位置
関係になった後、第1オブジェクトの位置変化に追随させずに第2オブジェクトを移動さ
せるステップと、仮想空間内における仮想視点からの視界に対応する視界画像を定義する
ステップと、視界画像を画像表示装置に出力するステップとを実行させる。
本開示の一態様によれば、仮想空間に対するユーザの没入感をより高めることができる
ある実施の形態に従うHMDシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMDに設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMDを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をX方向から見たYZ断面を表す図である。 仮想空間において視界領域をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各HMDがユーザに仮想空間を提供する状況を表す模式図である。 図12(A)におけるユーザ5Aの視界画像を示す図である。 ある実施の形態に従うHMDシステムにおいて実行する処理を示すシーケンス図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を表す図である。 ある実施の形態に従う仮想空間および視界画像を表す図である。 ある実施の形態に従う仮想空間を表す図である。 ある実施の形態に従う仮想空間を表す図である。
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下
の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じで
ある。したがって、それらについての詳細な説明は繰り返さない。本開示において示され
る1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、
かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明
する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。
HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供
される。
HMDシステム100は、サーバ600と、HMDセット110A,110B,110
C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,
110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機
器700と通信可能に構成される。以下、HMDセット110A,110B,110C,
110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するH
MDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセ
ット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディス
プレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注
視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピー
カ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に
接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと
通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコ
ンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMD
センサ410の代わりに、センサ190を含み得る。
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得
る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130
にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目
の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備え
る所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装
着可能なヘッドマウント機器のいずれをも含み得る。
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、
モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置され
ている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、
仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユー
ザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面
において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニ
タまたは有機EL(Electro Luminescence)モニタとして実現され得る。
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合
、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型
のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより
、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空
間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例え
ば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示
してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左
目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130
は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合
、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にの
み認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤
外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410
は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具
体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実
空間内におけるHMD120の位置および傾きを検出する。
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合
、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像
解析処理を実行することにより、HMD120の位置および傾きを検出することができる
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わり
に、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は
、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、セ
ンサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD1
20は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の
位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角
速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。
HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算
出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。
つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば
、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラ
ッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は
、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例
えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜およ
び虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい
。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することが
できる。
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ1
50は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目およ
び眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD1
20のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第
1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120
の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コ
ンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ16
0とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにし
てもよい。
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ20
0に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の
局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
コントローラ300は、有線または無線によりコンピュータ200に接続されている。
コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。
ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別
の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能
に構成される。さらに別の局面において、コントローラ300は、コンピュータ200か
ら送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するよう
に構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、
仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外
線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機
能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外
線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別
の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、H
MDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画
像解析処理を実行することにより、コントローラ300の位置および傾きを検出すること
ができる。
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユー
ザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数
等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ4
20は、例えば、コントローラ300に設けられている。ある局面において、モーション
センサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けら
れている。別の局面において、現実空間における安全のため、コントローラ300は、手
袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着され
る。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検
出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信
号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュ
ータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特
に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いら
れる。
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。
これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様
の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像
である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430と
しては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、
サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するため
の他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数
のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基
づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間にお
いて複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、
各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信す
るようにしてもよい。
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であ
ってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と
通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200
と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバ
イス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられ
るが、これらに限定されるものではない。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、
本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図であ
る。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220
と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス25
0とを備える。各構成要素は、それぞれ、バス260に接続されている。
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予
め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格
納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッ
サ210は、CPU(Central Processing Unit)、GPU(Graphics Processing U
nit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Arr
ay)その他のデバイスとして実現される。
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば
、ストレージ230からロードされる。データは、コンピュータ200に入力されたデー
タと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ
220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230
は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、
その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは
、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーショ
ンプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との
通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想
空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置と
して実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたスト
レージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使
用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施
設のように複数のHMDシステム100が使用される場面において、プログラムやデータ
の更新を一括して行なうことが可能になる。
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセ
ンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれる
モニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170
およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピ
ュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240
は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HD
MI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実
現される。入出力インターフェイス240は上述のものに限られない。
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と
通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモー
ションセンサ420から出力された信号の入力を受ける。別の局面において、入出力イン
ターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に
送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントロ
ーラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光の
いずれかを実行する。
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続
されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、
通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線
通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetoot
h(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェ
イスとして実現される。通信インターフェイス250は上述のものに限られない。
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ
230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラ
ムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200
のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、
仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力イ
ンターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。
HMD120は、その信号に基づいてモニタ130に映像を表示する。
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成
が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵され
てもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフ
ォン)がコンピュータ200として機能してもよい。
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい
。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもで
きるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむこ
とができる。
ある実施の形態において、HMDシステム100では、現実空間における座標系である
実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直
交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ
平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方
向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、
実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方
向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、H
MD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を
検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基
づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD1
20の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時
的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるH
MD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるH
MD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120
に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において
物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従う
HMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ41
0は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出
する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120
に設定する。
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中
心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120
は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、
実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることに
よって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸
(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認して
いる場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設
定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後
方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(
v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD12
0の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出で
きる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系
におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)を
それぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHM
D120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りの
HMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール
軸周りのHMD120の傾き角度を表す。
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動
いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD1
20と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに
関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および
傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および
傾きが変化する。
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得さ
れる赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)
に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相
対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現
実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮
想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の36
0度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、
仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規
定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXY
Z座標系における座標値として予め規定されている。コンピュータ200は、仮想空間1
1に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間
11において対応する各メッシュにそれぞれ対応付ける。
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定され
る。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、
鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される
。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ
座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方
向)が実座標系のz軸と平行である。
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が
、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想
カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は
、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。こ
れにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11にお
いて同様に再現され得る。
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。
仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)にお
けるHMD120のuvw視野座標系に連動するように規定されている。したがって、H
MD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想
カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮
想空間11において移動することもできる。
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線1
6)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮
想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり
、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際
の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニ
タ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、H
MD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシス
テム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14
のuvw視野座標系におけるユーザ5の視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に
従うHMD120を装着するユーザ5の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出す
る。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1
およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ
140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およ
びL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。
注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視セ
ンサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点で
ある注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値
を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特
定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N
0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線
の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0
は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域1
5に対してユーザ5が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えて
もよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレ
ビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための
通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11に
おいて視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11に
おいて視界領域15をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18
は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義され
る。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲
を、領域18として規定する。
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19
は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義され
る。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含
む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づい
て、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11にお
ける視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する
部分に相当する画像である。ユーザ5が、頭部に装着したHMD120を動かすと、その
動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の
位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像
13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像
に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線
16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の
視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、
モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間
11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100
は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間
における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合
、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づい
て、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を
提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。
ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラ
に設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現しても
よい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画
像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮
想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロー
ル軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとし
て、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形
態に従うコントローラ300の概略構成を表す図である。
図8に示されるように、ある局面において、コントローラ300は、右コントローラ3
00Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の
右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において
、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。
したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを
把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ
300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コント
ローラ300Rについて説明する。
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備
える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。た
とえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによ
って保持され得る。
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタ
ン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボ
タン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付け
る。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される
。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作
がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ3
10は、モーションセンサ420を備えなくてもよい。
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む
。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プ
ログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線
は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出す
るために使用され得る。図8に示される例では、二列に配置された赤外線LED360が
示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の
配列が使用されてもよい。
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタ
ン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユ
ーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面に
おいて、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける
。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作
を含む。
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED3
60その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型な
どを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コ
ントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る
。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対し
て、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばし
た場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向
の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定
される。
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実
施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ
600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ6
30と、入出力インターフェイス640と、通信インターフェイス650とを備える。各
構成要素は、それぞれ、バス660に接続されている。
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定め
られた条件が成立したことに基づいて、メモリ620またはストレージ630に格納され
ているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ61
0は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば
、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、
プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620
は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630
は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置
として実現される。ストレージ630に格納されるプログラムは、HMDシステム100
において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプ
ログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログ
ラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するため
のデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置と
して実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ
630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する
構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のよ
うに複数のHMDシステム100が使用される場面において、プログラムやデータの更新
を一括して行なうことが可能になる。
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面にお
いて、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用い
て実現される。入出力インターフェイス640は上述のものに限られない。
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続
されているコンピュータ200と通信する。ある局面において、通信インターフェイス6
50は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bl
uetooth、NFCその他の無線通信インターフェイスとして実現される。通信イン
ターフェイス650は上述のものに限られない。
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ
630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラ
ムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペ
レーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空
間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インター
フェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送って
もよい。
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態におい
て、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、
ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図であ
る。
図10に示されるように、コンピュータ200は、コントロールモジュール510と、
レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール54
0とを備える。ある局面において、コントロールモジュール510とレンダリングモジュ
ール520とは、プロセッサ210によって実現される。別の局面において、複数のプロ
セッサ210がコントロールモジュール510とレンダリングモジュール520として作
動してもよい。メモリモジュール530は、メモリ220またはストレージ230によっ
て実現される。通信制御モジュール540は、通信インターフェイス250によって実現
される。
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コ
ントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシ
ステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジ
ュール530に記憶されている。コントロールモジュール510が、仮想空間データを生
成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、
仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュ
ール530に記憶されている。コントロールモジュール510が、オブジェクトデータを
生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよ
い。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタ
オブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、
ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等
を含み得る。
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュー
タ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面におい
て、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11
に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像
に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局
面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例え
ば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ
5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120
の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセ
ンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コン
トロールモジュール510は、第1カメラ150および第2カメラ160が生成するユー
ザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。
コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5
の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユ
ーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)
を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定さ
れるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出
する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。
別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報を
サーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視
線情報に基づいて視点位置を算出し得る。
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動き
をアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD
120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロール
モジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブ
ジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユ
ーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させ
る。ある局面において、コントロールモジュール510は、コントローラ300の動きを
アバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は
、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または
複数の発光素子(例えば、赤外線LED)などを備える。
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付ける
ための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操
作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局
面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブ
ジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーショ
ンセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように
仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは
、アバターオブジェクトの手の部分に相当し得る。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれ
が、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール
510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジ
ョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め
定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェク
トとが触れている状態から離れたタイミングを検出することができ、当該検出がされたと
きに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトと
オブジェクトとが触れている状態であることを検出することができる。例えば、コントロ
ールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、こ
れら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処
理を行なう。
ある局面において、コントロールモジュール510は、HMD120のモニタ130に
おける画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に
仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮
想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュ
ール510は、HMD120を装着したユーザ5の頭部の傾きと、仮想カメラ14の位置
に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界
領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリング
モジュール520により生成された視界画像17は、通信制御モジュール540によって
HMD120に出力される。
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用い
た発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を
特定する。音声データは、コントロールモジュール510によって特定されたコンピュー
タ200に送信される。コントロールモジュール510は、ネットワーク2を介して他の
ユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音
声(発話)をスピーカ180から出力する。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供する
ために使用されるデータを保持している。ある局面において、メモリモジュール540は
、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持
している。
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11
にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止
画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像
とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成
された画像が挙げられる。
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユ
ーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスま
たはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザ
IDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置と
してコンピュータ200を機能させるためのプログラム等を含む。
メモリモジュール530に格納されているデータおよびプログラムは、HMD120の
ユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供す
る事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデー
タをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュー
ル530に格納する。
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通
信装置と通信し得る。
ある局面において、コントロールモジュール510及びレンダリングモジュール520
は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用
いて実現され得る。別の局面において、コントロールモジュール510及びレンダリング
モジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ410により実行さ
れるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクそ
の他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD
−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、
プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インタ
ーネットその他のネットワークに接続されている情報提供事業者によってダウンロード可
能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディス
ク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは
、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロー
ドされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210
によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納さ
れる。プロセッサ210は、そのプログラムを実行する。
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある
実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチ
ャートである。
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ
210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間1
1を定義する。
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。たとえ
ば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11
において予め規定された中心点12に配置し、仮想カメラ14の視線をユーザ5が向いて
いる方向に向ける。
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として
、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像デー
タは、通信制御モジュール540によってHMD120に出力される。
ステップS1132にて、HMD120のモニタ130は、コンピュータ200から受
信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ
5は、視界画像を視認すると仮想空間11を認識し得る。
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の
赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知デー
タとして、コンピュータ200に出力される。
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含ま
れる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し
、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクト
を配置する。
ステップS1160にて、コントローラ300は、モーションセンサ420から出力さ
れる信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データを
コンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300
の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出
データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の
操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュ
ール540によってHMD120に出力される。
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画
像を更新し、更新後の視界画像をモニタ130に表示する。
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて
説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクト
を説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット
110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセ
ット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の
参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付さ
れ、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット1
10Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HM
Dセット110Aに含まれる。
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11
を提供する状況を表す模式図である。コンピュータ200A〜200Dは、HMD120
A〜120Dを介して、ユーザ5A〜5Dに、仮想空間11A〜11Dをそれぞれ提供す
る。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデ
ータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200
Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bに
は、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6B
とが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11B
におけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説
明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD12
0を装着していない。
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮
想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。
視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界
画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユ
ーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユー
ザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話
による通信(コミュニケーション)を図ることができる。より具体的には、マイク170
Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD17
120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユ
ーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HM
D120Aに設けられたスピーカ180Aから出力される。
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プ
ロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映さ
れる。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通
じて認識できる。
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を
表すシーケンスチャートである。図13においては、HMDセット110Dを図示してい
ないが、HMDセット110Dについても、HMDセット110A、110B、110C
と同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符
号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、H
MDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110D
に関する各構成要素の参照符号にDが付されるものとする。
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは
、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情
報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、
および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置
および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユ
ーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5A
の顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキン
グデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げら
れる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの
音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるい
はアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオ
ブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバター
オブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバ
ターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが
挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワ
ーク2を介してサーバ600に送信する。
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは
、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジ
ェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同
様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210
Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバタ
ー情報を取得し、サーバ600に送信する。
ステップS1320において、サーバ600は、HMDセット110A、HMDセット
110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶
する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づ
いて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A〜5C)
のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統
合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これによ
り、同期処理が実行される。このような同期処理により、HMDセット110A、HMD
セット110B、およびHMD110Cは、互いのアバター情報をほぼ同じタイミングで
共有することができる。
続いて、サーバ600から各HMDセット110A〜110Cに送信されたアバター情
報に基づいて、各HMDセット110A〜110Cは、ステップS1330A〜S133
0Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS11
80の処理に相当する。
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは
、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバター
オブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット
110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11にお
けるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ21
0Aは、メモリモジュール540に格納されたオブジェクト情報に含まれるアバターオブ
ジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、
HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想
空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは
、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5
Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330C
において、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけ
るユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図
14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表わすブロ
ック図である。
図14に示されるように、コントロールモジュール510は、仮想オブジェクト生成モ
ジュール1421、仮想カメラ制御モジュール1422、操作オブジェクト制御モジュー
ル1423、移動オブジェクト制御モジュール1424、衝突検出モジュール1425、
および機能制限モジュール1426を備えている。
仮想オブジェクト生成モジュール1421は、各種の仮想オブジェクトを仮想空間11
に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進
行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、
仮想オブジェクトは、仮想カメラ14および操作オブジェクトを含み得る。
仮想カメラ制御モジュール1422は、仮想空間11における仮想カメラ14の挙動を
制御する。仮想カメラ制御モジュール1422は、例えば、仮想空間11における仮想カ
メラ14の配置位置と、仮想カメラ14の向き(傾き)とを制御する。
操作オブジェクト制御モジュール1423は、仮想空間11においてユーザ5の操作を
受け付けるための操作オブジェクトを制御する。ユーザ5は、操作オブジェクトを操作す
ることによって、例えば、仮想空間11に配置される仮想オブジェクトを操作する。ある
局面において、操作オブジェクトは、例えば、HMD120を装着したユーザ5の手に相
当する手オブジェクト(仮想手)等を含み得る。ある局面において、操作オブジェクトは
、後述するアバターオブジェクトの手の部分に相当し得る。
移動オブジェクト制御モジュール1424は、仮想空間11において移動可能な移動オ
ブジェクトを制御する。移動オブジェクト制御モジュール1424は、移動オブジェクト
と、ユーザ5の身体の一部の動きに連動する仮想オブジェクトとの位置関係に基づいた態
様で、移動オブジェクトを移動させる。ユーザ5の身体の一部がユーザ5の頭部である場
合、ユーザ5の頭部の動きに連動する仮想オブジェクトは、例えば仮想カメラ14である
。ユーザ5の身体の一部が手である場合、ユーザ5の手の動きに連動する仮想オブジェク
トは、例えば操作オブジェクトである。
衝突検出モジュール1425は、仮想空間11に配置される仮想オブジェクトのそれぞ
れが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュー
ル1425は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイ
ミングを検出することができる。衝突検出モジュール1425は、ある仮想オブジェクト
と他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができ
る。衝突検出モジュール1425は、ある仮想オブジェクトと他の仮想オブジェクトとが
触れている状態であることを検出することもできる。衝突検出モジュール1425は、例
えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジ
ェクトと他のオブジェクトとが触れたことを検出する。コントロールモジュール510は
、これらの検出結果に基づいて、予め定められた処理を実行する。
図15は、ある実施の形態に従う仮想空間11および視界画像1517を示す図である
。図15(A)では、ユーザ5に仮想体験を提供するための仮想空間11に、アバターオ
ブジェクト6、仮想カメラ14(第1オブジェクト)、固定オブジェクト1531、固定
オブジェクト1532、および移動オブジェクト1533(第2オブジェクト)が配置さ
れる。アバターオブジェクト6は、仮想右手1521R(第1オブジェクト)および仮想
左手1521L(第1オブジェクト)を含む。仮想右手1521Rは操作オブジェクトの
一種であり、ユーザ5の右手の動きに応じて仮想空間11において動くことができる。仮
想左手1521Lは操作オブジェクトの一種であり、ユーザ5の左手の動きに応じて仮想
空間11において動くことができる。固定オブジェクト1531および1532は仮想オ
ブジェクトの一種であり、仮想空間11における規定の位置に固定される。移動オブジェ
クト1533は仮想オブジェクトの一種であり、移動オブジェクト制御モジュール142
4による制御に応じて仮想空間11において移動することができる。
図15(A)に示す仮想空間11は、コンピュータ200においてゲームコンテンツが
再生されることによって、構築される。このゲームコンテンツに対応するゲームは、例え
ば、図示しない敵キャラクタとアバターオブジェクト6が戦闘することによって、進行す
る。移動オブジェクト1533は、ゲーム中にアバターオブジェクト6を攻撃するための
武器オブジェクトの一種である。移動オブジェクト1533は、例えば、ミサイルまたは
矢などのように、敵キャラクタから放たれることによって敵キャラクタと離れた状態でア
バターオブジェクト6に向かって移動する。移動オブジェクト1533は、例えば、敵キ
ャラクタの身体の一部(手、足、または牙など)または当該身体の一部によって把持され
る武器オブジェクト(剣、槍など)であり、敵キャラクタの動作によって敵キャラクタと
一体化した状態でアバターオブジェクト6に向かって移動する。
コントロールモジュール510は、アバターオブジェクト6に体力パラメータを設定す
る。移動オブジェクト1533が仮想カメラ14(第2オブジェクト)またはアバターオ
ブジェクト6に衝突すると、アバターオブジェクト6はダメージを受け、体力パラメータ
が減少する。体力パラメータの値が例えばゼロになると、ゲームオーバーになる。ユーザ
5は、仮想空間11において提供されるゲームをプレイする際、移動オブジェクト153
3によるアバターオブジェクト6への攻撃を回避するように、現実空間において自ら動い
たり、あるいはコントローラ300を操作したりする必要がある。
図15(A)において、仮想カメラ14は、アバターオブジェクト6の頭部に配置され
る。仮想カメラ14は、仮想カメラ14の位置および向きに応じた視界領域15を規定す
る。視界領域15内に、固定オブジェクト1531、固定オブジェクト1532、および
移動オブジェクト1533が配置される。仮想カメラ14は、視界領域15に対応する視
界画像1517を生成して、図15(B)に示すようにHMD120に表示させる。視界
画像1517は、視界領域15内に配置される固定オブジェクト1531、固定オブジェ
クト1532、および移動オブジェクト1533をいずれも含む。ユーザ5は、視界画像
1517を視認することによって、アバターオブジェクト6の視点で仮想空間の一部を視
認する。これにより、ユーザ5は、あたかもユーザ5自身がアバターオブジェクト6であ
るかのような仮想体験を、得ることができる。
図16は、ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシ
ーケンスチャートである。本実施形態では、移動オブジェクト1533の移動制御に関す
る処理がHMDセット100Aにより実行されるものとして説明する。ただし、当該処理
は、他のHMDセット100B,100Cにより実行されてもよいし、当該処理の一部ま
たは全部がサーバ600によって実行されてもよい。
ステップS1601において、コンピュータ200のプロセッサ210(以下単に「プ
ロセッサ210」)は、仮想空間11を定義する。当該処理は、図11のステップS11
10の処理に相当する。具体的には、プロセッサ210は、仮想空間データを特定するこ
とによって、仮想空間データによって表される仮想空間11を定義する。
ステップS1602において、プロセッサ210は、仮想オブジェクト生成モジュール
1421として、仮想カメラ14を仮想空間11に生成する。ステップS1603におい
て、プロセッサ210は、仮想オブジェクト生成モジュール1421として、仮想右手1
521Rおよび仮想左手1521Lを含むアバターオブジェクト6を、仮想空間11に生
成する。ステップS1604において、プロセッサ210は、仮想オブジェクト生成モジ
ュール1421として、移動オブジェクト1533を仮想空間11に生成する。ステップ
S1605において、プロセッサ210は、仮想カメラ制御モジュール1422として、
HMD120の動きに応じて仮想空間11における仮想カメラ14の位置および傾きを決
定する。より詳細には、プロセッサ210は、ユーザ5の頭部の姿勢と、仮想空間11に
おける仮想カメラ14の位置とに応じて、仮想空間11における仮想カメラ14からの視
界である視界領域15を制御する。当該処理は、図11のステップS1140の処理の一
部に相当する。
ステップS1606において、プロセッサ210は、視界画像1517をモニタ130
に出力する。具体的には、プロセッサ210は、HMD120の動き(すなわち仮想カメ
ラ14の位置および傾き)と、仮想空間11を定義する仮想空間データと、に基づいて、
視界領域15に対応する視界画像1517を定義する。視界画像1517を定義すること
は、視界画像1517を生成することと同義である。プロセッサ210は、さらに、HM
D120のモニタ130に視界画像1517を出力することによって、視界画像1517
をHMD120に表示させる。当該処理は、図11のステップS1180およびS119
90の処理に相当する。
上述したステップS1605およびS1606の処理(すなわち、HMD120の動き
に応じた視界画像1517の更新)は、後述するステップS1607〜S1610が実行
される間にも、継続して繰り返し実行される。
ステップS1607において、プロセッサ210は、仮想カメラ制御モジュール142
2として、ユーザ5の頭部の動きに応じて、仮想カメラ14を仮想空間11において動か
す。詳細には、プロセッサ210は、ユーザ5の頭部に装着されるHMD120の出力に
基づいて、HMD120に連動して仮想カメラ14を動かす。
ステップS1608において、プロセッサ210は、移動オブジェクト制御モジュール
1424として、仮想カメラ14と移動オブジェクト1533とが第1位置関係にあるか
否かを判定する。仮想空間11において移動オブジェクト1533と仮想カメラ14とが
第1位置関係にあることは、例えば、仮想空間11における移動オブジェクト1533と
仮想カメラ14との距離が第1距離を下回ることである。第1位置関係にない場合(ステ
ップS1608においてNO)、ステップS1609において、プロセッサ210は、仮
想カメラ14の位置変化に追随するように移動オブジェクト1533を移動させる。第1
位置関係にある場合(ステップS1608においてYES)、ステップS1610におい
て、プロセッサ210は、仮想カメラ14の位置変化に追随させずに移動オブジェクト1
533を移動させる。
図17は、ある実施の形態に従う仮想空間11および視界画像1717を示す図である
。図17(A)に示す仮想空間11において、移動オブジェクト1533は、アバターオ
ブジェクト6から離れた位置に配置される。移動オブジェクト1533には、仮想カメラ
14を標的として仮想空間11内を移動することが設定されている。仮想カメラ14と移
動オブジェクト1533とは、第1位置関係にない。したがってプロセッサ210は、仮
想空間11において、移動オブジェクト1533の位置から仮想カメラ14の位置に向か
う移動方向1741に沿って、移動オブジェクト1533を移動させる。プロセッサ21
0は、図17(A)に示すように、ユーザ5の頭部の動きに応じて、仮想空間11におい
て仮想カメラ14を、仮想空間11の天頂から底面に向かう移動方向1742に沿って、
仮想空間11の底面に向かって動かす。これにより、仮想カメラ14の位置は、仮想空間
11においてより下に向かうように変化する。仮想カメラ14の位置変化に応じて、仮想
空間11における視界領域15の位置も変化する。
プロセッサ210は、図17(A)に示す仮想空間11に対応する視界画像1717を
、図17(B)に示すようにモニタ130に表示する。仮想空間11における仮想カメラ
14の位置は、仮想空間11におけるアバターオブジェクト6の顔の位置に相当し、さら
には、現実空間におけるユーザ5の顔の位置にも相当する。ユーザ5は、視界画像171
7を視認することによって、移動オブジェクト1533が自身の目に向かって近づいてく
ることを認識する。これにより、仮想空間11におけるユーザ5の恐怖体験をより高める
ことができる。
図18は、ある実施の形態に従う仮想空間11および視界画像1817を示す図である
。移動オブジェクト1533は、図18(A)に示すように、仮想カメラ14に対してよ
り近い位置まで移動する。仮想カメラ14が移動方向1742に沿って移動した結果、仮
想カメラ14の位置が、図17(A)の位置よりも下に変化している。図18(A)では
、仮想カメラ14と移動オブジェクト1533とは未だ第1位置関係にない。これにより
、プロセッサ210は、図18(A)に示すように、移動後の移動オブジェクト1533
の位置から移動後の仮想カメラ14の位置に向かう移動方向1841に沿って、移動オブ
ジェクト1533をさらに移動させる。言い換えれば、仮想カメラ14の位置変化に追随
するように移動オブジェクト1533を移動させる。プロセッサ210は、図18(A)
に示す仮想空間11に対応する視界画像1817を、図18(B)に示すようにモニタ1
30に表示する。ユーザ5は、視界画像1817を視認することによって、ユーザ5の頭
部を動かしたとしても移動オブジェクト1533がユーザ5の目を狙ってさらに近づいて
くることを、認識する。
この後、プロセッサ210は、ユーザ5の頭部の動きに応じて、仮想空間11の天頂か
ら底面に向かう移動方向1842に沿って、仮想空間11の底面に向かって仮想カメラ1
4をさらに動かす。これにより、仮想カメラ14の位置は、より仮想空間11の下方向に
向かって変化する。仮想カメラ14の位置変化に応じて、仮想空間11における視界領域
15の位置もさらに変化する。プロセッサ210は、さらに、仮想カメラ14と移動オブ
ジェクト1533とが第1位置関係になるまで、仮想カメラ14の位置変化に追随するよ
うに移動オブジェクト1533を移動させる。言い換えると、プロセッサ210は、仮想
カメラ14と移動オブジェクト1533とが第1位置関係になるまで、移動オブジェクト
1533が常に仮想カメラ14に向かって移動するように、仮想カメラ14の位置変化に
応じて移動オブジェクト1533の移動方向を制御する。
プロセッサ210は、仮想カメラ14と移動オブジェクト1533との距離が第1距離
以下になったことを検出し、この検出結果に応じて、仮想カメラ14と移動オブジェクト
1533とが第1位置関係になったことを検出する。プロセッサ210は、仮想カメラ1
4と移動オブジェクト1533とが第1位置関係になった場合、移動オブジェクト153
3に対する仮想カメラ14の追尾設定を取り消す。プロセッサ210は、さらに、仮想カ
メラ14と移動オブジェクト1533とが第1位置関係になった時点での移動オブジェク
ト1533の移動態様(移動速度および移動方向など)に応じた慣性を、移動オブジェク
ト1533に設定する。プロセッサ210は、さらに、仮想カメラ14と移動オブジェク
ト1533とが第1位置関係になった後、仮想空間11において移動オブジェクト153
3に設定される慣性に応じて、移動オブジェクト1533をさらに移動させる。これによ
り、追尾目標を失った仮想カメラ14を仮想空間11内で自然な態様で移動させることが
できる。
図19は、ある実施の形態に従う仮想空間11および視界画像1917を示す図である
。図19(A)では、仮想カメラ14が移動方向1842に沿って移動した結果、仮想カ
メラ14の位置が、図18(A)の位置よりも下に変化している。プロセッサ210は、
仮想カメラ14と移動オブジェクト1533とが第1位置関係になった後、図19(A)
に示すように、移動オブジェクト1533に設定される慣性に応じた移動方向1941に
沿って、移動オブジェクト1533をさらに移動させる。仮想カメラ14の位置は、移動
オブジェクト1533の移動方向1941に重畳していない。プロセッサ210は、仮想
カメラ14の上を通り過ぎるように移動オブジェクト1533を移動させる。言い換えれ
ば、プロセッサ210は、仮想カメラ14と移動オブジェクト1533とが第1位置関係
になった後、仮想カメラ14の位置変化に追随させずに移動オブジェクト1533を移動
させる。これにより、移動オブジェクト1533が常に仮想カメラ14に向かって移動す
ることによって、ユーザ5が移動オブジェクト1533の衝突を避けることが決してでき
なくなることが、防止される。
図19(A)では、仮想カメラ14は、移動オブジェクト1533の移動方向1941
に重畳していない。したがって、移動オブジェクト1533が移動方向1941に沿って
どれだけ移動したとしても、移動オブジェクト1533は仮想カメラ14に衝突しない。
言い換えれば、ユーザ5は、移動オブジェクト1533を仮想カメラ14に十分に引き付
けてからユーザ5の頭部を巧みに動かすことによって、仮想カメラ14に対する移動オブ
ジェクト1533の衝突を回避することができる。このように、HMDシステム100は
、仮想空間11に対するユーザ5の没入感をより高めることができる。
プロセッサ210は、図19(A)に示す仮想空間11に対応する視界画像1917を
、図19(B)に示すようにモニタ130に表示する。図19(A)に示す仮想空間11
において、移動オブジェクト1533は視界領域15の外部に配置されるので、視界領域
15に対応する視界画像1917には移動オブジェクト1533が含まれない。ユーザ5
は、視界画像1917を視認することによって、移動オブジェクト1533が一定距離ま
でユーザ5の目に近づいた後にユーザ5が頭部を動かした結果、移動オブジェクト153
3がアバターオブジェクト6に衝突せずにユーザ5の頭部の上側を通り過ぎたことを、認
識する。言い換えると、ユーザ5は、移動オブジェクト1533の衝突を回避できたこと
を認識する。
プロセッサ210は、移動オブジェクト1533が視界領域15内に配置される場合に
限り、移動オブジェクト1533と仮想カメラ14とが第1位置関係になるまで、仮想カ
メラ14の位置変化に追従するように移動オブジェクト1533を移動させてもよい。言
い換えれば、プロセッサ210は、移動オブジェクト1533が視界領域15外に配置さ
れる場合、移動オブジェクト1533と仮想カメラ14とが第1位置関係にあるか否かに
関わらず、仮想カメラ14の位置変化に追随しないように移動オブジェクト1533を移
動させる。これにより、ゲームの興趣性をより高めることができる。
図20は、ある実施の形態に従う仮想空間11、視界画像2017R、および視界画像
2017Lを表す図である。図20(A)では、移動オブジェクト1533および仮想カ
メラ14が仮想空間11に配置される。仮想空間11において、移動オブジェクト153
3は、仮想カメラ14から離れた位置に配置される。移動オブジェクト1533には、仮
想カメラ14を標的として仮想空間11において移動することが設定されている。さらに
、仮想カメラ14と移動オブジェクト1533とは、第1位置関係にない。したがって、
プロセッサ210は、図20(A)に示す仮想空間11において、移動オブジェクト15
33の位置から仮想カメラ14の位置に向かう方向2041に沿って、移動オブジェクト
1533を移動させる。
仮想カメラ14は、視界画像2017をモニタ130に出力する機能に対応する。視界
画像2017は、立体視差に対応する右目用の視界画像2017R(第1視界画像)およ
び左目用の視界画像2017L(第2視界画像)からなる。仮想カメラ14に対応する機
能は、視界画像2017Rをモニタ130に出力する第1機能および視界画像2017L
をモニタ130に出力する第2機能を含む。機能の制限とは、例えば、視界画像2017
Rおよび視界画像2017Lのいずれかの出力を停止することである。
図20(A)に示す仮想空間11において、移動オブジェクト1533は仮想カメラ1
4に衝突していない。したがって、仮想カメラ14に対応する機能は制限されない。プロ
セッサ210は、仮想カメラ14に対応する機能が制限されるまで、図20(A)に示す
仮想空間11に対応する視界画像2017Rおよび視界画像2017Lを、図20(B)
に示すようにそれぞれモニタ130に出力する。ユーザ5は、視界画像2017Rを右目
で視認すると共に、視界画像2017Lを左目で視認する。これにより、ユーザ5は、モ
ニタ130に3次元表示される視界画像2017を視認することができる。
図21は、ある実施の形態に従う仮想空間11および視界画像2017Rを表す図であ
る。図21(A)の例では、仮想空間11において移動オブジェクト1533が移動した
結果、移動オブジェクト1533は仮想カメラ14の左側に衝突する。このような衝突は
、例えば、移動オブジェクト1533が仮想カメラ14を狙って移動開始した後、ユーザ
5が移動オブジェクト1533の衝突を避けようとしたが避けきれなかった場合に起こる
。プロセッサ210は、移動オブジェクト1533が仮想カメラ14の左側に衝突したこ
とに応じて、仮想カメラ14に対応する第2機能を制限する。プロセッサ210は、第2
機能が制限されたことに応じて、図21(B)に示すように、モニタ130に対する視界
画像2017Lの出力を停止すると共に、モニタ130に対する視界画像2017Rの出
力は継続する。
第2機能の制限後、ユーザ5は、視界画像2017Rを右目で視認するが、左目では視
界画像2017Lを視認しない。これにより、ユーザ5によって視認される視界画像が、
3次元表示される視界画像2017から2次元表示される視界画像2017に切り替わる
。この結果、ユーザ5は、視界画像2017の遠近感を得にくくなるので、ゲームにおけ
る自身の立場が不利になったことを自覚する。プロセッサ210は、視界画像2017L
を出力する第2機能を制限する場合、ユーザ5の頭部の動きに連動して仮想カメラ14の
傾きおよび位置を制御する機能は制限しない。したがって、ユーザ5が頭部を傾けたり移
動させたりすると、プロセッサ210はそれに応じて仮想カメラ14の傾きおよび位置を
制御する。
仮想カメラ14の左側は、アバターオブジェクト6の左目に相当する。プロセッサ21
0は、移動オブジェクト1533を仮想カメラ14の左側に衝突させた場合、あたかもユ
ーザ5の自身の左目に移動オブジェクト1533が衝突したかのような感覚をユーザ5に
与えることができる。これにより、ユーザ5に対してより強い恐怖感を与えることができ
る。プロセッサ210は、さらに、移動オブジェクト1533の衝突後にユーザ5の左目
による視界画像2017Lの視認をできなくすることによって、移動オブジェクト153
3の衝突によってあたかもユーザ5の左目が実際に見えなくなったかのような感覚を、ユ
ーザ5に与えることができる。これらのことから、ユーザ5は、移動オブジェクト153
3がアバターオブジェクト6の左目に衝突しないように、仮想空間11において巧みに行
動しようとする動機を持つことができる。このように、HMDシステム100は、仮想空
間11に対するユーザ5の没入覚をより高めることができる。
プロセッサ210は、仮想カメラ14の右側に移動オブジェクト1533が衝突したこ
とに応じて、仮想カメラ14に対応する第1機能を制限することができる。プロセッサ2
10は、第1機能が制限された場合、モニタ130に対する視界画像2017Rの出力を
停止すると共に、モニタ130に対する視界画像2017Lの出力は継続する。ユーザ5
は、左目で視界画像2017Rを視認するが、右目では視界画像2017Rを視認しない
。この結果、ユーザ5によって視認される視界画像2017が、3次元表示される視界画
像2017から2次元表示される視界画像2017に切り替わる。したがって、プロセッ
サ210は、移動オブジェクト1533の衝突によってあたかもユーザ5の右目が実際に
見えなくなったかのような感覚を、ユーザ5に与えることができる。
プロセッサ210は、移動オブジェクト1533が操作オブジェクトを標的として仮想
空間11において移動することを、移動オブジェクト1533に設定することもできる。
プロセッサ210は、例えば、仮想左手1521Lを標的として仮想空間11において移
動することを、移動オブジェクト1533に設定する。この場合、プロセッサ210は、
仮想左手1521Lと移動オブジェクト1533とが第1位置関係になるまで、仮想左手
1521Lの位置変化に追随するように移動オブジェクト1533を移動させる。プロセ
ッサ210は、さらに、仮想左手1521Lと移動オブジェクト1533とが第1位置関
係になった後、仮想左手1521Lの位置変化に追随させずに移動オブジェクト1533
を移動させる。このような移動制御によっても、仮想空間11に対するユーザ5の没入感
を高めることができる。
図22は、ある実施の形態に従う仮想空間11を表す図である。図22では、プロセッ
サ210が移動オブジェクト1533を移動させた結果、仮想左手1521Lと移動オブ
ジェクト1533とが衝突している。このような衝突は、例えば、移動オブジェクト15
33が仮想左手1521Lを狙って移動開始した後、ユーザ5が移動オブジェクト153
3の衝突を避けようと試みたが避けきれなかった場合に、起こり得る。プロセッサ210
は、仮想左手1521Lと移動オブジェクト1533との衝突に応じて、仮想左手152
1Lに対応する機能を制限する。このとき制限される機能は、例えば、ユーザ5の左手の
動きに応じて仮想左手1521Lを動かす機能である。
図22では、仮想右手1521Rおよび仮想左手1521Lに、それぞれ体力パラメー
タが設定される。体力パラメータは、一定範囲内のいずれかの値を取り得る。プロセッサ
210は、衝突検出モジュール1425として、仮想左手1521Lと移動オブジェクト
1533との衝突を検出する。プロセッサ210は、仮想左手1521Lと操作オブジェ
クトとの衝突に基づいて、仮想左手1521Lに設定されるパラメータの値を減少させる
図23は、ある実施の形態に従う仮想空間11を表す図である。プロセッサ210は、
仮想左手1521Lに設定されるパラメータの値が第1閾値を下回った場合、図23に示
すように、仮想左手1521Lに対応する機能を制限する。プロセッサ210は、仮想左
手1521Lに対応する機能が制限されたことに応じて、仮想左手1521Lの表示態様
を、機能が制限される前の態様と異ならせる。図23では、プロセッサ210は、仮想左
手1521Lの表示態様を、仮想左手1521Lを動かす機能が制限されたことをユーザ
5に直感的に把握させる態様に、変化させる。
図23では、仮想左手1521Lを動かす機能が制限されている。プロセッサ210は
、仮想左手1521Lを動かす機能が制限された後、図23に示すように、ユーザ5の左
手の動きに応じて仮想左手1521Lを動かさない。詳細には、図23に示す仮想空間1
1における仮想左手1521Lの位置は、ユーザ5が左手を動かす前の図22に示す仮想
空間11における仮想左手1521Lの位置と、同一である。
ユーザ5は、図23に示す仮想空間11に対応する視界画像17を視認することによっ
て、仮想左手1521Lと移動オブジェクト1533との衝突の結果、仮想左手1521
Lに対応する機能が制限されたことを認識する。プロセッサ210は、仮想左手1521
Lが動かない視界画像17を出力することによって、よりリアルなダメージを受けた感覚
をユーザ5に生じさせることができる。プロセッサ210は、さらに、ユーザ5の左手の
動きに応じて仮想左手1521Lを動かす機能を停止することによって、ダメージを受け
たユーザ5が仮想空間11における敵キャラクタとの戦闘において不利になることを、よ
りリアルに演出することができる。この演出に応じて、ユーザ5は、移動オブジェクト1
533が仮想左手1521Lに衝突することをより積極的に回避するように、行動する。
このように、HMDシステム100は、仮想空間11に対するユーザ5の没入感をより高
めることができる。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説
明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範
囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者
によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された
発明の範囲およびその均等の範囲に基づいて定められるべきである。
プロセッサ210は、仮想カメラ14に体力パラメータを設定することができる。この
場合、プロセッサ210は、仮想空間11において移動オブジェクト1533を移動させ
る。この移動態様に特に制限はない。プロセッサ210は、移動オブジェクト1533と
仮想カメラ14とが第1位置関係になるまで、移動オブジェクト1533を仮想カメラ1
4の位置変化に追随するように移動させることができる。プロセッサ210は、移動オブ
ジェクト1533と仮想カメラ14とが第1位置関係になるか否かに関わらず、移動オブ
ジェクト1533を仮想カメラ14の位置変化に常に追随するように移動させることがで
きる。プロセッサ210は、移動オブジェクト1533に設定される慣性に常に基づいて
、移動オブジェクト1533を移動させることもできる。
プロセッサ210は、仮想空間11における移動オブジェクト1533の移動に応じて
、仮想カメラ14に設定される体力パラメータの値を減少させる。プロセッサ210は、
例えば、移動オブジェクト1533と仮想カメラ14との衝突に応じて、体力パラメータ
の値を減少させる。プロセッサ210は、体力パラメータが第1閾値を下回る場合、仮想
カメラ14に対応する機能を制限する。仮想カメラ14に対応する機能とは、モニタ13
0に視界画像2017を出力する機能である。機能は、上述した第1機能および第2機能
を含む。視界画像17は、立体視差に対応する右目用の視界画像2017Rおよび左目用
の視界画像2017Lからなる。機能の制限とは、例えば、視界画像2017Rおよび視
界画像2017Lのいずれかの出力を停止することである。
プロセッサ210は、仮想カメラ14の右側に第1体力パラメータを設定し、仮想カメ
ラ14の左側に第2体力パラメータを設定する。第2体力パラメータは第1体力パラメー
タから独立している。第1体力パラメータは第1機能に対応し、第2体力パラメータは第
2機能に対応する。プロセッサ210は、第1体力パラメータが第1閾値を下回った場合
、第1機能を制限し、第2体力パラメータが第2閾値を下回った場合、第2機能を制限す
る。
プロセッサ210は、仮想カメラ14に対応する機能を制限する場合、第1機能および
第2機能のうちいずれかを制限する。プロセッサ210は、第1機能が制限された場合、
モニタ130に対する視界画像2017Rの出力を停止すると共に、視界画像2017L
の出力は継続する。プロセッサ210は、第2機能が制限された場合、モニタ130に対
する視界画像2017Lの出力を停止すると共に、視界画像2017Rの出力は継続する
〔付記事項〕
本発明の一側面に係る内容を列記すると以下のとおりである。
(項目1) プログラムを説明した。本開示のある局面によれば、プログラムは、ユー
ザ5の頭部に関連付けられた画像表示装置(HMD120)を介して仮想体験をユーザに
提供するために、プロセッサ210を備えたコンピュータ200によって実行される。プ
ログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間11を定義する
ステップ(S1601)と、ユーザの身体の一部の動きに連動する第1オブジェクト(仮
想カメラ14)を仮想空間に生成するステップ(S1602)と、身体の一部の動きに応
じて、第1オブジェクトを動かすステップ(S1607)と、第2オブジェクト(移動オ
ブジェクト1533)を仮想空間に生成するステップ(S1604)と、第1オブジェク
トと第2オブジェクトとが第1位置関係になるまで、第1オブジェクトの位置変化に追随
するように第2オブジェクトを移動させ、第1オブジェクトと第2オブジェクトとが第1
位置関係になった後、第1オブジェクトの位置変化に追随させずに第2オブジェクトを移
動させるステップ(S1609,S1610)と、仮想空間内における仮想視点(仮想カ
メラ14)からの視界(視界領域15)に対応する視界画像1517を定義するステップ
(S1606)と、視界画像を画像表示装置に出力するステップ(S1606)とを実行
させる。
(項目2) (項目1)において、プログラムは、プロセッサに、第1オブジェクトと
第2オブジェクトとの衝突に応じて、第1オブジェクトに対応する機能を制限するステッ
プをさらに実行させる。
(項目3) (項目2)において、第1オブジェクトにパラメータが設定されており、
プログラムは、プロセッサに、第1オブジェクトと第2オブジェクトとの衝突に応じて、
パラメータの値を減少させるステップをさらに実行させ、機能を制限するステップにおい
て、パラメータの値が第1閾値を下回った場合、機能を制限する。
(項目4) (項目2)または(項目3)において、ユーザの身体の一部は、ユーザの
頭部であり、第1オブジェクトは、仮想カメラであり、仮想視点からの視界は、仮想カメ
ラからの視界であり、機能を制限するステップにおいて、視界画像を出力する機能を制限
する。
(項目5) (項目4)において、視界画像は、立体視差に対応する右目用の第1視界
画像(2017R)および左目用の第2視界画像(2017L)からなり、機能は、第1
視界画像を出力する第1機能および第2視界画像を出力する第2機能を含み、機能を制限
するステップにおいて、第1機能および第2機能のうちいずれかを制限し、視界画像を出
力するステップにおいて、機能が制限されるまで、第1視界画像および左目用の第2視界
画像を画像表示装置に出力し、第1機能が制限された場合、第1視界画像の出力を停止し
、第2機能が制限された場合、第2視界画像の出力を停止する。
(項目6) 項目(4)または項目(5)において、プログラムは、プロセッサに、ユ
ーザの頭部の姿勢に応じて、仮想カメラからの視界の向きを制御するステップをさらに実
行させる。
(項目7) (項目2)または(項目3)において、ユーザの身体の一部は、ユーザの
手であり、第1オブジェクトは、仮想手(仮想左手1521L)であり、第1オブジェク
トを動かすステップにおいて、機能が制限された後、ユーザの手の動きに応じて仮想手を
動かさない。
(項目8) (項目1)〜(項目7)のいずれかにおいて、第2オブジェクトを移動さ
せるステップにおいて、第1オブジェクトと第2オブジェクトとが第1位置関係になった
後、仮想空間内において第2オブジェクトに設定される慣性に応じて、第2オブジェクト
をさらに移動させる。
(項目9) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(コ
ンピュータ200)は、情報処理装置によって実行されるプログラムを記憶する記憶部(
ストレージ230)と、情報処理装置の動作を制御する制御部(プロセッサ210)と、
を備えている。制御部は、仮想体験をユーザ5に提供するための仮想空間11を定義し、
ユーザの身体の一部の動きに連動する第1オブジェクト(仮想カメラ14)を仮想空間に
生成し、身体の一部の動きに応じて、第1オブジェクトを動し、第2オブジェクト(移動
オブジェクト1533)を仮想空間に生成し、第1オブジェクトと第2オブジェクトとが
第1位置関係になるまで、第1オブジェクトの位置変化に追随するように第2オブジェク
トを移動させ、第1オブジェクトと第2オブジェクトとが第1位置関係になった後、第1
オブジェクトの位置変化に追随させずに第2オブジェクトを移動させ、仮想空間内におけ
る仮想視点(仮想カメラ14)からの視界に対応する視界画像1517を定義し、視界画
像を画像表示装置に出力する。
(項目10) プログラムを実行する方法を説明した。本開示のある局面によると、プ
ログラムは、ユーザ5の頭部に関連付けられた画像表示装置(HMD120)を介して仮
想体験をユーザに提供するために、プロセッサ210を備えたコンピュータ200によっ
て実行される。プログラムは、プロセッサが、仮想体験をユーザに提供するための仮想空
間11を定義するステップ(S1601)と、ユーザの身体の一部の動きに連動する第1
オブジェクト(仮想カメラ14)を仮想空間に生成するステップと、身体の一部の動きに
応じて、第1オブジェクトを動かすステップ(S1607)と、第2オブジェクト(移動
オブジェクト1533)を仮想空間に生成するステップ(S1604)と、第1オブジェ
クトと第2オブジェクトとが第1位置関係になるまで、第1オブジェクトの位置変化に追
随するように第2オブジェクトを移動させ、第1オブジェクトと第2オブジェクトとが第
1位置関係になった後、第1オブジェクトの位置変化に追随させずに第2オブジェクトを
移動させるステップ(S1609,S1610)と、仮想空間内における仮想視点(仮想
カメラ14)からの視界(視界領域15)に対応する視界画像1517を定義するステッ
プ(S1606)と、視界画像を画像表示装置に出力するステップ(S1606)と、を
含む。
(項目11) プログラムを説明した。本開示のある局面によれば、プログラムは、ユ
ーザ5の頭部に関連付けられた画像表示装置(HMD120)を介して仮想体験をユーザ
に提供するために、プロセッサ210を備えたコンピュータ200によって実行される。
プログラムは、プロセッサに、仮想体験をユーザに提供するための仮想空間11を定義す
るステップと、ユーザの頭部の動きに応じて、仮想空間内において仮想カメラを動かすス
テップと、ユーザの頭部の姿勢と仮想空間における仮想カメラの位置とに応じて、仮想空
間における仮想カメラからの視界(視界領域15)を制御するステップと、仮想空間内に
おいて仮想カメラに向けて第2オブジェクト(移動オブジェクト1533)を移動させる
ステップと、仮想カメラからの視界に対応する視界画像2017を定義するステップと、
視界画像を画像表示装置に出力するステップと、第2オブジェクトの移動に応じて、仮想
カメラに設定されるパラメータの値を減少させるステップと、パラメータの値が第1閾値
を下回る場合、視界画像を出力する機能を制限するステップとを実行させる。
(項目12) (項目11)において、視界画像は、立体視差に対応する右目用の第1
視界画像(視界画像2017R)および左目用の第2視界画像(視界画像2017L)か
らなり、機能は、第1視界画像を出力する第1機能および第2視界画像を出力する第2機
能を含み、機能を制限するステップにおいて、第1機能および第2機能のうちいずれかを
制限し、視界画像を出力するステップにおいて、機能が制限されるまで、第1視界画像お
よび左目用の第2視界画像を画像表示装置に出力し、第1機能が制限された場合、第1視
界画像の出力を停止し、第2機能が制限された場合、第2視界画像の出力を停止する。
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例
示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型
のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した
視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合
現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場
合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象
オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけ
るユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェク
トの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッ
サは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を
把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処
理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を
与えることが可能となる。
2 ネットワーク、11,11A,11B,11C 仮想空間、5,5A,5B,5C
、5D ユーザ、6A,6B,6C アバターオブジェクト、11 仮想空間、12 中
心、13 パノラマ画像、14,14A 仮想カメラ、15 視界領域、16 基準視線
、17,17A 視界画像、18,19 領域、100 HMDシステム、110,11
0A,110B,110C,110D HMDセット、120,120A,120B,H
MD、130,130A モニタ、140,140 注視センサ、150 第1カメラ、
160 第2カメラ、170,170A マイク、180,180A,180B スピー
カ、190 センサ、200,200A,200B コンピュータ、210,210A、
210B,210C,610 プロセッサ、220,620 メモリ、230,630
ストレージ、240,640 入出力インターフェイス、250,650 通信インター
フェイス、260,660 バス、300,300B コントローラ、300R 右コン
トローラ、310 グリップ、320 フレーム、330 天面、340,340,35
0,370,380 ボタン、360 赤外線LED、390 アナログスティック、4
10 HMDセンサ、420,420A モーションセンサ、430 ディスプレイ、5
10,710 コントロールモジュール、520 レンダリングモジュール、530,7
20 メモリモジュール、540 通信制御モジュール、600 サーバ、700 外部
機器、1421 仮想オブジェクト生成モジュール、1422 仮想カメラ制御モジュー
ル、1423 操作オブジェクト制御モジュール、1424 移動オブジェクト制御モジ
ュール、1425 衝突検出モジュール、1426 機能制限モジュール、1517,1
817,1917,2017,2017R、2017L 視界画像、1521R 仮想右
手、1521L 仮想左手、1531,1532 固定オブジェクト、1533 移動オ
ブジェクト、1741,1742,1841,1842,1941,2041 方向、

Claims (10)

  1. ユーザの頭部に関連付けられた画像表示装置を介して仮想体験を前記ユーザに提供する
    ために、プロセッサを備えたコンピュータによって実行されるプログラムであって、
    前記プログラムは、前記プロセッサに、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
    前記ユーザの身体の一部の動きに連動する第1オブジェクトを前記仮想空間に生成す
    るステップと、
    前記身体の一部の動きに応じて、前記第1オブジェクトを動かすステップと、
    第2オブジェクトを前記仮想空間に生成するステップと、
    前記第1オブジェクトと前記第2オブジェクトとが第1位置関係になるまで、前記第
    1オブジェクトの位置変化に追随するように前記第2オブジェクトを移動させ、前記第1
    オブジェクトと前記第2オブジェクトとが前記第1位置関係になった後、前記第1オブジ
    ェクトの位置変化に追随させずに前記第2オブジェクトを移動させるステップと、
    前記仮想空間内における仮想視点からの視界に対応する視界画像を定義するステップ
    と、
    前記視界画像を前記画像表示装置に出力するステップとを実行させる、プログラム。
  2. 前記プログラムは、前記プロセッサに、
    前記第1オブジェクトと前記第2オブジェクトとの衝突に応じて、前記第1オブジェ
    クトに対応する機能を制限するステップをさらに実行させる、請求項1に記載のプログラ
    ム。
  3. 前記第1オブジェクトにパラメータが設定されており、
    前記プログラムは、前記プロセッサに、前記第1オブジェクトと前記第2オブジェクト
    との衝突に応じて、前記パラメータの値を減少させるステップをさらに実行させ、
    前記機能を制限するステップにおいて、前記パラメータの値が第1閾値を下回った場合
    、前記機能を制限する、請求項2に記載のプログラム。
  4. 前記ユーザの身体の一部は、前記ユーザの頭部であり、
    前記第1オブジェクトは、仮想カメラであり、
    前記仮想視点からの視界は、前記仮想カメラからの視界であり、
    前記機能を制限するステップにおいて、前記視界画像を出力する機能を制限しする、請
    求項2または3に記載のプログラム。
  5. 前記視界画像は、立体視差に対応する右目用の第1視界画像および左目用の第2視界画
    像からなり、
    前記機能は、前記第1視界画像を出力する第1機能および前記第2視界画像を出力する
    第2機能を含み、
    前記機能を制限するステップにおいて、前記第1機能および前記第2機能のうちいずれ
    かを制限し、
    前記視界画像を出力するステップにおいて、
    前記機能が制限されるまで、前記第1視界画像および左目用の第2視界画像を前記画
    像表示装置に出力し、
    前記第1機能が制限された場合、前記第1視界画像の出力を停止し、
    前記第2機能が制限された場合、前記第2視界画像の出力を停止する、請求項4に記
    載のプログラム。
  6. 前記プログラムは、前記プロセッサに、前記ユーザの頭部の姿勢に応じて、前記仮想カ
    メラからの視界の向きを制御するステップをさらに実行させる、請求項4または5に記載
    のプログラム。
  7. 前記ユーザの身体の一部は、前記ユーザの手であり、
    前記第1オブジェクトは、仮想手であり、
    前記第1オブジェクトを動かすステップにおいて、前記機能が制限された後、前記ユー
    ザの手の動きに応じて前記仮想手を動かさない、請求項2または3に記載のプログラム。
  8. 前記第2オブジェクトを移動させるステップにおいて、前記第1オブジェクトと前記第
    2オブジェクトとが第1位置関係になった後、前記仮想空間内において前記第2オブジェ
    クトに設定される慣性に応じて、前記第2オブジェクトをさらに移動させる、請求項1〜
    7のいずれか1項に記載のプログラム。
  9. 情報処理装置であって、
    前記情報処理装置は、
    ユーザの頭部に関連付けられた画像表示装置と、
    前記画像表示装置を介して仮想体験を前記ユーザに提供するために、プロセッサを備
    えたコンピュータによって実行されるプログラムを記憶する記憶部と、
    前記情報処理装置の動作を制御する制御部と、を備え、
    前記制御部は、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義し、
    前記ユーザの身体の一部の動きに連動する第1オブジェクトを前記仮想空間に生成し

    前記身体の一部の動きに応じて、前記第1オブジェクトを動かし、
    第2オブジェクトを前記仮想空間に生成し、
    前記第1オブジェクトと前記第2オブジェクトとが第1位置関係になるまで、前記第
    1オブジェクトの位置変化に追随するように前記第2オブジェクトを移動させ、前記第1
    オブジェクトと前記第2オブジェクトとが前記第1位置関係になった後、前記第1オブジ
    ェクトの位置変化に追随させずに前記第2オブジェクトを移動させ、
    前記仮想空間内における仮想視点からの視界に対応する視界画像を定義し、
    前記視界画像を前記画像表示装置に出力する、情報処理装置。
  10. ユーザの頭部に関連付けられた画像表示装置を介して仮想体験を前記ユーザに提供する
    ために、プロセッサを備えたコンピュータがプログラムを実行する方法であって、
    前記プログラムは、前記プロセッサが、
    前記仮想体験を前記ユーザに提供するための仮想空間を定義するステップと、
    前記ユーザの身体の一部の動きに連動する第1オブジェクトを前記仮想空間に生成す
    るステップと、
    前記身体の一部の動きに応じて、前記第1オブジェクトを動かすステップと、
    第2オブジェクトを前記仮想空間に生成するステップと、
    前記第1オブジェクトと前記第2オブジェクトとが第1位置関係になるまで、前記第
    1オブジェクトの位置変化に追随するように前記第2オブジェクトを移動させ、前記第1
    オブジェクトと前記第2オブジェクトとが前記第1位置関係になった後、前記第1オブジ
    ェクトの位置変化に追随させずに前記第2オブジェクトを移動させるステップと、
    前記仮想空間内における仮想視点からの視界に対応する視界画像を定義するステップ
    と、
    前記視界画像を前記画像表示装置に出力するステップとを含む、方法。
JP2018217776A 2018-11-20 2018-11-20 プログラム、情報処理装置、および方法 Active JP7233202B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018217776A JP7233202B2 (ja) 2018-11-20 2018-11-20 プログラム、情報処理装置、および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018217776A JP7233202B2 (ja) 2018-11-20 2018-11-20 プログラム、情報処理装置、および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018011993A Division JP6441517B1 (ja) 2018-01-26 2018-01-26 プログラム、情報処理装置、および方法

Publications (3)

Publication Number Publication Date
JP2019128947A true JP2019128947A (ja) 2019-08-01
JP2019128947A5 JP2019128947A5 (ja) 2021-07-29
JP7233202B2 JP7233202B2 (ja) 2023-03-06

Family

ID=67472359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018217776A Active JP7233202B2 (ja) 2018-11-20 2018-11-20 プログラム、情報処理装置、および方法

Country Status (1)

Country Link
JP (1) JP7233202B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000156A (ja) * 2010-06-14 2012-01-05 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000156A (ja) * 2010-06-14 2012-01-05 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NODE, VR BOXING - THRILL OF THE FIGHT, JPN6022005382, 20 June 2016 (2016-06-20), ISSN: 0004863744 *
大島 登志一 他: "RV−Border Guards:複数人参加型複合現実感ゲーム", 日本バーチャルリアリティ学会論文誌, vol. 第4巻 第4号, JPN6022005383, 31 December 1999 (1999-12-31), pages 699 - 705, ISSN: 0004863743 *

Also Published As

Publication number Publication date
JP7233202B2 (ja) 2023-03-06

Similar Documents

Publication Publication Date Title
JP6248219B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2020161168A (ja) プログラム、情報処理方法及び情報処理装置
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6479933B1 (ja) プログラム、情報処理装置、および方法
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
JP2019133309A (ja) プログラム、情報処理装置、及び情報処理方法
JP6771006B2 (ja) プログラム、方法および情報処理装置
JP7192151B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP6419268B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019087262A (ja) プログラム、情報処理装置、および方法
JP6441517B1 (ja) プログラム、情報処理装置、および方法
JP6703578B2 (ja) プログラム、方法及び情報処理装置
JP2018147375A (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6458179B1 (ja) プログラム、情報処理装置、および方法
JP7138483B2 (ja) コンピュータプログラム、情報処理装置および情報処理方法
JP6392953B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6330072B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7233202B2 (ja) プログラム、情報処理装置、および方法
JP2019155115A (ja) プログラム、情報処理装置、及び情報処理方法
JP2019048045A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019016358A (ja) 情報処理方法、プログラム及びコンピュータ
JP7386948B2 (ja) プログラム、方法および情報処理装置
JP2019036122A (ja) 情報処理方法、プログラム、およびコンピュータ
JP6522825B1 (ja) プログラム、情報処理装置、および方法
JP6659793B1 (ja) プログラム、方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150