ヘッドマウントディスプレイ(HMD)を用いた表示システムについて説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。
図1は、実施の形態に係るゲームシステム1の使用環境を示す。ゲームシステム1は、ゲームプログラムを実行するゲーム装置10と、ユーザの指示をゲーム装置10に入力するための入力デバイス20と、ユーザの周囲の実空間を撮像する撮像装置14と、ゲーム装置10により生成されるゲーム画像を表示するヘッドマウントディスプレイ100とを備える。
本実施の形態では、ヘッドマウントディスプレイ100を装着したときにユーザの外側となる面に、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。この入力装置に対する入力のみにより操作可能なゲームを実行する場合は、入力デバイス20は用いられなくてもよい。ヘッドマウントディスプレイ100を装着したとき、ユーザは周囲の状況を視認することができなくなるため、ヘッドマウントディスプレイ100を装着した後に入力デバイス20などの入力機器を探すことが困難である。また、入力デバイス20などの入力機器を大きく動かしたりすると周囲の障害物などにぶつかってしまうこともありうる。しかし、本実施の形態では、タッチ入力を受付可能な入力装置のみで入力を受け付けることもできるので、入力デバイス20を探す必要も振り回す必要もない。また、後述するように、タッチ入力を用いた直感的な入力インタフェースにより操作を行うことができるので、ゲームに慣れていないユーザでも使いやすいユーザフレンドリーな入力インタフェースを提供することができる。
この入力装置と入力デバイス20の双方により操作指示を受け付けるゲームを実行する場合は、例えば図1に示すように、右手で入力デバイス20を把持して操作しつつ、左手でヘッドマウントディスプレイ100の外面に設けられた入力装置に対する入力を行ってもよい。
ゲーム装置10は、入力デバイス20又はヘッドマウントディスプレイ100の外面に設けられた入力装置に対する指示入力に基づいてゲームプログラムを実行して、ゲームプログラムの処理結果を示す画像信号を生成し、生成した画像信号をヘッドマウントディスプレイ100に伝送する。
ヘッドマウントディスプレイ100は、ゲーム装置10において生成された画像信号を受けて、ゲーム画像を表示する。また、ヘッドマウントディスプレイ100の外面に設けられた入力装置に対するユーザのタッチ入力に関する情報をゲーム装置10へ伝送する。ヘッドマウントディスプレイ100は、ゲーム装置10に有線ケーブルで接続されてもよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。
ゲーム画像は、表示装置12に出力されてもよい。表示装置12は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
入力デバイス20は、ユーザによる指示入力をゲーム装置10に伝送する機能をもち、本実施例ではゲーム装置10との間で無線通信可能な無線コントローラとして構成される。入力デバイス20とゲーム装置10は、Bluetooth(登録商標)(ブルートゥース)プロトコルを用いて無線接続を確立してもよい。なお入力デバイス20は、無線コントローラに限らず、ゲーム装置10とケーブルを介して接続される有線コントローラであってもよい。
入力デバイス20はバッテリにより駆動され、ゲームを進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス20のボタンを操作すると、その操作指示が無線通信によりゲーム装置10に送信される。
撮像装置14は、CCD撮像素子またはCMOS撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置14は、USB(Universal Serial Bus)あるいはその他のインタフェースを介してゲーム装置10と接続する。撮像装置14により撮像された画像は、ゲーム装置10において、入力デバイス20及びヘッドマウントディスプレイ100の位置及び姿勢を導出するために用いられる。撮像装置14は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置14により、撮像装置14と入力デバイス20又はヘッドマウントディスプレイ100などとの間の距離を取得することができる。
本実施例のゲームシステム1において、入力デバイス20は複数色で発光可能に構成された発光体を有する。ゲーム中、発光体はゲーム装置10から指示された色で発光し、撮像装置14により撮像される。撮像装置14は入力デバイス20を撮像し、フレーム画像を生成してゲーム装置10に供給する。ゲーム装置10はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。ゲーム装置10は、位置情報をゲームの操作指示として取り扱い、プレイヤーキャラクタの動作を制御するなど、ゲームの処理に反映させる。本実施例のゲーム装置10は、入力デバイス20のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いてゲームアプリケーションを処理する機能をもつ。
また、入力デバイス20は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置10に送信され、ゲーム装置10は、センサの検出値を取得して、実空間における入力デバイス20の姿勢情報を取得する。ゲーム装置10は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
図2は、実施の形態に係るヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、頭部接触部120、タッチパッド140、及び端末装着部150を含む。
ヘッドマウントディスプレイ100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ100に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ100を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。
本体部110には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。頭部接触部120には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。
ヘッドマウントディスプレイ100の外面には、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。入力装置は、ヘッドマウントディスプレイ100に予め備え付けられた、表示装置が併設されないタッチパッドであってもよいし、表示装置が併設されたタッチパネルであってもよい。また、入力装置として機能するタッチパッド又はタッチパネルを備えたスマートフォンなどの外部装置がヘッドマウントディスプレイ100に着脱自在に接続されてもよい。本実施の形態においては、本体部110の上面及び側面にタッチパッド140が設けられ、本体部110の前面に設けられた端末装着部150に携帯情報端末200が着脱自在に接続される。
側頭部に設けられたタッチパッド140は、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式など、任意の方式のタッチパッドであってもよい。タッチパッド140は、ユーザの指などが表面に接触したときに入力を検知する接触式のタッチパッドであってもよいし、ユーザの指などが表面に近接したときにも入力を検知可能な非接触式のタッチパッドであってもよい。タッチパッド140は、表面に対する押圧の圧力を検知可能な感圧センサを備えてもよいし、入力を検知した領域の面積、電圧値、静電容量などに基づいて入力の強度を算出してもよい。タッチパッド140は、入力を検知した位置の座標を出力する。
前頭部には、携帯情報端末200を着脱自在に装着するための端末装着部150が設けられており、ユーザの携帯情報端末200を装着可能である。携帯情報端末200が装着される場合は、携帯情報端末200が入力装置として機能する。また、携帯情報端末200の表示装置にヘッドマウントディスプレイ100が生成した画像又はヘッドマウントディスプレイ100に関する情報などを表示可能である。
ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
本実施の形態においては、ヘッドマウントディスプレイ100について説明するが、本実施の形態の表示制御方法は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
図3は、ゲーム装置10の機能構成図である。ゲーム装置10は、通信部302、制御部310、及びデータ保持部360を備える。制御部310は、入力情報受信部311、入力位置調整部312、HMD画像データ生成部313、HMD画像データ送信部314、タッチパネル表示情報生成部315、タッチパネル表示情報送信部316、HMD表示情報受信部317、撮像画像解析部318、及びゲーム制御部319を備える。
通信部302は、ヘッドマウントディスプレイ100、携帯情報端末200、入力デバイス20、撮像装置14、表示装置12などとの間の通信を制御する。データ保持部360は、ゲーム装置10において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
入力情報受信部311は、ヘッドマウントディスプレイ100及び携帯情報端末200が受け付けたユーザによるタッチ入力の情報をヘッドマウントディスプレイ100及び携帯情報端末200からそれぞれ受信する。入力情報受信部311は、更に、ヘッドマウントディスプレイ100の位置及び姿勢に関する情報をヘッドマウントディスプレイ100から受信する。入力デバイス20が用いられる場合は、入力情報受信部311は、入力デバイス20が受け付けたボタンなどの入力の情報を入力デバイス20から受信する。
入力位置調整部312は、入力情報受信部311が受信した入力情報におけるタッチ入力の位置を、ヘッドマウントディスプレイ100に表示される画像の位置に対応付ける。本実施の形態では、異なる位置に配置された複数のタッチパッド140及び携帯情報端末200のタッチパネルによりユーザのタッチ入力を受け付けるので、それぞれのタッチ領域を表示される画像の領域に対応付ける必要がある。入力位置調整部312の機能の詳細については後述する。
ゲーム制御部319は、ゲームプログラムを実行し、入力情報受信部311が受信したユーザによる指示入力に基づいてゲームを進行させる。
HMD画像データ生成部313は、ゲーム制御部319により制御されるゲームの画像を生成する。HMD画像データ送信部314は、HMD画像データ生成部313が生成した画像データをヘッドマウントディスプレイ100に送信する。
タッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームに関する情報で、携帯情報端末200のタッチパネルに表示すべき情報を生成する。携帯情報端末200のタッチパネルは、ゲーム中に、ヘッドマウントディスプレイ100を装着しているユーザは見ることができないが、ユーザの周囲にいる他の人に向けた情報を表示することができる。タッチパネル表示情報送信部316は、タッチパネル表示情報生成部315が生成した表示情報を携帯情報端末200に送信する。
HMD表示情報受信部317は、携帯情報端末200から、ヘッドマウントディスプレイ100の表示装置に表示すべき情報を受信する。HMD表示情報受信部317が受信した表示情報は、HMD画像データ生成部313により、ヘッドマウントディスプレイ100に表示される画像に含められる。これにより、ゲーム中であっても、携帯情報端末200から送信される表示情報をヘッドマウントディスプレイ100の表示装置に表示し、ユーザに視認させることができる。
撮像画像解析部318は、撮像装置14が撮像した画像を取得し、取得した画像を解析して、ヘッドマウントディスプレイ100及び入力デバイス20の位置及び姿勢を算出する。ゲーム制御部319は、入力デバイス20の位置及び姿勢をユーザによる指示として取得し、ゲームの進行に反映させる。HMD画像データ生成部313は、ヘッドマウントディスプレイ100の位置及び姿勢に基づいて、ゲームの画像を生成するときに使用する視点位置及び視線方向を制御する。
図4は、ヘッドマウントディスプレイ100の機能構成図である。ヘッドマウントディスプレイ100は、入力インタフェース22、出力インタフェース30、バックライト32、通信制御部40、ネットワークアダプタ42、アンテナ44、記憶部50、GPSユニット60、無線ユニット62、姿勢センサ64、外部入出力端子インタフェース70、外部メモリ72、時計部80、表示装置90、タッチパッド140、及び制御部160を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
制御部160は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース22は、タッチパッド140及びタッチパッドコントローラから操作信号や設定信号を受け付け、制御部160に供給する。出力インタフェース30は、制御部160から画像信号を受け取り、表示装置90に表示させる。バックライト32は、表示装置90を構成する液晶ディスプレイにバックライトを供給する。
通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部160から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部160に出力する。
記憶部50は、制御部160が処理するデータやパラメータ、操作信号などを一時的に記憶する。
GPSユニット60は、制御部160からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部160に供給する。無線ユニット62は、制御部160からの操作信号にしたがって、無線基地局から位置情報を受信して制御部160に供給する。
姿勢センサ64は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
時計部80は、制御部160からの設定信号によって時間情報を設定し、時間データを制御部160に供給する。
図5は、ヘッドマウントディスプレイ100の制御部160の機能構成図である。制御部160は、タッチ入力受付部161、入力位置調整部162、入力情報送信部163、HMD画像データ受信部164、及びHMD表示制御部165を備える。
タッチ入力受付部161は、タッチパッド140から入力信号を受け付ける。入力位置調整部162は、タッチ入力受付部161が受け付けた入力の位置を、表示装置90に表示される画像のうちタッチパッド140の入力領域が割り当てられた領域の位置に対応付ける。入力情報送信部163は、入力位置調整部162により調整されたタッチ入力の位置を示す情報をゲーム装置10に送信する。
HMD画像データ受信部164は、表示装置90に表示すべき画像のデータをゲーム装置10から受信する。HMD表示制御部165は、HMD画像データ受信部164が受信した画像データを表示装置90に表示する。
図6は、携帯情報端末200の機能構成図である。携帯情報端末200は、ボタン261、通信部202、制御部210、データ保持部260、及びタッチパネル262を備える。制御部210は、タッチ入力受付部211、入力位置調整部212、入力情報送信部213、タッチパネル表示情報受信部214、タッチパネル表示制御部215、HMD表示情報生成部216、及びHMD表示情報送信部217を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
通信部202は、ゲーム装置10との間の通信を制御する。データ保持部260は、携帯情報端末200において実行されるアプリケーションのプログラムデータやアプリケーションが使用するデータなどを格納する。タッチパネル262は、制御部210により生成された画像を表示するとともに、ユーザによるタッチ入力を検知する。
制御部210は、タッチパネル262に対するタッチ入力を、ゲーム装置10により実行され、ヘッドマウントディスプレイ100に画像が表示されるゲームに対する入力として受け付けるための連携アプリケーションを実行する。
タッチ入力受付部211は、タッチパネル262から入力信号を受け付ける。入力位置調整部212は、タッチ入力受付部211が受け付けた入力の位置を、ヘッドマウントディスプレイ100の表示装置90に表示される画像のうちタッチパネル262の入力領域が割り当てられた領域の位置に対応付ける。タッチパネル262の入力領域が割り当てられた領域に関する情報は、連携アプリケーションの起動時などに、ヘッドマウントディスプレイ100又はゲーム装置10から予め取得される。入力情報送信部213は、入力位置調整部212により調整されたタッチ入力の位置を示す情報をゲーム装置10に送信する。
タッチパネル表示情報受信部214は、タッチパネル262に表示すべき情報をゲーム装置10から受信する。タッチパネル表示制御部215は、タッチパネル表示情報受信部214が受信した情報をタッチパネル262に表示する。
HMD表示情報生成部216は、ヘッドマウントディスプレイ100の表示装置に表示すべき情報を生成する。HMD表示情報生成部216は、携帯情報端末200において実行される他のアプリケーションから各種の通知情報を取得して、所定の条件にしたがって通知情報から表示情報を生成する。例えば、携帯情報端末200のメール送受信アプリケーションがメールを受信したときに、メールのタイトル、本文の冒頭の所定数の文字列、送信者などの情報を抽出し、表示情報を生成してもよい。HMD表示情報送信部217は、HMD表示情報生成部216が生成した表示情報をゲーム装置10に送信する。なお、本実施の形態では、ヘッドマウントディスプレイ100の表示装置に表示すべき情報は、いったんゲーム装置10に送信され、ゲーム装置10により画像データが生成されるが、別の例では、ヘッドマウントディスプレイ100の表示装置に表示すべき情報は、直接ヘッドマウントディスプレイ100に送信され、ヘッドマウントディスプレイ100のHMD表示制御部165により表示装置90に表示されてもよい。
図7は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、ゲーム装置10により制御されるゲームの画像が表示される。
図8は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図7に示したゲームの状況において、突然周囲が暗転し、暗闇に包まれてしまったとする。ゲーム装置10のHMD画像データ生成部313は、真っ暗なゲーム画像を生成し、ヘッドマウントディスプレイ100の表示装置90には、真っ暗なゲーム画像が表示される。
図9は、携帯情報端末200のタッチパネル262を示す。図9の例では、ゲーム装置10のタッチパネル表示情報生成部315は、ヘッドマウントディスプレイ100の表示装置90に表示する画像と同じ画像をタッチパネル262に表示するための情報を生成し、携帯情報端末200のタッチパネル表示制御部215は、ヘッドマウントディスプレイ100の表示装置90に表示される画像と同じ画像をタッチパネル262に表示する。ここで、タッチパネル262の任意の位置において下方向のフリック入力を行うことにより暗視ゴーグルを装着し、上方向にフリック入力を行うことにより暗視ゴーグルを外す機能が設けられているとする。タッチパネル262においてユーザが下方向にフリック入力を行うと、入力情報送信部213は、下方向にフリック入力が行われたことを示す情報をゲーム装置10に送信する。
図10は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図9に示したように、ユーザがタッチパネル262に対して下方向にフリック入力を行ったとき、ゲーム装置10のゲーム制御部319は、タッチパネル262において下方向にフリック入力が行われたことを示す情報を取得すると、暗視ゴーグルが装着されたものとして、HMD画像データ生成部313に暗視画像の生成を指示する。HMD画像データ生成部313は暗視画像を生成し、図10に示すように、ヘッドマウントディスプレイ100の表示装置90には暗視画像が表示される。このように、ユーザが実際にゴーグルを上下に脱着する動きと、タッチパネル262に対して上下にフリック入力を行う動きが対応しているので、直感的に分かりやすいユーザフレンドリーな操作体系を提供することができる。
図11は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、視界に曇り402が生じているゲームの画像が表示されている。
図12は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の任意の位置において任意の方向にスワイプ入力を行うことにより、スワイプした位置に表示されている曇り402を除去する機能が設けられているとする。タッチパネル262においてユーザがスワイプ入力を行うと、入力情報送信部213は、スワイプされた位置を示す情報をゲーム装置10に送信する。
図13は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図12に示したように、ユーザがタッチパネル262に対してスワイプ入力を行ったとき、ゲーム装置10のゲーム制御部319は、スワイプ入力が行われた位置に表示されている曇り402を除去する。HMD画像データ生成部313は、図13に示すように、除去された曇り402をゲーム画像から消去する。なお、図12において、ユーザはタッチパネル262に表示されたゲーム画像の右側の領域においてスワイプ入力を行っているが、ユーザから見ると画面の左側の領域に対応するので、ゲーム制御部319は、ゲーム画像の左側の領域に表示されていた曇り402を消去している。また、ヘッドマウントディスプレイ100に表示されるゲーム画像と同じ画像をタッチパネル262に表示すると、タッチパネル262を見ている人からすれば、ユーザがゲーム画像の右側の領域においてスワイプ入力を行ったのに、ゲーム画像の左側の領域に表示されていた曇り402が消去されることになって違和感を与えてしまうので、タッチパネル262には、ヘッドマウントディスプレイ100に表示されるゲーム画像を左右反転させた鏡像画像を表示している。
図14は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、視界にクモ404が張り付いているゲームの画像が表示されている。
図15は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の任意の位置において任意の方向に繰り返しスワイプ入力を行うことにより、スワイプした位置に表示されているクモ404を取り払う機能が設けられているとする。タッチパネル262においてユーザが所定回数以上スワイプ入力が行われると、入力情報送信部213は、スワイプされた位置と回数を示す情報をゲーム装置10に送信する。別の例では、入力情報送信部213は、スワイプ入力を受け付けるたびにスワイプされた位置を示す情報をゲーム装置10に送信し、ゲーム装置10のゲーム制御部319が、ユーザが所定回数以上スワイプ入力を行ったか否かを判定してもよい。
図16は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図15に示したように、ユーザがタッチパネル262に対して所定回数以上スワイプ入力を行ったとき、ゲーム装置10のゲーム制御部319は、スワイプ入力が所定回数以上行われた位置に表示されているクモ404を除去する。HMD画像データ生成部313は、図16に示すように、除去されたクモ404をゲーム画像から消去する。
図17は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、ゲームフィールドにフラッシュバン(閃光音響手榴弾)406が配置されたゲームの画像が表示されている。
図18は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図17に示したゲームの状況において、フラッシュバン406が爆発するための所定の条件が満たされると、ゲーム制御部319は、フラッシュバン406を爆発させる。HMD画像データ生成部313は、フラッシュバン406の爆発により閃光が発生したゲーム画像を生成し、ヘッドマウントディスプレイ100の表示装置90には、閃光408が表示される。
ここで、閃光408が発生したときに、ユーザが両眼を手で覆うようにしてタッチパネル262にタッチすると、閃光408の消失とともに再び周囲のゲームフィールドが表示されるが、ユーザが両眼を手で覆うようにしてタッチパネル262にタッチしないと、閃光408により目がくらんで、閃光408が消失しても所定時間は真っ白なゲーム画像が表示され、周囲のゲームフィールドが表示されないものとする。
図19は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の右半分の領域と左半分の領域のそれぞれにおいて、手の平をタッチパネル262に接触させることにより、両眼を覆い隠して閃光408から守る機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置を示す情報をゲーム装置10に送信する。ゲーム制御部319は、爆発の瞬間に、タッチパネル262の右半分の領域と左半分の領域のそれぞれにおいて、手の平がタッチされたことを示す所定の条件に合致したタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、閃光408の消失とともに再び周囲のゲームフィールドを表示させ、行われていなかった場合は、閃光408が消失しても所定時間は真っ白なゲーム画像が表示させる。
図20は、携帯情報端末200のタッチパネル262を示す。図20に示すように、ユーザが左右のいずれかの目の目元付近において、指でピースサインを作り、人差し指と中指でタッチパネル262にタッチすると、ユーザが操作するプレイヤーズキャラクタ又は一人称視点のゲームにおける仮想的なユーザ自身の目からビームが発射されるものとする。
図21は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。タッチパネル262の所定の範囲の領域内において、2点で同時にタッチ入力を行うことにより、ビームを発射する機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置を示す情報をゲーム装置10に送信する。ゲーム制御部319は、所定の範囲内において同時に2点のタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、ビーム410が発射される様子を表示させ、行われていなかった場合は、ビーム410を発射させない。ビーム410が発射された場合、ゲーム制御部319は、ビーム410の経路を算出し、経路上にオブジェクトが存在する場合は、オブジェクトにビーム410が当たった場合の処理を実行する。
図22は、携帯情報端末200のタッチパネル262を示す。図22に示すように、ユーザがタッチパネル262の任意の位置において、指で所定時間以上タッチ入力を行うと、ヘッドマウントディスプレイ100の表示装置90に表示されるゲーム画像の対応する位置に、指の画像が表示されるものとする。
図23は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。タッチパネル262の任意の位置において、所定時間以上又は所定値以上の圧力でタッチ入力を行うことにより、ヘッドマウントディスプレイ100の表示装置90に表示される仮想世界の画像にユーザの指が奥から入り込んでくるような映像効果を表示する機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置と時間又は圧力を示す情報をゲーム装置10に送信する。ゲーム制御部319は、所定時間以上又は所定値以上の圧力でタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、タッチ入力が行われた位置にユーザの指412を表示させ、行われていなかった場合は、指412を表示させない。タッチ入力が行われた時間が長いほど、又は、圧力が大きいほど、指がより手前に入り込んでくる様子を表示してもよい。
このように、現実世界においてユーザが頭部付近で手を使って行うアクションに対応する入力をタッチパネル262に対して行ったときに、そのアクションにより現実世界において発生すべき結果を表示に反映させるので、直感的に分かりやすく、操作しやすいユーザインタフェースを提供することができる。
上記の例では、携帯情報端末200のタッチパネル262に、ヘッドマウントディスプレイ100の表示装置90に表示される画像と同じ画像が表示される。これにより、周囲の人もユーザが実行しているゲームを見て楽しむことができる。例えば子が実行しているゲームを親が把握したい場合などにも有効である。また、表示装置12にゲームの画像を表示しなくても周囲の人がゲームの画像を見ることができるので、表示装置12を他の用途に用いることができる。
タッチパネル262には表示装置90に表示される画像とは異なる画像が表示されてもよい。タッチパネル262に表示される内容は、ヘッドマウントディスプレイ100、携帯情報端末200、又はゲーム装置10を介してユーザによる指示を受け付けることにより決定されてもよいし、ヘッドマウントディスプレイ100、携帯情報端末200、又はゲーム装置10により自動的に決定されてもよい。
図24は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図24の例では、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームの状況が「ボスと対戦中」である旨と、ゲームの状況をより詳細に示す敵キャラクタの残りの体力値と、周囲の人に対するユーザからのメッセージとが表示されている。
図25は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図25の例でも、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームの状況が「ムービー鑑賞中」である旨と、ゲームの状況をより詳細に示すムービーシーンの残りの秒数と、周囲の人に対するユーザからのメッセージとが表示されている。
図26は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図25の例でも、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームのプレイ時間と、次のセーブポイントまでに要する時間の目安とが表示されている。例えば、親が子のゲームのプレイ時間を制限したい場合などにも有効である。
このように、ヘッドマウントディスプレイ100のユーザが実行しているゲームや視聴している動画像などの状況を示す情報をタッチパネル262に表示することにより、周囲の人がユーザの状況を把握することができるので、ユーザに話しかける場合などには、話しかけても問題のない状況を選んで話しかけることができる。したがって、ユーザが中断されたくない状況で中断させられる事態を低減することができ、ユーザはより効果的に没入感を得ることができる。
図27は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図27の例では、撮像画像解析部318がヘッドマウントディスプレイ100の位置及び姿勢を解析するためのマーカとなる画像がタッチパネル262に表示される。これにより、ヘッドマウントディスプレイ100の位置及び姿勢を解析する際の精度を向上させることができる。複数の位置に設けられた複数のタッチパネルに異なるマーカを表示させると更に効果的である。なお、タッチパネル262に表示させるマーカとなる画像は、バーコードなどの任意の図形であってもよいし、キャラクタなどの画像であってもよい。また、人物やキャラクタなどの顔の目の周囲の部分を表示させ、ユーザがキャラクタのお面をかぶっているようにしてもよい。これにより、周囲の人も楽しませることができる。
図28は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ゲーム中に、携帯情報端末200のメールアプリケーションがメールを受信したとき、HMD表示情報生成部216は、受信したメールに関する情報を取得して、ヘッドマウントディスプレイ100の表示装置90に表示すべき情報を生成する。ゲーム装置10のHMD表示情報受信部317が、携帯情報端末200からヘッドマウントディスプレイ100の表示装置90に表示すべき情報を受信すると、HMD画像データ生成部313は、受信した情報を含む画像データを生成する。図28の例では、ヘッドマウントディスプレイ100の表示装置90に、携帯情報端末200が受信したメールの送信者と、タイトルと、本文の冒頭の内容とが、画面下部の表示領域502に表示される。
ヘッドマウントディスプレイ100の表示装置90に表示すべき情報の設定は、携帯情報端末200のタッチパネル262を介して事前にユーザから受け付けてもよい。これにより、ユーザは、ヘッドマウントディスプレイ100の使用中も、携帯情報端末200に関する必要な情報を見ることができ、必要であればヘッドマウントディスプレイ100の視聴を中断して携帯情報端末200を使用することができる。このとき、携帯情報端末200のタッチパネル262にはヘッドマウントディスプレイ100の表示装置90に表示した情報を表示しなくてもよい。これにより、周囲の人にユーザの情報が見られてしまうことを防ぐことができる。
携帯情報端末200から受信した情報を表示する表示領域502は、ゲームの状況に応じて位置や大きさなどが決定されてもよいし、ユーザから設定を受け付けてもよい。表示すべき画像の縦横比と表示装置90の表示領域の縦横比が一致していないために、画面の上下又は左右に画像が表示されない領域が残っている場合、その領域を表示領域502としてもよい。
ヘッドマウントディスプレイ100の表示装置90を視聴しながら、携帯情報端末200を操作可能としてもよい。入力デバイス20など、ゲーム装置10の入力機能を用いて操作を行う場合、ゲーム装置10は、入力デバイス20などから受け付けた指示入力を携帯情報端末200に送信し、携帯情報端末200の連携アプリケーションが操作対象となるアプリケーション、例えばメールアプリケーションに受信した指示入力を伝達する。タッチパッド140など、ヘッドマウントディスプレイ100の入力機能を用いて操作を行う場合、ヘッドマウントディスプレイ100は、タッチパッド140などから受け付けた指示入力を直接、又はゲーム装置10を介して、携帯情報端末200に送信する。携帯情報端末200のタッチパネル262を用いて操作を行う場合、操作対象となるアプリケーションが直接、又は、連携アプリケーションを介して、指示入力を受け付ける。
図29は、ヘッドマウントディスプレイ100の表示装置90の表示領域と、タッチパネル262及びタッチパッド140の入力領域との対応関係を示す。前述したように、本実施の形態では、複数のタッチパネル262及びタッチパッド140が設けられているので、ゲーム装置10の入力位置調整部312は、それぞれのタッチパネル262及びタッチパッド140に対する入力の位置を、ヘッドマウントディスプレイ100の表示装置90に表示される画像における位置に対応付ける。図29の例では、ヘッドマウントディスプレイ100の表示装置90に表示される画像のうち、領域aは携帯情報端末200のタッチパネル262に、領域bはヘッドマウントディスプレイ100の上面に設けられたタッチパッド140に、領域cはヘッドマウントディスプレイ100の左側頭部に設けられたタッチパッド140に、領域dはヘッドマウントディスプレイ100の右側頭部に設けられたタッチパッド140に対応付けられる。このとき、ユーザの視界と実際のタッチパネル262及びタッチパッド140の設置位置とができる限り同じになるようにすることが望ましい。これにより、ユーザが身体感覚と視覚との間の矛盾を感じることなく操作することが可能なユーザインタフェースを提供することができる。
それぞれの表示領域とタッチパネル262又はタッチパッド140の入力領域との大きさや形状などが異なる場合、タッチパネル262の場合は携帯情報端末200の入力位置調整部212が、タッチパッド140の場合はヘッドマウントディスプレイ100の入力位置調整部162が、それぞれ、実際の入力位置を、割り当てられた入力領域における入力位置に対応付ける。
図30は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ゲーム装置10の入力位置調整部312は、入力情報受信部311が入力情報を受信したとき、調整した位置に入力位置を示すマーカ504を表示するとともに、入力を受け付けたタッチパネル262又はタッチパッド140に対応する領域の枠506を表示する。これにより、タッチパネル262及びタッチパッド140が複数設けられる場合であっても、ユーザが所望の位置に対して入力するためにはいずれのタッチパネル262又はタッチパッド140をタッチすればよいのかを分かりやすく示すことができる。また、そのタッチパネル262又はタッチパッド140のうちどの辺りをタッチすればよいのかを分かりやすく示すことができる。
図31は、実施の形態に係る表示制御方法の手順を示すシーケンス図である。ゲーム装置10のゲーム制御部319がゲームを制御し(S100)、HMD画像データ生成部313がヘッドマウントディスプレイ100に表示させる画像データを生成する(S102)。HMD画像データ送信部314が画像データをヘッドマウントディスプレイ100に送信し(S104)、ヘッドマウントディスプレイ100のHMD表示制御部165が画像データを表示装置90に表示する(S106)。
ゲーム装置10のタッチパネル表示情報生成部315は、ゲームの状況などを携帯情報端末200のタッチパネル262に表示させるための情報を生成し(S108)、タッチパネル表示情報送信部316が表示情報を携帯情報端末200に送信する(S110)。携帯情報端末200のタッチパネル表示制御部215は、表示情報をタッチパネル262に表示する(S112)。
携帯情報端末200のタッチパネル262に対してユーザがタッチ入力を行うと、タッチ入力受付部211が入力を受け付け(S120)、入力位置調整部212がタッチ入力の位置を調整し、入力情報送信部213が入力情報をゲーム装置10に送信する(S124)。ヘッドマウントディスプレイ100のタッチパッド140に対してユーザがタッチ入力を行うと、タッチ入力受付部161が入力を受け付け(S122)、入力位置調整部162がタッチ入力の位置を調整し、入力情報送信部163が入力情報をゲーム装置10に送信する(S126)。ゲーム装置10の入力情報受信部311が携帯情報端末200又はヘッドマウントディスプレイ100から入力情報を受信すると、入力位置調整部312がタッチ入力の位置を調整し、ゲーム制御部319がタッチ入力をゲーム制御に反映させ(S128)、S100に戻る。
携帯情報端末200がメールを受信するなどして、HMD表示情報生成部216がヘッドマウントディスプレイ100に表示すべき情報を生成すると(S140)、HMD表示情報送信部217が表示情報をゲーム装置10に送信する(S142)。ゲーム装置10のHMD表示情報受信部317が携帯情報端末200から表示情報を受信すると、HMD画像データ生成部313が表示情報を表示に反映させ(S144)、S102に戻る。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上記の例では、ヘッドマウントディスプレイ100の表示装置90に単眼視用の画像が表示されたが、別の例では、両眼立体視用の画像が表示されてもよい。この場合、携帯情報端末200のタッチパネル262にも両眼立体視用の画像が表示されてもよいし、タッチパネル262には単眼視用の画像が表示されてもよい。
上記の例では、ゲーム装置10がゲームを制御し、ヘッドマウントディスプレイ100の表示装置90に表示する画像データを生成したが、別の例では、ゲームを制御し、画像データを生成するための構成がヘッドマウントディスプレイ100に設けられてもよい。この場合、ゲーム装置10は設けられなくてもよく、携帯情報端末200とヘッドマウントディスプレイ100はゲーム装置10を介さずに直接通信してもよい。
上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ100が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。ゲームコントローラなどの専用の入力装置を持たない表示システムにおいても、実施の形態に係るヘッドマウントディスプレイ100によれば、タッチパッドや携帯情報端末のタッチパネルなどを介して、容易にユーザの指示を入力することができる。