JP2016167219A - ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム - Google Patents

Abstract

【課題】タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に操作する。
【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）とＨＭＤに通信可能に接続されているタッチパネル式装置とを備えたＨＭＤシステムにおいて、ＨＭＤの表示領域に３次元仮想空間内のレーシング画像を表示するユーザインタフェース表示方法である。タッチパネル式装置から出力データを取得するステップＳ３と、出力データの種類を判定するステップＳ４と、判定された出力データの種類に基づいて操作データを求めるステップＳ５、Ｓ６、Ｓ７と、該操作データに基づき仮想空間内の表示オブジェクトに行わせる動作を決定するステップＳ８と、決定された表示オブジェクトに行わせる動作に基づいてＨＭＤの表示領域に表示する３次元仮想空間内のレーシング画像を生成するステップＳ１２と、を備える。
【選択図】図９

Description

本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、タッチパネル式装置による操作で該画像に表示される表示オブジェクトを操作可能なヘッドマウントディスプレイシステムにおいて、表示オブジェクトを表示するための方法及びプログラムに関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能な非透過型のヘッドマウントディスプレイ（ＨＭＤ）が知られている。また、近年、ディスプレイとタッチパネルとが一体となった携帯端末が知られている。このような携帯端末のタッチパネルを用いて、携帯端末のディスプレイに表示された表示オブジェクトの操作を直感的に実現するための技術が種々提案されている。（例えば、特許文献１）

特開２０１４−１４９６５３号公報

上記特許文献１に記載された技術は、ディスプレイがタッチパネル式である携帯端末を用いて該ディスプレイに表示された表示オブジェクトを操作する。この場合、ユーザは保持している端末のディスプレイを見ながら、該ディスプレイと一体化したタッチパネルを用いて表示オブジェクトを操作する。しかしながら、ディスプレイがタッチパネルと一体化しているため、タッチパネルに対するユーザの指などによりディスプレイの一部が隠れてしまうことがあった。

また、上記背景技術に係る非透過型ヘッドマウントディスプレイを装着した場合、ユーザは仮想空間に完全に没入しているため手元を観察することができないため、ユーザはディスプレイを観察しながら、ディスプレイと一体型のタッチパネル上で表示オブジェクトの操作を行うことができない。本発明は上記事情に着目してなされたものであって、その目的とするところはタッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に操作することにある。

（１）本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域にゲーム画像を表示するユーザインタフェース表示方法であって、
タッチパネル式装置からの出力データを取得するステップと、
出力データに基づいて、仮想空間内の表示オブジェクトに行わせる動作を決定するステップと、
決定された表示オブジェクトに行わせる動作に基づいて、表示領域に表示する仮想空間内のゲーム画像を生成するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
（２）また、本発明は、出力データを取得するステップが、
タッチパネル式装置のタッチパネルに対するユーザによる接触を検出するステップと、
タッチパネル式装置の傾きの変化を検出するステップと、
タッチパネル式装置の変位を検出するステップと、
のいずれか又は全てを含むことを特徴とする。
（３）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたユーザによる接触がタッチパネルの第１の領域にある場合に、表示オブジェクトの第１の停止操作であり、検出されたユーザによる接触がタッチパネルの第２の領域にある場合に、表示オブジェクトの前進操作であることを特徴とする。
（４）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたタッチパネル式装置の傾きの変化に応じた、表示オブジェクトの方向転換操作であることを特徴とする。
（５）また、本発明は、仮想空間内の表示オブジェクトに行わせる動作が、検出されたタッチパネル式装置の変位に応じた、表示オブジェクトの第２の停止操作であることを特徴とする。
（６）また、本発明は、タッチパネル式装置はスマートフォンであることを特徴とする。
（７）また、本発明は上記（１）から（６）のいずれかに記載の、表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラムに関する。

この発明の上記の、及び他の特徴及び利点は、この発明の実施形態の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明によれば、タッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に操作することができる。

本発明の一実施形態に従った、ＨＭＤシステムの概略図を示す。 本発明の一実施形態に従った、ＨＭＤシステムの表示制御を実現するための機能的構成を示す。 本発明の一実施形態に従った、タッチパネル式装置の３次元実空間の直交座標系、及びタッチパネル平面の直交座標系、及びこれら座標系において用いられる各種パラメータを示す。 本発明の一実施形態に従った、３次元仮想空間内の車体をアクセル／ブレーキ操作する際の、タッチパネル式装置に対するユーザ操作を示す。 図５Ａは、本発明の一実施形態に従った、３次元仮想空間内の車体を左方向へ向けるためのハンドル操作、図５Ｂは、本発明の一実施形態に従った、３次元仮想空間内の車体を右方向へ向けるためのハンドル操作を示す。図５Ｃは本発明の一実施形態に従った、３次元仮想空間内の車体にサイドブレーキをかける操作を示す。 本発明の一実施形態に従った、３次元仮想空間内で右に急カーブする車体の状態をその進行状態に従って示す。 本発明の一実施形態に従った、３次元仮想空間内の車体に対するハンドル操作、サイドブレーキをかける操作をする際の、タッチパネル式装置に対するユーザ操作を示す。 図８Ａはドリフト走行が始まる状態の表示領域に表示される画像、図８Ｂはドリフト走行中の横滑り状態において表示領域に表示される画像を示す。 本発明の一実施形態に従った、ＨＭＤシステムにおけるレーシングゲームの表示を制御するための処理の流れを示す。

図１は、一実施形態に係るシステムの構成図である。このシステムでは、タッチパネル式装置１３０と本体装置１２０が無線又は有線で通信可能に接続され、本体装置１２０とＨＭＤ１１０が無線又は有線で通信可能に接続されている。ＨＭＤ１１０は、表示領域１１２を備えており、ＨＭＤを装着したユーザは表示領域１１２に表示される画像のみを観察することができる。ＨＭＤを装着したユーザはタッチパネル式装置１３０を操作することにより、表示領域１１２に表示される画像を制御することができる。

また、図１においては、ＨＭＤ１１０を装着するユーザのみがタッチパネル式装置１３０を操作しているが、場合によってはタッチパネル式装置を他に複数設け、各タッチパネル式装置を、ＨＭＤを装着するユーザの保持するタッチパネル式装置１３０へネットワークを介して接続することにより、ＨＭＤを装着するユーザが操作しているゲーム中の画像を複数の他のユーザが観察可能なようにすることもできる。これにより複数の他のユーザはＨＭＤを装着していなくとも、ネットワークを介してＨＭＤを装着するユーザの保持するタッチパネル式装置１３０の画面に表示されるゲーム画像を観察することができる。ネットワークを介して他のユーザか観察することのできるゲーム画像は、ＨＭＤを装着するユーザが観察する画像を簡易化した画像とすることができる。タッチパネル装置間の通信速度が、ＨＭＤを装着するユーザが観察する３次元の仮想空間画像を逐次送受信するのに十分でない場合があるからである。
＜本体装置のハードウェア構成＞
本体装置１２０は、プロセッサ、メモリ、通信部（図示せず）を備えることができる。さらに、本体装置１２０は、当該本体装置１２０に対して交換可能に用いられる情報記憶媒体（例えば光ディスク）が着脱可能に挿入することができる。光ディスクに、本体装置で実行されるアプリケーションプログラムを記憶することができる。

本体装置１２０のプロセッサは、メモリ又は光ディスクに記憶されたアプリケーションプログラムを実行することによって、アプリケーション処理（ゲーム処理）を実行するものである。

本体装置１２０のメモリはプロセッサによって実行される各種アプリケーションプログラムや、各種アプリケーションプログラムの実行に伴い生じる各種データ（ゲームの結果データ又は途中データ等）を格納することができる。

本体装置の通信部は、タッチパネル式装置１３０から出力された各種データを受信したり、ＨＭＤ１１０の表示領域１１２に対し生成した表示画像を送信したりすることができる。

本体装置１２０は、公知のパーソナルコンピュータ、据え置き型ゲーム機等により実現されうる。本体装置１２０は、図２に示される機能を実現するための装置である。図１において、本体装置１２０はタッチパネル式装置１３０、ＨＭＤ１１０とは別個に構成されているが、本体装置１２０により実現される図２に示される機能の一部又は全部を、機能を実現するために必要とされるハードウェアを備えたタッチパネル式装置１３０又はＨＭＤ１１０に搭載することができる。この場合、本体装置１２０をタッチパネル式装置１３０及び／又はＨＭＤ１１０と一体化することもできる。
＜タッチパネル式装置のハードウェア構成＞
タッチパネル式装置１３０は、タッチパネルに配設されたタッチセンサ１３２と、傾き検出センサ１３４、３軸加速度センサ１３６、振動モータ１３８、送信部、メモリ、プロセッサ（図示せず）を備えることができる。タッチパネル式装置１３０はユーザにより保持され、ＨＭＤのコントローラとして使用することができる。タッチパネル式装置１３０は、公知のスマートフォン、タブレット端末、ＰＤＡにより実現され得る。

タッチパネル式装置のタッチセンサ１３２はユーザによるタッチパネルに対するタッチ入力が行われた位置（接触位置）を検出する。ユーザがタッチパネル式装置のタッチパネルに対して指やスタイラスペンを用いてタッチ操作を行うと、タッチセンサ１３２は該操作に関する各種データ（タッチパネルへの接触位置）を検出することができる。非透過型のＨＭＤを装着している場合、ユーザは保持しているタッチパネル式装置１３０の表示面を観察することはできない。その代わりに、ＨＭＤの表示領域を観察することができる。従って、タッチパネルは、タッチセンサ機能を有していれば良く、表示機能を有していなくても良い。

タッチパネル式装置の傾き検出センサ１３４は、タッチパネル式装置１３０の３次元実空間でのＸＹＺ軸回りのそれぞれの角速度を検出するためのものであり、ジャイロセンサにより実現され得る。

タッチパネル式装置の３軸加速度センサ１３６は、タッチパネル式装置の３次元実空間でのＸＹＺ軸方向の加速度を検出するためのものである。加速度センサ１３６が検出した加速度は、タッチパネル式装置１３０の筐体の傾き（傾斜角度）や動きに応じて変化するので、取得された加速度データを用いて、タッチパネル式装置１２０の筐体の傾きや動き、３次元実空間における装置変位量を算出することができる。

タッチパネル式装置のメモリは、各センサより出力されたタッチパネル式装置に対して行われた所定の操作に関する操作入力情報、即ち、タッチセンサへの接触位置、タッチパネル式装置１３０の３次元実空間での筐体のＸＹＺ軸回りの角速度、３次元実空間での筐体のＸＹＺ軸方向の加速度を操作入力情報として格納する。

タッチパネル式装置の振動モータ１３８は、本体装置１２０から送信される信号に従ってタッチパネル式装置１３０を振動させる。
タッチパネル式装置の送信部は、メモリに格納されたタッチパネル式装置に対して行われたユーザ操作に関する操作入力情報を、本体装置１２０のアプリケーション進行部２０２からのリクエストに応じて出力データとして送信する。アプリケーション進行部２０２がアプリケーションプログラムの実行に必要な操作入力情報をリクエストすることで、タッチパネル式装置１３０は検出された全ての操作入力情報を本体装置１２０へ送信することなく、必要な情報のみを出力データとして送信することができる。従って、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。

図２は、本発明の一実施形態に係るＨＭＤシステムの表示処理を実現するための機能的構成図である。本体装置１２０は、プロセッサなどの演算部に組み込まれたプログラムで制御された、アプリケーション進行部２０２と、接触領域判定部２０４と、傾き変化算出部２０６と、加速度変化検出部２０８と、表示制御部２１０とを備えている。

アプリケーション進行部２０２は、アプリケーション処理制御の中核をなすものであり、アプリケーションプログラム（例えばレーシングゲーム）の起動、初期値の設定、アプリケーションプログラムにより入力が求められるユーザ操作の決定、タッチパネル式装置１３０からの出力データの取得、出力データの種類の判定等を行う。

まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が何かを決定する。求められるユーザ操作とは、実行中のアプリケーションプログラムの内容、実行中のアプリケーションプログラムにおいてユーザが現在操作している状況に基づいて定められ、実行中のアプリケーションプログラムが入力を許可する、コントローラに対するユーザ操作のことである。例えば、ユーザが仮想空間内でレーシングゲームを行う場合は、求められるユーザ操作は「前進操作／第１の停止操作」「ハンドル操作」「第２の停止操作」である。ユーザは意図しないで、タッチパネル式装置の姿勢操作や移動操作を行ってしまうことがあり、特にＨＭＤを装着しているユーザは、自身が保持しているタッチパネル式装置を観察することができないため、意図しない操作を行う可能性があるが、このように、アプリケーションプログラムの内容に基づいて求められるユーザ操作を決定することで、アプリケーション実行中にユーザが意図しない操作を排除することができる。

ユーザは、タッチパネル式装置１３０のタッチパネル１３２上の所定の領域を接触することによって、ＨＭＤの表示領域１１２に表示される表示オブジェクト（例えばレーシングゲームにおける車体、キャラクタ）に対し第１の停止操作／前進操作を指示することができる。第１の停止操作とは例えば、表示オブジェクトが車体の場合のブレーキ操作、表示オブジェクトが船の場合のスクリューの前進回転を停止する操作、表示オブジェクトが宇宙船の場合の前進のための噴射を停止する操作である。前進操作とは例えば、表示オブジェクトが車体の場合のアクセル操作、船の場合のスクリューの前進回転操作、宇宙船の場合の前進噴射操作である。

また、タッチパネル式装置１３０の筐体の傾き（ヨー角）を変化させることで、ＨＭＤの表示領域１１２に表示される車体に対し方向転換操作を指示することができる。方向転換操作とは例えば、表示オブジェクトが車体の場合のハンドル操作、表示オブジェクトが船の場合の舵をきる操作である。

また、タッチパネル式装置１３０の筐体の位置を短時間に変化させることで、ＨＭＤの表示領域１１２に表示される表示オブジェクトに対し第２の停止操作を指示することができる。第２の停止操作とは、例えば表示オブジェクトが車体の場合のサイドブレーキをかける操作、表示オブジェクトが船の場合のスクリューの後進回転操作、表示オブジェクトが宇宙船の場合の逆噴射操作である。なお、本実施形態において、筐体の実空間における位置を短期間に変化させる操作は、例えば、短期間に筐体を手元に引く操作であり、ユーザは直感的な動作で、ＨＭＤの表示領域に表示された車体に対しサイドブレーキをかけることができる。

次に、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置１３０へリクエストする。ゲーム中は、該求められるユーザ操作に対応する操作入力情報は、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾きの変化に関する情報（ヨー角速度）、タッチパネル装置１３０の３次元実空間における３軸加速度である。必要な情報のみをリクエストすることで、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。

次に、タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、メモリに格納されたタッチセンサ、傾き検出センサ、３軸加速度センサから得られた各種操作入力情報に関する情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。本実施態様においては、出力データは、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾き操作に関する情報（ヨー角速度）、３軸加速度センサ１３６からのタッチパネル式装置１３０の加速度である。

接触領域判定部２０４は、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、該タッチ操作に関する情報に基づいて、ユーザによる接触位置が図４に例示する第１の領域内にあるか、第２の領域内にあるかを判定する。

傾き変化算出部２０６は、出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報（角速度）である場合に、該傾き操作に関する情報に基づいて、タッチパネル装置１３０の筐体の３次元実空間での３軸回りの角度変化、角加速度など又はこれらの一部を操作データとして算出する。

加速度変化検出部２０８は、出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸方向の装置速度、装置変位量、加速度が所定の閾値を超えたかなど、又はこれらの一部を操作データとして算出する。

表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、仮想空間に登場する表示オブジェクトの表示演算をフレーム毎に行う。表示制御部２１０は表示オブジェクトの表示演算に基づいて、表示オブジェクト（例えば、車体）からの視界画像（ドライバーズビュー）を生成し、レーシング画像として表示領域１１２へ出力する。表示制御部２１０は表示オブジェクトからの視界画像に表示オブジェクトを重ねた画像を生成しゲーム画像として表示領域１１２へ出力することもできる。

本発明によると、ユーザは、タッチパネル式装置を用いて３次元仮想空間内で表示オブジェクトに行わせる操作を容易にかつ直感的に指示することができる。特に非透過型のＨＭＤを装着しているユーザは手元を観察することができないため、タッチパネル式装置のタッチパネルを観察しながら表示オブジェクトを操作できない。本発明によると、ジャイロセンサ、加速度センサ、タッチセンサを備えたタッチパネル式装置を用いて、ユーザは手元を観察することなく、ＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトの方向を容易にかつ直感的に指示することができる。

また、タッチパネルのタッチセンサを用いて、該タッチパネルに表示される表示オブジェクトを操作する場合、操作を行う指などに表示オブジェクトが隠れて見えなくなってしまうことがあった。本発明によると、タッチ操作を行うタッチパネルと、表示領域とが別個に構成される。従って、ユーザは表示オブジェクトが指により隠れてしまうことを気にすることなく表示オブジェクトの操作を行うことができる。

図３は、本発明の一実施形態に従った、タッチパネル式装置１３０の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）、及びタッチパネル式装置のタッチパネル平面の２次元直交座標系（ｘ，ｙ）を示す。θｒ、θｐ、θｙはそれぞれ、タッチパネル式装置の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）において、タッチパネル式装置の前後を軸とした回転を示すロール角（θｒ）、左右を軸とした回転を示すピッチ角（θｐ）、上下を軸とした回転を示すヨー角（θｙ）を示す。

以下、図４〜８に基づいて、タッチパネル式装置１３０の操作により、ＨＭＤの表示領域に表示される３次元仮想空間内に表示される表示オブジェクトを操作する処理を説明する。なお、以下は表示オブジェクトが車体の場合の操作に限定して説明を行うが、他の移動体（例えば船）の場合にも同様の操作を行うことができることは当業者に容易に理解されよう。

図４はタッチパネル式装置１３０のタッチセンサ１３２を用いて表示オブジェクトのブレーキ／アクセル操作する処理を示す。タッチパネル式装置１３０はユーザにより保持されており、タッチパネル平面は第１の領域と第２の領域に分割されている。例えば、レーシングゲーム中に第１の領域に対するユーザ接触が検出されると、表示オブジェクトにブレーキ操作（第１の停止操作）を行わせることができ、第２の領域に対するユーザ接触が検出されると、表示オブジェクトにアクセル操作（前進操作）を行わせることができる。第１の領域、第２の領域は、一般的な自動車が、ブレーキペダルをドライバの左に、アクセルペダルをドライバの右に位置することに基づき配置されている。ＨＭＤを装着しているユーザは手元を観察することができないため、タッチパネル平面をブレーキ／アクセル領域のみで簡易に構成し、ユーザは直感的に操作できる。

図５はタッチパネル式装置１３０の筐体の傾きを変化させることによるハンドル操作（方向転換操作）（図５Ａ，Ｂ）、実空間内での位置を動かすことによるサイドブレーキをかける操作（第２の停止操作）（図５Ｃ）を示す。

図５Ａに示すように、レーシングゲーム中にタッチパネル式装置１３０の筐体に対し、Ｚ軸を中心とした左回転が検出されると、表示制御部２１０は筐体の角度変化に応じて表示オブジェクトに左ハンドルをきる動作を行わせることができる。一方、図５Ｂに示すように、タッチパネル式装置１３０の筐体に対し、Ｚ軸を中心とした右回転が検出されると、表示制御部２１０は筐体の角度変化に応じて表示オブジェクトに右ハンドルをきる動作を行わせることができる。さらに、図５Ｃに示すように、レーシングゲーム中にタッチパネル式装置１３０の筐体に対し、実空間内での所定の閾値以上の加速度変化が検出されると、表示制御部２１０は表示オブジェクトにサイドブレーキをかける操作を行わせることができる。タッチパネル式装置１３０を用いた図４、図５に示す操作は実際の車の運転感覚に似ており、ユーザは直感的にレーシングゲームを進行することができる。

図６〜８は、右カーブでのドリフト走行を説明する図である。ドリフト走行とは車体がタイヤグリップと呼ばれる路面とタイヤの摩擦により横滑りを起こしながらも、ドライバのアクセル、ブレーキ、ハンドル等による操作によって、車体の進行方向を大きく変える走行方法、その他これに準ずる走行方法である。 本実施形態では車体のドリフト走行について説明しているが、船や宇宙船等についても同様の操作によって、その進行方向を大きく変えることができる。

図６は３次元仮想空間内で右に急カーブする車体の状態をその進行状態に従って示した図である。ドリフト走行する車体は状態ａ１からａ４に示すように変化する。仮想空間における車体の中心から延びる矢印は車体の進行方向を示す。

位置ａ１は車体が右カーブに進入する直前の状態を示す。このとき、仮想空間における車体の進行方向と、車体の正面方向とはほぼ一致している。ａ１においてユーザはハンドルを右に大きくきる。

位置ａ２は車体がカーブに進入した直後の状態を示す。ハンドルを右に大きくきったことにより車体は大きく右旋回し、仮想空間における車体の進行方向と車体の正面方向とは大きくずれている。ａ２においてユーザはサイドブレーキをかけて後輪をロックする。

位置ａ３は後輪がロックされた車体が横滑りしている状態を示す。サイドブレーキにより後輪がロックされた車体はさらに大きく右旋回しつつ、横滑りしている。仮想空間における車体の進行方向と車体の正面方向とは大きくずれたままである。ａ３においてユーザはハンドルを左に大きくきる。

位置ａ４は、車体がカーブをほぼ脱出した状態を示す。カーブの後半では、ａ３においてハンドルを左に大きくきったことによりａ４において車体の旋回は収まっている。仮想空間における車体の進行方向は車体の正面方向とほぼ一致しており、通常の走行状態に戻っている。

仮想空間内でドリフト走行を行うユーザは、車体がカーブに差し掛かった際に、瞬間的にサイドブレーキをかけ、後輪を一時的にロックさせ、進行方向に車体後部が降られた際、ハンドルをカーブとは逆方向にきり、自動車の運動エネルギーを可能な限り保存しつつ車体の進行方向を大きく変える操作を行う。図７は仮想空間内で右急カーブでのドリフト走行を行うユーザ操作を示す。図７Ａは図６の位置ａ１、図７Ｂは図６の位置ａ２、図７Ｃは図６の位置ａ３にそれぞれ対応する。

図７Ａは位置ａ１におけるユーザ操作を示す。ユーザは車体が右カーブにさしかかると、タッチパネル式装置１３０の筐体を右に回転させる。表示オブジェクトはハンドルを右にきる動作を行う。

図７Ｂは位置ａ２におけるユーザ操作を示す。カーブ進入直後に、ユーザは瞬間的にタッチパネル式装置の筐体の実空間における位置を瞬間的に変化させる。表示オブジェクトは、サイドブレーキをかける操作を行い車体の後輪はロックされる。

図７Ｃは位置ａ３におけるユーザによる操作を示す。後輪が一時的にロックされると、進行方向に車体後部がふられるので、ユーザはタッチパネル式装置の筐体を左に回転させる。表示オブジェクトはハンドルをカーブとは逆方向（左方向）にきる動作を行う。なお、上述したドリフト走行は右カーブで説明したが、左カーブでの車体は面対称の状態で推移する。

図８はレーシングゲーム中に、ＨＭＤの表示領域に表示される仮想空間内の例示的な画像（ドライバーズビュー）である。図８Ａは位置ａ１におけるドリフト走行が始まる状態の表示画像を示し、図８Ｂは位置ａ３における横滑り状態の表示画像を示す。
＜ＨＭＤシステムの表示制御処理の流れ＞
図９を参照してＨＭＤシステムの表示を制御するための処理の流れを説明する。図９に示すフローチャートにおける各ステップの処理は単なる一例に過ぎず、同様の結果が得られるのであれば各ステップの処理の順序を入れ替えても良い。

まず、ステップＳ１において初期処理を実行する。アプリケーション処理部２０２は、本体装置１２０においてアプリケーションプログラム（レーシングゲーム）を起動する。ユーザにより車種やコース等のゲーム設定の選択が行われると、アプリケーション処理部２０２は各種パラメータの初期値を設定し、３次元仮想空間を構築し、仮想空間に登場する表示オブジェクトを初期位置に配置する。アプリケーション処理部２０２は、これら構築された３次元仮想空間のレーシング画像、初期位置に配置された表示オブジェクトをＨＭＤの表示領域へ出力する。

ステップＳ２において、アプリケーション進行部２０２はレーシングゲームの残時間があるかを判定する。残時間がある場合に、ステップＳ３へ進む。
ステップＳ３において本体装置１２０はタッチパネル式装置１３０より出力データを取得する。より詳細には、まず、タッチパネル式装置１３０は、タッチセンサ１３２、傾き検出センサ１３４、３軸加速度センサから出力される各情報をユーザ操作に関する操作入力情報として取得しメモリへ逐次格納する。すなわち、タッチセンサ１３２からはユーザによるタッチパネルに対するタッチ操作に関する情報（接触位置）を、傾き検出センサ１３４からは、ユーザによるタッチパネル式装置１３０に対する傾き操作に関する情報（３次元実空間でのＸＹＺの３軸回りの角速度）を、３軸加速度センサ１３６からは、ユーザによるタッチパネル式装置に対する変位操作に関する情報（３次元実空間での３軸方向の加速度）を取得しメモリへ逐次格納する。次に、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作を決定する。次に、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置１３０へリクエストする。タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、メモリに格納された各種操作入力情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。

次にステップＳ４において、本体装置１２０はタッチパネル式装置１３０より送信された出力データの種類を判定する。
次に出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、ステップＳ５において、接触領域判定部２０４は、該タッチ操作に関する情報（接触位置）に基づいて、接触位置が第１の領域内にあるか、第２の領域内にあるかを操作データとして算出する。

出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報である場合に、ステップＳ６において、傾き変化算出部２０６は、該傾き操作に関する情報（角速度）に基づいて、タッチパネル装置１３０の３次元実空間内での３軸回りの角度変化、角加速度を操作データとして算出する。

出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、ステップＳ７において、加速度変化検出部２０８は、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸の加速度が所定の閾値を超えたかを操作データとして算出する。

次に、ステップＳ８において、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、算出された操作データを表示オブジェクトに行わせる動作に対応付けする。

次に、ステップＳ９において、表示制御部２１０は表示オブジェクトの走行状態を判定する。表示制御部２１０は表示オブジェクトの仮想モーメントを算出し、算出された仮想モーメントに従って走行状態がドリフト走行であるかを判定する。

ドリフト走行である場合に、ステップＳ１１において、表示制御部２１０は表示オブジェクトがドリフト走行であることを示す情報をアプリケーション進行部２０２へ出力する。アプリケーション進行部２０２は、振動モータ１３８に対し、タッチパネル式装置を振動させる命令を出力する。振動モータ１３８はタッチパネル式装置を振動させドリフト走行を演出する。

次に、ステップＳ１２において、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、仮想空間に登場する表示オブジェクトの表示演算を行う。表示制御部２１０は表示オブジェクトの表示演算に基づいて、表示オブジェクト（車体）からの視界画像（ドライバーズビュー）を生成し、レーシング画像として表示領域１１２へ出力する。表示制御部２１０は表示オブジェクトからの視界画像に表示オブジェクトを重ねた画像を生成してレーシング画像として表示領域１１２へ出力することもできる。ＨＭＤは表示制御部２１０により出力されたレーシング画像を表示領域１１２の３次元仮想空間へ表示する。

次に、ステップＳ１３に進み、ゴールしていれば、ゴール演出処理が行われ、ステップ１４で終了処理が行われる。ステップＳ１３でゴールしていなければ、ステップＳ２へ戻り残り時間が無ければ、ステップＳ１４に進み終了処理が行われる。ステップＳ２へ戻り残り時間があれば、アプリケーションは進行を継続する。

上述の処理を行うことによって、ユーザは仮想空間内で直感的な操作によるレーシングゲーム、特にドリフト走行を楽しむことができる。
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。

Claims (7)

1. ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、前記ヘッドマウントディスプレイの表示領域にゲーム画像を表示するユーザインタフェース表示方法であって、
   タッチパネル式装置からの出力データを取得するステップと、
   前記出力データに基づいて、仮想空間内の表示オブジェクトに行わせる動作を決定するステップと、
   前記決定された表示オブジェクトに行わせる動作に基づいて、前記表示領域に表示する仮想空間内のゲーム画像を生成するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。
2. 前記出力データを取得するステップは、
   前記タッチパネル式装置のタッチパネルに対するユーザによる接触を検出するステップと、
   前記タッチパネル式装置の傾きの変化を検出するステップと、
   前記タッチパネル式装置の変位を検出するステップと、
   のいずれか又は全てを含むことを特徴とする、請求項１に記載のユーザインタフェース表示方法。
3. 前記仮想空間内の表示オブジェクトに行わせる動作は、検出されたユーザによる接触が前記タッチパネルの第１の領域にある場合に、表示オブジェクトの第１の停止操作であり、検出されたユーザによる接触が前記タッチパネルの第２の領域にある場合に、表示オブジェクトの前進操作であることを特徴とする、請求項２に記載のユーザインタフェース表示方法。
4. 前記仮想空間内の表示オブジェクトに行わせる動作は、前記検出されたタッチパネル式装置の傾きの変化に応じた、表示オブジェクトの方向転換操作であることを特徴とする、請求項２に記載のユーザインタフェース表示方法。
5. 前記仮想空間内の表示オブジェクトに行わせる動作は、前記検出されたタッチパネル式装置の変位に応じた、表示オブジェクトの第２の停止操作であることを特徴とする、請求項２に記載のユーザインタフェース表示方法。
6. 前記タッチパネル式装置はスマートフォンである、請求項１から５に記載のユーザインタフェース表示方法。
7. 請求項１から６のいずれか１項に記載の、前記表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラム。