JP6325016B2 - シミュレーションシステム及びプログラム - Google Patents

Description

本発明は、シミュレーションシステム及びプログラム等に関する。

従来より、ＨＭＤ（頭部装着型表示装置）をユーザが頭部に装着し、ＨＭＤの画面に表示される画像をユーザが見ることで、いわゆるバーチャルリアリティー（ＶＲ）の世界を体感できるシミュレーションシステムが知られている。このようなシミュレーションシステムの従来技術としては、例えば特許文献１等に開示される技術がある。

特開平１１−３０９２６９公報

ＨＭＤを装着したユーザは、ＨＭＤにより視界が遮られてしまうため、外界である実空間の状況を把握することが難しい。このため、ＨＭＤを用いたシミュレーションシステムにおいて、マイクなどの音入力装置を設け、ユーザ音声を入力させた場合に、ユーザの周囲に配置されたスピーカとの間でハウリング等が発生してしまう問題があることが判明した。

本発明の幾つかの態様によれば、音入力装置と頭部装着型表示装置の位置関係等を有効利用してユーザ音声についての処理を実現できるシミュレーションシステム及びプログラム等を提供できる。

本発明の一態様は、ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部と、を含み、前記音処理部は、前記音入力装置と前記頭部装着型表示装置との位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、頭部装着型表示装置の位置の情報と音入力装置の位置及び方向の少なくとも一方の情報が取得される。またユーザが装着した頭部装着型表示装置に画像を表示するための処理が行われると共に、音入力装置により入力されたユーザ音声を含む音をスピーカに出力させる処理が行われる。そして音入力装置と頭部装着型表示装置との位置関係に基づいて、音入力装置により入力されたユーザ音声についての処理が行われる。このようにすれば、頭部装着型表示装置の位置の情報や音入力装置の位置又は方向などの情報に基づいて、音入力装置と頭部装着型表示装置との位置関係を判断して、音入力装置により入力されたユーザ音声についての処理を実行できるようになる。従って、音入力装置と頭部装着型表示装置の位置関係等を有効利用して、ユーザ音声についての処理を実現することが可能になる。

また本発明の一態様では、前記音処理部は、前記音入力装置と前記頭部装着型表示装置との前記位置関係が所与の条件を満たしたと判断した場合に、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置と頭部装着型表示装置との位置関係を判断して、音入力装置により入力されたユーザ音声を受け付けるか否かを決定できるようになる。

また本発明の一態様では、前記音処理部は、前記位置関係が前記所与の条件を満たしていないと判断した場合に、前記ユーザ音声の受け付けをオフにする処理、前記音入力装置の入力レベルを下げる処理、或いは前記スピーカの出力レベルを下げる処理を行ってもよい。

このようにすれば、位置関係が所与の条件を満たしていない場合に、ハウリング防止用の処理を実行できるようになる。

また本発明の一態様では、前記音処理部は、前記音入力装置の位置と前記頭部装着型表示装置の位置とに基づいて、前記位置関係が前記所与の条件を満たしたか否かを判断してもよい。

このようにすれば、音入力装置の位置と頭部装着型表示装置の位置とに基づいて、音入力装置と頭部装着型表示装置との位置関係を判断して、ユーザ音声を受け付けるか否かを決定できるようになる。

また本発明の一態様では、前記音処理部は、前記音入力装置と前記頭部装着型表示装置との距離が所与の距離以下である場合に、前記位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置と頭部装着型表示装置との距離を判断するという簡素な処理で、ユーザ音声を受け付けるか否かを判断できるようになる。

また本発明の一態様では、前記音処理部は、前記音入力装置の方向と前記頭部装着型表示装置の位置とに基づいて、前記位置関係が前記所与の条件を満たしたか否かを判断してもよい。

このようにすれば、音入力装置の方向も判断要素にして、音入力装置と頭部装着型表示装置との位置関係を判断し、ユーザ音声を受け付けるか否かを決定できるようになる。

また本発明の一態様では、前記音処理部は、前記音入力装置の音の指向方向が、前記頭部装着型表示装置の方を向いていると判断した場合に、前記位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置の音の指向方向が、頭部装着型表示装置の方を向いている場合には、ハウリングが発生しないと判断して、ユーザ音声の受け付け処理を行うことが可能になる。

また本発明の他の態様は、ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部と、を含み、前記音処理部は、前記音入力装置と前記スピーカとの第１の位置関係に対する前記頭部装着型表示装置の第２の位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の他の態様によれば、頭部装着型表示装置の位置や音入力装置の位置又は方向などの情報に基づいて、音入力装置とスピーカとの第１の位置関係に対する頭部装着型表示装置の第２の位置関係を判断して、音入力装置により入力されたユーザ音声についての処理を実行できるようになる。従って、音入力装置と頭部装着型表示装置とスピーカの位置関係等を有効利用して、ユーザ音声についての処理を実現することが可能になる。

また本発明の他の態様では、前記音処理部は、前記第２の位置関係が、所与の条件を満たしたと判断した場合に、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置とスピーカとの第１の位置関係に対する頭部装着型表示装置の第２の位置関係を判断して、音入力装置により入力されたユーザ音声を受け付けるか否かを決定できるようになる。

また本発明の他の態様では、前記音処理部は、前記第２の位置関係が前記所与の条件を満たしていないと判断した場合に、前記ユーザ音声の受け付けをオフにする処理、前記音入力装置の入力レベルを下げる処理、或いは前記スピーカの出力レベルを下げる処理を行ってもよい。

このようにすれば、第２の位置関係が所与の条件を満たしていない場合に、ハウリング防止用の処理を実行できるようになる。

また本発明の他の態様では、前記音処理部は、前記音入力装置と前記スピーカとの間に前記頭部装着型表示装置が存在すると判断した場合に、前記第２の位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置とスピーカとの間に頭部装着型表示装置が存在するか否かを判断して、音入力装置により入力されたユーザ音声を受け付けるか否かを決定できるようになる。

また本発明の他の態様では、前記音処理部は、前記音入力装置の音の指向方向が前記スピーカの方を向いている場合にも、前記指向方向が前記頭部装着型表示装置の方を向いていると判断した場合には、前記第２の位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けてもよい。

このようにすれば、音入力装置の指向方向がスピーカの方を向いているというハウリングの位置関係にある場合にも、当該指向方向が頭部装着型表示装置の方を向いている場合には、ハウリングは発生しないとして、ユーザ音声を受け付けることが可能になる。

本実施形態のシミュレーションシステムの構成例を示すブロック図。 図２（Ａ）、図２（Ｂ）は本実施形態に用いられるＨＭＤの一例。 図３（Ａ）、図３（Ｂ）は本実施形態に用いられるＨＭＤの他の例。 プレイエリアである個室の説明図。 プレイエリアである個室の説明図。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 ステージでのユーザ（仮想ユーザ）の移動についての説明図。 図９（Ａ）、図９（Ｂ）はマイクのハウリングの問題についての説明図。 ユーザが観客に対してマイクを向ける状況についての説明図。 図１１（Ａ）、図１１（Ｂ）はマイクとＨＭＤの位置関係に基づいてユーザ音声についての処理を行う手法の説明図。 図１２（Ａ）、図１２（Ｂ）はマイクとＨＭＤの距離に基づいてユーザ音声の受け付けの判断を行う手法の説明図。 図１３（Ａ）、図１３（Ｂ）はマイクの指向方向とＨＭＤの位置に基づいてユーザ音声の受け付けの判断を行う手法の説明図。 本実施形態の処理例を示すフローチャート。 本実施形態の処理例を示すフローチャート。 図１６（Ａ）、図１６（Ｂ）はマイクとスピーカの第１の位置関係に対するＨＭＤの第２の位置関係に基づいてユーザ音声についての処理を行う手法の説明図。 マイクとスピーカの間にＨＭＤが存在するかに基づいてユーザ音声の受け付けの判断を行う手法の説明図。 図１８（Ａ）、図１８（Ｂ）はマイクの指向方向にＨＭＤが存在するかに基づいてユーザ音声の受け付けの判断を行う手法の説明図。 本実施形態の処理例を示すフローチャート。 本実施形態の処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成
図１に本実施形態のシミュレーションシステム（ゲームシステム、映像表示システム、シミュレーション装置）の構成例を示す。なお、本実施形態のシミュレーションシステムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

入力装置１６０は、ユーザが種々の入力情報を入力するための装置である。この入力装置１６０は、音入力装置１６１、振動デバイス１６４を含むことができる。また入力装置１６０は、ユーザがゲームの操作情報を入力するためのゲームコントローラの機能を有していてもよい。ゲームコントローラは、例えば操作ボタン、方向指示キー、ジョイスティック又はレバー等により実現される。この場合にゲームコントローラと音入力装置１６１は、一体の筐体で実現してもよいし、別体の筐体で実現してもよい。

音入力装置１６１は、ユーザが音情報を入力するための装置である。音入力装置１６１により、例えばユーザの歌声や呼び声や掛け声などのユーザ音声を入力できる。この音入力装置１６１は例えば図２（Ａ）で説明するマイク１６２などにより実現できる。なお音入力装置１６１の形状は図２（Ａ）のような形状のマイク１６２には限定されず、例えばヘッドバンドを有するヘッドセット型マイクや小型マイクなどの種々のタイプのものを用いることができる。また音入力装置１６１は、楽器或いは楽器を模した装置における音の入力装置（ピックアップマイク等）であってもよい。楽器としては、弦楽器（ギター）、打楽器（ドラム、太鼓）、或いは鍵盤楽器（ピアノ、キーボード）などがある。

振動デバイス１６４（振動発生部）は、警告等のための振動を発生するデバイスであり、例えば振動モータ（バイブレータ）などにより実現される。振動モータは、例えば、偏芯した錘を回転させることで振動を発生する。具体的には駆動軸の両端に偏心した錘を取り付けてモータ自体が揺れるようにする。なお振動デバイス１６４は、振動モータには限定されず、例えばピエゾ素子などにより実現されるものであってもよい。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＤＤ、光ディスク装置などにより実現できる。記憶部１７０は、空間情報記憶部１７２、楽曲情報記憶部１７４、音データ記憶部１７５、パラメータ記憶部１７６、描画バッファ１７８を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

頭部装着型表示装置２００（ＨＭＤ）は、ユーザの頭部に装着されて、ユーザの眼前に画像を表示する装置である。ＨＭＤ２００は非透過型であることが望ましいが、透過型であってもよい。またＨＭＤ２００は、いわゆるメガネタイプのＨＭＤであってもよい。

ＨＭＤ２００は、センサ部２１０、表示部２２０、処理部２４０を含む。なおＨＭＤ２００に発光素子を設ける変形実施も可能である。センサ部２１０は、例えばヘッドトラッキングなどのトラッキング処理を実現するためものである。例えばセンサ部２１０を用いたトラッキング処理により、ＨＭＤ２００の位置、方向を特定する。ＨＭＤ２００の位置、方向を特定することで、ユーザの位置、方向を特定できる。ユーザの位置、方向により、ユーザ（プレーヤ）に対応する仮想空間の仮想ユーザ（仮想プレーヤ）の位置、方向が特定される。ユーザの位置、方向は例えばユーザの視点位置、視線方向である。仮想ユーザの位置、方向は例えば仮想ユーザの視点位置、視線方向である。

トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第１のトラッキング方式では、後述の図２（Ａ）、図２（Ｂ）で詳細に説明するように、センサ部２１０として複数の受光素子（フォトダイオード等）を設ける。そして外部に設けられた発光素子（ＬＥＤ等）からの光（レーザー等）をこれらの複数の受光素子により受光することで、現実世界の３次元空間でのＨＭＤ２００（ユーザの頭部）の位置、方向を特定する、第２のトラッキング方式では、後述の図３（Ａ）、図３（Ｂ）で詳細に説明するように、複数の発光素子（ＬＥＤ）をＨＭＤ２００に設ける。そして、これらの複数の発光素子からの光を、外部に設けられた撮像部で撮像することで、ＨＭＤ２００の位置、方向を特定する。第３のトラッキング方式では、センサ部２１０としてモーションセンサを設け、このモーションセンサを用いてＨＭＤ２００の位置、方向を特定する。モーションセンサは例えば加速度センサやジャイロセンサなどにより実現できる。例えば３軸の加速度センサと３軸のジャイロセンサを用いた６軸のモーションセンサを用いることで、現実世界の３次元空間でのＨＭＤ２００の位置、方向を特定できる。なお、第１のトラッキング方式と第２のトラッキング方式の組合わせ、或いは第１のトラッキング方式と第３のトラッキング方式の組合わせなどにより、ＨＭＤ２００の位置、方向を特定してもよい。

ＨＭＤ２００の表示部２２０は例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイなどにより実現できる。例えばＨＭＤ２００には、表示部２２０として、ユーザの左目の前に配置される第１のディスプレイと、右目の前に配置される第２のディスプレイが設けられており、例えば立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第１のディスプレイに左目用画像を表示し、第２のディスプレイに右目用画像を表示すればよい。

ＨＭＤ２００の処理部２４０は、ＨＭＤ２００において必要な各種の処理を行う。例えば処理部２４０は、センサ部２１０の制御処理や表示部２２０の表示制御処理などを行う。また処理部２４０が、３次元音響（立体音響）処理を行って、３次元的な音の方向や距離や広がりの再現を実現してもよい。

音出力部１９２は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、入力装置１６０からの入力情報やＨＭＤ２００でのトラッキング情報（ＨＭＤの位置、方向、或いは視点位置、視線方向）と、プログラムなどに基づいて、ゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などを行う。

処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Processing Unit）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。演算処理部１１０は、ゲーム処理部１１１、ゲーム成績演算部１１８、表示処理部１２０、音処理部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

入力処理部１０２（入力処理のプログラムモジュール）は、入力情報やトラッキング情報を受け付ける処理や、記憶部１７０から情報を読み出す処理や、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば入力処理部１０２は、入力装置１６０を用いてユーザが入力した入力情報やＨＭＤ２００のセンサ部２１０等により検出されたトラッキング情報（ユーザの位置、方向又は視線の情報等）を取得する処理や、読み出し命令で指定された情報を、記憶部１７０から読み出す処理や、外部装置（サーバ等）からネットワークを介して情報を受信する処理を、入力処理として行う。ここで受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。

演算処理部１１０は、各種の演算処理を行う。例えばゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などの演算処理を行う。

ゲーム処理部１１１（ゲーム処理のプログラムモジュール）はユーザがゲームをプレイするための種々のゲーム処理を行う。ゲーム処理部１１１は、ゲーム進行処理部１１２、評価処理部１１３、キャラクタ処理部１１４、パラメータ処理部１１５、オブジェクト空間設定部１１６、仮想カメラ制御部１１７を含む。

ゲーム進行処理部１１２は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などを行う。評価処理部１１３は、ユーザのゲームプレイの評価処理を行う。例えば音楽ゲームでのユーザの演奏や、ゲーム操作についての評価処理を行う。音楽ゲームに使用される楽曲情報は楽曲情報記憶部１７４に記憶される。

キャラクタ処理部１１４は、キャラクタに関する種々の処理を行う。例えばオブジェクト空間（仮想空間、ゲーム空間）においてキャラクタを移動させる処理や、キャラクタを動作させる処理を行う。例えばキャラクタを動作させる処理は、モーションデータを用いたモーション処理（モーション再生等）により実現できる。パラメータ処理部１１５は、ゲームに使用される種々のパラメータ（ゲームパラメータ）の演算処理を行う。例えばパラメータの値を増減させる処理を行う。パラメータの情報はパラメータ記憶部１７６に記憶される。

オブジェクト空間設定部１１６は、複数のオブジェクトが配置されるオブジェクト空間（広義には仮想空間）の設定処理を行う。例えば、キャラクタ（人、動物、ロボット等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０の空間情報記憶部１７２には、オブジェクト空間での複数のオブジェクト（パーツオブジェクト）の位置、回転角度（方向）等の情報が空間情報として記憶される。オブジェクト空間設定部１１６は、例えば各フレーム毎にこの空間情報を更新する処理などを行う。

仮想カメラ制御部１１７は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。この仮想カメラはユーザの視点に相当する。立体視表示の場合は、左目用の第１の視点（左目用の第１の仮想カメラ）と、右目用の第２の視点（右目用の第２の仮想カメラ）が設定される。

ゲーム成績演算部１１８はユーザのゲーム成績を演算する処理を行う。例えばユーザのゲームプレイにより獲得された得点、ポイントなどのゲーム成績の演算処理を行う。

表示処理部１２０（表示処理のプログラムモジュール）は、ゲーム画像の表示処理を行う。例えば処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、ＨＭＤ２００の表示部２２０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点。左目用、右目用の第１、第２の視点）から見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

音処理部１３０（音処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。ゲーム中に出力（再生）される音のデータは音データ記憶部１７５に記憶される。なお音処理部１３０の音処理の一部（例えば３次元音響処理）を、ＨＭＤ２００の処理部２４０により実現してもよい。

出力処理部１４０は各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理や、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば出力処理部１４０は、書き込み命令で指定された情報を、記憶部１７０に書き込む処理や、外部の装置（サーバ等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。

例えば本実施形態では、ゲーム処理部１１１は、複数のオブジェクトが配置される仮想空間（ゲーム空間）において、ユーザがプレイするゲームの処理を行う。例えばオブジェクト空間である仮想空間には、キャラクタ等の複数のオブジェクトが配置されており、ゲーム処理部１１１は、この仮想空間でのゲームを実現するための種々のゲーム処理（ゲーム進行処理、キャラクタ処理、オブジェクト空間設定処理、或いは仮想カメラ制御処理等）を実行する。そして表示処理部１２０は、仮想空間において所与の視点（左目用、右目用の第１、第２の視点）から見えるゲーム画像を、ＨＭＤ２００の表示部２２０（第１、第２のディスプレイ）に表示する処理を行う。即ち、仮想空間であるオブジェクト空間において、仮想ユーザ（ユーザ）の視点（仮想カメラ）から見えるゲーム画像を表示する処理を行う。

例えばＨＭＤ２００を装着した現実世界のユーザが、後述の図４、図５の個室のプレイエリアにおいて移動したり、移動方向が変化したり、首を振ったり、しゃがんだりして、その位置、方向が変化すると、ユーザに対応する仮想空間の仮想ユーザの位置、方向も変化する。現実世界でのユーザの位置、方向は、ＨＭＤ２００のトラッキング処理により特定できるため、仮想空間での仮想ユーザの位置、方向も特定できる。ユーザ、仮想ユーザの位置、方向は、例えばユーザ、仮想ユーザの視点位置、視線方向でもある。仮想ユーザがキャラクタとして表示されない場合には、ＨＭＤ２００の表示画像は一人称視点の画像となり、仮想ユーザがキャラクタとして表示される場合には表示画像は三人称視点の画像になる。

なお、プレイエリア（行動エリア）は、例えばユーザが移動可能な範囲として設定されるエリアであり、例えばユーザがゲームプレイ等の行動を行うエリア（フィールド、スペース）として予め規定されているエリアである。このプレイエリア（広義には移動可能範囲）は、例えばユーザの位置情報等のトラッキングが可能な範囲を内包するエリアである。プレイエリアは、例えば周囲が壁で囲まれたエリアであってもよいが、オープンスペースのエリアであってもよい。

そして本実施形態では入力処理部１０２は、ユーザが装着するＨＭＤ２００（頭部装着型表示装置）の位置の情報と、ユーザがユーザ音声を入力する音入力装置１６１の位置及び方向の少なくとも一方の情報を取得する。入力処理部１０２はＨＭＤ２００の方向の情報を取得してもよい。ＨＭＤ２００、音入力装置１６１の位置、方向の情報は、例えばＨＭＤ２００、音入力装置１６１のトラッキング処理を行うことで取得できる。トラッキング処理の詳細については後述する。この場合に例えば画像センサ（ＲＧＢセンサ）やデプスセンサなどのセンサを用いて、ユーザのスケルトン情報を取得して、スケルトン情報（姿勢情報）を用いて、ＨＭＤ２００、音入力装置１６１の位置、方向の情報を取得してもよい。例えばスケルトン情報に基づいて、ユーザの頭部の位置、方向を特定して、ＨＭＤ２００の位置、方向を特定してもよい。或いはスケルトン情報に基づいて、ユーザの手の位置、方向を特定して、音入力装置１６１の位置、方向を特定してもよい。

音処理部１３０は、音入力装置１６１により入力されたユーザ音声を含む音を、ユーザの周囲に配置されたスピーカ（ユーザの移動可能範囲に対応して設定されたスピーカ）に出力させる処理を行う。ユーザ音声は、例えばユーザの歌声、呼び声、掛け声、或いは会話（トーク）などである。このユーザ音声と、楽曲音（演奏音）、ＢＧＭ又はゲーム音とがミキシングされた音が、ユーザの周囲に配置された１個又は複数個のスピーカから出力される。例えばスピーカは、実空間においてユーザが移動可能な範囲に配置されている。例えばユーザの周囲を囲むように複数のスピーカが配置されている。これらのスピーカは、プレイエリア（移動可能範囲）である個室の壁や天井に設置されるスピーカであってもよいし、オープンエリアのプレイエリアにおいてスタンドにより支持されて設置されるスピーカであってもよい。

そして音処理部１３０は、音入力装置１６１とＨＭＤ２００との位置関係に基づいて、音入力装置１６１により入力されたユーザ音声についての処理を行う。例えばユーザ音声についての処理として、ユーザ音声の受け付けに関する処理やハウリング防止用の処理を行う。具体的には、ユーザ音声を受け付ける処理、ユーザ音声の受け付けをオフにする処理、音入力装置１６１の入力レベルを下げる処理、或いはスピーカ（音出力部１９２）の出力レベルを下げる処理などを行う。

音入力装置１６１とＨＭＤ２００の位置関係は、例えば音入力装置１６１の位置及び方向の少なくとも一方と、ＨＭＤ２００の位置及び方向の少なくとも一方との関係である。音入力装置１６１の位置、方向は、音入力装置１６１自体の位置、方向であってもよいし、音入力装置１６１に取り付けられている入力装置（例えば図２（Ａ）の１６０−１）の位置、方向などであってもよい。音入力装置１６１の方向は、例えば音入力装置１６１の向く方向であり、例えば音入力装置１６１の音の指向方向などである。ＨＭＤ２００の位置、方向は、ＨＭＤ２００自体の位置、方向（視点位置、視線方向）であってもよいし、ＨＭＤ２００の位置及び方向の少なくとも一方により特定されるユーザの部位（例えば口、頭部等）の位置、方向であってもよい。

また音処理部１３０は、音入力装置１６１とＨＭＤ２００との位置関係が所与の条件を満たしたと判断した場合に、音入力装置１６１により入力されたユーザ音声を受け付ける。例えば音入力装置１６１の位置及び方向の少なくとも一方とＨＭＤ２００位置及び方向の少なくとも一方との関係である位置関係が、予め定められた所与の条件を満たす関係であるか否かを判断する。この所与の条件は、例えば音入力装置１６１の音声入力の許可条件であり、ハウリングの非発生条件である。なお位置関係（第２の位置関係）が所与の条件を満たすか否かの判断処理は条件判断部１３２が行う。またハウリング防止用の処理はハウリング処理部１３４が行う。

そして音処理部１３０は、当該位置関係が所与の条件を満たしていると判断した場合には、音入力装置１６１により入力されたユーザ音声を受け付ける。例えばユーザ音声の入力をオン（有効）にして、ユーザ音声に基づく種々の音処理を行う。例えば音処理部１３０が音のミキシング処理を行う場合には、ミキシング処理でのユーザ音声の入力チャンネルをオンにする。そして音処理部１３０は、ユーザ音声と、それ以外の音（楽曲音、演奏音、ＢＧＭ又はゲーム音等）とのミキシング処理などの音処理を行う。そしてユーザ音声を含む音（ユーザ音声がミキシングされた音）を、スピーカ（音出力部１９２）から出力させる。

一方、音処理部１３０は、音入力装置１６１とＨＭＤ２００との位置関係が所与の条件を満たしていないと判断した場合には、ユーザ音声の受け付けをオフにする処理、音入力装置１９１の入力レベルを下げる処理、或いはスピーカ（音出力部１９２）の出力レベルを下げる処理などを行う。即ち、ハウリングを防止するための処理を行う。ユーザ音声の受け付けをオフにする処理は、ユーザ音声の入力をオフ（無効）にする処理であり、例えばミキシング処理でのユーザ音声の入力チャンネルをオフ（遮断）にする処理である。音入力装置１９１の入力レベルを下げる処理は、当該入力レベルを所定レベルまで下げる処理である。例えばハウリングが生じないような低いレベルまで、入力レベルを下げる処理である。音入力装置１９１の入力レベルは、例えばミキシング処理におけるユーザ音声の入力チャンネルの入力レベルである。スピーカの出力レベルを下げる処理は、スピーカの出力レベル（音量）を所定レベルまで下げる処理である。例えばハウリングが生じないような低いレベルまで、出力レベル（音量）を下げる処理である。

また音処理部１３０は、音入力装置１６１の位置とＨＭＤ２００の位置とに基づいて、上記の位置関係が所与の条件を満たしたか否かを判断する。例えば音入力装置１６１の位置とＨＭＤ２００の位置とが所与の条件を満たす関係にあるか否かを判断する。この場合の音入力装置１６１の位置は、音入力装置１６１自体の位置であってもよいし、音入力装置１６１に取り付けられている操作情報の入力装置（ゲームコントローラ）の位置であってもよい。ＨＭＤ２００の位置は、ＨＭＤ２００自体の位置であってもよいし、ＨＭＤ２００の位置から特定されるユーザの部位（口、頭部）の位置であってもよい。

例えば音処理部１３０は、音入力装置１６１とＨＭＤ２００との距離が所与の距離以下である場合に、位置関係が所与の条件を満たしたと判断して、音入力装置１６１により入力されたユーザ音声を受け付ける。例えば、音入力装置１６１がＨＭＤ２００の近くにあると判断される場合には、ユーザ音声を受け付け、音入力装置１６１がＨＭＤ２００の遠くにあると判断される場合には、ユーザ音声の受け付けをオフにするなどのハウリング防止用の処理を行う。音入力装置１６１とＨＭＤ２００との距離は、音入力装置１６１の位置とＨＭＤ２００の位置とに基づき求めることができる。この距離は、例えば音入力装置１６１自体の位置及び音入力装置１６１に取り付けれた入力装置（ゲームコントローラ）の位置のいずれか一方と、ＨＭＤ２００自体の位置及びＨＭＤ２００の位置から特定されるユーザの部位（口、頭部）の位置のいずれか一方との距離である。

また音処理部１３０は、音入力装置１６１の方向とＨＭＤ２００の位置とに基づいて、位置関係が所与の条件を満たしたか否かを判断してもよい。例えば音入力装置１６１（ゲームコントローラ）の向く方向とＨＭＤ２００の位置（口、頭部の位置）との関係を判断して、位置関係が所与の条件を満たしたか否かを判断する。この場合に音入力装置１６１の方向に加えて音入力装置１６１の位置も判断要素にして、位置関係を判断してもよいし、ＨＭＤ２００の位置に加えてＨＭＤ２００の方向（視線方向）も判断要素にして、位置関係を判断してもよい。

また音処理部１３０は、音入力装置１６１の音の指向方向が、ＨＭＤ２００の方を向いていると判断した場合に、位置関係が所与の条件を満たしたと判断して、音入力装置１６１により入力されたユーザ音声を受け付ける。音入力装置１６１の音の指向方向は、音入力装置１６１が音入力について指向性を有する場合に、その指向性の方向である。この指向方向は例えば音入力装置１６１が向く方向に基づき特定できる。また音入力装置１６１の指向方向が、ＨＭＤ２００の方を向いているか否かは、音入力装置１６１の指向方向（向く方向）とＨＭＤ２００自体の位置とに基づき判断してもよいし、或いは音入力装置１６１の指向方向（向く方向）と、ＨＭＤ２００の位置により特定されるユーザの部位（口、頭部）の位置とに基づき判断してもよい。

また音処理部１３０は、音入力装置１６１とスピーカとの第１の位置関係に対するＨＭＤ２００の第２の位置関係に基づいて、音入力装置１６１により入力されたユーザ音声についての処理を行ってもよい。即ち、音入力装置１６１とスピーカとの関係に対するＨＭＤ２００の関係を判断して、ユーザ音声の受け付けに関する処理やハウリング防止用の処理を行う。例えば音入力装置１６１とスピーカとの第１の位置関係から、ハウリングの条件が満たされていると判断される場合にも、この第１の位置関係に対するＨＭＤ２００の第２の位置関係から、ハウリングが発生しないと判断される場合には、音入力装置１６１により入力されたユーザ音声を受け付ける。

具体的には音処理部１３０は、第２の位置関係が、所与の条件を満たしたと判断した場合に、音入力装置１６１により入力されたユーザ音声を受け付ける。例えば音入力装置１６１とスピーカとの第１の位置関係に対するＨＭＤ２００の第２の位置関係が、予め定められた所与の条件を満たす関係であるか否かを判断する。そして当該第２の位置関係が所与の条件を満たすと判断した場合には、音入力装置１６１により入力されたユーザ音声を受け付ける。例えばユーザ音声の入力をオンにして、ユーザ音声に基づく種々の音処理を行う。例えば音処理部１３０がミキシング処理を行う場合には、ミキシング処理でのユーザ音声の入力チャンネルをオンにする。

一方、音処理部１３０は、第２の位置関係が所与の条件を満たしていないと判断した場合に、ユーザ音声の受け付けをオフにする処理、音入力装置１６１の入力レベルを下げる処理、或いはスピーカの出力レベルを下げる処理を行う。即ち、ハウリングを防止するための処理を行う。例えばユーザ音声の入力をオフにする処理を行う。或いは、音入力装置１９１の入力レベルを所定レベル（ハウリングが生じない入力レベル）まで下げる処理を行う。或いは、スピーカの出力レベルを所定レベル（ハウリングが生じない出力レベル）まで下げる処理を行う。

また音処理部１３０は、音入力装置１６１とスピーカとの間にＨＭＤ２００が存在すると判断した場合に、第２の位置関係が所与の条件を満たしたと判断して、音入力装置１６１により入力されたユーザ音声を受け付ける。例えば音入力装置１６１とスピーカとの第１の位置関係が、ハウリングが発生するような関係であったとしても、音入力装置１６１とスピーカとの間にＨＭＤ２００が存在する場合には、ユーザ音声を受け付ける。ここで音入力装置１６１とスピーカとの間にＨＭＤ２００が存在するか否かの判断は、ＨＭＤ２００自体の位置に基づき判断してもよいし、ＨＭＤ２００の位置により特定されるユーザの部位（口、頭部）の位置に基づき判断してもよい。

また音処理部１３０は、音入力装置１６１の音の指向方向がスピーカの方を向いている場合にも、当該指向方向がＨＭＤ２００の方を向いていると判断した場合には、第２の位置関係が所与の条件を満たしたと判断して、音入力装置１６１により入力されたユーザ音声を受け付ける。例えば音入力装置１６１とスピーカとの第１の位置関係が、音入力装置１６１の音の指向方向がスピーカの方を向いているというようにハウリングが発生するような関係であったとする。このような場合にも、音入力装置１６１の指向方向がＨＭＤ２００の方を向いており、第２の位置関係が所与の条件を満たしていると判断される場合には、ユーザ音声を受け付ける。なお、音入力装置１６１の指向方向がＨＭＤ２００の方を向いているか否かは、ＨＭＤ２００自体の位置に基づき判断してもよいし、ＨＭＤ２００の位置により特定されるユーザの部位（口、頭部）の位置に基づき判断してもよい。

２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。なお、以下では本実施形態の手法が適用されるゲームが、歌の演奏を行う音楽ゲーム（ライブステージのゲーム、カラオケゲーム等）である場合を主に例にとり説明する。しかしながら、本実施形態の手法が適用されるゲームは、これに限定されず、例えば弦楽器（ギター等）、打楽器（ドラム、太鼓等）、或いは鍵盤楽器（キーボード、ピアノ）等の楽器を演奏する音楽ゲーム（リズムや演奏の上手さを競うゲーム）などであってもよい。また本実施形態の手法は、異性キャラクタ等とのコミュニケーションゲーム（人間関係シミュレーションゲーム）、トークバトルなどを行う会話ゲーム（法廷闘争ゲーム、掛け合い漫才ゲーム）、戦闘ゲーム、ＲＰＧゲーム、ロボットゲーム、カードゲーム、スポーツゲーム、或いはアクションゲーム等の種々のゲームや、映像コンテンツや音楽コンテンツの再生にも適用可能である。

２．１ ＨＭＤ、プレイエリア
図２（Ａ）に本実施形態のシミュレーションシステムに用いられるＨＭＤ２００の一例を示す。図２（Ａ）に示すようにＨＭＤ２００には複数の受光素子２０１、２０２、２０３（フォトダイオード）が設けられている。受光素子２０１、２０２はＨＭＤ２００の前面側に設けられ、受光素子２０３はＨＭＤ２００の右側面に設けられている。またＨＭＤの左側面、上面等にも不図示の受光素子が設けられている。

またユーザＰＬは、左手、右手で入力装置１６０−１、１６０−２を持っている。入力装置１６０−１、１６０−２には、ＨＭＤ２００と同様に複数の受光素子（不図示）が設けられている。また入力装置１６０−１にはマイク１６２（広義には音入力装置）が設けられており、ユーザＰＬは歌の演奏ゲームにおいてマイク１６２に口を向けて歌うことになる。また入力装置１６０−１、１６０−２はゲームコントローラとしても機能し、不図示の操作ボタン、方向指示キー等が設けられている。なおユーザが持つ入力装置１６０の個数は１個であってもよい。

またＨＭＤ２００には、ヘッドバンド２６０等が設けられており、ユーザＰＬは、より良い装着感で安定的に頭部にＨＭＤ２００を装着できるようになっている。そしてユーザＰＬは、ゲームコントローラとして機能する入力装置１６０−１、１６０−２を操作したり、頭部の頷き動作や首振り動作を行うことで、操作情報を入力し、ゲームプレイを楽しむ。頷き動作や首振り動作は、ＨＭＤ２００のセンサ部２１０等により検出できる。

図２（Ｂ）に示すように、ユーザＰＬのプレイエリアにはベースステーション２８０、２８４が設置されている。ベースステーション２８０には発光素子２８１、２８２が設けられ、ベースステーション２８４には発光素子２８５、２８６が設けられている。発光素子２８１、２８２、２８５、２８６は、例えばレーザー（赤外線レーザー等）を出射するＬＥＤにより実現される。ベースステーション２８０、２８４は、これら発光素子２８１、２８２、２８５、２８６を用いて、例えばレーザーを放射状に出射する。そして図２（Ａ）のＨＭＤ２００に設けられた受光素子２０１〜２０３等が、ベースステーション２８０、２８４からのレーザーを受光することで、ＨＭＤ２００のトラッキングが実現され、ユーザＰＬの頭の位置や向く方向（広義にはユーザの位置や方向）を検出できるようになる。また入力装置１６０−１、１６０−２に設けられた不図示の受光素子が、ベースステーション２８０、２８４からのレーザーを受光することで、入力装置１６０−１、１６０−２のトラッキングが実現され、入力装置１６０−１、１６０−２の位置や方向を検出できるようになる。これにより、例えばゲーム画像に、入力装置１６０−１に対応するマイクの画像等を表示することが可能になる。

図３（Ａ）にＨＭＤ２００の他の例を示す。図３（Ａ）では、ＨＭＤ２００に対して複数の発光素子２３１〜２３６が設けられている。これらの発光素子２３１〜２３６は例えばＬＥＤなどにより実現される。発光素子２３１〜２３４は、ＨＭＤ２００の前面側に設けられ、発光素子２３５や不図示の発光素子２３６は、背面側に設けられる。これらの発光素子２３１〜２３６は、例えば可視光の帯域の光を出射（発光）する。具体的には発光素子２３１〜２３６は、互いに異なる色の光を出射する。そして図３（Ｂ）に示す撮像部１５０をユーザＰＬの前方側に設置し、この撮像部１５０により、これらの発光素子２３１〜２３６の光を撮像する。即ち、撮像部１５０の撮像画像には、これらの発光素子２３１〜２３６のスポット光が映る。そして、この撮像画像の画像処理を行うことで、ユーザＰＬの頭部（ＨＭＤ）のトラッキングを実現する。即ちユーザＰＬの頭部の３次元位置や向く方向（ユーザの位置、方向）を検出する。

例えば図３（Ｂ）に示すように撮像部１５０には第１、第２のカメラ１５１、１５２が設けられており、これらの第１、第２のカメラ１５１、１５２の第１、第２の撮像画像を用いることで、ユーザＰＬの頭部の奥行き方向での位置等が検出可能になる。またＨＭＤ２００に設けられたモーションセンサのモーション検出情報に基づいて、ユーザＰＬの頭部の回転角度（視線）も検出可能になっている。従って、このようなＨＭＤ２００を用いることで、ユーザＰＬが、周囲の３６０度の全方向うちのどの方向を向いた場合にも、それに対応する仮想空間（仮想３次元空間）での画像（ユーザの視点に対応する仮想カメラから見える画像）を、ＨＭＤ２００の表示部２２０に表示することが可能になる。なお、発光素子２３１〜２３６として、可視光ではなく赤外線のＬＥＤを用いてもよい。また、例えばデプスカメラ等を用いるなどの他の手法で、ユーザの頭部の位置や動き等を検出するようにしてもよい。

なお、ユーザの視点位置、視線方向（ユーザの位置、方向）を検出するトラッキング処理の手法は、図２（Ａ）〜図３（Ｂ）で説明した手法には限定されない。例えばＨＭＤ２００に設けられたモーションセンサ等を用いて、ＨＭＤ２００の単体でトラッキング処理を実現してもよい。即ち、図２（Ｂ）のベースステーション２８０、２８４、図３（Ｂ）の撮像部１５０などの外部装置を設けることなく、トラッキング処理を実現する。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法により、ユーザの視点位置、視線方向などの視点情報等を検出してもよい。

図４、図５に本実施形態のゲームが実現されるプレイエリアの一例を示す。このプレイエリアは、ボックス状の防音の個室により実現される。図４、図５に示すようにボックスの個室は、壁３０１、３０２、３０３、３０４、天井３０５、ドア３０６を有する。壁３０１、３０２、３０３、３０４、天井３０５の内側にはクッション材としても機能する防音材３１１、３１２、３１３、３１４、３１５が設けられている。また天井３０５には前述のベースステーション２８０、２８４や照明器具２９０、２９２が設置されている。

ユーザＰＬの前側にはフロントスピーカ３３０、３３１、センタースピーカ３３２が設置され、後ろ側にはリアスピーカ３３３、３３４、ウーハー３３５が設置される。これらのスピーカによりサラウンド音響が実現される。そしてウーハー３３５が収容されている収容ボックス内に、巻き取り装置５０が収容されている。この巻き取り装置５０は回転リール６２を有しており、ケーブル２０は、収容ボックス（棚）に設けられたケーブル通過口５２を通って、回転リール６２により巻き取られる。

ユーザＰＬは図５のドア３０６を開けて個室内に入り、ゲームをプレイする。この個室内の空間がユーザＰＬのプレイエリア（プレイ空間、実空間）になる。そして図５に示すように、ボックスの個室のプレイエリアには、ユーザＰＬの移動範囲（移動可能範囲）として想定されるエリアＡＲが設定される。このエリアＡＲ内では、ステーション２８０、２８４等を用いたユーザＰＬの位置、方向（視点位置、視線方向）のトラッキングが可能になっている。一方、エリアＡＲの境界ＢＤを越えた位置では、確実なトラッキングを実現できない。またユーザＰＬがエリアＡＲの境界ＢＤを越えると、壁３０１、３０２、３０３、３０４にぶつかるおそれがあり、安全面の上で望ましくない。エリアＡＲの設定は、例えばゲーム装置のイニシャライズ設定などにより、その範囲を設定可能になっている。

そして図４、図５に示すように、ユーザＰＬは腰ベルト３０を装着している。腰ベルト３０には収容部３２が取り付けられており、この収容部３２内にケーブル２０の中継点ＲＰが設けられる。ケーブル２０は、ＨＭＤ２００から中継点ＲＰを経由して巻き取り装置５０により巻き取られる。ケーブル部分２１とケーブル部分２２の間のポイントが中継点ＲＰになる。なおケーブル２０には、ユーザＰＬが基準位置に立っている際にケーブル２０を弛ませるためのストッパー２６が設けられている。

２．２ ゲームの概要
次に、本実施形態の手法により実現されるゲームの概要について説明する。本実施形態により実現されるゲームは、本物のライブステージのような臨場感の中、バンドのボーカルになりきって、ボーカル演奏を行う音楽ゲームである。ユーザは、大観衆を目前にして歌うという、かつてない高揚感を感じつつ、自分のファンからの歓声を全身に浴びる強烈な快感を得ることができる。ＨＭＤと大出力のサラウンドスピーカーにより、まるで本物のライブステージに出演し、自分のファンに囲まれて歌っているかのような、臨場感を得ることができる。

ステージの周りの観客は、ユーザのボーカル演奏やステージアクションに反応して、派手な声援や様々なアクションをインタラクティブに返してくる。ＨＭＤによる、まるでその場に立っているかのような臨場感のライブステージの上で、表情まで見える最前列のファンをはじめ、会場を埋める満員の観客の前で、バンドメンバーの演奏と共に、自分の歌とライブパフォーマンスを行って、観客の期待に応える。

ユーザは共有スペースに設けられた受け付けスペースで、入室時間の予約やプレイ設定を行い、図４、図５に示すようにクッション材（防音材）が貼られた安全な個室内で、ライブ出演体験を楽しむ。

ユーザは、ステージ出演前のプレイ設定において、コンサート出演モードを選択する。その後、歌う曲の選択を行い、出演ステージを選択する。そして図２（Ａ）、図２（Ｂ）等で説明したＨＭＤ２００、入力装置１６０−１、１６０−２などのデバイスや、腰ベルト３０を装着する。店舗のオペレータが、注意事項等を説明し、ユーザのデバイス等の装着や調整を補助する。プレイエリアである個室空間のキャリブレーション（イニシャライズ）は、オペレータが事前に行う。

図２（Ａ）の入力装置１６０−１は、マイク＆ゲームコントローラになっている。ＶＲ（バーチャルリアリティ）空間内では、ユーザ（仮想ユーザ）の腕や手は描画されないが、ユーザが手で持っている入力装置１６０−１等の位置がセンシングされ、同じ位置にマイク画像が描画され、ユーザの動きに応じてマイク画像が動くようになる。

ユーザは、ＶＲ空間のスタンバイルームで、ボーカルのキー調整を行う。スタンバイルームは、ステージの下の待機スペースである。ＶＲ空間においてユーザが立っているスペースは大きなリフトになっていて、本番時にはステージ上にせり上がる。

リフトが上昇しステージが近づいて来るのに合わせて、遠くから聞こえていたホールの歓声や掛け声が徐々に大きくなり、迫力を増し、且つ、生々しく変化する。ステージ上にユーザが出現すると、ユーザに向けて前方から逆光のスポットライトが当てられ、ユーザの登場で最高潮に達した大歓声が起こる。

ライブの本番ではユーザは、思う存分、ステージでの熱唱を楽しむ。図６、図７は、ステージ上のユーザのＨＭＤ２００に表示されるゲーム画像（ＶＲ空間での画像）の例である。図６、図７に示すようにユーザの目の前には満員の観客が映し出される。図６はユーザが正面を向いた場合のゲーム画像であり、図７は、ユーザが右方向を向いた場合のゲーム画像である。

図６、図７に示すように、ＨＭＤ２００を用いる本実施形態のゲーム装置では、ユーザの全周囲の方向に亘って、仮想空間であるＶＲ空間の世界が広がる。例えばＨＭＤ２００を装着したユーザが前方向を向けば、図６のゲーム画像がＨＭＤ２００に表示され、右方向を向けば、図７のゲーム画像が表示される。後ろ方向を向けば、演奏バンドなどの画像が表示される。従って、多数の観客が歓声を上げる巨大なコンサートホールにおいて、ボーカル演奏しているかのような仮想現実感をユーザに与えることができ、ゲームへの没入度等を格段に向上できる。

また本実施形態では、曲の抑揚に合わせて観客の動き（アクション）や歓声が変化する。またユーザのアクションに応じるように、観客の動きや歓声が変化する。例えば図６において、ユーザが立つステージの近くの観客ＡＤ１〜ＡＤ７は、例えば多数のポリゴンで構成されるポリゴンモデルのオブジェクトにより表現されている。図７の観客ＡＤ８〜ＡＤ１１も同様である。一方、ステージから遠い位置にいる観客は、ユーザの視線に正対するビルボードポリゴンに描かれた画像により表現されている。

ポリゴンモデルの観客（ＡＤ１〜ＡＤ１１）は、例えばモーションデータによるモーション再生によりその動きが表現されている。これらの観客は、曲のリズムにのって基本アクション（基本モーション）を行う。観客は、ユーザの声や動きに応じも、インタラクティブにリアクションする。ユーザが、例えば「特定の方向を向いて歌う」、「手を振る」といったアクションを行うことで、その方向の観客のテンションが上がり、基本アクションが、１段階、派手になったり、或いは曲のリズムとは関係ない突発的な盛り上がりアクションを行うようになる。

図８は、ＶＲ空間においてユーザＰＬ（仮想ユーザ）が立つステージＳＧを、上方から俯瞰した様子を示す図である。ステージＳＧは境界ＢＤＳにより区画されており、ステージＳＧの周りの観客席ＳＥ１、ＳＥ２、ＳＥ３には、図６、図７に示すようにアクションする観客が配置されている。このステージＳＧの境界ＢＤＳは、例えば図５の現実世界のプレイエリアのエリアＡＲの境界ＢＤに対応している。一例としては、図５の現実世界のエリアＡＲの境界ＢＤから例えば所定距離だけ内側に対応する位置に、ＶＲ空間でのステージＳＧの境界ＢＤＳが設定されている。

本実施形態ではユーザは、観客を盛り上げるためのパフォーマンスを行うことができる。ユーザに向けて何らかのアピールのアクションをしてくる観客が、当該パフォーマンスのターゲットになる。例えば図６では、観客ＡＤ４が、右手を高く上げてユーザに対してアピールのアクションを行っており、この観客ＡＤ４がターゲットになる。また図７ではアピールのアクションを行っている観客ＡＤ１０がターゲットになる。

これらのアピールする観客に対して、ユーザがアクションを行うことで、これらの観客の熱狂度パラメータ（熱狂度ゲージ）の値が上昇する。そして熱狂度パラメータが最大値になると、これらの観客が、大喜びを表現する熱狂アクションを行うようになる。

アピールする観客に対してユーザが行う第１のアクションは、そのターゲットの観客の方に視線を向けて歌うアクションである。この第１のアクションが行われるのは、楽曲の歌唱パートと間奏パートのうち、歌唱パートにおいてである。

アピールする観客に対してユーザが行う第２のアクションは、観客に対して呼びかけなどの発声を行うアクションである。ユーザの呼びかけの発声に対して、観客は声援や掛け声や拍手などで応答する。ユーザは、観客からの声援や掛け声や拍手に合わせて、腕を上げるアクションなどを行う。

これらの第１、第２のアクションのターゲットとなる観客は、例えばランダムにコンサートホール内で発生する。ユーザの１曲の演奏におけるターゲットの数は所定数に決まっている。ターゲットとなる所定数の全ての観客について、熱狂度パラメータが最大値になり盛り上げに成功すると、全クリアになる。例えばターゲットとなる観客の数が１０人である場合に、これらの１０人の全ての観客の熱狂度パラメータが最大値に達すると、ターゲットの全クリアになる。この場合に、ターゲットのクリア数に応じて、最後のステージエフェクトの種類が変化する。例えば１０人のターゲットの全てをクリアした場合には、最後のステージにおいて最も派手なエフェクトが発生する。また例えば８人のターゲットをクリアした場合には、５人のターゲットをクリアした場合に比べて、より派手なエフェクトが発生する。

また本実施形態ではユーザの歌唱力が評価される。即ち、ユーザの歌の音程とリズムが検知されて評価される。具体的には、リズムに合わせた発声が出来たかを評価する。例えば、ベース又はドラムの演奏の指定タイミングに合わせて、ユーザが発声できると、ポイントが加算される。また、ロングトーンの上手さや、休符についての正確性なども評価される。また音程の正確性も評価する。即ち、ユーザの歌の音程判定を行い、正解な音程で歌った音程をグラフ的に表示する。なお、ユーザの音量がゼロの状態が一定時間、継続すると、観客の多くは待機モーションに移行し、その間はユーザはポイント加算を得ることができない。

ユーザの演奏が終了し、ライブステージを通してのユーザの評価結果が一定基準を満たすと、観客はアンコールを求めて来る。そのアンコールに応えることで、ユーザは更に１曲、追加で演奏できるようになる。そしてライブステージの終了時には、フェードアウトする歓声の中で、照明はさらに暗くなり、ブラックアウトして終了する。その後、「お疲れ様でした、ＨＭＤを外してください」といった表示及びガイド音声が流れる。そしてユーザは装備を外して個室から退室し、ゲームプレイの終了となる。

２．３ ハウリングの発生
図９（Ａ）では、ユーザＰＬは、移動可能範囲であるプレイエリアで移動可能になっている。このプレイエリアは図４、図５で説明した個室のエリアである。そして、このプレイエリア（移動可能範囲）の周囲には、例えば５つのスピーカＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４、ＳＰ５が配置されている。ＳＰ１、ＳＰ３はフロントスピーカであり、ＳＰ２はセンタースピーカである。ＳＰ４、ＳＰ５はリアスピーカである。このようなスピーカＳＰ１〜ＳＰ５を配置することで、いわゆるサラウンド音響を実現でき、奥行き感や広がり感が表現された臨場感のある音響をユーザＰＬに提供できる。

そしてユーザＰＬは、ＨＭＤ２００を頭部に装着すると共にその手にマイク１６２を持って、図６〜図８で説明したライブステージのゲームを楽しむ。なお、以下では、音入力装置１６１が、図２（Ａ）に示すようなハンドマイク形状のマイク１６２である場合を例にとり説明する。

図９（Ａ）のようにユーザＰＬはＨＭＤ２００を装着しており、ＨＭＤ２００によりその視界が覆われているため、プレイエリアのスピーカＳＰ１〜ＳＰ５の位置を把握することが難しい。例えばスピーカＳＰ１〜ＳＰ５から出力されている音の場所を聞き分けることで、スピーカＳＰ１〜ＳＰ５の位置を、ある程度把握することも可能であるが、ユーザＰＬはゲームに熱中しているため、実際にはその位置を殆ど把握できない。

そして図９（Ｂ）では、このようにスピーカＳＰ１〜ＳＰ５の位置を把握できないユーザＰＬが、スピーカＳＰ３に対してマイク１６２を向けてしまっている。即ち、マイク１６２の音の指向性の方向が、スピーカＳＰ３の方を向いている。このような状況が発生すると、スピーカＳＰ３からの音をマイク１６２が拾ってしまうことで、ハウリングが発生してしまう。即ち、スピーカＳＰ３から出力された音がマイク１６２に入り、更にフィードバックされることで、特定の周波数での発振現象であるハウリングが発生する。ハウリングが発生すると、不快感を伴う中〜高周波数のハウリング音がスピーカＳＰ１〜ＳＰ５から出力されるようになる。そして、このようなハウリング音が出力されると、仮想現実への没入感が大きく阻害されてしまう。

また図６、図７で説明したように本実施形態のゲームでは、ユーザＰＬが観客に対して様々なアクションを行い、そのアクションの結果が評価される。例えば図１０ではユーザＰＬは、観客ＡＤからの歓声や掛け声に応えるために、視線ＶＬＰを観客ＡＤの方に向けると共に、マイク１６２を観客ＡＤの方に向けている。そしてマイク１６２に向かって歓声や掛け声を出すように促している。ユーザＰＬがこのようなアクションを行うことで、観客ＡＤの熱狂度パラメータ（盛り上がり度パラメータ）が上昇して、ユーザＰＬのパフォーマンスが高く評価されるようになる。

そして、このようにマイク１６２を観客ＡＤに向けるようなアクションをユーザＰＬが行うと、図９（Ｂ）のようにマイク１６２の指向方向がスピーカの方に向いてしまい、ハウリングが発生する事態が頻繁に生じるようになる。

２．４ マイクとＨＭＤの位置関係に基づくユーザ音声処理
以上のような問題を解決するために本実施形態では、マイク１６２とＨＭＤ２００の位置関係を判断して、マイク１６２により入力されたユーザ音声についての処理を行うようにしている。

例えば図１１（Ａ）において、ユーザＰＬが装着するＨＭＤ２００の位置ＰＨの情報と、ユーザＰＬがユーザ音声（歌声、呼び声又は掛け声等）を入力するマイク１６２（広義には音入力装置）の位置ＰＭの情報を取得する。例えば図２（Ａ）〜図３（Ｂ）で説明したようなトラッキング処理を行うことで、ＨＭＤ２００の位置ＰＨの情報やマイク１６２の位置ＰＭの情報を取得する。なおトラッキング処理により、ＨＭＤ２００やマイク１６２の方向の情報を取得してもよい。

ＨＭＤ２００には図６、図７に示すようなＶＲ空間の画像が表示される。そしてマイク１６２により入力されたユーザ音声を含む音は、図９（Ａ）のようにユーザＰＬの周囲に配置されたスピーカＳＰ１〜ＳＰ５から出力される。例えば図６、図７のライブステージのゲームであれば、ユーザＰＬがマイク１６２に入力した歌声と、楽曲音（演奏音）とがミキシングされて、サラウンド処理等の音声処理が行われた後、スピーカＳＰ１〜ＳＰ５から出力される。

そして本実施形態ではマイク１６２とＨＭＤ２００との位置関係に基づいて、マイク１６２により入力されたユーザ音声についての処理が行われる。例えばマイク１６２とＨＭＤ２００との位置関係が所与の条件を満たしたと判断した場合に、マイク１６２により入力されたユーザ音声を受け付ける。この位置関係は、トラッキング処理等により取得されたマイク１６２の位置ＰＭの情報やＨＭＤ２００の位置ＰＨの情報から判断できる。

なお、以下に説明する本実施形態において、マイク１６２の位置は、マイク１６２自体の位置である必要はなく、例えば図２（Ａ）のようにマイク１６２に取り付けられる入力装置１６０−１（ゲームコントローラ）の位置や、或いはマイク１６２を持つ手の位置等であってもよい。マイク１６２の方向の情報も、入力装置１６０−１の方向や、或いは手の方向等であってもよい。またＨＭＤ２００の位置も、ＨＭＤ２００自体の位置である必要はなく、ＨＭＤ２００の位置により特定されるユーザＰＬの口又は頭部等の部位の位置であってもよい。

例えば図１１（Ａ）のように、マイク１６２とＨＭＤ２００の位置関係が、マイク１６２をＨＭＤ２００（ユーザの口）の方に近づけている位置関係である場合には、位置関係が所与の条件（マイク入力の受け付け許容条件、ハウリングの非発生条件）を満たしていると判断する。そしてマイク１６２により入力された歌声等のユーザ音声を受け付ける。例えば音のミキシング処理においてユーザ音声の入力チャンネルをオンにする。

一方、図１１（Ｂ）のように、マイク１６２とＨＭＤ２００の位置関係が、マイク１６２をＨＭＤ２００（ユーザの口）から遠ざけている位置関係である場合には、位置関係が所与の条件を満たしていないと判断する。このような位置関係である場合には、図１１（Ｂ）のようにマイク１６２の方向（指向方向）がスピーカＳＰの方に向いてしまい、ハウリングが発生するおそれがあるからである。そして図１１（Ｂ）のように位置関係が所与の条件を満たしていない場合には、ユーザ音声の受け付けをオフにする処理を行う。例えば音のミキシング処理においてユーザ音声の入力チャンネルをオフ（遮断）にする。或いはマイク１６２の入力レベルを下げる処理を行ってもよい。例えば音のミキシング処理において、ユーザ音声の入力チャンネルの入力レベルを、所定レベル（ハウリングが発生しない入力レベル）まで下げる処理を行う。或いは、スピーカＳＰ１〜ＳＰ５の出力レベルを下げる処理を行ってもよい。例えばスピーカＳＰ１〜ＳＰ５の出力レベル（音量）を、所定レベル（ハウリングが発生しない出力レベル）まで下げる処理を行う。このような処理を行うことで、図１１（Ｂ）のような位置関係になって、マイク１６２の方向がスピーカＳＰの方を向いてしまった場合にも、ハウリングが発生するのを効果的に防止できるようになる。

具体的には本実施形態では、マイク１６２の位置ＰＭとＨＭＤ２００の位置ＰＨとに基づいて、位置関係が所与の条件を満たしたか否かを判断している。例えば図１２（Ａ）では、マイク１６２の位置ＰＭとＨＭＤ２００の位置ＰＨとに基づいて、マイク１６２とＨＭＤ２００との距離ＬＨＭを求める。そして図１２（Ａ）のように距離ＬＨＭが所与の距離（しきい値距離）以下である場合には、位置関係が所与の条件を満たしていると判断して、マイク１６２により入力されたユーザ音声を受け付ける。

即ち、距離ＬＨＭが短い場合には、ユーザＰＬがマイク１６２を口元（ＨＭＤ）の方に近づけており、ユーザ音声を入力しようとしていると考えられる。従って、この場合には当該ユーザ音声を受け付けて、マイク入力を可能にする。

そして図１２（Ａ）のようにマイク１６２を口元の方に近づけている場合には、例えばユーザＰＬの頭部の後ろ側にスピーカが存在していたとしても、当該スピーカからの出力音は、頭部が障害物となってマイク１６２には届かない。従って、ハウリングは発生せず、マイク入力をオンにしても問題は生じない。

一方、図１２（Ｂ）のように、距離ＬＨＭが所与の距離よりも長い場合には、位置関係が所与の条件を満たしていないと判断して、ハウリング防止用の処理を行う。例えばユーザ音声の受け付けをオフにする処理（マイク入力をオフにする処理）、或いはマイク１６２の入力レベルを下げる処理、或いはスピーカＳＰの出力レベルを下げる処理を行う。このようにすれば、図１２（Ｂ）に示すようにマイク１６２が向く方向にスピーカＳＰが存在したとしても、ハウリングが発生しないようになり、ユーザＰＬの仮想現実感が阻害されてしまうのを防止できる。

また本実施形態では図１３（Ａ）、図１３（Ｂ）に示すように、マイク１６２の方向ＤＭとＨＭＤ２００の位置ＰＨとに基づいて、マイク１６２とＨＭＤ２００の位置関係が所与の条件（マイク入力許可条件、ハウリング非発生条件）を満たしたか否かを判断してもよい。例えば図１３（Ａ）ではマイク１６２の方向ＤＭがＨＭＤ２００の方（ユーザの口の方）を向いている。即ち、マイク１６２の指向方向である方向ＤＭがＨＭＤ２００の方を向いていると判断され、マイク１６２とＨＭＤ２００の位置関係が所与の条件を満たしていると判断される。従って、マイク１６２により入力されたユーザ音声を受け付ける。即ちマイク１６２の入力チャンネルをオンにして、マイク入力を可能にする。

一方、図１３（Ｂ）では、マイク１６２の方向ＤＭ（指向方向）がＨＭＤ２００の方（ユーザの口の方）を向いていないと判断され、マイク１６２とＨＭＤ２００の位置関係が所与の条件を満たしていないと判断される。従って、マイク１６２により入力されたユーザ音声を受け付けず、マイク１６２の入力チャンネルをオフにする。或いは、マイク１６２の入力レベルを下げる処理や、スピーカＳＰの出力レベルを下げる処理などのハウリング防止用の処理を行う。こうすれば、図１３（Ｂ）に示すように、マイク１６２が向く方向ＤＭにスピーカＳＰが存在したとしても、ハウリングが発生しないようになり、ユーザＰＬの仮想現実感が阻害されてしまうのを防止できる。

なお図１３（Ａ）、図１３（Ｂ）に示す位置関係の判断処理の際のＨＭＤ２００の位置ＰＨは、位置ＰＨに基づき特定される口などの位置であってもよい。例えばマイク１６２の方向ＤＭがユーザＰＬの口の方を向いていた場合には、ユーザ音声を受け付け（マイク入力をオン）、そうでない場合にはハウリング防止用の処理を行う。或いは、ＨＭＤ２００の向く方向（視線方向）についても判断要素にして、図１３（Ａ）、図１３（Ｂ）の位置関係を判断してもよい。例えばマイク１６２がＨＭＤ２００（口）の方を向いており、且つ、ＨＭＤ２００の方向（ユーザの視線）もマイク１６２の方を向いていた場合に、ユーザ音声を受け付けるようにしてもよい。

図１４、図１５は本実施形態の処理例を示すフローチャートである。図１３はマイク１６２の位置とＨＭＤ２００の位置に基づくユーザ音声についての処理を説明するフローチャートである。

まず、ＨＭＤ２００の位置の情報とマイク１６２の位置や方向の情報を取得する（ステップＳ１）。即ちＨＭＤ２００、マイク１６２のトラッキング処理等を行うことで、これらの情報を取得する。次にマイク１６２とＨＭＤ２００との距離が所与の距離以下であるか否かを判断する（ステップＳ２）。そして図１２（Ａ）のように距離ＬＨＭが所与の距離以下である場合には、マイク１６２により入力されたユーザ音声を受け付ける（ステップＳ３）。即ちマイク入力をオンにする。一方、図１２（Ｂ）のように距離ＬＨＭが所与の距離よりも遠い場合には、ユーザ音声の受け付けをオフにする処理、或いはマイク１６２の入力レベルを下げる処理、或いはスピーカの出力レベルを下げる処理を行う（ステップＳ４）。即ちハウリング防止用の処理を行う。

図１４はマイク１６２の方向とＨＭＤ２００の位置に基づくユーザ音声についての処理を説明するフローチャートである。

まず、ＨＭＤ２００の位置の情報とマイク１６２の位置や方向の情報を取得する（ステップＳ１１）。次にマイク１６２の指向方向がＨＭＤ２００（ユーザの口）の方を向いているか否かを判断する（ステップＳ１２）。そして図１３（Ａ）のようにマイク１６２の指向方向がＨＭＤ２００の方を向いている場合には、マイク１６２により入力されたユーザ音声を受け付ける（ステップＳ１３）。一方、図１３（Ｂ）のように、マイク１６２の指向方向がＨＭＤ２００の方を向いていない場合には、ユーザ音声の受け付けをオフにするなどのハウリング防止用の処理を行う（ステップＳ１４）。

以上のように本実施形態ではマイク１６２とＨＭＤ２００の位置関係を判断して、マイク入力を受け付ける処理やハウリング防止用の処理などのユーザ音声処理を行っている。このようにすることで、ユーザ音声のマイク入力に起因するハウリングの発生を、少ない処理負荷の処理で防止でき、ユーザの仮想現実感の低下を防止できる。

例えば本実施形態では、ＨＭＤ２００のトラッキング処理を行うことで、ユーザの位置、方向を特定している。そしてユーザの位置、方向の変化に伴い仮想空間内の仮想ユーザ（画面には表示されない仮想的なユーザ）の位置、方向を変化させることで、図６、図７に示すような一人称視点での画像を生成している。このような一人称視点の画像を表示することで、ユーザは、あたかも仮想空間の中に入り込んだかのような仮想現実を感じながら、ゲーム等をプレイできるようになる。

しかしながら、ＨＭＤ２００を装着することで視界が覆われており、上述のように仮想現実の世界に入り込んだユーザには、実空間でのスピーカの位置を認識することは困難である。このため図９（Ｂ）に示すようにマイク１６２の方向がスピーカＳＰ３の方を向いてしまい、ハウリングが発生する。

そこで本実施形態では、仮想現実の実現のために行われるトラッキング処理により取得されたＨＭＤ２００やマイク１６２の位置や方向の情報を有効活用して、ハウリングの発生を防止している。

即ち、トラッキング処理によりＨＭＤ２００やマイク１６２の位置等の情報を取得できれば、図１２（Ａ）のようにユーザＰＬがマイク１６２をＨＭＤ２００の方に近づけているという位置関係を判別できる。そして図１２（Ａ）の位置関係の場合には、ユーザＰＬがマイク１６２に向かって音声入力している状態であると判断できるため、マイク入力をオンにして、ユーザ音声を受け付ける。一方、図１２（Ｂ）のように、マイク１６２をＨＭＤ２００の方から離している位置関係の場合には、マイク１６２に音声入力している状態ではないと判断できる。従って、マイク入力をオフにするなどのハウリング防止用の処理を行う。こうすることで図９（Ａ）のようにマイク１６２の方向がスピーカＳＰ３の方を向いてしまった場合にも、ハウリングが発生するのを防止できるようになる。

またトラッキング処理によりＨＭＤ２００やマイク１６２の位置や方向の情報を取得できれば、図１３（Ａ）のようにユーザＰＬがマイク１６２の方向をＨＭＤ２００（口、頭部）の方に向けているという位置関係を判別できる。そして図１３（Ａ）の位置関係の場合には、ユーザＰＬがマイク１６２に向かって音声入力している状態であると判断できるため、マイク入力をオンにして、ユーザ音声を受け付ける。一方、図１３（Ｂ）のように、マイク１６２をＨＭＤ２００の方に向けていない位置関係の場合には、マイク１６２に音声入力している状態ではないと判断できる。従って、マイク入力をオフにするなどのハウリング防止用の処理を行う。

このようにすることで本実施形態では、ＨＭＤ２００を用いたバーチャルリアリティの構築と、マイク１６２の音声入力を原因とするハウリングの発生の防止とを、両立して実現することに成功している。

２．５ マイクとスピーカとＨＭＤの位置関係に基づくユーザ音声処理
以上では、マイク１６２とＨＭＤ２００の位置関係だけを判断して、ユーザ音声についての処理を行っていたが、本実施形態の手法はこれ限定されず、更にスピーカとの関係も判断要素にして、ユーザ音声についての処理を行ってもよい。

具体的には図１６（Ａ）、図１６（Ｂ）に示すように、マイク１６２とスピーカＳＰとの第１の位置関係に対するＨＭＤ２００の第２の位置関係に基づいて、マイク１６２に入力されたユーザ音声についての処理を行う。図１６（Ａ）の第１の位置関係は、例えばマイク１６２の位置ＰＭや方向ＤＭの情報と、スピーカＳＰの位置ＰＳの情報等により判断できる。図１６（Ｂ）の第２の位置関係は、これらの情報に加えて、ＨＭＤ２００の位置ＰＨの情報を用いることで判断できる。

例えば本実施形態では、マイク１６２とスピーカＳＰとの第１の位置関係（図１６（Ａ））に対するＨＭＤ２００の第２の位置関係（図１６（Ｂ））が、所与の条件を満たしていると判断した場合に、マイク１６２により入力されたユーザ音声を受け付ける。即ちマイク入力をオンにする。一方、第２の位置関係が所与の条件を満たしていないと判断した場合には、ハウリング防止用の処理を行う。即ち、ユーザ音声の受け付けをオフにする処理や、マイク１６２の入力レベルを下げる処理や、或いはスピーカＳＰの出力レベルを下げる処理を行う。

具体的には図１７に示すように、マイク１６２とスピーカＳＰの間にＨＭＤ２００が存在すると判断した場合に、第２の位置関係（図１６（Ｂ））が所与の条件を満たしたと判断して、マイク１６２により入力されたユーザ音声を受け付ける。図１７の第２の位置関係は、例えばマイク１６２の位置ＰＭの情報とスピーカＳＰの位置ＰＳの情報とＨＭＤ２００の位置ＰＨ（口、頭部の位置）の情報に基づき判断できる。

例えばマイク１６２とスピーカＳＰがハウリングが生じるような位置関係（第１の位置関係）にあった場合にも、マイク１６２とスピーカＳＰの間にＨＭＤ２００が存在するような位置関係（第２の位置関係）である場合には、ハウリングは生じないと考えられる。即ち図１７のようにマイク１６２とスピーカＳＰの間に、ＨＭＤ２００を装着するユーザの頭部が存在すれば、頭部が障害物となってスピーカＳＰの出力音はマイク１６２に届かなくなる。従って、ハウリングは生じないと判断して、マイク１６２により入力されたユーザ音声を受け付ける。即ち、マイク入力をオンにして、ユーザ音声を受け付ける。

また図１８（Ａ）では、マイク１６２の方向ＤＭ（指向方向）がスピーカＳＰの方を向いているという位置関係（第１の位置関係）になっている。従って、通常は、図１８（Ａ）の場合は、マイク入力をオフにするなどのハウリング防止用の処理を行うべきである。

しかしながら、マイク１６２の方向ＤＭとスピーカＳＰとの位置関係が図１８（Ａ）のような関係である場合にも、図１８（Ｂ）のようにマイク１６２の方向ＤＭ（指向方向）がＨＭＤ２００（口、頭部）の方を向いていると判断される場合には、第２の位置関係が所与の条件を満たしたと判断する。そして、マイク１６２により入力されたユーザ音声を受け付ける。即ち、マイク入力をオンにして、ユーザ音声を受け付ける。

このように本実施形態では、マイク１６２とスピーカＳＰとの第１の位置関係が、ハウリングが発生するような位置関係（図１８（Ａ））であったとしても、この第１の位置関係に対するＨＭＤ２００の第２の位置関係が、ハウリングを防止できるような位置関係（図１８（Ｂ））である場合には、マイク入力をオンにして、ユーザ音声を受け付けるようにしている。

図１９、図２０は本実施形態の処理例を示すフローチャートである。

図１９では、まず、ＨＭＤ２００の位置の情報とマイク１６２の位置や方向の情報を取得する（ステップＳ２１）。次に、マイク１６２とスピーカＳＰがハウリングの位置関係にあるか否かを判断する（ステップＳ２２）。即ち、マイク１６２とスピーカＳＰの第１の位置関係が、図１８（Ａ）のような位置関係になっているか否かを判断する。そしてハウリングの位置関係である場合には、マイク１６２とスピーカＳＰの間にＨＭＤ２００が存在するか否かを判断する（ステップＳ２３）。即ち、マイク１６２とスピーカＳＰの第１の位置関係に対するＨＭＤ２００の第２の位置関係が、図１７に示すような位置関係になっているか否かを判断する。

そして、ステップＳ２２でハウリングの位置関係ではないと判断された場合、及びステップＳ２３でマイク１６２とスピーカＳＰの間にＨＭＤ２００が存在すると判断された場合には、マイク１６２により入力されたユーザ音声を受け付ける（ステップＳ２４）。即ち、マイク入力をオンにして、ユーザ音声を受け付ける。一方、ステップＳ２３でマイク１６２とスピーカＳＰの間にＨＭＤ２００が存在しないと判断された場合には、ユーザ音声の受け付けをオフにする処理、或いはマイク１６２の入力レベルを下げる処理、或いはスピーカＳＰの出力レベルを下げる処理を行う（ステップＳ２５）。即ちハウリング防止用の処理を行う。

図２０では、まず、ＨＭＤ２００の位置の情報とマイク１６２の位置や方向の情報を取得する（ステップＳ３１）。次に、マイク１６２とスピーカＳＰがハウリングの位置関係にあるか否かを判断する（ステップＳ３２）。そしてハウリングの位置関係である場合には、マイク１６２の指向方向がＨＭＤ２００（ユーザの口）の方を向いているか否かを判断する（ステップＳ３３）。即ち、マイク１６２とスピーカＳＰの第１の位置関係に対するＨＭＤ２００の第２の位置関係が、図１８（Ｂ）に示すような位置関係になっているか否かを判断する。

そして、ステップＳ３２でハウリングの位置関係ではないと判断された場合、及びステップＳ３３でマイク１６２の指向方向がＨＭＤ２００の方を向いていると判断された場合には、マイク１６２により入力されたユーザ音声を受け付ける（ステップＳ３４）。一方、ステップＳ３３でマイク１６２の指向方向がＨＭＤ２００の方を向いていないと判断された場合には、ユーザ音声の受け付けをオフにする処理、或いはマイク１６２の入力レベルを下げる処理、或いはスピーカＳＰの出力レベルを下げる処理を行う（ステップＳ３５）。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（音入力装置、移動可能範囲等）と共に記載された用語（マイク、プレイエリア等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また頭部装着型表示装置、音入力装置の位置、方向の情報の取得手法、音入力装置、頭部装着型表示装置、スピーカの間の位置関係の判断手法、ユーザ音声の受け付け処理、ハウリング防止用の処理や、シミュレーションシステムの構成等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。

ＳＰ１〜ＳＰ５ スピーカ、ＰＬ ユーザ、ＰＭ マイクの位置、ＰＨ ＨＭＤの位置、
ＤＭ マイクの方向（指向方向）、ＬＨＭ 距離、
１００ 処理部、１０２ 入力処理部、１１０ 演算処理部、１１１ ゲーム処理部、
１１２ ゲーム進行処理部、１１３ 評価処理部、１１４ キャラクタ処理部、
１１５ パラメータ処理部、１１６ オブジェクト空間設定部、
１１７ 仮想カメラ制御部、１１８ ゲーム成績演算部、１２０ 表示処理部、
１３０ 音処理部、１３２ 条件判断部、１３４ ハウリング処理部、
１４０ 出力処理部、１５０ 撮像部、１５１、１５２ カメラ、
１６０（１６０−１、１６０−２） 入力装置、１６１ 音入力装置、
１６２ マイク、１７０ 記憶部、１７２ 空間情報記憶部、１７４ 楽曲情報記憶部、
１７５ 音データ記憶部、１７６ パラメータ記憶部、１７８ 描画バッファ、
１８０ 情報記憶媒体、１９２ 音出力部、１９４ Ｉ／Ｆ部、
１９５ 携帯型情報記憶媒体、１９６ 通信部、
２００ ＨＭＤ（頭部装着型表示装置）、２０１〜２０３ 受光素子、２１０ センサ部、
２２０ 表示部、２３１〜２３６ 発光素子、２４０ 処理部、２６０ ヘッドバンド、
２８０、２８４ ステーション、２８１、２８２、２８５、２８６ 発光素子、
２９０、２９２照明器具、３０１〜３０４ 壁、３０５ 天井、３０６ ドア、
３１１〜３１５ 防音材、３３０、３３１ フロントスピーカ、３３２ リアスピーカ、
３３３、３３４、リアスピーカ、３３５ ウーハー、

Claims (14)

1. ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、
   前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、
   前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部と、
   を含み、
   前記音処理部は、
   前記音入力装置と前記頭部装着型表示装置との位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うことを特徴とするシミュレーションシステム。
2. 請求項１において、
   前記音処理部は、
   前記音入力装置と前記頭部装着型表示装置との前記位置関係が所与の条件を満たしたと判断した場合に、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
3. 請求項２において、
   前記音処理部は、
   前記位置関係が前記所与の条件を満たしていないと判断した場合に、前記ユーザ音声の受け付けをオフにする処理、前記音入力装置の入力レベルを下げる処理、或いは前記スピーカの出力レベルを下げる処理を行うことを特徴とするシミュレーションシステム。
4. 請求項２又は３において、
   前記音処理部は、
   前記音入力装置の位置と前記頭部装着型表示装置の位置とに基づいて、前記位置関係が前記所与の条件を満たしたか否かを判断することを特徴とするシミュレーションシステム。
5. 請求項４において、
   前記音処理部は、
   前記音入力装置と前記頭部装着型表示装置との距離が所与の距離以下である場合に、前記位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
6. 請求項２乃至５のいずれかにおいて、
   前記音処理部は、
   前記音入力装置の方向と前記頭部装着型表示装置の位置とに基づいて、前記位置関係が前記所与の条件を満たしたか否かを判断することを特徴とするシミュレーションシステム。
7. 請求項６において、
   前記音処理部は、
   前記音入力装置の音の指向方向が、前記頭部装着型表示装置の方を向いていると判断した場合に、前記位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
8. ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、
   前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、
   前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部と、
   を含み、
   前記音処理部は、
   前記音入力装置と前記スピーカとの第１の位置関係に対する前記頭部装着型表示装置の第２の位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うことを特徴とするシミュレーションシステム。
9. 請求項８において、
   前記音処理部は、
   前記第２の位置関係が、所与の条件を満たしたと判断した場合に、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
10. 請求項９において、
    前記音処理部は、
    前記第２の位置関係が前記所与の条件を満たしていないと判断した場合に、前記ユーザ音声の受け付けをオフにする処理、前記音入力装置の入力レベルを下げる処理、或いは前記スピーカの出力レベルを下げる処理を行うことを特徴とするシミュレーションシステム。
11. 請求項９又は１０において、
    前記音処理部は、
    前記音入力装置と前記スピーカとの間に前記頭部装着型表示装置が存在すると判断した場合に、前記第２の位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
12. 請求項９乃至１１のいずれかにおいて、
    前記音処理部は、
    前記音入力装置の音の指向方向が前記スピーカの方を向いている場合にも、前記指向方向が前記頭部装着型表示装置の方を向いていると判断した場合には、前記第２の位置関係が前記所与の条件を満たしたと判断して、前記音入力装置により入力された前記ユーザ音声を受け付けることを特徴とするシミュレーションシステム。
13. ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、
    前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、
    前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部として、
    コンピュータを機能させ、
    前記音処理部は、
    前記音入力装置と前記頭部装着型表示装置との位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うことを特徴とするプログラム。
14. ユーザが装着する頭部装着型表示装置の位置の情報と、前記ユーザがユーザ音声を入力する音入力装置の位置及び方向の少なくとも一方の情報を取得する入力処理部と、
    前記頭部装着型表示装置に画像を表示するための処理を行う表示処理部と、
    前記音入力装置により入力された前記ユーザ音声を含む音を、前記ユーザの周囲に配置されたスピーカに出力させる処理を行う音処理部として、
    コンピュータを機能させ、
    前記音処理部は、
    前記音入力装置と前記スピーカとの第１の位置関係に対する前記頭部装着型表示装置の第２の位置関係に基づいて、前記音入力装置により入力された前記ユーザ音声についての処理を行うことを特徴とするプログラム。

Images