JP6055657B2 - ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム - Google Patents

Description

本発明は、ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラムに関し、より特定的には、音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラムに関する。

従来から、ゲーム処理等において、仮想空間内にある複数の音源から音が再生される様子を表現することが行われている。このような音声の表現に際して、これら複数の音源から同時に同じ音が鳴る場合もあり得る。このようなとき、全ての音を同時に再生すると、スピーカ等から出力される音量が大きくなりすぎるという問題がある。

ここで、同じ種類の複数のサウンドオブジェクトが存在する場合に、それらを音源における発音が１つになるようにまとめて、音源を節約する技術が知られている（例えば、特許文献１）。この技術では、同じ音が同時に鳴るときには音数を制限することになるため、結果的に、出力音量が大きくなりすぎることを防ぐことにもなっていた。

特許公開２００４−１９５２１０号公報

しかし、上記の技術では、使用する音源を節約したとしても、使用可能な音源の発音数を超えてしまうような場合には、「優先順位」に従って、出力しないサウンドオブジェクトの音を決定していた。つまり、発音数の制限によって再生されない音がある場合もあった。例えば、使用可能な音数が１音だけに制限されているような場合において、仮想空間内にある仮想マイクの右と左にある音源からの音が同時再生された場合は、右からの音、もしくは左からの音しか再生されないという状況もあり得た。

それ故に、本発明の目的は、仮想空間内の複数の音源から同時に音が鳴る場合に、音量が大きくなりすぎず、かつ、各音源の位置を考慮した音の再生が可能なゲームシステム等を提供することである。

上記目的は、例えば以下のような構成により達成される。

構成例の一例は、音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、音声再生手段と、受音音量算出手段と、第１の定位算出手段と、重み付け対象決定手段と、第２の定位算出手段と、音声出力制御手段とを備える。音声再生手段は、複数の音源オブジェクトそれぞれに関連付けられている所定の音声データに基づく音声を仮想３次元空間における当該音源オブジェクトそれぞれの位置において同じタイミングで再生する。受音音量算出手段は、音声再生手段で再生された各音源オブジェクトにかかる音声を仮想マイクで受けたときの当該仮想マイクにおける各音声の音量の大きさを音源オブジェクト毎に算出する。第１の定位算出手段は、音声再生手段で再生された各音源オブジェクトにかかる音声を仮想マイクで受けたときの当該仮想マイクにおける各音声の定位を音源オブジェクト毎に算出する。重み付け対象決定手段は、受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量の大きさに基づき、いずれか１つの音源オブジェクトを重み付け対象として決定する。第２の定位算出手段は、各音源オブジェクトにかかる音声を１つの音声として出力した場合に重み付け対象決定手段が決定した音源オブジェクトにかかる音声の定位がより大きく反映されるような重み付けをして、各音源オブジェクトの第１の定位に基づいて第２の定位を算出する。音声出力制御手段は、第２の定位に基づいて複数の音源オブジェクトにかかる音声を１つの音声とした音声信号を生成し、音声出力部に出力する。

上記構成例によれば、複数の音源オブジェクトからの所定の音声が同時再生されることによって予期せぬ大音量が鳴ってしまうことを防ぐことができる。また、各音源オブジェクトの位置関係が反映されるような音の再生が可能となる。

また、複数の音源オブジェクトに関連付けられている所定の音声データは同一の音声データであってもよい。

上記構成例によれば、複数の音源オブジェクトから同じ音声が同時に再生されることによって予期せぬ大音量が鳴ってしまうことを防ぐことができる。

また、重み付け対象決定手段は、受音音量算出手段で算出された音量の大きさが最も大きな音声を再生した音源オブジェクトを重み付け対象として決定してもよい。

上記構成例によれば、各音源オブジェクトの位置関係をより反映した音の再生が可能となる。

また、ゲームシステムは、同じタイミングで音声を再生した音源オブジェクトに基づいて、音声出力部に出力する音声の音量を設定する出力音量設定手段を更に備えていてもよい。そして、音声出力制御手段は、出力音量設定手段で設定された音量で音声信号に基づく音声を出力してもよい。また、出力音量設定手段は、受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量のうち、最も大きな音量を音声出力部に出力する音声の音量として設定してもよいし、同じタイミングで音声を再生した音源オブジェクトの数に基づいて音量を設定してもよい。更には、出力音量設定手段は、同じタイミングで音声を再生した音源オブジェクトの数が多いほど、音量が大きくなるように設定してもよい。

上記構成例によれば、各音源オブジェクトの位置関係をより反映した音の再生が可能となる。特に、音源オブジェクトとの距離感を聴覚的に把握しやすい音声表現が可能となる。

また、ゲームシステムは、同じタイミングで音声を再生した音源オブジェクトの数に基づいて、音声出力部に出力する音声内容を変更させる出力音声変更手段を更に備えていてもよい。

上記構成例によれば、例えば、敵キャラクタを倒すようなゲーム処理において、一度に多数の敵キャラクタを倒したときに聴覚的な爽快感をプレイヤに与えることが可能となる。

また、音声出力部は、ステレオスピーカであり、第１の定位算出手段および第２の定位算出手段は、プレイヤが音声出力部に対面する位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位を算出するようにしてもよい。更には、音声出力部は、サラウンドスピーカであり、第１の定位算出手段および第２の定位算出手段は、プレイヤが音声出力部に対面するような位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位、および、前後方向にかかる定位を算出するようにしてもよい。

上記構成例によれば、仮想３次元空間における空間的の広がりを聴覚的にプレイヤに感じさせることが可能となる。

また、仮想３次元空間には複数の仮想マイクが配置されていてもよい。そして、受音音量算出手段は、各音源オブジェクトにかかる音声の音量の大きさを複数の仮想マイク毎に算出し、第１の定位算出手段は、各音源オブジェクトの第１の定位を複数の仮想マイク毎に算出し、重み付け対象決定手段は、複数の仮想マイク毎に重み付け対象を決定し、第２の定位算出手段は、複数の仮想マイク毎に前記第２の定位を算出し、ゲームシステムは、複数の仮想マイクそれぞれにおける第２の定位に基づいて、各仮想マイクで受けた音声を１つの音声として出力するとしたときの定位を第３の定位として算出する第３の定位算出手段を更に備えており、音声出力制御手段は、第３の定位に基づいて音源オブジェクトにかかる音声信号を生成し、音声出力部に出力してもよい。

上記構成例によれば、複数プレイヤによる同時プレイが可能なゲーム処理であって、例えば画面を分割し、分割画面を各プレイヤに割り当てるようなゲームにおいて、複数プレイヤのそれぞれに対して仮想３次元空間の空間的感覚を聴覚的に提供することができる。

また、他の構成例は、音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている複数の音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、音声再生手段と、受音音量算出手段と、第１の定位算出手段と、第２の定位算出手段と、第３の定位算出手段と、音声出力制御手段とを備える。音声再生手段は、音源オブジェクトそれぞれに関連付けられた所定の音声データに基づく音声を仮想３次元空間における各音源オブジェクトの位置において同じタイミングで再生する。受音音量算出手段は、音声再生手段で再生された複数の音声を仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを複数の仮想マイク毎に算出する。第１の定位算出手段は、音声再生手段で再生された音声を仮想マイクで受けたときの当該音声の定位を第１の定位として複数の仮想マイク毎に算出する。第２の定位算出手段は、受音音量算出手段で算出された各仮想マイクにおける各音源オブジェクトの音声の音量の大きさ、および、第１の定位算出手段で算出された各仮想マイクにおける各音源オブジェクトの定位に基づいて、複数の仮想マイクで受けた音声を１つの音声として出力した場合における定位である第２の定位を複数の音源オブジェクト毎に算出する。第３の定位算出手段は、同じタイミングで再生された複数の音源オブジェクトにかかる音声を１つの音声として出力した場合の定位である第３の定位を、当該複数の音源オブジェクトそれぞれにかかる第２の定位に基づいて算出する。音声出力制御手段は、同じタイミングで再生された複数の音源オブジェクトにかかる音声を第３の定位に基づいて１つの音声信号として生成し、音声出力部に出力する。

上記構成例によれば、複数プレイヤによる同時プレイが可能なゲーム処理であって、例えば画面を分割し、分割画面を各プレイヤに割り当てるようなゲームにおいて、複数プレイヤのそれぞれに対して仮想３次元空間の空間的感覚を聴覚的に提供することができる。

本発明によれば、複数の音源から同時再生される音が重なることで予期せぬ大音量が鳴ってしまうことを防ぐことができる。また、各音源の位置関係が反映されるような音の再生が可能となる。

本発明の一実施形態に係るゲームシステム１の一例を示す外観図 図１のゲーム装置本体５の一例を示す機能ブロック図 図１のコントローラ７の外観構成の一例を示す図 コントローラ７の内部構成の一例を示すブロック図 第１の実施形態における仮想空間内の各オブジェクトの位置関係を示す図 メモリ１２のメモリマップ 音源オブジェクトデータ８７の構成の一例 纏め音作業用データ８８の構成の一例 ゲーム処理プログラム８１に基づくゲーム処理の流れを示すフローチャート 図９のステップＳ１で示した各音源の音量・定位算出処理の詳細を示すフローチャート 図９のステップＳ２で示した最終音量・定位算出処理の詳細を示すフローチャート 第２の実施形態のゲーム画面の一例 仮想空間内の各オブジェクトの位置関係を示す図 定位の範囲の例を示す図 第２の実施形態での各音源の音量・定位算出処理の一例を示すフローチャート 第２の実施形態での音声制御処理の別の例を示すフローチャート

（第１の実施形態）
図１を参照して、本発明の第１の実施形態に係るゲームシステムについて説明する。

図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。また、ゲーム装置３は、ゲーム装置本体５と、コントローラ７と、マーカ部８を含む。

モニタ２は、ゲーム装置本体５から出力されるゲーム画像を表示する。モニタ２は、ステレオスピーカであるスピーカ２Ｌ、２Ｒを有している。スピーカ２Ｌおよび２Ｒは、ゲーム装置本体５から出力されるゲーム音声を出力する。なお、この例ではモニタ２がこれらスピーカを有する例を示したが、この他、モニタ２に別途外部のスピーカを接続するような形態であってもよい。また、モニタ２の画面の周辺（図１では画面の上側）には、マーカ部８が設置される。マーカ部８は、その両端に２つのマーカ８Ｒおよび８Ｌを備えている。マーカ８Ｒ（マーカ８Ｌも同様）は、具体的には１以上の赤外ＬＥＤであり、モニタ２の前方に向かって赤外光を出力する。マーカ部８はゲーム装置本体５に接続されており、ゲーム装置本体５はマーカ部８が備える各赤外ＬＥＤの点灯を制御することが可能である。

ゲーム装置本体５は、当該ゲーム装置本体５で読み取り可能な光ディスクに記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。

コントローラ７は、自機に対して行われた操作の内容を示す操作データをゲーム装置本体５に与えるものである。コントローラ７とゲーム装置本体５とは無線通信によって接続される。

図２は、ゲーム装置本体５のブロック図である。図２において、ゲーム装置本体５は、情報処理装置の一例である。本実施形態においては、ゲーム装置本体５はＣＰＵ（制御部）１１およびメモリ１２、システムＬＳＩ１３、無線通信部１４およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

ＣＰＵ１１は、メモリ１２やシステムＬＳＩ１３等を用いて所定の情報処理プログラムを実行する。これにより、ゲーム装置３における各種機能（例えば、ゲーム処理）が実現される。

システムＬＳＩ１３には、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１６、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１７、入出力プロセッサ１８、等が含まれる。

ＧＰＵ１６は、ＣＰＵ１１からのグラフィクスコマンド（作画命令）に従って画像を生成する。

ＤＳＰ１７は、オーディオプロセッサとして機能し、メモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。

入出力プロセッサ１８は、無線通信部１４を介して、コントローラ７との間でデータの送受信を実行したりする。また、入出力プロセッサ１８は、上記無線通信部１４を介して、コントローラ７から送信される操作データ等を受信し、メモリ１２のバッファ領域に記憶（一時記憶）する。

また、ゲーム装置本体５において生成される画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、図示しないＡＶコネクタを介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２Ｌおよび２Ｒに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２Ｌおよび２Ｒから音声が出力される。

図３は、コントローラ７の外観構成を示す斜視図である。図３において、コントローラ７は、例えばプラスチック成型によって形成されたハウジング７１を有している。また、コントローラ７は、操作部（図４に示す操作部３１）として、十字キー７２や複数の操作ボタン７３等を備える。また、コントローラ７はモーションセンサも備える。プレイヤは、コントローラ７に設けられた各ボタンを押下すること、および、コントローラ７自体を動かしてその位置や姿勢を変えることによってゲーム操作を行うことができる。

図４は、コントローラ７の電気的な構成を示すブロック図である。図４に示すように、コントローラは、上述の操作部３１を備える。また、コントローラ７の姿勢を検出するためのモーションセンサ３２を備える。本実施形態では、当該モーションセンサ３２として、加速度センサおよびジャイロセンサが備えられている。加速度センサは、ｘｙｚの３軸の加速度が検出可能である。ジャイロセンサは、ｘｙｚの３軸の角速度が検出可能である。

また、コントローラ７は、ゲーム装置本体５との無線通信が可能な無線通信部３４を備える。本実施形態においては、コントローラ７とゲーム装置本体５との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。

また、コントローラ７は、当該コントローラ７における動作を制御する制御部３３を備える。具体的には、制御部３３は、各入力部（操作部３１、モーションセンサ３２）からの出力データを受け取り、操作データとして無線通信部３４を介してゲーム装置本体５へ送信する。

次に、図５を参照して、第１の実施形態のシステムにおいて実行される処理の概要を説明する。

第１の実施形態では、仮想３次元空間（以下、単に仮想空間と呼ぶ）をプレイヤキャラクタが自由に動き回ることが可能なゲームのゲーム処理を想定している。そして、本実施形態では、仮想空間内に存在する複数の音源オブジェクトからの音を１つの仮想マイクで受音する処理（この仮想マイクで視聴したとみなす音場計算（音量や定位）を行う処理）が行われ、その結果としての音声信号をスピーカ２Ｌおよび２Ｒから出力する場合を例に説明する。なお、本実施形態では、この音は主に効果音のような音声を想定する。つまり、ＢＧＭ等の連続的に発せられる音声（持続音）ではなく、単発の音声、すなわち、ごく短い時間で発音が終了するような音声（再生時間が短い音声）を想定する。そして、本実施形態では、３つの音源オブジェクトがあり、これらから同じ内容の単発の音声が同時に発せられるような状況を例にして説明する。

図５は、上記のような状況である仮想空間の一例を示す模式図である。図５では、仮想空間を俯瞰した状態を示している。図５において、プレイヤオブジェクト１０１が存在し、その後方に仮想マイク１１１が配置されている。また、プレイヤオブジェクト１０１からみて右斜め奥となる位置に、第１の音源オブジェクト１２１が配置されている。また、プレイヤオブジェクト１０１からみて、音源オブジェクト１２１の更に右斜め奥となる位置に、第２の音源オブジェクト１２２が配置されている。また、プレイヤオブジェクト１０１からみて左斜め奥の方向であって、第２の音源オブジェクトよりも遠くの位置に第３の音源オブジェクト１２３が配置されている。

このような状況で、各音源オブジェクトから、同じ効果音が同時に（同一のゲームフレーム内に）再生されたとする。この場合、仮想マイク１１１の位置において聞こえる各音源オブジェクトの音量と定位が、例えば次のような関係にあったとする。なお、音量の範囲は０．０〜１．０とし、定位の範囲は−１．０〜１．０（仮想マイクのローカル座標系のｘ軸方向にかかる定位とする）であるとする。また、定位について、−１．０は、スピーカ２Ｌからのみ音が聞こえるような状態（音量バランスが左に傾いている状態）である。＋１．０はスピーカ２Ｒからのみ音が聞こえるような状態（音量バランスが右に傾いている状態）である。０．０は、中心から音が聞こえるような状態（左右の音量バランスが等しい状態）である。

上記のような定位を前提とし、図５において、第１の音源オブジェクト１２１については、音量が１．０、定位が０．２５として聞こえるとする。また、第２の音源オブジェクト１２２については、音量が０．３、定位が０．８として聞こえるとする。また、第３の音源オブジェクト１２３については、音量が０．１、定位が−１．０として聞こえるとする。なお、以下の説明では、説明の便宜上、上記仮想マイクで受けた音量のことを「受音音量」と呼ぶ。また、仮想マイクにおける定位のことを「受音定位」と呼ぶ。

上記のような関係にある場合に、本実施形態では、これら３つの音源からの同時出力にかかる音を１つの音として（換言すれば、単音源扱いで）出力する。以下の説明では、この１音のことを「纏め音」と呼ぶ。そして、本実施形態では、纏め音の出力に際して、仮想マイクでの受音音量の大きさが最も大きな音源を重視して、最終的にスピーカから出力する当該纏め音の音量と定位を決定する。具体的には、音量については、上記３つの受音音量のうち、最も大きなものを使う。上記の例では、第１の音源オブジェクト１２１の音量”１．０”が纏め音の音量として設定される。また、定位については、上記３つの受音音量のうち、最も大きな音量であった音源の受音定位を重視したような定位を算出する。例えば、上記の３つの音源オブジェクトの例でいうと、以下のような式１を用いて纏め音の定位を算出する。

なお、受音音量ｎ、受音定位ｎは、それぞれ第ｎの音源オブジェクト（上記の例では第１〜第３のいずれか）における受音音量と受音定位を示す。

このように、本実施形態では、複数音源から同時に同じ音声が再生された際に、最も音が大きく届く音源オブジェクトからの音量と定位がより大きく反映されるようにして、これら複数の音源からの音を１つの音に纏めて出力する。これにより、複数音源からの同じ音の同時再生によって予期せぬ大音量が鳴ってしまうことを防ぐことができる。また、各音源の位置関係が反映されるような音の再生が可能となる。更に、複数の音源から同時に発せられた同じ内容の音を１つの音に代表させるようにして（纏めて）再生している。そのため、音源毎に個別に音の再生・出力処理を行わずにすみ、音声再生にかかる処理負荷を軽減することもできる。

次に、図６〜図１１を参照して、上記のようなゲーム処理を実現するためのシステム１の動作について詳細に説明する。

図６は、上記ゲーム処理を実行するときにゲーム装置本体５のメモリ１２に記憶される各種データの一例を示している。

ゲーム処理プログラム８１は、ゲーム装置本体５のＣＰＵ１１に、上記ゲームを実現するためのゲーム処理を実行させるためのプログラムである。ゲーム処理プログラム８１は、例えば、光ディスクからメモリ１２にロードされる。

処理用データ８２は、ＣＰＵ１１において実行されるゲーム処理において用いられるデータである。処理用データ８２は、操作データ８３、ゲーム音声データ８４、仮想マイク姿勢データ８５、仮想マイク位置データ８６、複数の音源オブジェクトデータ８７、纏め音作業用データ８８を含む。また、その他、図示は省略するが、仮想カメラの姿勢を示すデータや各プレイヤキャラクタのデータ、その他の各種オブジェクトのデータも含まれている。

操作データ８３は、コントローラ７から周期的に送信される操作データである。操作データ８３には、操作部３１に対する入力状態を示すデータや、モーションセンサ３２に対する入力内容を示すデータが含まれる。

ゲーム音声データ８４は、上記音源オブジェクト１０５が再生するゲーム音声の素になるデータである。ゲーム音声データ８４には、上記音源オブジェクト１０５に対応づけられた効果音や音楽データが複数含まれている。その他、音源オブジェクト１０５とは対応付けられていない各種効果音や音楽のデータも含まれている。

仮想マイク姿勢データ８５は、仮想マイク１１１の姿勢を示すデータである。仮想マイクの姿勢は、プレイヤキャラクタの移動操作等に基づいて適宜変更される。本実施形態では、基本的には仮想マイクの姿勢（特に、向きについて）は仮想カメラの姿勢（向き）と一致するように制御される。

仮想マイク位置データ８６は、仮想空間内における仮想マイク１１１の位置を示すデータである。仮想マイクの位置は、プレイヤキャラクタの移動等に伴って適宜変化する。

音源オブジェクトデータ８７は、上記の各音源オブジェクトに関するデータである。図７は、各音源オブジェクトデータ８７の構成の一例を示す図である。音源オブジェクトデータ８７は、オブジェクトＩＤ８７１、オブジェクト位置データ８７２、対応音声識別データ８７３、音声特性データ８７４等を含む。

オブジェクトＩＤ８７１は、各音源オブジェクトを識別するためのＩＤである。オブジェクト位置データ８７２は、仮想空間内における当該音源オブジェクトの位置を示すデータである。対応音声識別データ８７３は、当該音源オブジェクトが再生する音声であると定義されているゲーム音声データ８４を示すデータである。音声特性データ８７４は、当該音源オブジェクトが発する音の大きさ（音量）や、仮想空間内においてその音が届く距離等を定義したデータである。また、当該音源と同じ音を鳴らすことが定義されている他の音源オブジェクトの有無を示すための情報も、音声特性データ８７４に含まれる。つまり、当該音源オブジェクトが、上記のような纏め音の対象になり得るか否かを示す情報である。例えば、纏め音になり得る効果音に予めグループ番号を定義しておき、このグループ番号を当該音声特性データ８７４に含むようにすることが考えられる。これにより、同一ゲームフレーム内に音声を再生した音源オブジェクトのうち、同一のグループ番号を有する音源オブジェクトは纏め音を生成する処理の対象となることが判別可能となる。また、その他、当該音源オブジェクトが現在音声を再生中であるか否かを示すためのフラグ等も音源オブジェクトデータ８７に含まれる。

図６に戻り、纏め音作業用データ８８は、上述した纏め音を生成するために利用されるデータである。図８は、纏め音作業用データ８８の構成の一例を示す図である。図８において、纏め音作業用データ８８には、上記仮想マイク１１１で受けた受音音量を示す受音音量データ８８１および受音定位を示す受音定位データ８８２が、上記複数のオブジェクト毎（図８では音源＃ｎと表記）に区別されて格納される。

次に、図９のフローチャートを参照し、ゲーム処理プログラム８１に基づいてゲーム装置本体５のＣＰＵ１１によって実行されるゲーム処理の流れを説明する。なお、ここでは、主に上記のような複数の音源オブジェクトを１つの仮想マイクで受けたときの音声出力制御に関する処理についてのみ説明し、それ以外の処理に関しては説明を省略する。また、図９のフローチャートは１フレーム単位で繰り返し実行される。

図９において、まず、ステップＳ１で、ＣＰＵ１１は、各音源の音量・定位算出処理を実行する。この処理は、仮想空間内における各音源オブジェクトからの音を仮想マイクで受けたとしたときの受音音量や受音定位を算出するための処理である。図１０は、当該各音源の音量・定位算出処理の詳細を示すフローチャートである。図１０において、まず、ステップＳ２１で、ＣＰＵ１１は、仮想空間内に存在する複数の音源オブジェクトから、今回の処理ループ（ゲームフレーム）で音声を出力することが決定された音源オブジェクトを抽出する。そして、その中から、処理対象としていずれか一つの音源オブジェクトを選択する。以下、当該選択された音源オブジェクトを処理対象音源と呼ぶ。

次に、ステップＳ２２で、ＣＰＵ１１は、処理対象音源で再生される音が纏め音としての再生対象となり得る音であるか否かを判定する。具体的には、ＣＰＵ１１は、音声特性データ８７４を参照し、当該処理対象音源にかかる音が纏め音の対象になり得るとして予め定義された音であるか否かを判定する。
当該判定の結果、纏め音の対象となり得る音であるときは（ステップＳ２２でＹＥＳ）、次に、ステップＳ２３で、ＣＰＵ１１は、処理対象音源に対応づけられているゲーム音声データ８４を読み出す処理を実行する。

次に、ステップＳ２４で、ＣＰＵ１１は、処理対象音源の位置や音声特性データ８７４と、仮想マイク１１１の位置および向きに基づいて、上記読み出したゲーム音声データにかかる音が鳴らされた場合の仮想マイクにおける受音音量および受音定位を算出する。次に、ステップＳ２５で、ＣＰＵ１１は、当該算出された受音音量および受音定位を纏め音作業用データ８８としてメモリ１２に格納する。その後、後述のステップＳ２８に処理が進められる。

一方、上記ステップＳ２２の判定の結果、処理対象音源にかかる音声が纏め音としての再生対象にならないときは（ステップＳ２２でＮＯ）、ステップＳ２６で、ＣＰＵ１１は、通常の音声再生処理を行う。すなわち、ＣＰＵ１１は、処理対象音源の位置で当該処理対象音源に対応付けられている所定の音声を再生する処理を行う。換言すれば、纏め音としての再生対象になり得ない音声についてはこの処理で再生処理が実行されることになる（纏め音としての再生対象になり得る音声については、後述のステップＳ２の処理において再生されることになる）。

次に、ステップＳ２７で、ＣＰＵ１１は、今回の処理ループにおいて音声が出力されることが決定された全ての音源オブジェクトに対して上記のような処理を行ったか否かを判定する。その結果、未処理の音源オブジェクトが残っていれば（ステップＳ２７でＮＯ）、上記ステップＳ２１に戻り、処理が繰り返される。全て処理済みのときは（ステップＳ２８でＹＥＳ）、当該各音源の音量・定位算出処理は終了する。

図９に戻り、次に、ステップＳ２で、ＣＰＵ１１は、最終音量・定位算出処理を実行する。この処理は、纏め音としての再生対象になり得る音声にかかる音源オブジェクト（なり得るとは、実際に複数音が鳴った場合、および、実際には１音しか鳴っていなかった場合の双方を含む意味である）を対象とする処理である。特に、纏め音として出力する音声に関しては、上記ステップＳ１で算出された各音源の受音音量、受音定位に基づいて、スピーカに出力すべき音声である最終出力音声における音量および定位を算出する処理である。図１１は、当該最終音量・定位算出処理の詳細を示すフローチャートである。まず、ステップＳ４１で、ＣＰＵ１１は、纏め音としての再生対象になり得る音源オブジェクトのうち、以下の処理の対象とする音源オブジェクト（処理対象音源）を選択する。

次に、ステップＳ４２において、ＣＰＵ１１は、処理対象音源にかかる音声と同じ音声が複数同時に鳴らされた否かを判定する。つまり、処理対象音源にかかる音声が纏め音として扱う音声であるか否かを判定する。その結果、纏め音として扱う音声ではないときは（ステップＳ４２でＮＯ）、ステップＳ４６にて、ＣＰＵ１１は処理対象音源にかかる音声について通常の再生処理（すなわち、上記式１を使わない処理）を行う。つまり、「纏め音」の対象となり得るものではあったが、実際には１音しか鳴っていなかったような場合は、この処理によって音声再生がなされる。その後、後述のステップＳ４５に処理が進められる。

一方、同じ音が複数鳴らされたときは（ステップＳ４２でＹＥＳ）、ステップＳ４３において、ＣＰＵ１１は、当該同時に再生された複数の音声それぞれにかかる纏め音作業用データ８８を参照し、最終的な出力音量と定位を算出する。すなわち、音量については、同時に再生された音声、すなわち纏め音の対象となる各音源の受音音量データ８８１を参照し、最も受音音量が大きな音源オブジェクトにかかる受音音量を採用する。また、定位については、纏め音の対象となる各音源の受音音量データ８８１および受音定位データ８８２を参照し、上述した式１を用いて算出する。

次に、ステップＳ４４で、ＣＰＵ１１は、纏め音にかかる出力音声を生成する処理を実行する。すなわち、上記ステップＳ４３で算出された音量と定位を用いて纏め音の音声を生成する。

次に、ステップＳ４５で、ＣＰＵ１１は、現在のゲームフレームにおいて出力すべき音声の全てについて処理したか否かを判定する。未処理の音声が残っているときは（ステップＳ４５でＮＯ）、上記ステップＳ４１に戻り処理が繰り返される。全て処理済みのときは(ステップＳ４５でＹＥＳ）、当該最終出力音声算出処理は終了する。

なお、上記ステップＳ４２、ステップＳ４６の処理については省略するようにしても良い。実際に複数音が鳴ったか否かに関わらず、纏め音となり得る音の全てについて処理するようにすれば、同じ結果が算出可能だからである。

図９に戻り、次に、ステップＳ３で、ＣＰＵ１１は、上記ステップＳ２で算出された各音声をミックスして音声信号を生成し、スピーカ等に出力するための処理を実行する。

以上で、第１の実施形態にかかる音声出力制御に関する処理は終了する。

このように、第１の実施形態では、複数の音源オブジェクトからの音を１つの仮想マイクで受けて、１つの音に纏めて音声出力するときに、より音が大きく届く音源オブジェクトからの音量と定位を重視して、１つの音として纏めている。これにより、同じ音の同時再生によって予期せぬ大音量が鳴ってしまうことを防ぎつつ、各音源の位置を考慮した音の再生も可能となる。

なお、音量の決定に関して、上記実施形態では、最も受音音量が大きな音源オブジェクトにかかる受音音量を採用していた。この他、例えば、同時に同音を再生した音源オブジェクトの個数に応じて音量を変化させるようにしても良い。例えば、ある音源オブジェクトが発する音の音量の初期値を基準として、音源オブジェクトが２つの場合は、音量を１．１倍とし、３つの場合は１．２倍のようにしてもよい。

また、その他、同音を同時出力した音源オブジェクトの個数に応じて、出力する音そのものを変えるようにしても良い。例えば、ある場面で鳴らす効果音として、複数の音声データを用意する。一例として、敵キャラクタを倒したときに鳴らす効果音があるとして、１体だけ倒したときの第１の効果音と、５体以上まとめて倒したときの第２の効果音を用意する。そして、第２の効果音は、第１の効果音をベースにした音声ではあるが、より豪勢な音に聞こえるようなアレンジが施された音である。このように、複数の効果音を用意しておき、プレイヤが同時に倒した敵キャラクタ数が４体までであれば、第１の効果音を用いて音声出力する。そして、プレイヤが同時に敵キャラクタを５体以上倒したような場合（５つの音源オブジェクトから同時に効果音が鳴る状況）には第２の効果音を用いて音声出力するようにしてもよい。また、第２の効果音を用いる場合は、音量の算出については省略するようにしてもよい。

（第２の実施形態）
次に、図１２から図１７を参照して、第２の実施形態について説明する。上述の第１の実施形態では、仮想マイクが１つの場合を例として説明していた。これに対して、第２の実施形態では、仮想マイクが複数ある場合を例に説明する。これは、例えば、ゲーム処理において画面を２分割して２人同時プレイを行うような場合に適用可能である。なお、当該実施形態に係るゲームシステム１は、コントローラ７を複数用いる点を除き、基本的には上述した第１の実施形態と同様であるため、同一の参照符号を付して詳細な説明を省略する。

まず、第２の実施形態で想定するゲーム処理の概要を説明する。本実施形態で想定するゲームは、基本的には第１の実施形態と同じく、仮想空間内をプレイヤキャラクタが自由に動き回ることが可能なゲームである。そして、本実施形態では、画面を左右に２分割し、２人のプレイヤに１画面ずつ割り当てて２人同時プレイするような場合を想定する。この場合、仮想カメラおよび仮想マイクは分割画面毎に用意される。本実施形態では、左右２分割画面のため、２つの仮想カメラおよび仮想マイクが用いられる。そして、ある音源オブジェクトから発せられる音について、これら２つの仮想マイクのそれぞれで受けるような処理が実行されるが、最終的にスピーカ２Ｌおよび２Ｒに出力するときには、２つの仮想マイクで受けた音を１つの音として出力する。このとき、本実施形態では、分割画面であることを考慮した出力、すなわち、複数の仮想マイクそれぞれの位置と音源オブジェクトとの位置関係を考慮した出力を行う。

上記のような分割画面であることを考慮した音声出力の処理について、簡単に説明する。この説明の簡略化のため、ここでは、仮想空間内の音源オブジェクトが１つだけの場合を例に説明する。但し、第２の実施形態としては、後述のように、音源オブジェクトが複数存在する場合を想定している。

図１２は、画面分割による２人同時プレイのゲーム画面の一例を示す図である。図１２では、画面の中心を境界として左右に２分割している。図１２において、左半分の画面が第１のプレイヤ（以下、プレイヤＡ）用の画面であり、右半分の画面が第２のプレイヤ（以下、プレイヤＢ）用の画面に割り当てられている。

プレイヤＡ用の画面（以下、分割画面Ａ）には、プレイヤＡの操作対象であるプレイヤキャラクタ２０１と、音源オブジェクト２０５が表示されている。また、この分割画面Ａでは、プレイヤキャラクタ２０１の右側面が表示されている状態である。また、音源オブジェクト２０５は、プレイヤキャラクタ２０１の左後方に位置しているものとする。一方、プレイヤＢ用の画面（以下、分割画面Ｂ）では、プレイヤＢの操作対象であるプレイヤキャラクタ２０２が表示されている。また、上記プレイヤキャラクタ２０１および音源オブジェクト２０５も（プレイヤキャラクタ２０２からみて遠方に）表示されている。なお、この分割画面Ｂでは、プレイヤキャラクタ２０２の左側面が表示されている状態である。

図１３は、上記図１２の状態における仮想空間内での各オブジェクトの位置関係を示す図である。また、図１３は、当該仮想空間を俯瞰したものを示している。図１３において、プレイヤキャラクタ２０１および２０２は共に仮想空間座標系におけるｚ軸正方向を向いている状態である。また、図１３におけるプレイヤキャラクタ２０１の右側に第１の仮想マイク２１１が配置されている。また、第１の仮想マイク２１１と同じ位置に第１の仮想カメラ（図示は省略）も配置されているものとする。当該第１の仮想カメラで撮影した画像が上記分割画面Ａに表示される。また、第１の仮想マイク２１１は、当該分割画面Ａのために用いられる。同様に、プレイヤキャラクタ２０２の左側に第２の仮想マイク２１２が配置されている。また、この位置に、第２の仮想カメラ（図示は省略）も配置されているものとする。当該第２の仮想カメラで撮影した画像が、上記分割画面Ｂに表示される。第２の仮想マイク２１２は、当該分割画面Ｂのために用いられる。なお、これら仮想カメラおよび仮想マイクは、原則的には各プレイヤキャラクタの移動に伴って移動されるものとする。

また、図１３において、プレイヤキャラクタ２０１は、図１３におけるほぼ右上の場所に位置している。一方、プレイヤキャラクタ２０２は、図１３における左下近くの場所に位置している。そして、音源オブジェクト２０５は、プレイヤキャラクタ２０１のすぐ側（左後方）に位置している。つまり、音源オブジェクト２０５は、プレイヤキャラクタ２０１からみるとすぐ近くに存在するが、プレイヤキャラクタ２０２からみると、遠方に存在しているような位置関係となっている。

上記のような位置関係において、音源オブジェクト２０５から再生される音声をスピーカ２Ｌおよび２Ｒで表現（出力）する場合を考える。本実施形態では、上記のように画面を２分割しており、各画面用にそれぞれ仮想マイクが設けられている。そのため、それぞれの仮想マイクで音源オブジェクト２１５からの音声を受音する処理が行われる。その結果、音源オブジェクト２０５から発せられる音は、各仮想マイクに対して異なった音量や定位で届くことになる。ここで、物理的なスピーカについては、本実施形態ではスピーカ２Ｌおよび２Ｒの１組のスピーカしか存在していない。そのため、本実施形態では、最終的には、上記２つの仮想マイクで得られた音源オブジェクト２１５の音声を１音にまとめて表現する。この際に、本実施形態では、各画面におけるプレイヤキャラクタと音源オブジェクト２１５との位置関係を反映したような音の表現を行う。具体的には、より音源に近い位置の仮想マイク（より大きな音を拾った仮想マイク）にかかる分割画面側に音の定位が偏るような音声出力を行う。これにより、音源から発せられる音を分割画面数分だけ再生するようなことを行わずとも、１音だけの再生でも自然な聞こえ方とすることができる。

上記のような分割画面を考慮した処理の原理を説明する。上記のような処理のため、定位の範囲を次のように定義する。まず、上記第１の実施形態と同様にスピーカ２Ｌ、２Ｒについての定位の範囲を−１．０〜１．０の範囲とする。そして、分割画面のそれぞれに対応する定位を定義する。図１４は、分割画面を考慮した定位の範囲の一例である。図１４に示すように、分割画面Ａに関して、第１の定位範囲（−１．０〜０．０）が定義され、分割画面Ｂに関して、第２の定位範囲（０．０〜１．０）が定義されている。このような定義のもと、第１の仮想マイク２１１で受音した音の定位を第１の定位範囲内に収めるように処理し、第２の仮想マイク２１２で受音した音の定位を第２の定位範囲内に収めるように処理する。そして、受音音量が大きかった仮想マイクのほうの受音定位を重視するようにして、最終的にスピーカ２Ｌおよび２Ｒから出力する音声を生成するものである。

具体的には、以下のような処理が行われる。まず、仮想マイク毎に上記受音音量および受音定位を算出する。このときの受音定位は、１画面時である場合を想定して算出される。すなわち、−１．０〜１．０の範囲で算出される。

次に、分割画面に応じて、上記受音定位を補正する。すなわち、第１の仮想マイク２１１における受音定位については、−１．０〜１．０の範囲で算出された値を−１．０〜０．０の範囲内の値になるように補正する。同様に、第２の仮想マイク２１２における受音定位については、−１．０〜１．０の範囲で算出された値を０．０〜１．０の範囲内の値となるよう補正する。以下、この補正後の定位を分割用補正定位と呼ぶ。

次に、第１の仮想マイク２１１と第２の仮想マイク２１２とで受音音量の大きなほうを最終的な音声出力の音量として設定する（以下、分割考慮音量と呼ぶ）。更に、以下の式２を用いて、分割画面であることを考慮した定位（以下、分割考慮定位と呼ぶ）を算出する。

なお、当該式において、マイク受音音量ｎおよび補正定位ｎは、それぞれ第ｎの仮想マイクにおける上記受音音量および分割用補正定位を示す。

これにより、上記図１２のような画面状態であれば、音源オブジェクト２０５が発する音声については、主にスピーカ２Ｌのほうから聞こえ、スピーカ２Ｒのほうからは音源オブジェクト２０５の音声は聞こえない、というような音声表現ができる。そのため、プレイヤＡからすると、プレイヤキャラクタ２０１のすぐ近くに音源オブジェクト２０５が存在することが聴覚的に把握できる。また、プレイヤＢからすると、プレイヤキャラクタ２０２の近くには音源オブジェクト２０５は存在していないことが聴覚的に把握できる。

上記のように、画面を分割して２人同時プレイを行うような場合は、分割画面であることを考慮した分割考慮音声および分割考慮定位を算出する処理を行って音源オブジェクト２０５からの音声を出力する。そして、第２の実施形態では、このような処理と、上記第１の実施形態で説明した複数の音源からの音を纏め音として出力する処理とを併用する。例えば、上記のような分割画面、すなわち、仮想マイクが２つある状態で、音源オブジェクトが３つあるような場合を想定する。この場合は、音源オブジェクト毎に分割考慮音量および分割考慮定位を算出する。そして、各音源オブジェクトにかかる分割考慮音量および分割考慮定位に基づいて纏め音を生成する。つまり、上記式１における各音源の「受音音量ｎ」と「受音定位ｎ」として、各音源の分割考慮音量と分割考慮定位を用いる。換言すれば、先に上記式２で算出した値を適用して上記式１を用いた算出処理を行うことで纏め音にかかる定位を算出することになる。

以下、図１５を用いて、上記のような処理の具体例を説明する。図１５は、先に式２を使って算出した値を、式１に適用する場合の処理のフローチャートである。なお、使用するデータについては、基本的には第１の実施形態と同じものである。但し、仮想マイクが複数あるため、仮想マイク姿勢データ８５、仮想マイク位置データ８６等、処理に必要なデータに関しては適宜仮想マイク毎に用意される。

図１５の処理は、上述の第１の実施形態において図１０を用いて説明した各音源の音量・定位算出処理として実行される。その処理内容の一部は、図１０で示したものと同じ処理であるため、両フローチャートにおいて同一のステップには同一の符号が付されている。

図１５において、まず、上述したようなステップＳ２１〜Ｓ２３の処理が実行される。すなわち、処理対象音源の選択が行われ、これが纏め音の対象となり得る音であるときは（ステップＳ２２でＹＥＳ）ゲーム音声データ８４の読み出しが行われる。

次に、ステップＳ６１で、ＣＰＵ１１は、後述のステップＳ６２〜６４の処理の対象とする仮想マイク（以下、処理対象マイクと呼ぶ）を一つ選択する。本実施形態では仮想マイクが２つの例を説明しているため、まず第１の仮想マイク２１１が処理対象マイクとして選択され、その後、第２の仮想マイク２１２が選択されるものとする。

次に、ステップＳ６２で、ＣＰＵ１１は、上記処理対象音源の音声を処理対象マイク（の位置）で受音し、その受音音量と上記補正定位を算出する処理を実行する。具体的には、まず、ＣＰＵ１１は、処理対象音源と処理対象マイクとの距離等に基づき、当該処理対象マイクにおける受音音量を算出する。音量の範囲は、０．０〜１．０の範囲内の値で示される。次に、ＣＰＵ１１は、上述したように、画面分割がなされていない、つまり、ゲーム画面が１画面表示であるときと同様に、処理対象音源の受音定位を算出する。ここで算出される定位は、−１．０〜１．０の範囲内の値になる。

続いて、ステップＳ６３で、ＣＰＵ１１は、上記のように分割画面であることを考慮した定位の補正を行う。すなわち、上記分割用補正定位の算出を行う。これにより、当該処理対象マイクにおける受音音量と分割用補正定位が算出されたことになる。

次に、ステップＳ６４で、ＣＰＵ１１は、全ての仮想マイクについて上記のような受音音量と分割用補正定位の算出を行ったか否かを判定する。その結果、まだ未処理の仮想マイクが残っているときは（ステップＳ６４でＮＯ）、ＣＰＵ１１は、上記ステップＳ６１に戻り、処理を繰り返す。

一方、全ての仮想マイクを処理したときは（ステップＳ６４でＹＥＳ）、続くステップＳ６５で、ＣＰＵ１１は、各仮想マイクの受音音量および分割用補正定位に基づき、上記分割考慮音量および分割考慮定位を算出する。具体的には、ＣＰＵ１１は、第１の仮想マイク２１１と第２の仮想マイク２１２とでいずれか大きい方の受音音量を最終出力音量として設定する。更に、ＣＰＵ１１は、上述した式２を用いて分割考慮定位を算出する。

次に、ステップＳ６６で、ＣＰＵ１１は、上記算出された分割考慮音量および分割考慮定位を纏め音作業用データ８８として保存する。

一方、上記ステップＳ２２の判定の結果、処理対象音源が纏め音の対象にならない場合は（ステップＳ２２でＮＯ）、ステップＳ６７で、ＣＰＵ１１は、上述のように各マイクにおける受音音量や補正定位を算出し、これに基づいて処理対象音源にかかる分割考慮音量および分割考慮定位を算出する。そして、これを示すデータを適宜メモリ１２に保存する。そして、ステップＳ２７に処理が進められる。

次に、ステップＳ２７で、ＣＰＵ１１は、仮想空間内に存在する音源オブジェクト全てについて上記のような処理を行ったか否かを判定する。その結果、まだ未処理の音源オブジェクトが残っているときは（ステップＳ２７でＮＯ）、ＣＰＵ１１は、上記ステップＳ２１に戻り、処理を繰り返す。この際、上記ステップＳ６４の処理との関係で、各仮想マイクについて「処理済み」状態から「未処理」状態にリセットされる。一方、全ての音源オブジェクトを処理済みであれば（ステップＳ２７でＹＥＳ）、当該各音源の音量・定位算出処理は終了する。その後、上述の第１の実施形態における最終音量・定位算出処理（ステップＳ２）およびスピーカへの出力（ステップＳ３）が実行される（つまり、上記式２による結果を用いて上記式１を適用する算出処理が行われる）。この際、上記ステップＳ４６の処理では、上記ステップＳ６７でメモリに保存された分割考慮音量および分割考慮定位に基づいた再生が行われる。これにより、分割画面における定位を考慮した纏め音等が生成、出力されることになる。

また、上記の処理順序については逆でも良い。すなわち、先に、複数の仮想マイク毎に、第１の実施形態で説明したような処理（ステップＳ１、Ｓ２）を用いて３つの音源オブジェクトからの音を纏め音として算出する。そして、各仮想マイクで算出された纏め音に基づいて、上記分割考慮音量および分割考慮定位を算出する。すなわち、纏め音における定位を上記受音定位とし、これに基づいて上記分割用補正定位を算出する。そして、纏め音における音量を受音音量として、上記式２を適用するようにする。換言すれば、先に上記式１を用いて算出した値を上記式２に適用して分割考慮音量および分割考慮定位を算出するようにしてもよい。

図１６は、先に上記式１を用いて算出した値を上記式２に適用する場合の処理の一例を示すフローチャートである。この処理では、まず、ステップＳ８１で、ＣＰＵ１１は処理対象マイクを一つ選択する。そして、上述の第１の実施形態で説明したような処理（ステップＳ１，Ｓ２）を実行し、処理対象マイクにかかる音声の処理（纏め音の算出等）を行う。

ステップＳ８２で、ＣＰＵ１１は、全ての仮想マイクについてステップＳ１，Ｓ２の処理を行ったか否かを判定し、まだ未処理の仮想マイクがあれば（ステップＳ８２でＮＯ）、ステップＳ８１に戻り処理を繰り返す。全ての仮想マイクについて処理していれば（ステップＳ８２でＹＥＳ）、ステップＳ８２で、ＣＰＵ１１は、各仮想マイクについて、上述した補正定位を算出する。次に、ステップＳ８４で、ＣＰＵ１１は、上記分割考慮音量の算出を行う。更に上記式２を用いて、分割考慮定位を算出する。そして、ステップＳ３で、ＣＰＵ１１は、当該分割考慮音量および分割考慮定位に基づいて、最終的な音声のスピーカ出力を行う。以上で、図１６のフローチャートにかかる処理は終了する。

このように、第２の実施形態では、画面が分割され、各分割画面に対応する仮想マイクが設けられているような場合に、上記第１の実施形態の処理に加えて、分割画面を考慮した音量や定位の調整を行う処理も併用する。これにより、同じ音の同時再生によって予期せぬ大音量が鳴ってしまうことを防ぎ、各音源の位置を考慮した音の再生と共に、分割画面であることを考慮した音の再生が可能となる。

なお、上記各実施形態は、モニタ２の左右端に設けられているステレオスピーカ２Ｌ、２Ｒを用いる場合を例にしていた。この他、例えば、モニタ２のスピーカ２Ｌおよび２Ｒの代わりに、別途用意した５．１ｃｈサラウンドスピーカを利用するような場合にも上記の処理は適用可能である。この場合は、上述の処理のような、仮想マイクのローカル座標系のｘ軸方向にかかる定位に加えて、奥行き方向、すなわち、仮想マイクのローカル座標系におけるｚ軸方向にかかる定位も考慮するようにすればよい。例えば、定位の範囲を、プレイヤの位置を０．０とし、プレイヤの前方について１．０〜０．０の範囲、プレイヤから後方について０．０〜−１．０の範囲とする。そして、ｘｚ平面上において２次元的に定位を調整するようにしてもよい。つまり、ｘ軸方向にかかる定位とｚ軸方向にかかる定位の双方を併用して、音声出力制御を行うようにしても良い。

また、上記実施形態では、同じ音声が同じタイミングで再生された場合に、これら同一の音声を纏め音とする例を示した。この他、同じタイミングで再生されたそれぞれ異なる内容の音声について、上記のような処理を適用してもよい。この場合は、例えば、それぞれ異なる音声に関して、予め「纏め音」の対象になるように「グループ」の定義を行っておけばよい。例えば、それぞれ異なる音声を再生する３つの音源オブジェクトを、纏め音の対象としての１つのグループとして予め定義付けしておく。そして、このグループに属する音源オブジェクトが２つ以上、同じタイミングで音声出力した際に、上記のような処理を適用し、仮想マイクの位置において最も受音音量が大きな音源の定位を重視するよう重み付けして、最終的に出力する音声の定位を算出してもよい。また、この際、再生する音声については、当該最も受音音量が大きな音源にかかる音声だけを再生してもよい。

また、上述の実施例にかかる処理を実行するためのゲーム処理プログラムは、任意のコンピュータ読み取り可能な記憶媒体（例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、半導体メモリカード、ＲＯＭ、ＲＡＭなど）に格納され得る。

また、上記実施例ではゲーム処理を一例に説明しているが、情報処理の内容はゲーム処理に限るものではなく、画面を分割して仮想３次元空間の様子を表示するような他の情報処理においても上記実施例の処理は適用可能である。

また、上記実施形態においては、ある単一の音源オブジェクトと複数の仮想マイクとの位置関係や受音した音に基づき、最終的に出力する音声の定位や音量を算出する制御を行うための一連の処理が単一の装置（ゲーム装置本体５）において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、ゲーム装置本体５と、当該ゲーム装置本体５とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

１…ゲームシステム
２…モニタ
２Ｌ、２Ｒ…スピーカ
３…ゲーム装置
５…ゲーム装置本体
７…コントローラ

Claims (18)

1. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、
   前記複数の音源オブジェクトそれぞれに関連付けられている所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトそれぞれの位置において同じタイミングで再生する音声再生手段と、
   前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の音量の大きさを、音源オブジェクト毎に算出する受音音量算出手段と、
   前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の定位を、音源オブジェクト毎に算出する第１の定位算出手段と、
   前記受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量の大きさに基づき、いずれか１つの音源オブジェクトを重み付け対象として決定する重み付け対象決定手段と、
   前記各音源オブジェクトにかかる音声を１つの音声として出力した場合に前記重み付け対象決定手段が決定した音源オブジェクトにかかる音声の定位がより大きく反映されるような重み付けをして、前記各音源オブジェクトの第１の定位に基づいて第２の定位を算出する第２の定位算出手段と、
   前記第２の定位に基づいて前記複数の音源オブジェクトにかかる音声を１つの音声とした音声信号を生成し、前記音声出力部に出力する音声出力制御手段とを備える、ゲームシステム。
2. 前記複数の音源オブジェクトに関連付けられている所定の音声データは同一の音声データである、請求項１に記載のゲームシステム。
3. 前記重み付け対象決定手段は、前記受音音量算出手段で算出された音量の大きさが最も大きな音声を再生した前記音源オブジェクトを重み付け対象として決定する、請求項１または２に記載のゲームシステム。
4. 前記ゲームシステムは、同じタイミングで音声を再生した前記音源オブジェクトに基づいて、前記音声出力部に出力する音声の音量を設定する出力音量設定手段を更に備え、
   前記音声出力制御手段は、前記出力音量設定手段で設定された音量で前記音声信号に基づく音声を出力する、請求項１ないし３のいずれかに記載のゲームシステム。
5. 前記出力音量設定手段は、前記受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量のうち、最も大きな音量を前記音声出力部に出力する音声の音量として設定する、請求項４に記載のゲームシステム。
6. 前記出力音量設定手段は、前記同じタイミングで音声を再生した音源オブジェクトの数に基づいて、前記音声出力部に出力する音声の音量を設定する、請求項４に記載のゲームシステム。
7. 前記出力音量設定手段は、同じタイミングで音声を再生した音源オブジェクトの数が多いほど前記出力する音声の音量が大きくなるように設定する、請求項６に記載のゲームシステム。
8. 前記ゲームシステムは、同じタイミングで音声を再生した音源オブジェクトの数に基づいて、前記音声出力部に出力する音声内容を変更させる出力音声変更手段を更に備える、請求項１ないし３のいずれかに記載のゲームシステム。
9. 前記音声出力部は、ステレオスピーカであり、
   前記第１の定位算出手段および第２の定位算出手段は、プレイヤが前記音声出力部に対面する位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位を算出する、請求項１ないし８のいずれかに記載のゲームシステム。
10. 前記音声出力部は、サラウンドスピーカであり、
    前記第１の定位算出手段および第２の定位算出手段は、プレイヤが前記音声出力部に対面するような位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位、および、前後方向にかかる定位を算出する、請求項１ないし８のいずれかに記載のゲームシステム。
11. 前記仮想３次元空間には複数の仮想マイクが配置されており、
    前記受音音量算出手段は、前記各音源オブジェクトにかかる音声の音量の大きさを前記複数の仮想マイク毎に算出し、
    前記第１の定位算出手段は、前記各音源オブジェクトの第１の定位を前記複数の仮想マイク毎に算出し、
    前記重み付け対象決定手段は、前記複数の仮想マイク毎に前記重み付け対象を決定し、
    前記第２の定位算出手段は、前記複数の仮想マイク毎に前記第２の定位を算出し、
    前記ゲームシステムは、前記複数の仮想マイクそれぞれにおける前記第２の定位に基づいて、各仮想マイクで受けた前記音声を１つの音声として出力するとしたときの定位を第３の定位として算出する第３の定位算出手段を更に備え、
    前記音声出力制御手段は、前記第３の定位に基づいて前記音源オブジェクトにかかる音声信号を生成し、前記音声出力部に出力する、請求項１に記載のゲームシステム。
12. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている複数の音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、
    前記音源オブジェクトそれぞれに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における各音源オブジェクトの位置において同じタイミングで再生する音声再生手段と、
    前記音声再生手段で再生された複数の音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの定位に基づいて、前記複数の仮想マイクで受けた音声を１つの音声として出力した場合における定位である第２の定位を前記複数の音源オブジェクト毎に算出する第２の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を１つの音声として出力した場合の定位である第３の定位を、当該複数の音源オブジェクトそれぞれにかかる前記第２の定位に基づいて算出する第３の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を前記第３の定位に基づいて１つの音声信号として生成し、前記音声出力部に出力する音声出力制御手段とを備える、ゲームシステム。
13. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲームシステムを制御するためのゲーム処理制御方法であって、
    前記複数の音源オブジェクトそれぞれに関連付けられている所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトそれぞれの位置において同じタイミングで再生する音声再生ステップと、
    前記音声再生ステップで再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の音量の大きさを音源オブジェクト毎に算出する受音音量算出ステップと、
    前記音声再生ステップで再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の定位を、前記音源オブジェクト毎に算出する第１の定位算出ステップと、
    前記受音音量算出ステップで算出された各音源オブジェクトにかかる音声の音量の大きさに基づき、いずれか１つの音源オブジェクトを重み付け対象として決定する重み付け対象決定ステップと、
    前記各音源オブジェクトにかかる音声を１つの音声として出力した場合に前記重み付け対象決定ステップで決定された音源オブジェクトにかかる音声の定位がより大きく反映されるような重み付けをして、前記各音源オブジェクトの第１の定位に基づいて第２の定位を算出する第２の定位算出ステップと、
    前記第２の定位に基づいて前記複数の音源オブジェクトにかかる音声を１つの音声とした音声信号を生成し、前記音声出力部に出力する音声出力制御ステップとを備える、ゲーム処理制御方法。
14. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている複数の音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムを制御するためのゲーム処理制御方法であって、
    前記音源オブジェクトそれぞれに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における各音源オブジェクトの位置において同じタイミングで再生する音声再生ステップと、
    前記音声再生ステップで再生された複数の音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出ステップと、
    前記音声再生ステップで再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出ステップと、
    前記受音音量算出ステップで算出された各仮想マイクにおける前記各音源オブジェクトの音声の音量の大きさ、および、前記第１の定位算出ステップで算出された各仮想マイクにおける前記各音源オブジェクトの定位に基づいて、前記複数の仮想マイクで受けた音声を１つの音声として出力した場合における定位である第２の定位を前記複数の音源オブジェクト毎に算出する第２の定位算出ステップと、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を１つの音声として出力した場合の定位である第３の定位を、当該複数の音源オブジェクトそれぞれにかかる前記第２の定位に基づいて算出する第３の定位算出ステップと、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を前記第３の定位に基づいて１つの音声信号として生成し、前記音声出力部に出力する音声出力制御ステップとを備える、ゲーム処理制御方法。
15. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲーム装置であって、
    前記複数の音源オブジェクトそれぞれに関連付けられている所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトそれぞれの位置において同じタイミングで再生する音声再生手段と、
    前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の音量の大きさを、音源オブジェクト毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の定位を、音源オブジェクト毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量の大きさに基づき、いずれか１つの音源オブジェクトを重み付け対象として決定する重み付け対象決定手段と、
    前記各音源オブジェクトにかかる音声を１つの音声として出力した場合に前記重み付け対象決定手段が決定した音源オブジェクトにかかる音声の定位がより大きく反映されるような重み付けをして、前記各音源オブジェクトの第１の定位に基づいて第２の定位を算出する第２の定位算出手段と、
    前記第２の定位に基づいて前記複数の音源オブジェクトにかかる音声を１つの音声とした音声信号を生成し、前記音声出力部に出力する音声出力制御手段とを備える、ゲーム装置。
16. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている複数の音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲーム装置であって、
    前記音源オブジェクトそれぞれに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における各音源オブジェクトの位置において同じタイミングで再生する音声再生手段と、
    前記音声再生手段で再生された複数の音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの定位に基づいて、前記複数の仮想マイクで受けた音声を１つの音声として出力した場合における定位である第２の定位を前記複数の音源オブジェクト毎に算出する第２の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を１つの音声として出力した場合の定位である第３の定位を、当該複数の音源オブジェクトそれぞれにかかる前記第２の定位に基づいて算出する第３の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を前記第３の定位に基づいて１つの音声信号として生成し、前記音声出力部に出力する音声出力制御手段と、を備えるゲーム装置。
17. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データと関連付けられている複数の音源オブジェクトと、少なくとも１つの仮想マイクとが配置された仮想３次元空間を表現するゲームシステムのコンピュータに実行させるゲームプログラムであって、
    前記複数の音源オブジェクトそれぞれに関連付けられている所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトそれぞれの位置において同じタイミングで再生する音声再生手段と、
    前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の音量の大きさを、音源オブジェクト毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された各音源オブジェクトにかかる音声を前記仮想マイクで受けたときの当該仮想マイクにおける各音声の定位を、音源オブジェクト毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各音源オブジェクトにかかる音声の音量の大きさに基づき、いずれか１つの音源オブジェクトを重み付け対象として決定する重み付け対象決定手段と、
    前記各音源オブジェクトにかかる音声を１つの音声として出力した場合に前記重み付け対象決定手段が決定した音源オブジェクトにかかる音声の定位がより大きく反映されるような重み付けをして、前記各音源オブジェクトの第１の定位に基づいて第２の定位を算出する第２の定位算出手段と、
    前記第２の定位に基づいて前記複数の音源オブジェクトにかかる音声を１つの音声とした音声信号を生成し、前記音声出力部に出力する音声出力制御手段として前記コンピュータを機能させる、ゲームプログラム。
18. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている複数の音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムのコンピュータに実行させるゲームプログラムであって、
    前記音源オブジェクトそれぞれに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における各音源オブジェクトの位置において同じタイミングで再生する音声再生手段と、
    前記音声再生手段で再生された複数の音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける前記各音源オブジェクトの定位に基づいて、前記複数の仮想マイクで受けた音声を１つの音声として出力した場合における定位である第２の定位を前記複数の音源オブジェクト毎に算出する第２の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を１つの音声として出力した場合の定位である第３の定位を、当該複数の音源オブジェクトそれぞれにかかる前記第２の定位に基づいて算出する第３の定位算出手段と、
    前記同じタイミングで再生された前記複数の音源オブジェクトにかかる音声を前記第３の定位に基づいて１つの音声信号として生成し、前記音声出力部に出力する音声出力制御手段として前記コンピュータを機能させる、ゲームプログラム。

Images