JP5318016B2

JP5318016B2 - ゲームシステム、ゲームシステムの制御方法、及びプログラム

Info

Publication number: JP5318016B2
Application number: JP2010076384A
Authority: JP
Inventors: 和之海保
Original assignee: Konami Digital Entertainment Co Ltd
Current assignee: Konami Digital Entertainment Co Ltd
Priority date: 2010-03-29
Filing date: 2010-03-29
Publication date: 2013-10-16
Anticipated expiration: 2030-03-29
Also published as: JP2011206220A

Description

本発明は、ゲームシステム、ゲームシステムの制御方法、及びプログラムに関する。

従来、ユーザに臨場感を与えるような演出をするゲームが知られている。例えば、特許文献１には、ゲームが所定の状況になった場合、観客キャラクタから拍手や歓声等の背景音を出力させるゲームが記載されている。

特開２００３−２０５１７０号公報

しかしながら、上記のようなゲームシステムでは、ゲーム制作者が予め定めた音声が、ゲーム作成者が予め定めた状況において出力されるようになっている。これらの音声の種類にはどうしても限りがあるため、音声が出力される状況及び音声内容の多種多様性の点で、ユーザは物足りない場合があった。例えば、ユーザが繰り返しゲームをプレイしていると、同じ状況で同じ音声が出力されることがある。このようなときに、ユーザが物足りなさを感じてしまう場合があった。

本発明は上記課題に鑑みてなされたものであって、その目的は、例えば、音声が出力される状況及び音声の内容の多種多様性を向上させることが可能なゲームシステム、ゲームシステムの制御方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明に係るゲームシステムは、ゲームを実行するゲーム実行手段と、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段と、を含み、前記音声登録受付手段は、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段と、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段と、を含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段と、を含む、ことを特徴とする。

また、本発明に係るゲームシステムの制御方法は、ゲームを実行するゲーム実行ステップと、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付ステップと、を含み、前記音声登録受付ステップは、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得ステップと、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させるステップと、を含み、前記ゲーム実行ステップは、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、前記ゲームにおいて、前記ゲーム状況比較ステップの比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御ステップと、を含む、ことを特徴とする。

また、本発明に係るプログラムは、ゲームを実行するゲーム実行手段、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段、としてコンピュータを機能させるためのプログラムであって、前記音声登録受付手段は、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段、を含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段、を含む、ことを特徴とする。

また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

本発明によれば、音声が出力される状況及び音声の内容の多種多様性を向上させることが可能になる。

また、本発明の一態様では、前記ゲームシステムは、キーワードを示すキーワード情報と、前記キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する手段を含み、前記音声登録受付手段は、前記音声情報が示す音声に対応する前記キーワード情報を取得する手段と、前記音声情報と前記キーワード情報とを対応付けて前記記憶手段に記憶させる手段と、を更に含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する関連ゲーム状況比較手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、前記関連ゲーム状況比較手段の比較結果と、に基づいて、前記音声情報が示す音声を出力させる、ことを特徴とする。

また、本発明の一態様では、前記ゲームシステムは、ユーザの人数を示す情報を取得するユーザ数取得手段を含み、前記音声登録受付手段は、前記音声情報と、前記音声が入力された場合の前記ユーザの人数を示す基準人数情報とを対応付けて前記記憶手段に記憶させる手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、該ゲームにおける前記ユーザの人数と、前記基準人数情報が示す人数と、に基づいて、前記音声情報が示す音声を出力させる、ことを特徴とする。

また、本発明の一態様では、前記ゲームシステムは、前記音声が入力された場合の時間に関する基準時間情報を取得する手段を含み、前記音声登録受付手段は、前記音声情報と前記基準時間情報とを対応付けて前記記憶手段に記憶させる手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報に対応付けられた前記基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる、ことを特徴とする。

また、本発明の一態様では、前記音声登録受付手段は、前記音声入力手段を介して入力された音声の音量に関する情報を取得する手段と、前記音声の音量に基づいて前記音声情報の取得の開始及び停止を制御する手段と、を含むことを特徴とする。

ゲームをプレイするユーザの様子を示す図である。ＣＣＤカメラによって生成される撮影画像の一例を示す図である。赤外線センサによるユーザの深度の測定方法を説明するための図である。赤外線センサによって得られる深度画像の一例を示す図である。位置検出装置により生成される３次元位置情報の一例を示す図である。３次元位置情報によって特定されるプレイヤの位置を示す図である。ゲーム画面の一例を示す図である。注目領域の半径と判定領域の半径とが一致した場合のゲーム画面の一例を示す図である。位置検出装置のハードウェア構成を示す図である。ゲーム装置のハードウェア構成を示す図である。本発明に関連する機能を示す機能ブロック図である。判定基準情報の一例を示す図である。基準タイミング情報の一例を示す図である。現在状況情報の一例を示す図である。音声テーブルの一例を示す図である。ゲームシステムが所定時間ごとに実行する処理を示すフロー図である。実施形態２におけるゲームシステムの機能ブロック図である。キーワードテーブルのデータ格納例を示す図である。実施形態２における音声テーブルのデータ格納例を示す図である。実施形態２のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。実施形態３におけるゲームシステムの機能ブロック図である。実施形態３における音声テーブルのデータ格納例を示す図である。実施形態３のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。実施形態４におけるゲームシステムの機能ブロック図である。実施形態４における音声テーブルのデータ格納例を示す図である。実施形態４のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。本発明の他の実施形態に係るゲームシステムの全体構成を示す図である。

［１．実施形態１］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。

［１−１．ゲームシステムの概要］
図１は、ゲームをプレイするユーザ１００の様子を示す図である。本発明に係るゲームシステムＳは、例えば、位置検出装置１と、ゲーム装置２０と、から構成される。位置検出装置１とゲーム装置２０とは、データ通信可能に接続される。

図１に示すように、ユーザ１００は、例えば、位置検出装置１の前方に位置する。図１は、４人のユーザ１００を示す。例えば、４人のユーザ１００のうち２人がゲームをプレイし、残りの２人はゲームを観戦する。本実施形態においては、ユーザ１００が発した音声が録音され、ゲームが所定の状況になった場合に、この録音された音声が出力される。

位置検出装置１は、ユーザ１００を撮影して得られる画像と、位置検出装置１とユーザ１００との距離に関する情報と、に基づいて３次元空間におけるユーザ１００の位置に関する情報を生成する。例えば、位置検出装置１は、ユーザ１００の体を構成する複数の部位（例えば、頭や両ひじ等）のそれぞれに対応する３次元座標を検出する。

ゲーム装置２０は、ユーザ１００の位置に関する情報を位置検出装置１から取得する。ゲーム装置２０は、例えば、３次元空間におけるユーザ１００の立ち位置やユーザ１００の各部位の位置を示す３次元座標を位置検出装置１から取得する。ゲーム装置２０は、例えば、この３次元座標の変化に基づいてゲームの制御を行う。

ユーザ１００に対応する３次元座標の変化は、ユーザ１００の動作に対応する。例えば、ユーザ１００が右手を上げる動作をした場合、このユーザ１００の右ひじ及び右手に対応する３次元座標が、主に変化する。

［１−２．位置検出装置の動作］
次に、位置検出装置１が、３次元空間におけるユーザ１００の位置に関する情報（３次元位置情報）を生成する処理について説明する。

図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。本実施形態においては、ＣＣＤカメラ２及び赤外線センサ３から得られる情報に基づいてユーザ１００の３次元位置情報が生成される。

ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、ユーザ１００を撮影する。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にユーザ１００を撮影した静止画像（例えば、ＲＧＢデジタル画像）を生成する。以降、ＣＣＤカメラ２により生成される静止画像を撮影画像という。

図２は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図２に示すように、撮影画像には、ＣＣＤカメラ２に対応する視野内に配置された物体が含まれる。なお、説明の簡略化のため図２では省略しているが、ＣＣＤカメラ２の視野内に家具や壁等が含まれている場合、撮影画像には、これらが含まれる。

撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。

赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、ユーザ１００）の深度を測定する。

被写体の深度とは、測定基準位置（例えば、赤外線センサ３の赤外線受光素子の位置）と被写体の位置との距離間隔である。測定基準位置とは、ユーザ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の配置位置と関連付けられる所定の位置であればよい。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてユーザ１００の深度を測定する。

図３は、赤外線センサ３によるユーザ１００の深度の測定方法を説明するための図である。なお、図３においては、説明の簡略化のためにユーザ１００を１人として説明する。図３に示すように、赤外線センサ３は、所定間隔でパルス状の赤外線光を照射する。

赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。赤外線センサ３から照射された赤外線光は、例えば、ユーザ１００の体等の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。

例えば、図１に示すように、ゲームをプレイする２人のユーザ１００が両手を前に突き出している場合、この突き出された両手は、ユーザ１００の胴体よりも赤外線センサ３に近い。つまり、ユーザ１００の両手によって反射される赤外線光の飛行時間は、ユーザ１００の胴体によって反射される赤外線光の飛行時間よりも短い。

赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とユーザ１００との距離間隔（即ち、深度）に相当する。このようにして、赤外線センサ３は、ユーザ１００の深度を測定することができる。

また、例えば、ユーザ１００の後方に物体が配置されていない場合、ユーザ１００の周囲に対して照射された赤外線光は、ユーザ１００の後方にある壁に反射することが考えられる。そこで、反射した赤外線光から得られる深度差が大きい箇所に基づいて被写体（ユーザ１００）の輪郭を検出することもできる。例えば、周囲との深度差が大きい箇所をつなぎ合わせることによって、ユーザ１００の輪郭を検出することができる。

なお、ユーザ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってユーザ１００の輪郭を検出することができる。

上記のようにして検出されるユーザ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。

図４は、赤外線センサ３によって得られる深度画像の一例を示す図である。図４に示すように、例えば、深度情報は、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される。深度画像においては、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。

例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、ユーザ１００の深度は、深度画像の輝度（画素値）に対応する。即ち、例えば、ユーザ１００の深度が２センチ異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。

本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてユーザ１００の部位の位置に関する３次元位置情報が生成される。

例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。

なお、合成画像が生成される際には、ＣＣＤカメラ２と赤外線センサ３との位置間隔に基づいて、撮影画像と深度画像との少なくとも一方の位置が変更される。例えば、ＣＣＤカメラ２と赤外線センサ３が水平方向に２センチ離れている場合、深度画像の各画素の座標を、２センチに対応する画素数だけ移動させることによって、位置の変更が行われる。

この合成画像に基づいて３次元位置情報が生成される。例えば、３次元位置情報は、ユーザ１００の複数の部位の位置に関する複数の情報を含む。本実施形態においては、３次元位置情報が、ユーザ１００の体の各部位（例えば、頭や肩等）に対応する３次元座標を含む場合を説明する。

具体的には、例えば、次のようにして３次元位置情報が生成される。

まず、先述のように、深度画像に基づいてユーザ１００の輪郭に対応する画素が特定される。ユーザ１００の輪郭によって囲まれる画素は、ユーザ１００の体に対応する画素である。

次いで、撮影画像のうち、上記の輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。撮影画像の色情報に基づいて、ユーザ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、ユーザ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。

他にも例えば、撮影画像の各画素の色情報の変化から体の各部位の速度ベクトルを算出し、物体の運動を表すオプティカルフロー（例えば、勾配法又はフィルタリング法）等に基づいて各画素の動きベクトルを検出し、ユーザ１００の頭の位置や両肘の位置等に対応する画素が特定されるようにしてもよい。

上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、ユーザ１００の頭や両ひじ等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。即ち、ユーザ１００の各部位の３次元座標が算出される。

なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。

図５は、位置検出装置１により生成される３次元位置情報の一例を示す図である。図５に示すように、３次元位置情報は、例えば、ユーザ１００の各部位と、３次元座標と、が対応付けられて格納される。

図６は、３次元位置情報によって特定されるユーザ１００の位置（頭Ｐ１〜左つま先Ｐ１６）を示す図である。図６に示すように、ユーザ１００の各部位の３次元座標が、３次元位置情報によって特定される。なお、３次元位置情報によって示されるユーザ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。

本実施形態においては、先述のように、所定間隔で生成される撮影画像と深度画像とに基づいて、所定間隔毎（例えば、１／６０秒毎）に３次元位置情報が生成される。生成された３次元位置情報は、所定時間毎に位置検出装置１からゲーム装置２０に対して送信される。

ゲーム装置２０は、位置検出装置１から送信される３次元位置情報を受信して、この３次元位置情報に基づいてユーザ１００の体の位置を把握する。つまり、ユーザ１００が踊ったりボールを蹴ったりする動作をすると、この動作に対応するように３次元位置情報が変化するので、ゲーム装置２０は、３次元位置情報の変化に基づいてプレイヤの動きを把握することができる。

また例えば、ゲーム装置２０は、３次元位置情報に含まれるユーザ１００の各部の位置関係に基づいてユーザ１００のポーズ（姿勢）を把握する。このように、ゲーム装置２０は、３次元位置情報に基づいてユーザ１００の体の動きやポーズを把握してゲームを実行する。

また、図１に示すように、ユーザ１００が複数人である場合、上記と同様の処理によって、複数のユーザ１００のそれぞれについて３次元位置情報が生成される。例えば、赤外線センサ３によって検出されるユーザ１００の輪郭の個数に基づいて、位置検出装置１は、ユーザ１００の人数を把握することができる。それぞれのユーザ１００に対応する画素に対して上記と同様の処理が実行されることによって、複数のユーザ１００の３次元位置情報を生成することができる。

［１−３．ゲーム装置で実行されるゲーム］
本実施形態においては、ゲーム装置２０が、ユーザ１００が楽曲（ＢＧＭ）に合わせてゲームキャラクタと同じ動作をする、又は、ゲームキャラクタと同じポーズをとるダンスゲームを実行する例を挙げて説明する。先述のように、ユーザ１００の動作及びポーズは、３次元位置情報に基づいて判別される。

図７は、ゲーム画面５０の一例を示す図である。図７に示すように、ゲーム画面５０は、例えば、ゲームキャラクタ５１、判定領域５２、注目領域５３、ゲージ５４、メッセージ５５を含む。ゲームキャラクタ５１は、例えば、判定領域５２の上に立つように配置される。ゲームキャラクタ５１は、所定のアニメーション情報に基づいて種々のポーズをとりながらダンスを踊る。

判定領域５２及び注目領域５３は、例えば、それぞれ同心円（又は同心楕円）である。例えば、注目領域５３の半径Ｒ_５３は、判定領域５２の半径Ｒ_５２よりも大きい。時間が経過すると、注目領域５３の半径Ｒ_５３は、小さくなっていく。即ち、時間が経過すると、注目領域５３は、判定領域５２の大きさに近づくように縮んでいく。やがて、注目領域５３の半径Ｒ_５３は、判定領域５２の半径Ｒ_５２と一致する。

図８は、注目領域５３の半径Ｒ_５３と判定領域５２の半径Ｒ_５２とが一致した場合のゲーム画面５０の一例を示す図である。本実施形態のゲームでは、例えば、注目領域５３の半径Ｒ_５３と、判定領域５２の半径Ｒ_５２が一致するタイミングは、ユーザ１００が、ゲームキャラクタ５１と類似の動作をすべき、又は、ゲームキャラクタ５１と類似のポーズをとるべきタイミング（以降、単に基準タイミングという。）になっている。

このため、注目領域５３の半径Ｒ_５３と、判定領域５２の半径Ｒ_５２が一致するタイミングで、ユーザ１００がゲームキャラクタ５１と類似の動作をした場合、又は、ゲームキャラクタ５１と類似のポーズを取っていた場合、このユーザ１００に得点が加算される。なお、ユーザ１００が動作をしたタイミング又はポーズをとったタイミングと、基準タイミングと、のずれ具合に応じて加算される得点が異なるようにしてもよい。

例えば、図８の例の場合、ユーザ１００が、ゲームキャラクタ５１と同様に両手を上げていた場合、ユーザ１００に得点が加算される。加算された得点は、例えば、ゲージ５４に反映される。例えば、ゲージ５４のうち斜線で示す領域が、ユーザ１００の得点を示す。

一方、例えば、基準タイミングにおいて、ユーザ１００が、ゲームキャラクタ５１と類似のポーズを取ることができなかった場合、このユーザ１００の得点が減少する。例えば、ゲージ５４のうち斜線で示す領域が、得点の減少に伴って減少する。

ユーザ１００の得点が所定範囲（例えば、０）になった場合、ゲームオーバーとなる。また、ユーザ１００が連続して得点を加算した場合、この回数（コンボ数）がメッセージ５５として表示される。

例えば、図１に示すように２人のユーザ１００が同時にゲームをプレイする場合、図７及び図８に示すように、この２人のユーザ１００のそれぞれに対応するゲージ５４及びメッセージ５５が表示される。

上記のように、基準タイミングが経過した後、注目領域５３の半径Ｒ_５３は、再び、判定領域５２の半径Ｒ_５２よりも大きくなる。つまり、注目領域５３と判定領域５２との大小関係は、図７のように元に戻る。そして、注目領域５３の半径Ｒ_５３は、基準タイミングが到来するまでの残り時間に対応する長さに設定される。このため、次の基準タイミングが近づくにつれて注目領域５３の半径Ｒ_５３が少しずつ小さくなっていく。以降のゲーム処理は、上記の繰り返しとなる。

なお、上記では、基準タイミングが近づくにつれて、注目領域５３の半径Ｒ_５３が少しずつ小さくなっていく例を挙げたが、ゲーム画面５０においては、基準タイミングを案内することができる表示がなされればよい。例えば、基準タイミングが近づくにつれて注目領域５３の半径Ｒ_５３が少しずつ大きくなっていくようにしてもよい。他にも例えば、基準タイミングを案内する画像（案内画像）が、基準タイミングに対応する領域に近づいていくようにしてもよい。

本実施形態においては、上記のように実行されるゲームが所定の状況になった場合、音声が出力される。この音声は、例えば、ユーザ１００が過去に発した音声であり、マイク４を介して入力され、ゲーム装置２０に記憶されたものである。即ち、ゲーム装置２０は、ユーザ１００の音声を録音し、所定のゲーム状況になった場合、この録音した音声を出力する。

例えば、ユーザ１００がゲームキャラクタ５１と同じポーズをとって得点が加算された場合、ユーザ１００が歓声をあげると、この歓声が録音される。次に同じようなゲーム状況（例えば、得点が加算される等）になった場合、この録音された歓声が出力される。つまり、図１のように４人のユーザ１００がゲームで遊んでいた（観戦していた）場合に録音された音声が、例えば、ユーザ１００が１人でプレイする場合に出力されるので、１人でゲームをプレイしているユーザ１００は、友人に囲まれながらゲームをプレイしている感覚を味わうことができる。

次に、位置検出装置１及びゲーム装置２０の構成について説明する。

［１−４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。

制御部１０は、例えばＣＰＵ（Central Processing Unit）等から構成される。制御部１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。

記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいて３次元位置情報を生成するためのプログラムを記憶する。

撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、ユーザ１００の撮影画像を生成する。撮影画像は、例えば、記憶部１１に記憶される。

深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。深度画像は、例えば、記憶部１１に記憶される。

制御部１０は、先述のように、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、３次元位置情報を生成する。具体的には、まず、制御部１０は、撮影画像に基づいてユーザ１００の各部（例えば、頭や両ひじ）に対応する画素の位置を特定する。

次いで、制御部１０は、この特定された画素のＲＧＢＤ値に基づいて座標変換処理を実行して３次元座標を算出する。この座標変換処理は、先述のように、行列演算に基づいた処理である。これらの一連の処理によって、３次元位置情報が、所定時間毎（例えば、１／６０秒毎）に生成される。

音声入力部１４は、マイク４等から構成される。例えば、音声入力部１４は、複数のマイクロフォン（いわゆるアレイマイク。例えば、３つ。）に基づいて検出した音声のずれ時間に基づいて、ユーザ１００が音声を発した位置を特定することができる。

音声入力部１４が受け付けたユーザ１００の音声を示す音声情報は、ゲーム装置２０に送信される。位置検出装置１からゲーム装置２０に対して送信される音声情報としては、所定周波数ごとにサンプリングされたデジタル形式のデータであってもよいし、音声の波形を示すアナログ形式のデータであってもよい。

また、音声入力部１４のマイク４としては、ＣＣＤカメラ２の視線方向と同じ方向にある発音源からの音を検知する単一指向性のマイクを適用可能である。

また、音声入力部１４は、所定周波数成分の音成分を除去するバンドパスフィルタを備えていてもよい。例えば、ゲーム音楽に対応する周波数成分を除去し、人間の声のみを検出するようにしてもよい。

即ち、例えば、ユーザ１００がゲームをプレイする部屋には、ゲーム音楽が出力されているので、このゲーム音楽やノイズを除去することによって、ユーザ１００の音声のみを取得することができる。特定の音を除去する手法としては、フィードバック回路によってキャンセリングを行う方法等、公知の種々の手法を適用可能である。また例えば、位置検出装置１ではなくゲーム装置２０によって、ゲーム音楽の音成分が除去される処理が行われるようにしてもよい。

通信インタフェース部１５は、ゲーム装置２０に対して３次元位置情報や音声情報等の各種データを送信するためのインタフェースである。

［１−５．ゲーム装置の構成］
ゲーム装置２０は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯用ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータによって実現される。図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。

制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他のプログラムに従って各種処理を実行する。

主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。また例えば、主記憶部２２は、位置検出装置１から受信される３次元位置情報を、受信時間と対応付けて一時的に記憶する。

補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。補助記憶部２３は、例えば、位置検出装置１から受信された音声情報を記憶する。

光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。

通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。ゲーム装置２０は、通信インタフェース部２５を介して３次元位置情報や音声情報を、位置検出装置１から取得する。

操作部２６は、ユーザが操作を行うためのものである。操作部２６は、例えばゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。

表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、制御部２１の指示に従って画面を表示する。

音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。音声出力部２８は、補助記憶部２３から読み出された音声情報や、光ディスクに記憶されたゲーム音楽等を制御部２１の指示に従って出力する。

上記のように、本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えばメモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。

ゲームシステムＳ（ゲーム装置２０）では、光ディスクから読み出されたゲームプログラムによってゲームが実行される。例えば、ゲームシステムＳにおいては、ゲームキャラクタ５１と同じポーズをとるようなダンスゲーム（図７、図８）が実行される。

［１−６．ゲームシステムにおいて実現される機能］
次に、ゲームシステムＳにおいて実現される機能について説明する。図１１は、ゲームシステムＳで実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図１１に示すように、ゲームシステムＳはゲームデータ記憶部６０（記憶手段）、ゲーム実行部７０、及び音声登録受付部８０を含む。

［１−６−１．ゲームデータ記憶部］
ゲームデータ記憶部６０は、例えば、主記憶部２２、補助記憶部２３、及び光ディスクを主として実現される。ゲームデータ記憶部６０は、ダンスゲームを実行するために必要な情報やデータを記憶する。例えば、ゲームデータ記憶部６０は、ゲームキャラクタ５１の動きを示すアニメーション情報を記憶する。

［判定基準情報］
また例えば、ゲームデータ記憶部６０は、３次元位置情報に基づいてユーザ１００の動作又はポーズを判断する際の基準となる判定基準情報を記憶する。

図１２は、判定基準情報の一例を示す図である。図１２に示すように、判定基準情報は、例えば、ユーザ１００の動作又はポーズを識別する情報と、ユーザ１００の３次元位置情報に関する判定基準と、を対応付けたものである。判定基準とは、３次元位置情報が満たすべき条件である。判定基準としては、例えば、３次元位置情報に含まれるユーザ１００の各部位の３次元座標の変化速度、変化量、変化方向を示す情報や、３次元空間におけるユーザ１００の各部位の位置関係を示す情報である。

制御部２１は、３次元位置情報が示す各部位の変化や位置関係が、判定基準情報に含まれる判定基準を満たすか否か、に基づいてユーザ１００の動作やポーズを判定する。例えば、ユーザ１００の両ひじ及び両手の３次元座標が、上方に所定速度で所定距離の変化をした場合、制御部２１は、ユーザ１００が両手を上げたと判定する。また例えば、ユーザ１００の頭の３次元座標と両手の３次元座標とが所定の位置関係にあった場合、制御部２１は、ユーザ１００がファイティングポーズをとっていると判定する。

［基準タイミング情報］
また、ゲームデータ記憶部６０は、ユーザ１００が、どのタイミングでどのような動作又はポーズをとるべきか、を識別するための基準タイミング情報を記憶する。

図１３は、基準タイミング情報の一例を示す図である。図１３に示すように、基準タイミング情報には、基準タイミング（時間）と、ユーザ１００がすべき動作又はポーズを識別する情報と、が対応付けられている。基準タイミングは、例えば、ゲームが開始されてからの経過時間が格納される。図１３のデータ格納例では、ゲームが開始されてから時間ｔ_１が経過した場合、ユーザ１００は両手を上げるべきであることを示す。

先述したアニメーション情報は、基準タイミング情報に基づいて作成されている。即ち、基準タイミングが訪れた場合、ゲームキャラクタ５１が、この基準タイミングに対応付けられている動作又はポーズと類似した動作又はポーズをとるようになっている。

ゲーム実行部７０は、アニメーション情報や基準タイミング情報に基づいてゲーム画面５０の表示制御を行う。具体的には、ゲーム実行部７０は、例えば、アニメーション情報に基づいてゲームキャラクタ５１の画像を表示させる。また例えば、ゲーム実行部７０は、現在の時間と基準タイミングとの時間差に基づいて、注目領域５３の半径Ｒ_５３の大きさ制御する。

［現在状況情報］
また、ゲームデータ記憶部６０は、現在状況情報記憶部６１を含む。現在状況情報記憶部６１は、ゲーム状況を示すゲーム状況情報を現在状況情報として記憶する。なお、「ゲーム状況」とは、ゲーム画面５０の表示状況やゲームの進行状況（経過状況）を意味する。

図１４は、現在状況情報の一例を示す図である。図１４に示すように、例えば、下記に示す情報が現在状況情報に含まれる。
（１）得点情報（例えば、現在のユーザ１００の得点や、コンボ数を示す情報等）
（２）時間情報（例えば、ステージクリアまでの残り時間や、ステージクリアまでに訪れる基準タイミングの回数等）
（３）表示情報（例えば、判定領域５２の半径Ｒ_５２や注目領域５３の半径Ｒ_５２等）
（４）ゲーム経過情報（例えば、得点が加算又は減少されていく様子を示す情報や、ミスをした回数を示す情報等）

なお、実行中のゲームの状況は、例えば、上記の現在状況情報に基づいて判別される。ゲームの状況の判別方法は、現在状況情報に格納される各値に基づいて予め定められた方法で判別されるようにすればよい。例えば、得点情報が示す得点が基準値よりも低くなった場合、ゲームの状況が「ピンチ」であると判定され、また例えば、得点情報が示す得点が基準値よりも低いが、残り時間が比較的短い場合、ゲームの状況が「クリア間近」であると判定される。

現在状況情報記憶部６１に記憶される現在状況情報は、例えば、後述する現在状況情報更新部７１によって内容が更新される。更新された現在状況情報は、例えば、更新時間と対応付けられて現在状況情報記憶部６１に記憶されるようにしてもよい。この場合、現在状況情報が更新される度に、現在状況情報が蓄積されることになる。これにより、ゲーム装置２０は、現在及び過去のゲームの状況を把握することができる。

［音声テーブル］
さらに、ゲームデータ記憶部６０は、音声データ記憶部６２を含む。音声データ記憶部６２は、音声に関する音声情報と、音声を出力すべきゲーム状況を示す基準ゲーム状況情報と、を対応づけて記憶する。ゲームデータ記憶部６０は、例えば、これらの内容を音声テーブルとして記憶する。

図１５は、音声データ記憶部６２に記憶される音声テーブルの一例を示す図である。音声テーブルは、多数のレコードを含む。各レコードは「基準ゲーム状況情報」フィールドと「音声情報」フィールドとを含む。「基準ゲーム状況情報」フィールドには、音声を出力すべきゲーム状況を示す情報が記憶される。「音声情報」フィールドには、音声情報を識別する情報（音声情報のデータ自体、又は、音声情報が格納されたフォルダ及びファイル名等）が記憶される。

後述する音声情報取得部８１が音声情報を取得すると、この音声情報が、例えば、現在状況情報が示すゲーム状況と対応付けられて音声テーブルに格納（登録）される。即ち、ユーザ１００が発した音声が音声入力部１４を介して入力されると、この音声が入力された場合のゲームの状況と対応付けられて記憶される。

なお、音声テーブルに所定数以上のレコードが含まれる場合、このうちの所定のレコードが削除されるようにしてもよい。例えば、最も古いレコードが削除されて直近で録音された音声を含むレコードが格納される。また例えば、音声テーブルには、ゲーム制作者が予め設定した音声が登録されていてもよい。

ユーザ１００が発した音声が入力された場合のゲームの状況は、音声情報に対応付けられた基準ゲーム状況情報に基づいて判別される。基準ゲーム状況情報のデータ形式は、現在状況情報（図１４）と同様である。ゲームの状況の判別方法は、現在状況情報と同様であるので説明を省略する。

なお、現在状況情報及び基準ゲーム状況情報のデータ形式は、ゲーム作成者によって予め定められたものであればよい。つまり、ゲームの状況を示すための情報の形式は、図１４に示す例に限られない。ゲームの状況を示すための情報の形式は、ゲームシステムＳにおいて実行されるゲームの種類に応じて適宜変更可能である。

［１−６−２．ゲーム実行部］
ゲーム実行部７０は、制御部２１を主として実現される。ゲーム実行部７０は、ゲームを実行する。例えば、ゲーム実行部７０は、ゲーム画面５０を表示部２７に表示させたり、基準タイミングにおいて、ユーザ１００が基準となる動作又はポーズ（姿勢）をしたか否かを判定して得点を増減させる処理を実行する。即ち例えば、ゲーム実行部７０は、ユーザ１００の３次元位置情報に基づいてゲームを制御する。

ゲーム実行部７０は、現在状況情報更新部７１、音声出力制御部７２、及びゲーム状況比較部７３を含む。

現在状況情報更新部７１は、現在状況情報記憶部６１に記憶される現在状況情報を更新する。例えば、現在状況情報更新部７１は、基準タイミングが訪れた場合、ユーザ１００がゲームキャラクタ５１と類似の動作又はポーズをしているか否かに基づいて、得点情報を更新する。基準タイミングが訪れた場合とは、例えば、基準タイミングから所定時間前後した時間を含む。

基準タイミングが訪れた場合、例えば、ユーザ１００が、この基準タイミングに対応付けられた動作又はポーズと類似した動作又はポーズをしたか否かに基づいて、現在状況情報更新部７１は、得点が加算又は減少させて得点情報を更新する。また例えば、現在状況情報更新部７１は、ゲームが開始されてからユーザ１００の得点の増減の経過を時系列的に示すゲーム経過情報を更新する。また例えば、現在状況情報更新部７１は、時間経過に伴って時間情報や表示情報を、所定のアルゴリズムに基づいて更新する。

音声出力制御部７２は、ゲームデータ記憶部６０に記憶された音声情報が示す音声や、ゲーム音楽（楽曲）、効果音等の各種音声データを音声出力部２８から出力させる。

ゲーム状況比較部７３は、ゲームにおいて、該ゲームにおけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。

例えば、ゲーム状況比較部７３は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度を取得する。例えば、実行中のゲームにおけるゲーム経過情報が示す得点が増減する様子と、基準ゲーム状況情報が示すゲーム経過情報が示す得点が増減する様子と、の類似度が取得される。ここで、「得点が増減する様子」とは、得点情報が増減する時系列的な様子である。この場合の類似度は、例えば、時系列的な得点の増減の具合について、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況との間で比較することによって算出される。

音声出力制御部７２は、ゲームが実行されている状態において、ゲーム状況比較部７３の比較結果に基づいて、音声情報が示す音声を音声出力部２８から出力させる。例えば、ゲーム状況比較部７３の比較結果が所定の結果である場合、音声出力制御部７２は、基準ゲーム状況情報に対応づけられた音声情報が示す音声を音声出力部２８から出力させる。

ここで、「ゲーム状況比較部７３の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が一致又は類似する場合である。言い換えれば、「ゲーム状況比較部７３の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度が所定範囲（例えば、基準類似度よりも高い）の場合である。

［１−６−３．音声登録受付部］
音声登録受付部８０は、制御部２１を主として実現される。音声登録受付部８０は、ゲームにおいて出力される音声の登録を受け付ける。本実施形態の場合、音声登録受付部８０は、実行中のゲームにおいて、ユーザ１００が発した音声が音声入力部１４を介して入力され、この音声の登録を受け付ける。図１５に示すように、音声登録受付部８０は、音声情報取得部８１及び基準ゲーム状況情報取得部８２を含む。

音声情報取得部８１は、音声入力手段（音声入力部１４）が受け付けたユーザ１００の音声を示す音声情報を取得する。例えば、音声情報取得部８１は、位置検出装置１から音声情報を受信することによって音声情報を取得する。本実施形態の場合、音声情報取得部８１は、ゲーム装置２０でゲームが実行されている間において、音声入力部１４から入力された音声に対応する音声情報を取得する。

本実施形態においては、例えば、音声情報が示す音声の音量が基準値以上となった場合、主記憶部２２に記憶される発話フラグがオンになる。この発話フラグは、ユーザ１００が発話しているか否かを識別するためのものである。即ち、ユーザ１００の発話が終了した場合、この発話フラグがオフになる。例えば、発話フラグがオンである状態で、音声情報が示す音声の音量が基準値未満である状態が所定時間（例えば、２秒）継続した場合、ユーザ１００の発話が終了したと判定される。即ち、この場合、発話フラグがオフになる。

例えば、発話フラグがオンになっている間に入力された音声のみが、ゲーム装置２０に記憶されることになる。即ち、発話フラグが参照されることにより、ユーザ１００の音声の録音の開始及び停止が制御されることになる。なお、ユーザ１００の音声の録音の開始及び停止は、位置検出装置１によって制御されるようにしてもよい。

基準ゲーム状況情報取得部８２は、音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する。本実施形態の場合、基準ゲーム状況情報取得部８２は、ゲームが実行中の状態において、ユーザ１００が発した音声が入力されたか否かを判定する。例えば、ゲーム装置２０が音声入力部１４から受信する音声情報が示す音声の音量が所定値以上となった場合、ユーザ１００によって音声が入力されたと判定される。

そして、基準ゲーム状況情報取得部８２は、音声入力部１４から音声が入力された場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。例えば、基準ゲーム状況情報取得部８２は、音声の入力が開始された場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。即ち例えば、音声入力部１４から入力された音声の音量が所定値以上となって発話フラグがオンになった場合の現在状況情報が、基準ゲーム状況情報として記憶される。

音声登録受付部８０は、音声情報取得部８１によって取得された音声情報と、基準ゲーム状況情報取得部８２によって取得された基準ゲーム状況情報と、を対応づけて音声データ記憶部６２に記憶させる。本実施形態の場合、音声情報取得部８１によって取得された音声情報と、基準ゲーム状況情報取得部８２によって取得された基準ゲーム状況情報と、の組合せが、一つのレコードとして音声テーブルに登録される。

［１−７．ゲームシステムにおいて実行される処理］
次に、ゲームシステムＳ（ゲーム装置２０）で実行される処理について説明する。図１６は、ゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図１６に示す処理を実行する。

図１６に示すように、まず、制御部２１（現在状況情報更新部７１）は、現在状況情報を更新する（Ｓ１０１）。例えば、制御部２１は、ユーザ１００の動作又はポーズと、基準タイミング情報の記憶内容と、を比較して得点情報を更新する。また例えば、制御部２１は、時間情報を時間経過に基づいて更新する。また例えば、制御部２１は、ゲームキャラクタ５１の表示位置を変えたり注目領域５３の半径Ｒ_５３を小さくするように、表示情報を更新する。また例えば、制御部２１は、ユーザ１００が獲得した得点に基づいてゲーム経過情報を更新する。

制御部２１は、更新後の現在状況情報を現在状況情報記憶部６１に保存する（Ｓ１０２）。Ｓ１０２においては、例えば、更新後の現在状況情報が、更新時間と対応付けられて保存される。

制御部２１は、音声情報が示す音声の出力タイミングが訪れたか否かを判定する（Ｓ１０３）。出力タイミングは、ゲームデータ記憶部６０に記憶された音声情報を音声出力部２８から出力すべきタイミングである。出力タイミングは、予め定められたタイミングであってよい。例えば、出力タイミングは、前回音声が出力されてから所定時間が経過したか否か、現在状況情報が示すゲーム状況が所定の状況になったか否か等である。

出力タイミングが訪れた場合（Ｓ１０３；Ｙ）、制御部２１は、音声テーブルに含まれる基準ゲーム状況情報が示すゲーム状況と現在のゲーム状況との間の類似度を取得する（Ｓ１０４）。Ｓ１０４においては、音声テーブルに含まれる全てのレコードが参照されるようにしてもよいし、ランダムに選出される一部のレコードのみが参照されるようにしてもよい。類似度は、例えば、下記のようにして算出される。

例えば、制御部２１は、ゲーム状況に関するｎ個の指標値を現在のゲーム状況に関して取得する。ここで、指標値はゲーム状況の特徴を表すような数値であり、ゲーム状況が類似しているか否かを評価するための数値である。同様に、制御部２１は、上記のｎ個の指標値を、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に関しても取得する。

そして、上記のｎ個の指標値をｎ次元のベクトルとみなして、制御部２１は、現在のゲーム状況に対応するベクトルと、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に対応するベクトルと、のなす角度（θ）に基づいて、類似度を算出する。例えば、この角度の余弦（ｃｏｓθ）が類似度として用いられる。この余弦が１に近いほど、両者のベクトルが同じ方向を示していることになるため、上記のｎ個の指標値が互いに類似していることを示す。

即ち、現在のゲーム状況と、音声テーブルのレコードのうちで比較対象となるレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していることを示す。一方、例えば、上記の余弦が０に近いほど、上記のｎ個の指標値が互いに類似しないことを示す。即ち、現在のゲーム状況と、比較対象のレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していないことを示す。

図１６に戻り、制御部２１は、音声テーブルに含まれるレコードのうちで最も類似度が高いレコードの音声情報が示す音声を音声出力部２８から出力させる（Ｓ１０５）。つまり、現在のゲーム状況と最も似ているゲーム状況で録音された音声が出力されることになる。なお、Ｓ１０５においては、ゲーム状況に基づいて所定のエフェクト処理が施された音声が出力されるようにしてもよい。

次いで、制御部２１（音声出力制御部７２）は、ユーザ１００の音声を記憶するか否かを判定する（Ｓ１０６）。Ｓ１０６においては、例えば、主記憶部２２に記憶された発話フラグによって判定される。例えば、発話フラグがオンである状態からオフになった場合、ユーザ１００が発した音声の入力が終了したことを示している。この場合に、制御部２１は、ユーザ１００による音声を記憶すると判定する。

ユーザ１００による音声を記憶する場合（Ｓ１０６；Ｙ）、制御部２１（音声登録受付部８０）は、基準ゲーム状況情報と、音声情報と、の組合せを音声テーブルに登録する（Ｓ１０７）。Ｓ１０７において登録される音声情報は、例えば、発話フラグがオンになっている間に、ユーザ１００が発した音声を示す音声情報である。

Ｓ１０７においては、制御部２１（音声情報取得部８１）は、ユーザ１００が入力した音声を示す音声情報を取得する。また、制御部２１（基準ゲーム状況情報取得部８２）は、ユーザ１００が音声を入力した場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。例えば、音声の入力が開始された際の現在状況情報が基準ゲーム状況情報として取得される。

そして、制御部２１（音声登録受付部８０）は音声テーブルに新たなレコードを追加する。新たに追加されるレコードの「基準ゲーム状況情報」フィールドには、取得された基準ゲーム状況情報が登録され、「音声情報」フィールドには、取得された音声情報が登録される。

一方、ユーザ１００による音声を記憶しない場合（Ｓ１０６；Ｎ）、処理は終了する。

以上説明したゲームシステムＳ（ゲーム装置２０）によれば、ゲーム中に出力される音声内容と、その音声が出力されるべき状況と、をユーザ１００が音声を入力することによって登録できるようになる。その結果として、音声が出力される状況及び音声内容の多種多様性を高めることができる。例えば、ゲームシステムＳによれば、過去にユーザ１００がプレイした際に録音された音声が、実行中のゲームにおいて、歓声や応援として出力されるようになる。

なお、ゲーム状況の比較方法として、類似度を用いた場合を説明したが、ゲーム状況の比較方法は、これに限られない。他にも、所定の数式に、現在状況情報の各値と基準ゲーム状況の各値とが代入されることによって、ゲーム状況が比較されるようにしてもよい。

［２．実施形態２］
以下、実施形態２について説明する。実施形態１においては、ユーザ１００がプレイしているゲームの状況が、過去に音声が入力された場合のゲーム状況と類似する場合、このゲーム状況に対応付けられた音声を出力する。

これに対して実施形態２は、ゲームシステムＳにおいて記憶（録音）された音声情報に対応するキーワードを記憶し、出力すべき音声を選出する際に、音声に対応するキーワードを考慮する点に特徴がある。音声に対応するキーワードとは、例えば、ユーザ１００の音声に含まれる単語（又は文章）である。また、キーワードは、ユーザ１００の音声に含まれる単語（又は文章）と類似する単語（又は文章）であってもよい。

実施形態２のゲームシステムＳによれば、例えば、ユーザ１００がゲーム状況を勘違いして録音されてしまった音声が出力されることを防ぐことができる。例えば、得点が少なくなってきたが、残りの基準タイミングの数も少ない場合（つまり、クリア間近の状態）を考える。

ゲームの初心者は、点数の少ないゲージ５４を見て「もうだめだ！」のようなネガティブな音声を発することが考えられる。しかし、この場合、ある程度プレイしているユーザ１００は、曲調やダンスの内容に基づいてクリア間近であることが分かるので、「もうだめだ！」のようなネガティブな音声ではなく、「頑張れ！」のようなポジティブな音声を発することが考えられる。上記の２つの音声が録音されると、以後「クリア間近」のゲーム状況になった場合に、ネガティブな「もうだめだ！」という音声、又は、ポジティブな「頑張れ！」という音声、のどちらかが音声出力部２８から出力される。

例えば、「クリア間近」のようなゲーム状況では、ユーザ１００を応援するために、ポジティブな音声を出力させる方が好ましい。例えば、「もうだめだ！」のようなネガティブな音声は、「クリア間近」のゲーム状況ではなく、ユーザ１００がゲームクリアをあきらめてしまった時のような状況の時に出力されるべきである。

そこで、実施形態２では、例えば、キーワードを含む音声が出力されるべきゲーム状況を予め指定しておく。例えば、「だめだ！」のようなネガティブなキーワードを含む音声は、ゲーム状況が「ピンチ」な場合に出力され、「頑張れ！」のようなポジティブなキーワードを含む音声は、ゲーム状況が「クリア間近」な場合に出力されるようにする。このようにすることによって、ゲーム状況に適した音声を選ぶ際の精度を、より向上させることができる。

なお、実施形態２に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。

［２−１．実施形態２において実現される機能］
図１７は、実施形態２におけるゲームシステムの機能ブロック図である。図１７に示すように、実施形態２において実現される機能は、実施形態１の機能（図１１）に加えて、関連状況情報記憶部６３、関連ゲーム状況比較部７４、キーワード取得部８３を含む。

［２−１−１．実施形態２のゲームデータ記憶部］
例えば、ゲームデータ記憶部６０は、関連状況情報記憶部６３を含む。関連状況情報記憶部６３は、キーワードを示すキーワード情報と、キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する。キーワードに関連するゲーム状況とは、キーワードに対応する音声が出力されるべきゲーム状況である。

関連状況情報記憶部６３の記憶内容は、予めゲーム作成者によって作成されていてよい。関連ゲーム状況情報は、ユーザ１００がキーワードを発する、とゲーム作成者が考える予め定められたゲーム状況である。例えば、「やばい！」というキーワードには、得点情報が示す得点が比較的少ないゲーム状況が対応付けられる。関連状況情報記憶部６３は、例えば、上記の記憶内容をキーワードテーブルとして記憶する。

図１８は、キーワードテーブルのデータ格納例を示す図である。図１８に示すように、キーワードテーブルには、キーワード情報と、関連ゲーム状況情報が対応付けられて記憶されている。図１８のデータ格納例の場合、例えば、「やばい！」というキーワードに対応する音声は、ゲーム状況Ａ又はゲーム状況Ｃの時に出力されるべきであることを示している。

また、実施形態２の音声データ記憶部６２に記憶される音声テーブルは、例えば、音声情報と、キーワードと、を対応付ける。

図１９は、実施形態２における音声テーブルのデータ格納例を示す図である。図１９に示すように、音声テーブルには、基準ゲーム状況情報と、音声情報と、キーワード情報と、の組み合わせが記憶されている。即ち例えば、実施形態２における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「キーワード情報」フィールドを更に含む。

音声テーブルに格納されるキーワード情報は、例えば、キーワードテーブルに格納されたキーワード情報のうちで音声情報が示す音声に含まれるキーワード情報である。このキーワードは、後述するキーワード取得部８３によって取得される。

［２−１−２．実施形態２のゲーム実行部］
図１７に示すように、実施形態２のゲーム実行部７０は、関連ゲーム状況比較部７４を含む。関連ゲーム状況比較部７４は、ゲームにおいて、該ゲームにおけるゲーム状況と、キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する。

例えば、関連ゲーム状況比較部７４は、現在状況情報が示すゲーム状況と、キーワードテーブルに格納されたゲーム状況と、の類似度を算出する。この類似度の算出方法は、ゲーム状況比較部７３が算出する方法と同様であってよい。即ち、関連ゲーム状況比較部７４によるゲーム状況の比較方法は、ゲーム状況比較部７３によるゲーム状況の比較方法と同様であってよい。

［２−１−３．実施形態２の音声登録受付部］
図１７に示すように、実施形態２の音声登録受付部８０は、キーワード取得部８３を含む。キーワード取得部８３は、音声情報が示す音声に対応するキーワードを取得する。音声に対応するキーワードとは、例えば、音声に含まれるキーワードである。

本実施形態では、音声情報が示す音声に対して音声認識処理が行われ、キーワードテーブルに格納されたキーワードが、この音声の中に含まれているか否か、が比較されることによって、キーワードが取得される場合を説明する。

例えば、キーワード取得部８３は、スペクトラムアナライザを使用して音声情報が示す音声の音声認識を行う。例えば、ユーザ１００の音声に対応するスペクトラムの強弱の傾向に基づいて音声認識が行われる。具体的には、例えば、ゲーム作成者は、人間の発話内容から蓄積される音声の特徴を記録した学習用のデータを予め用意しておき、補助記憶部２３等に記憶しておく。

キーワード取得部８３は、例えば、この学習用データと、ユーザ１００が入力した音声の特徴と、を比較して音声認識を行う。次いで、キーワード取得部８３は、この音声認識により取得されるユーザ１００の発話内容と、予め定められたキーワードと、を比較してキーワードを取得する。

なお、音声認識の手法として、上記ではスペクトラムアナライザによる統計的手法を例に挙げたが、音声認識を行う方法としては、公知の種々の手法を適用可能である。他にも例えば、細かく変化する音声信号を仮想的に定常信号とみなし、この定常信号の変化に基づいて音声認識を行う、隠れマルコフモデルを使用して音声認識が行われるようにしてもよい。

上記のようにしてキーワード取得部８３によって取得されたキーワードは、音声情報と対応付けられて音声テーブルに記憶される。

［２−２．ゲームシステムにおいて実行される処理］
図２０は、実施形態２のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２０に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２０に示す処理を実行する。

図２０に示すように、Ｓ２０１〜Ｓ２０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。

制御部２１（関連ゲーム状況比較部７４）は、Ｓ２０４において取得された類似度が所定範囲（例えば、余弦が０．７以上）のレコードのキーワードに関連付けられた関連ゲーム状況と、現在のゲーム状況と、の類似度を取得する（Ｓ２０５）。具体的には、まず、音声テーブルのレコードのうちでＳ２０４において取得される類似度が所定範囲のレコードが参照される。次いで、このレコードに格納されたキーワードと、キーワードテーブルと、が参照され、このキーワードに対応付けられているゲーム状況と、現在のゲーム状況と、の類似度が取得される。類似度の算出方法は、Ｓ２０４と同様である。

制御部２１は、Ｓ２０５において取得された類似度のうちで最も類似度の高いレコードの音声を出力する（Ｓ２０６）。

Ｓ２０７は、Ｓ１０６と同様であるので説明を省略する。

ユーザ１００の音声を記憶する場合（Ｓ２０７；Ｙ）、制御部２１（キーワード取得部８３）は、音声情報が示す音声に対応するキーワードを取得する（Ｓ２０８）。ここで取得されるキーワードは、例えば、音声に含まれる単語と同一又は類似したキーワードである。Ｓ２０８においては、例えば、先述したような音声認識処理が実行されて音声情報が示す音声に対応するキーワードが取得される。キーワードの類似は、例えば、キーワードテーブルに格納されたキーワードと部分一致するものがあるか否かに基づいて判断される。

制御部２１は、基準ゲーム状況情報と、音声情報と、Ｓ２０８において取得されたキーワード情報と、の組合せを音声テーブルに登録する（Ｓ２０９）。つまり、制御部２１は、音声情報と、キーワード情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。

以上説明した実施形態２のゲームシステムＳによれば、音声情報が示す音声に対応するキーワードに基づいて出力すべき音声を選出することができる。即ち、基準ゲーム状況情報と、キーワードと、の両者に基づいて、現在のゲーム状況に応じた最適な音声を出力することができる。例えば、あるキーワードを含む音声を出力させるゲーム状況を絞り込むことによって、好ましくない（出力させたくない）ゲーム状況で録音されてしまった音声の出力を制限したり、Ｓ２０４において取得された類似度の値が近い音声のうちで、現在の状況に適したキーワードを含む音声を絞り込んで出力させることができる。

なお、実施形態２においては、現在のゲーム状況と基準ゲーム状況との類似度を算出して（Ｓ２０４）音声情報を絞り込んでから、現在のゲーム状況と関連ゲーム状況との類似度を算出する（Ｓ２０５）場合を説明したが、これらは逆であってもよい。即ち、現在のゲーム状況と関連ゲーム状況との類似度を算出して音声情報を絞り込んでから、現在のゲーム状況と基準ゲーム状況との類似度を算出して出力すべき音声情報が決定されるようにしてもよい。

［３．実施形態３］
以下、実施形態３について説明する。実施形態１においては、ユーザ１００の音声が入力された場合のゲーム状況と類似するゲーム状況になった際、この音声を出力する。実施形態２においては、出力する音声を選出する際に、音声情報に対応付けられたキーワードを考慮する。

これらに対し、実施形態３においては、ゲームをプレイしているユーザ１００の人数を取得して、出力する音声を選出する際に、この人数を考慮する点に特徴がある。例えば、実行中のゲームをプレイしているユーザ１００が１人である場合、４人でゲームをプレイしていた際に録音された音声を出力させることによって、ユーザ１００は、１人でゲームをプレイしていても、友人に囲まれてゲームをしているような感覚を味わうことができる。

なお、実施形態３に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。

［３−１．実施形態３において実現される機能］
図２１は、実施形態３におけるゲームシステムＳの機能ブロック図である。図２１に示すように、実施形態３において実現される機能は、実施形態１の機能に加えて、ユーザ数取得部９０が含まれる。

［３−１−１．ユーザ数取得部］
ユーザ数取得部９０は、例えば、制御部２１を主として実現される。ユーザ数取得部９０は、ユーザ１００の人数を示す情報を取得する。例えば、ユーザ数取得部９０は、ゲーム装置２０が位置検出装置１から受信する３次元位置情報に基づいてユーザ１００の人数を取得する。先述のように、位置検出装置１が複数のユーザ１００を検出した場合、これら複数のユーザ１００のそれぞれについての３次元位置情報が、ゲームシステムＳに対して送信される。ユーザ数取得部９０は、例えば、３次元位置情報が示すユーザ１００の数を、ユーザ１００の人数を示す情報として取得する。

なお、ユーザ数取得部９０が、ユーザ１００の人数を示す情報を取得する方法は、上記の例に限られない。例えば、ゲーム装置２０が、ＣＣＤカメラ２によって撮影される撮影画像を位置検出装置１から取得し、ユーザ数取得部９０が、この撮影画像に含まれるユーザ１００の人数を取得するようにしてもよい。この場合、例えば、撮影画像に含まれるユーザ１００の輪郭の数に基づいてユーザ１００の人数が取得される。

他にも例えば、ゲーム装置２０が、ユーザ１００の深度を示す深度画像を取得し、ユーザ数取得部９０が、上記と同様に、ユーザ１００の輪郭の数に基づいて人数を取得するようにしてもよい。また他にも例えば、マイク４が検出した音声に基づいて、ユーザ１００の数が検出されるようにしてもよい。具体的には、音声情報が示す音声が音声認識されることによって、ユーザ１００の人数が検出されるようにしてもよい。

［３−１−２．実施形態３のゲームデータ記憶部］
実施形態３においては、音声データ記憶部６２は、音声情報と、音声情報が示す音声が入力された場合のユーザ１００の人数に関する基準人数情報と、を対応付けて記憶する。基準人数情報は、例えば、音声情報が示す音声の入力が開始された際のユーザ１００の人数である。例えば、実施形態３においては、音声テーブルに上記の記憶内容が格納される。

図２２は、実施形態３における音声テーブルのデータ格納例を示す図である。図２２に示すように、音声テーブルは、基準ゲーム状況情報と、音声情報と、基準人数情報と、を対応付けて記憶する。即ち例えば、実施形態３における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「基準人数情報」フィールドを更に含む。

なお、音声テーブルに格納される基準人数情報は、音声が入力された場合のユーザ１００の人数であればよい。例えば、発話フラグがオンになっている間の何れかの時点に取得されるユーザ１００の人数であってもよい。

［３−２．ゲームシステムにおいて実行される処理］
図２３は、実施形態３のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２３に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２３に示す処理を実行する。

図２３に示すように、Ｓ３０１〜Ｓ３０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。

制御部２１（ユーザ数取得部９０）は、実行中のゲームにおけるユーザ１００の人数を取得する（Ｓ３０５）。Ｓ３０５においては、先述のように例えば、最も直近で位置検出装置１から受信した３次元位置情報に基づいてユーザ１００の人数が取得される。

制御部２１は、Ｓ３０５において取得されたユーザ１００の人数が基準数（例えば、２人）以下であるか否かを判定する（Ｓ３０６）。

ユーザ１００の人数が基準数以下である場合（Ｓ３０６；Ｙ）、制御部２１は、類似度が所定範囲（例えば、余弦が０．７以上）のレコードのうちで基準人数情報が示す人数が最も多いレコードの音声を出力する（Ｓ３０７）。つまり、制御部２１（音声出力制御部７２）は、ゲーム状況比較部７３の比較結果と、ゲームにおけるユーザ１００の数と、基準人数情報と、に基づいて音声情報が示す音声を出力させる。

一方、ユーザ１００の人数が基準数以下でない場合（Ｓ３０６；Ｎ）、制御部２１は、最も類似度の高いレコードの音声を出力する（Ｓ３０８）。

Ｓ３０９は、Ｓ１０６と同様であるので説明を省略する。

ユーザの音声を記憶する場合（Ｓ３０９；Ｙ）、制御部２１は、基準ゲーム状況情報と、音声情報と、Ｓ３０５で取得したユーザ１００の人数を示す基準人数情報と、の組み合わせを音声テーブルに登録する（Ｓ３１０）。つまり、制御部２１は、音声情報と、基準人数情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。

以上説明した実施形態３のゲームシステムＳによれば、音声が入力された場合のユーザ１００の人数に基づいて出力すべき音声を選出することができる。ユーザ１００は、例えば、１人でゲームをプレイしている時でも、友人に囲まれてゲームをプレイしているような臨場感を感じながらゲームをプレイすることができる。

また例えば、ゲームをプレイしている人数によって、ユーザ１００が発する音声が異なることがある。例えば、大人数（例えば、５人）でゲームをプレイしている場合、ゲームの状況が少し変化しただけで大げさに歓声をあげることが多いが、少人数（例えば、１人）でゲームをプレイしている場合には、あまり歓声を上げないことが考えられる。例えば、実施形態３のゲームシステムＳによれば、プレイ中のユーザ１００の人数と同じ人数で過去にプレイした場合の音声のみを出力させることもできるので、大げさな歓声ばかりが出力されることも防止できる。即ち、実施形態３のゲームシステムＳによれば、出力すべき音声の選出の精度を向上させることができる。

なお、本実施形態においては、Ｓ３０４で算出される類似度が所定範囲のレコードのうちで基準人数情報が示す人数が最も多いレコードの音声が出力される場合を説明したが、ゲーム状況比較部７３の比較結果と、現在のゲームにおけるユーザ１００の人数と、基準人数情報が示す人数と、に基づいて選出される音声が出力されればよい。例えば、Ｓ３０４で算出される類似度と、現在のユーザ１００の人数と、基準人数情報が示す人数と、が所定の重みづけされることによって算出される優先度に基づいて、出力すべき音声が決定されるようにしてもよい。

他にも例えば、制御部２１は、実行中のゲームにおけるユーザ１００の人数が所定人数（例えば、２人）以下の場合、基準人数情報が示す人数が所定人数（例えば、４人）以上であって、かつ、Ｓ３０４で算出される類似度が所定範囲であるレコードの音声が出力されるようにしてもよい。

［４．実施形態４］
上記説明した実施形態１〜３においては、ユーザ１００が発した音声を、そのままの内容で出力させる場合を説明したが、出力される音声の音量が制御されるようにしてもよい。

実施形態４においては、ユーザ１００の音声が録音された時間に基づいて出力される音声の音量が制御される。例えば、昼間に録音されたユーザ１００の声は大きいことが考えられるので、この場合には音量を比較的小さくして出力させる。一方例えば、夜間に録音されたユーザ１００の声は小さいことが考えられるので、この場合には音量を比較的大きくして出力させる。

なお、実施形態４に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図１０、図１１参照）と同様であるため、説明を省略する。

［４−１．実施形態４において実現される機能］
図２４は、実施形態４におけるゲームシステムＳの機能ブロック図である。図２４に示すように、実施形態４において実現される機能は、実施形態１の機能に加えて、音声受付時間取得部９１が含まれる。

［４−１−１．音声受付時間取得部］
音声受付時間取得部９１は、例えば、制御部２１を主として実現される。音声受付時間取得部９１は、音声入力部１４がユーザ１００の音声を受け付けた時間に関する基準時間情報を取得する。例えば、音声受付時間取得部９１は、位置検出装置１から音声情報を受信した時間を取得する。この時間は、例えば、ゲーム装置２０の時間関数等に基づいて取得される。

また例えば、位置検出装置１が時刻を把握する機能を有する場合、音声受付時間取得部９１は、音声入力部１４が音声を受け付けた時間を位置検出装置１から取得するようにしてもよい。

［４−１−２．実施形態４のゲームデータ記憶部］
実施形態４のゲームデータ記憶部６０は、音声情報と、音声情報が入力された場合の基準時間情報と、を対応付けて記憶する。基準時間情報は、例えば、音声情報が示す音声の入力が開始された際の時間を示す。

図２５は、実施形態４における音声テーブルのデータ格納例を示す図である。図２５に示すように、音声テーブルは、基準ゲーム状況情報と、音声情報と、基準時間情報と、を対応付けて記憶する。即ち例えば、実施形態４における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「基準時間情報」フィールドを更に含む。

なお、基準時間情報は、音声情報が入力された場合の時間であればよく、他にも例えば、基準時間情報は、発話フラグがオンの状態からオフになった時間であってもよい。

［４−１−３．実施形態４のゲーム実行部］
実施形態４のゲーム実行部７０の音声出力制御部７２は、ゲームにおいて、ゲーム状況比較部７３の比較結果に基づいて、音声情報に対応付けられた基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる。例えば、音声出力制御部７２は、現在の時間と、基準時間情報が示す時間と、に基づいて決定される音量で音声を出力させる。例えば、音声出力制御部７２は、現在の時間と、基準時間情報が示す時間と、の組み合わせによって決定される音量で音声を出力させる。この組み合わせは、例えば、予めゲームデータ記憶部６０に記憶されている。

［４−２．ゲームシステムにおいて実行される処理］
図２６は、実施形態４のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２６に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２６に示す処理を実行する。

図２６に示すように、Ｓ４０１〜Ｓ４０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。

制御部２１は、Ｓ４０４において算出された類似度のうちで最も類似度が高いレコードの音声を、基準時間情報が示す時間に基づいて定まる音量で出力する（Ｓ４０５）。Ｓ４０５においては、例えば、基準時間情報が示す時間と、現在の時間と、の比較結果に基づいて定まる音量で音声が出力される。

例えば、音声が録音された時間が夜であり、現在の時間も夜であれば、そのままの音量で出力される。また例えば、音声が録音された時間が昼であり、現在の時間も昼であれば、そのままの音量で出力される。また例えば、音声が録音された時間が夜であり、現在の時間が昼であれば、音声情報が示す音声の音量よりも大きい音量で出力される。また例えば、音声が録音された時間が昼であり、現在の時間が夜であれば、音声情報が示す音声の音量よりも小さな音量で出力される。

上記のような現在の時間及び音声が録音された時間が、昼であるか夜であるかは、例えば、この時間が属する時間帯に基づいて判別される。例えば、ゲーム装置２０において識別可能な時間（時刻）が、第１時間帯と第２時間帯に予め分けられる。例えば、第１時間帯（例えば、６時〜１８時）に属する時間を昼とし、第２時間帯（０時〜６時、又は、１８時〜２４時）に属する時間を夜とすることによって、上記の処理が実現される。

Ｓ４０６は、Ｓ１０６と同様であるので説明を省略する。

ユーザ１００の音声を記憶する場合（Ｓ４０６；Ｙ）、制御部２１（音声受付時間取得部９１）は、音声情報が入力された場合の時間を示す基準時間情報を取得する（Ｓ４０７）。制御部２１は、基準ゲーム状況情報と、音声情報と、基準時間情報と、の組合せを音声テーブルに登録する（Ｓ４０８）。つまり、制御部２１は、音声情報と、基準時間情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。

以上説明した実施形態４のゲームシステムＳによれば、音声が入力された場合の時間に基づいて定まる音量で音声を出力することができるので、ユーザ１００は、より適した音量で音声データ記憶部６２に記憶された音声を聞くことができる。

［５．変形例］
なお、本発明は以上に説明した実施の形態に限定されるものではない。例えば、実施形態１〜実施形態４の何れか２つ、３つ、又は４つを組み合わせるようにしてもよい。

（１）また、上記実施形態においては、位置検出装置１によって検出されたユーザ１００の動作又はポーズに基づいてゲーム処理が実行されるようにしたが、操作部２６のコントローラ等からの操作入力によってゲーム処理が実行されるようにしてもよい。即ち、ゲームシステムＳは、位置検出装置１を含まなくてもよい。この場合、音声入力部１４がゲーム装置２０に含まれる、又は、音声入力部１４がゲーム装置２０に外部接続されることになる。また、ユーザ数取得部９０は、操作部２６のコントローラ等からの操作入力によって、ユーザ１００の人数を取得するようにしてもよい。

（２）上記に説明した実施形態では、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況を示す情報を基準ゲーム状況情報として取得するようになっていた。しかし、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況とは異なるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。

（２−１）例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前の時点のゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合（例えば、音声の入力が開始された場合）のゲーム状況が所定状況であるか否かを判定する。ここで、「ゲーム状況が所定状況である場合」とは、例えば、所定ゲームイベントが発生したような場合である。

また、「所定ゲームイベントが発生したような場合」とは、例えば、ゲームオーバーの直前の状態になってゲームイベントが起こる（例えば、ＢＧＭが変わる）場合等である。音声の入力が行われた場合のゲーム状況が所定状況である場合、基準ゲーム状況情報取得部８２は、該ゲーム状況よりも所定時間（例えば３秒）前の時点のゲーム状況を示す情報を、基準ゲーム状況情報として取得する。

このようにすれば、所定状況に関して入力された音声が、所定状況になるよりも前の時点で出力されるようになる。即ち、例えば、過去にゲームオーバーになりそうな状況に関して入力された音声が、過去にゲームオーバーの直前の状態になってＢＧＭが変わった状況の直前の状況と一致又は類似する状況になった場合に出力されるようになる。その結果、ユーザは、現在のゲーム状況が、ゲームオーバーになる可能性が高い状況であることを知ることが可能になる。

（２−２）また例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前又は後の時点であって、かつ、得点が増加又は減少された時点におけるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合に再現されているゲーム状況の直前又は直後の、得点が増加又は減少された時点を特定する。そして、基準ゲーム状況情報取得部８２は、ゲームデータ記憶部６０に記憶されたゲーム状況情報に基づいて、その時点のゲーム状況を示す情報を基準ゲーム状況情報として取得する。

また、この場合のゲーム状況比較部７３は、実行中のゲームにおいて得点が加算又は減少された時点におけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。

ダンスゲームでは、得点が加算又は減少された時点で、ゲーム状況が大きく変化することが多い。この点、変形例（２−２）によれば、ゲーム状況が大きく変化する前の時点のゲーム状況同士が比較されるようになり、その結果として、ゲーム状況の比較の精度を向上することが可能になる。

（２−３）また例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前又は後の時点であって、かつ、基準タイミングが訪れていない時点におけるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況の直前又は直後において、ユーザ１００が動作又はポーズをとらなくてよい時点（例えば、曲の間奏が流れている時点）を基準タイミングデータに基づいて特定する。そして、基準ゲーム状況情報取得部８２は、この時点のゲーム状況を示す情報を基準ゲーム状況情報として取得する。

また、この場合のゲーム状況比較部７３は、実行中のゲームにおいて間奏が流れていてユーザ１００がポーズを取る必要がない時点におけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。この変形例（２−３）によれば、ゲーム状況が比較的変化しない場面でのゲーム状況同士の比較が行われるようになり、ゲーム状況の比較の精度を向上することが可能になる。

（３）また例えば、本発明の実施形態に係るゲームシステムＳは複数のゲーム装置２０を含んで構成されるようにしてもよい。図２７は、本発明の他の実施形態に係るゲームシステムＳａの全体構成を示す図である。図２７に示すように、ゲームシステムＳａは、サーバ装置２００と複数のゲーム装置２０とを含んでいる。サーバ装置２００及び複数のゲーム装置２０は、例えばＬＡＮ（Local Area Network）又は／及びインターネット等を含む通信ネットワークＮに接続される。サーバ装置２００とゲーム装置２０との間でも相互にデータ通信が可能であり、ゲーム装置２０と他のゲーム装置２０との間で相互にデータ通信が可能である。

サーバ装置２００は、例えば、サーバコンピュータによって実現される。図２７に示すように、サーバ装置２００は、制御部２０１、主記憶部２０２、補助記憶部２０３、光ディスク再生部２０４、及び通信インタフェース部２０５を含む。

制御部２０１は、例えば、ＣＰＵを含み、オペレーティングシステムやその他のプログラムに従って情報処理を実行する。主記憶部２０２は、例えば、ＲＡＭを含む。主記憶部２０２には、補助記憶部２０３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータが記憶される。また主記憶部２０２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。

補助記憶部２０３は例えばハードディスク装置を含む。光ディスク再生部２０４は光ディスクに記憶されたプログラムやデータを読み取る。通信インタフェース部２０５はサーバ装置２００を通信ネットワークＮに接続するためのインタフェースである。

ゲームシステムＳａでは、例えば、各ゲーム装置２０において図１１に示す機能ブロックが実現されるようにすればよい。

（３−１）このゲームシステムＳａでは、ゲーム装置２０の音声情報取得部８１及び基準ゲーム状況情報取得部８２によって取得された音声情報及び基準ゲーム状況情報の組合せが、他のゲーム装置２０に送信されるようにしてもよい。また、ゲーム装置２０は、他のゲーム装置２０から送信された音声情報及び基準ゲーム状況情報の組合せを受信するようにしてもよい。そして、ゲーム装置２０の音声データ記憶部６２には、他のゲーム装置２０で取得された音声情報及び基準ゲーム状況情報の組合せが記憶されるようにしてもよい。このようにして、他のユーザ１００が入力した音声が、実行中のゲームにおいて出力されるようにしてもよい。

なお、音声情報及び基準ゲーム状況情報の送受信は、ゲーム装置２０間で直接行われるようにしてもよいし、サーバ装置２００を介して行われるようにしてもよい。

（３−２）また、ゲームシステムＳａでは、ゲーム装置２０において、他のゲーム装置２０で実行中のゲームを見ることができるようにしてもよい。即ち、ゲーム装置２０において、他のゲーム装置２０で実行中のゲームを観戦できるようにしてもよい。

この場合、ゲーム装置２０は、ユーザ１００がゲームをプレイしている場合、実行中のゲームのゲーム状況情報（現在状況情報）を他のゲーム装置２０に送信する。また、ゲーム装置２０は、ユーザ１００が他のゲーム装置２０で実行中のゲームを見る場合、他のゲーム装置２０から受信したゲーム状況情報に基づいて、他のゲーム装置２０で実行中のゲームの状況を表す画面（観戦画面）を表示部２７に表示する。

また、この場合、変形例（３）と同様にすることによって、ユーザ１００が観戦画面において音声を入力できるようにしてもよい。即ち、ユーザ１００が他のユーザ１００のゲームプレイを見て、音声を入力できるようにしてもよい。

また例えば、観戦画面を見ているユーザ１００が発した音声（例えば、歓声、叫び声等）が入力されるようにしてもよい。即ち、他のユーザ１００のゲームプレイを見ているユーザ１００が発した音声が入力されるようにしてもよい。

なお、ゲーム状況情報の送受信は、ゲーム装置２０間で直接行われるようにしてもよいし、サーバ装置２００を介して行われるようにしてもよい。

（４）また例えば、本発明の実施形態に係るゲームシステムはいわゆるネットワークゲームシステムでなくてもよく、制御部と、記憶部と、複数の操作部と、該複数の操作部に対応する複数の表示部と、を含むようなゲーム装置（例えば、業務用ゲーム機）であってもよい。

（５）また例えば、本発明の実施形態に係るゲームシステムで実行されるゲームは、ダンスゲーム以外のゲーム（例えば、スポーツゲーム、格闘ゲーム又はレースゲーム）であってもよい。また例えば、本発明の実施形態に係るゲームシステムで実行されるゲームは、サッカーゲームのようにキャラクタグループ（例えば、チーム）同士が対戦するゲームでもあってもよいし、一のキャラクタと一のキャラクタとが対戦するゲームであってもよいし、一のキャラクタとキャラクタグループとが対戦するゲームであってもよい。

Ｓ，Ｓａゲームシステム、Ｎ通信ネットワーク、１位置検出装置、２ＣＣＤカメラ、３赤外線センサ、４マイク、２０ゲーム装置、１０，２１，２０１制御部、１１記憶部、１２撮影部，１３深度測定部、１４音声入力部、２２，２０２主記憶部、２３，２０３補助記憶部、２４，２０４光ディスク再生部、１５，２５，２０５通信インタフェース部、１６バス、２６操作部、２７表示部、２８音声出力部、５０ゲーム画面、５１ゲームキャラクタ、５２判定領域、５３注目領域、Ｒ_５２，Ｒ_５３半径、５４ゲージ、５５メッセージ、６０ゲームデータ記憶部、６１現在状況情報記憶部、６２音声データ記憶部、６３関連状況情報記憶部、７０ゲーム実行部、７１現在状況情報更新部、７２音声出力制御部、７３ゲーム状況比較部、７４関連ゲーム状況比較部、８０音声登録受付部、８１音声情報取得部、８２基準ゲーム状況情報取得部、８３キーワード取得部、９０ユーザ数取得部、９１音声受付時間取得部、１００ユーザ、２００サーバ装置、Ｏｓ原点、Ｐｍａｘ座標、ｔ１時間。

Claims

ゲームを実行するゲーム実行手段と、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段と、
を含み、
前記音声登録受付手段は、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段と、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段と、
を含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、
前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段と、を含む、
ことを特徴とするゲームシステム。
前記ゲームシステムは、キーワードを示すキーワード情報と、前記キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する手段を含み、
前記音声登録受付手段は、
前記音声情報が示す音声に対応する前記キーワード情報を取得する手段と、
前記音声情報と前記キーワード情報とを対応付けて前記記憶手段に記憶させる手段と、
を更に含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する関連ゲーム状況比較手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、前記関連ゲーム状況比較手段の比較結果と、に基づいて、前記音声情報が示す音声を出力させる、
ことを特徴とする請求項１に記載のゲームシステム。
前記ゲームシステムは、ユーザの人数を示す情報を取得するユーザ数取得手段を含み、
前記音声登録受付手段は、
前記音声情報と、前記音声が入力された場合の前記ユーザの人数を示す基準人数情報とを対応付けて前記記憶手段に記憶させる手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、該ゲームにおける前記ユーザの人数と、前記基準人数情報が示す人数と、に基づいて、前記音声情報が示す音声を出力させる、
ことを特徴とする請求項１又は２に記載のゲームシステム。
前記ゲームシステムは、前記音声が入力された場合の時間に関する基準時間情報を取得する手段を含み、
前記音声登録受付手段は、前記音声情報と前記基準時間情報とを対応付けて前記記憶手段に記憶させる手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報に対応付けられた前記基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる、
ことを特徴とする請求項１〜３の何れか一項に記載のゲームシステム。
前記音声登録受付手段は、
前記音声入力手段を介して入力された音声の音量に関する情報を取得する手段と、
前記音声の音量に基づいて前記音声情報の取得の開始及び停止を制御する手段と、
を含むことを特徴とする請求項１〜４の何れか一項に記載のゲームシステム。
ゲームを実行するゲーム実行ステップと、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付ステップと、
を含み、
前記音声登録受付ステップは、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得ステップと、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させるステップと、を含み、
前記ゲーム実行ステップは、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、
前記ゲームにおいて、前記ゲーム状況比較ステップの比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御ステップと、を含む、
ことを特徴とするゲームシステムの制御方法。
ゲームを実行するゲーム実行手段、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段、
としてコンピュータを機能させるためのプログラムであって、
前記音声登録受付手段は、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段、
を含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、
前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段、
を含む、
ことを特徴とするプログラム。