JP5629364B2 - GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM - Google Patents

GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM Download PDF

Info

Publication number
JP5629364B2
JP5629364B2 JP2013224492A JP2013224492A JP5629364B2 JP 5629364 B2 JP5629364 B2 JP 5629364B2 JP 2013224492 A JP2013224492 A JP 2013224492A JP 2013224492 A JP2013224492 A JP 2013224492A JP 5629364 B2 JP5629364 B2 JP 5629364B2
Authority
JP
Japan
Prior art keywords
game
information
user
feature information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013224492A
Other languages
Japanese (ja)
Other versions
JP2014050742A (en
Inventor
和之 海保
和之 海保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2013224492A priority Critical patent/JP5629364B2/en
Publication of JP2014050742A publication Critical patent/JP2014050742A/en
Application granted granted Critical
Publication of JP5629364B2 publication Critical patent/JP5629364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ゲーム装置、ゲーム装置の制御方法、及びプログラムに関する。   The present invention relates to a game device, a game device control method, and a program.

従来、ゲームの難易度をユーザの技量に応じて変更するゲーム装置が知られている。例えば、特許文献１には、ユーザの操作に供される領域の表示形態をゲームの難易度に基づいて変更し、入力操作の困難性を制御するゲーム装置が記載されている。   Conventionally, game devices that change the difficulty level of a game according to the skill of a user are known. For example, Patent Literature 1 describes a game device that changes the display form of an area provided for a user operation based on the difficulty level of the game and controls the difficulty of the input operation.

特開２００８−１１９３０１号公報JP 2008-119301 A

上記のようなゲーム装置では、ユーザがいったんゲームを開始すると難易度を変更することができない。例えば、ユーザが高すぎる難易度を設定してしまった場合、ユーザは、ゲームが難しすぎるので、ゲームクリアを途中であきらめてしまう可能性がある。ユーザがゲームクリアをあきらめないようにするために、例えば、実行中のゲームがゲームオーバーになりそうな状況になった場合に、自動的に難易度を低下させてユーザのゲームプレイの補助をすることも考えられる。   In the game device as described above, the difficulty level cannot be changed once the user starts the game. For example, if the user sets a difficulty level that is too high, the user may give up clearing the game halfway because the game is too difficult. In order to prevent the user from giving up clearing the game, for example, when the game being executed is in a situation where the game is likely to be over, the difficulty level is automatically reduced to assist the user in playing the game. It is also possible.

しかし、ゲームオーバーになりそうな状況であっても、ユーザは、ゲームクリアを途中であきらめるとは限らない。即ち、このような状況であっても、ユーザは、高い難易度のままプレイを継続したい場合がある。この場合には、ゲーム装置は、難易度は変更させずにユーザが高揚するような音声出力処理等を行ってゲームプレイの補助をしたほうがよいと考えられる。したがって、ゲームの状況のみを考慮して難易度を変更させても、ユーザが意図するようなゲームプレイの補助をすることができない可能性がある。   However, even in a situation where the game is likely to be over, the user does not necessarily give up clearing the game halfway. That is, even in such a situation, the user may want to continue playing with a high degree of difficulty. In this case, it is considered that the game device should assist the game play by performing an audio output process that enhances the user without changing the difficulty level. Therefore, even if the difficulty level is changed only in consideration of the game situation, there is a possibility that the user cannot assist the game play as intended.

本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが意図するようなゲームプレイの補助をすることが可能なゲーム装置、ゲーム装置の制御方法、及びプログラムを提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a game device, a game device control method, and a program capable of assisting game play as intended by the user. It is in.

上記課題を解決するために、本発明に係るゲーム装置は、ゲームを実行するゲーム装置であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、を含むことを特徴とする。   In order to solve the above-described problem, a game apparatus according to the present invention is a game apparatus that executes a game, and a feature information acquisition unit that acquires voice feature information input from a voice input unit, Reference feature information acquisition means for acquiring the reference feature information from means for storing reference feature information, feature information comparison means for comparing the feature information of the voice input from the voice input means, and the reference feature information Reference game situation information acquisition means for acquiring the reference game situation information from means for storing predetermined reference game situation information, a game situation in the game being executed, and a game situation indicated by the reference game situation information Based on the game situation comparison means, the comparison result of the feature information comparison means, and the comparison result of the game situation comparison means Characterized in that it comprises a game execution means for executing the management, the.

また、本発明に係るゲーム装置の制御方法は、ゲームを実行するゲーム装置の制御方法であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得ステップと、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得ステップと、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較ステップと、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、前記特徴情報比較ステップの比較結果と、前記ゲーム状況比較ステップの比較結果と、に基づいてゲーム処理を実行するゲーム実行ステップと、を含むことを特徴とする。   The game device control method according to the present invention is a game device control method for executing a game, and includes a feature information acquisition step for acquiring feature information of a sound input from a sound input means, and a predetermined step. A reference feature information acquisition step for acquiring the reference feature information from the means for storing reference feature information, a feature information comparison step for comparing the feature information of the voice input from the voice input means and the reference feature information. A reference game situation information acquisition step for obtaining the reference game situation information from means for storing predetermined reference game situation information, a game situation in the game being executed, and a game situation indicated by the reference game situation information A game situation comparison step, a comparison result of the feature information comparison step, and a game situation comparison step Compare results, characterized in that it comprises a game execution step of executing the game processing based on.

また、本発明に係るプログラムは、ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、を含むゲーム装置として前記コンピュータを機能させることを特徴とする。   The program according to the present invention is a program for causing a computer to function as a game device that executes a game, and is characterized by a feature information acquisition unit that acquires feature information of a voice input from a voice input unit. Reference feature information acquisition means for acquiring the reference feature information from means for storing reference feature information, feature information comparison means for comparing the feature information of the voice input from the voice input means, and the reference feature information; Reference game situation information acquisition means for acquiring the reference game situation information from means for storing predetermined reference game situation information, a game situation in the game being executed, and a game situation indicated by the reference game situation information Game situation comparison means for comparison, comparison result of the feature information comparison means, comparison result of the game situation comparison means, Based wherein the causes the computer to function as a game device comprising a game execution means, a for performing a game process.

また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。   An information storage medium according to the present invention is a computer-readable information storage medium recording the above program.

本発明によれば、ユーザが意図するようなゲームプレイの補助をすることが可能になる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to assist the game play which a user intends.

また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、の組み合わせに対応付けて前記ゲーム実行手段が実行すべきゲーム処理を示すゲーム処理情報を記憶する手段から前記ゲーム処理情報を取得する手段を含み、当該取得されたゲーム処理情報が示すゲーム処理を実行する、ことを特徴とする。   In one aspect of the present invention, the game execution means is a game to be executed by the game execution means in association with a combination of the comparison result of the feature information comparison means and the comparison result of the game situation comparison means. It includes means for acquiring the game process information from means for storing game process information indicating the process, and executes the game process indicated by the acquired game process information.

また、本発明の一態様では、前記特徴情報及び前記基準特徴情報は、前記音声の音量に関する特徴量情報を含み、前記特徴情報比較手段は、前記音声入力手段から入力される音声の前記特徴量情報と、前記基準特徴情報に含まれる前記特徴量情報と、を比較することを特徴とする。   In the aspect of the invention, the feature information and the reference feature information include feature amount information related to the volume of the sound, and the feature information comparison unit includes the feature amount of the sound input from the sound input unit. The information is compared with the feature amount information included in the reference feature information.

また、本発明の一態様では、前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。   In one aspect of the present invention, the game device includes user number acquisition means for acquiring user number information indicating the number of users, and the reference feature information acquisition means is based on the user number information. Including means for changing information.

また、本発明の一態様では、前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。   In one aspect of the present invention, the game apparatus further includes means for acquiring input time information related to a time when sound is input from the sound input means, and the reference feature information acquiring means includes the input time. And means for changing the reference feature information based on the information.

また、本発明の一態様では、前記ゲーム装置は、ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段を更に含み、前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。   In one aspect of the present invention, the game device further includes facial expression information acquisition means for acquiring facial expression information related to the facial expression of the user by performing facial expression recognition processing on an image obtained from imaging means for capturing the user. In addition, the reference feature information acquisition means includes means for changing the reference feature information based on the facial expression information.

また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする。   In one aspect of the present invention, the game execution means changes the difficulty level of the game based on the comparison result of the feature information comparison means and the comparison result of the game situation comparison means. And

本発明に係るゲーム装置とユーザとの位置関係を示す図である。It is a figure which shows the positional relationship of the game device which concerns on this invention, and a user. ＣＣＤカメラによって生成される撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image produced | generated by a CCD camera. 赤外線センサによるユーザの深度の測定方法を説明するための図である。It is a figure for demonstrating the measuring method of the user's depth by an infrared sensor. 赤外線センサによって得られる深度画像の一例を示す図である。It is a figure which shows an example of the depth image obtained by an infrared sensor. 位置検出装置により生成される３次元位置情報の一例を示す図である。It is a figure which shows an example of the three-dimensional position information produced | generated by a position detection apparatus. ３次元位置情報によって特定されるユーザの位置を示す図である。It is a figure which shows the position of the user specified by three-dimensional position information. ゲーム画面の一例を示す図である。It is a figure which shows an example of a game screen. 注目領域の半径と判定領域の半径とが一致した場合のゲーム画面の一例を示 す図である。FIG. 11 is a diagram showing an example of a game screen when the radius of the attention area matches the radius of the determination area. 位置検出装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a position detection apparatus. ゲーム装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a game device. ゲーム装置で実現される機能のうち、本発明に関連する機能を示す機能ブ ロック図である。It is a functional block diagram which shows the function relevant to this invention among the functions implement | achieved with a game device. 判定基準情報の一例を示す図である。It is a figure which shows an example of criteria information. 基準タイミング情報の一例を示す図である。It is a figure which shows an example of reference | standard timing information. 現在状況情報の一例を示す図である。It is a figure which shows an example of present condition information. 基準特徴情報のデータ格納例を示す図である。It is a figure which shows the example of data storage of reference | standard feature information. 基準ゲーム状況情報のデータ格納例を示す図である。It is a figure showing an example of data storage of standard game situation information. ゲーム処理情報のデータ格納例を示す図である。It is a figure which shows the example of data storage of game processing information. ゲーム装置が実行する処理を示すフロー図である。It is a flowchart which shows the process which a game device performs. 実施形態２のゲーム装置において実現される機能ブロック図である。6 is a functional block diagram realized in the game device of Embodiment 2. FIG. 実施形態２における基準特徴情報のデータ格納例を示す図である。6 is a diagram illustrating an example of data storage of reference feature information in Embodiment 2. FIG. ゲーム装置が実行する処理を示すフロー図である。It is a flowchart which shows the process which a game device performs. 実施形態３のゲーム装置において実現される機能ブロック図である。It is a functional block diagram implement | achieved in the game device of Embodiment 3. 実施形態３における基準特徴情報のデータ格納例を示す図である。It is a figure which shows the data storage example of the reference | standard feature information in Embodiment 3. FIG. ゲーム装置が実行する処理を示すフロー図である。It is a flowchart which shows the process which a game device performs. 実施形態４のゲーム装置において実現される機能ブロック図である。FIG. 10 is a functional block diagram realized in the game device of the fourth embodiment. 実施形態４における基準特徴情報のデータ格納例を示す図である。It is a figure which shows the example of data storage of the reference | standard feature information in Embodiment 4. FIG. ゲーム装置が実行する処理を示すフロー図である。It is a flowchart which shows the process which a game device performs.

［１．実施形態１］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。 [1. Embodiment 1]
Hereinafter, examples of embodiments of the present invention will be described in detail with reference to the drawings.

［１−１．ゲームシステムの概要］
図１は、本発明に係るゲーム装置２０とユーザ１００との位置関係を示す図である。ゲーム装置２０は、例えば、位置検出装置１とデータ通信可能に接続される。図１に示すように、ユーザ１００は、例えば、位置検出装置１の前方に位置する。 [1-1. Game system overview]
FIG. 1 is a diagram showing a positional relationship between a game device 20 and a user 100 according to the present invention. For example, the game apparatus 20 is connected to the position detection apparatus 1 so that data communication is possible. As shown in FIG. 1, the user 100 is located in front of the position detection device 1, for example.

位置検出装置１は、ユーザ１００を撮影して得られる画像と、位置検出装置１とユーザ１００との距離に関する情報と、に基づいて３次元空間におけるユーザ１００の位置に関する情報を生成する。例えば、位置検出装置１は、ユーザ１００の体を構成する複数の部位（例えば、頭や両ひじ等）のそれぞれに対応する３次元座標を検出する。   The position detection device 1 generates information regarding the position of the user 100 in the three-dimensional space based on an image obtained by photographing the user 100 and information regarding the distance between the position detection device 1 and the user 100. For example, the position detection device 1 detects three-dimensional coordinates corresponding to each of a plurality of parts (for example, the head and both elbows) that constitute the body of the user 100.

ゲーム装置２０は、ユーザ１００の位置に関する情報を位置検出装置１から取得する。ゲーム装置２０は、例えば、３次元空間におけるユーザ１００の立ち位置やユーザ１００の各部位の位置を示す３次元座標を位置検出装置１から取得する。ゲーム装置２０は、例えば、この３次元座標の変化に基づいてゲームの制御を行う。   The game device 20 acquires information regarding the position of the user 100 from the position detection device 1. The game device 20 acquires, for example, three-dimensional coordinates indicating the standing position of the user 100 and the position of each part of the user 100 from the position detection device 1 in the three-dimensional space. For example, the game device 20 controls the game based on the change in the three-dimensional coordinates.

ユーザ１００に対応する３次元座標の変化は、ユーザ１００の動作に対応する。例えば、ユーザ１００が右手を上げる動作をした場合、このユーザ１００の右ひじ及び右手に対応する３次元座標が、主に変化する。   The change in the three-dimensional coordinates corresponding to the user 100 corresponds to the operation of the user 100. For example, when the user 100 raises the right hand, the three-dimensional coordinates corresponding to the right elbow and the right hand of the user 100 mainly change.

また、位置検出装置１は、ユーザ１００が発した音声を検出し、この音声に対応する音声情報をゲーム装置２０に送信する。本実施形態においては、ゲーム装置２０は、ユーザ１００が発した音声の特徴と、実行中のゲームの状況と、に基づいてユーザ１００を補助するようなゲーム処理を実行する。例えば、ゲーム装置２０は、ゲームオーバーになりそうな状況で、ユーザ１００がパニックになっているような声をあげている場合、ゲームの難易度を低下させる処理を行う。   In addition, the position detection device 1 detects a sound uttered by the user 100 and transmits sound information corresponding to the sound to the game device 20. In the present embodiment, the game apparatus 20 executes a game process that assists the user 100 based on the characteristics of the sound uttered by the user 100 and the status of the game being executed. For example, in a situation where the game is likely to be over, the game device 20 performs a process of reducing the difficulty level of the game when the user 100 makes a panic voice.

［１−２．位置検出装置の動作］
まず、位置検出装置１が、３次元空間におけるユーザ１００の位置に関する情報（３次元位置情報）を生成する処理について説明する。 [1-2. Operation of position detection device]
First, the process in which the position detection device 1 generates information (three-dimensional position information) related to the position of the user 100 in the three-dimensional space will be described.

図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。本実施形態においては、ＣＣＤカメラ２及び赤外線センサ３から得られる情報に基づいてユーザ１００の３次元位置情報が生成される。   As shown in FIG. 1, the position detection device 1 includes, for example, a CCD camera 2, an infrared sensor 3, a microphone 4 including a plurality of microphones, and the like. In the present embodiment, three-dimensional position information of the user 100 is generated based on information obtained from the CCD camera 2 and the infrared sensor 3.

ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、ユーザ１００を撮影する。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にユーザ１００を撮影した静止画像（例えば、ＲＧＢデジタル画像）を生成する。以降、ＣＣＤカメラ２により生成される静止画像を撮影画像という。   The CCD camera 2 is a known camera equipped with a CCD image sensor. The CCD camera 2 photographs the user 100. For example, the CCD camera 2 generates a still image (for example, an RGB digital image) obtained by capturing the user 100 at a predetermined time (for example, every 1/60 seconds). Hereinafter, a still image generated by the CCD camera 2 is referred to as a captured image.

図２は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図２に示すように、撮影画像には、ＣＣＤカメラ２に対応する視野内に配置された物体が含まれる。なお、説明の簡略化のため図２では省略しているが、ＣＣＤカメラ２の視野内に家具や壁等が含まれている場合、撮影画像には、これらが含まれる。   FIG. 2 is a diagram illustrating an example of a captured image generated by the CCD camera 2. As shown in FIG. 2, the captured image includes an object arranged in the field of view corresponding to the CCD camera 2. Although omitted in FIG. 2 for simplification of explanation, when furniture, walls, and the like are included in the field of view of the CCD camera 2, these are included in the captured image.

撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。   An Xs axis and a Ys axis that are orthogonal to each other are set in the captured image. For example, the upper left of the photographed image is the origin Os (0, 0). In addition, for example, the lower right corner of the captured image is set as coordinates Pmax (Xmax, Ymax). The position of each pixel corresponding to the captured image is specified by two-dimensional coordinates (Xs-Ys coordinates) assigned to each pixel.

赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、ユーザ１００）の深度を測定する。   The infrared sensor 3 includes, for example, an infrared light emitting element and an infrared light receiving element (for example, an infrared diode). The infrared sensor 3 detects reflected light obtained by irradiating infrared light. The infrared sensor 3 measures the depth of the subject (for example, the user 100) based on the detection result of the reflected light.

被写体の深度とは、測定基準位置（例えば、赤外線センサ３の赤外線受光素子の位置）と被写体の位置との距離間隔である。測定基準位置とは、ユーザ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の配置位置と関連付けられる所定の位置であればよい。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてユーザ
１００の深度を測定する。 The depth of the subject is a distance interval between the measurement reference position (for example, the position of the infrared light receiving element of the infrared sensor 3) and the position of the subject. The measurement reference position is a position that serves as a reference when measuring the depth (depth) of the position of the user 100. The measurement reference position may be a predetermined position associated with the arrangement position of the position detection device 1. For example, the infrared sensor 3 measures the depth of the user 100 based on the time of flight (TOF) from when the infrared light is irradiated until the reflected light is received.

図３は、赤外線センサ３によるユーザ１００の深度の測定方法を説明するための図である。図３に示すように、赤外線センサ３は、所定間隔でパルス状の赤外線光を照射する。   FIG. 3 is a diagram for explaining a method of measuring the depth of the user 100 by the infrared sensor 3. As shown in FIG. 3, the infrared sensor 3 irradiates pulsed infrared light at a predetermined interval.

赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。赤外線センサ３から照射された赤外線光は、例えば、ユーザ１００の体等の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。   Infrared light emitted from the infrared sensor 3 spreads in a spherical shape with the light emission position of the infrared sensor 3 as a center point. The infrared light emitted from the infrared sensor 3 strikes the surface of the user 100 body, for example. Infrared light hitting these surfaces is reflected. The reflected infrared light is detected by the infrared light receiving element of the infrared sensor 3. That is, the infrared sensor 3 detects reflected light whose phase is inverted by 180 degrees with respect to the irradiated infrared ray.

例えば、図１に示すように、ユーザ１００が両手を前に突き出している場合、この突き出された両手は、ユーザ１００の胴体よりも赤外線センサ３に近い。つまり、ユーザ１００の両手によって反射される赤外線光の飛行時間は、ユーザ１００の胴体によって反射される赤外線光の飛行時間よりも短い。   For example, as shown in FIG. 1, when the user 100 projects both hands forward, the projected both hands are closer to the infrared sensor 3 than the body of the user 100. That is, the time of flight of infrared light reflected by both hands of the user 100 is shorter than the time of flight of infrared light reflected by the body of the user 100.

赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とユーザ１００との距離間隔（即ち、深度）に相当する。このようにして、赤外線センサ３は、ユーザ１００の深度を測定することができる。   The value obtained by multiplying the time from when the infrared sensor 3 irradiates the infrared light until the reflected light is detected (that is, the flight time) and the speed of the infrared rays and dividing by half is the measurement reference position and the user 100. Is equivalent to the distance interval (ie, depth). In this way, the infrared sensor 3 can measure the depth of the user 100.

また、例えば、ユーザ１００の後方に物体が配置されていない場合、ユーザ１００の周囲に対して照射された赤外線光は、ユーザ１００の後方にある壁に反射することが考えられる。そこで、反射した赤外線光から得られる深度差が大きい箇所に基づいて被写体（ユーザ１００）の輪郭を検出することもできる。例えば、周囲との深度差が大きい箇所をつなぎ合わせることによって、ユーザ１００の輪郭を検出することができる。   Further, for example, when an object is not arranged behind the user 100, it is conceivable that the infrared light applied to the periphery of the user 100 is reflected on a wall behind the user 100. Therefore, it is possible to detect the contour of the subject (user 100) based on a location where the depth difference obtained from the reflected infrared light is large. For example, it is possible to detect the contour of the user 100 by connecting portions having a large depth difference from the surroundings.

なお、ユーザ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってユーザ１００の輪郭を検出することができる。   Note that the method of detecting the contour of the user 100 is not limited to the above example. In addition, for example, the contour may be detected based on the luminance of each pixel of the captured image obtained by the CCD camera 2. Also in this case, for example, the contour of the user 100 can be detected by connecting portions having a large luminance difference between pixels.

上記のようにして検出されるユーザ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。   Information about the depth of the user 100 (depth information) detected as described above is expressed as a depth image, for example.

図４は、赤外線センサ３によって得られる深度画像の一例を示す図である。図４に示すように、例えば、深度情報は、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される。深度画像においては、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。   FIG. 4 is a diagram illustrating an example of a depth image obtained by the infrared sensor 3. As shown in FIG. 4, for example, the depth information is expressed as a grayscale depth image (for example, 256-bit grayscale image data). In the depth image, for example, an object close to the infrared sensor 3 is expressed brightly (with high brightness), and a distant object is expressed darkly (with low brightness).

例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、ユーザ１００の深度は、深度画像の輝度（画素値）に対応する。即ち、例えば、ユーザ１００の深度が２センチ異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。   For example, when the depth image is represented as 256-bit grayscale image data, the depth of the user 100 corresponds to the luminance (pixel value) of the depth image. That is, for example, every time the depth of the user 100 is different by 2 cm, the brightness of the depth image is different by 1 bit. In this case, the infrared sensor 3 indicates that the depth of the subject can be detected in units of 2 cm.

本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてユーザ１００の部位の位置に関する３次元位置情報が生成される。   In the present embodiment, the infrared sensor 3 generates a depth image every predetermined time (for example, every 1/60 seconds) as in the CCD camera 2. Based on the captured image obtained by the CCD camera 2 and the depth image obtained by the infrared sensor 3, three-dimensional position information relating to the position of the part of the user 100 is generated.

例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。   For example, a composite image (RGBD data) in which depth information (D: Depth) indicated by the depth image is added to a captured image (RGB data) obtained by the CCD camera 2 is generated. That is, the composite image includes color information (RGB brightness) and depth information for each pixel.

なお、合成画像が生成される際には、ＣＣＤカメラ２と赤外線センサ３との位置間隔に基づいて、撮影画像と深度画像との少なくとも一方の位置が変更される。例えば、ＣＣＤカメラ２と赤外線センサ３が水平方向に２センチ離れている場合、深度画像の各画素の座標を、２センチに対応する画素数だけ移動させることによって、位置の変更が行われる。   Note that when a composite image is generated, the position of at least one of the captured image and the depth image is changed based on the position interval between the CCD camera 2 and the infrared sensor 3. For example, when the CCD camera 2 and the infrared sensor 3 are separated from each other by 2 cm in the horizontal direction, the position is changed by moving the coordinates of each pixel of the depth image by the number of pixels corresponding to 2 cm.

この合成画像に基づいて３次元位置情報が生成される。例えば、３次元位置情報は、ユーザ１００の複数の部位の位置に関する複数の情報を含む。本実施形態においては、３次元位置情報が、ユーザ１００の体の各部位（例えば、頭や肩等）に対応する３次元座標を含む場合を説明する。   Three-dimensional position information is generated based on this synthesized image. For example, the three-dimensional position information includes a plurality of information regarding the positions of a plurality of parts of the user 100. In the present embodiment, a case will be described in which the three-dimensional position information includes three-dimensional coordinates corresponding to each part of the body of the user 100 (for example, the head and the shoulder).

具体的には、例えば、次のようにして３次元位置情報が生成される。   Specifically, for example, the three-dimensional position information is generated as follows.

まず、先述のように、深度画像に基づいてユーザ１００の輪郭に対応する画素が特定される。ユーザ１００の輪郭によって囲まれる画素は、ユーザ１００の体に対応する画素である。   First, as described above, pixels corresponding to the contour of the user 100 are specified based on the depth image. Pixels surrounded by the contour of the user 100 are pixels corresponding to the body of the user 100.

次いで、撮影画像のうち、上記の輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。撮影画像の色情報に基づいて、ユーザ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、ユーザ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。   Next, color information (RGB brightness) of pixels surrounded by the above-described outline in the captured image is referred to. Based on the color information of the captured image, pixels corresponding to each part of the body of the user 100 are specified. As this identification method, for example, a known method such as a pattern matching method for extracting an object (that is, each part of the body of the user 100) from an image by comparison with a comparison image (teacher image) can be applied. is there.

他にも例えば、撮影画像の各画素の色情報の変化から体の各部位の速度ベクトルを算出し、物体の運動を表すオプティカルフロー（例えば、勾配法又はフィルタリング法）等に基づいて各画素の動きベクトルを検出し、ユーザ１００の頭の位置や両肘の位置等に対応する画素が特定されるようにしてもよい。   In addition, for example, a velocity vector of each part of the body is calculated from a change in color information of each pixel of the captured image, and each pixel is calculated based on an optical flow (for example, gradient method or filtering method) representing the motion of the object. A motion vector may be detected, and pixels corresponding to the position of the head of the user 100, the position of both elbows, and the like may be specified.

上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、ユーザ１００の頭や両ひじ等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。即ち、ユーザ１００の各部位の３次元座標が算出される。   Based on the pixel values (RGBD values) of the pixels specified as described above, three-dimensional coordinates such as the head and both elbows of the user 100 are calculated. For example, a three-dimensional coordinate is generated by performing a predetermined matrix conversion process on the pixel value. This line example conversion process is executed by, for example, line example calculation similar to the conversion process of two coordinate systems of world coordinates-screen coordinates in 3D graphics. That is, the RGB value indicating the color information of the pixel and the D value indicating the depth are substituted into a predetermined determinant, whereby the three-dimensional coordinates of the pixel are calculated. That is, the three-dimensional coordinates of each part of the user 100 are calculated.

なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。   A known method can be applied to the method for calculating the three-dimensional coordinates corresponding to the pixel from the pixel value (RGBD value), and this calculation method is not limited to the above example. In addition, for example, coordinate conversion may be performed using a lookup table.

図５は、位置検出装置１により生成される３次元位置情報の一例を示す図である。図５に示すように、３次元位置情報は、例えば、ユーザ１００の各部位と、３次元座標と、が対応付けられて格納される。   FIG. 5 is a diagram illustrating an example of three-dimensional position information generated by the position detection device 1. As shown in FIG. 5, for example, each part of the user 100 is stored in association with three-dimensional coordinates in the three-dimensional position information.

図６は、３次元位置情報によって特定されるユーザ１００の位置（頭Ｐ１〜左つま先Ｐ１６）を示す図である。図６に示すように、ユーザ１００の各部位の３次元座標が、３次元位置情報によって特定される。なお、３次元位置情報によって示されるユーザ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。   FIG. 6 is a diagram illustrating the position (head P1 to left toe P16) of the user 100 specified by the three-dimensional position information. As shown in FIG. 6, the three-dimensional coordinates of each part of the user 100 are specified by the three-dimensional position information. Note that the body part of the user 100 indicated by the three-dimensional position information may be a predetermined part of the player's body (skeleton). For example, this part may be any part of the body that can be specified by the pattern matching method described above.

本実施形態においては、先述のように、所定間隔で生成される撮影画像と深度画像とに基づいて、所定間隔毎（例えば、１／６０秒毎）に３次元位置情報が生成される。生成された３次元位置情報は、所定時間毎に位置検出装置１からゲーム装置２０に対して送信される。   In the present embodiment, as described above, the three-dimensional position information is generated at predetermined intervals (for example, every 1/60 seconds) based on captured images and depth images generated at predetermined intervals. The generated three-dimensional position information is transmitted from the position detection device 1 to the game device 20 every predetermined time.

ゲーム装置２０は、位置検出装置１から３次元位置情報を受信して、この３次元位置情報に基づいてユーザ１００の体の位置を把握する。つまり、ユーザ１００が踊ったりボールを蹴ったりする動作をすると、この動作に対応するように３次元位置情報が変化するので、ゲーム装置２０は、３次元位置情報の変化に基づいてプレイヤの動きを把握することができる。   The game device 20 receives the three-dimensional position information from the position detection device 1, and grasps the position of the user 100 based on the three-dimensional position information. That is, when the user 100 performs an action of dancing or kicking the ball, the three-dimensional position information changes so as to correspond to this action, so the game device 20 moves the player based on the change of the three-dimensional position information. I can grasp it.

また例えば、ゲーム装置２０は、３次元位置情報に含まれるユーザ１００の各部の位置関係に基づいてユーザ１００のポーズ（姿勢）を把握する。このように、ゲーム装置２０は、３次元位置情報に基づいてユーザ１００の体の動きやポーズを把握してゲームを実行する。   In addition, for example, the game apparatus 20 grasps the pose (posture) of the user 100 based on the positional relationship between the parts of the user 100 included in the three-dimensional position information. As described above, the game device 20 executes the game by grasping the movement and pose of the user 100 based on the three-dimensional position information.

また、ユーザ１００が複数人である場合、上記と同様の処理によって、複数のユーザ１００のそれぞれについて３次元位置情報が生成される。例えば、赤外線センサ３によって検出されるユーザ１００の輪郭の個数に基づいて、位置検出装置１は、ユーザ１００の人数を把握することができる。それぞれのユーザ１００に対応する画素に対して上記と同様の処理が実行されることによって、複数のユーザ１００の３次元位置情報を生成することができる。   When there are a plurality of users 100, three-dimensional position information is generated for each of the plurality of users 100 by the same processing as described above. For example, based on the number of contours of the user 100 detected by the infrared sensor 3, the position detection device 1 can grasp the number of users 100. By performing the same processing as described above on the pixels corresponding to the respective users 100, it is possible to generate the three-dimensional position information of the plurality of users 100.

［１−３．ゲーム装置で実行されるゲーム］
次に、ゲーム装置２０が実行するゲームについて説明する。本実施形態においては、ゲーム装置２０が、ユーザ１００が楽曲（ＢＧＭ）に合わせてゲームキャラクタと同じ動作をする、又は、ゲームキャラクタと同じポーズをとるダンスゲームを実行する例を挙げて説明する。先述のように、ユーザ１００の動作及びポーズは、３次元位置情報に基づいて判別される。 [1-3. Game executed on game device]
Next, a game executed by the game apparatus 20 will be described. In the present embodiment, an example will be described in which the game apparatus 20 executes a dance game in which the user 100 performs the same action as a game character in accordance with music (BGM) or takes the same pose as the game character. As described above, the movement and pose of the user 100 are determined based on the three-dimensional position information.

図７は、ゲーム画面５０の一例を示す図である。図７に示すように、ゲーム画面５０は、例えば、ゲームキャラクタ５１、判定領域５２、注目領域５３、ゲージ５４、メッセージ５５、観客キャラクタ５６を含む。ゲームキャラクタ５１は、例えば、判定領域５２の上に立つように配置される。ゲームキャラクタ５１は、所定のアニメーション情報に基づいて種々のポーズをとりながらダンスを踊る。   FIG. 7 is a diagram illustrating an example of the game screen 50. As shown in FIG. 7, the game screen 50 includes, for example, a game character 51, a determination area 52, an attention area 53, a gauge 54, a message 55, and a spectator character 56. For example, the game character 51 is arranged to stand on the determination area 52. The game character 51 dances while taking various poses based on predetermined animation information.

判定領域５２及び注目領域５３は、例えば、それぞれ同心円（又は同心楕円）である。例えば、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２よりも大きい。時間が経過すると、注目領域５３の半径Ｒ５３は、小さくなっていく。即ち、時間が経過すると、注目領域５３は、判定領域５２の大きさに近づくように縮んでいく。やがて、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２と一致する。   The determination area 52 and the attention area 53 are, for example, concentric circles (or concentric ellipses), respectively. For example, the radius R53 of the attention area 53 is larger than the radius R52 of the determination area 52. As time elapses, the radius R53 of the attention area 53 becomes smaller. That is, as time elapses, the attention area 53 shrinks so as to approach the size of the determination area 52. Soon, the radius R53 of the attention area 53 coincides with the radius R52 of the determination area 52.

図８は、注目領域５３の半径Ｒ５３と判定領域５２の半径Ｒ５２とが一致した場合のゲーム画面５０の一例を示す図である。本実施形態のゲームでは、例えば、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングは、ユーザ１００が、ゲームキャラクタ５１と類似の動作をすべき、又は、ゲームキャラクタ５１と類似のポーズをとるべきタイミング（以降、単に基準タイミングという。）になっている。   FIG. 8 is a diagram showing an example of the game screen 50 when the radius R53 of the attention area 53 and the radius R52 of the determination area 52 match. In the game according to the present embodiment, for example, the timing at which the radius R53 of the attention area 53 and the radius R52 of the determination area 52 coincide with each other should be similar to that of the game character 51. It is a timing at which a similar pose should be taken (hereinafter simply referred to as a reference timing).

このため、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングで、ユーザ１００がゲームキャラクタ５１と類似の動作をした場合、又は、ゲームキャラクタ５１と類似のポーズを取っていた場合、このユーザ１００に得点が加算される。なお、ユーザ１００が動作をしたタイミング又はポーズをとったタイミングと、基準タイミングと、のずれ具合に応じて加算される得点が異なるようにしてもよい。   Therefore, when the user 100 performs a similar action to the game character 51 at the timing when the radius R53 of the attention area 53 and the radius R52 of the determination area 52 coincide with each other, or has taken a pose similar to the game character 51. In this case, a score is added to the user 100. It should be noted that the score to be added may be different depending on the deviation between the timing at which the user 100 has acted or paused and the reference timing.

例えば、図８の例の場合、ユーザ１００が、ゲームキャラクタ５１と同様に両手を上げていた場合、ユーザ１００に得点が加算される。加算された得点は、例えば、ゲージ５４に反映される。例えば、ゲージ５４のうち斜線で示す領域が、ユーザ１００の得点を示す。また例えば、得点が加算された場合、観客キャラクタ５６が喜ぶようなアニメーション処理が行われる。   For example, in the case of the example in FIG. 8, when the user 100 raises both hands like the game character 51, a score is added to the user 100. The added score is reflected on the gauge 54, for example. For example, the hatched area of the gauge 54 indicates the score of the user 100. In addition, for example, when the score is added, an animation process that makes the audience character 56 happy is performed.

一方、例えば、基準タイミングにおいて、ユーザ１００が、ゲームキャラクタ５１と類似のポーズを取ることができなかった場合、このユーザ１００の得点が減少する。例えば、ゲージ５４のうち斜線で示す領域が、得点の減少に伴って減少する。また例えば、得点が減少された場合、観客キャラクタ５６が、がっかりするようなアニメーション処理が行われる。   On the other hand, for example, when the user 100 cannot take a pose similar to the game character 51 at the reference timing, the score of the user 100 decreases. For example, the hatched area of the gauge 54 decreases as the score decreases. Further, for example, when the score is decreased, an animation process is performed in which the spectator character 56 is disappointed.

ユーザ１００の得点が所定範囲（例えば、０）になった場合、ゲームオーバーとなる。また、ユーザ１００が連続して得点を加算した場合、この回数（コンボ数）がメッセージ５５として表示される。   When the score of the user 100 falls within a predetermined range (for example, 0), the game is over. Further, when the user 100 continuously adds scores, this number of times (the number of combos) is displayed as a message 55.

基準タイミングが到来した後、注目領域５３の半径Ｒ５３は、再び、判定領域５２の半径Ｒ５２よりも大きくなる。つまり、注目領域５３と判定領域５２との大小関係は、図７のように元に戻る。そして、注目領域５３の半径Ｒ５３は、次の基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ小さくなっていく。以降のゲーム処理は、上記の繰り返しとなる。   After the reference timing arrives, the radius R53 of the attention area 53 becomes larger than the radius R52 of the determination area 52 again. That is, the magnitude relationship between the attention area 53 and the determination area 52 is restored as shown in FIG. Then, the radius R53 of the attention area 53 gradually decreases as the next reference timing approaches. Subsequent game processing is repeated as described above.

また、本実施形態においては、ゲーム装置２０が実行するゲームには、難易度が設定される。難易度は、例えば、ゲームプレイの困難性の程度を示す数値である。難易度が比較的高い場合、例えば、基準タイミングが訪れる間隔が短くなる。この場合、ユーザ１００は、短い時間でたくさんポーズをとらなければならないので、ゲームが比較的難しくなる。一方、難易度が比較的低い場合、例えば、基準タイミングが訪れる間隔が長くなる。この場合、ユーザ１００は、あまりたくさんポーズをとらなくてよいので、ゲームが比較的簡単になる。   In the present embodiment, the difficulty level is set for the game executed by the game apparatus 20. The difficulty level is a numerical value indicating the degree of difficulty in game play, for example. When the degree of difficulty is relatively high, for example, the interval at which the reference timing comes is shortened. In this case, since the user 100 has to pose many poses in a short time, the game becomes relatively difficult. On the other hand, when the difficulty level is relatively low, for example, the interval at which the reference timing comes increases. In this case, since the user 100 does not have to pose too many times, the game becomes relatively simple.

なお、上記では、基準タイミングが近づくにつれて、注目領域５３の半径Ｒ５３が少しずつ小さくなっていく例を挙げたが、ゲーム画面５０は、基準タイミングを案内することができる表示をすればよい。例えば、基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ大きくなっていくようにしてもよい。他にも例えば、基準タイミングを案内する画像（案内画像）が、基準タイミングに対応する領域に近づいていくようにしてもよい。   In the above example, the radius R53 of the attention area 53 gradually decreases as the reference timing approaches, but the game screen 50 may be displayed so that the reference timing can be guided. For example, the radius R53 of the attention area 53 may gradually increase as the reference timing approaches. In addition, for example, an image that guides the reference timing (guide image) may approach an area corresponding to the reference timing.

本実施形態においては、上記のように実行されるゲームが所定の状況になり、かつ、ユーザ１００が発した音声の特徴情報が所定の特徴を示しているである場合、ゲームの状況とユーザ１００の状態との組み合わせに対応付けられたゲーム処理が実行される。音声の特徴情報とは、音声の特徴を示す指標の役割を果たし、例えば、音声の音量や波形の振幅のような音の特徴を定量的に評価するための特徴量である。   In the present embodiment, when the game executed as described above is in a predetermined situation and the feature information of the voice uttered by the user 100 indicates the predetermined feature, the game situation and the user 100 The game process associated with the combination with the state is executed. The audio feature information serves as an index indicating the audio features, and is a feature amount for quantitatively evaluating the audio features such as the audio volume and the waveform amplitude, for example.

例えば、得点が少なくなった状態で、ユーザ１００が「まだまだ！」という大きく高揚するような音声を発した場合、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理（ゲーム処理）が実行される。ユーザ１００が、このような大きな声を発する場合、得点が少なくなってもゲームクリアをあきらめていないことが考えられるので、このユーザ１００が、観客キャラクタ５６の応援を受けながら心地よくゲームをプレイすることができるようになる。   For example, in a state where the score is low, when the user 100 utters a sound that greatly increases “more!”, An animation process (game process) is performed in which the audience character 56 supports the user 100. . When the user 100 utters such a loud voice, it is considered that the game is not given up even if the score is low, so that the user 100 can play the game comfortably while receiving the support of the audience character 56. Will be able to.

他にも例えば、得点が少なくなった状態で、ユーザ１００が「もうだめだ」という小さく残念そうな音声を発した場合、ゲームの難易度を低下させるゲーム処理が実行される。ユーザ１００が、このような小さな声を発する場合、得点が少なくなりゲームクリアをあきらめかけていることが考えられるので、例えば、基準タイミングが訪れる時間間隔を広げるようなゲーム処理が実行され、このユーザ１００が、ゲームをあきらめずにプレイすることができるようになる。   In addition, for example, when the user 100 utters a small and disappointing voice saying “It ’s no good” in a state where the score is low, a game process that reduces the difficulty of the game is executed. When the user 100 utters such a small voice, it is considered that the score is low and the game is about to be given up, so for example, a game process is executed to widen the time interval for the reference timing, and this user is executed. 100 will be able to play without giving up the game.

以降、上記の機能を実現する技術について詳細に説明する。まず、位置検出装置１及びゲーム装置２０の構成について説明する。   Hereinafter, a technique for realizing the above function will be described in detail. First, the configuration of the position detection device 1 and the game device 20 will be described.

［１−４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。 [1-4. Configuration of position detection device]
FIG. 9 is a diagram illustrating a hardware configuration of the position detection device 1. As illustrated in FIG. 9, the position detection device 1 includes a control unit 10, a storage unit 11, an imaging unit 12, a depth measurement unit 13, a voice input unit 14, and a communication interface unit 15. Each component of the position detection apparatus 1 is connected by a bus 16 so that data can be transmitted and received.

制御部１０は、例えばＣＰＵ（Central
Processing Unit）等から構成される。制御部
１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。 For example, the control unit 10 includes a CPU (Central
Processing Unit). The control unit 10 controls each unit of the position detection device 1 based on an operating system and various programs stored in the storage unit 11.

記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいて３次元位置情報を生成するためのプログラムを記憶する。   The storage unit 11 stores an operating system, a shooting unit 12, a program for operating the depth measurement unit 13, and various parameters. In addition, the storage unit 11 stores a program for generating three-dimensional position information based on the captured image and the depth image.

撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、ユーザ１００の撮影画像を生成する。撮影画像は、例えば、記憶部１１に記憶される。   The photographing unit 12 includes a CCD camera 2 and the like. The imaging unit 12 generates a captured image of the user 100, for example. The captured image is stored in the storage unit 11, for example.

深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。深度画像は、例えば、記憶部１１に記憶される。   The depth measurement unit 13 includes the infrared sensor 3 and the like. For example, the depth measurement unit 13 generates a depth image based on the flight time obtained by the infrared sensor 3. The depth image is stored in the storage unit 11, for example.

制御部１０は、先述のように、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、３次元位置情報を生成する。具体的には、まず、制御部１０は、撮影画像に基づいてユーザ１００の各部（例えば、頭や両ひじ）に対応する画素の位置を特定する。   As described above, the control unit 10 generates three-dimensional position information based on the captured image generated by the imaging unit 12 and the depth image generated by the depth measurement unit 13. Specifically, first, the control unit 10 specifies the position of a pixel corresponding to each unit (for example, the head or both elbows) of the user 100 based on the captured image.

次いで、制御部１０は、この特定された画素のＲＧＢＤ値に基づいて座標変換処理を実行して３次元座標を算出する。この座標変換処理は、先述のように、行列演算に基づいた処理である。これらの一連の処理によって、３次元位置情報が、所定時間毎（例えば、１／６０秒毎）に生成される。   Next, the control unit 10 calculates a three-dimensional coordinate by executing a coordinate conversion process based on the RGBD value of the identified pixel. This coordinate conversion process is a process based on a matrix operation as described above. Through a series of these processes, three-dimensional position information is generated every predetermined time (for example, every 1/60 seconds).

音声入力部１４は、マイク４等から構成される。例えば、音声入力部１４は、複数のマイクロフォン（いわゆるアレイマイク。例えば、３つ。）に基づいて検出した音声のずれ時間に基づいて、ユーザ１００が音声を発した位置を特定することができる。   The voice input unit 14 includes a microphone 4 and the like. For example, the voice input unit 14 can specify the position where the user 100 has uttered voice based on the deviation time of voice detected based on a plurality of microphones (so-called array microphones, for example, three).

音声入力部１４が受け付けたユーザ１００の音声を示す音声情報は、ゲーム装置２０に送信される。位置検出装置１からゲーム装置２０に対して送信される音声情報としては、所定周波数ごとにサンプリングされたデジタル形式のデータであってもよいし、音声の波形を示すアナログ形式のデータであってもよい。   Voice information indicating the voice of the user 100 received by the voice input unit 14 is transmitted to the game apparatus 20. The audio information transmitted from the position detection device 1 to the game device 20 may be digital data sampled at a predetermined frequency, or analog data indicating a sound waveform. Good.

また、音声入力部１４のマイク４としては、ＣＣＤカメラ２の視線方向と同じ方向にある発音源からの音を検知する単一指向性のマイクを適用可能である。   As the microphone 4 of the audio input unit 14, a unidirectional microphone that detects sound from a sound source in the same direction as the line of sight of the CCD camera 2 can be applied.

また、音声入力部１４は、所定周波数成分の音成分を除去するバンドパスフィルタを備えていてもよい。例えば、ゲーム音楽に対応する周波数成分を除去し、人間の声のみを検出するようにしてもよい。   The voice input unit 14 may include a bandpass filter that removes a sound component having a predetermined frequency component. For example, frequency components corresponding to game music may be removed and only human voices may be detected.

即ち、例えば、ユーザ１００がゲームをプレイする部屋には、ゲーム音楽が出力されているので、このゲーム音楽やノイズを除去することによって、ユーザ１００の音声のみを取得することができる。特定の音を除去する手法としては、フィードバック回路によってキャンセリングを行う方法等、公知の種々の手法を適用可能である。また例えば、位置検出装置１ではなくゲーム装置２０によって、ゲーム音楽の音成分が除去される処理が行われるようにしてもよい。   That is, for example, game music is output in a room where the user 100 plays a game, so that only the voice of the user 100 can be acquired by removing the game music and noise. As a method for removing a specific sound, various known methods such as a method of canceling with a feedback circuit can be applied. Further, for example, the game device 20 instead of the position detection device 1 may perform processing for removing the sound component of the game music.

通信インタフェース部１５は、ゲーム装置２０に対して３次元位置情報や音声情報等の各種データを送信するためのインタフェースである。   The communication interface unit 15 is an interface for transmitting various data such as three-dimensional position information and voice information to the game apparatus 20.

［１−５．ゲーム装置の構成］
ゲーム装置２０は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯用ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータによって実現される。図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。 [1-5. Configuration of game device]
The game device 20 is realized by, for example, a home game machine (stationary game machine), a portable game machine, a mobile phone, a personal digital assistant (PDA), or a personal computer. FIG. 10 is a diagram illustrating a hardware configuration of the game apparatus 20. As shown in FIG. 10, the game apparatus 20 includes a control unit 21, a main storage unit 22, an auxiliary storage unit 23, an optical disc playback unit 24, a communication interface unit 25, an operation unit 26, a display unit 27, and an audio output unit 28. Including.

制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他の
プログラムに従って各種処理を実行する。 The control unit 21 includes, for example, a CPU, a GPU (Graphics Processing Unit), an SPU (Sound Processing Unit), and the like. The control unit 21 executes various processes according to the operating system and other programs.

主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。また例えば、主記憶部２２は、位置検出装置１から受信される３次元位置情報を、受信時間と対応付けて一時的に記憶する。   The main storage unit 22 includes, for example, a RAM (Random Access Memory). The main storage unit 22 stores programs and data read from the auxiliary storage unit 23 or the optical disc (information storage medium). The main storage unit 22 is also used as a work memory that stores data necessary in the course of processing. For example, the main storage unit 22 temporarily stores the three-dimensional position information received from the position detection device 1 in association with the reception time.

補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。補助記憶部２３は、例えば、位置検出装置１から受信された音声情報を記憶する。   The auxiliary storage unit 23 includes, for example, a hard disk device (information storage medium). The auxiliary storage unit 23 stores, for example, audio information received from the position detection device 1.

光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。   The optical disc playback unit 24 reads programs and data stored on the optical disc. For example, a game program is stored on the optical disc.

通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。ゲーム装置２０は、通信インタフェース部２５を介して３次元位置情報や音声情報を、位置検出装置１から取得する。   The communication interface unit 25 is an interface for connecting the game apparatus 20 to a communication network. The game apparatus 20 acquires three-dimensional position information and audio information from the position detection apparatus 1 via the communication interface unit 25.

操作部２６は、ユーザ１００が操作を行うためのものである。操作部２６は、例えばゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。   The operation unit 26 is for the user 100 to perform an operation. The operation unit 26 includes, for example, a game controller, a touch panel, a mouse, or a keyboard.

表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、制御部２１の指示に従って画面を表示する。   The display unit 27 is, for example, a home television receiver or a liquid crystal display panel. The display unit 27 displays a screen according to instructions from the control unit 21.

音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。音声出力部２８は、補助記憶部２３から読み出された音声情報や、光ディスクに記憶されたゲーム音楽等を制御部２１の指示に従って出力する。   The audio output unit 28 includes, for example, a speaker or headphones. The audio output unit 28 outputs audio information read from the auxiliary storage unit 23, game music stored on the optical disc, and the like according to instructions from the control unit 21.

上記のように、本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えば、メモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。   As described above, in the present embodiment, a case will be described in which a program and data necessary for executing a game are supplied to the game apparatus 20 via an optical disc. Note that these programs and data may be supplied to the game apparatus 20 via another information storage medium (for example, a memory card). Alternatively, the program and data may be supplied to the game apparatus 20 from a remote location via a communication network.

ゲーム装置２０では、光ディスクから読み出されたゲームプログラムによってゲームが実行される。例えば、ゲーム装置２０においては、ゲームキャラクタ５１と同じポーズをとるようなダンスゲーム（図７、図８）が実行される。   In the game apparatus 20, a game is executed by a game program read from the optical disc. For example, in the game device 20, a dance game (FIGS. 7 and 8) that takes the same pose as the game character 51 is executed.

［１−６．ゲームシステムにおいて実現される機能］
次に、ゲーム装置２０において実現される機能について説明する。図１１は、ゲーム装置２０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図１１に示すように、ゲーム装置２０は、ゲームデータ記憶部６０、特徴情報取得部６２、基準特徴情報取得部６４、特徴情報比較部６６、基準ゲーム状況情報取得部６８、ゲーム状況比較部７０、及びゲーム実行部７２を含む。 [1-6. Functions realized in the game system]
Next, functions realized in the game apparatus 20 will be described. FIG. 11 is a functional block diagram showing functions related to the present invention among the functions realized by the game apparatus 20. As shown in FIG. 11, the game apparatus 20 includes a game data storage unit 60, a feature information acquisition unit 62, a reference feature information acquisition unit 64, a feature information comparison unit 66, a reference game situation information acquisition unit 68, and a game situation comparison unit 70. And a game execution unit 72.

［１−６−１．ゲームデータ記憶部］
ゲームデータ記憶部６０は、例えば、主記憶部２２、補助記憶部２３、及び光ディスクを主として実現される。ゲームデータ記憶部６０は、ゲームを実行するために必要な情報やデータを記憶する。例えば、ゲームデータ記憶部６０は、ゲームキャラクタ５１の動きを示すアニメーション情報を記憶する。 [1-6-1. Game data storage unit]
The game data storage unit 60 is realized mainly using, for example, the main storage unit 22, the auxiliary storage unit 23, and an optical disc. The game data storage unit 60 stores information and data necessary for executing the game. For example, the game data storage unit 60 stores animation information indicating the movement of the game character 51.

また例えば、本実施形態に係るゲームは、主に、ゲームデータ記憶部６０に記憶される以下の６つの情報に基づいて実行される。
（１）判定基準情報（図１２）
（２）基準タイミング情報（図１３）
（３）現在状況情報（図１４）
（４）基準特徴情報（図１５）
（５）基準ゲーム状況情報（図１６）
（６）ゲーム処理情報（図１７） Further, for example, the game according to the present embodiment is executed mainly based on the following six pieces of information stored in the game data storage unit 60.
(1) Criteria information (FIG. 12)
(2) Reference timing information (FIG. 13)
(3) Current status information (Figure 14)
(4) Standard feature information (FIG. 15)
(5) Standard game situation information (FIG. 16)
(6) Game processing information (FIG. 17)

以下、上記の６つの情報について説明する。   Hereinafter, the above six pieces of information will be described.

［判定基準情報］
例えば、ゲームデータ記憶部６０は、３次元位置情報に基づいてユーザ１００の動作又はポーズを判断する際の基準（条件）となる判定基準情報を記憶する。 [Criteria information]
For example, the game data storage unit 60 stores determination criterion information that serves as a criterion (condition) for determining the action or pose of the user 100 based on the three-dimensional position information.

図１２は、判定基準情報の一例を示す図である。図１２に示すように、判定基準情報は、例えば、ユーザ１００の動作又はポーズを識別する情報と、ユーザ１００の３次元位置情報に関する判定基準と、を対応付けたものである。判定基準とは、３次元位置情報が満たすべき条件である。判定基準としては、例えば、３次元位置情報に含まれるユーザ１００の各部位の３次元座標の変化速度、変化量、変化方向を示す情報や、３次元空間におけるユーザ１００の各部位の位置関係を示す情報である。   FIG. 12 is a diagram illustrating an example of determination criterion information. As illustrated in FIG. 12, the determination criterion information is information that associates, for example, information for identifying the motion or pose of the user 100 and a determination criterion regarding the three-dimensional position information of the user 100. The determination criterion is a condition that the three-dimensional position information should satisfy. As a determination criterion, for example, information indicating the change speed, change amount, and change direction of the three-dimensional coordinates of each part of the user 100 included in the three-dimensional position information, and the positional relationship between the parts of the user 100 in the three-dimensional space. It is information to show.

制御部２１は、３次元位置情報が示す各部位の変化や位置関係が、判定基準情報に含まれる判定基準を満たすか否か、に基づいてユーザ１００の動作やポーズを判定する。例えば、ユーザ１００の両ひじ及び両手の３次元座標が、上方に所定速度で所定距離の変化をした場合、制御部２１は、ユーザ１００が両手を上げたと判定する。また例えば、ユーザ１００の頭の３次元座標と両手の３次元座標とが所定の位置関係にあった場合、制御部２１は、ユーザ１００がファイティングポーズをとっていると判定する。   The control unit 21 determines the action and pose of the user 100 based on whether or not the change or positional relationship of each part indicated by the three-dimensional position information satisfies the determination criterion included in the determination criterion information. For example, when the three-dimensional coordinates of both the elbows and both hands of the user 100 change a predetermined distance upward at a predetermined speed, the control unit 21 determines that the user 100 has raised both hands. For example, when the three-dimensional coordinates of the head of the user 100 and the three-dimensional coordinates of both hands are in a predetermined positional relationship, the control unit 21 determines that the user 100 is in a fighting pose.

［基準タイミング情報］
また、ゲームデータ記憶部６０は、ユーザ１００が、どのタイミングでどのような動作をすべきか又はポーズをとるべきか、を識別するための基準タイミング情報を記憶する。 [Reference timing information]
In addition, the game data storage unit 60 stores reference timing information for identifying what kind of operation the user 100 should perform or at what timing.

図１３は、基準タイミング情報の一例を示す図である。図１３に示すように、基準タイミング情報には、基準タイミング（時間）と、ユーザ１００がすべき動作又はポーズを識別する情報と、が対応付けられている。基準タイミングは、例えば、ゲームが開始されてからの経過時間が格納される。図１３のデータ格納例では、ゲームが開始されてから時間ｔ１が経過した場合、ユーザ１００は両手を上げるべきであることを示す。   FIG. 13 is a diagram illustrating an example of the reference timing information. As illustrated in FIG. 13, the reference timing information is associated with reference timing (time) and information for identifying an action or pause to be performed by the user 100. As the reference timing, for example, an elapsed time from the start of the game is stored. In the data storage example of FIG. 13, when the time t1 has elapsed since the game was started, it indicates that the user 100 should raise both hands.

先述したアニメーション情報は、基準タイミング情報に基づいて作成されている。即ち、基準タイミングが訪れた場合、ゲームキャラクタ５１が、この基準タイミングに対応付けられている動作又はポーズと類似した動作又はポーズをとるようになっている。   The animation information described above is created based on the reference timing information. That is, when the reference timing arrives, the game character 51 takes an action or pose similar to the action or pose associated with the reference timing.

ゲーム実行部７２は、アニメーション情報や基準タイミング情報に基づいてゲーム画面５０の表示制御を行う。具体的には、ゲーム実行部７２は、例えば、アニメーション情報に基づいてゲームキャラクタ５１の画像を表示させる。また例えば、ゲーム実行部７２は、現在の時間と基準タイミングとの時間差に基づいて、注目領域５３の半径Ｒ５３の大きさ制御する。   The game execution unit 72 performs display control of the game screen 50 based on animation information and reference timing information. Specifically, the game execution unit 72 displays an image of the game character 51 based on, for example, animation information. For example, the game execution unit 72 controls the radius R53 of the attention area 53 based on the time difference between the current time and the reference timing.

［現在状況情報］
また、ゲームデータ記憶部６０は、ゲーム状況を示すゲーム状況情報を現在状況情報として記憶する。なお、本実施形態における「ゲーム状況」とは、ゲーム画面５０の表示状況やゲームの進行状況（経過状況）を意味する。 [Current status information]
Further, the game data storage unit 60 stores game situation information indicating a game situation as current situation information. The “game situation” in the present embodiment means the display situation of the game screen 50 and the progress situation (elapsed situation) of the game.

図１４は、現在状況情報の一例を示す図である。図１４に示すように、例えば、下記に示す情報が現在状況情報に含まれる。
（１）得点情報（例えば、現在のユーザ１００の得点や、コンボ数を示す情報等）
（２）時間情報（例えば、ステージクリアまでの残り時間や、ステージクリアまでに訪れる基準タイミングの回数等）
（３）表示情報（例えば、判定領域５２の半径Ｒ５２や注目領域５３の半径Ｒ５２等）
（４）ゲーム経過情報（例えば、得点が加算又は減少されていく様子を示す情報や、ミスをした回数を示す情報等） FIG. 14 is a diagram illustrating an example of the current status information. As shown in FIG. 14, for example, the following information is included in the current situation information.
(1) Score information (for example, current user 100 score, information indicating the number of combos, etc.)
(2) Time information (for example, the remaining time until the stage is cleared and the number of reference timings to be reached before the stage is cleared)
(3) Display information (for example, radius R52 of determination area 52, radius R52 of attention area 53, etc.)
(4) Game progress information (for example, information indicating how points are added or decreased, information indicating the number of mistakes, etc.)

なお、実行中のゲームにおけるゲーム状況は、例えば、上記の現在状況情報に基づいて判別される。ゲーム状況の判別方法は、現在状況情報に格納される各値に基づいて予め定められた方法で判別されるようにすればよい。例えば、得点情報が示す得点が基準値よりも低いか否かによって、ゲーム状況が判定される。また例えば、残り時間が所定時間以内であるか否かによって、ゲーム状況が判定される。   Note that the game situation in the game being executed is determined based on the current situation information, for example. The game situation determination method may be determined by a predetermined method based on each value stored in the current situation information. For example, the game situation is determined based on whether or not the score indicated by the score information is lower than a reference value. Further, for example, the game situation is determined depending on whether or not the remaining time is within a predetermined time.

ゲームデータ記憶部６０に記憶される現在状況情報は、例えば、後述するゲーム実行部７２によって内容が更新される。更新された現在状況情報は、例えば、更新時間と対応付けられてゲームデータ記憶部６０に記憶されるようにしてもよい。この場合、現在状況情報が更新される度に、現在状況情報が蓄積されることになる。これにより、ゲーム装置２０は、現在及び過去のゲーム状況を把握することができる。   The content of the current situation information stored in the game data storage unit 60 is updated by, for example, a game execution unit 72 described later. The updated current situation information may be stored in the game data storage unit 60 in association with the update time, for example. In this case, every time the current status information is updated, the current status information is accumulated. Thereby, the game apparatus 20 can grasp the current and past game situations.

なお、現在状況情報のデータ形式は、ゲーム作成者によって予め定められたものであればよい。つまり、ゲーム状況を示すための情報の形式は、図１４に示す例に限られない。ゲームの状況を示すための情報の形式は、ゲーム装置２０において実行されるゲームの種類に応じて適宜変更可能である。   Note that the data format of the current situation information only needs to be predetermined by the game creator. That is, the format of information for indicating the game situation is not limited to the example shown in FIG. The format of the information for indicating the game situation can be changed as appropriate according to the type of game executed in the game apparatus 20.

［基準特徴情報］
また例えば、ゲームデータ記憶部６０は、音声の特徴情報を示す基準特徴情報を記憶する。音声の特徴情報とは、ゲーム装置２０がユーザ１００の状態を判定する際に使用される特徴パラメータである。基準特徴情報とは、ゲーム実行部７２がゲーム処理を実行するか否かの条件となる音声の特徴情報である。 [Standard feature information]
In addition, for example, the game data storage unit 60 stores reference feature information that indicates audio feature information. The audio feature information is a feature parameter used when the game apparatus 20 determines the state of the user 100. The reference feature information is sound feature information that is a condition for determining whether or not the game execution unit 72 executes the game process.

図１５は、基準特徴情報のデータ格納例を示す図である。図１５に示すように、基準特徴情報は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報（例えば、基準特徴量）と、が対応付けられて格納される。本実施形態においては、基準特徴情報が示す音声の特徴情報が、音声の音量に関する特徴量情報を含む場合を説明する。音声情報が示す音量は、例えば、音声の波形の振幅に基づいて取得される。   FIG. 15 is a diagram illustrating an example of data storage of reference feature information. As shown in FIG. 15, for example, the reference feature information stores the state of the user 100 indicated by the voice and the voice feature information (for example, the reference feature amount) in association with each other. In the present embodiment, a case will be described in which the audio feature information indicated by the reference feature information includes feature amount information related to the sound volume. The volume indicated by the audio information is acquired based on the amplitude of the audio waveform, for example.

図１５のデータ格納例では、例えば、音声情報が示す音声の音量が、１０段階に分けられている。以降では、１段階目が最も音量が小さく、１０段階目が最も音量が大きい場合を説明する。例えば、音量が比較的小さい場合（例えば、１段階目〜３段階目）、ユーザ１００の状態が「あきらめている」こと示す。また例えば、音量が比較的中くらいの場合（例えば、４段階目〜７段階目）、ユーザ１００の状態が「頑張っている」ことを示す。また例えば、音量が比較的大きい場合（例えば、８段階目〜１０段階目）、ユーザ１００の状態が「パニックになっている」ことを示す。   In the data storage example of FIG. 15, for example, the sound volume indicated by the sound information is divided into 10 levels. Hereinafter, the case where the first stage has the lowest volume and the tenth stage has the highest volume will be described. For example, when the volume is relatively low (for example, the first to third stages), it indicates that the state of the user 100 is “giving up”. Further, for example, when the volume is relatively medium (for example, the fourth to seventh stages), it indicates that the state of the user 100 is “working hard”. Further, for example, when the volume is relatively high (for example, the eighth to tenth stages), it indicates that the state of the user 100 is “panic”.

［基準ゲーム状況情報］
また、ゲームデータ記憶部６０は、基準ゲーム状況情報を記憶する。基準ゲーム状況情報は、予め定められた（所定の）ゲーム状況を示すためのものである。基準ゲーム状況情報が示すゲーム状況は、ゲーム実行部７２によってゲーム処理が実行されるべきタイミングを示すゲーム状況である。 [Standard game situation information]
The game data storage unit 60 stores reference game situation information. The reference game situation information is for indicating a predetermined (predetermined) game situation. The game situation indicated by the reference game situation information is a game situation indicating the timing at which the game process should be executed by the game execution unit 72.

図１６は、基準ゲーム状況情報のデータ格納例を示す図である。図１６に示すように、基準ゲーム状況情報には、ゲーム状況を識別する情報と、予め定められたゲーム状況を示すゲーム状況情報と、が対応付けられて格納される。ゲーム状況情報のデータ格納例は、図１４に示す現在状況情報と同様であるので説明を省略する。   FIG. 16 is a diagram illustrating a data storage example of the reference game situation information. As shown in FIG. 16, information for identifying a game situation and game situation information indicating a predetermined game situation are stored in the reference game situation information in association with each other. An example of data storage of game situation information is the same as the current situation information shown in FIG.

本実施形態においては、基準ゲーム状況情報に格納されるゲーム状況と、現在状況情報が示す現在のゲーム状況と、の類似具合を示す類似度（詳細後述）が所定範囲である場合、基準ゲーム状況情報が示すゲーム状況である、と判定される。例えば、図１６の場合、ゲーム状況情報Ａが示すゲーム状況と、現在状況情報が示すゲーム状況と、の類似度が所定範囲である場合、実行中のゲームの状況が「ピンチ」であると判定される。   In the present embodiment, when the similarity (details will be described later) indicating the degree of similarity between the game situation stored in the reference game situation information and the current game situation indicated by the current situation information is within a predetermined range, It is determined that the game situation indicated by the information is present. For example, in the case of FIG. 16, when the similarity between the game situation indicated by the game situation information A and the game situation indicated by the current situation information is within a predetermined range, the situation of the game being executed is determined to be “pinch”. Is done.

［ゲーム処理情報］
また、本実施形態においては、ゲームデータ記憶部６０は、ゲーム処理情報を記憶する。 [Game processing information]
In the present embodiment, the game data storage unit 60 stores game processing information.

図１７は、ゲーム処理情報のデータ格納例を示す図である。図１７に示すように、ゲーム処理情報には、例えば、ユーザ１００の状態を示す情報と、現在のゲーム状況を示す情報と、ゲーム実行部７２が実行すべきゲーム処理と、の組み合わせが格納される。   FIG. 17 is a diagram illustrating a data storage example of the game processing information. As shown in FIG. 17, in the game processing information, for example, a combination of information indicating the state of the user 100, information indicating the current game situation, and game processing to be executed by the game execution unit 72 is stored. The

ゲーム処理情報に含まれるユーザ１００の状態とは、即ち、特徴情報比較部６６の比較結果である。ゲーム処理情報に含まれる現在のゲーム状況とは、即ち、ゲーム状況比較部７０の比較結果である。   The state of the user 100 included in the game processing information is a comparison result of the feature information comparison unit 66. The current game situation included in the game processing information is a comparison result of the game situation comparison unit 70.

つまり、本実施形態においては、ゲーム処理情報に含まれる組み合わせによって、ゲーム実行部７２が実行すべきゲーム処理が特定される。例えば、ユーザ１００が頑張っている状態であり、かつ、実行中のゲーム状況が「ピンチ」の場合、ゲーム実行部７２は、応援エフェクト処理（例えば、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理を行ったり、音声出力部２８から歓声を出力させる等）を実行する。   That is, in the present embodiment, the game process to be executed by the game execution unit 72 is specified by the combination included in the game process information. For example, when the user 100 is working hard and the game state being executed is “pinch”, the game execution unit 72 performs a support effect process (for example, an animation in which the spectator character 56 supports the user 100). For example, processing or outputting a cheer from the audio output unit 28).

［１−６−２．特徴情報取得部］
特徴情報取得部６２は、制御部２１を主として実現される。特徴情報取得部６２は、音声入力手段（音声入力部１４）から入力される音声の特徴情報を取得する。例えば、特徴情報取得部６２は、音声情報が示す音声の音量（特徴量）に関する情報を取得する。先述のように、音声の音量に関する特徴量情報は、例えば、音声情報の波形の振幅に基づいて取得される。例えば、所定時間の音量の平均値が特徴情報として取得される。 [1-6-2. Feature information acquisition unit]
The feature information acquisition unit 62 is realized mainly by the control unit 21. The feature information acquisition unit 62 acquires voice feature information input from the voice input unit (voice input unit 14). For example, the feature information acquisition unit 62 acquires information regarding the sound volume (feature amount) indicated by the sound information. As described above, the feature amount information regarding the sound volume is acquired based on the amplitude of the waveform of the sound information, for example. For example, the average value of the volume for a predetermined time is acquired as the feature information.

［１−６−３．基準特徴情報取得部］
基準特徴情報取得部６４は、制御部２１を主として実現される。基準特徴情報取得部６４は、予め定められた基準特徴情報を記憶する手段から基準特徴情報を取得する。例えば、基準特徴情報取得部６４は、ゲームデータ記憶部６０から基準特徴情報を取得する。 [1-6-3. Standard feature information acquisition unit]
The reference feature information acquisition unit 64 is realized mainly by the control unit 21. The reference feature information acquisition unit 64 acquires reference feature information from a means for storing predetermined reference feature information. For example, the reference feature information acquisition unit 64 acquires reference feature information from the game data storage unit 60.

［１−６−４．特徴情報比較部］
特徴情報比較部６６は、制御部２１を主として実現される。特徴情報比較部６６は、音声入力手段（音声入力部１４）から入力される音声の特徴情報と、基準特徴情報と、を比較する。特徴情報比較部６６は、例えば、音声入力部１４から入力される音声の特徴量情報と、基準特徴情報に含まれる特徴量情報と、を比較する。 [1-6-4. Feature information comparison unit]
The feature information comparison unit 66 is realized mainly by the control unit 21. The feature information comparison unit 66 compares the feature information of the voice input from the voice input unit (speech input unit 14) with the reference feature information. For example, the feature information comparison unit 66 compares the feature amount information of the voice input from the voice input unit 14 with the feature amount information included in the reference feature information.

［１−６−５．基準ゲーム状況情報取得部］
基準ゲーム状況情報取得部６８は、制御部２１を主として実現される。基準ゲーム状況情報取得部６８は、予め定められた基準ゲーム状況情報を記憶する手段から基準ゲーム状況情報を取得する。例えば、基準ゲーム状況情報取得部６８は、基準ゲーム状況情報をゲームデータ記憶部６０から取得する。 [1-6-5. Standard game situation information acquisition section]
The reference game situation information acquisition unit 68 is realized mainly by the control unit 21. The reference game situation information acquisition unit 68 acquires reference game situation information from a means for storing predetermined reference game situation information. For example, the reference game situation information acquisition unit 68 acquires the reference game situation information from the game data storage unit 60.

［１−６−６．ゲーム状況比較部］
ゲーム状況比較部７０は、制御部２１を主として実現される。ゲーム状況比較部７０は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する。例えば、ゲーム状況比較部７０は、ゲームデータ記憶部６０に記憶された現在状況情報を取得して、基準ゲーム状況情報が示すゲーム状況と比較する。この比較の方法としては、先述のように例えば、互いの情報の類似具合を示す類似度を用いた方法が挙げられる。 [1-6-6. Game situation comparison section]
The game situation comparison unit 70 is realized mainly by the control unit 21. The game situation comparison unit 70 compares the game situation in the game being executed with the game situation indicated by the reference game situation information. For example, the game situation comparison unit 70 acquires the current situation information stored in the game data storage unit 60 and compares it with the game situation indicated by the reference game situation information. As a method of this comparison, as described above, for example, a method using similarity indicating the degree of similarity of each other's information can be mentioned.

類似度は、例えば、次のようにして算出される。例えば、ゲーム状況比較部７０は、ゲーム状況に関するｎ個の指標値を現在のゲーム状況に関して取得する。ここで、指標値はゲーム状況の特徴を表すような数値であり、ゲーム状況が類似しているか否かを評価するための数値である。同様に、制御部２１は、上記のｎ個の指標値を、基準ゲーム状況情報が示すゲーム状況に関しても取得する。   For example, the similarity is calculated as follows. For example, the game situation comparison unit 70 acquires n index values related to the game situation regarding the current game situation. Here, the index value is a numerical value that represents the characteristics of the game situation, and is a numerical value for evaluating whether or not the game situation is similar. Similarly, the control unit 21 acquires the n index values for the game situation indicated by the reference game situation information.

そして、上記のｎ個の指標値をｎ次元のベクトルとみなして、ゲーム状況比較部７０は、現在のゲーム状況に対応するベクトルと、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に対応するベクトルと、のなす角度（θ）に基づいて、類似度を算出する。例えば、この角度の余弦（ｃｏｓθ）が類似度として用いられる。   The game situation comparison unit 70 regards the n index values as n-dimensional vectors, and the game situation comparison unit 70 represents the game situation indicated by the vector corresponding to the current game situation and the reference game situation information of the record included in the audio table. Similarity is calculated based on the angle (θ) formed by the vector corresponding to. For example, the cosine (cos θ) of this angle is used as the similarity.

この余弦が１に近いほど、両者のベクトルが同じ方向を示していることになるため、上記のｎ個の指標値が互いに類似していることを示す。即ち、現在のゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が類似していることを示す。   The closer the cosine is to 1, the more the vectors indicate the same direction, indicating that the n index values are similar to each other. That is, the current game situation is similar to the game situation indicated by the reference game situation information.

一方、例えば、上記の余弦が０に近いほど、上記のｎ個の指標値が互いに類似しないことを示す。即ち、現在のゲーム状況と、比較対象のレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していないことを示す。   On the other hand, for example, the closer the cosine is to 0, the more the n index values are not similar to each other. That is, it indicates that the current game situation is not similar to the game situation indicated by the reference game situation information of the comparison target record.

例えば、実行中のゲームにおけるゲーム経過情報が示す得点の増減の状況と、基準ゲーム状況情報が示すゲーム経過情報が示す得点の増減の状況と、の類似度が取得される。ここで、「得点の増減の状況」とは、得点情報が増減する時系列的な様子である。この場合の類似度は、例えば、時系列的な得点の増減の具合について、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況との間で上記のように比較されることによって算出されることになる。   For example, the similarity between the score increase / decrease status indicated by the game progress information in the game being executed and the score increase / decrease status indicated by the game progress information indicated by the reference game status information is acquired. Here, “score increase / decrease status” refers to a time-series manner in which the score information increases or decreases. The similarity in this case is, for example, by comparing the game situation in the game being executed and the game situation indicated by the reference game situation information as described above with respect to the increase / decrease of the time series score. Will be calculated.

［１−６−７．ゲーム実行部］
ゲーム実行部７２は、制御部２１を主として実現される。ゲーム実行部７２は、ゲームを実行する。例えば、ゲーム実行部７２は、ゲーム画面５０を表示部２７に表示させたり、基準タイミングにおいて、ユーザ１００が基準となる動作又はポーズ（姿勢）をしたか否かを判定して得点を増減させる処理を実行する。即ち例えば、ゲーム実行部７２は、ユーザ１００の３次元位置情報に基づいてゲームを制御する。 [1-6-7. Game execution part]
The game execution unit 72 is realized mainly by the control unit 21. The game execution unit 72 executes a game. For example, the game execution unit 72 displays the game screen 50 on the display unit 27, or determines whether or not the user 100 has performed a reference operation or pose (posture) at the reference timing to increase or decrease the score. Execute. That is, for example, the game execution unit 72 controls the game based on the three-dimensional position information of the user 100.

また、ゲーム実行部７２は、ゲームデータ記憶部６０に記憶される現在状況情報を更新する。例えば、ゲーム実行部７２は、基準タイミングが訪れた場合、ユーザ１００がゲームキャラクタ５１と類似の動作又はポーズをしているか否かに基づいて、得点情報を更新する。基準タイミングが訪れた場合とは、例えば、基準タイミングから所定時間前後した時間を含む意である。   Further, the game execution unit 72 updates the current status information stored in the game data storage unit 60. For example, when the reference timing comes, the game execution unit 72 updates the score information based on whether or not the user 100 is performing an action or a pose similar to the game character 51. The case where the reference timing has come means, for example, that it includes a time around a predetermined time from the reference timing.

また例えば、ゲーム実行部７２は、ゲームが開始されてからユーザ１００の得点の増減の経過を時系列的に示すゲーム経過情報を更新する。また例えば、ゲーム実行部７２は、時間経過に伴って時間情報や表示情報を、所定のアルゴリズムに基づいて更新する。   Further, for example, the game execution unit 72 updates the game progress information that indicates the progress of the increase / decrease of the score of the user 100 in time series after the game is started. Further, for example, the game execution unit 72 updates time information and display information with the passage of time based on a predetermined algorithm.

ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲーム処理を実行する。例えば、特徴情報比較部６６の比較結果が所定の結果であり、かつ、ゲーム状況比較部７０の比較結果が所定の結果である場合、ゲーム処理情報に格納されたゲーム処理を実行する。このゲーム処理は、例えば、ユーザ１００のゲームプレイに影響を与えるゲーム処理である。   The game execution unit 72 executes game processing based on the comparison result of the feature information comparison unit 66 and the comparison result of the game situation comparison unit 70. For example, when the comparison result of the feature information comparison unit 66 is a predetermined result and the comparison result of the game situation comparison unit 70 is a predetermined result, the game process stored in the game process information is executed. This game process is a game process that affects the game play of the user 100, for example.

ここで、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の特徴情報と、基準特徴情報が示す音声の特徴情報と、が一致又は類似する場合である。言い換えれば、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の音量が、基準特徴情報が示す音声の音量に含まれる場合である。   Here, “the comparison result of the feature information comparison unit 66 is a predetermined result” means that, for example, the audio feature information indicated by the feature information and the audio feature information indicated by the reference feature information match or are similar to each other. Is the case. In other words, “the comparison result of the feature information comparison unit 66 is a predetermined result” is, for example, a case where the sound volume indicated by the feature information is included in the sound volume indicated by the reference feature information.

また、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が一致又は類似する場合である。言い換えれば、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度が所定範囲（例えば、０．８以上）の場合である。   The “when the comparison result of the game situation comparison unit 70 is a predetermined result” is, for example, a case where the game situation in the game being executed matches the game situation indicated by the reference game situation information. is there. In other words, “when the comparison result of the game situation comparison unit 70 is a predetermined result” means that, for example, the similarity between the game situation in the game being executed and the game situation indicated by the reference game situation information is within a predetermined range (For example, 0.8 or more).

本実施形態においては、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、の組み合わせに対応付けてゲーム実行部７２が実行すべきゲーム処理を示すゲーム処理情報を記憶する記憶手段（例えば、ゲームデータ記憶部６０）からゲーム処理情報を取得する手段を含む場合を説明する。即ち、ゲーム実行部７２は、この取得されたゲーム処理情報が示すゲーム処理を実行する。   In the present embodiment, the game execution unit 72 indicates a game process to be executed by the game execution unit 72 in association with a combination of the comparison result of the feature information comparison unit 66 and the comparison result of the game situation comparison unit 70. A case will be described in which a means for acquiring game processing information from storage means for storing game processing information (for example, game data storage unit 60) is included. That is, the game execution unit 72 executes a game process indicated by the acquired game process information.

また例えば、ゲーム装置２０において実行されるゲームが、難易度が設定されるゲームである場合、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲームの難易度を変更する処理（難易度を上げる処理、又は、難易度を下げる処理）を実行する。ゲームの難易度が上がると、例えば、基準タイミングが訪れる間隔が短くなる。ゲームの難易度が下がると、例えば、基準タイミングが訪れる間隔が長くなる。   Further, for example, when the game executed on the game device 20 is a game for which a difficulty level is set, the game execution unit 72 compares the comparison result of the feature information comparison unit 66 and the comparison result of the game situation comparison unit 70, A process for changing the difficulty level of the game based on the above (a process for increasing the difficulty level or a process for decreasing the difficulty level) is executed. When the difficulty level of the game increases, for example, the interval at which the reference timing comes decreases. When the difficulty level of the game decreases, for example, the interval at which the reference timing comes increases.

［１−７．ゲーム装置において実行される処理］
次に、ゲーム装置２０で実行される処理について説明する。図１８は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図１８に示す処理を実行する。 [1-7. Processing executed in game device]
Next, processing executed by the game apparatus 20 will be described. FIG. 18 is a flowchart showing processing executed by the game device 20 when a dance game is started. The control unit 21 executes the process shown in FIG. 18 according to the program stored in the auxiliary storage unit 23 or the optical disc.

まず、制御部２１は、所定のタイミングが訪れたか否かを判定する（Ｓ１０１）。所定のタイミングとは、ゲーム処理情報に格納されたゲーム処理を実行すべきタイミングである。例えば、一定時間ごとにこのタイミングが訪れるようにしてもよいし、得点が所定範囲になった場合に、このタイミングが訪れるようにしてもよい。   First, the control unit 21 determines whether or not a predetermined timing has come (S101). The predetermined timing is a timing at which the game process stored in the game process information is to be executed. For example, this timing may come at regular intervals, or this timing may come when the score falls within a predetermined range.

所定のタイミングが訪れた場合（Ｓ１０１；Ｙ）、制御部２１は、音声入力部１４から音声の入力があるか否かを判定する（Ｓ１０２）。Ｓ１０２においては、例えば、音声情報が示す音声の音量が基準値以上であった場合に、音声入力部１４から音声の入力があると判定される。   When the predetermined timing has come (S101; Y), the control unit 21 determines whether or not there is a voice input from the voice input unit 14 (S102). In S102, for example, when the sound volume indicated by the sound information is equal to or higher than a reference value, it is determined that there is sound input from the sound input unit 14.

音声の入力がある場合（Ｓ１０２；Ｙ）、制御部２１（特徴情報取得部６２）は、音声入力部１４を介して入力されたユーザ１００の音声の特徴情報を取得する（Ｓ１０３）。例えば、音声情報が示す音声の振幅に基づいて音量が取得される。   When there is an input of voice (S102; Y), the control unit 21 (feature information acquisition unit 62) acquires the voice feature information of the user 100 input via the voice input unit 14 (S103). For example, the volume is acquired based on the amplitude of the voice indicated by the voice information.

制御部２１（基準特徴情報取得部６４）は、基準特徴情報を取得する（Ｓ１０４）。制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、基準特徴情報と、を比較する（Ｓ１０５）。この比較結果（例えば、ユーザ１００の状態を示す情報）は、例えば、主記憶部２２に一時的に記憶される。   The control unit 21 (reference feature information acquisition unit 64) acquires reference feature information (S104). The control unit 21 (feature information comparison unit 66) compares the input voice feature information with the reference feature information (S105). The comparison result (for example, information indicating the state of the user 100) is temporarily stored in the main storage unit 22, for example.

制御部２１は、現在のゲーム状況を示す現在状況情報を取得する（Ｓ１０６）。制御部２１（基準ゲーム状況情報取得部６８）は、基準ゲーム状況情報を取得する（Ｓ１０７）。制御部２１（ゲーム状況比較部７０）は、現在状況情報が示すゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する（Ｓ１０８）。この比較結果（例えば、類似度が０．９以上のゲーム状況を示す情報）は、例えば、主記憶部２２に一時的に記憶される。   The control unit 21 acquires current situation information indicating the current game situation (S106). The control unit 21 (reference game situation information acquisition unit 68) acquires reference game situation information (S107). The control unit 21 (game situation comparison unit 70) compares the game situation indicated by the current situation information with the game situation indicated by the reference game situation information (S108). This comparison result (for example, information indicating a game situation with a similarity of 0.9 or more) is temporarily stored in the main storage unit 22, for example.

次いで、制御部２１（ゲーム実行部７２）は、Ｓ１０５の比較結果と、Ｓ１０７の比較結果と、の組み合わせに基づいて決定されるゲーム処理を実行する（Ｓ１０９）。例えば、ゲーム処理情報が参照されて、ユーザ１００の状態を示す情報（Ｓ１０５の比較結果）と、現在のゲーム状況を示す情報（Ｓ１０７の比較結果）と、の２つに対応付けられているゲーム処理が実行される。   Next, the control unit 21 (game execution unit 72) executes a game process determined based on the combination of the comparison result of S105 and the comparison result of S107 (S109). For example, with reference to the game processing information, a game associated with two types of information indicating the state of the user 100 (comparison result of S105) and information indicating the current game situation (comparison result of S107) Processing is executed.

制御部２１は、終了条件を満たすか否かを判定する（Ｓ１１０）。例えば、ダンスゲームが終了（ステージクリアやゲームオーバー等）するタイミングが訪れたか否かが判定される。   The control unit 21 determines whether or not the end condition is satisfied (S110). For example, it is determined whether or not the timing at which the dance game ends (stage clear, game over, etc.) has arrived.

終了条件を満たす場合（Ｓ１１０；Ｙ）、制御部２１は、処理を終了する。終了条件を満たさない場合（Ｓ１１０；Ｎ）、処理は、Ｓ１０１に戻る。   When the end condition is satisfied (S110; Y), the control unit 21 ends the process. If the end condition is not satisfied (S110; N), the process returns to S101.

以上説明したゲーム装置２０によれば、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、の両者を考慮してゲーム処理を実行するようにしたので、ユーザ１００の意図を反映してゲームプレイの補助をすることができる。例えば、あきらめずに頑張っているユーザ１００に対してはプレイを応援する処理を行い、このユーザ１００のゲームクリアをリアルタイムに補助（支援）をすることができる。また例えば、あきらめかけているユーザ１００に対してはゲームの難易度を下げる処理を行い、このユーザ１００に対してゲームを続けるように促すことができる。   According to the game device 20 described above, since the game process is executed in consideration of both the characteristics of the voice uttered by the user 100 and the current game situation, the intention of the user 100 is reflected. Can assist in game play. For example, for the user 100 who is working hard without giving up, a process of supporting play can be performed, and the game clear of the user 100 can be assisted (supported) in real time. In addition, for example, the user 100 who is giving up can be processed to reduce the difficulty level of the game, and the user 100 can be prompted to continue the game.

このように、ユーザ１００が、ゲームプレイがうまくいかなくてゲームオーバーになってしまいそうな状況であっても、この状況を自分の力によって難局を上手く切り抜けたように感じさせることができ、ゲームの趣向性が向上する。さらに、ゲーム装置２０が応援エフェクト処理等のゲーム処理を実行することによって、ユーザ１００は、自然と高揚感を感じながらゲームをプレイすることができる。   Thus, even if the user 100 is in a situation where the game play is not successful and the game is likely to be over, this situation can be made to feel as if the user has successfully overcome the difficult situation by his / her own power. The taste is improved. Furthermore, when the game apparatus 20 executes a game process such as a support effect process, the user 100 can play the game while feeling a natural feeling of exaltation.

なお、本実施形態においては、ゲーム状況の比較方法として、類似度を用いた場合を説明したが、ゲーム状況の比較方法は、これに限られない。他にも、現在状況情報の各値と基準ゲーム状況の各値とが所定の数式に代入されることによって、ゲーム状況が比較されるようにしてもよい。   In the present embodiment, the case where similarity is used as the game situation comparison method has been described. However, the game situation comparison method is not limited to this. In addition, the game situation may be compared by substituting each value of the current situation information and each value of the reference game situation into a predetermined mathematical expression.

［２．実施形態２］
以下、実施形態２について説明する。実施形態１のゲーム装置２０は、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、に基づいてユーザ１００の意図を推測してゲームの難易度を下げる処理や応援エフェクト処理等のゲーム処理を実行する。 [2. Embodiment 2]
The second embodiment will be described below. The game apparatus 20 according to the first embodiment is a game such as a process of reducing the difficulty level of the game by estimating the user's 100 intention based on the characteristics of the voice uttered by the user 100 and the current game situation, and a support effect process. Execute the process.

これに対して実施形態２は、撮影画像等からユーザ１００の人数を把握し、この人数を考慮して上記のようなゲーム処理を実行する点に特徴がある。   On the other hand, the second embodiment is characterized in that the number of users 100 is grasped from captured images and the like, and the above-described game processing is executed in consideration of the number of users.

例えば、ユーザ１００が１人で遊んでいる場合には、ゲーム状況が変化しても、このユーザ１００はあまり大きな声を発しないことが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的小さくなるように変更する。   For example, when the user 100 is playing alone, even if the game situation changes, the user 100 may not make a loud voice. Therefore, in this case, the game apparatus 20 changes the volume indicated by the reference feature information to be relatively small.

一方、ユーザ１００が大人数で遊んでいる場合には、ゲーム状況が少し変化しただけで、ユーザ１００が大きな声を発することが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的大きくなるように変更する。   On the other hand, when the user 100 is playing with a large number of people, it is conceivable that the user 100 makes a loud voice only with a slight change in the game situation. In this case, the game apparatus 20 changes the volume indicated by the reference feature information to be relatively large.

なお、実施形態２に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。   Note that the hardware configurations of the position detection device 1 and the game device 20 according to the second embodiment are the same as those of the first embodiment (see FIGS. 9 and 10), and thus the description thereof is omitted.

［２−１．実施形態２において実現される機能］
図１９は、実施形態２のゲーム装置２０において実現される機能ブロック図である。図１９に示すように、実施形態２のゲーム装置２０では、実施形態１の機能に加えてユーザ数取得部７４が実現される。 [2-1. Functions Realized in Embodiment 2]
FIG. 19 is a functional block diagram realized in the game device 20 of the second embodiment. As shown in FIG. 19, in the game device 20 of the second embodiment, a user number acquisition unit 74 is realized in addition to the functions of the first embodiment.

［２−１−１．ユーザ数取得部］
ユーザ数取得部７４は、ユーザ１００の人数を示すユーザ数情報を取得する。例えば、ユーザ数取得部７４は、ゲーム装置２０が位置検出装置１から受信する３次元位置情報に基づいてユーザ１００の人数を取得する。先述のように、位置検出装置１が複数のユーザ１００を検出した場合、これら複数のユーザ１００のそれぞれについての３次元位置情報が、ゲーム装置２０に対して送信される。ユーザ数取得部７４は、例えば、３次元位置情報が示すユーザ１００の数を、ユーザ１００の人数を示す情報として取得する。 [2-1-1. Number of users acquisition unit]
The user number acquisition unit 74 acquires user number information indicating the number of users 100. For example, the user number acquisition unit 74 acquires the number of users 100 based on the three-dimensional position information received by the game apparatus 20 from the position detection apparatus 1. As described above, when the position detection device 1 detects a plurality of users 100, three-dimensional position information for each of the plurality of users 100 is transmitted to the game device 20. The user number acquisition unit 74 acquires, for example, the number of users 100 indicated by the three-dimensional position information as information indicating the number of users 100.

なお、ユーザ数取得部７４が、ユーザ１００の人数を示す情報を取得する方法は、上記の例に限られない。例えば、ゲーム装置２０が、ＣＣＤカメラ２によって撮影される撮影画像を位置検出装置１から取得し、ユーザ数取得部７４が、この撮影画像に含まれるユーザ１００の人数を取得するようにしてもよい。この場合、例えば、撮影画像に含まれるユーザ１００の輪郭の数に基づいてユーザ１００の人数が取得される。   In addition, the method in which the user number acquisition part 74 acquires the information which shows the number of users 100 is not restricted to said example. For example, the game apparatus 20 may acquire a captured image captured by the CCD camera 2 from the position detection apparatus 1, and the user number acquisition unit 74 may acquire the number of users 100 included in the captured image. . In this case, for example, the number of users 100 is acquired based on the number of contours of the user 100 included in the captured image.

他にも例えば、ゲーム装置２０が、ユーザ１００の深度を示す深度画像を取得し、ユーザ数取得部７４が、上記と同様に、ユーザ１００の輪郭の数に基づいて人数を取得するようにしてもよい。また他にも例えば、マイク４が検出した音声に基づいて、ユーザ１００の数が検出されるようにしてもよい。具体的には、音声情報が示す音声が音声認識されることによって、ユーザ１００の人数が検出されるようにしてもよい。また例えば、ユーザ１００に操作部２６を介して自分達の人数を直接入力させることによって、ユーザ数取得部７４は、ユーザ１００の人数を取得するようにしてもよい。上記のような手法のうちの少なくとも１つが実行されるようにすればよい。   In addition, for example, the game apparatus 20 acquires a depth image indicating the depth of the user 100, and the user number acquisition unit 74 acquires the number of people based on the number of contours of the user 100 as described above. Also good. In addition, for example, the number of users 100 may be detected based on the sound detected by the microphone 4. Specifically, the number of users 100 may be detected by recognizing the voice indicated by the voice information. Further, for example, the user number acquisition unit 74 may acquire the number of users 100 by causing the user 100 to directly input the number of users via the operation unit 26. It is sufficient that at least one of the above-described methods is executed.

［２−１−２．実施形態２のゲームデータ記憶部６０］
実施形態２のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の人数と、を対応付けて記憶する。 [2-1-2. Game Data Storage Unit 60 of Embodiment 2]
The game data storage unit 60 of the second embodiment stores, for example, the state of the user 100 indicated by the voice, the voice feature information, and the number of users 100 in association with each other.

図２０は、実施形態２における基準特徴情報のデータ格納例を示す図である。図２０に示すように、実施形態２の基準特徴情報には、ユーザ１００の人数が対応付けられている。例えば、ユーザ１００の状態を識別するための条件を示す音声の特徴情報は、ユーザ１００の人数によって異なる。   FIG. 20 is a diagram illustrating an example of data storage of reference feature information according to the second embodiment. As illustrated in FIG. 20, the number of users 100 is associated with the reference feature information of the second embodiment. For example, audio feature information indicating conditions for identifying the state of the user 100 varies depending on the number of users 100.

例えば、ユーザ１００の人数が「２人以下」である場合、音量が所定範囲（例えば、２段階目〜４段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の人数が「３人以上」である場合、音量が上記とは異なる範囲（例えば、３段階目〜６段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。   For example, when the number of users 100 is “two or less”, and the volume is within a predetermined range (for example, the second to fourth stages), it is determined that the state of the user 100 is “working hard”. On the other hand, when the number of users 100 is “three or more”, and the volume is in a range different from the above (for example, the third to sixth stages), it is determined that the state of the user 100 is “working hard”. Is done.

上記のように、ユーザ１００の人数が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の人数が比較的少ない場合には、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の人数が比較的多い場合には、ユーザ１００が大げさに声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。   As described above, according to the reference feature information associated with the number of users 100, for example, when the number of users 100 is relatively small, it is considered that the user 100 does not make a loud voice. The state of the user 100 is discriminated with a small volume. On the other hand, when the number of users 100 is relatively large, it is considered that the user 100 speaks out loud, and thus the state of the user 100 is determined with a large volume.

［２−１−３．実施形態２の基準特徴情報取得部］
実施形態２の基準特徴情報取得部６４は、ユーザ数情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、ユーザ数取得部７４が取得したユーザ１００の人数に対応付けられた音声の特徴情報を参照することによって、基準特徴情報をユーザ１００の人数に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。 [2-1-3. Reference Feature Information Acquisition Unit of Embodiment 2]
The reference feature information acquisition unit 64 of the second embodiment includes means for changing the reference feature information based on the number-of-users information. For example, the reference feature information acquisition unit 64 changes the reference feature information based on the number of users 100 by referring to the voice feature information associated with the number of users 100 acquired by the user number acquisition unit 74. . That is, the reference feature information acquisition unit 64 changes the reference feature information to be compared by the feature information comparison unit 66, for example.

［２−２．実施形態２のゲーム装置において実行される処理］
図２１は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２１の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２１に示す処理を実行する。 [2-2. Processing executed in game device of embodiment 2]
FIG. 21 is a flowchart showing a process executed by the game device 20 when a dance game is started. The process of FIG. 21 corresponds to the process of FIG. The control unit 21 executes the process shown in FIG. 21 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２１に示すように、Ｓ２０１〜Ｓ２０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。   As shown in FIG. 21, S201 to S203 are the same as S101 to S103, respectively, and thus the description thereof is omitted.

制御部２１（ユーザ数取得部７４）は、ユーザ１００の人数を取得する（Ｓ２０４）。例えば、主記憶部２２に記憶された３次元位置情報が示す人数に基づいて、ユーザ１００の人数を取得する。   The control unit 21 (user number acquisition unit 74) acquires the number of users 100 (S204). For example, the number of users 100 is acquired based on the number of people indicated by the three-dimensional position information stored in the main storage unit 22.

制御部２１（基準特徴情報取得部６４）は、ユーザ１００の人数に基づいて基準特徴情報を変更する（Ｓ２０５）。例えば、基準特徴情報のうちでユーザ１００の人数に対応する情報のみが参照される。   The control unit 21 (reference feature information acquisition unit 64) changes the reference feature information based on the number of users 100 (S205). For example, only information corresponding to the number of users 100 in the reference feature information is referred to.

制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ２０６）。Ｓ２０６においては、基準特徴情報のうちでユーザ１００の人数の条件に対応する基準特徴量のみが比較対象となる。   The control unit 21 (feature information comparison unit 66) compares the input voice feature information with the changed reference feature information (S206). In S206, only the reference feature amount corresponding to the condition of the number of users 100 in the reference feature information is to be compared.

以降のＳ２０７〜Ｓ２１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。   Subsequent S207 to S211 are the same as S106 to S110, respectively, and a description thereof will be omitted.

以上説明した実施形態２のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の人数と、を考慮してゲーム処理を実行することができる。つまり、ゲームをプレイするユーザ１００の数により音声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。   According to the game device 20 of the second embodiment described above, the game process can be executed in consideration of the voice uttered by the user 100, the game situation being executed, and the number of users 100. That is, even if the volume of the sound changes depending on the number of users 100 who play the game, it is possible to perform a game process that assists the user 100 by reflecting the intention of the user 100.

［３．実施形態３］
以下、実施形態３について説明する。実施形態２のゲーム装置２０は、ゲームの難易度を下げたり、応援エフェクト処理を実行したりする場合に、ユーザ１００の人数を考慮する。 [3. Embodiment 3]
The third embodiment will be described below. The game apparatus 20 according to the second embodiment considers the number of users 100 when the difficulty level of the game is reduced or the support effect process is executed.

これに対して実施形態３は、ユーザ１００の音声が入力された場合の時間を考慮して、上記のゲーム処理を実行する点に特徴がある。   On the other hand, the third embodiment is characterized in that the above game processing is executed in consideration of the time when the user's 100 voice is input.

例えば、ユーザ１００が、夜の時間帯にゲームをプレイしている場合には、あまり大きな声を発しないことが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的小さくなるように変更される。   For example, when the user 100 is playing a game during the night time, it is conceivable that the user 100 does not make a loud voice. Therefore, in this case, the volume indicated by the reference feature information is changed to be relatively small.

一方、ユーザ１００が昼の時間帯にゲームをプレイしている場合には、比較的大きな声を発することが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的大きくなるように変更される。   On the other hand, when the user 100 is playing a game during the daytime, it is conceivable that a relatively loud voice is produced. Therefore, in this case, the volume indicated by the reference feature information is changed to be relatively large.

なお、実施形態３に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。   Note that the hardware configurations of the position detection device 1 and the game device 20 according to the third embodiment are the same as those of the first embodiment (see FIGS. 9 and 10), and thus the description thereof is omitted.

［３−１．実施形態３において実現される機能］
図２２は、実施形態３のゲーム装置２０において実現される機能ブロック図である。図２２に示すように、実施形態３のゲーム装置２０では、実施形態１の機能に加えて時間取得部７６が実現される。 [3-1. Functions Realized in Embodiment 3]
FIG. 22 is a functional block diagram realized in the game device 20 of the third embodiment. As shown in FIG. 22, in the game device 20 of the third embodiment, a time acquisition unit 76 is realized in addition to the functions of the first embodiment.

［３−１−１．時間取得部］
時間取得部７６は、制御部２１を主として実現される。音声入力手段（音声入力部１４）から音声が入力された場合の時間に関する入力時間情報を取得する。音声が入力された場合とは、音声入力部１４から音声が入力された時点から所定時間前後した時間幅を含む。例えば、時間取得部７６は、位置検出装置１から音声情報を受信した時間を取得する。この時間は、例えば、ゲーム装置２０の時間関数プログラム等に基づいて生成される。 [3-1-1. Time acquisition unit]
The time acquisition unit 76 is realized mainly by the control unit 21. Input time information related to the time when voice is input from the voice input means (voice input unit 14) is acquired. The case where the voice is input includes a time width around a predetermined time from the time when the voice is input from the voice input unit 14. For example, the time acquisition unit 76 acquires the time when the audio information is received from the position detection device 1. This time is generated based on, for example, a time function program of the game apparatus 20 or the like.

また例えば、位置検出装置１が時刻を取得する手段を有する場合、時間取得部７６は、音声入力部１４が音声を受け付けた時間を位置検出装置１から取得するようにしてもよい。   Further, for example, when the position detection device 1 has means for acquiring the time, the time acquisition unit 76 may acquire the time when the voice input unit 14 receives the voice from the position detection device 1.

［３−１−２．実施形態３のゲームデータ記憶部６０］
実施形態３のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、音声入力部１４によってユーザ１００の音声が入力された場合の時間と、を対応付けて記憶する。 [3-1-2. Game Data Storage Unit 60 of Embodiment 3]
The game data storage unit 60 of the third embodiment associates, for example, the state of the user 100 indicated by the voice, the feature information of the voice, and the time when the voice of the user 100 is input by the voice input unit 14. Remember.

図２３は、実施形態３における基準特徴情報のデータ格納例を示す図である。図２３に示すように、実施形態３の基準特徴情報には、音声入力部１４によってユーザ１００の音声が入力された人数が対応付けられている。例えば、基準特徴情報に格納される音声の特徴情報は、ユーザ１００の音声が入力された時間によって異なる。   FIG. 23 is a diagram illustrating an example of data storage of reference feature information according to the third embodiment. As shown in FIG. 23, the reference feature information of the third embodiment is associated with the number of users who have input the voice of the user 100 by the voice input unit 14. For example, the voice feature information stored in the reference feature information varies depending on the time when the voice of the user 100 is input.

例えば、ユーザ１００の音声を受け付けた時間が「夜」である場合（例えば、入力時間情報が示す時間が第１時間帯に属する場合）、音声情報が示す音声の音量が所定範囲（例えば、２段階目〜３段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の音声が入力された時間が「昼」である場合（例えば、入力時間情報が示す時間が第２時間帯に属する場合）、音声情報が示す音声の音量が上記とは異なる所定範囲（例えば、３段階目〜５段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。   For example, when the time when the voice of the user 100 is received is “night” (for example, when the time indicated by the input time information belongs to the first time zone), the volume of the voice indicated by the voice information is within a predetermined range (for example, 2 If it is stage 3 to stage 3, it is determined that the state of the user 100 is “working hard”. On the other hand, when the time when the voice of the user 100 is input is “daytime” (for example, when the time indicated by the input time information belongs to the second time zone), the volume of the voice indicated by the voice information is different from the above. If it is within the range (for example, the third to fifth stages), it is determined that the state of the user 100 is “working hard”.

上記のように、ユーザ１００の音声が入力された時間が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の音声が入力された時間が夜であれば、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の音声が入力された時間が昼であれば、ユーザ１００が大きな声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。   As described above, according to the reference feature information in which the time when the voice of the user 100 is input is associated, for example, if the time when the voice of the user 100 is input is night, the user 100 has a very loud voice. Therefore, the state of the user 100 is determined with a lower volume. On the other hand, if the time when the voice of the user 100 is input is noon, it is considered that the user 100 makes a loud voice, so that the state of the user 100 is discriminated with a larger volume.

［３−１−３．実施形態３の基準特徴情報取得部］
実施形態３の基準特徴情報取得部６４は、入力時間情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、時間取得部７６が取得した入力時間情報が示す時間に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の音声が入力された時間に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。 [3-1-3. Reference Feature Information Acquisition Unit of Embodiment 3]
The reference feature information acquisition unit 64 of the third embodiment includes means for changing the reference feature information based on the input time information. For example, the reference feature information acquisition unit 64 uses the voice feature information associated with the time indicated by the input time information acquired by the time acquisition unit 76, so that the voice of the user 100 is input as the reference feature information. Change based on time. That is, the reference feature information acquisition unit 64 changes the reference feature information to be compared by the feature information comparison unit 66, for example.

また例えば、基準特徴情報取得部６４は、入力時間情報が示す時間が第１時間帯（例えば、夜間の時間帯）に属する場合、前記入力時間情報が示す時間が第２時間帯（例えば、昼間の時間帯）に属する場合よりも、基準特徴情報が示す音量が小さくなるように変更する。この変更方法は、入力時間情報が示す時間が属する時間帯によって決定されるようにすればよい。   Further, for example, when the time indicated by the input time information belongs to a first time zone (for example, a night time zone), the reference feature information acquisition unit 64 sets the time indicated by the input time information to a second time zone (for example, daytime). The volume indicated by the reference feature information is changed so as to be smaller than in the case of belonging to the time zone. This change method may be determined by the time zone to which the time indicated by the input time information belongs.

［３−２．実施形態３のゲーム装置において実行される処理］
図２４は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２４の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２４に示す処理を実行する。 [3-2. Processing executed in game device of embodiment 3]
FIG. 24 is a flowchart showing a process executed by the game device 20 when a dance game is started. The process of FIG. 24 corresponds to the process of FIG. The control unit 21 executes the process shown in FIG. 24 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２４に示すように、Ｓ３０１〜Ｓ３０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。   As shown in FIG. 24, S301 to S303 are the same as S101 to S103, respectively, and thus the description thereof is omitted.

制御部２１（時間取得部７６）は、ユーザ１００の音声が入力された場合の時間を取得する（Ｓ３０４）。例えば、音声情報を位置検出装置１から受信した受信時間が参照される。   The control unit 21 (time acquisition unit 76) acquires the time when the voice of the user 100 is input (S304). For example, the reception time when the audio information is received from the position detection device 1 is referred to.

制御部２１（基準特徴情報取得部６４）は、ユーザ１００の音声が入力された時間に基づいて基準特徴情報を変更する（Ｓ３０５）。例えば、基準特徴情報のうちでユーザ１００の音声が入力された時間に対応する情報のみが参照される。   The control unit 21 (reference feature information acquisition unit 64) changes the reference feature information based on the time when the voice of the user 100 is input (S305). For example, only the information corresponding to the time when the voice of the user 100 is input is referred to in the reference feature information.

制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ３０６）。Ｓ３０６においては、基準特徴情報のうちでユーザ１００の音声が入力された時間の条件に対応する基準特徴量のみが比較対象となる。   The control unit 21 (feature information comparison unit 66) compares the input voice feature information with the changed reference feature information (S306). In S306, only the reference feature amount corresponding to the time condition when the voice of the user 100 is input is included in the reference feature information.

以降のＳ３０７〜Ｓ３１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。   Subsequent S307 to S311 are the same as S106 to S110, respectively, and thus the description thereof is omitted.

以上説明した実施形態３のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、音声が入力された時間と、を考慮してゲーム処理を実行することができる。つまり、ユーザ１００がゲームをプレイする時間によって声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。   According to the game device 20 of the third embodiment described above, the game process can be executed in consideration of the voice uttered by the user 100, the game situation being executed, and the time when the voice is input. That is, even if the voice volume changes depending on the time when the user 100 plays the game, the game processing that assists the user 100 can be performed by reflecting the intention of the user 100.

［４．実施形態４］
以下、実施形態４について説明する。実施形態３のゲーム装置２０は、ユーザ１００の音声が入力された時間を考慮してゲームの難易度を下げたり、応援エフェクト処理を実行したりする。 [4. Embodiment 4]
The fourth embodiment will be described below. The game apparatus 20 according to the third embodiment lowers the difficulty level of the game in consideration of the time when the voice of the user 100 is input, or executes a support effect process.

これに対して実施形態４は、撮影画像から取得されるユーザ１００の表情を考慮して、上記のゲーム処理を実行する点に特徴がある。   On the other hand, the fourth embodiment is characterized in that the above game processing is executed in consideration of the facial expression of the user 100 acquired from the captured image.

例えば、ユーザ１００が同じような声を発した場合でも、表情次第でユーザ１００の状態が異なる場合がある。例えば、「よし！」という声を発した場合であっても、ユーザ１００が笑っていれば比較的余裕があることが考えられる。一方、同じような声を発した場合でも、ユーザ１００が眉間にしわを寄せていれば、あまり余裕がないことが考えられる。そこで、実施形態４のゲーム装置２０は、ユーザ１００の表情を考慮してゲーム処理を実行する。   For example, even when the user 100 utters a similar voice, the state of the user 100 may differ depending on the facial expression. For example, even if the voice of “OK!” Is uttered, it is conceivable that the user 100 has a relatively large margin if he / she laughs. On the other hand, even when a similar voice is uttered, if the user 100 is wrinkled between the eyebrows, it is considered that there is not much room. Therefore, the game device 20 according to the fourth embodiment executes game processing in consideration of the facial expression of the user 100.

なお、実施形態４に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。   Note that the hardware configurations of the position detection device 1 and the game device 20 according to the fourth embodiment are the same as those of the first embodiment (see FIGS. 9 and 10), and thus the description thereof is omitted.

［４−１．実施形態４において実現される機能］
図２５は、実施形態４のゲーム装置２０において実現される機能ブロック図である。図２５に示すように、実施形態４のゲーム装置２０では、実施形態１の機能に加えて表情取得部７８が実現される。 [4-1. Functions Realized in Embodiment 4]
FIG. 25 is a functional block diagram realized in the game device 20 of the fourth embodiment. As shown in FIG. 25, in the game device 20 of the fourth embodiment, an expression obtaining unit 78 is realized in addition to the functions of the first embodiment.

［４−１−１．表情取得部］
表情取得部７８は、制御部２１を主として実現される。表情取得部７８は、ユーザ１００を撮影する撮影手段（撮影部１２）から得られる撮影画像に対して表情認識処理を行うことによって、当該ユーザ１００の表情に関する表情情報を取得する。つまり、実施形態４のゲーム装置２０は、撮影画像（図２）を位置検出装置１より取得する。この撮影画像は、例えば、ゲームデータ記憶部６０に一時的に記憶される。 [4-1-1. Facial expression acquisition unit]
The facial expression acquisition unit 78 is realized mainly by the control unit 21. The facial expression acquisition unit 78 acquires facial expression information related to the facial expression of the user 100 by performing facial expression recognition processing on a captured image obtained from an imaging unit (imaging unit 12) that captures the user 100. That is, the game device 20 of the fourth embodiment acquires a captured image (FIG. 2) from the position detection device 1. This captured image is temporarily stored in the game data storage unit 60, for example.

撮影画像から被写体（ユーザ１００）の表情を取得する方法として、本実施形態では、参照画像を用いる場合を説明する。例えば、この参照画像は、ユーザ１００が無表情になった場合の撮影画像である。即ち、ユーザ１００が無表情の撮影画像（参照画像）と、ゲームをプレイしている最中のユーザ１００の撮影画像と、が比較されて、ユーザ１００の表情が取得される。   In the present embodiment, a case where a reference image is used will be described as a method for acquiring a facial expression of a subject (user 100) from a captured image. For example, this reference image is a photographed image when the user 100 has no expression. That is, the photographed image (reference image) in which the user 100 is not playing is compared with the photographed image of the user 100 who is playing the game, and the facial expression of the user 100 is acquired.

具体的には、まず、ゲーム装置２０は、予めユーザ１００の無表情の参照画像を位置検出装置１から取得する。例えば、表示部２７に「口を閉じて無表情になってください」というメッセージを表示させる。この状態で、ゲーム装置２０は、位置検出装置１にユーザ１００を撮影させ、参照画像を取得する。   Specifically, first, the game device 20 acquires a reference image without a facial expression of the user 100 from the position detection device 1 in advance. For example, a message “Please close your mouth and become expressionless” is displayed on the display unit 27. In this state, the game device 20 causes the position detection device 1 to photograph the user 100 and obtains a reference image.

次いで、この取得された参照画像に対して所定の特徴点を抽出する処理が実行される。特徴点は、ユーザ１００の表情を認識するための基準となる点であり、例えば、眉や口角、目尻の位置等である。この特徴点の抽出方法としては、先述したパターンマッチング法と同様の手法を適用可能である。即ち、参照画像と、予めゲーム作成者が用意した教師画像とのマッチングによって、特徴点が抽出される。   Next, a process of extracting predetermined feature points from the acquired reference image is executed. The feature points are points that serve as a reference for recognizing the facial expression of the user 100, and are, for example, eyebrows, mouth corners, positions of the corners of the eyes, and the like. As a feature point extraction method, a method similar to the pattern matching method described above can be applied. That is, feature points are extracted by matching a reference image with a teacher image prepared in advance by a game creator.

ゲームが開始されると、撮影画像の特徴点の間の距離と、上記の参照画像の特徴点間の距離と、が比較される。例えば、この差分値に基づいてユーザ１００の表情が認識される。即ち、左右の口角の間の距離が基準値以上となっている場合には、ユーザ１００が「笑っている」と判定される。他にも例えば、両眉の距離が基準値以下となっている場合には、ユーザ１００が「顔をしかめている」と判定される。この基準値は、予めゲーム装置２０に記憶されている。   When the game is started, the distance between the feature points of the captured image is compared with the distance between the feature points of the reference image. For example, the facial expression of the user 100 is recognized based on this difference value. That is, when the distance between the left and right mouth corners is equal to or greater than the reference value, it is determined that the user 100 is “laughing”. In addition, for example, when the distance between both eyebrows is equal to or less than the reference value, the user 100 is determined to “grind”. This reference value is stored in the game device 20 in advance.

なお、ユーザ１００の表情を認識する処理は、公知の種々の手法を適用可能である。他にも例えば、撮影画像に対してウェーブレット変換を施して、所定周波数帯域ごとに平均電力を算出し、この電力の差分値に基づいて表情が認識されるようにしてもよい。   Note that various known methods can be applied to the process of recognizing the facial expression of the user 100. In addition, for example, wavelet transform may be performed on the captured image, the average power may be calculated for each predetermined frequency band, and the facial expression may be recognized based on the difference value of the power.

［４−１−２．実施形態４のゲームデータ記憶部］
実施形態４のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の表情を示す表情情報と、を対応付けて記憶する。 [4-1-2. Game Data Storage Unit of Embodiment 4]
The game data storage unit 60 of the fourth embodiment stores, for example, the state of the user 100 indicated by the voice, the feature information of the voice, and the facial expression information indicating the facial expression of the user 100 in association with each other.

図２６は、実施形態４における基準特徴情報のデータ格納例を示す図である。図２６に示すように、実施形態４の基準特徴情報には、ユーザ１００の表情を識別する情報が対応付けられている。図２６に示すように、例えば、音声の特徴情報は、ユーザ１００の表情によって異なる。   FIG. 26 is a diagram illustrating an example of data storage of reference feature information according to the fourth embodiment. As shown in FIG. 26, the reference feature information of the fourth embodiment is associated with information for identifying the facial expression of the user 100. As shown in FIG. 26, for example, the audio feature information varies depending on the facial expression of the user 100.

例えば、ユーザ１００がゲームをあきらめずに頑張っていても顔をしかめている場合、ユーザ１００が笑っている場合よりも余裕がないので、声が大きくなってしまうことが考えられる。そこで、ユーザ１００が顔をしかめている場合、ユーザ１００が笑っている場合よりも、基準特徴情報が示す音量が小さくなるように変更される。   For example, it is conceivable that if the user 100 is frowning without giving up the game, the voice is louder because the user 100 has less room than when the user 100 is laughing. Therefore, when the user 100 is frowning, the volume indicated by the reference feature information is changed to be smaller than when the user 100 is laughing.

［４−１−３．実施形態４の基準特徴情報取得部］
実施形態４の基準特徴情報取得部６４は、表情情報が示すユーザ１００の表情に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、表情取得部７８が取得したユーザ１００の表情に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の表情に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。 [4-1-3. Reference Feature Information Acquisition Unit of Embodiment 4]
The reference feature information acquisition unit 64 of the fourth embodiment includes means for changing the reference feature information based on the facial expression of the user 100 indicated by the facial expression information. For example, the reference feature information acquisition unit 64 changes the reference feature information based on the facial expression of the user 100 by using the audio feature information associated with the facial expression of the user 100 acquired by the facial expression acquisition unit 78. That is, the reference feature information acquisition unit 64 changes the reference feature information to be compared by the feature information comparison unit 66, for example.

［４−２．実施形態４のゲーム装置において実行される処理］
図２７は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２７の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２７に示す処理を実行する。 [4-2. Processing executed in game device of embodiment 4]
FIG. 27 is a flowchart showing a process executed by the game apparatus 20 when a dance game is started. The process of FIG. 27 corresponds to the process of FIG. The control unit 21 executes the process shown in FIG. 27 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２７に示すように、Ｓ４０１〜Ｓ４０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。   As shown in FIG. 27, S401 to S403 are the same as S101 to S103, respectively, and thus the description thereof is omitted.

制御部２１（時間取得部７６）は、ユーザ１００の表情を取得する（Ｓ４０４）。例えば、位置検出装置１から受信した撮影画像に表情認識処理が施されてユーザ１００の表情を示す表情情報が取得される。   The control unit 21 (time acquisition unit 76) acquires the facial expression of the user 100 (S404). For example, facial expression recognition processing is performed on the captured image received from the position detection device 1 to obtain facial expression information indicating the facial expression of the user 100.

制御部２１（基準特徴情報取得部６４）は、ユーザ１００の表情に基づいて基準特徴情報を変更する（Ｓ４０５）。例えば、基準特徴情報のうちでユーザ１００の表情に対応する情報のみが参照される。   The control unit 21 (reference feature information acquisition unit 64) changes the reference feature information based on the facial expression of the user 100 (S405). For example, only information corresponding to the facial expression of the user 100 is referred to in the reference feature information.

制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ４０６）。Ｓ４０６においては、基準特徴情報のうちでユーザ１００の表情に対応する基準特徴量のみが比較対象となる。   The control unit 21 (feature information comparison unit 66) compares the input voice feature information with the changed reference feature information (S406). In S406, only the reference feature amount corresponding to the facial expression of the user 100 in the reference feature information is to be compared.

以降のＳ４０７〜Ｓ４１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。   Subsequent S407 to S411 are the same as S106 to S110, respectively, and thus the description thereof is omitted.

以上説明した実施形態４のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の表情と、を考慮してゲーム処理を実行することができる。つまり、同じような大きさの声を発した場合であっても、ユーザ１００の表情を考慮することによって、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。   According to the game device 20 of the fourth embodiment described above, the game process can be executed in consideration of the voice uttered by the user 100, the game situation being executed, and the facial expression of the user 100. In other words, even when a voice of the same volume is produced, a game process is performed to assist the user 100 by reflecting the intention of the user 100 by considering the facial expression of the user 100. be able to.

［５．変形例］
なお、本発明は以上に説明した実施の形態に限定されるものではない。例えば、実施形態１〜実施形態４の何れか２つ、３つ、又は４つを組み合わせるようにしてもよい。 [5. Modified example]
The present invention is not limited to the embodiment described above. For example, any two, three, or four of the first to fourth embodiments may be combined.

（１）また、実施形態２〜４においては、基準特徴情報を、ユーザ数情報、入力時間情報、又は表情情報と、を対応づけて記憶し、必要な情報（基準特徴量）のみが参照されることによって基準特徴情報が変更される場合を説明した。基準特徴情報の変更方法は、この例に限られない。例えば、基準特徴情報を一つだけ記憶しておいて、ユーザ数情報、入力時間情報、又は表情情報に基づいて、この基準特徴情報の値が補正されるようにしてもよい。   (1) In Embodiments 2 to 4, reference feature information is stored in association with user number information, input time information, or facial expression information, and only necessary information (reference feature amount) is referenced. The case has been described where the reference feature information is changed. The method for changing the reference feature information is not limited to this example. For example, only one piece of reference feature information may be stored, and the value of this reference feature information may be corrected based on the number of users information, input time information, or facial expression information.

（２）また、上記実施形態においては、位置検出装置１によって検出されたユーザ１００の動作又はポーズに基づいてゲーム処理が実行されるようにしたが、操作部２６のコントローラ等からの操作入力によってゲーム処理が実行されるようにしてもよい。即ち、ゲーム装置２０は、位置検出装置１を含まなくてもよい。この場合、音声入力部１４がゲーム装置２０に含まれる、又は、音声入力部１４がゲーム装置２０に外部接続されることになる。   (2) In the above embodiment, the game process is executed based on the action or pose of the user 100 detected by the position detection device 1, but by an operation input from the controller or the like of the operation unit 26. Game processing may be executed. In other words, the game device 20 may not include the position detection device 1. In this case, the voice input unit 14 is included in the game device 20 or the voice input unit 14 is externally connected to the game device 20.

（３）また、本実施形態においては、ゲーム装置２０が難易度を変更させる処理の具体例として、基準タイミングの間隔を変更させる場合を説明したが、ゲームの難易度に関するパラメータや条件等を変更させるようにすればよく、難易度の変更方法は、これに限られない。例えば、ゲーム装置２０は、得点が増減する程度を変更するようにしてもよい。   (3) In the present embodiment, the case where the interval of the reference timing is changed has been described as a specific example of the process in which the game device 20 changes the difficulty level. However, the parameters, conditions, etc. relating to the game difficulty level are changed. The difficulty level changing method is not limited to this. For example, the game apparatus 20 may change the degree to which the score increases or decreases.

（４）また、ゲーム実行部７２が行うゲーム処理は、難易度を変更させる処理や応援エフェクト処理に限られない。ユーザ１００のゲームプレイを補助するようなゲーム処理が実行されるようにすればよい。例えば、ゲームパラメータが変更されるとユーザ１００が有利又は不利になるゲームが実行される場合、ゲーム実行部７２は、ユーザ１００が有利な状態になるゲーム処理（つまり、ゲームパラメータを変更させる処理）が実行されるようにしてもよい。即ち、この場合、ゲーム装置２０は、ユーザ１００が有利になるようにゲームパラメータを変更させて、ユーザ１００のゲームプレイを補助することができる。   (4) Moreover, the game process which the game execution part 72 performs is not restricted to the process and cheering effect process which change a difficulty level. What is necessary is just to make it perform the game process which assists the user 100's game play. For example, when a game in which the user 100 is advantageous or disadvantageous when the game parameter is changed is executed, the game execution unit 72 performs a game process in which the user 100 is advantageous (that is, a process for changing the game parameter). May be executed. That is, in this case, the game apparatus 20 can assist the user 100 in playing the game by changing the game parameters so that the user 100 is advantageous.

また例えば、上記実施形態のようなダンスゲームにおいて、楽曲のコーラスが追加する処理が実行されてゲームを少し延長させてプレイさせるようにしてもよい。この場合には、ユーザ１００が得点を得る機会が与えられるので、ゲーム装置２０は、ユーザ１００のゲームプレイを補助することができる。   Further, for example, in the dance game as in the above embodiment, a process added by the chorus of the music may be executed so that the game is slightly extended and played. In this case, since the user 100 is given an opportunity to get a score, the game apparatus 20 can assist the user 100 in playing the game.

他にも例えば、操作部２６が、制御部２１の指示信号によって振動するバイブレータを含む場合、このバイブレータを振動させる処理が実行されるようにしてもよい。つまり、ユーザ１００が頑張っていると判定された場合、操作部２６が振動することになる。このようにすることによって、ゲームの趣向性を向上させることができる。   In addition, for example, when the operation unit 26 includes a vibrator that vibrates in response to an instruction signal from the control unit 21, a process of vibrating the vibrator may be executed. That is, when it is determined that the user 100 is working hard, the operation unit 26 vibrates. By doing in this way, the preference of a game can be improved.

（５）また例えば、ゲーム装置２０で実行されるゲームは、ダンスゲーム以外のゲーム（例えば、スポーツゲーム、格闘ゲーム又はレースゲーム）であってもよい。また例えば、本発明の実施形態に係るゲーム装置２０で実行されるゲームは、サッカーゲームのようにキャラクタグループ（例えばチーム）同士が対戦するゲームでもあってもよいし、一のキャラクタと一のキャラクタとが対戦するゲームであってもよいし、一のキャラクタとキャラクタグループとが対戦するゲームであってもよい。   (5) Further, for example, the game executed on the game device 20 may be a game other than a dance game (for example, a sports game, a fighting game, or a racing game). In addition, for example, the game executed on the game device 20 according to the embodiment of the present invention may be a game in which character groups (for example, teams) battle each other like a soccer game, or one character and one character. And a game in which one character and a character group battle each other.

ゲーム実行部７２によって実行されるゲーム処理は、ゲーム装置２０によって実行されるゲームの種類に応じて異なる。例えば、ゲーム装置２０がサッカーゲームを実行する場合、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいて、サッカーゲームの試合時間（例えば、ロスタイム等）が長くなるような処理が実行されるようにしてもよい。   The game process executed by the game execution unit 72 differs depending on the type of game executed by the game apparatus 20. For example, when the game device 20 executes a soccer game, the game time (for example, loss time) of the soccer game is long based on the comparison result of the feature information comparison unit 66 and the comparison result of the game situation comparison unit 70. Such processing may be executed.

この場合、ユーザ１００が劣勢な状況であっても、このユーザ１００が頑張っていると判定された場合、試合時間が長くなるので試合を逆転する機会が与えられる。即ち、ゲーム装置２０は、ゲームプレイを頑張っていてあきらめていないユーザ１００を補助するようなゲーム処理をサッカーゲームにおいても実行することができる。他にも例えば、コンピュータと対戦している場合には、対戦相手のゲームパラメータが不利になるようなゲーム処理が実行されるようにしてもよい。   In this case, even if the user 100 is in an inferior situation, if it is determined that the user 100 is working hard, the game time will be long, so an opportunity to reverse the game is given. That is, the game apparatus 20 can also execute a game process that assists the user 100 who has worked hard for game play and has not given up, even in a soccer game. In addition, for example, when a game is played against a computer, a game process may be executed such that the game parameters of the opponent are disadvantageous.

（６）また、本実施形態においては、音声の特徴情報が音量である場合を例に挙げたが、音声の特徴情報は、ゲーム装置２０が音声情報から把握できる情報であればよい。例えば、音声の特徴情報として、音声信号の振幅を用いてもよい。この場合、例えば、基準特徴情報には、振幅の変化を示す値や、所定周波数帯域ごとの振幅の強さを示す値が格納されることになる。周波数帯域ごとの振幅の強さは、例えば、音声情報に対してフーリエ変換が実行されることによって抽出される。   (6) In the present embodiment, the case where the audio feature information is a volume has been described as an example. However, the audio feature information may be information that the game apparatus 20 can grasp from the audio information. For example, the amplitude of an audio signal may be used as audio feature information. In this case, for example, a value indicating a change in amplitude and a value indicating the strength of the amplitude for each predetermined frequency band are stored in the reference feature information. The strength of the amplitude for each frequency band is extracted, for example, by performing Fourier transform on the audio information.

他にも例えば、音声認識処理によって取得される情報を音声の特徴情報としてもよい。例えば、音声に含まれるキーワードが音声の特徴情報として参照されるようにしてもよい。キーワードとは、予めゲーム作成者等によって指定された単語（又は文章）である。   In addition, for example, information acquired by voice recognition processing may be used as voice feature information. For example, a keyword included in voice may be referred to as voice feature information. A keyword is a word (or sentence) designated in advance by a game creator or the like.

この場合、例えば、ゲーム装置２０が実行する音声認識処理は、種々の手法を適用可能である。例えば、音声認識処理の一例として、メル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）や隠れマルコフモデルを用いた統計的手法を説明する。統計的手法では、例えば、音声情報が示す音声の特徴情報と、予め用意しておいたデータと、が比較されることによって音声認識処理が行われる。例えば、時系列的な振幅の変化や、周波数成分ごとの音の強さが比較されることになる。   In this case, for example, various methods can be applied to the voice recognition processing executed by the game apparatus 20. For example, as an example of speech recognition processing, a statistical method using a Mel-Frequency Cepstrum Coefficient (MFCC) or a hidden Markov model will be described. In the statistical method, for example, voice recognition processing is performed by comparing voice feature information indicated by voice information with data prepared in advance. For example, the time-series amplitude change and the sound intensity for each frequency component are compared.

即ち、予めモニタとなる人間の音声をサンプリングした基準音情報と、音声情報が示すユーザ１００の音声と、が比較されることによって、音声認識処理が実行される。この音声認識処理によって取得される情報（例えば、音声に対応する文字列）に、予め定められたキーワードが含まれるか否かが判定されることになる。   That is, the speech recognition process is executed by comparing the reference sound information obtained by sampling human speech as a monitor in advance with the speech of the user 100 indicated by the speech information. It is determined whether or not a predetermined keyword is included in information (for example, a character string corresponding to speech) acquired by the speech recognition process.

この場合、特徴情報比較部６６は、基準特徴情報に含まれるキーワードと、音声情報に含まれるキーワードと、が一致するか否かを比較する。一致するキーワードに対応付けられたユーザ１００の状態に基づいて、ゲーム実行部７２はゲーム処理を実行する。この処理については、実施形態１〜４と同様である。このように、音声の特徴情報としてキーワードを用いることよって、音声情報が示す音声に基づいてユーザ１００の意図をより詳しく解析することができる。   In this case, the feature information comparison unit 66 compares whether or not the keyword included in the reference feature information matches the keyword included in the audio information. Based on the state of the user 100 associated with the matching keyword, the game execution unit 72 executes game processing. This process is the same as in the first to fourth embodiments. Thus, by using the keyword as the voice feature information, the intention of the user 100 can be analyzed in more detail based on the voice indicated by the voice information.

１ 位置検出装置、２ ＣＣＤカメラ、３ 赤外線センサ、４ マイク、２０ ゲーム装置、１０，２１ 制御部、１１ 記憶部、１２ 撮影部，１３ 深度測定部、１４ 音声入力部、２２ 主記憶部、２３ 補助記憶部、２４ 光ディスク再生部、１５，２５ 通信インタフェース部、１６ バス、２６ 操作部、２７ 表示部、２８ 音声出力部、５０ ゲーム画面、５１ ゲームキャラクタ、５２ 判定領域、５３ 注目領域、Ｒ５２，Ｒ５３ 半径、５４ ゲージ、５５ メッセージ、５６ 観客キャラクタ、６０ ゲームデータ記憶部、６２ 特徴情報取得部、６４ 基準特徴情報取得部、６６ 特徴情報比較部、６８ 基準ゲーム状況情報取得部、７０ ゲーム状況比較部、７２ ゲーム実行部、７４ ユーザ数取得部、７６ 時間取得部、７８ 表情取得部、１００ ユーザ、Ｐ１
頭、Ｐ１６ 左つま先、Ｏｓ 原点、Ｐｍａｘ 座標。 DESCRIPTION OF SYMBOLS 1 Position detection apparatus, 2 CCD camera, 3 Infrared sensor, 4 Microphone, 20 Game device, 10, 21 Control part, 11 Storage part, 12 Shooting part, 13 Depth measurement part, 14 Voice input part, 22 Main storage part, 23 Auxiliary storage unit, 24 optical disc playback unit, 15, 25 communication interface unit, 16 bus, 26 operation unit, 27 display unit, 28 audio output unit, 50 game screen, 51 game character, 52 determination area, 53 attention area, R52, R53 radius, 54 gauge, 55 message, 56 audience character, 60 game data storage unit, 62 feature information acquisition unit, 64 reference feature information acquisition unit, 66 feature information comparison unit, 68 reference game situation information acquisition unit, 70 game situation comparison Part, 72 game execution part, 74 user number acquisition part, 76 time acquisition part, 78 facial expression acquisition part, 100 users, P 1
Head, P16 left toe, Os origin, Pmax coordinates.

Claims (5)

ゲームを実行するゲーム装置であって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、
ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段とを含み、
前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とするゲーム装置。 A game device for executing a game,
Feature information acquisition means for acquiring feature information of voice input from the voice input means;
Reference feature information acquisition means for acquiring the reference feature information from means for storing predetermined reference feature information;
Feature information comparison means for comparing the feature information of the voice input from the voice input means with the reference feature information;
Reference game situation information acquisition means for acquiring the reference game situation information from means for storing predetermined reference game situation information;
Game situation comparison means for comparing the game situation in the game being executed and the game situation indicated by the reference game situation information;
Game execution means for executing a game process based on the comparison result of the feature information comparison means and the comparison result of the game situation comparison means;
Facial expression information acquisition means for acquiring facial expression information related to the user's facial expression by performing facial expression recognition processing on the image obtained from the imaging means for photographing the user,
The reference feature information acquisition means includes means for changing the reference feature information based on the facial expression information.
A game device characterized by that. 前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、The game device includes user number acquisition means for acquiring user number information indicating the number of users,
前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、  The reference feature information acquisition means includes means for changing the reference feature information based on the number of users information.
ことを特徴とする請求項１に記載のゲーム装置。  The game device according to claim 1. 前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、The game apparatus further includes means for acquiring input time information related to time when sound is input from the sound input means,
前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、  The reference feature information acquisition means includes means for changing the reference feature information based on the input time information.
ことを特徴とする請求項１又は２に記載のゲーム装置。  The game device according to claim 1, wherein the game device is a game device. 前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする請求項１〜３の何れか一項に記載のゲーム装置。The game execution means changes the difficulty level of the game based on the comparison result of the feature information comparison means and the comparison result of the game situation comparison means. A game device according to claim 1. ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、
ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段、として前記コンピュータを機能させるプログラムであって、
前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段、を含むことを特徴とするプログラム。 A program for causing a computer to function as a game device for executing a game,
Feature information acquisition means for acquiring feature information of voice input from the voice input means;
Reference feature information acquisition means for acquiring the reference feature information from means for storing predetermined reference feature information;
Feature information comparison means for comparing the feature information of the voice input from the voice input means with the reference feature information;
Reference game situation information acquisition means for acquiring the reference game situation information from means for storing predetermined reference game situation information;
Game situation comparison means for comparing the game situation in the game being executed and the game situation indicated by the reference game situation information;
Game execution means for executing a game process based on the comparison result of the feature information comparison means and the comparison result of the game situation comparison means;
A program that causes the computer to function as facial expression information acquisition means for acquiring facial expression information related to the user's facial expression by performing facial expression recognition processing on an image obtained from imaging means for photographing the user,
The reference feature information acquisition means includes means for changing the reference feature information based on the facial expression information .
JP2013224492A 2013-10-29 2013-10-29 GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM Active JP5629364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013224492A JP5629364B2 (en) 2013-10-29 2013-10-29 GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013224492A JP5629364B2 (en) 2013-10-29 2013-10-29 GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010079804A Division JP5399966B2 (en) 2010-03-30 2010-03-30 GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2014050742A JP2014050742A (en) 2014-03-20
JP5629364B2 true JP5629364B2 (en) 2014-11-19

Family

ID=50609765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013224492A Active JP5629364B2 (en) 2013-10-29 2013-10-29 GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP5629364B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101924852B1 (en) * 2017-04-14 2018-12-04 네이버 주식회사 Method and system for multi-modal interaction with acoustic apparatus connected with network
JP7164191B2 (en) * 2019-08-06 2022-11-01 株式会社コナミデジタルエンタテインメント Program, game device, and game device control method
JP7125955B2 (en) * 2020-02-21 2022-08-25 グリー株式会社 Game processing system, program, control method, information processing device and server

Also Published As

Publication number Publication date
JP2014050742A (en) 2014-03-20

Similar Documents

Publication Publication Date Title
US9943755B2 (en) Device for identifying and tracking multiple humans over time
RU2560794C2 (en) Visual representation expression based on player expression
US7961174B1 (en) Tracking groups of users in motion capture system
CN104508597B (en) Method and apparatus for controlling augmented reality
US9069381B2 (en) Interacting with a computer based application
US8334842B2 (en) Recognizing user intent in motion capture system
TWI531396B (en) Natural user input for driving interactive stories
US9159151B2 (en) Bringing a visual representation to life via learned input from the user
US9245177B2 (en) Limiting avatar gesture display
JP5399966B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
US20110305398A1 (en) Image generation system, shape recognition method, and information storage medium
US20110311144A1 (en) Rgb/depth camera for improving speech recognition
CN102449576A (en) Gesture shortcuts
JP5629364B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
US8449395B2 (en) Game device, game control method, and information recording medium
JP5318016B2 (en) GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM
JP4218963B2 (en) Information extraction method, information extraction apparatus, and recording medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141003

R150 Certificate of patent or registration of utility model

Ref document number: 5629364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250