JP5318016B2 - GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM - Google Patents

GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM Download PDF

Info

Publication number
JP5318016B2
JP5318016B2 JP2010076384A JP2010076384A JP5318016B2 JP 5318016 B2 JP5318016 B2 JP 5318016B2 JP 2010076384 A JP2010076384 A JP 2010076384A JP 2010076384 A JP2010076384 A JP 2010076384A JP 5318016 B2 JP5318016 B2 JP 5318016B2
Authority
JP
Japan
Prior art keywords
game
information
voice
game situation
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010076384A
Other languages
Japanese (ja)
Other versions
JP2011206220A (en
Inventor
和之 海保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2010076384A priority Critical patent/JP5318016B2/en
Publication of JP2011206220A publication Critical patent/JP2011206220A/en
Application granted granted Critical
Publication of JP5318016B2 publication Critical patent/JP5318016B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ゲームシステム、ゲームシステムの制御方法、及びプログラムに関する。   The present invention relates to a game system, a game system control method, and a program.

従来、ユーザに臨場感を与えるような演出をするゲームが知られている。例えば、特許文献１には、ゲームが所定の状況になった場合、観客キャラクタから拍手や歓声等の背景音を出力させるゲームが記載されている。   2. Description of the Related Art Conventionally, games that produce effects that give the user a sense of realism are known. For example, Patent Document 1 describes a game that outputs background sounds such as applause and cheers from a spectator character when the game is in a predetermined situation.

特開２００３−２０５１７０号公報JP 2003-205170 A

しかしながら、上記のようなゲームシステムでは、ゲーム制作者が予め定めた音声が、ゲーム作成者が予め定めた状況において出力されるようになっている。これらの音声の種類にはどうしても限りがあるため、音声が出力される状況及び音声内容の多種多様性の点で、ユーザは物足りない場合があった。例えば、ユーザが繰り返しゲームをプレイしていると、同じ状況で同じ音声が出力されることがある。このようなときに、ユーザが物足りなさを感じてしまう場合があった。   However, in the game system as described above, a sound predetermined by the game creator is output in a situation predetermined by the game creator. Since the types of these voices are inevitably limited, there are cases where the user is unsatisfactory in terms of the situation in which voices are output and the variety of voice contents. For example, if the user is playing the game repeatedly, the same sound may be output in the same situation. In such a case, the user may feel unsatisfactory.

本発明は上記課題に鑑みてなされたものであって、その目的は、例えば、音声が出力される状況及び音声の内容の多種多様性を向上させることが可能なゲームシステム、ゲームシステムの制御方法、及びプログラムを提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is, for example, a game system and a game system control method capable of improving a variety of audio contents and audio contents. And providing a program.

上記課題を解決するために、本発明に係るゲームシステムは、ゲームを実行するゲーム実行手段と、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段と、を含み、前記音声登録受付手段は、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段と、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段と、を含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段と、を含む、ことを特徴とする。   In order to solve the above-described problem, a game system according to the present invention includes a game execution unit that executes a game, and a voice registration reception unit that receives registration of a voice output in the game, and the voice registration reception unit Is a voice information acquisition unit that acquires voice information indicating a voice input via the voice input unit, and a reference game situation information acquisition unit that acquires reference game situation information indicating a game situation when the voice is input. And means for associating and storing the voice information and the reference game situation information in a storage means, wherein the game execution means associates the game situation in the game with the voice information in the game. A game situation comparison means for comparing the game situation indicated by the reference game situation information, and the game situation ratio in the game. Based on the comparison result of the unit, the includes a sound output control means for outputting a voice represented by voice information and, characterized in that.

また、本発明に係るゲームシステムの制御方法は、ゲームを実行するゲーム実行ステップと、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付ステップと、を含み、前記音声登録受付ステップは、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得ステップと、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させるステップと、を含み、前記ゲーム実行ステップは、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、前記ゲームにおいて、前記ゲーム状況比較ステップの比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御ステップと、を含む、ことを特徴とする。   In addition, the control method of the game system according to the present invention includes a game execution step for executing a game, and a voice registration reception step for receiving registration of a voice output in the game. An audio information acquisition step for acquiring audio information indicating the audio input via the input means; a reference game situation information acquisition step for acquiring reference game situation information indicating a game situation when the audio is input; And storing the voice information and the reference game situation information in a storage unit in association with each other, and the game execution step includes, in the game, a game situation in the game and the voice information associated with the voice information. A game situation comparison step for comparing the game situation indicated by the reference game situation information, and the game Te, on the basis of the comparison result of the game status comparing step, wherein includes a sound output control step of outputting a voice represented by voice information, it is characterized.

また、本発明に係るプログラムは、ゲームを実行するゲーム実行手段、前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段、としてコンピュータを機能させるためのプログラムであって、前記音声登録受付手段は、音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段、前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段、を含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段、を含む、ことを特徴とする。   The program according to the present invention is a program for causing a computer to function as a game execution means for executing a game and a voice registration acceptance means for accepting registration of sound output in the game, wherein the voice registration acceptance means Is a voice information acquisition means for acquiring voice information indicating a voice input via the voice input means, a reference game situation information acquisition means for acquiring a reference game situation information indicating a game situation when the voice is input, Means for associating and storing the voice information and the reference game situation information in a storage means, wherein the game execution means is configured to associate the game situation in the game with the voice information in the game. Game situation comparison means for comparing the game situation indicated by the reference game situation information, in the game, Based on the comparison result of the over-time status comparing means includes a voice output control means for outputting a sound the sound information indicates, characterized in that.

また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。   An information storage medium according to the present invention is a computer-readable information storage medium recording the above program.

本発明によれば、音声が出力される状況及び音声の内容の多種多様性を向上させることが可能になる。   According to the present invention, it is possible to improve the situation in which audio is output and the variety of audio contents.

また、本発明の一態様では、前記ゲームシステムは、キーワードを示すキーワード情報と、前記キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する手段を含み、前記音声登録受付手段は、前記音声情報が示す音声に対応する前記キーワード情報を取得する手段と、前記音声情報と前記キーワード情報とを対応付けて前記記憶手段に記憶させる手段と、を更に含み、前記ゲーム実行手段は、前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する関連ゲーム状況比較手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、前記関連ゲーム状況比較手段の比較結果と、に基づいて、前記音声情報が示す音声を出力させる、ことを特徴とする。   In one aspect of the present invention, the game system includes means for storing keyword information indicating a keyword and related game situation information indicating a game situation related to the keyword in association with each other, and the voice registration acceptance The means further includes means for acquiring the keyword information corresponding to the voice indicated by the voice information, and means for storing the voice information and the keyword information in association with each other in the storage means. Includes, in the game, related game situation comparison means for comparing the game situation in the game and the game situation indicated by the related game situation information associated with the keyword information, and the sound output control means includes the sound output control means, In a game, based on the comparison result of the game situation comparison means and the comparison result of the related game situation comparison means. There are, the audio information to output sound indicating it is characterized.

また、本発明の一態様では、前記ゲームシステムは、ユーザの人数を示す情報を取得するユーザ数取得手段を含み、前記音声登録受付手段は、前記音声情報と、前記音声が入力された場合の前記ユーザの人数を示す基準人数情報とを対応付けて前記記憶手段に記憶させる手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、該ゲームにおける前記ユーザの人数と、前記基準人数情報が示す人数と、に基づいて、前記音声情報が示す音声を出力させる、ことを特徴とする。 In one aspect of the present invention, the game system includes a user number acquisition unit that acquires information indicating the number of users, and the voice registration reception unit is configured to input the voice information and the voice. includes means for storing in said memory means the number of the user in association with indicate to criteria number information, the audio output control unit, in the game, and the comparison result of the game situation comparison means, in the game The voice indicated by the voice information is output based on the number of users and the number indicated by the reference number information.

また、本発明の一態様では、前記ゲームシステムは、前記音声が入力された場合の時間に関する基準時間情報を取得する手段を含み、前記音声登録受付手段は、前記音声情報と前記基準時間情報とを対応付けて前記記憶手段に記憶させる手段を含み、前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報に対応付けられた前記基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる、ことを特徴とする。   In one aspect of the present invention, the game system includes means for acquiring reference time information related to a time when the sound is input, and the sound registration receiving means includes the sound information, the reference time information, Is stored in the storage means, and the sound output control means is configured to add the reference time information associated with the sound information based on a comparison result of the game situation comparison means in the game. The sound indicated by the sound information is output at a volume determined based on the sound volume.

また、本発明の一態様では、前記音声登録受付手段は、前記音声入力手段を介して入力された音声の音量に関する情報を取得する手段と、前記音声の音量に基づいて前記音声情報の取得の開始及び停止を制御する手段と、を含むことを特徴とする。   Further, in one aspect of the present invention, the voice registration accepting unit is configured to acquire information related to the volume of the voice input via the voice input unit; and to acquire the voice information based on the volume of the voice. And means for controlling start and stop.

ゲームをプレイするユーザの様子を示す図である。It is a figure which shows the mode of the user who plays a game. ＣＣＤカメラによって生成される撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image produced | generated by a CCD camera. 赤外線センサによるユーザの深度の測定方法を説明するための図である。It is a figure for demonstrating the measuring method of the user's depth by an infrared sensor. 赤外線センサによって得られる深度画像の一例を示す図である。It is a figure which shows an example of the depth image obtained by an infrared sensor. 位置検出装置により生成される３次元位置情報の一例を示す図である。It is a figure which shows an example of the three-dimensional position information produced | generated by a position detection apparatus. ３次元位置情報によって特定されるプレイヤの位置を示す図である。It is a figure which shows the position of the player specified by three-dimensional position information. ゲーム画面の一例を示す図である。It is a figure which shows an example of a game screen. 注目領域の半径と判定領域の半径とが一致した場合のゲーム画面の一例を示す図である。It is a figure which shows an example of the game screen when the radius of an attention area | region and the radius of a determination area correspond. 位置検出装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a position detection apparatus. ゲーム装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a game device. 本発明に関連する機能を示す機能ブロック図である。It is a functional block diagram which shows the function relevant to this invention. 判定基準情報の一例を示す図である。It is a figure which shows an example of criteria information. 基準タイミング情報の一例を示す図である。It is a figure which shows an example of reference | standard timing information. 現在状況情報の一例を示す図である。It is a figure which shows an example of present condition information. 音声テーブルの一例を示す図である。It is a figure which shows an example of an audio | voice table. ゲームシステムが所定時間ごとに実行する処理を示すフロー図である。It is a flowchart which shows the process which a game system performs for every predetermined time. 実施形態２におけるゲームシステムの機能ブロック図である。It is a functional block diagram of the game system in Embodiment 2. キーワードテーブルのデータ格納例を示す図である。It is a figure which shows the example of data storage of a keyword table. 実施形態２における音声テーブルのデータ格納例を示す図である。It is a figure which shows the example of data storage of the audio | voice table in Embodiment 2. FIG. 実施形態２のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。It is a flowchart which shows the process which the game system of Embodiment 2 performs for every predetermined time. 実施形態３におけるゲームシステムの機能ブロック図である。It is a functional block diagram of the game system in Embodiment 3. 実施形態３における音声テーブルのデータ格納例を示す図である。It is a figure which shows the example of data storage of the audio | voice table in Embodiment 3. 実施形態３のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。It is a flowchart which shows the process which the game system of Embodiment 3 performs for every predetermined time. 実施形態４におけるゲームシステムの機能ブロック図である。It is a functional block diagram of the game system in Embodiment 4. 実施形態４における音声テーブルのデータ格納例を示す図である。It is a figure which shows the example of data storage of the audio | voice table in Embodiment 4. 実施形態４のゲームシステムが所定時間ごとに実行する処理を示すフロー図である。It is a flowchart which shows the process which the game system of Embodiment 4 performs for every predetermined time. 本発明の他の実施形態に係るゲームシステムの全体構成を示す図である。It is a figure which shows the whole structure of the game system which concerns on other embodiment of this invention.

［１．実施形態１］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。 [1. Embodiment 1]
Hereinafter, examples of embodiments of the present invention will be described in detail with reference to the drawings.

［１−１．ゲームシステムの概要］
図１は、ゲームをプレイするユーザ１００の様子を示す図である。本発明に係るゲームシステムＳは、例えば、位置検出装置１と、ゲーム装置２０と、から構成される。位置検出装置１とゲーム装置２０とは、データ通信可能に接続される。 [1-1. Game system overview]
FIG. 1 is a diagram illustrating a state of a user 100 playing a game. The game system S according to the present invention includes, for example, a position detection device 1 and a game device 20. The position detection device 1 and the game device 20 are connected so that data communication is possible.

図１に示すように、ユーザ１００は、例えば、位置検出装置１の前方に位置する。図１は、４人のユーザ１００を示す。例えば、４人のユーザ１００のうち２人がゲームをプレイし、残りの２人はゲームを観戦する。本実施形態においては、ユーザ１００が発した音声が録音され、ゲームが所定の状況になった場合に、この録音された音声が出力される。   As shown in FIG. 1, the user 100 is located in front of the position detection device 1, for example. FIG. 1 shows four users 100. For example, two of the four users 100 play a game, and the remaining two watch the game. In the present embodiment, the voice uttered by the user 100 is recorded, and this recorded voice is output when the game is in a predetermined situation.

位置検出装置１は、ユーザ１００を撮影して得られる画像と、位置検出装置１とユーザ１００との距離に関する情報と、に基づいて３次元空間におけるユーザ１００の位置に関する情報を生成する。例えば、位置検出装置１は、ユーザ１００の体を構成する複数の部位（例えば、頭や両ひじ等）のそれぞれに対応する３次元座標を検出する。   The position detection device 1 generates information regarding the position of the user 100 in the three-dimensional space based on an image obtained by photographing the user 100 and information regarding the distance between the position detection device 1 and the user 100. For example, the position detection device 1 detects three-dimensional coordinates corresponding to each of a plurality of parts (for example, the head and both elbows) that constitute the body of the user 100.

ゲーム装置２０は、ユーザ１００の位置に関する情報を位置検出装置１から取得する。ゲーム装置２０は、例えば、３次元空間におけるユーザ１００の立ち位置やユーザ１００の各部位の位置を示す３次元座標を位置検出装置１から取得する。ゲーム装置２０は、例えば、この３次元座標の変化に基づいてゲームの制御を行う。   The game device 20 acquires information regarding the position of the user 100 from the position detection device 1. The game device 20 acquires, for example, three-dimensional coordinates indicating the standing position of the user 100 and the position of each part of the user 100 from the position detection device 1 in the three-dimensional space. For example, the game device 20 controls the game based on the change in the three-dimensional coordinates.

ユーザ１００に対応する３次元座標の変化は、ユーザ１００の動作に対応する。例えば、ユーザ１００が右手を上げる動作をした場合、このユーザ１００の右ひじ及び右手に対応する３次元座標が、主に変化する。   The change in the three-dimensional coordinates corresponding to the user 100 corresponds to the operation of the user 100. For example, when the user 100 raises the right hand, the three-dimensional coordinates corresponding to the right elbow and the right hand of the user 100 mainly change.

［１−２．位置検出装置の動作］
次に、位置検出装置１が、３次元空間におけるユーザ１００の位置に関する情報（３次元位置情報）を生成する処理について説明する。 [1-2. Operation of position detection device]
Next, processing in which the position detection device 1 generates information (three-dimensional position information) related to the position of the user 100 in the three-dimensional space will be described.

図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。本実施形態においては、ＣＣＤカメラ２及び赤外線センサ３から得られる情報に基づいてユーザ１００の３次元位置情報が生成される。   As shown in FIG. 1, the position detection device 1 includes, for example, a CCD camera 2, an infrared sensor 3, a microphone 4 including a plurality of microphones, and the like. In the present embodiment, three-dimensional position information of the user 100 is generated based on information obtained from the CCD camera 2 and the infrared sensor 3.

ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、ユーザ１００を撮影する。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にユーザ１００を撮影した静止画像（例えば、ＲＧＢデジタル画像）を生成する。以降、ＣＣＤカメラ２により生成される静止画像を撮影画像という。   The CCD camera 2 is a known camera equipped with a CCD image sensor. The CCD camera 2 photographs the user 100. For example, the CCD camera 2 generates a still image (for example, an RGB digital image) obtained by capturing the user 100 at a predetermined time (for example, every 1/60 seconds). Hereinafter, a still image generated by the CCD camera 2 is referred to as a captured image.

図２は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図２に示すように、撮影画像には、ＣＣＤカメラ２に対応する視野内に配置された物体が含まれる。なお、説明の簡略化のため図２では省略しているが、ＣＣＤカメラ２の視野内に家具や壁等が含まれている場合、撮影画像には、これらが含まれる。   FIG. 2 is a diagram illustrating an example of a captured image generated by the CCD camera 2. As shown in FIG. 2, the captured image includes an object arranged in the field of view corresponding to the CCD camera 2. Although omitted in FIG. 2 for simplification of explanation, when furniture, walls, and the like are included in the field of view of the CCD camera 2, these are included in the captured image.

撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。   An Xs axis and a Ys axis that are orthogonal to each other are set in the captured image. For example, the upper left of the photographed image is the origin Os (0, 0). In addition, for example, the lower right corner of the captured image is set as coordinates Pmax (Xmax, Ymax). The position of each pixel corresponding to the captured image is specified by two-dimensional coordinates (Xs-Ys coordinates) assigned to each pixel.

赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、ユーザ１００）の深度を測定する。   The infrared sensor 3 includes, for example, an infrared light emitting element and an infrared light receiving element (for example, an infrared diode). The infrared sensor 3 detects reflected light obtained by irradiating infrared light. The infrared sensor 3 measures the depth of the subject (for example, the user 100) based on the detection result of the reflected light.

被写体の深度とは、測定基準位置（例えば、赤外線センサ３の赤外線受光素子の位置）と被写体の位置との距離間隔である。測定基準位置とは、ユーザ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の配置位置と関連付けられる所定の位置であればよい。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてユーザ１００の深度を測定する。   The depth of the subject is a distance interval between the measurement reference position (for example, the position of the infrared light receiving element of the infrared sensor 3) and the position of the subject. The measurement reference position is a position that serves as a reference when measuring the depth (depth) of the position of the user 100. The measurement reference position may be a predetermined position associated with the arrangement position of the position detection device 1. For example, the infrared sensor 3 measures the depth of the user 100 based on the time of flight (TOF) from when the infrared light is irradiated until the reflected light is received.

図３は、赤外線センサ３によるユーザ１００の深度の測定方法を説明するための図である。なお、図３においては、説明の簡略化のためにユーザ１００を１人として説明する。図３に示すように、赤外線センサ３は、所定間隔でパルス状の赤外線光を照射する。   FIG. 3 is a diagram for explaining a method of measuring the depth of the user 100 by the infrared sensor 3. In FIG. 3, the user 100 is described as one user for simplification of description. As shown in FIG. 3, the infrared sensor 3 irradiates pulsed infrared light at a predetermined interval.

赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。赤外線センサ３から照射された赤外線光は、例えば、ユーザ１００の体等の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。   Infrared light emitted from the infrared sensor 3 spreads in a spherical shape with the light emission position of the infrared sensor 3 as a center point. The infrared light emitted from the infrared sensor 3 strikes the surface of the user 100 body, for example. Infrared light hitting these surfaces is reflected. The reflected infrared light is detected by the infrared light receiving element of the infrared sensor 3. That is, the infrared sensor 3 detects reflected light whose phase is inverted by 180 degrees with respect to the irradiated infrared ray.

例えば、図１に示すように、ゲームをプレイする２人のユーザ１００が両手を前に突き出している場合、この突き出された両手は、ユーザ１００の胴体よりも赤外線センサ３に近い。つまり、ユーザ１００の両手によって反射される赤外線光の飛行時間は、ユーザ１００の胴体によって反射される赤外線光の飛行時間よりも短い。   For example, as shown in FIG. 1, when two users 100 who play a game project both hands forward, the both projected hands are closer to the infrared sensor 3 than the body of the user 100. That is, the time of flight of infrared light reflected by both hands of the user 100 is shorter than the time of flight of infrared light reflected by the body of the user 100.

赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とユーザ１００との距離間隔（即ち、深度）に相当する。このようにして、赤外線センサ３は、ユーザ１００の深度を測定することができる。   The value obtained by multiplying the time from when the infrared sensor 3 irradiates the infrared light until the reflected light is detected (that is, the flight time) and the speed of the infrared rays and dividing by half is the measurement reference position and the user 100. Is equivalent to the distance interval (ie, depth). In this way, the infrared sensor 3 can measure the depth of the user 100.

また、例えば、ユーザ１００の後方に物体が配置されていない場合、ユーザ１００の周囲に対して照射された赤外線光は、ユーザ１００の後方にある壁に反射することが考えられる。そこで、反射した赤外線光から得られる深度差が大きい箇所に基づいて被写体（ユーザ１００）の輪郭を検出することもできる。例えば、周囲との深度差が大きい箇所をつなぎ合わせることによって、ユーザ１００の輪郭を検出することができる。   Further, for example, when an object is not arranged behind the user 100, it is conceivable that the infrared light applied to the periphery of the user 100 is reflected on a wall behind the user 100. Therefore, it is possible to detect the contour of the subject (user 100) based on a location where the depth difference obtained from the reflected infrared light is large. For example, it is possible to detect the contour of the user 100 by connecting portions having a large depth difference from the surroundings.

なお、ユーザ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってユーザ１００の輪郭を検出することができる。   Note that the method of detecting the contour of the user 100 is not limited to the above example. In addition, for example, the contour may be detected based on the luminance of each pixel of the captured image obtained by the CCD camera 2. Also in this case, for example, the contour of the user 100 can be detected by connecting portions having a large luminance difference between pixels.

上記のようにして検出されるユーザ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。   Information about the depth of the user 100 (depth information) detected as described above is expressed as a depth image, for example.

図４は、赤外線センサ３によって得られる深度画像の一例を示す図である。図４に示すように、例えば、深度情報は、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される。深度画像においては、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。   FIG. 4 is a diagram illustrating an example of a depth image obtained by the infrared sensor 3. As shown in FIG. 4, for example, the depth information is expressed as a grayscale depth image (for example, 256-bit grayscale image data). In the depth image, for example, an object close to the infrared sensor 3 is expressed brightly (with high brightness), and a distant object is expressed darkly (with low brightness).

例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、ユーザ１００の深度は、深度画像の輝度（画素値）に対応する。即ち、例えば、ユーザ１００の深度が２センチ異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。   For example, when the depth image is represented as 256-bit grayscale image data, the depth of the user 100 corresponds to the luminance (pixel value) of the depth image. That is, for example, every time the depth of the user 100 is different by 2 cm, the brightness of the depth image is different by 1 bit. In this case, the infrared sensor 3 indicates that the depth of the subject can be detected in units of 2 cm.

本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてユーザ１００の部位の位置に関する３次元位置情報が生成される。   In the present embodiment, the infrared sensor 3 generates a depth image every predetermined time (for example, every 1/60 seconds) as in the CCD camera 2. Based on the captured image obtained by the CCD camera 2 and the depth image obtained by the infrared sensor 3, three-dimensional position information relating to the position of the part of the user 100 is generated.

例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。   For example, a composite image (RGBD data) in which depth information (D: Depth) indicated by the depth image is added to a captured image (RGB data) obtained by the CCD camera 2 is generated. That is, the composite image includes color information (RGB brightness) and depth information for each pixel.

なお、合成画像が生成される際には、ＣＣＤカメラ２と赤外線センサ３との位置間隔に基づいて、撮影画像と深度画像との少なくとも一方の位置が変更される。例えば、ＣＣＤカメラ２と赤外線センサ３が水平方向に２センチ離れている場合、深度画像の各画素の座標を、２センチに対応する画素数だけ移動させることによって、位置の変更が行われる。   Note that when a composite image is generated, the position of at least one of the captured image and the depth image is changed based on the position interval between the CCD camera 2 and the infrared sensor 3. For example, when the CCD camera 2 and the infrared sensor 3 are separated from each other by 2 cm in the horizontal direction, the position is changed by moving the coordinates of each pixel of the depth image by the number of pixels corresponding to 2 cm.

この合成画像に基づいて３次元位置情報が生成される。例えば、３次元位置情報は、ユーザ１００の複数の部位の位置に関する複数の情報を含む。本実施形態においては、３次元位置情報が、ユーザ１００の体の各部位（例えば、頭や肩等）に対応する３次元座標を含む場合を説明する。   Three-dimensional position information is generated based on this synthesized image. For example, the three-dimensional position information includes a plurality of information regarding the positions of a plurality of parts of the user 100. In the present embodiment, a case will be described in which the three-dimensional position information includes three-dimensional coordinates corresponding to each part of the body of the user 100 (for example, the head and the shoulder).

具体的には、例えば、次のようにして３次元位置情報が生成される。   Specifically, for example, the three-dimensional position information is generated as follows.

まず、先述のように、深度画像に基づいてユーザ１００の輪郭に対応する画素が特定される。ユーザ１００の輪郭によって囲まれる画素は、ユーザ１００の体に対応する画素である。   First, as described above, pixels corresponding to the contour of the user 100 are specified based on the depth image. Pixels surrounded by the contour of the user 100 are pixels corresponding to the body of the user 100.

次いで、撮影画像のうち、上記の輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。撮影画像の色情報に基づいて、ユーザ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、ユーザ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。   Next, color information (RGB brightness) of pixels surrounded by the above-described outline in the captured image is referred to. Based on the color information of the captured image, pixels corresponding to each part of the body of the user 100 are specified. As this identification method, for example, a known method such as a pattern matching method for extracting an object (that is, each part of the body of the user 100) from an image by comparison with a comparison image (teacher image) can be applied. is there.

他にも例えば、撮影画像の各画素の色情報の変化から体の各部位の速度ベクトルを算出し、物体の運動を表すオプティカルフロー（例えば、勾配法又はフィルタリング法）等に基づいて各画素の動きベクトルを検出し、ユーザ１００の頭の位置や両肘の位置等に対応する画素が特定されるようにしてもよい。   In addition, for example, a velocity vector of each part of the body is calculated from a change in color information of each pixel of the captured image, and each pixel is calculated based on an optical flow (for example, gradient method or filtering method) representing the motion of the object. A motion vector may be detected, and pixels corresponding to the position of the head of the user 100, the position of both elbows, and the like may be specified.

上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、ユーザ１００の頭や両ひじ等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。即ち、ユーザ１００の各部位の３次元座標が算出される。   Based on the pixel values (RGBD values) of the pixels specified as described above, three-dimensional coordinates such as the head and both elbows of the user 100 are calculated. For example, a three-dimensional coordinate is generated by performing a predetermined matrix conversion process on the pixel value. This line example conversion process is executed by, for example, line example calculation similar to the conversion process of two coordinate systems of world coordinates-screen coordinates in 3D graphics. That is, the RGB value indicating the color information of the pixel and the D value indicating the depth are substituted into a predetermined determinant, whereby the three-dimensional coordinates of the pixel are calculated. That is, the three-dimensional coordinates of each part of the user 100 are calculated.

なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。   A known method can be applied to the method for calculating the three-dimensional coordinates corresponding to the pixel from the pixel value (RGBD value), and this calculation method is not limited to the above example. In addition, for example, coordinate conversion may be performed using a lookup table.

図５は、位置検出装置１により生成される３次元位置情報の一例を示す図である。図５に示すように、３次元位置情報は、例えば、ユーザ１００の各部位と、３次元座標と、が対応付けられて格納される。   FIG. 5 is a diagram illustrating an example of three-dimensional position information generated by the position detection device 1. As shown in FIG. 5, for example, each part of the user 100 is stored in association with three-dimensional coordinates in the three-dimensional position information.

図６は、３次元位置情報によって特定されるユーザ１００の位置（頭Ｐ１〜左つま先Ｐ１６）を示す図である。図６に示すように、ユーザ１００の各部位の３次元座標が、３次元位置情報によって特定される。なお、３次元位置情報によって示されるユーザ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。   FIG. 6 is a diagram illustrating the position (head P1 to left toe P16) of the user 100 specified by the three-dimensional position information. As shown in FIG. 6, the three-dimensional coordinates of each part of the user 100 are specified by the three-dimensional position information. Note that the body part of the user 100 indicated by the three-dimensional position information may be a predetermined part of the player's body (skeleton). For example, this part may be any part of the body that can be specified by the pattern matching method described above.

本実施形態においては、先述のように、所定間隔で生成される撮影画像と深度画像とに基づいて、所定間隔毎（例えば、１／６０秒毎）に３次元位置情報が生成される。生成された３次元位置情報は、所定時間毎に位置検出装置１からゲーム装置２０に対して送信される。   In the present embodiment, as described above, the three-dimensional position information is generated at predetermined intervals (for example, every 1/60 seconds) based on captured images and depth images generated at predetermined intervals. The generated three-dimensional position information is transmitted from the position detection device 1 to the game device 20 every predetermined time.

ゲーム装置２０は、位置検出装置１から送信される３次元位置情報を受信して、この３次元位置情報に基づいてユーザ１００の体の位置を把握する。つまり、ユーザ１００が踊ったりボールを蹴ったりする動作をすると、この動作に対応するように３次元位置情報が変化するので、ゲーム装置２０は、３次元位置情報の変化に基づいてプレイヤの動きを把握することができる。   The game device 20 receives the three-dimensional position information transmitted from the position detection device 1 and grasps the position of the body of the user 100 based on the three-dimensional position information. That is, when the user 100 performs an action of dancing or kicking the ball, the three-dimensional position information changes so as to correspond to this action, so the game device 20 moves the player based on the change of the three-dimensional position information. I can grasp it.

また例えば、ゲーム装置２０は、３次元位置情報に含まれるユーザ１００の各部の位置関係に基づいてユーザ１００のポーズ（姿勢）を把握する。このように、ゲーム装置２０は、３次元位置情報に基づいてユーザ１００の体の動きやポーズを把握してゲームを実行する。   In addition, for example, the game apparatus 20 grasps the pose (posture) of the user 100 based on the positional relationship between the parts of the user 100 included in the three-dimensional position information. As described above, the game device 20 executes the game by grasping the movement and pose of the user 100 based on the three-dimensional position information.

また、図１に示すように、ユーザ１００が複数人である場合、上記と同様の処理によって、複数のユーザ１００のそれぞれについて３次元位置情報が生成される。例えば、赤外線センサ３によって検出されるユーザ１００の輪郭の個数に基づいて、位置検出装置１は、ユーザ１００の人数を把握することができる。それぞれのユーザ１００に対応する画素に対して上記と同様の処理が実行されることによって、複数のユーザ１００の３次元位置情報を生成することができる。   Also, as shown in FIG. 1, when there are a plurality of users 100, three-dimensional position information is generated for each of the plurality of users 100 by the same processing as described above. For example, based on the number of contours of the user 100 detected by the infrared sensor 3, the position detection device 1 can grasp the number of users 100. By performing the same processing as described above on the pixels corresponding to the respective users 100, it is possible to generate the three-dimensional position information of the plurality of users 100.

［１−３．ゲーム装置で実行されるゲーム］
本実施形態においては、ゲーム装置２０が、ユーザ１００が楽曲（ＢＧＭ）に合わせてゲームキャラクタと同じ動作をする、又は、ゲームキャラクタと同じポーズをとるダンスゲームを実行する例を挙げて説明する。先述のように、ユーザ１００の動作及びポーズは、３次元位置情報に基づいて判別される。 [1-3. Game executed on game device]
In the present embodiment, an example will be described in which the game apparatus 20 executes a dance game in which the user 100 performs the same action as a game character in accordance with music (BGM) or takes the same pose as the game character. As described above, the movement and pose of the user 100 are determined based on the three-dimensional position information.

図７は、ゲーム画面５０の一例を示す図である。図７に示すように、ゲーム画面５０は、例えば、ゲームキャラクタ５１、判定領域５２、注目領域５３、ゲージ５４、メッセージ５５を含む。ゲームキャラクタ５１は、例えば、判定領域５２の上に立つように配置される。ゲームキャラクタ５１は、所定のアニメーション情報に基づいて種々のポーズをとりながらダンスを踊る。   FIG. 7 is a diagram illustrating an example of the game screen 50. As shown in FIG. 7, the game screen 50 includes, for example, a game character 51, a determination area 52, an attention area 53, a gauge 54, and a message 55. For example, the game character 51 is arranged to stand on the determination area 52. The game character 51 dances while taking various poses based on predetermined animation information.

判定領域５２及び注目領域５３は、例えば、それぞれ同心円（又は同心楕円）である。例えば、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２よりも大きい。時間が経過すると、注目領域５３の半径Ｒ５３は、小さくなっていく。即ち、時間が経過すると、注目領域５３は、判定領域５２の大きさに近づくように縮んでいく。やがて、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２と一致する。 The determination area 52 and the attention area 53 are, for example, concentric circles (or concentric ellipses), respectively. For example, the radius R 53 of the attention area 53 is larger than the radius R 52 of the determination area 52. As time elapses, the radius R 53 of the attention area 53 becomes smaller. That is, as time elapses, the attention area 53 shrinks so as to approach the size of the determination area 52. Soon, the radius R 53 of the attention area 53 coincides with the radius R 52 of the determination area 52.

図８は、注目領域５３の半径Ｒ５３と判定領域５２の半径Ｒ５２とが一致した場合のゲーム画面５０の一例を示す図である。本実施形態のゲームでは、例えば、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングは、ユーザ１００が、ゲームキャラクタ５１と類似の動作をすべき、又は、ゲームキャラクタ５１と類似のポーズをとるべきタイミング（以降、単に基準タイミングという。）になっている。 Figure 8 is a diagram showing an example of the game screen 50 when the radius R 53 of the region of interest 53 and the radius R 52 of the determination region 52 matches. In the game of this embodiment, for example, the radius R 53 of the attention area 53, the timing at which the radius R 52 matches the determination area 52, the user 100, the game character 51 to be similar operations, or game character 51 is a timing (hereinafter simply referred to as a reference timing) at which a similar pose should be taken.

このため、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングで、ユーザ１００がゲームキャラクタ５１と類似の動作をした場合、又は、ゲームキャラクタ５１と類似のポーズを取っていた場合、このユーザ１００に得点が加算される。なお、ユーザ１００が動作をしたタイミング又はポーズをとったタイミングと、基準タイミングと、のずれ具合に応じて加算される得点が異なるようにしてもよい。 Therefore, the radius R 53 of the attention area 53, at the timing when the radius R 52 of the determination region 52 matches, if the user 100 has an operation similar to the game character 51, or a game character 51 taking similar poses If so, a score is added to the user 100. It should be noted that the score to be added may be different depending on the deviation between the timing at which the user 100 has acted or paused and the reference timing.

例えば、図８の例の場合、ユーザ１００が、ゲームキャラクタ５１と同様に両手を上げていた場合、ユーザ１００に得点が加算される。加算された得点は、例えば、ゲージ５４に反映される。例えば、ゲージ５４のうち斜線で示す領域が、ユーザ１００の得点を示す。   For example, in the case of the example in FIG. 8, when the user 100 raises both hands like the game character 51, a score is added to the user 100. The added score is reflected on the gauge 54, for example. For example, the hatched area of the gauge 54 indicates the score of the user 100.

一方、例えば、基準タイミングにおいて、ユーザ１００が、ゲームキャラクタ５１と類似のポーズを取ることができなかった場合、このユーザ１００の得点が減少する。例えば、ゲージ５４のうち斜線で示す領域が、得点の減少に伴って減少する。   On the other hand, for example, when the user 100 cannot take a pose similar to the game character 51 at the reference timing, the score of the user 100 decreases. For example, the hatched area of the gauge 54 decreases as the score decreases.

ユーザ１００の得点が所定範囲（例えば、０）になった場合、ゲームオーバーとなる。また、ユーザ１００が連続して得点を加算した場合、この回数（コンボ数）がメッセージ５５として表示される。   When the score of the user 100 falls within a predetermined range (for example, 0), the game is over. Further, when the user 100 continuously adds scores, this number of times (the number of combos) is displayed as a message 55.

例えば、図１に示すように２人のユーザ１００が同時にゲームをプレイする場合、図７及び図８に示すように、この２人のユーザ１００のそれぞれに対応するゲージ５４及びメッセージ５５が表示される。   For example, when two users 100 play a game simultaneously as shown in FIG. 1, a gauge 54 and a message 55 corresponding to each of the two users 100 are displayed as shown in FIGS. The

上記のように、基準タイミングが経過した後、注目領域５３の半径Ｒ５３は、再び、判定領域５２の半径Ｒ５２よりも大きくなる。つまり、注目領域５３と判定領域５２との大小関係は、図７のように元に戻る。そして、注目領域５３の半径Ｒ５３は、基準タイミングが到来するまでの残り時間に対応する長さに設定される。このため、次の基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ小さくなっていく。以降のゲーム処理は、上記の繰り返しとなる。 As described above, after the reference timing has elapsed, the radius R 53 of the attention area 53 becomes larger than the radius R 52 of the determination area 52 again. That is, the magnitude relationship between the attention area 53 and the determination area 52 is restored as shown in FIG. The radius R 53 of the attention area 53 is set to a length corresponding to the remaining time until the reference timing arrives. For this reason, the radius R 53 of the attention area 53 gradually decreases as the next reference timing approaches. Subsequent game processing is repeated as described above.

なお、上記では、基準タイミングが近づくにつれて、注目領域５３の半径Ｒ５３が少しずつ小さくなっていく例を挙げたが、ゲーム画面５０においては、基準タイミングを案内することができる表示がなされればよい。例えば、基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ大きくなっていくようにしてもよい。他にも例えば、基準タイミングを案内する画像（案内画像）が、基準タイミングに対応する領域に近づいていくようにしてもよい。 In the above, as the reference timing approaches, although the radius R 53 of the attention area 53 is an example in which becomes smaller little by little, the game screen 50, if the display is made capable of guiding the reference timing Good. For example, the radius R 53 of the attention area 53 may gradually increase as the reference timing approaches. In addition, for example, an image that guides the reference timing (guide image) may approach an area corresponding to the reference timing.

本実施形態においては、上記のように実行されるゲームが所定の状況になった場合、音声が出力される。この音声は、例えば、ユーザ１００が過去に発した音声であり、マイク４を介して入力され、ゲーム装置２０に記憶されたものである。即ち、ゲーム装置２０は、ユーザ１００の音声を録音し、所定のゲーム状況になった場合、この録音した音声を出力する。   In the present embodiment, a sound is output when the game executed as described above enters a predetermined situation. This voice is, for example, voice that the user 100 has uttered in the past, is input via the microphone 4, and is stored in the game apparatus 20. That is, the game apparatus 20 records the voice of the user 100, and outputs the recorded voice when a predetermined game situation is reached.

例えば、ユーザ１００がゲームキャラクタ５１と同じポーズをとって得点が加算された場合、ユーザ１００が歓声をあげると、この歓声が録音される。次に同じようなゲーム状況（例えば、得点が加算される等）になった場合、この録音された歓声が出力される。つまり、図１のように４人のユーザ１００がゲームで遊んでいた（観戦していた）場合に録音された音声が、例えば、ユーザ１００が１人でプレイする場合に出力されるので、１人でゲームをプレイしているユーザ１００は、友人に囲まれながらゲームをプレイしている感覚を味わうことができる。   For example, when the user 100 takes the same pose as the game character 51 and the score is added, when the user 100 cheers, this cheer is recorded. Next, when the same game situation (for example, a score is added), this recorded cheer is output. That is, as shown in FIG. 1, the sound recorded when the four users 100 are playing (watching) in the game is output when the user 100 plays alone, for example, 1 The user 100 who is playing the game with a person can enjoy the feeling of playing the game while being surrounded by friends.

次に、位置検出装置１及びゲーム装置２０の構成について説明する。   Next, configurations of the position detection device 1 and the game device 20 will be described.

［１−４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。 [1-4. Configuration of position detection device]
FIG. 9 is a diagram illustrating a hardware configuration of the position detection device 1. As illustrated in FIG. 9, the position detection device 1 includes a control unit 10, a storage unit 11, an imaging unit 12, a depth measurement unit 13, a voice input unit 14, and a communication interface unit 15. Each component of the position detection apparatus 1 is connected by a bus 16 so that data can be transmitted and received.

制御部１０は、例えばＣＰＵ（Central Processing Unit）等から構成される。制御部１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。   The control unit 10 is composed of, for example, a CPU (Central Processing Unit). The control unit 10 controls each unit of the position detection device 1 based on an operating system and various programs stored in the storage unit 11.

記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいて３次元位置情報を生成するためのプログラムを記憶する。   The storage unit 11 stores an operating system, a shooting unit 12, a program for operating the depth measurement unit 13, and various parameters. In addition, the storage unit 11 stores a program for generating three-dimensional position information based on the captured image and the depth image.

撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、ユーザ１００の撮影画像を生成する。撮影画像は、例えば、記憶部１１に記憶される。   The photographing unit 12 includes a CCD camera 2 and the like. The imaging unit 12 generates a captured image of the user 100, for example. The captured image is stored in the storage unit 11, for example.

深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。深度画像は、例えば、記憶部１１に記憶される。   The depth measurement unit 13 includes the infrared sensor 3 and the like. For example, the depth measurement unit 13 generates a depth image based on the flight time obtained by the infrared sensor 3. The depth image is stored in the storage unit 11, for example.

制御部１０は、先述のように、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、３次元位置情報を生成する。具体的には、まず、制御部１０は、撮影画像に基づいてユーザ１００の各部（例えば、頭や両ひじ）に対応する画素の位置を特定する。   As described above, the control unit 10 generates three-dimensional position information based on the captured image generated by the imaging unit 12 and the depth image generated by the depth measurement unit 13. Specifically, first, the control unit 10 specifies the position of a pixel corresponding to each unit (for example, the head or both elbows) of the user 100 based on the captured image.

次いで、制御部１０は、この特定された画素のＲＧＢＤ値に基づいて座標変換処理を実行して３次元座標を算出する。この座標変換処理は、先述のように、行列演算に基づいた処理である。これらの一連の処理によって、３次元位置情報が、所定時間毎（例えば、１／６０秒毎）に生成される。   Next, the control unit 10 calculates a three-dimensional coordinate by executing a coordinate conversion process based on the RGBD value of the identified pixel. This coordinate conversion process is a process based on a matrix operation as described above. Through a series of these processes, three-dimensional position information is generated every predetermined time (for example, every 1/60 seconds).

音声入力部１４は、マイク４等から構成される。例えば、音声入力部１４は、複数のマイクロフォン（いわゆるアレイマイク。例えば、３つ。）に基づいて検出した音声のずれ時間に基づいて、ユーザ１００が音声を発した位置を特定することができる。   The voice input unit 14 includes a microphone 4 and the like. For example, the voice input unit 14 can specify the position where the user 100 has uttered voice based on the deviation time of voice detected based on a plurality of microphones (so-called array microphones, for example, three).

音声入力部１４が受け付けたユーザ１００の音声を示す音声情報は、ゲーム装置２０に送信される。位置検出装置１からゲーム装置２０に対して送信される音声情報としては、所定周波数ごとにサンプリングされたデジタル形式のデータであってもよいし、音声の波形を示すアナログ形式のデータであってもよい。   Voice information indicating the voice of the user 100 received by the voice input unit 14 is transmitted to the game apparatus 20. The audio information transmitted from the position detection device 1 to the game device 20 may be digital data sampled at a predetermined frequency, or analog data indicating a sound waveform. Good.

また、音声入力部１４のマイク４としては、ＣＣＤカメラ２の視線方向と同じ方向にある発音源からの音を検知する単一指向性のマイクを適用可能である。   As the microphone 4 of the audio input unit 14, a unidirectional microphone that detects sound from a sound source in the same direction as the line of sight of the CCD camera 2 can be applied.

また、音声入力部１４は、所定周波数成分の音成分を除去するバンドパスフィルタを備えていてもよい。例えば、ゲーム音楽に対応する周波数成分を除去し、人間の声のみを検出するようにしてもよい。   The voice input unit 14 may include a bandpass filter that removes a sound component having a predetermined frequency component. For example, frequency components corresponding to game music may be removed and only human voices may be detected.

即ち、例えば、ユーザ１００がゲームをプレイする部屋には、ゲーム音楽が出力されているので、このゲーム音楽やノイズを除去することによって、ユーザ１００の音声のみを取得することができる。特定の音を除去する手法としては、フィードバック回路によってキャンセリングを行う方法等、公知の種々の手法を適用可能である。また例えば、位置検出装置１ではなくゲーム装置２０によって、ゲーム音楽の音成分が除去される処理が行われるようにしてもよい。   That is, for example, game music is output in a room where the user 100 plays a game, so that only the voice of the user 100 can be acquired by removing the game music and noise. As a method for removing a specific sound, various known methods such as a method of canceling with a feedback circuit can be applied. Further, for example, the game device 20 instead of the position detection device 1 may perform processing for removing the sound component of the game music.

通信インタフェース部１５は、ゲーム装置２０に対して３次元位置情報や音声情報等の各種データを送信するためのインタフェースである。   The communication interface unit 15 is an interface for transmitting various data such as three-dimensional position information and voice information to the game apparatus 20.

［１−５．ゲーム装置の構成］
ゲーム装置２０は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯用ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータによって実現される。図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。 [1-5. Configuration of game device]
The game device 20 is realized by, for example, a home game machine (stationary game machine), a portable game machine, a mobile phone, a personal digital assistant (PDA), or a personal computer. FIG. 10 is a diagram illustrating a hardware configuration of the game apparatus 20. As shown in FIG. 10, the game apparatus 20 includes a control unit 21, a main storage unit 22, an auxiliary storage unit 23, an optical disc playback unit 24, a communication interface unit 25, an operation unit 26, a display unit 27, and an audio output unit 28. Including.

制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他のプログラムに従って各種処理を実行する。   The control unit 21 includes, for example, a CPU, a GPU (Graphics Processing Unit), an SPU (Sound Processing Unit), and the like. The control unit 21 executes various processes according to the operating system and other programs.

主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。また例えば、主記憶部２２は、位置検出装置１から受信される３次元位置情報を、受信時間と対応付けて一時的に記憶する。   The main storage unit 22 includes, for example, a RAM (Random Access Memory). The main storage unit 22 stores programs and data read from the auxiliary storage unit 23 or the optical disc (information storage medium). The main storage unit 22 is also used as a work memory that stores data necessary in the course of processing. For example, the main storage unit 22 temporarily stores the three-dimensional position information received from the position detection device 1 in association with the reception time.

補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。補助記憶部２３は、例えば、位置検出装置１から受信された音声情報を記憶する。   The auxiliary storage unit 23 includes, for example, a hard disk device (information storage medium). The auxiliary storage unit 23 stores, for example, audio information received from the position detection device 1.

光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。   The optical disc playback unit 24 reads programs and data stored on the optical disc. For example, a game program is stored on the optical disc.

通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。ゲーム装置２０は、通信インタフェース部２５を介して３次元位置情報や音声情報を、位置検出装置１から取得する。   The communication interface unit 25 is an interface for connecting the game apparatus 20 to a communication network. The game apparatus 20 acquires three-dimensional position information and audio information from the position detection apparatus 1 via the communication interface unit 25.

操作部２６は、ユーザが操作を行うためのものである。操作部２６は、例えばゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。   The operation unit 26 is for a user to perform an operation. The operation unit 26 includes, for example, a game controller, a touch panel, a mouse, or a keyboard.

表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、制御部２１の指示に従って画面を表示する。   The display unit 27 is, for example, a home television receiver or a liquid crystal display panel. The display unit 27 displays a screen according to instructions from the control unit 21.

音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。音声出力部２８は、補助記憶部２３から読み出された音声情報や、光ディスクに記憶されたゲーム音楽等を制御部２１の指示に従って出力する。   The audio output unit 28 includes, for example, a speaker or headphones. The audio output unit 28 outputs audio information read from the auxiliary storage unit 23, game music stored on the optical disc, and the like according to instructions from the control unit 21.

上記のように、本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えばメモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。   As described above, in the present embodiment, a case will be described in which a program and data necessary for executing a game are supplied to the game apparatus 20 via an optical disc. Note that these programs and data may be supplied to the game apparatus 20 via another information storage medium (for example, a memory card). Alternatively, the program and data may be supplied to the game apparatus 20 from a remote location via a communication network.

ゲームシステムＳ（ゲーム装置２０）では、光ディスクから読み出されたゲームプログラムによってゲームが実行される。例えば、ゲームシステムＳにおいては、ゲームキャラクタ５１と同じポーズをとるようなダンスゲーム（図７、図８）が実行される。   In the game system S (game device 20), the game is executed by the game program read from the optical disc. For example, in the game system S, a dance game (FIGS. 7 and 8) that takes the same pose as the game character 51 is executed.

［１−６．ゲームシステムにおいて実現される機能］
次に、ゲームシステムＳにおいて実現される機能について説明する。図１１は、ゲームシステムＳで実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図１１に示すように、ゲームシステムＳはゲームデータ記憶部６０（記憶手段）、ゲーム実行部７０、及び音声登録受付部８０を含む。 [1-6. Functions realized in the game system]
Next, functions realized in the game system S will be described. FIG. 11 is a functional block diagram showing functions related to the present invention among the functions realized by the game system S. As shown in FIG. 11, the game system S includes a game data storage unit 60 (storage means), a game execution unit 70, and a voice registration reception unit 80.

［１−６−１．ゲームデータ記憶部］
ゲームデータ記憶部６０は、例えば、主記憶部２２、補助記憶部２３、及び光ディスクを主として実現される。ゲームデータ記憶部６０は、ダンスゲームを実行するために必要な情報やデータを記憶する。例えば、ゲームデータ記憶部６０は、ゲームキャラクタ５１の動きを示すアニメーション情報を記憶する。 [1-6-1. Game data storage unit]
The game data storage unit 60 is realized mainly using, for example, the main storage unit 22, the auxiliary storage unit 23, and an optical disc. The game data storage unit 60 stores information and data necessary for executing a dance game. For example, the game data storage unit 60 stores animation information indicating the movement of the game character 51.

［判定基準情報］
また例えば、ゲームデータ記憶部６０は、３次元位置情報に基づいてユーザ１００の動作又はポーズを判断する際の基準となる判定基準情報を記憶する。 [Criteria information]
In addition, for example, the game data storage unit 60 stores determination criterion information serving as a criterion when determining the action or pose of the user 100 based on the three-dimensional position information.

図１２は、判定基準情報の一例を示す図である。図１２に示すように、判定基準情報は、例えば、ユーザ１００の動作又はポーズを識別する情報と、ユーザ１００の３次元位置情報に関する判定基準と、を対応付けたものである。判定基準とは、３次元位置情報が満たすべき条件である。判定基準としては、例えば、３次元位置情報に含まれるユーザ１００の各部位の３次元座標の変化速度、変化量、変化方向を示す情報や、３次元空間におけるユーザ１００の各部位の位置関係を示す情報である。   FIG. 12 is a diagram illustrating an example of determination criterion information. As illustrated in FIG. 12, the determination criterion information is information that associates, for example, information for identifying the motion or pose of the user 100 and a determination criterion regarding the three-dimensional position information of the user 100. The determination criterion is a condition that the three-dimensional position information should satisfy. As a determination criterion, for example, information indicating the change speed, change amount, and change direction of the three-dimensional coordinates of each part of the user 100 included in the three-dimensional position information, and the positional relationship between the parts of the user 100 in the three-dimensional space. It is information to show.

制御部２１は、３次元位置情報が示す各部位の変化や位置関係が、判定基準情報に含まれる判定基準を満たすか否か、に基づいてユーザ１００の動作やポーズを判定する。例えば、ユーザ１００の両ひじ及び両手の３次元座標が、上方に所定速度で所定距離の変化をした場合、制御部２１は、ユーザ１００が両手を上げたと判定する。また例えば、ユーザ１００の頭の３次元座標と両手の３次元座標とが所定の位置関係にあった場合、制御部２１は、ユーザ１００がファイティングポーズをとっていると判定する。   The control unit 21 determines the action and pose of the user 100 based on whether or not the change or positional relationship of each part indicated by the three-dimensional position information satisfies the determination criterion included in the determination criterion information. For example, when the three-dimensional coordinates of both the elbows and both hands of the user 100 change a predetermined distance upward at a predetermined speed, the control unit 21 determines that the user 100 has raised both hands. For example, when the three-dimensional coordinates of the head of the user 100 and the three-dimensional coordinates of both hands are in a predetermined positional relationship, the control unit 21 determines that the user 100 is in a fighting pose.

［基準タイミング情報］
また、ゲームデータ記憶部６０は、ユーザ１００が、どのタイミングでどのような動作又はポーズをとるべきか、を識別するための基準タイミング情報を記憶する。 [Reference timing information]
Further, the game data storage unit 60 stores reference timing information for identifying what operation or pose the user 100 should take at which timing.

図１３は、基準タイミング情報の一例を示す図である。図１３に示すように、基準タイミング情報には、基準タイミング（時間）と、ユーザ１００がすべき動作又はポーズを識別する情報と、が対応付けられている。基準タイミングは、例えば、ゲームが開始されてからの経過時間が格納される。図１３のデータ格納例では、ゲームが開始されてから時間ｔ１が経過した場合、ユーザ１００は両手を上げるべきであることを示す。 FIG. 13 is a diagram illustrating an example of the reference timing information. As illustrated in FIG. 13, the reference timing information is associated with reference timing (time) and information for identifying an action or pause to be performed by the user 100. As the reference timing, for example, an elapsed time from the start of the game is stored. The data storage example of FIG. 13, if the game time t 1 since the start has elapsed, the user 100 indicates that it should raise his hands.

先述したアニメーション情報は、基準タイミング情報に基づいて作成されている。即ち、基準タイミングが訪れた場合、ゲームキャラクタ５１が、この基準タイミングに対応付けられている動作又はポーズと類似した動作又はポーズをとるようになっている。   The animation information described above is created based on the reference timing information. That is, when the reference timing arrives, the game character 51 takes an action or pose similar to the action or pose associated with the reference timing.

ゲーム実行部７０は、アニメーション情報や基準タイミング情報に基づいてゲーム画面５０の表示制御を行う。具体的には、ゲーム実行部７０は、例えば、アニメーション情報に基づいてゲームキャラクタ５１の画像を表示させる。また例えば、ゲーム実行部７０は、現在の時間と基準タイミングとの時間差に基づいて、注目領域５３の半径Ｒ５３の大きさ制御する。 The game execution unit 70 performs display control of the game screen 50 based on animation information and reference timing information. Specifically, the game execution unit 70 displays an image of the game character 51 based on, for example, animation information. Further, for example, the game execution unit 70 controls the size of the radius R 53 of the attention area 53 based on the time difference between the current time and the reference timing.

［現在状況情報］
また、ゲームデータ記憶部６０は、現在状況情報記憶部６１を含む。現在状況情報記憶部６１は、ゲーム状況を示すゲーム状況情報を現在状況情報として記憶する。なお、「ゲーム状況」とは、ゲーム画面５０の表示状況やゲームの進行状況（経過状況）を意味する。 [Current status information]
The game data storage unit 60 includes a current situation information storage unit 61. The current situation information storage unit 61 stores game situation information indicating a game situation as current situation information. The “game situation” means the display situation of the game screen 50 and the progress situation (elapsed situation) of the game.

図１４は、現在状況情報の一例を示す図である。図１４に示すように、例えば、下記に示す情報が現在状況情報に含まれる。
（１）得点情報（例えば、現在のユーザ１００の得点や、コンボ数を示す情報等）
（２）時間情報（例えば、ステージクリアまでの残り時間や、ステージクリアまでに訪れる基準タイミングの回数等）
（３）表示情報（例えば、判定領域５２の半径Ｒ５２や注目領域５３の半径Ｒ５２等）
（４）ゲーム経過情報（例えば、得点が加算又は減少されていく様子を示す情報や、ミスをした回数を示す情報等） FIG. 14 is a diagram illustrating an example of the current status information. As shown in FIG. 14, for example, the following information is included in the current situation information.
(1) Score information (for example, current user 100 score, information indicating the number of combos, etc.)
(2) Time information (for example, the remaining time until the stage is cleared, the number of reference timings to be reached before the stage is cleared, etc.)
(3) Display information (e.g., the radius R 52 of radius R 52 and attention area 53 in the determination area 52, etc.)
(4) Game progress information (for example, information indicating how points are added or decreased, information indicating the number of mistakes, etc.)

なお、実行中のゲームの状況は、例えば、上記の現在状況情報に基づいて判別される。ゲームの状況の判別方法は、現在状況情報に格納される各値に基づいて予め定められた方法で判別されるようにすればよい。例えば、得点情報が示す得点が基準値よりも低くなった場合、ゲームの状況が「ピンチ」であると判定され、また例えば、得点情報が示す得点が基準値よりも低いが、残り時間が比較的短い場合、ゲームの状況が「クリア間近」であると判定される。   Note that the status of the game being executed is determined based on the current status information, for example. The game situation determination method may be determined by a predetermined method based on each value stored in the current situation information. For example, if the score indicated by the score information is lower than the reference value, it is determined that the game status is “pinch”. For example, the score indicated by the score information is lower than the reference value, but the remaining time is compared. If the target is short, it is determined that the game status is “close to clear”.

現在状況情報記憶部６１に記憶される現在状況情報は、例えば、後述する現在状況情報更新部７１によって内容が更新される。更新された現在状況情報は、例えば、更新時間と対応付けられて現在状況情報記憶部６１に記憶されるようにしてもよい。この場合、現在状況情報が更新される度に、現在状況情報が蓄積されることになる。これにより、ゲーム装置２０は、現在及び過去のゲームの状況を把握することができる。   The content of the current status information stored in the current status information storage unit 61 is updated by, for example, a current status information update unit 71 described later. The updated current status information may be stored in the current status information storage unit 61 in association with the update time, for example. In this case, every time the current status information is updated, the current status information is accumulated. Thereby, the game device 20 can grasp the current and past game situations.

［音声テーブル］
さらに、ゲームデータ記憶部６０は、音声データ記憶部６２を含む。音声データ記憶部６２は、音声に関する音声情報と、音声を出力すべきゲーム状況を示す基準ゲーム状況情報と、を対応づけて記憶する。ゲームデータ記憶部６０は、例えば、これらの内容を音声テーブルとして記憶する。 [Voice table]
Furthermore, the game data storage unit 60 includes an audio data storage unit 62. The sound data storage unit 62 stores sound information related to sound and reference game situation information indicating a game situation in which sound is to be output in association with each other. For example, the game data storage unit 60 stores these contents as an audio table.

図１５は、音声データ記憶部６２に記憶される音声テーブルの一例を示す図である。音声テーブルは、多数のレコードを含む。各レコードは「基準ゲーム状況情報」フィールドと「音声情報」フィールドとを含む。「基準ゲーム状況情報」フィールドには、音声を出力すべきゲーム状況を示す情報が記憶される。「音声情報」フィールドには、音声情報を識別する情報（音声情報のデータ自体、又は、音声情報が格納されたフォルダ及びファイル名等）が記憶される。   FIG. 15 is a diagram illustrating an example of a voice table stored in the voice data storage unit 62. The voice table includes a number of records. Each record includes a “reference game situation information” field and a “voice information” field. In the “reference game situation information” field, information indicating a game situation in which sound is to be output is stored. In the “voice information” field, information for identifying the voice information (voice information data itself, a folder and a file name in which the voice information is stored, or the like) is stored.

後述する音声情報取得部８１が音声情報を取得すると、この音声情報が、例えば、現在状況情報が示すゲーム状況と対応付けられて音声テーブルに格納（登録）される。即ち、ユーザ１００が発した音声が音声入力部１４を介して入力されると、この音声が入力された場合のゲームの状況と対応付けられて記憶される。   When the audio information acquisition unit 81 to be described later acquires audio information, the audio information is stored (registered) in an audio table in association with the game situation indicated by the current situation information, for example. That is, when the voice uttered by the user 100 is input via the voice input unit 14, the voice is input and stored in association with the game situation when the voice is input.

なお、音声テーブルに所定数以上のレコードが含まれる場合、このうちの所定のレコードが削除されるようにしてもよい。例えば、最も古いレコードが削除されて直近で録音された音声を含むレコードが格納される。また例えば、音声テーブルには、ゲーム制作者が予め設定した音声が登録されていてもよい。   When a predetermined number or more records are included in the voice table, a predetermined record among them may be deleted. For example, the oldest record is deleted and a record including the sound recorded most recently is stored. In addition, for example, a voice set in advance by the game creator may be registered in the voice table.

ユーザ１００が発した音声が入力された場合のゲームの状況は、音声情報に対応付けられた基準ゲーム状況情報に基づいて判別される。基準ゲーム状況情報のデータ形式は、現在状況情報（図１４）と同様である。ゲームの状況の判別方法は、現在状況情報と同様であるので説明を省略する。   The state of the game when the sound uttered by the user 100 is input is determined based on the reference game state information associated with the sound information. The data format of the reference game situation information is the same as the current situation information (FIG. 14). The method for determining the game situation is the same as that for the current situation information, and a description thereof will be omitted.

なお、現在状況情報及び基準ゲーム状況情報のデータ形式は、ゲーム作成者によって予め定められたものであればよい。つまり、ゲームの状況を示すための情報の形式は、図１４に示す例に限られない。ゲームの状況を示すための情報の形式は、ゲームシステムＳにおいて実行されるゲームの種類に応じて適宜変更可能である。   Note that the data format of the current situation information and the reference game situation information only needs to be predetermined by the game creator. That is, the format of information for indicating the game situation is not limited to the example shown in FIG. The format of information for indicating the game situation can be changed as appropriate according to the type of game executed in the game system S.

［１−６−２．ゲーム実行部］
ゲーム実行部７０は、制御部２１を主として実現される。ゲーム実行部７０は、ゲームを実行する。例えば、ゲーム実行部７０は、ゲーム画面５０を表示部２７に表示させたり、基準タイミングにおいて、ユーザ１００が基準となる動作又はポーズ（姿勢）をしたか否かを判定して得点を増減させる処理を実行する。即ち例えば、ゲーム実行部７０は、ユーザ１００の３次元位置情報に基づいてゲームを制御する。 [1-6-2. Game execution part]
The game execution unit 70 is realized mainly by the control unit 21. The game execution unit 70 executes a game. For example, the game execution unit 70 displays the game screen 50 on the display unit 27, or determines whether or not the user 100 has performed a reference operation or pose (posture) at the reference timing to increase or decrease the score. Execute. That is, for example, the game execution unit 70 controls the game based on the three-dimensional position information of the user 100.

ゲーム実行部７０は、現在状況情報更新部７１、音声出力制御部７２、及びゲーム状況比較部７３を含む。   The game execution unit 70 includes a current situation information update unit 71, an audio output control unit 72, and a game situation comparison unit 73.

現在状況情報更新部７１は、現在状況情報記憶部６１に記憶される現在状況情報を更新する。例えば、現在状況情報更新部７１は、基準タイミングが訪れた場合、ユーザ１００がゲームキャラクタ５１と類似の動作又はポーズをしているか否かに基づいて、得点情報を更新する。基準タイミングが訪れた場合とは、例えば、基準タイミングから所定時間前後した時間を含む。   The current status information update unit 71 updates the current status information stored in the current status information storage unit 61. For example, the current situation information update unit 71 updates the score information based on whether or not the user 100 is performing an action or a pose similar to the game character 51 when the reference timing comes. The case where the reference timing is reached includes, for example, a time around a predetermined time from the reference timing.

基準タイミングが訪れた場合、例えば、ユーザ１００が、この基準タイミングに対応付けられた動作又はポーズと類似した動作又はポーズをしたか否かに基づいて、現在状況情報更新部７１は、得点が加算又は減少させて得点情報を更新する。また例えば、現在状況情報更新部７１は、ゲームが開始されてからユーザ１００の得点の増減の経過を時系列的に示すゲーム経過情報を更新する。また例えば、現在状況情報更新部７１は、時間経過に伴って時間情報や表示情報を、所定のアルゴリズムに基づいて更新する。   When the reference timing has come, for example, based on whether or not the user 100 has performed an operation or pause similar to the operation or pause associated with the reference timing, the current situation information update unit 71 adds a score. Alternatively, the score information is updated with a decrease. Further, for example, the current situation information update unit 71 updates the game progress information that indicates the progress of the increase / decrease of the score of the user 100 in time series since the game was started. Further, for example, the current status information update unit 71 updates time information and display information with the passage of time based on a predetermined algorithm.

音声出力制御部７２は、ゲームデータ記憶部６０に記憶された音声情報が示す音声や、ゲーム音楽（楽曲）、効果音等の各種音声データを音声出力部２８から出力させる。   The sound output control unit 72 causes the sound output unit 28 to output various sound data such as sound indicated by the sound information stored in the game data storage unit 60, game music (music), and sound effects.

ゲーム状況比較部７３は、ゲームにおいて、該ゲームにおけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。   In the game, the game situation comparison unit 73 compares the game situation in the game with the game situation indicated by the reference game situation information associated with the audio information.

例えば、ゲーム状況比較部７３は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度を取得する。例えば、実行中のゲームにおけるゲーム経過情報が示す得点が増減する様子と、基準ゲーム状況情報が示すゲーム経過情報が示す得点が増減する様子と、の類似度が取得される。ここで、「得点が増減する様子」とは、得点情報が増減する時系列的な様子である。この場合の類似度は、例えば、時系列的な得点の増減の具合について、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況との間で比較することによって算出される。   For example, the game situation comparison unit 73 acquires the degree of similarity between the game situation in the game being executed and the game situation indicated by the reference game situation information. For example, the degree of similarity between the state in which the score indicated by the game progress information in the game being executed increases or decreases and the state in which the score indicated by the game progress information indicated by the reference game situation information increases or decreases is acquired. Here, “the state in which the score increases or decreases” is a time-series state in which the score information increases or decreases. The degree of similarity in this case is calculated, for example, by comparing the game situation in the game being executed and the game situation indicated by the reference game situation information with respect to the degree of increase / decrease of the time series score.

音声出力制御部７２は、ゲームが実行されている状態において、ゲーム状況比較部７３の比較結果に基づいて、音声情報が示す音声を音声出力部２８から出力させる。例えば、ゲーム状況比較部７３の比較結果が所定の結果である場合、音声出力制御部７２は、基準ゲーム状況情報に対応づけられた音声情報が示す音声を音声出力部２８から出力させる。   The sound output control unit 72 causes the sound output unit 28 to output the sound indicated by the sound information based on the comparison result of the game situation comparison unit 73 in a state where the game is being executed. For example, when the comparison result of the game situation comparison unit 73 is a predetermined result, the audio output control unit 72 causes the audio output unit 28 to output the audio indicated by the audio information associated with the reference game situation information.

ここで、「ゲーム状況比較部７３の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が一致又は類似する場合である。言い換えれば、「ゲーム状況比較部７３の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度が所定範囲（例えば、基準類似度よりも高い）の場合である。   Here, “when the comparison result of the game situation comparison unit 73 is a predetermined result” is, for example, when the game situation in the game being executed and the game situation indicated by the reference game situation information match or are similar to each other It is. In other words, “when the comparison result of the game situation comparison unit 73 is a predetermined result” means that, for example, the similarity between the game situation in the game being executed and the game situation indicated by the reference game situation information is within a predetermined range. (For example, higher than the reference similarity).

［１−６−３．音声登録受付部］
音声登録受付部８０は、制御部２１を主として実現される。音声登録受付部８０は、ゲームにおいて出力される音声の登録を受け付ける。本実施形態の場合、音声登録受付部８０は、実行中のゲームにおいて、ユーザ１００が発した音声が音声入力部１４を介して入力され、この音声の登録を受け付ける。図１５に示すように、音声登録受付部８０は、音声情報取得部８１及び基準ゲーム状況情報取得部８２を含む。 [1-6-3. Voice registration reception department]
The voice registration receiving unit 80 is realized mainly by the control unit 21. The voice registration acceptance unit 80 accepts registration of voice output in the game. In the case of the present embodiment, the voice registration receiving unit 80 receives a voice uttered by the user 100 via the voice input unit 14 in the game being executed, and receives the registration of the voice. As shown in FIG. 15, the voice registration receiving unit 80 includes a voice information acquisition unit 81 and a reference game situation information acquisition unit 82.

音声情報取得部８１は、音声入力手段（音声入力部１４）が受け付けたユーザ１００の音声を示す音声情報を取得する。例えば、音声情報取得部８１は、位置検出装置１から音声情報を受信することによって音声情報を取得する。本実施形態の場合、音声情報取得部８１は、ゲーム装置２０でゲームが実行されている間において、音声入力部１４から入力された音声に対応する音声情報を取得する。   The voice information acquisition unit 81 acquires voice information indicating the voice of the user 100 received by the voice input unit (voice input unit 14). For example, the audio information acquisition unit 81 acquires audio information by receiving audio information from the position detection device 1. In the case of the present embodiment, the sound information acquisition unit 81 acquires sound information corresponding to the sound input from the sound input unit 14 while the game is being executed on the game device 20.

本実施形態においては、例えば、音声情報が示す音声の音量が基準値以上となった場合、主記憶部２２に記憶される発話フラグがオンになる。この発話フラグは、ユーザ１００が発話しているか否かを識別するためのものである。即ち、ユーザ１００の発話が終了した場合、この発話フラグがオフになる。例えば、発話フラグがオンである状態で、音声情報が示す音声の音量が基準値未満である状態が所定時間（例えば、２秒）継続した場合、ユーザ１００の発話が終了したと判定される。即ち、この場合、発話フラグがオフになる。   In the present embodiment, for example, when the sound volume indicated by the sound information is equal to or higher than a reference value, the speech flag stored in the main storage unit 22 is turned on. This utterance flag is for identifying whether or not the user 100 is speaking. That is, when the utterance of the user 100 is finished, the utterance flag is turned off. For example, when the state in which the speech flag is on and the sound volume indicated by the sound information is lower than the reference value continues for a predetermined time (for example, 2 seconds), it is determined that the user 100 has finished speaking. That is, in this case, the utterance flag is turned off.

例えば、発話フラグがオンになっている間に入力された音声のみが、ゲーム装置２０に記憶されることになる。即ち、発話フラグが参照されることにより、ユーザ１００の音声の録音の開始及び停止が制御されることになる。なお、ユーザ１００の音声の録音の開始及び停止は、位置検出装置１によって制御されるようにしてもよい。   For example, only the voice input while the utterance flag is on is stored in the game apparatus 20. That is, by referring to the utterance flag, the start and stop of voice recording of the user 100 are controlled. Note that the start and stop of voice recording of the user 100 may be controlled by the position detection device 1.

基準ゲーム状況情報取得部８２は、音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する。本実施形態の場合、基準ゲーム状況情報取得部８２は、ゲームが実行中の状態において、ユーザ１００が発した音声が入力されたか否かを判定する。例えば、ゲーム装置２０が音声入力部１４から受信する音声情報が示す音声の音量が所定値以上となった場合、ユーザ１００によって音声が入力されたと判定される。   The reference game situation information acquisition unit 82 acquires reference game situation information indicating a game situation when sound is input. In the case of the present embodiment, the reference game situation information acquisition unit 82 determines whether or not a voice uttered by the user 100 is input while the game is being executed. For example, when the sound volume indicated by the sound information received from the sound input unit 14 by the game apparatus 20 is equal to or higher than a predetermined value, it is determined that the user 100 has input sound.

そして、基準ゲーム状況情報取得部８２は、音声入力部１４から音声が入力された場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。例えば、基準ゲーム状況情報取得部８２は、音声の入力が開始された場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。即ち例えば、音声入力部１４から入力された音声の音量が所定値以上となって発話フラグがオンになった場合の現在状況情報が、基準ゲーム状況情報として記憶される。   Then, the reference game situation information acquisition unit 82 acquires information indicating the game situation when the voice is input from the voice input unit 14 as the reference game situation information. For example, the reference game situation information acquisition unit 82 acquires, as reference game situation information, information indicating a game situation when voice input is started. That is, for example, the current situation information when the volume of the voice input from the voice input unit 14 is a predetermined value or more and the utterance flag is turned on is stored as the reference game situation information.

音声登録受付部８０は、音声情報取得部８１によって取得された音声情報と、基準ゲーム状況情報取得部８２によって取得された基準ゲーム状況情報と、を対応づけて音声データ記憶部６２に記憶させる。本実施形態の場合、音声情報取得部８１によって取得された音声情報と、基準ゲーム状況情報取得部８２によって取得された基準ゲーム状況情報と、の組合せが、一つのレコードとして音声テーブルに登録される。   The voice registration reception unit 80 stores the voice information acquired by the voice information acquisition unit 81 and the reference game situation information acquired by the reference game situation information acquisition unit 82 in the voice data storage unit 62 in association with each other. In the case of this embodiment, the combination of the audio information acquired by the audio information acquisition unit 81 and the reference game situation information acquired by the reference game situation information acquisition unit 82 is registered in the audio table as one record. .

［１−７．ゲームシステムにおいて実行される処理］
次に、ゲームシステムＳ（ゲーム装置２０）で実行される処理について説明する。図１６は、ゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図１６に示す処理を実行する。 [1-7. Processing executed in game system]
Next, processing executed in the game system S (game device 20) will be described. FIG. 16 is a flowchart showing processing executed by the game system S every predetermined time (for example, 1/60 seconds). The control unit 21 executes the process shown in FIG. 16 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図１６に示すように、まず、制御部２１（現在状況情報更新部７１）は、現在状況情報を更新する（Ｓ１０１）。例えば、制御部２１は、ユーザ１００の動作又はポーズと、基準タイミング情報の記憶内容と、を比較して得点情報を更新する。また例えば、制御部２１は、時間情報を時間経過に基づいて更新する。また例えば、制御部２１は、ゲームキャラクタ５１の表示位置を変えたり注目領域５３の半径Ｒ５３を小さくするように、表示情報を更新する。また例えば、制御部２１は、ユーザ１００が獲得した得点に基づいてゲーム経過情報を更新する。 As shown in FIG. 16, first, the control unit 21 (current status information update unit 71) updates the current status information (S101). For example, the control unit 21 updates the score information by comparing the operation or pause of the user 100 with the stored content of the reference timing information. For example, the control part 21 updates time information based on progress of time. Further, for example, the control unit 21 updates the display information so as to change the display position of the game character 51 or to reduce the radius R 53 of the attention area 53. For example, the control unit 21 updates the game progress information based on the score acquired by the user 100.

制御部２１は、更新後の現在状況情報を現在状況情報記憶部６１に保存する（Ｓ１０２）。Ｓ１０２においては、例えば、更新後の現在状況情報が、更新時間と対応付けられて保存される。   The control unit 21 stores the updated current status information in the current status information storage unit 61 (S102). In S102, for example, the updated current status information is stored in association with the update time.

制御部２１は、音声情報が示す音声の出力タイミングが訪れたか否かを判定する（Ｓ１０３）。出力タイミングは、ゲームデータ記憶部６０に記憶された音声情報を音声出力部２８から出力すべきタイミングである。出力タイミングは、予め定められたタイミングであってよい。例えば、出力タイミングは、前回音声が出力されてから所定時間が経過したか否か、現在状況情報が示すゲーム状況が所定の状況になったか否か等である。   The control unit 21 determines whether or not the voice output timing indicated by the voice information has arrived (S103). The output timing is a timing at which the audio information stored in the game data storage unit 60 should be output from the audio output unit 28. The output timing may be a predetermined timing. For example, the output timing is whether or not a predetermined time has elapsed since the last sound was output, whether or not the game situation indicated by the current situation information has become a predetermined situation, and the like.

出力タイミングが訪れた場合（Ｓ１０３；Ｙ）、制御部２１は、音声テーブルに含まれる基準ゲーム状況情報が示すゲーム状況と現在のゲーム状況との間の類似度を取得する（Ｓ１０４）。Ｓ１０４においては、音声テーブルに含まれる全てのレコードが参照されるようにしてもよいし、ランダムに選出される一部のレコードのみが参照されるようにしてもよい。類似度は、例えば、下記のようにして算出される。   When the output timing has arrived (S103; Y), the control unit 21 acquires the similarity between the game situation indicated by the reference game situation information included in the audio table and the current game situation (S104). In S104, all records included in the voice table may be referred to, or only some of the records selected at random may be referred to. The similarity is calculated as follows, for example.

例えば、制御部２１は、ゲーム状況に関するｎ個の指標値を現在のゲーム状況に関して取得する。ここで、指標値はゲーム状況の特徴を表すような数値であり、ゲーム状況が類似しているか否かを評価するための数値である。同様に、制御部２１は、上記のｎ個の指標値を、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に関しても取得する。   For example, the control unit 21 acquires n index values related to the game situation regarding the current game situation. Here, the index value is a numerical value that represents the characteristics of the game situation, and is a numerical value for evaluating whether or not the game situation is similar. Similarly, the control unit 21 acquires the above n index values regarding the game situation indicated by the reference game situation information of the record included in the sound table.

そして、上記のｎ個の指標値をｎ次元のベクトルとみなして、制御部２１は、現在のゲーム状況に対応するベクトルと、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に対応するベクトルと、のなす角度（θ）に基づいて、類似度を算出する。例えば、この角度の余弦（ｃｏｓθ）が類似度として用いられる。この余弦が１に近いほど、両者のベクトルが同じ方向を示していることになるため、上記のｎ個の指標値が互いに類似していることを示す。   Then, regarding the above n index values as an n-dimensional vector, the control unit 21 corresponds to the vector corresponding to the current game situation and the game situation indicated by the reference game situation information of the record included in the sound table. Based on the angle (θ) formed by the vector to be calculated, the similarity is calculated. For example, the cosine (cos θ) of this angle is used as the similarity. The closer the cosine is to 1, the more the vectors indicate the same direction, indicating that the n index values are similar to each other.

即ち、現在のゲーム状況と、音声テーブルのレコードのうちで比較対象となるレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していることを示す。一方、例えば、上記の余弦が０に近いほど、上記のｎ個の指標値が互いに類似しないことを示す。即ち、現在のゲーム状況と、比較対象のレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していないことを示す。   That is, it shows that the current game situation and the game situation indicated by the reference game situation information of the record to be compared among the records in the voice table are similar. On the other hand, for example, the closer the cosine is to 0, the more the n index values are not similar to each other. That is, it indicates that the current game situation is not similar to the game situation indicated by the reference game situation information of the comparison target record.

図１６に戻り、制御部２１は、音声テーブルに含まれるレコードのうちで最も類似度が高いレコードの音声情報が示す音声を音声出力部２８から出力させる（Ｓ１０５）。つまり、現在のゲーム状況と最も似ているゲーム状況で録音された音声が出力されることになる。なお、Ｓ１０５においては、ゲーム状況に基づいて所定のエフェクト処理が施された音声が出力されるようにしてもよい。   Returning to FIG. 16, the control unit 21 causes the audio output unit 28 to output the audio indicated by the audio information of the record having the highest similarity among the records included in the audio table (S105). That is, the sound recorded in the game situation most similar to the current game situation is output. In S105, sound that has been subjected to predetermined effect processing based on the game situation may be output.

次いで、制御部２１（音声出力制御部７２）は、ユーザ１００の音声を記憶するか否かを判定する（Ｓ１０６）。Ｓ１０６においては、例えば、主記憶部２２に記憶された発話フラグによって判定される。例えば、発話フラグがオンである状態からオフになった場合、ユーザ１００が発した音声の入力が終了したことを示している。この場合に、制御部２１は、ユーザ１００による音声を記憶すると判定する。   Next, the control unit 21 (voice output control unit 72) determines whether or not to store the voice of the user 100 (S106). In S <b> 106, for example, the determination is made based on the speech flag stored in the main storage unit 22. For example, when the utterance flag is turned off from the on state, it indicates that the input of the voice uttered by the user 100 is finished. In this case, the control unit 21 determines to store the voice by the user 100.

ユーザ１００による音声を記憶する場合（Ｓ１０６；Ｙ）、制御部２１（音声登録受付部８０）は、基準ゲーム状況情報と、音声情報と、の組合せを音声テーブルに登録する（Ｓ１０７）。Ｓ１０７において登録される音声情報は、例えば、発話フラグがオンになっている間に、ユーザ１００が発した音声を示す音声情報である。   When the voice by the user 100 is stored (S106; Y), the control unit 21 (voice registration receiving unit 80) registers the combination of the reference game situation information and the voice information in the voice table (S107). The voice information registered in S107 is, for example, voice information indicating the voice uttered by the user 100 while the utterance flag is on.

Ｓ１０７においては、制御部２１（音声情報取得部８１）は、ユーザ１００が入力した音声を示す音声情報を取得する。また、制御部２１（基準ゲーム状況情報取得部８２）は、ユーザ１００が音声を入力した場合のゲーム状況を示す情報を基準ゲーム状況情報として取得する。例えば、音声の入力が開始された際の現在状況情報が基準ゲーム状況情報として取得される。   In S107, the control unit 21 (audio information acquisition unit 81) acquires audio information indicating the audio input by the user 100. Moreover, the control part 21 (reference | standard game situation information acquisition part 82) acquires the information which shows the game situation when the user 100 inputs a sound as reference | standard game situation information. For example, current situation information when voice input is started is acquired as reference game situation information.

そして、制御部２１（音声登録受付部８０）は音声テーブルに新たなレコードを追加する。新たに追加されるレコードの「基準ゲーム状況情報」フィールドには、取得された基準ゲーム状況情報が登録され、「音声情報」フィールドには、取得された音声情報が登録される。   Then, the control unit 21 (voice registration receiving unit 80) adds a new record to the voice table. The acquired reference game situation information is registered in the “reference game situation information” field of the newly added record, and the acquired audio information is registered in the “voice information” field.

一方、ユーザ１００による音声を記憶しない場合（Ｓ１０６；Ｎ）、処理は終了する。   On the other hand, when the voice by the user 100 is not stored (S106; N), the process ends.

以上説明したゲームシステムＳ（ゲーム装置２０）によれば、ゲーム中に出力される音声内容と、その音声が出力されるべき状況と、をユーザ１００が音声を入力することによって登録できるようになる。その結果として、音声が出力される状況及び音声内容の多種多様性を高めることができる。例えば、ゲームシステムＳによれば、過去にユーザ１００がプレイした際に録音された音声が、実行中のゲームにおいて、歓声や応援として出力されるようになる。   According to the game system S (game device 20) described above, the user 100 can register the audio content output during the game and the situation in which the audio is to be output by the user 100 inputting the audio. . As a result, it is possible to improve the situation in which audio is output and the diversity of audio content. For example, according to the game system S, sound recorded when the user 100 has played in the past is output as cheering or cheering in the game being executed.

なお、ゲーム状況の比較方法として、類似度を用いた場合を説明したが、ゲーム状況の比較方法は、これに限られない。他にも、所定の数式に、現在状況情報の各値と基準ゲーム状況の各値とが代入されることによって、ゲーム状況が比較されるようにしてもよい。   In addition, although the case where similarity was used was demonstrated as a comparison method of a game situation, the comparison method of a game situation is not restricted to this. In addition, the game situation may be compared by substituting each value of the current situation information and each value of the reference game situation into a predetermined mathematical expression.

［２．実施形態２］
以下、実施形態２について説明する。実施形態１においては、ユーザ１００がプレイしているゲームの状況が、過去に音声が入力された場合のゲーム状況と類似する場合、このゲーム状況に対応付けられた音声を出力する。 [2. Second Embodiment]
The second embodiment will be described below. In the first embodiment, when the situation of the game that the user 100 is playing is similar to the game situation when the voice has been input in the past, the voice associated with the game situation is output.

これに対して実施形態２は、ゲームシステムＳにおいて記憶（録音）された音声情報に対応するキーワードを記憶し、出力すべき音声を選出する際に、音声に対応するキーワードを考慮する点に特徴がある。音声に対応するキーワードとは、例えば、ユーザ１００の音声に含まれる単語（又は文章）である。また、キーワードは、ユーザ１００の音声に含まれる単語（又は文章）と類似する単語（又は文章）であってもよい。   On the other hand, the second embodiment is characterized in that a keyword corresponding to voice information stored (recorded) in the game system S is stored, and the keyword corresponding to the voice is taken into account when selecting the voice to be output. There is. The keyword corresponding to the voice is, for example, a word (or sentence) included in the voice of the user 100. Further, the keyword may be a word (or sentence) similar to the word (or sentence) included in the voice of the user 100.

実施形態２のゲームシステムＳによれば、例えば、ユーザ１００がゲーム状況を勘違いして録音されてしまった音声が出力されることを防ぐことができる。例えば、得点が少なくなってきたが、残りの基準タイミングの数も少ない場合（つまり、クリア間近の状態）を考える。   According to the game system S of the second embodiment, for example, it is possible to prevent the user 100 from outputting sound that has been recorded by misunderstanding the game situation. For example, consider a case where the score has decreased, but the number of remaining reference timings is also small (that is, a state nearing clear).

ゲームの初心者は、点数の少ないゲージ５４を見て「もうだめだ！」のようなネガティブな音声を発することが考えられる。しかし、この場合、ある程度プレイしているユーザ１００は、曲調やダンスの内容に基づいてクリア間近であることが分かるので、「もうだめだ！」のようなネガティブな音声ではなく、「頑張れ！」のようなポジティブな音声を発することが考えられる。上記の２つの音声が録音されると、以後「クリア間近」のゲーム状況になった場合に、ネガティブな「もうだめだ！」という音声、又は、ポジティブな「頑張れ！」という音声、のどちらかが音声出力部２８から出力される。   It is conceivable that a beginner of a game utters a negative voice such as “No longer!” By looking at the gauge 54 having a small score. However, in this case, since the user 100 who has played to some extent can understand that the user is close to clear based on the tune and the content of the dance, it is not a negative voice like “No! It may be possible to make such a positive voice. When the above two voices are recorded, when the game situation is "coming soon", either a negative voice "No more!" Or a positive voice "Do your best!" Output from the audio output unit 28.

例えば、「クリア間近」のようなゲーム状況では、ユーザ１００を応援するために、ポジティブな音声を出力させる方が好ましい。例えば、「もうだめだ！」のようなネガティブな音声は、「クリア間近」のゲーム状況ではなく、ユーザ１００がゲームクリアをあきらめてしまった時のような状況の時に出力されるべきである。   For example, in a game situation such as “near clear”, it is preferable to output a positive voice to support the user 100. For example, a negative sound such as “No longer!” Should be output in a situation such as when the user 100 has given up clearing the game, not in a “soon to clear” game situation.

そこで、実施形態２では、例えば、キーワードを含む音声が出力されるべきゲーム状況を予め指定しておく。例えば、「だめだ！」のようなネガティブなキーワードを含む音声は、ゲーム状況が「ピンチ」な場合に出力され、「頑張れ！」のようなポジティブなキーワードを含む音声は、ゲーム状況が「クリア間近」な場合に出力されるようにする。このようにすることによって、ゲーム状況に適した音声を選ぶ際の精度を、より向上させることができる。   Therefore, in the second embodiment, for example, a game situation in which sound including a keyword is to be output is designated in advance. For example, a voice containing a negative keyword such as “No!” Is output when the game situation is “pinch”, and a voice containing a positive keyword such as “Do your best!” It is output when it is “close”. By doing in this way, the precision at the time of selecting the sound suitable for a game situation can be improved more.

なお、実施形態２に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。   Note that the hardware configuration of each device constituting the game system S according to the second embodiment is the same as that of the first embodiment (see FIGS. 9 and 10), and thus the description thereof is omitted.

［２−１．実施形態２において実現される機能］
図１７は、実施形態２におけるゲームシステムの機能ブロック図である。図１７に示すように、実施形態２において実現される機能は、実施形態１の機能（図１１）に加えて、関連状況情報記憶部６３、関連ゲーム状況比較部７４、キーワード取得部８３を含む。 [2-1. Functions Realized in Embodiment 2]
FIG. 17 is a functional block diagram of the game system according to the second embodiment. As shown in FIG. 17, the functions realized in the second embodiment include a related situation information storage unit 63, a related game situation comparison unit 74, and a keyword acquisition unit 83 in addition to the functions of the first embodiment (FIG. 11). .

［２−１−１．実施形態２のゲームデータ記憶部］
例えば、ゲームデータ記憶部６０は、関連状況情報記憶部６３を含む。関連状況情報記憶部６３は、キーワードを示すキーワード情報と、キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する。キーワードに関連するゲーム状況とは、キーワードに対応する音声が出力されるべきゲーム状況である。 [2-1-1. Game Data Storage Unit of Embodiment 2]
For example, the game data storage unit 60 includes a related situation information storage unit 63. The related situation information storage unit 63 stores keyword information indicating a keyword and related game situation information indicating a game situation related to the keyword in association with each other. The game situation related to the keyword is a game situation in which sound corresponding to the keyword is to be output.

関連状況情報記憶部６３の記憶内容は、予めゲーム作成者によって作成されていてよい。関連ゲーム状況情報は、ユーザ１００がキーワードを発する、とゲーム作成者が考える予め定められたゲーム状況である。例えば、「やばい！」というキーワードには、得点情報が示す得点が比較的少ないゲーム状況が対応付けられる。関連状況情報記憶部６３は、例えば、上記の記憶内容をキーワードテーブルとして記憶する。   The stored contents of the related situation information storage unit 63 may be created in advance by the game creator. The related game situation information is a predetermined game situation that the game creator thinks that the user 100 issues a keyword. For example, the keyword “Yabai!” Is associated with a game situation in which the score indicated by the score information is relatively small. For example, the related situation information storage unit 63 stores the above-described storage content as a keyword table.

図１８は、キーワードテーブルのデータ格納例を示す図である。図１８に示すように、キーワードテーブルには、キーワード情報と、関連ゲーム状況情報が対応付けられて記憶されている。図１８のデータ格納例の場合、例えば、「やばい！」というキーワードに対応する音声は、ゲーム状況Ａ又はゲーム状況Ｃの時に出力されるべきであることを示している。   FIG. 18 is a diagram illustrating a data storage example of the keyword table. As shown in FIG. 18, in the keyword table, keyword information and related game situation information are stored in association with each other. In the case of the data storage example of FIG. 18, for example, it is indicated that the voice corresponding to the keyword “dangerous!” Should be output in the game situation A or the game situation C.

また、実施形態２の音声データ記憶部６２に記憶される音声テーブルは、例えば、音声情報と、キーワードと、を対応付ける。   Also, the voice table stored in the voice data storage unit 62 of the second embodiment associates voice information with keywords, for example.

図１９は、実施形態２における音声テーブルのデータ格納例を示す図である。図１９に示すように、音声テーブルには、基準ゲーム状況情報と、音声情報と、キーワード情報と、の組み合わせが記憶されている。即ち例えば、実施形態２における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「キーワード情報」フィールドを更に含む。   FIG. 19 is a diagram illustrating a data storage example of a voice table according to the second embodiment. As shown in FIG. 19, a combination of reference game situation information, sound information, and keyword information is stored in the sound table. That is, for example, the voice table in the second embodiment further includes a “keyword information” field in addition to the contents of the voice table in the first embodiment (FIG. 15).

音声テーブルに格納されるキーワード情報は、例えば、キーワードテーブルに格納されたキーワード情報のうちで音声情報が示す音声に含まれるキーワード情報である。このキーワードは、後述するキーワード取得部８３によって取得される。   The keyword information stored in the voice table is, for example, keyword information included in the voice indicated by the voice information among the keyword information stored in the keyword table. This keyword is acquired by the keyword acquisition unit 83 described later.

［２−１−２．実施形態２のゲーム実行部］
図１７に示すように、実施形態２のゲーム実行部７０は、関連ゲーム状況比較部７４を含む。関連ゲーム状況比較部７４は、ゲームにおいて、該ゲームにおけるゲーム状況と、キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する。 [2-1-2. Game Execution Unit of Embodiment 2]
As shown in FIG. 17, the game execution unit 70 of the second embodiment includes a related game situation comparison unit 74. The related game situation comparison unit 74 compares the game situation in the game with the game situation indicated by the related game situation information associated with the keyword information.

例えば、関連ゲーム状況比較部７４は、現在状況情報が示すゲーム状況と、キーワードテーブルに格納されたゲーム状況と、の類似度を算出する。この類似度の算出方法は、ゲーム状況比較部７３が算出する方法と同様であってよい。即ち、関連ゲーム状況比較部７４によるゲーム状況の比較方法は、ゲーム状況比較部７３によるゲーム状況の比較方法と同様であってよい。   For example, the related game situation comparison unit 74 calculates the similarity between the game situation indicated by the current situation information and the game situation stored in the keyword table. The method of calculating the similarity may be the same as the method calculated by the game situation comparison unit 73. That is, the game situation comparison method by the related game situation comparison unit 74 may be the same as the game situation comparison method by the game situation comparison unit 73.

［２−１−３．実施形態２の音声登録受付部］
図１７に示すように、実施形態２の音声登録受付部８０は、キーワード取得部８３を含む。キーワード取得部８３は、音声情報が示す音声に対応するキーワードを取得する。音声に対応するキーワードとは、例えば、音声に含まれるキーワードである。 [2-1-3. Voice registration receiving unit of embodiment 2]
As shown in FIG. 17, the voice registration receiving unit 80 of the second embodiment includes a keyword acquisition unit 83. The keyword acquisition unit 83 acquires a keyword corresponding to the voice indicated by the voice information. The keyword corresponding to the voice is, for example, a keyword included in the voice.

本実施形態では、音声情報が示す音声に対して音声認識処理が行われ、キーワードテーブルに格納されたキーワードが、この音声の中に含まれているか否か、が比較されることによって、キーワードが取得される場合を説明する。   In the present embodiment, a voice recognition process is performed on the voice indicated by the voice information, and whether or not the keyword stored in the keyword table is included in the voice is compared to determine the keyword. The case where it is acquired will be described.

例えば、キーワード取得部８３は、スペクトラムアナライザを使用して音声情報が示す音声の音声認識を行う。例えば、ユーザ１００の音声に対応するスペクトラムの強弱の傾向に基づいて音声認識が行われる。具体的には、例えば、ゲーム作成者は、人間の発話内容から蓄積される音声の特徴を記録した学習用のデータを予め用意しておき、補助記憶部２３等に記憶しておく。   For example, the keyword acquisition unit 83 performs voice recognition of the voice indicated by the voice information using a spectrum analyzer. For example, voice recognition is performed based on the tendency of the spectrum strength corresponding to the voice of the user 100. Specifically, for example, the game creator prepares learning data in which the characteristics of speech accumulated from human utterance contents are recorded in advance and stores the data in the auxiliary storage unit 23 or the like.

キーワード取得部８３は、例えば、この学習用データと、ユーザ１００が入力した音声の特徴と、を比較して音声認識を行う。次いで、キーワード取得部８３は、この音声認識により取得されるユーザ１００の発話内容と、予め定められたキーワードと、を比較してキーワードを取得する。   For example, the keyword acquisition unit 83 performs speech recognition by comparing the learning data with the features of the speech input by the user 100. Next, the keyword acquisition unit 83 acquires the keyword by comparing the utterance content of the user 100 acquired by the voice recognition with a predetermined keyword.

なお、音声認識の手法として、上記ではスペクトラムアナライザによる統計的手法を例に挙げたが、音声認識を行う方法としては、公知の種々の手法を適用可能である。他にも例えば、細かく変化する音声信号を仮想的に定常信号とみなし、この定常信号の変化に基づいて音声認識を行う、隠れマルコフモデルを使用して音声認識が行われるようにしてもよい。   In the above description, a statistical method using a spectrum analyzer has been described as an example of the speech recognition method. However, various known methods can be applied as a speech recognition method. In addition, for example, the speech recognition may be performed using a hidden Markov model in which a finely changing speech signal is virtually regarded as a stationary signal and speech recognition is performed based on the change of the stationary signal.

上記のようにしてキーワード取得部８３によって取得されたキーワードは、音声情報と対応付けられて音声テーブルに記憶される。   The keywords acquired by the keyword acquisition unit 83 as described above are stored in the voice table in association with the voice information.

［２−２．ゲームシステムにおいて実行される処理］
図２０は、実施形態２のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２０に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２０に示す処理を実行する。 [2-2. Processing executed in game system]
FIG. 20 is a flowchart showing processing executed by the game system S of the second embodiment every predetermined time (for example, 1/60 seconds). The process shown in FIG. 20 corresponds to the process shown in FIG. The control unit 21 executes the process shown in FIG. 20 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２０に示すように、Ｓ２０１〜Ｓ２０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。   As shown in FIG. 20, S201 to S204 are the same as S101 to S104, respectively, and thus the description thereof is omitted.

制御部２１（関連ゲーム状況比較部７４）は、Ｓ２０４において取得された類似度が所定範囲（例えば、余弦が０．７以上）のレコードのキーワードに関連付けられた関連ゲーム状況と、現在のゲーム状況と、の類似度を取得する（Ｓ２０５）。具体的には、まず、音声テーブルのレコードのうちでＳ２０４において取得される類似度が所定範囲のレコードが参照される。次いで、このレコードに格納されたキーワードと、キーワードテーブルと、が参照され、このキーワードに対応付けられているゲーム状況と、現在のゲーム状況と、の類似度が取得される。類似度の算出方法は、Ｓ２０４と同様である。   The control unit 21 (related game situation comparison unit 74) obtains the related game situation associated with the keyword of the record whose similarity obtained in S204 is a predetermined range (for example, cosine is 0.7 or more), and the current game situation. Are obtained (S205). Specifically, first, a record having a predetermined degree of similarity acquired in S204 is referred to among the records in the voice table. Next, the keyword stored in this record and the keyword table are referred to, and the degree of similarity between the game situation associated with this keyword and the current game situation is acquired. The similarity calculation method is the same as in S204.

制御部２１は、Ｓ２０５において取得された類似度のうちで最も類似度の高いレコードの音声を出力する（Ｓ２０６）。   The control unit 21 outputs the voice of the record having the highest similarity among the similarities acquired in S205 (S206).

Ｓ２０７は、Ｓ１０６と同様であるので説明を省略する。   Since S207 is the same as S106, description thereof is omitted.

ユーザ１００の音声を記憶する場合（Ｓ２０７；Ｙ）、制御部２１（キーワード取得部８３）は、音声情報が示す音声に対応するキーワードを取得する（Ｓ２０８）。ここで取得されるキーワードは、例えば、音声に含まれる単語と同一又は類似したキーワードである。Ｓ２０８においては、例えば、先述したような音声認識処理が実行されて音声情報が示す音声に対応するキーワードが取得される。キーワードの類似は、例えば、キーワードテーブルに格納されたキーワードと部分一致するものがあるか否かに基づいて判断される。   When storing the voice of the user 100 (S207; Y), the control unit 21 (keyword acquisition unit 83) acquires a keyword corresponding to the voice indicated by the voice information (S208). The keyword acquired here is, for example, a keyword that is the same as or similar to the word included in the voice. In S208, for example, the voice recognition process as described above is executed, and a keyword corresponding to the voice indicated by the voice information is acquired. The similarity of the keyword is determined based on, for example, whether there is a keyword that partially matches the keyword stored in the keyword table.

制御部２１は、基準ゲーム状況情報と、音声情報と、Ｓ２０８において取得されたキーワード情報と、の組合せを音声テーブルに登録する（Ｓ２０９）。つまり、制御部２１は、音声情報と、キーワード情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。   The control unit 21 registers the combination of the reference game situation information, the sound information, and the keyword information acquired in S208 in the sound table (S209). That is, the control unit 21 stores the voice information and the keyword information in association with each other in the voice data storage unit 62 (storage unit).

以上説明した実施形態２のゲームシステムＳによれば、音声情報が示す音声に対応するキーワードに基づいて出力すべき音声を選出することができる。即ち、基準ゲーム状況情報と、キーワードと、の両者に基づいて、現在のゲーム状況に応じた最適な音声を出力することができる。例えば、あるキーワードを含む音声を出力させるゲーム状況を絞り込むことによって、好ましくない（出力させたくない）ゲーム状況で録音されてしまった音声の出力を制限したり、Ｓ２０４において取得された類似度の値が近い音声のうちで、現在の状況に適したキーワードを含む音声を絞り込んで出力させることができる。   According to the game system S of the second embodiment described above, it is possible to select a sound to be output based on a keyword corresponding to the sound indicated by the sound information. That is, it is possible to output an optimal sound corresponding to the current game situation based on both the reference game situation information and the keyword. For example, by narrowing down the game situation in which sound including a certain keyword is output, the output of sound that has been recorded in an unfavorable (not desired to be output) game state is limited, or the similarity value acquired in S204 Among voices close to each other, it is possible to narrow down and output voices including keywords suitable for the current situation.

なお、実施形態２においては、現在のゲーム状況と基準ゲーム状況との類似度を算出して（Ｓ２０４）音声情報を絞り込んでから、現在のゲーム状況と関連ゲーム状況との類似度を算出する（Ｓ２０５）場合を説明したが、これらは逆であってもよい。即ち、現在のゲーム状況と関連ゲーム状況との類似度を算出して音声情報を絞り込んでから、現在のゲーム状況と基準ゲーム状況との類似度を算出して出力すべき音声情報が決定されるようにしてもよい。   In the second embodiment, the similarity between the current game situation and the reference game situation is calculated (S204), the sound information is narrowed down, and then the similarity between the current game situation and the related game situation is calculated (S204). S205) The case has been described, but these may be reversed. That is, after calculating the similarity between the current game situation and the related game situation to narrow down the sound information, the similarity between the current game situation and the reference game situation is calculated and the sound information to be output is determined. You may do it.

［３．実施形態３］
以下、実施形態３について説明する。実施形態１においては、ユーザ１００の音声が入力された場合のゲーム状況と類似するゲーム状況になった際、この音声を出力する。実施形態２においては、出力する音声を選出する際に、音声情報に対応付けられたキーワードを考慮する。 [3. Embodiment 3]
The third embodiment will be described below. In the first embodiment, when a game situation similar to the game situation when the voice of the user 100 is input, this voice is output. In the second embodiment, a keyword associated with voice information is taken into consideration when selecting voice to be output.

これらに対し、実施形態３においては、ゲームをプレイしているユーザ１００の人数を取得して、出力する音声を選出する際に、この人数を考慮する点に特徴がある。例えば、実行中のゲームをプレイしているユーザ１００が１人である場合、４人でゲームをプレイしていた際に録音された音声を出力させることによって、ユーザ１００は、１人でゲームをプレイしていても、友人に囲まれてゲームをしているような感覚を味わうことができる。   On the other hand, the third embodiment is characterized in that the number of users 100 playing the game is acquired, and this number is taken into account when selecting the sound to be output. For example, if there is only one user 100 playing a game that is being executed, the user 100 can play the game by one person by outputting the sound recorded when the game was played by four persons. Even if you are playing, you can feel like playing a game surrounded by friends.

なお、実施形態３に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。   Note that the hardware configuration of each device configuring the game system S according to the third embodiment is the same as that of the first embodiment (see FIGS. 9 and 10), and thus the description thereof is omitted.

［３−１．実施形態３において実現される機能］
図２１は、実施形態３におけるゲームシステムＳの機能ブロック図である。図２１に示すように、実施形態３において実現される機能は、実施形態１の機能に加えて、ユーザ数取得部９０が含まれる。 [3-1. Functions Realized in Embodiment 3]
FIG. 21 is a functional block diagram of the game system S in the third embodiment. As shown in FIG. 21, the functions realized in the third embodiment include a user number acquisition unit 90 in addition to the functions of the first embodiment.

［３−１−１．ユーザ数取得部］
ユーザ数取得部９０は、例えば、制御部２１を主として実現される。ユーザ数取得部９０は、ユーザ１００の人数を示す情報を取得する。例えば、ユーザ数取得部９０は、ゲーム装置２０が位置検出装置１から受信する３次元位置情報に基づいてユーザ１００の人数を取得する。先述のように、位置検出装置１が複数のユーザ１００を検出した場合、これら複数のユーザ１００のそれぞれについての３次元位置情報が、ゲームシステムＳに対して送信される。ユーザ数取得部９０は、例えば、３次元位置情報が示すユーザ１００の数を、ユーザ１００の人数を示す情報として取得する。 [3-1-1. Number of users acquisition unit]
For example, the number-of-users acquisition unit 90 is realized mainly by the control unit 21. The user number acquisition unit 90 acquires information indicating the number of users 100. For example, the user number acquisition unit 90 acquires the number of users 100 based on the three-dimensional position information that the game apparatus 20 receives from the position detection apparatus 1. As described above, when the position detection device 1 detects a plurality of users 100, three-dimensional position information for each of the plurality of users 100 is transmitted to the game system S. For example, the user number acquisition unit 90 acquires the number of users 100 indicated by the three-dimensional position information as information indicating the number of users 100.

なお、ユーザ数取得部９０が、ユーザ１００の人数を示す情報を取得する方法は、上記の例に限られない。例えば、ゲーム装置２０が、ＣＣＤカメラ２によって撮影される撮影画像を位置検出装置１から取得し、ユーザ数取得部９０が、この撮影画像に含まれるユーザ１００の人数を取得するようにしてもよい。この場合、例えば、撮影画像に含まれるユーザ１００の輪郭の数に基づいてユーザ１００の人数が取得される。   In addition, the method in which the user number acquisition part 90 acquires the information which shows the number of users 100 is not restricted to said example. For example, the game apparatus 20 may acquire a captured image captured by the CCD camera 2 from the position detection apparatus 1, and the user number acquisition unit 90 may acquire the number of users 100 included in the captured image. . In this case, for example, the number of users 100 is acquired based on the number of contours of the user 100 included in the captured image.

他にも例えば、ゲーム装置２０が、ユーザ１００の深度を示す深度画像を取得し、ユーザ数取得部９０が、上記と同様に、ユーザ１００の輪郭の数に基づいて人数を取得するようにしてもよい。また他にも例えば、マイク４が検出した音声に基づいて、ユーザ１００の数が検出されるようにしてもよい。具体的には、音声情報が示す音声が音声認識されることによって、ユーザ１００の人数が検出されるようにしてもよい。   In addition, for example, the game apparatus 20 acquires a depth image indicating the depth of the user 100, and the user number acquisition unit 90 acquires the number of persons based on the number of contours of the user 100 as described above. Also good. In addition, for example, the number of users 100 may be detected based on the sound detected by the microphone 4. Specifically, the number of users 100 may be detected by recognizing the voice indicated by the voice information.

［３−１−２．実施形態３のゲームデータ記憶部］
実施形態３においては、音声データ記憶部６２は、音声情報と、音声情報が示す音声が入力された場合のユーザ１００の人数に関する基準人数情報と、を対応付けて記憶する。基準人数情報は、例えば、音声情報が示す音声の入力が開始された際のユーザ１００の人数である。例えば、実施形態３においては、音声テーブルに上記の記憶内容が格納される。 [3-1-2. Game Data Storage Unit of Embodiment 3]
In the third embodiment, the voice data storage unit 62 stores voice information and reference number information regarding the number of users 100 when the voice indicated by the voice information is input in association with each other. The reference number-of-persons information is, for example, the number of users 100 when the input of the voice indicated by the voice information is started. For example, in the third embodiment, the stored contents are stored in the voice table.

図２２は、実施形態３における音声テーブルのデータ格納例を示す図である。図２２に示すように、音声テーブルは、基準ゲーム状況情報と、音声情報と、基準人数情報と、を対応付けて記憶する。即ち例えば、実施形態３における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「基準人数情報」フィールドを更に含む。   FIG. 22 is a diagram illustrating a data storage example of a voice table according to the third embodiment. As shown in FIG. 22, the sound table stores reference game situation information, sound information, and reference number information in association with each other. That is, for example, the voice table in the third embodiment further includes a “reference number information” field in addition to the contents of the voice table in the first embodiment (FIG. 15).

なお、音声テーブルに格納される基準人数情報は、音声が入力された場合のユーザ１００の人数であればよい。例えば、発話フラグがオンになっている間の何れかの時点に取得されるユーザ１００の人数であってもよい。   The reference number of people information stored in the voice table may be the number of users 100 when voice is input. For example, the number of users 100 acquired at any point in time while the utterance flag is on may be used.

［３−２．ゲームシステムにおいて実行される処理］
図２３は、実施形態３のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２３に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２３に示す処理を実行する。 [3-2. Processing executed in game system]
FIG. 23 is a flowchart showing processing executed by the game system S of the third embodiment every predetermined time (for example, 1/60 seconds). The process shown in FIG. 23 corresponds to the process shown in FIG. The control unit 21 executes the process shown in FIG. 23 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２３に示すように、Ｓ３０１〜Ｓ３０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。   As shown in FIG. 23, S301 to S304 are the same as S101 to S104, respectively, and thus the description thereof is omitted.

制御部２１（ユーザ数取得部９０）は、実行中のゲームにおけるユーザ１００の人数を取得する（Ｓ３０５）。Ｓ３０５においては、先述のように例えば、最も直近で位置検出装置１から受信した３次元位置情報に基づいてユーザ１００の人数が取得される。   The control unit 21 (user number acquisition unit 90) acquires the number of users 100 in the game being executed (S305). In S305, as described above, for example, the number of users 100 is acquired based on the most recent three-dimensional position information received from the position detection device 1.

制御部２１は、Ｓ３０５において取得されたユーザ１００の人数が基準数（例えば、２人）以下であるか否かを判定する（Ｓ３０６）。   The control unit 21 determines whether or not the number of users 100 acquired in S305 is equal to or less than a reference number (for example, two people) (S306).

ユーザ１００の人数が基準数以下である場合（Ｓ３０６；Ｙ）、制御部２１は、類似度が所定範囲（例えば、余弦が０．７以上）のレコードのうちで基準人数情報が示す人数が最も多いレコードの音声を出力する（Ｓ３０７）。つまり、制御部２１（音声出力制御部７２）は、ゲーム状況比較部７３の比較結果と、ゲームにおけるユーザ１００の数と、基準人数情報と、に基づいて音声情報が示す音声を出力させる。   When the number of users 100 is less than or equal to the reference number (S306; Y), the control unit 21 has the largest number of people indicated by the reference number of people among records whose similarity is within a predetermined range (for example, cosine is 0.7 or more). The voice of many records is output (S307). That is, the control unit 21 (sound output control unit 72) outputs the sound indicated by the sound information based on the comparison result of the game situation comparison unit 73, the number of users 100 in the game, and the reference number information.

一方、ユーザ１００の人数が基準数以下でない場合（Ｓ３０６；Ｎ）、制御部２１は、最も類似度の高いレコードの音声を出力する（Ｓ３０８）。   On the other hand, when the number of users 100 is not less than the reference number (S306; N), the control unit 21 outputs the voice of the record with the highest similarity (S308).

Ｓ３０９は、Ｓ１０６と同様であるので説明を省略する。   Since S309 is the same as S106, description thereof is omitted.

ユーザの音声を記憶する場合（Ｓ３０９；Ｙ）、制御部２１は、基準ゲーム状況情報と、音声情報と、Ｓ３０５で取得したユーザ１００の人数を示す基準人数情報と、の組み合わせを音声テーブルに登録する（Ｓ３１０）。つまり、制御部２１は、音声情報と、基準人数情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。   When the user's voice is stored (S309; Y), the control unit 21 registers a combination of the reference game situation information, the voice information, and the reference number information indicating the number of users 100 acquired in S305 in the sound table. (S310). That is, the control unit 21 stores the voice information and the reference number information in association with each other in the voice data storage unit 62 (storage unit).

以上説明した実施形態３のゲームシステムＳによれば、音声が入力された場合のユーザ１００の人数に基づいて出力すべき音声を選出することができる。ユーザ１００は、例えば、１人でゲームをプレイしている時でも、友人に囲まれてゲームをプレイしているような臨場感を感じながらゲームをプレイすることができる。   According to the game system S of Embodiment 3 described above, it is possible to select a sound to be output based on the number of users 100 when a sound is input. For example, even when the user 100 is playing the game alone, the user 100 can play the game while feeling a sense of reality as if playing the game surrounded by friends.

また例えば、ゲームをプレイしている人数によって、ユーザ１００が発する音声が異なることがある。例えば、大人数（例えば、５人）でゲームをプレイしている場合、ゲームの状況が少し変化しただけで大げさに歓声をあげることが多いが、少人数（例えば、１人）でゲームをプレイしている場合には、あまり歓声を上げないことが考えられる。例えば、実施形態３のゲームシステムＳによれば、プレイ中のユーザ１００の人数と同じ人数で過去にプレイした場合の音声のみを出力させることもできるので、大げさな歓声ばかりが出力されることも防止できる。即ち、実施形態３のゲームシステムＳによれば、出力すべき音声の選出の精度を向上させることができる。   In addition, for example, the sound produced by the user 100 may differ depending on the number of people who are playing the game. For example, when playing a game with a large number of people (for example, five people), the game situation is often slightly exaggerated, but the game is played with a small number of people (for example, one person). If you are, you may not cheer. For example, according to the game system S of the third embodiment, it is possible to output only the voice when playing in the past with the same number of people as the user 100 who is playing, so that only exaggerated cheers may be output. Can be prevented. That is, according to the game system S of the third embodiment, it is possible to improve the accuracy of selecting the sound to be output.

なお、本実施形態においては、Ｓ３０４で算出される類似度が所定範囲のレコードのうちで基準人数情報が示す人数が最も多いレコードの音声が出力される場合を説明したが、ゲーム状況比較部７３の比較結果と、現在のゲームにおけるユーザ１００の人数と、基準人数情報が示す人数と、に基づいて選出される音声が出力されればよい。例えば、Ｓ３０４で算出される類似度と、現在のユーザ１００の人数と、基準人数情報が示す人数と、が所定の重みづけされることによって算出される優先度に基づいて、出力すべき音声が決定されるようにしてもよい。   In the present embodiment, a case has been described in which the sound of the record having the largest number of people indicated by the reference number information among the records whose similarity calculated in S304 is in a predetermined range is output. The sound selected based on the comparison result, the number of users 100 in the current game, and the number of people indicated by the reference number information may be output. For example, the sound to be output is based on the priority calculated by predetermined weighting of the similarity calculated in S304, the current number of users 100, and the number of people indicated by the reference number information. It may be determined.

他にも例えば、制御部２１は、実行中のゲームにおけるユーザ１００の人数が所定人数（例えば、２人）以下の場合、基準人数情報が示す人数が所定人数（例えば、４人）以上であって、かつ、Ｓ３０４で算出される類似度が所定範囲であるレコードの音声が出力されるようにしてもよい。   In addition, for example, when the number of users 100 in a game being executed is equal to or less than a predetermined number (for example, two people), the number of people indicated by the reference number information is equal to or more than the predetermined number (for example, four). In addition, the sound of a record whose similarity calculated in S304 is within a predetermined range may be output.

［４．実施形態４］
上記説明した実施形態１〜３においては、ユーザ１００が発した音声を、そのままの内容で出力させる場合を説明したが、出力される音声の音量が制御されるようにしてもよい。 [4. Embodiment 4]
In the first to third embodiments described above, the case where the voice produced by the user 100 is output as it is has been described. However, the volume of the outputted voice may be controlled.

実施形態４においては、ユーザ１００の音声が録音された時間に基づいて出力される音声の音量が制御される。例えば、昼間に録音されたユーザ１００の声は大きいことが考えられるので、この場合には音量を比較的小さくして出力させる。一方例えば、夜間に録音されたユーザ１００の声は小さいことが考えられるので、この場合には音量を比較的大きくして出力させる。   In the fourth embodiment, the volume of the output voice is controlled based on the time when the voice of the user 100 was recorded. For example, since it is considered that the voice of the user 100 recorded during the daytime is loud, in this case, the sound is output with a relatively low volume. On the other hand, for example, since the voice of the user 100 recorded at night is considered to be low, in this case, the sound is output with a relatively high volume.

なお、実施形態４に係るゲームシステムＳを構成する各装置のハードウェア構成は、実施形態１（図１０、図１１参照）と同様であるため、説明を省略する。   Note that the hardware configuration of each device configuring the game system S according to the fourth embodiment is the same as that of the first embodiment (see FIGS. 10 and 11), and thus the description thereof is omitted.

［４−１．実施形態４において実現される機能］
図２４は、実施形態４におけるゲームシステムＳの機能ブロック図である。図２４に示すように、実施形態４において実現される機能は、実施形態１の機能に加えて、音声受付時間取得部９１が含まれる。 [4-1. Functions Realized in Embodiment 4]
FIG. 24 is a functional block diagram of the game system S according to the fourth embodiment. As shown in FIG. 24, the functions realized in the fourth embodiment include a voice reception time acquisition unit 91 in addition to the functions of the first embodiment.

［４−１−１．音声受付時間取得部］
音声受付時間取得部９１は、例えば、制御部２１を主として実現される。音声受付時間取得部９１は、音声入力部１４がユーザ１００の音声を受け付けた時間に関する基準時間情報を取得する。例えば、音声受付時間取得部９１は、位置検出装置１から音声情報を受信した時間を取得する。この時間は、例えば、ゲーム装置２０の時間関数等に基づいて取得される。 [4-1-1. Voice reception time acquisition section]
The voice reception time acquisition unit 91 is realized mainly by the control unit 21, for example. The voice reception time acquisition unit 91 acquires reference time information related to the time when the voice input unit 14 receives the voice of the user 100. For example, the voice reception time acquisition unit 91 acquires the time when the voice information is received from the position detection device 1. This time is acquired based on, for example, a time function of the game apparatus 20 or the like.

また例えば、位置検出装置１が時刻を把握する機能を有する場合、音声受付時間取得部９１は、音声入力部１４が音声を受け付けた時間を位置検出装置１から取得するようにしてもよい。   For example, when the position detection device 1 has a function of grasping the time, the voice reception time acquisition unit 91 may acquire the time when the voice input unit 14 receives the voice from the position detection device 1.

［４−１−２．実施形態４のゲームデータ記憶部］
実施形態４のゲームデータ記憶部６０は、音声情報と、音声情報が入力された場合の基準時間情報と、を対応付けて記憶する。基準時間情報は、例えば、音声情報が示す音声の入力が開始された際の時間を示す。 [4-1-2. Game Data Storage Unit of Embodiment 4]
The game data storage unit 60 of the fourth embodiment stores voice information and reference time information when the voice information is input in association with each other. The reference time information indicates, for example, the time when the voice input indicated by the voice information is started.

図２５は、実施形態４における音声テーブルのデータ格納例を示す図である。図２５に示すように、音声テーブルは、基準ゲーム状況情報と、音声情報と、基準時間情報と、を対応付けて記憶する。即ち例えば、実施形態４における音声テーブルは、実施形態１の音声テーブル（図１５）の内容に加えて、「基準時間情報」フィールドを更に含む。   FIG. 25 is a diagram illustrating a data storage example of a voice table according to the fourth embodiment. As shown in FIG. 25, the sound table stores reference game situation information, sound information, and reference time information in association with each other. That is, for example, the voice table in the fourth embodiment further includes a “reference time information” field in addition to the contents of the voice table in the first embodiment (FIG. 15).

なお、基準時間情報は、音声情報が入力された場合の時間であればよく、他にも例えば、基準時間情報は、発話フラグがオンの状態からオフになった時間であってもよい。   Note that the reference time information may be a time when voice information is input. For example, the reference time information may be a time when the utterance flag is turned off from the on state.

［４−１−３．実施形態４のゲーム実行部］
実施形態４のゲーム実行部７０の音声出力制御部７２は、ゲームにおいて、ゲーム状況比較部７３の比較結果に基づいて、音声情報に対応付けられた基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる。例えば、音声出力制御部７２は、現在の時間と、基準時間情報が示す時間と、に基づいて決定される音量で音声を出力させる。例えば、音声出力制御部７２は、現在の時間と、基準時間情報が示す時間と、の組み合わせによって決定される音量で音声を出力させる。この組み合わせは、例えば、予めゲームデータ記憶部６０に記憶されている。 [4-1-3. Game Execution Unit of Embodiment 4]
In the game, the audio output control unit 72 of the game execution unit 70 according to the fourth embodiment has a volume determined based on the reference time information associated with the audio information based on the comparison result of the game situation comparison unit 73. The voice indicated by the voice information is output. For example, the sound output control unit 72 outputs sound at a volume determined based on the current time and the time indicated by the reference time information. For example, the sound output control unit 72 outputs sound at a volume determined by a combination of the current time and the time indicated by the reference time information. This combination is stored in advance in the game data storage unit 60, for example.

［４−２．ゲームシステムにおいて実行される処理］
図２６は、実施形態４のゲームシステムＳが所定時間（例えば１／６０秒）ごとに実行する処理を示すフロー図である。図２６に示す処理は、図１６に示す処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２６に示す処理を実行する。 [4-2. Processing executed in game system]
FIG. 26 is a flowchart showing processing executed by the game system S of the fourth embodiment every predetermined time (for example, 1/60 seconds). The process shown in FIG. 26 corresponds to the process shown in FIG. The control unit 21 executes the process shown in FIG. 26 according to the program stored in the auxiliary storage unit 23 or the optical disc.

図２６に示すように、Ｓ４０１〜Ｓ４０４は、それぞれＳ１０１〜Ｓ１０４と同様であるので説明を省略する。   As shown in FIG. 26, S401 to S404 are the same as S101 to S104, respectively, and thus the description thereof is omitted.

制御部２１は、Ｓ４０４において算出された類似度のうちで最も類似度が高いレコードの音声を、基準時間情報が示す時間に基づいて定まる音量で出力する（Ｓ４０５）。Ｓ４０５においては、例えば、基準時間情報が示す時間と、現在の時間と、の比較結果に基づいて定まる音量で音声が出力される。   The control unit 21 outputs the sound of the record having the highest similarity among the similarities calculated in S404 at a volume determined based on the time indicated by the reference time information (S405). In S405, for example, sound is output at a volume determined based on a comparison result between the time indicated by the reference time information and the current time.

例えば、音声が録音された時間が夜であり、現在の時間も夜であれば、そのままの音量で出力される。また例えば、音声が録音された時間が昼であり、現在の時間も昼であれば、そのままの音量で出力される。また例えば、音声が録音された時間が夜であり、現在の時間が昼であれば、音声情報が示す音声の音量よりも大きい音量で出力される。また例えば、音声が録音された時間が昼であり、現在の時間が夜であれば、音声情報が示す音声の音量よりも小さな音量で出力される。   For example, if the time when the sound is recorded is night and the current time is also night, the sound is output at the same volume. For example, if the time when the sound was recorded is noon and the current time is also noon, the sound is output at the same volume. For example, if the time when the sound was recorded is night and the current time is noon, the sound is output at a volume higher than the volume of the sound indicated by the sound information. For example, if the time when the sound is recorded is daytime and the current time is night, the sound is output at a volume lower than the sound volume indicated by the sound information.

上記のような現在の時間及び音声が録音された時間が、昼であるか夜であるかは、例えば、この時間が属する時間帯に基づいて判別される。例えば、ゲーム装置２０において識別可能な時間（時刻）が、第１時間帯と第２時間帯に予め分けられる。例えば、第１時間帯（例えば、６時〜１８時）に属する時間を昼とし、第２時間帯（０時〜６時、又は、１８時〜２４時）に属する時間を夜とすることによって、上記の処理が実現される。   Whether the current time and the time when the sound is recorded as described above is daytime or night is determined based on, for example, the time zone to which this time belongs. For example, the time (time) that can be identified in the game apparatus 20 is divided in advance into a first time zone and a second time zone. For example, by setting the time belonging to the first time zone (for example, 6:00 to 18:00) as daytime and the time belonging to the second time zone (from 0:00 to 6 hours, or from 18:00 to 24:00) as night The above processing is realized.

Ｓ４０６は、Ｓ１０６と同様であるので説明を省略する。   Since S406 is the same as S106, description thereof is omitted.

ユーザ１００の音声を記憶する場合（Ｓ４０６；Ｙ）、制御部２１（音声受付時間取得部９１）は、音声情報が入力された場合の時間を示す基準時間情報を取得する（Ｓ４０７）。制御部２１は、基準ゲーム状況情報と、音声情報と、基準時間情報と、の組合せを音声テーブルに登録する（Ｓ４０８）。つまり、制御部２１は、音声情報と、基準時間情報と、を対応付けて音声データ記憶部６２（記憶手段）に記憶させる。   When the voice of the user 100 is stored (S406; Y), the control unit 21 (voice reception time acquisition unit 91) acquires reference time information indicating the time when the voice information is input (S407). The control unit 21 registers the combination of the reference game situation information, the sound information, and the reference time information in the sound table (S408). That is, the control unit 21 stores the audio information and the reference time information in association with each other in the audio data storage unit 62 (storage unit).

以上説明した実施形態４のゲームシステムＳによれば、音声が入力された場合の時間に基づいて定まる音量で音声を出力することができるので、ユーザ１００は、より適した音量で音声データ記憶部６２に記憶された音声を聞くことができる。   According to the game system S of the fourth embodiment described above, since the sound can be output at a sound volume determined based on the time when the sound is input, the user 100 can reproduce the sound data storage unit at a more appropriate sound volume. The voice stored in 62 can be heard.

［５．変形例］
なお、本発明は以上に説明した実施の形態に限定されるものではない。例えば、実施形態１〜実施形態４の何れか２つ、３つ、又は４つを組み合わせるようにしてもよい。 [5. Modified example]
The present invention is not limited to the embodiment described above. For example, any two, three, or four of the first to fourth embodiments may be combined.

（１）また、上記実施形態においては、位置検出装置１によって検出されたユーザ１００の動作又はポーズに基づいてゲーム処理が実行されるようにしたが、操作部２６のコントローラ等からの操作入力によってゲーム処理が実行されるようにしてもよい。即ち、ゲームシステムＳは、位置検出装置１を含まなくてもよい。この場合、音声入力部１４がゲーム装置２０に含まれる、又は、音声入力部１４がゲーム装置２０に外部接続されることになる。また、ユーザ数取得部９０は、操作部２６のコントローラ等からの操作入力によって、ユーザ１００の人数を取得するようにしてもよい。   (1) In the above embodiment, the game process is executed based on the action or pose of the user 100 detected by the position detection device 1, but by an operation input from the controller or the like of the operation unit 26. Game processing may be executed. That is, the game system S may not include the position detection device 1. In this case, the voice input unit 14 is included in the game device 20 or the voice input unit 14 is externally connected to the game device 20. Further, the user number acquisition unit 90 may acquire the number of users 100 by an operation input from a controller or the like of the operation unit 26.

（２）上記に説明した実施形態では、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況を示す情報を基準ゲーム状況情報として取得するようになっていた。しかし、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況とは異なるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。   (2) In the embodiment described above, the reference game situation information acquisition unit 82 acquires information indicating the game situation when a voice is input as the reference game situation information. However, the reference game situation information acquisition unit 82 may acquire, as the reference game situation information, information indicating a game situation that is different from the game situation when the voice is input.

（２−１）例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前の時点のゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。   (2-1) For example, the reference game situation information acquisition unit 82 acquires, as the reference game situation information, information indicating a game situation at a point in time before the game situation when a voice is input. Also good.

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合（例えば、音声の入力が開始された場合）のゲーム状況が所定状況であるか否かを判定する。ここで、「ゲーム状況が所定状況である場合」とは、例えば、所定ゲームイベントが発生したような場合である。   For example, the reference game situation information acquisition unit 82 in this case determines whether or not the game situation when a voice is input (for example, when voice input is started) is a predetermined situation. Here, “when the game situation is a predetermined situation” is, for example, a case where a predetermined game event has occurred.

また、「所定ゲームイベントが発生したような場合」とは、例えば、ゲームオーバーの直前の状態になってゲームイベントが起こる（例えば、ＢＧＭが変わる）場合等である。音声の入力が行われた場合のゲーム状況が所定状況である場合、基準ゲーム状況情報取得部８２は、該ゲーム状況よりも所定時間（例えば３秒）前の時点のゲーム状況を示す情報を、基準ゲーム状況情報として取得する。   In addition, “when a predetermined game event occurs” is, for example, a case where a game event occurs (for example, BGM changes) in a state immediately before the game over. When the game situation when the sound is input is a predetermined situation, the reference game situation information acquisition unit 82 obtains information indicating the game situation at a time point a predetermined time (for example, 3 seconds) before the game situation, Obtained as reference game situation information.

このようにすれば、所定状況に関して入力された音声が、所定状況になるよりも前の時点で出力されるようになる。即ち、例えば、過去にゲームオーバーになりそうな状況に関して入力された音声が、過去にゲームオーバーの直前の状態になってＢＧＭが変わった状況の直前の状況と一致又は類似する状況になった場合に出力されるようになる。その結果、ユーザは、現在のゲーム状況が、ゲームオーバーになる可能性が高い状況であることを知ることが可能になる。   In this way, the voice input regarding the predetermined situation is output at a time before the predetermined situation is reached. That is, for example, when the voice input related to a situation where the game is likely to be over in the past becomes a situation that matches or is similar to the situation immediately before the situation where the BGM has changed in the past just before the game over. Will be output. As a result, the user can know that the current game situation is highly likely to be a game over.

（２−２）また例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前又は後の時点であって、かつ、得点が増加又は減少された時点におけるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。   (2-2) Further, for example, the reference game situation information acquisition unit 82 is a time point before or after the game situation when the voice is input, and at a time point when the score is increased or decreased. Information indicating a game situation may be acquired as reference game situation information.

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合に再現されているゲーム状況の直前又は直後の、得点が増加又は減少された時点を特定する。そして、基準ゲーム状況情報取得部８２は、ゲームデータ記憶部６０に記憶されたゲーム状況情報に基づいて、その時点のゲーム状況を示す情報を基準ゲーム状況情報として取得する。   For example, the reference game situation information acquisition unit 82 in this case specifies a point in time when the score is increased or decreased immediately before or after the game situation reproduced when a voice is input. Then, based on the game situation information stored in the game data storage unit 60, the reference game situation information acquisition unit 82 acquires information indicating the game situation at that time as the reference game situation information.

また、この場合のゲーム状況比較部７３は、実行中のゲームにおいて得点が加算又は減少された時点におけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。   In this case, the game situation comparison unit 73 compares the game situation at the time when the score is added or decreased in the game being executed with the game situation indicated by the reference game situation information associated with the audio information. .

ダンスゲームでは、得点が加算又は減少された時点で、ゲーム状況が大きく変化することが多い。この点、変形例（２−２）によれば、ゲーム状況が大きく変化する前の時点のゲーム状況同士が比較されるようになり、その結果として、ゲーム状況の比較の精度を向上することが可能になる。   In a dance game, the game situation often changes greatly when the score is added or decreased. In this regard, according to the modified example (2-2), the game situations at the time before the game situation changes greatly are compared with each other, and as a result, the accuracy of comparison of the game situations can be improved. It becomes possible.

（２−３）また例えば、基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況よりも前又は後の時点であって、かつ、基準タイミングが訪れていない時点におけるゲーム状況を示す情報を、基準ゲーム状況情報として取得するようにしてもよい。   (2-3) Further, for example, the reference game situation information acquisition unit 82 is a game at a time point before or after the game situation when voice is input and when the reference timing is not visited. Information indicating a situation may be acquired as reference game situation information.

例えば、この場合の基準ゲーム状況情報取得部８２は、音声の入力が行われた場合のゲーム状況の直前又は直後において、ユーザ１００が動作又はポーズをとらなくてよい時点（例えば、曲の間奏が流れている時点）を基準タイミングデータに基づいて特定する。そして、基準ゲーム状況情報取得部８２は、この時点のゲーム状況を示す情報を基準ゲーム状況情報として取得する。   For example, the reference game situation information acquisition unit 82 in this case may have a point in time when the user 100 does not have to take an action or pause immediately before or after the game situation when voice is input (for example, an interlude of a song). Is identified based on the reference timing data. Then, the reference game situation information acquisition unit 82 acquires information indicating the game situation at this time as reference game situation information.

また、この場合のゲーム状況比較部７３は、実行中のゲームにおいて間奏が流れていてユーザ１００がポーズを取る必要がない時点におけるゲーム状況と、音声情報に対応づけられた基準ゲーム状況情報が示すゲーム状況と、を比較する。この変形例（２−３）によれば、ゲーム状況が比較的変化しない場面でのゲーム状況同士の比較が行われるようになり、ゲーム状況の比較の精度を向上することが可能になる。   Further, in this case, the game situation comparison unit 73 indicates the game situation at the time when the user 100 does not need to pose an interlude in the game being executed, and the reference game situation information associated with the audio information. Compare the game situation. According to the modified example (2-3), the game situations are compared in a scene where the game situations do not change relatively, and the accuracy of the comparison of the game situations can be improved.

（３）また例えば、本発明の実施形態に係るゲームシステムＳは複数のゲーム装置２０を含んで構成されるようにしてもよい。図２７は、本発明の他の実施形態に係るゲームシステムＳａの全体構成を示す図である。図２７に示すように、ゲームシステムＳａは、サーバ装置２００と複数のゲーム装置２０とを含んでいる。サーバ装置２００及び複数のゲーム装置２０は、例えばＬＡＮ（Local Area Network）又は／及びインターネット等を含む通信ネットワークＮに接続される。サーバ装置２００とゲーム装置２０との間でも相互にデータ通信が可能であり、ゲーム装置２０と他のゲーム装置２０との間で相互にデータ通信が可能である。   (3) Further, for example, the game system S according to the embodiment of the present invention may include a plurality of game devices 20. FIG. 27 is a diagram showing an overall configuration of a game system Sa according to another embodiment of the present invention. As shown in FIG. 27, the game system Sa includes a server device 200 and a plurality of game devices 20. The server device 200 and the plurality of game devices 20 are connected to a communication network N including, for example, a LAN (Local Area Network) or / and the Internet. Data communication is also possible between server device 200 and game device 20, and data communication is possible between game device 20 and another game device 20.

サーバ装置２００は、例えば、サーバコンピュータによって実現される。図２７に示すように、サーバ装置２００は、制御部２０１、主記憶部２０２、補助記憶部２０３、光ディスク再生部２０４、及び通信インタフェース部２０５を含む。   The server device 200 is realized by a server computer, for example. As illustrated in FIG. 27, the server device 200 includes a control unit 201, a main storage unit 202, an auxiliary storage unit 203, an optical disc playback unit 204, and a communication interface unit 205.

制御部２０１は、例えば、ＣＰＵを含み、オペレーティングシステムやその他のプログラムに従って情報処理を実行する。主記憶部２０２は、例えば、ＲＡＭを含む。主記憶部２０２には、補助記憶部２０３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータが記憶される。また主記憶部２０２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。   The control unit 201 includes, for example, a CPU, and executes information processing according to an operating system and other programs. The main storage unit 202 includes, for example, a RAM. The main storage unit 202 stores programs and data read from the auxiliary storage unit 203 or the optical disc (information storage medium). The main storage unit 202 is also used as a work memory for storing data necessary for the process.

補助記憶部２０３は例えばハードディスク装置を含む。光ディスク再生部２０４は光ディスクに記憶されたプログラムやデータを読み取る。通信インタフェース部２０５はサーバ装置２００を通信ネットワークＮに接続するためのインタフェースである。   The auxiliary storage unit 203 includes, for example, a hard disk device. The optical disc playback unit 204 reads programs and data stored on the optical disc. The communication interface unit 205 is an interface for connecting the server device 200 to the communication network N.

ゲームシステムＳａでは、例えば、各ゲーム装置２０において図１１に示す機能ブロックが実現されるようにすればよい。   In the game system Sa, for example, the function blocks shown in FIG.

（３−１）このゲームシステムＳａでは、ゲーム装置２０の音声情報取得部８１及び基準ゲーム状況情報取得部８２によって取得された音声情報及び基準ゲーム状況情報の組合せが、他のゲーム装置２０に送信されるようにしてもよい。また、ゲーム装置２０は、他のゲーム装置２０から送信された音声情報及び基準ゲーム状況情報の組合せを受信するようにしてもよい。そして、ゲーム装置２０の音声データ記憶部６２には、他のゲーム装置２０で取得された音声情報及び基準ゲーム状況情報の組合せが記憶されるようにしてもよい。このようにして、他のユーザ１００が入力した音声が、実行中のゲームにおいて出力されるようにしてもよい。   (3-1) In this game system Sa, the combination of the audio information and the reference game situation information acquired by the audio information acquisition unit 81 and the reference game situation information acquisition unit 82 of the game apparatus 20 is transmitted to the other game apparatuses 20. You may be made to do. The game apparatus 20 may receive a combination of audio information and reference game situation information transmitted from another game apparatus 20. The voice data storage unit 62 of the game apparatus 20 may store a combination of voice information and reference game situation information acquired by another game apparatus 20. In this way, the voice input by another user 100 may be output in the game being executed.

なお、音声情報及び基準ゲーム状況情報の送受信は、ゲーム装置２０間で直接行われるようにしてもよいし、サーバ装置２００を介して行われるようにしてもよい。   Note that transmission / reception of audio information and reference game situation information may be performed directly between the game apparatuses 20 or may be performed via the server apparatus 200.

（３−２）また、ゲームシステムＳａでは、ゲーム装置２０において、他のゲーム装置２０で実行中のゲームを見ることができるようにしてもよい。即ち、ゲーム装置２０において、他のゲーム装置２０で実行中のゲームを観戦できるようにしてもよい。   (3-2) Further, in the game system Sa, the game apparatus 20 may be configured to allow a game being executed on another game apparatus 20 to be viewed. In other words, the game device 20 may be configured to watch a game being executed on another game device 20.

この場合、ゲーム装置２０は、ユーザ１００がゲームをプレイしている場合、実行中のゲームのゲーム状況情報（現在状況情報）を他のゲーム装置２０に送信する。また、ゲーム装置２０は、ユーザ１００が他のゲーム装置２０で実行中のゲームを見る場合、他のゲーム装置２０から受信したゲーム状況情報に基づいて、他のゲーム装置２０で実行中のゲームの状況を表す画面（観戦画面）を表示部２７に表示する。   In this case, when the user 100 is playing a game, the game apparatus 20 transmits game situation information (current situation information) of the game being executed to another game apparatus 20. In addition, when the user 100 views a game being executed on the other game device 20, the game device 20 determines the game being executed on the other game device 20 based on the game situation information received from the other game device 20. A screen representing the situation (watching screen) is displayed on the display unit 27.

また、この場合、変形例（３）と同様にすることによって、ユーザ１００が観戦画面において音声を入力できるようにしてもよい。即ち、ユーザ１００が他のユーザ１００のゲームプレイを見て、音声を入力できるようにしてもよい。   In this case, the user 100 may be able to input sound on the watching screen by performing the same as in the modification (3). That is, the user 100 may be allowed to input a voice while watching the game play of the other user 100.

また例えば、観戦画面を見ているユーザ１００が発した音声（例えば、歓声、叫び声等）が入力されるようにしてもよい。即ち、他のユーザ１００のゲームプレイを見ているユーザ１００が発した音声が入力されるようにしてもよい。   Further, for example, voice (for example, cheering, screaming, etc.) uttered by the user 100 watching the watching screen may be input. That is, a voice uttered by the user 100 watching the game play of another user 100 may be input.

なお、ゲーム状況情報の送受信は、ゲーム装置２０間で直接行われるようにしてもよいし、サーバ装置２００を介して行われるようにしてもよい。   Note that transmission / reception of the game situation information may be performed directly between the game apparatuses 20 or may be performed via the server apparatus 200.

（４）また例えば、本発明の実施形態に係るゲームシステムはいわゆるネットワークゲームシステムでなくてもよく、制御部と、記憶部と、複数の操作部と、該複数の操作部に対応する複数の表示部と、を含むようなゲーム装置（例えば、業務用ゲーム機）であってもよい。   (4) Further, for example, the game system according to the embodiment of the present invention may not be a so-called network game system, and includes a control unit, a storage unit, a plurality of operation units, and a plurality of operation units corresponding to the plurality of operation units. It may be a game device (for example, an arcade game machine) including a display unit.

（５）また例えば、本発明の実施形態に係るゲームシステムで実行されるゲームは、ダンスゲーム以外のゲーム（例えば、スポーツゲーム、格闘ゲーム又はレースゲーム）であってもよい。また例えば、本発明の実施形態に係るゲームシステムで実行されるゲームは、サッカーゲームのようにキャラクタグループ（例えば、チーム）同士が対戦するゲームでもあってもよいし、一のキャラクタと一のキャラクタとが対戦するゲームであってもよいし、一のキャラクタとキャラクタグループとが対戦するゲームであってもよい。   (5) For example, the game executed by the game system according to the embodiment of the present invention may be a game other than a dance game (for example, a sports game, a fighting game, or a racing game). In addition, for example, a game executed by the game system according to the embodiment of the present invention may be a game in which character groups (for example, teams) battle each other like a soccer game, or one character and one character. And a game in which one character and a character group battle each other.

Ｓ，Ｓａ ゲームシステム、Ｎ 通信ネットワーク、１ 位置検出装置、２ ＣＣＤカメラ、３ 赤外線センサ、４ マイク、２０ ゲーム装置、１０，２１，２０１ 制御部、１１ 記憶部、１２ 撮影部，１３ 深度測定部、１４ 音声入力部、２２，２０２ 主記憶部、２３，２０３ 補助記憶部、２４，２０４ 光ディスク再生部、１５，２５，２０５ 通信インタフェース部、１６ バス、２６ 操作部、２７ 表示部、２８ 音声出力部、５０ ゲーム画面、５１ ゲームキャラクタ、５２ 判定領域、５３ 注目領域、Ｒ５２，Ｒ５３ 半径、５４ ゲージ、５５ メッセージ、６０ ゲームデータ記憶部、６１ 現在状況情報記憶部、６２ 音声データ記憶部、６３ 関連状況情報記憶部、７０ ゲーム実行部、７１ 現在状況情報更新部、７２ 音声出力制御部、７３ ゲーム状況比較部、７４ 関連ゲーム状況比較部、８０ 音声登録受付部、８１ 音声情報取得部、８２ 基準ゲーム状況情報取得部、８３ キーワード取得部、９０ ユーザ数取得部、９１ 音声受付時間取得部、１００ ユーザ、２００ サーバ装置、Ｏｓ 原点、Ｐｍａｘ 座標、ｔ１ 時間。 S, Sa game system, N communication network, 1 position detection device, 2 CCD camera, 3 infrared sensor, 4 microphone, 20 game device, 10, 21, 201 control unit, 11 storage unit, 12 photographing unit, 13 depth measurement unit , 14 Audio input unit, 22, 202 Main storage unit, 23, 203 Auxiliary storage unit, 24, 204 Optical disc playback unit, 15, 25, 205 Communication interface unit, 16 bus, 26 Operation unit, 27 Display unit, 28 Audio output Part, 50 game screen, 51 game character, 52 determination area, 53 attention area, R 52 , R 53 radius, 54 gauge, 55 message, 60 game data storage part, 61 current situation information storage part, 62 voice data storage part, 63 related situation information storage unit, 70 game execution unit, 71 current situation information update unit, 72 voice output control unit, 73 game Game situation comparison unit, 74 related game situation comparison unit, 80 voice registration reception unit, 81 voice information acquisition unit, 82 reference game situation information acquisition unit, 83 keyword acquisition unit, 90 user number acquisition unit, 91 voice reception time acquisition unit , 100 users, 200 server devices, Os origin, Pmax coordinates, t1 time.

Claims (7)

ゲームを実行するゲーム実行手段と、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段と、
を含み、
前記音声登録受付手段は、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段と、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段と、
を含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、
前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段と、を含む、
ことを特徴とするゲームシステム。 Game execution means for executing a game;
Voice registration accepting means for accepting registration of voice output in the game;
Including
The voice registration receiving means
Voice information acquisition means for acquiring voice information indicating voice input via the voice input means;
Reference game situation information acquisition means for acquiring reference game situation information indicating a game situation when the sound is input;
Means for associating and storing the voice information and the reference game situation information in a storage means;
Including
The game execution means includes
In the game, a game situation comparison means for comparing the game situation in the game and the game situation indicated by the reference game situation information associated with the audio information;
Sound output control means for outputting the sound indicated by the sound information based on the comparison result of the game situation comparison means in the game;
A game system characterized by that. 前記ゲームシステムは、キーワードを示すキーワード情報と、前記キーワードに関連するゲーム状況を示す関連ゲーム状況情報と、を対応付けて記憶する手段を含み、
前記音声登録受付手段は、
前記音声情報が示す音声に対応する前記キーワード情報を取得する手段と、
前記音声情報と前記キーワード情報とを対応付けて前記記憶手段に記憶させる手段と、
を更に含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記キーワード情報に対応付けられた関連ゲーム状況情報が示すゲーム状況と、を比較する関連ゲーム状況比較手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、前記関連ゲーム状況比較手段の比較結果と、に基づいて、前記音声情報が示す音声を出力させる、
ことを特徴とする請求項１に記載のゲームシステム。 The game system includes means for storing keyword information indicating a keyword and related game situation information indicating a game situation related to the keyword in association with each other,
The voice registration receiving means
Means for acquiring the keyword information corresponding to the voice indicated by the voice information;
Means for associating and storing the voice information and the keyword information in the storage means;
Further including
The game execution means includes
The game includes related game situation comparison means for comparing the game situation in the game with the game situation indicated by the related game situation information associated with the keyword information,
The sound output control means causes the sound indicated by the sound information to be output based on a comparison result of the game situation comparison means and a comparison result of the related game situation comparison means in the game.
The game system according to claim 1. 前記ゲームシステムは、ユーザの人数を示す情報を取得するユーザ数取得手段を含み、
前記音声登録受付手段は、
前記音声情報と、前記音声が入力された場合の前記ユーザの人数を示す基準人数情報とを対応付けて前記記憶手段に記憶させる手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果と、該ゲームにおける前記ユーザの人数と、前記基準人数情報が示す人数と、に基づいて、前記音声情報が示す音声を出力させる、
ことを特徴とする請求項１又は２に記載のゲームシステム。 The game system includes user number acquisition means for acquiring information indicating the number of users,
The voice registration receiving means
The includes a voice information, a means for storing in said memory means the number of the user in association with indicate to criteria number information when the voice is input,
In the game, the sound output control means is configured to output the sound indicated by the sound information based on the comparison result of the game situation comparison means, the number of users in the game, and the number indicated by the reference number information. Output,
The game system according to claim 1 or 2, wherein 前記ゲームシステムは、前記音声が入力された場合の時間に関する基準時間情報を取得する手段を含み、
前記音声登録受付手段は、前記音声情報と前記基準時間情報とを対応付けて前記記憶手段に記憶させる手段を含み、
前記音声出力制御手段は、前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報に対応付けられた前記基準時間情報に基づいて決定される音量で該音声情報が示す音声を出力させる、
ことを特徴とする請求項１〜３の何れか一項に記載のゲームシステム。 The game system includes means for acquiring reference time information related to a time when the sound is input,
The voice registration receiving means includes means for storing the voice information and the reference time information in association with each other in the storage means,
In the game, the sound output control means outputs a sound indicated by the sound information at a volume determined based on the reference time information associated with the sound information based on a comparison result of the game situation comparison means. Output,
The game system according to any one of claims 1 to 3, wherein: 前記音声登録受付手段は、
前記音声入力手段を介して入力された音声の音量に関する情報を取得する手段と、
前記音声の音量に基づいて前記音声情報の取得の開始及び停止を制御する手段と、
を含むことを特徴とする請求項１〜４の何れか一項に記載のゲームシステム。 The voice registration receiving means
Means for obtaining information relating to the volume of the voice input via the voice input means;
Means for controlling the start and stop of acquisition of the audio information based on the volume of the audio;
The game system according to claim 1, comprising: ゲームを実行するゲーム実行ステップと、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付ステップと、
を含み、
前記音声登録受付ステップは、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得ステップと、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させるステップと、を含み、
前記ゲーム実行ステップは、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、
前記ゲームにおいて、前記ゲーム状況比較ステップの比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御ステップと、を含む、
ことを特徴とするゲームシステムの制御方法。 A game execution step for executing the game;
A voice registration acceptance step for accepting registration of voice output in the game;
Including
The voice registration acceptance step includes:
A voice information acquisition step of acquiring voice information indicating the voice input via the voice input means;
A reference game situation information acquisition step of acquiring reference game situation information indicating a game situation when the sound is input;
Storing the audio information and the reference game situation information in a storage unit in association with each other,
The game execution step includes:
In the game, a game situation comparison step for comparing the game situation in the game with the game situation indicated by the reference game situation information associated with the audio information;
A sound output control step for outputting a sound indicated by the sound information based on a comparison result of the game situation comparison step in the game;
A game system control method characterized by the above. ゲームを実行するゲーム実行手段、
前記ゲームにおいて出力される音声の登録を受け付ける音声登録受付手段、
としてコンピュータを機能させるためのプログラムであって、
前記音声登録受付手段は、
音声入力手段を介して入力された音声を示す音声情報を取得する音声情報取得手段、
前記音声が入力された場合のゲーム状況を示す基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、
前記音声情報と前記基準ゲーム状況情報とを対応づけて記憶手段に記憶させる手段、
を含み、
前記ゲーム実行手段は、
前記ゲームにおいて、該ゲームにおけるゲーム状況と、前記音声情報に対応づけられた前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、
前記ゲームにおいて、前記ゲーム状況比較手段の比較結果に基づいて、前記音声情報が示す音声を出力させる音声出力制御手段、
を含む、
ことを特徴とするプログラム。 Game execution means for executing a game;
Voice registration acceptance means for accepting registration of voice output in the game;
As a program for causing a computer to function as
The voice registration receiving means
Voice information acquisition means for acquiring voice information indicating voice input through the voice input means;
Reference game situation information acquisition means for acquiring reference game situation information indicating a game situation when the sound is input;
Means for associating and storing the voice information and the reference game situation information in a storage means;
Including
The game execution means includes
In the game, a game situation comparison means for comparing a game situation in the game and a game situation indicated by the reference game situation information associated with the audio information;
In the game, sound output control means for outputting the sound indicated by the sound information based on the comparison result of the game situation comparison means,
including,
A program characterized by that.
JP2010076384A 2010-03-29 2010-03-29 GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM Active JP5318016B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010076384A JP5318016B2 (en) 2010-03-29 2010-03-29 GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010076384A JP5318016B2 (en) 2010-03-29 2010-03-29 GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2011206220A JP2011206220A (en) 2011-10-20
JP5318016B2 true JP5318016B2 (en) 2013-10-16

Family

ID=44938013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010076384A Active JP5318016B2 (en) 2010-03-29 2010-03-29 GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP5318016B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492046B1 (en) * 2017-02-20 2023-01-26 소니그룹주식회사 Information processing system and information processing method
KR102466302B1 (en) * 2018-10-31 2022-11-14 주식회사 엔씨소프트 Output system, sever and output method for game effect sound
JP7345288B2 (en) * 2019-06-14 2023-09-15 株式会社コーエーテクモゲームス Information processing device, information processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001009157A (en) * 1999-06-30 2001-01-16 Konami Co Ltd Control method for video game, video game device and medium recording program of video game allowing reading by computer
JP2002346230A (en) * 2001-05-25 2002-12-03 Namco Ltd Game information, information storage medium, computer system and server system
WO2003103788A1 (en) * 2002-06-11 2003-12-18 株式会社セガ Game device
JP2006158815A (en) * 2004-12-10 2006-06-22 Ibox:Kk Game system using network
US8550919B2 (en) * 2008-10-08 2013-10-08 Sony Corporation Game control program, game device, game server, and game control method

Also Published As

Publication number Publication date
JP2011206220A (en) 2011-10-20

Similar Documents

Publication Publication Date Title
CN106924966B (en) Game device and processing method
JP5819856B2 (en) Recognition of user intent in motion capture systems
US9529566B2 (en) Interactive content creation
US9069381B2 (en) Interacting with a computer based application
JP6306442B2 (en) Program and game system
US8660847B2 (en) Integrated local and cloud based speech recognition
US9405363B2 (en) Audio, video, simulation, and user interface paradigms
TWI531396B (en) Natural user input for driving interactive stories
US7961174B1 (en) Tracking groups of users in motion capture system
JP4921550B2 (en) How to give emotional features to computer-generated avatars during gameplay
US20110305398A1 (en) Image generation system, shape recognition method, and information storage medium
US10775894B2 (en) Systems and methods for providing customizable haptic playback
JP5116679B2 (en) Intensive computer image and sound processing and input device for interfacing with computer programs
CN104508597A (en) Method and apparatus for controlling augmented reality
JP5399966B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
JP2011258158A (en) Program, information storage medium and image generation system
WO2018203453A1 (en) Information processing device, information processing method, and program
JP5318016B2 (en) GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM
JP5629364B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
JP6622832B2 (en) Program and game system
US11975268B2 (en) User input method and apparatus
US20130106689A1 (en) Methods of operating systems having optical input devices
GB2567800A (en) Detecting ball strike position
JP5213913B2 (en) Program and image generation system
KR20220093204A (en) Information processing devices, information processing methods and programs

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5318016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250