JP2002351489A - Game information, information storage medium, and game machine - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide such a fun that a player gets right into the role of a character by providing game information, etc., which enables the player to operate the character to be operated by the player in synchronism with the voice of the player. SOLUTION: By a voice input means the player takes in words, a singing voice, etc., of the character. A voice analyzing means takes a frequency analysis of the voice of the player and determines a phonetical reading ('on' in Japanese) from sound-pressure distribution features by frequency components of the audible frequency band at the point of time of the analysis. A voice synchronizing means varies the mouth peripheral shape of the character according to the phonetical reading ('on' in Japanese). Then an image of the changed character is outputted together with the voice of the player and then the speaking operation of the character is timed to the voice of the player. The player can see the character with the player's voice acting in a story and singing a song in a game world.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、プレーヤの音声に
同期してキャラクタの動作が変化するゲーム情報等に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to game information and the like in which the movement of a character changes in synchronization with the voice of a player.

【０００２】[0002]

【従来の技術】従来、プレーヤの音声を入力し、音声解
析の結果に基づいてキャラクタの動作を変化させるゲー
ムは、キャラクタへの近親感をもたらし、また、キー操
作によらずに操作できるゲームとして人気が高い。2. Description of the Related Art Conventionally, a game in which a player's voice is input and the action of the character is changed based on the result of the voice analysis brings a sense of closeness to the character and can be operated without using key operations. Popular.

【０００３】例えば、特開２０００−１８１６７６号公
報は、ゲーム内の対話相手である動物型キャラクタに対
して、プレーヤがマイクロフォン等の音声入力装置を介
して話し掛ける。そして、プレーヤの音声から、音声解
析によってキーワードを認識・検出し、キーワードに応
じてキャラクタの動作を決定している。プレーヤの音声
に応じて動物型キャラクタが移動やイベントをこなし、
ゲームを進行することで、動物型キャラクタとの間であ
たかも意思の伝達が成り立っているかのように見せ、プ
レーヤにペットと遊んでいるかのような近親感をもたら
す効果を生んでいる。For example, in Japanese Patent Application Laid-Open No. 2000-181676, a player speaks to an animal-type character, which is a conversation partner in a game, via a voice input device such as a microphone. Then, a keyword is recognized and detected from the player's voice by voice analysis, and the action of the character is determined according to the keyword. Animal-type characters perform movements and events according to the player's voice,
By proceeding with the game, it appears as if the communication of the intention is established with the animal-type character, and the effect of giving the player a close feeling as if playing with the pet is produced.

【０００４】また、特開平１１−７０２７３号公報で
は、仮想空間内でプレーヤの操るキャラクタとゲーム装
置の操るキャラクタが体術等の技の応酬によって勝敗を
決するいわゆる格闘ゲームにおいて、コントロール装置
のキー操作入力によって技をくりだすのではなく、技の
名前をプレーヤが発声することによって入力する方法が
提示されている。プレーヤの音声を音声解析し、キーワ
ードを検出して技の入力に用いることによって、初心者
プレーヤであっても技名を発音するだけで、種々の技を
繰り出すことが可能となる。プレーヤは、技ごとに割り
当てられた複雑なキー操作の習熟を必要とせずに、すぐ
にゲームを堪能することができるとともに、あたかも自
分が格闘キャラクタになりきって、気合・掛け声ととも
に技を繰り出しているような仮想現実感を楽しむことが
できる。Japanese Patent Application Laid-Open No. H11-70273 discloses a key operation of a control device in a so-called fighting game in which a character operated by a player and a character operated by a game device determine a win or loss in a virtual space by exchanging techniques such as physical arts. There is proposed a method in which a player does not input a technique but inputs a technique name by uttering the technique name. By analyzing the voice of the player, detecting the keyword and using the keyword for inputting the technique, even a beginner player can perform various techniques by simply pronouncing the technique name. The player can immediately enjoy the game without having to learn the complicated key operations assigned to each technique, and as if he / she is a fighting character, he / she moves out with a yelling / screaming voice. You can enjoy virtual reality as if you were.

【０００５】[0005]

【発明が解決しようとする課題】ところが、プレーヤに
は、もっとゲーム内のキャラクタになりきってみたい、
言い換えるならば、キャラクタの役を演じてみたいとい
う演劇的欲求がある。しかしながら、前者の例では、キ
ャラクタへの話し掛けは実現されるが、動作の主体はプ
レーヤでは無いのでプレーヤが演じることにはあたらな
い。また、後者の例では、コマンドの音声入力が主体で
あって、ともすれば技名の連呼に終始してしまう可能性
があり、キャラクタを演ずるとはいえない。この様に両
者ともプレーヤの音声解析をゲームに用いているが、プ
レーヤがキャラクタになりきる、あるいは演じてみたい
という欲求に答えることはできていない。However, players want to become more characters in the game,
In other words, there is a theatrical desire to play the role of a character. However, in the former example, although talking to the character is realized, the player does not correspond to the action because the subject of the action is not the player. Further, in the latter example, the voice input of the command is mainly performed, and there is a possibility that the technical name may be continuously connected, and it cannot be said that the character is played. Thus, although both use the player's voice analysis in the game, they have not been able to respond to the desire for the player to become a character or to play.

【０００６】そこで、本発明の課題は、プレーヤが操る
キャラクタを、プレーヤの音声と同期して動作させるこ
とができるゲーム情報等を提示し、プレーヤがキャラク
タになりきる楽しさを提供することである。[0006] Therefore, an object of the present invention is to provide a game in which a character operated by a player can be operated in synchronism with the voice of the player by presenting game information and the like, and to provide a pleasure for the player to become a character. .

【０００７】[0007]

【課題を解決するための手段】以上の課題を解決するた
めに、請求項１記載の発明は、プロセッサによる演算・
制御により、装置に対して、種々の機能を実行させるた
めのゲーム情報（例えば、図８の５２）であって、プレ
ーヤが発する音声を入力する音声入力手段（例えば、図
８の音声入力部４６）と、前記音声入力手段により入力
された音声を解析する音声解析手段（例えば、図８の音
声解析部６２４）と、前記音声入力手段により入力され
た音声を出力する音声出力手段（例えば、図８の音声出
力部４８、音声生成部６６）と、前記音声解析手段によ
る解析結果に基づいて、所与のキャラクタの動作の内、
少なくとも発話動作を制御することにより、前記音声出
力手段により出力される音声に同期した動作を前記所与
のキャラクタに行わせる音声同期手段（例えば、図８の
音声同期部６２６）と、を機能させることを特徴とす
る。Means for Solving the Problems In order to solve the above-mentioned problems, the invention according to claim 1 performs an operation by a processor.
A voice input unit (for example, the voice input unit 46 in FIG. 8) for inputting voices generated by the player as game information (for example, 52 in FIG. 8) for causing the apparatus to execute various functions by the control. ), Voice analysis means (for example, voice analysis unit 624 in FIG. 8) for analyzing voice input by the voice input means, and voice output means (for example, FIG. 8) for outputting voice input by the voice input means. 8, a voice output unit 48, a voice generation unit 66), and a motion of a given character based on the analysis result by the voice analysis unit.
By controlling at least the utterance operation, a voice synchronizing unit (for example, the voice synchronizing unit 626 in FIG. 8) that causes the given character to perform an operation synchronized with the voice output by the voice output unit functions. It is characterized by the following.

【０００８】また、請求項１４記載の発明は、ゲーム装
置であって、プレーヤが発する音声を入力する音声入力
手段（例えば、図８の音声入力部４６）と、前記音声入
力手段により入力された音声を解析する音声解析手段
（例えば、図８の音声解析部６２４）と、前記音声入力
手段により入力された音声を出力する音声出力手段（例
えば、図８の音声出力部４８、音声生成部６６）と、前
記音声解析手段による解析結果に基づいて、所与のキャ
ラクタの動作の内、少なくとも発話動作を制御すること
により、前記音声出力手段により出力される音声に同期
した動作を前記所与のキャラクタに行わせる音声同期手
段（例えば、図８の音声同期部６２６）と、を備えるこ
とを特徴とする。According to a fourteenth aspect of the present invention, there is provided the game apparatus, wherein the voice input means (for example, the voice input unit 46 in FIG. 8) for inputting the voice uttered by the player, and the voice input means. Voice analysis means for analyzing voice (for example, voice analysis unit 624 in FIG. 8), and voice output means for outputting voice input by the voice input means (for example, voice output unit 48 and voice generation unit 66 in FIG. 8) ) And, based on the analysis result by the voice analysis means, by controlling at least the utterance motion of the motion of the given character, the motion synchronized with the voice output by the voice output means is provided by the given Voice synchronizing means (for example, a voice synchronizing unit 626 in FIG. 8) for causing the character to perform.

【０００９】請求項１または１４に記載の発明によれ
ば、プレーヤの音声に基づいて、キャラクタの発話動作
が決定され、音声に同期して出力されることによって、
あたかもキャラクタの口からプレーヤの声が発せられて
いるように見せることができる。なお、ここで音声に同
期するとは、プレーヤの発声タイミングやイントネーシ
ョン等の音声の変化（例えば、音圧の変化、声の高さ変
化、周波数軸の変化など）と、キャラクタの動作変化
（例えば、発話動作（口パク）、表情、身体動作など）
のタイミングがほぼ一致し、プレーヤにとって不自然に
感じられる時間的なズレが無いことを言う。According to the present invention, the utterance operation of the character is determined based on the voice of the player, and is output in synchronization with the voice.
It is possible to make it appear as if the voice of the player is being emitted from the mouth of the character. Here, synchronizing with the voice means that a change in voice such as a player's utterance timing or intonation (for example, a change in sound pressure, a change in voice pitch, a change in a frequency axis, etc.) and a change in movement of a character (for example, Speech movements (mouth), facial expressions, body movements, etc.)
Are almost the same, and there is no temporal shift that seems unnatural to the player.

【００１０】具体的には、例えば、次のような処理によ
って実現される。即ち、プレーヤがキャラクタの台詞等
を発音すると、音声入力手段が音声を取り込む。取り込
まれたプレーヤ音声は、音声解析手段によって発せられ
ている音（おん）が判別される。ここでの音（おん）と
は、所謂五十音と同様の意味であって、「あ」「い」
「う」といった具合に判別される。音声解析手段によっ
て音（おん）が判別されたならば、音声同期手段が、キ
ャラクタの口周辺の形状を音（おん）に応じて予め設定
された形状に変更する。即ち、音声解析手段によって
「う」の音（おん）が発せられていると判別されたなら
ば、音声同期手段は、所与のキャラクタのモデルにおい
て「う」と発音している口の形状を決定・変更する。形
状の変更は、２次元データの場合は口周辺の画像の置き
換え等、３次元データの場合は、ポリゴンの座標の変更
やモーションデータの変更等によって可能であり、その
方法は適宜選択される。そして、プレーヤ音声において
「う」が発音されるタイミングにあわせてキャラクタの
画像を出力することで、プレーヤの音声に同期した発話
動作の映像を作り出すことができる。なお、キャラクタ
の口周辺形状の変更と画像の出力は、音声の出力と同時
に実行されても良いし、あるいは、一旦、プレーヤ音声
の頭から終わりまで、対応する口周辺形状を全て決定し
て形状変更の時間軸データを作成し、改めて音声と同時
に画像を生成・出力しても良い。[0010] Specifically, for example, it is realized by the following processing. That is, when the player pronounces a character or the like of the character, the voice input means captures the voice. The sound (on) emitted by the sound analysis means is determined from the captured player sound. Here, the sound (on) has the same meaning as the so-called Japanese syllabary.
It is determined as "U". When the sound (on) is determined by the sound analysis means, the sound synchronization means changes the shape around the mouth of the character to a preset shape according to the sound (on). That is, if it is determined by the voice analysis means that a sound of "u" is being emitted, the voice synchronization means changes the shape of the mouth pronounced as "u" in the model of the given character. Decide / change. The shape can be changed by replacing an image around the mouth in the case of two-dimensional data, or by changing the coordinates of polygons or changing motion data in the case of three-dimensional data, and the method is appropriately selected. Then, by outputting an image of the character in synchronization with the timing at which “U” is pronounced in the player's voice, it is possible to create a video of an utterance operation synchronized with the player's voice. Note that the change of the mouth shape of the character and the output of the image may be performed simultaneously with the output of the voice, or the shape of the mouth may be determined once by determining all the corresponding mouth peripheral shapes from the head to the end of the player voice. The time axis data of the change may be created, and the image may be generated and output again simultaneously with the sound.

【００１１】このようにして、プレーヤ音声の音声解析
結果に基づいて、口周辺の形状を変更し、音声と同期さ
せることで、あたかもキャラクタの口からプレーヤの声
が発せられているかのように見せることができる。した
がって、プレーヤは、ゲーム内世界において自分の声を
したキャラクタが会話をし、掛け声を出しながらゲーム
を進行していく様子を見ることで、ゲーム世界で所与の
キャラクタを演じている気持ちを味わうことができる。
これは所謂アフレコとは異なり、プレーヤは、既存の映
像に対してタイミングを計りつつ声を合わせる（当て
る）必要は無く、思うままに台詞の言い回しや間合いを
取って発声することができるので、より役を演じる演劇
的楽しさを得ることができる。In this way, by changing the shape around the mouth on the basis of the voice analysis result of the player voice and synchronizing with the voice, it is made to appear as if the player's voice is being emitted from the mouth of the character. be able to. Therefore, the player can enjoy the feeling of playing a given character in the game world by watching the characters who have spoken in the in-game world talk and progress the game while shouting. be able to.
Unlike so-called post-recording, the player does not have to adjust the voice to the existing video while measuring the timing, and can utter the words and pauses at will as desired. You can get theatrical fun to play a role.

【００１２】請求項２記載の発明は、請求項１に記載の
ゲーム情報であって、前記音声解析手段が、周波数分析
によって、前記音声入力手段により入力された音声の、
周波数成分毎の音圧レベルを解析するための情報（例え
ば、図８の音声解析プログラム５２３）、を含むことを
特徴とする。According to a second aspect of the present invention, there is provided the game information according to the first aspect, wherein the voice analysis means performs a frequency analysis on the voice input by the voice input means.
It is characterized by including information for analyzing a sound pressure level for each frequency component (for example, the voice analysis program 523 in FIG. 8).

【００１３】また、請求項１５記載の発明は、請求項１
４に記載のゲーム装置であって、前記音声解析手段が、
周波数分析によって、前記音声入力手段により入力され
た音声の、周波数成分毎の音圧レベルを解析すること、
を特徴とする。The invention according to claim 15 is the first invention.
The game device according to claim 4, wherein the voice analysis unit includes:
Analyzing the sound pressure level of each frequency component of the voice input by the voice input unit by frequency analysis;
It is characterized by.

【００１４】請求項２記載の発明によれば請求項１と同
様の効果を、請求項１５記載の発明によれば請求項１４
と同様の効果を奏するとともに、音声解析手段が、周波
数分析処理を用いてプレーヤの音声を逐次分析して音声
に含まれる音（おん）を判別することによって、音声解
析処理にかかる処理負荷を少なくすることができる。具
体的には、例えば、音声解析手段が高速フーリエ変換
（ＦＦＴ）を用いてプレーヤの音声を周波数分析し、可
聴周波数帯域を６４分割した周波数成分ごとの音圧分布
を求める。人の声は、各母音・子音について周波数成分
ごとの音圧分布で比較すると、それぞれ異なった特徴が
認められる。したがって、音声解析手段が、逐次プレー
ヤ音声の音圧分布を求め、予め求められている五十音の
音圧分布の特徴と比較することによって、分析時の音声
にどの音（おん）が発せられているかを判別することが
できる。なお、ここで判別される音（おん）は、五十音
全てでなくとも良く、キャラクタの発話動作が不自然に
見えない程度に、例えば、母音と無声音のみといった具
合に、適宜選択されてもかまわない。According to the second aspect of the present invention, the same effect as in the first aspect is obtained, and according to the fifteenth aspect of the present invention, the fourteenth aspect
In addition to the same effect as described above, the voice analysis means sequentially analyzes the player's voice using the frequency analysis process to determine the sound (on) included in the voice, thereby reducing the processing load on the voice analysis process. can do. Specifically, for example, the sound analysis unit performs frequency analysis on the sound of the player using fast Fourier transform (FFT), and obtains a sound pressure distribution for each frequency component obtained by dividing the audible frequency band into 64 parts. Human voices have different characteristics when compared by sound pressure distribution for each frequency component for each vowel and consonant. Therefore, the sound analysis means sequentially obtains the sound pressure distribution of the player sound and compares it with the characteristics of the sound pressure distribution of the Japanese syllabary to determine which sound (on) is generated in the sound at the time of analysis. Can be determined. Note that the sound (on) determined here may not be all of the Japanese syllabary, and may be appropriately selected such that the utterance of the character does not look unnatural, for example, only vowels and unvoiced sounds. I don't care.

【００１５】このように、音声の周波数成分ごとの音圧
分布を求めて、口周辺形状に反映させることによって、
より自然な表情を得ることができる。しかも、同じ入力
音声に対して常に同じ口周辺形状を得られるため、高い
再現性を実現することができる。また、周波数分析を行
うだけで口周辺形状を決定することができるために、処
理の負担が少なくてすむ。As described above, by obtaining the sound pressure distribution for each frequency component of the sound and reflecting the sound pressure distribution on the shape around the mouth,
A more natural look can be obtained. In addition, since the same mouth peripheral shape can always be obtained for the same input voice, high reproducibility can be realized. Further, since the shape around the mouth can be determined only by performing the frequency analysis, the processing load can be reduced.

【００１６】請求項３記載の発明は、請求項１または２
に記載のゲーム情報であって、前記音声解析手段が、前
記音声入力手段から入力された音声に基づいて、プレー
ヤの心理状態を解析するための情報（例えば、図８の音
声解析プログラム５２３、感情認識辞書５３３）、を含
むことを特徴とする。The third aspect of the present invention is the first or second aspect.
8. The game information according to claim 1, wherein the voice analysis unit analyzes the player's mental state based on the voice input from the voice input unit (for example, the voice analysis program 523 in FIG. Recognition dictionary 533).

【００１７】請求項３記載の発明によれば、請求項１ま
たは２と同様の効果を奏するとともに、音声解析手段が
音声認識を行ってプレーヤ音声に含まれる心理状態（感
情）を認識し、同じ音（おん）の口形状であっても心理
状態に応じてバリエーションを持たせることで、キャラ
クタに対してより自然な発話動作をさせることができ
る。例えば、同じ「あ」でも、喜びとともに発せられた
場合は、口元がやや上向きになり微笑みに近い形状をす
る。反対に、悲しみとともに発せられた場合は、口元は
引き締められか、或いはやや下向きになる。こうした違
いは微妙ではあるが、キャラクタの頭部がアップで画面
表示される場合などには、表現上重要な要素となる。し
たがって、音声解析手段が感情を認識し、音声同期手段
が所与の感情に対応した口周辺形状を決定することによ
って、キャラクタに対してよりリアルで自然な発話動作
をさせることができる。According to the third aspect of the present invention, the same effects as those of the first or second aspect are obtained, and the voice analysis means recognizes the psychological state (emotion) included in the player's voice by performing voice recognition. Even if the mouth shape of the sound (on) is varied according to the psychological state, the character can be made to perform a more natural utterance operation. For example, even if the same "A" is emitted with joy, the mouth is slightly upward and has a shape close to a smile. Conversely, if it is released with sorrow, the mouth is tightened or slightly downward. Although such a difference is subtle, it is an important element in expression when the character's head is displayed on the screen with the head up. Therefore, the voice analyzing means recognizes the emotion, and the voice synchronizing means determines the shape around the mouth corresponding to the given emotion, so that the character can make the character perform a more realistic and natural uttering operation.

【００１８】請求項４記載の発明は、請求項３に記載の
ゲーム情報であって、前記音声解析手段によるプレーヤ
の心理状態の解析結果に基づいて、感情表現効果表示物
を表示する手段、を前記装置に機能させるための情報を
含むことを特徴とする。According to a fourth aspect of the present invention, there is provided the game information according to the third aspect, wherein the means for displaying an emotion expression effect display based on the result of analysis of the player's mental state by the voice analysis means. It is characterized by including information for causing the device to function.

【００１９】請求項４記載の発明によれば、請求項３と
同様の効果を奏するとともに、感情表現効果表示物が、
キャラクタに付属して表示され、キャラクタの心理状態
をより効果的に見せることで多彩な演出効果を可能とす
る。ここで、感情表現効果表示物とは、びっくりマーク
（！）や、クエスチョン・マーク（？）など、マンガ等
でキャラクタの心理状態を表現する記号として使用され
る図形のことである。例えば、キャラクタが驚く場合に
「！」がその頭上に表現され、驚きの度合いによって
「！」の大きさや、「！！」「！！！」と言った具合に
数を変化させることで、はっきりとは聞きとりにくい
声、所謂声にならない声の場合であっても、キャラクタ
の心理状態をより分かりやすく、あるいは誇張して表現
することができる。感情表現効果表示物の制御として
は、その他、怒りの場合は赤色に表示し、悲しみの場合
は青色で表示するといった表示色の変更、あるいは、感
情表現効果表示物の表示サイズや表示中の運動などを変
化させることでも、心理状態を効果的に表現できる。こ
うした機能は、別途ハードあるいはプログラム等が設け
られても良いが、音声同期手段にて音声同期処理の制御
対象のひとつとして感情表現効果表示物を扱うことで、
音声同期手段の付属機能として実現しても良い。According to the fourth aspect of the present invention, the same effects as those of the third aspect are obtained, and the emotion expression effect display object is
A variety of effect effects are possible by being displayed attached to the character and showing the mental state of the character more effectively. Here, the emotion expression effect display object is a figure, such as a surprise mark (!) Or a question mark (?), Used as a symbol expressing the mental state of the character in manga or the like. For example, when the character is surprised, “!” Is expressed above the head, and by changing the size of “!” Or the number “!!!!” or “!!!” depending on the degree of surprise, the character is clearly displayed. Even in the case of a voice that is difficult to hear, that is, a voice that does not turn into a so-called voice, the mental state of the character can be more easily understood or exaggerated. Other controls on the emotional expression effect display include changing the display color, such as displaying red in the case of anger and displaying blue in the case of sadness, or changing the display size of the emotional expression effect or the exercise being displayed. The mental state can also be effectively expressed by changing the above. Such a function may be provided separately with hardware or a program. However, by handling the emotion expression effect display object as one of the control objects of the voice synchronization processing by the voice synchronization means,
It may be realized as an attached function of the voice synchronization means.

【００２０】また、請求項５記載の発明のように、請求
項１から４の何れか一つに記載のゲーム情報であって、
前記音声同期手段が、更に、前記所与のキャラクタの表
情動作、身体動作、及び変形動作の内、少なくとも１つ
の動作を制御するための情報、を含むとしても良い。The game information according to any one of claims 1 to 4, as in the invention according to claim 5,
The voice synchronizing means may further include information for controlling at least one of an expression motion, a body motion, and a deformation motion of the given character.

【００２１】請求項５記載の発明によれば、請求項１か
ら４の何れか一つと同様の効果を奏するとともに、音声
同期手段が制御対象に表情動作、身体動作、変形動作を
含むことで、より効果的な表現をすることができる。例
えば、音声同期手段が、目元、眉、額などの形状を総括
的に制御することで、プレーヤの台詞等に応じた自然な
表情を表現できる。また、身体の各関節の角度を設定す
ることにより、当該関節に接続された部位の位置、即
ち、身体動作を制御するならば、手話やボディランゲー
ジに属する表現を付加することができる。さらに、通
常、人の手足の隣接する関節間距離は一定のものとして
キャラクタの形状変更に上下限を設定するが、上下限を
取り払い意図的に形状変更の量を大きく、或いは小さく
設定することで、マンガ表現のように手足や体が任意方
向に伸縮する表現をすることができる。したがって、ゲ
ーム内のキャラクタは、体全体でプレーヤの音声に基づ
いたより自然で多彩な動作をし、時にはマンガのように
オーバーな動作をすることで、プレーヤをさらに楽しま
せることができる。According to the fifth aspect of the present invention, the same effect as any one of the first to fourth aspects is achieved, and the voice synchronization means includes a facial expression operation, a body operation, and a deformation operation in the control object, A more effective expression can be made. For example, the voice synchronization means comprehensively controls the shape of the eyes, eyebrows, forehead, etc., so that a natural expression corresponding to the player's dialogue or the like can be expressed. In addition, if the angles of the joints of the body are set to control the positions of the parts connected to the joints, that is, the body movements, expressions belonging to sign language or body language can be added. Further, normally, the upper and lower limits are set for the shape change of the character assuming that the distance between the adjacent joints of the human limbs is constant, but the upper and lower limits are removed and the amount of the shape change is intentionally set to be large or small. In this way, it is possible to make expressions such that limbs and bodies expand and contract in arbitrary directions, such as manga expressions. Therefore, the characters in the game can perform more natural and various actions based on the voice of the player as a whole, and sometimes perform an excessive action like a manga, so that the player can further enjoy the game.

【００２２】請求項６記載の発明は、請求項１から５の
何れか一つに記載のゲーム情報であって、前記音声同期
手段が、前記音声解析手段による解析結果に基づいて、
変位点と、当該変位点における動作変位量とを決定し、
決定した変位点及び動作変位量に基づいて前記所与のキ
ャラクタの動作を制御するための情報と、を含むことを
特徴とする。According to a sixth aspect of the present invention, there is provided the game information according to any one of the first to fifth aspects, wherein the voice synchronizing means is configured to perform the following based on an analysis result by the voice analyzing means.
Determine the displacement point and the amount of motion displacement at the displacement point,
And information for controlling the motion of the given character based on the determined displacement point and the amount of motion displacement.

【００２３】また、請求項１６記載の発明は、請求項１
４または１５に記載のゲーム装置であって、前記音声同
期手段が、前記音声解析手段による解析結果に基づい
て、変位点と、当該変位点における動作変位量とを決定
し、決定した変位点及び動作変位量に基づいて前記所与
のキャラクタの動作を制御すること、を特徴とする。[0023] The invention according to claim 16 is the invention according to claim 1.
16. The game device according to 4 or 15, wherein the voice synchronization unit determines a displacement point and an amount of motion displacement at the displacement point based on an analysis result by the voice analysis unit, and The motion of the given character is controlled based on a motion displacement amount.

【００２４】請求項６記載の発明によれば、請求項１か
ら５の何れか一つと同様の効果を奏し、請求項１６記載
の発明によれば、請求項１４または１５と同様の効果を
奏するとともに、キャラクタの動作の形状を制御する代
表点として変位点を設定することで、処理負荷を軽減す
ることができる。例えば、発話動作の場合、キャラクタ
の口周辺（例えば上唇、下唇、口元など）に、口周辺形
状変化を代表する代表点としての変位点を設定する。３
ＤＣＧでポリゴンを用いてキャラクタを表現する場合、
変位点は、ポリゴンの適当な位置の頂点であって、各変
位点における閉口状態の変位点座標から「あ」の口周辺
形状、「い」の口周辺形状といった、音（おん）ごとの
形状を形成する座標の増減値が動作変位量として設定さ
れる。また、動作変位量が、音声の総音圧に適宜比例さ
せるように口の開度を決定することによって、音（お
ん）の種類と声の大きさに応じた口周辺の形状が適当に
決定される。音（おん）ごとに変位点の座標変位量が求
められたならば、音声同期手段は、代表点である変位点
の周辺に位置して、キャラクタモデルの頭部を構成する
複数のポリゴンについて、変位点からの距離に応じて動
作変位量を適宜増減して座標位置を変更し、キャラクタ
の造詣にそった滑らかな口周辺形状を作る。According to the sixth aspect of the present invention, the same effect as any one of the first to fifth aspects is obtained, and according to the sixteenth aspect, the same effect as the first or fourth aspect is obtained. At the same time, by setting the displacement point as a representative point for controlling the shape of the motion of the character, the processing load can be reduced. For example, in the case of an utterance motion, a displacement point is set around the character's mouth (for example, upper lip, lower lip, mouth, etc.) as a representative point representing a change in the shape around the mouth. 3
When expressing characters using polygons in DCG,
The displacement point is a vertex at an appropriate position of the polygon, and is a shape for each sound (on) such as a shape around the mouth of "A" and a shape around the mouth of "I" from the displacement point coordinates in the closed state at each displacement point. Is set as the amount of movement displacement. In addition, by determining the opening of the mouth so that the amount of motion displacement is appropriately proportional to the total sound pressure of the voice, the shape of the mouth periphery according to the type of sound (on) and the volume of the voice is appropriately determined. Is done. When the coordinate displacement amount of the displacement point is obtained for each sound (on), the voice synchronizing means determines, for a plurality of polygons located around the displacement point which is the representative point and constituting the head of the character model, The coordinate position is changed by appropriately increasing or decreasing the amount of motion displacement in accordance with the distance from the displacement point, thereby creating a smooth mouth peripheral shape according to the character's knowledge.

【００２５】このように、制御部分に代表点である変位
点を設定し、先に変位点における動作変位量を求めるこ
とで、３ＤＣＧなどのキャラクタモデルであっても少な
い処理負荷で音声同期手段を実現できる。なお、動作変
位量は、基準状態（発話動作ならば、例えば閉口状態）
からの座標値として求められても良いし、座標の変換
式、変換行列、倍率などであっても良く、その様式は適
宜選択されてかまわない。As described above, the displacement point, which is a representative point, is set in the control portion, and the amount of motion displacement at the displacement point is obtained first, so that the voice synchronization means can be implemented with a small processing load even for a character model such as 3DCG. realizable. In addition, the movement displacement amount is a reference state (for a speech movement, for example, a closed state)
, Or a coordinate conversion formula, a conversion matrix, a magnification, or the like, and the format may be appropriately selected.

【００２６】請求項７記載の発明は、請求項６に記載の
ゲーム情報であって、前記音声同期手段による制御対象
となるキャラクタを決定するキャラクタ決定手段、を前
記装置に機能させるための情報と、前記音声同期手段
が、前記キャラクタ決定手段により決定されたキャラク
タの動作を制御するための情報と、を含むことを特徴と
する。According to a seventh aspect of the present invention, there is provided the game information according to the sixth aspect, wherein information for causing the apparatus to function as a character determining means for determining a character to be controlled by the voice synchronization means. And information for controlling the motion of the character determined by the character determining means.

【００２７】また、請求項１７記載の発明は、請求項１
６に記載のゲーム装置であって、前記音声同期手段によ
る制御対象となるキャラクタを決定するキャラクタ決定
手段を備え、前記音声同期手段が、前記キャラクタ決定
手段により決定されたキャラクタの動作を制御するこ
と、を特徴とする。Further, the invention according to claim 17 is the same as the claim 1.
7. The game device according to 6, further comprising: character determining means for determining a character to be controlled by the voice synchronizing means, wherein the voice synchronizing means controls a motion of the character determined by the character determining means. , Is characterized.

【００２８】請求項７記載の発明によれば、請求項６と
同様の効果を奏し、請求項１７記載の発明によれば、請
求項１６と同様の効果を奏するとともに、キャラクタ決
定手段によって、複数のキャラクタの中から制御対象の
キャラクタが選択されることで、プレーヤは様々なキャ
ラクタを演ずることができる。例えば、ひとつのロール
プレイング・ゲームや恋愛シィミュレーション・ゲーム
のストーリを、異なった立場で楽しむことでゲーム世界
を存分に楽しむことができる。According to the seventh aspect of the present invention, the same effects as those of the sixth aspect are obtained, and according to the seventeenth aspect of the present invention, the same effects as those of the sixteenth aspect are obtained. By selecting a control target character from among the characters, the player can play various characters. For example, a story of a role-playing game or a love simulation game can be enjoyed from different perspectives to fully enjoy the game world.

【００２９】さらに、請求項８記載の発明に、請求項７
に記載のゲーム情報であって、前記キャラクタ決定手段
が、複数の候補キャラクタを表示し、プレーヤの操作入
力に基づいて前記音声同期手段による制御対象となるキ
ャラクタを決定するための情報、を含むとしても良い。Further, according to the invention described in claim 8, there is provided claim 7.
Wherein the character determination means includes a plurality of candidate characters, and information for determining a character to be controlled by the voice synchronization means based on a player's operation input. Is also good.

【００３０】請求項８記載の発明よれば、請求項７と同
様の効果を奏するとともに、キャラクタ決定手段によっ
て、プレーヤが自身で操作するキャラクタを選択可能と
することで、プレーヤは、お気に入りのキャラクタにな
りきる楽しさを得ることができる。操作するキャラクタ
は、ゲームやマンガなどの空想世界のキャラクタに限ら
ず、実在のキャラクタ（人物）であっても良い。プレー
ヤは、キャラクタを選択し、「このキャラクタ（この
人）にこんなことを言わせて見たい」という台詞を自ら
が演ずることで、望みを実現し楽しむことができる。ま
た、例えば、プレーヤが意図的に異性のキャラクタを選
択するならば、男性が女性を、女性が男性を演ずる仮想
体験をすることができる。According to the eighth aspect of the present invention, the same effects as those of the seventh aspect are obtained, and the character determining means enables the player to select a character operated by himself / herself. You can get a lot of fun. The character to be operated is not limited to a character in a fantasy world such as a game or a manga, but may be a real character (person). The player himself / herself can select and select the character and perform the line "I want this character (this person) to say this and see it" to realize and enjoy the wish. Also, for example, if the player intentionally selects a heterosexual character, a virtual experience in which a man plays a woman and a woman plays a man can be made.

【００３１】またさらに、請求項９記載の発明のよう
に、請求項７に記載のゲーム情報であって、前記キャラ
クタ決定手段が、前記音声解析手段による解析結果に基
づいて、前記音声同期手段による制御対象となるキャラ
クタを決定するための情報、を含むとしても良い。Still further, as in the ninth aspect of the present invention, the game information according to the seventh aspect, wherein the character deciding means is provided by the voice synchronizing means based on an analysis result by the voice analyzing means. Information for determining a character to be controlled may be included.

【００３２】請求項９記載の発明によれば、請求項７と
同様の効果を奏するとともに、キャラクタ決定手段が、
プレーヤの音声の特性に応じて、プレーヤの操るキャラ
クタを決定する。例えば、プレーヤの音声が、音声解析
手段によって声質が解析され、声質に応じたキャラクタ
が選択される。プレーヤが男性であっても、声の高さが
高い、或いは周波数軸が高い場合には、女性のキャラク
タが選ばれる。さらには、声質について高周波成分多
く、かつ、音程のばらつき（雑音成分）が少ない場合
は、若い女性キャラクタが選ばれ、反対に、音程が低め
で抑揚が小さい場合は年老いた女性キャラクタが選ばれ
るといった、細かなバリエーションをつけることもでき
る。したがって、プレーヤは、自分の声にどんなキャラ
クタが選ばれるか分からず、キャラクタ選択の意外性や
酷似・合致性を楽しむことができる。According to the ninth aspect of the present invention, the same effects as those of the seventh aspect can be obtained, and the character determining means can
The character operated by the player is determined according to the characteristics of the voice of the player. For example, the voice of the player is analyzed for voice quality by voice analysis means, and a character corresponding to the voice quality is selected. Even if the player is male, if the voice is high or the frequency axis is high, a female character is selected. Furthermore, if the voice quality is high in the high frequency component and the pitch variation (noise component) is small, a young female character is selected. Conversely, if the pitch is low and the inflection is small, an old female character is selected. , You can also add small variations. Therefore, the player does not know what character is to be selected for his / her voice, and can enjoy the unexpectedness of the character selection and the resemblance / coincidence.

【００３３】また、請求項１０記載の発明のように、請
求項７から９の何れか一つに記載のゲーム情報であっ
て、前記音声出力手段が、前記キャラクタ決定手段によ
り決定されたキャラクタに応じて、前記音声入力手段に
より入力された音声を加工して出力するための情報（例
えば、図８の音声エフェクトプログラム５２６）、を含
むとしても良い。According to a tenth aspect of the invention, there is provided the game information according to any one of the seventh to ninth aspects, wherein the voice output means outputs the character determined by the character determination means. Accordingly, it may include information for processing and outputting the sound input by the sound input means (for example, the sound effect program 526 in FIG. 8).

【００３４】請求項１０記載の発明によれば、請求項７
から９の何れか一つと同様の効果を奏するとともに、プ
レーヤ音声を適宜音声加工することで、キャラクタに応
じた声質で出力できる。例えば、キャラクタがロボット
である場合は、ラジオノイズ風の音声加工と、残響を感
じさせるディレイ処理を施すことで、あたかも内臓され
たスピーカから発声しているかのように表現することが
できる。また、男性のプレーヤが女性キャラクタを操作
する際に、音声加工で女性声にすることで、声質の違和
感を無くしより自然に見せることができる。このよう
に、音声加工する情報を含むことで、より役になりきる
感覚を増加させるとともに、ゲーム等の世界観が人間世
界以外でも構築可能となり、プレーヤは様々なジャンル
のキャラクタを演じることができる。According to the tenth aspect, the seventh aspect is provided.
In addition to providing the same effect as any one of the above, the voice of the player can be output with appropriate voice quality by appropriately processing the voice of the player. For example, when the character is a robot, it can be expressed as if it were uttering from a built-in speaker by performing radio noise-like sound processing and delay processing for feeling reverberation. In addition, when a male player operates a female character, the voice is processed into a female voice, so that the voice quality can be eliminated and the voice can be more natural. By including the information to be processed in this way, the sense of being more useful can be increased, and the world view of the game and the like can be constructed in a world other than the human world, and the player can play characters of various genres. .

【００３５】請求項１１記載の発明は、請求項１から１
０の何れか一つに記載のゲーム情報であって、前記音声
解析手段による解析結果に基づいて、前記音声入力手段
から入力された音声を評価する評価手段（例えば、図８
の評価部６２８）、を前記装置に機能させるための情報
を含むことを特徴とする。The eleventh aspect of the present invention is the first aspect of the present invention.
0, which is evaluation information for evaluating a voice input from the voice input means based on an analysis result by the voice analysis means (for example, FIG. 8).
The evaluation unit 628) includes information for causing the device to function.

【００３６】請求項１１記載の発明によれば、請求項１
から１０の何れか一つと同様の効果を奏するとともに、
プレーヤの音声を所与の判定基準に照らして評価するこ
とで、評価に基づいた様々な表示や分岐等が可能とな
る。例えば、カラオケをして点数を競うカラオケ・ゲー
ムの場合、評価手段が周知のカラオケ採点方法を含むこ
とで、所定の基準点数以上の場合ではキャラクタの背景
が有名ステージになり、基準点数以下の場合は裏寂れた
銭湯を背景にすることが可能となり、単に点数を競うだ
けではない視覚的な楽しさを付加することができる。こ
のように、プレーヤ音声の評価を行うことでゲーム性を
高め、プレーヤをより楽しませることができる。According to the eleventh aspect, the first aspect is provided.
And has the same effect as any one of
By evaluating the sound of the player against a given criterion, various displays and branches based on the evaluation become possible. For example, in the case of a karaoke game in which karaoke is performed to compete for points, the evaluation means includes a well-known karaoke scoring method. Makes it possible to have a backlit public bath in the background, and can add visual enjoyment other than simply competing for points. In this way, by evaluating the player's voice, the game characteristics can be enhanced, and the player can be more enjoyed.

【００３７】さらに、請求項１２記載の発明のように、
請求項１１に記載のゲーム情報であって、前記音声入力
手段による音声の入力と、前記音声解析手段による音声
の解析と、前記音声出力手段による音声の出力および前
記音声同期手段によるキャラクタの動作制御と、前記評
価手段による音声の評価との一連の処理を繰り返し実行
させることによりゲームを進行する進行手段、を前記装
置に機能させるための情報を含むとしても良い。Further, as in the invention of claim 12,
12. The game information according to claim 11, wherein a voice is input by the voice input unit, a voice is analyzed by the voice analysis unit, a voice is output by the voice output unit, and a character is controlled by the voice synchronization unit. And a proceeding means for proceeding with the game by repeatedly executing a series of processing of the evaluation of the sound by the evaluating means, and information for causing the apparatus to function.

【００３８】請求項１２記載の発明によれば、請求項１
１と同様の効果を奏するとともに、プレーヤ音声に基づ
いた分岐を利用することができる。例えば、ロールプレ
イング・ゲームや、シミュレーション・ゲームなどの場
合、音声解析手段が音声認識手段を含み、プレーヤ音声
の中から単語を認識し、評価手段が認識された単語と予
め設定されたキーワードと比較することで、従来のキー
操作による分岐選択ではなく、音声を用いた分岐が可能
となる。したがって、プレーヤは所与のシチュエーショ
ンにおいて声を演じるだけでなく、様々な分岐をそなえ
た複雑なゲームシナリオをキャラクタを演じながら楽し
むことができる。According to the twelfth aspect of the present invention, a first aspect is provided.
In addition to the effect similar to the first effect, the branch based on the player voice can be used. For example, in the case of a role-playing game, a simulation game, or the like, the voice analysis unit includes a voice recognition unit, recognizes a word from player voices, and the evaluation unit compares the recognized word with a preset keyword. By doing so, it is possible to perform branching using voice instead of the conventional branch selection by key operation. Therefore, the player can not only play a voice in a given situation, but also enjoy a complicated game scenario with various branches while playing the character.

【００３９】請求項１３記載の発明は、請求項１から１
２の何れか一つに記載のゲーム情報を記憶する情報記憶
媒体。According to the thirteenth aspect of the present invention, there is provided the method according to the first aspect.
2. An information storage medium for storing the game information according to any one of 2.

【００４０】請求項１３記載の発明によれば、請求項１
から１２の何れか一つに記載のゲーム情報を記憶した情
報記憶媒体から、装置（ゲーム装置やコンピュータ等）
にゲーム情報をロードし、実行させることで請求項１か
ら１２の何れか一つと同様の効果を得ることができる。According to the thirteenth aspect of the present invention, a first aspect is provided.
Device (game device, computer, etc.) from an information storage medium storing the game information described in any one of (1) to (12).
By loading and executing the game information, the same effect as any one of claims 1 to 12 can be obtained.

【００４１】[0041]

【発明の実施の形態】以下、図を参照して本発明の実施
形態を詳細に説明する。尚、以下では、本発明を恋愛シ
ミュレーションゲームに適用した場合を例として説明す
るが、本発明が適用可能なものはこれに限らない。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below in detail with reference to the drawings. In the following, a case where the present invention is applied to a love simulation game will be described as an example, but the present invention is not limited to this.

【００４２】なお、恋愛シミュレーションゲームとは、
ゲーム内世界において、意中の相手キャラクタとの恋愛
成就を目的とする、ステージ分岐によるマルチエンディ
ング型のシミュレーションゲームの一種である。プレー
ヤは、主人公となって主に各ステージの状況にふさわし
いと思われる会話内容や行動内容を選択し、選択結果に
基づいて種々の分岐がなされてゲームが進行してゆく。
プレーヤは、意中の相手との様々な恋の駆け引きや、気
持ちの揺らぎなどをのりこえて、分岐の先に待ち受ける
恋愛成就（ハッピーエンド）を目指す。本実施例では、
プレーヤは、男性であって意中の女性との恋愛成就を目
指すものとする。Note that the love simulation game is
In the in-game world, it is a kind of a multi-ending type simulation game with a stage branch for the purpose of fulfilling a love with a desired opponent character. The player becomes the main character and mainly selects conversation contents and action contents that are considered to be suitable for the situation of each stage, and various branches are made based on the selection results to progress the game.
The player aims to fulfill a happy ending (a happy ending) that waits for a fork ahead of various branches, overcoming various bargains of love with the opponent and the fluctuation of feelings. In this embodiment,
It is assumed that the player aims to fulfill a relationship with a woman who is a man and wants to.

【００４３】〔外観構成の概要〕図１は、本実施形態の
ゲーム装置の外観を示す斜視図である。図１に示すよう
に、ゲーム装置１は、箱状の筐体２と、外部モニタ４
と、外部スピーカ６とを備えている。筐体２により内部
空間が形成され、筐体２内にプレーヤが出入りできるよ
うに、開閉自在な扉２ａが筐体２に設けられている。[Outline of Appearance Configuration] FIG. 1 is a perspective view showing the appearance of the game apparatus of the present embodiment. As shown in FIG. 1, a game device 1 includes a box-shaped housing 2 and an external monitor 4.
And an external speaker 6. An internal space is formed by the housing 2, and the housing 2 is provided with an openable and closable door 2 a so that a player can enter and exit the housing 2.

【００４４】筐体２には、傍観者等がその外側から筐体
２内部を視認できるように窓２ｂが設けられており、そ
の窓２ｂには傍観者等が外から内側を視認できるような
ハーフミラー或いは透明ガラスが嵌められている。窓２
ｂの上方において、外部モニタ４が筐体２に取り付けら
れている。外部モニタ４の下部には外部スピーカ６が取
り付けられている。外部モニタ４は、後述する制御系に
接続されており、制御系からの表示信号によって画像を
表示するものである。外部スピーカ６は、制御系に接続
されており、制御系からの音声信号によって音を出力す
るものである。プレーヤは、筐体２内でゲーム装置１で
ゲームを楽しみ、傍観者は外部モニタ４で映像を見ると
ともに、外部スピーカ６から出力されるプレーヤの音声
等を聞くことにより、プレーヤのプレイを視聴する。The housing 2 is provided with a window 2b so that a bystander or the like can visually recognize the inside of the housing 2 from the outside. The window 2b allows the bystander or the like to visually recognize the inside from the outside. A half mirror or transparent glass is fitted. Window 2
Above b, an external monitor 4 is attached to the housing 2. An external speaker 6 is attached to a lower portion of the external monitor 4. The external monitor 4 is connected to a control system described later, and displays an image according to a display signal from the control system. The external speaker 6 is connected to a control system, and outputs sound according to an audio signal from the control system. The player enjoys the game with the game device 1 in the housing 2, and the bystander views the image on the external monitor 4 and listens to the player's voice output from the external speaker 6 to view the player's play. .

【００４５】次に、筐体２内について説明する。図２
は、筐体２を透視して示した斜視図であり、筐体２の内
の一部（コントロールパネル８及びメモリカード１０）
が拡大して示されている。図２に示すように、ゲーム装
置１は、コントロールパネル８と、内部モニタ１２と、
台１４と、マイクロフォン１８と、ヘッドフォン２０と
を備えており、これらが筐体２内に配置されている。Next, the inside of the housing 2 will be described. FIG.
Is a perspective view of the housing 2 seen through, and a part of the housing 2 (the control panel 8 and the memory card 10).
Is shown enlarged. As shown in FIG. 2, the game device 1 includes a control panel 8, an internal monitor 12,
A table 14, a microphone 18, and a headphone 20 are provided, and these are arranged in the housing 2.

【００４６】台１４は、筐体２の内の底面に取り付けら
れており、台１４の上部にコントロールパネル８が設け
られている。コントロールパネル８に操作装置２６及び
表示装置２４が設けられており、操作装置２６及び表示
装置２４は制御系に接続されている。操作装置２６は、
プレーヤが操作装置２６を操作すると操作に応じた操作
信号を制御系に出力するものである。表示装置２４は、
制御系からの信号により操作装置２６の操作内容が表示
されるものである。The table 14 is attached to the bottom of the housing 2, and a control panel 8 is provided on the table 14. An operation device 26 and a display device 24 are provided on the control panel 8, and the operation device 26 and the display device 24 are connected to a control system. The operating device 26
When the player operates the operation device 26, an operation signal corresponding to the operation is output to the control system. The display device 24
The operation content of the operation device 26 is displayed by a signal from the control system.

【００４７】図２において、ヘッドフォン２０は台１４
に掛けられているが、台１４から外してプレーヤの頭部
（耳）に装着可能なものである。これらヘッドフォン２
０は、制御系に接続されており、制御系からの音声信号
によって音を出力するものである。マイクロフォン１８
は、プレーヤの口の高さまで位置調節可能となるように
筐体２内に吊り下げられている。このマイクロフォン１
８は、制御系に接続されており、音を集音することによ
って制御系に音声信号を出力するものである。In FIG. 2, the headphone 20 is
But can be detached from the base 14 and attached to the player's head (ears). These headphones 2
Numeral 0 is connected to the control system and outputs a sound in accordance with an audio signal from the control system. Microphone 18
Is suspended in the housing 2 so that the position can be adjusted to the height of the player's mouth. This microphone 1
Reference numeral 8 is connected to the control system, and outputs a sound signal to the control system by collecting sounds.

【００４８】また、コントロールパネル８にはスロット
リンク２２が設けられており、このスロットリンク２２
に対してメモリカード１０が着脱自在となる。そして、
スロットリンク２２は制御系に接続されており、制御系
はスロットリンク２２を介してゲームデータをメモリカ
ード１０に記録することが可能であり、また、メモリカ
ード１０からデータを読み込むことが可能である。な
お、ゲームデータとは、所定のゲーム内の条件を記述す
るデータであって、ここではデームデータを読み込むこ
とによって、前回終了した状態からゲームを再開すると
いった目的に使用される。The control panel 8 is provided with a slot link 22.
, The memory card 10 becomes detachable. And
The slot link 22 is connected to a control system, and the control system can record game data on the memory card 10 via the slot link 22 and can read data from the memory card 10. . The game data is data describing a condition in a predetermined game, and is used here for the purpose of reading the deme data and restarting the game from the state where the game was ended last time.

【００４９】内部モニタ１２は、筐体２内に取り付けら
れ、制御系に接続されている。この内部モニタ１２は、
制御系から出力された表示信号によって映像を表示する
ものである。なお、筐体２内に、制御系からの音声信号
によって音を出力するスピーカ（図示略）が設けられて
いても良い。The internal monitor 12 is mounted inside the housing 2 and connected to a control system. This internal monitor 12
The video is displayed by the display signal output from the control system. Note that a speaker (not shown) that outputs sound by a sound signal from the control system may be provided in the housing 2.

【００５０】このようにゲーム装置１は、恋愛シミュレ
ーションゲームのストーリ性のある映像を内部モニタ１
２にて表示することによって、アフレコ風景さながらの
状態を再現して、プレーヤが主人公キャラクタになりき
る雰囲気作りをし、プレーヤに、意中の相手キャラクタ
との恋愛シミュレーションゲームを行わせるものであ
る。また、ゲーム装置１は、プレーヤから発せられる音
声（プレーヤの発声による声、手を叩くことによる拍手
音等を含む意味）をマイクロフォン１８によって集音す
る。ゲーム装置１は、その集音した音声に含まれる単語
や感情を後述する音声解析によって検出し、所与の判定
基準と比較してステージ分岐を経て種々の擬似的な恋愛
の過程を楽しませる。As described above, the game device 1 displays the story image of the love simulation game on the internal monitor 1.
By displaying at 2, the situation is reproduced as if it were a post-recording scenery, and an atmosphere is created in which the player can become the main character, and the player can play a love simulation game with the desired opponent character. In addition, the game device 1 uses the microphone 18 to collect voices (meaning including voices generated by the player's voice, claps generated by clapping hands, etc.) emitted from the player. The game device 1 detects words and emotions included in the collected voice by voice analysis described later, and compares it with a given determination criterion to entertain various simulated love processes through stage branching.

【００５１】〔ゲーム内容の概説〕次に、図３〜７に示
すゲーム画面の一例を参照して、ゲーム内容の概略を説
明する。本実施形態では、ゲーム装置１は各ステージに
おいてリハーサル・モード、テイク・モード、プレイ・
モードの３種類のモードを順に繰り返し実行して恋愛シ
ミュレーションゲームを進行する。[Outline of Game Contents] Next, the outline of the game contents will be described with reference to an example of a game screen shown in FIGS. In the present embodiment, the game device 1 performs rehearsal mode, take mode, play mode
The love simulation game proceeds by repeatedly executing the three types of modes in order.

【００５２】図３〜５は、リハーサル・モードにおける
ゲーム画面の一例を示す図である。リハーサル・モード
において、ゲーム装置１は、新規ゲームの場合、図３に
示すような選択画面を内部モニタ１２、外部モニタ４に
表示し、先ずプレーヤに操作する主人公キャラクタＡを
選択させる。図３の例では、ゲーム画面に選択可能なキ
ャラクタの容姿と名前等のプロフィールが表示されてい
る。本実施形態では、プレーヤは男性と仮定しているの
で、男性のキャラクタが選択されている。なお、意図的
に女性のキャラクタを選択してもかまわない。つづい
て、ゲーム装置１は、図４に示すように、恋愛対象とな
る複数の相手キャラクタＢの選択画面を表示し、プレー
ヤに恋愛の相手とするキャラクタを選択させる。選択画
面には、相手キャラクタＢ候補の容姿と名前等の簡単な
プロフィールが表示される。新規ゲームでない場合は、
ゲーム装置１は、メモリカード１０に記憶されているゲ
ームデータからこれらに該当するデータを読み込む。以
下、上記の選択結果を元に、主人公キャラクタＡと選択
された相手キャラクタＢを中心に、ゲームが進行する。FIGS. 3 to 5 show examples of the game screen in the rehearsal mode. In the rehearsal mode, in the case of a new game, the game device 1 displays a selection screen as shown in FIG. 3 on the internal monitor 12 and the external monitor 4, and first causes the player to select a hero character A to be operated. In the example of FIG. 3, a profile such as the appearance and name of a selectable character is displayed on the game screen. In this embodiment, since the player is assumed to be a male, a male character is selected. Note that a female character may be intentionally selected. Subsequently, as shown in FIG. 4, the game device 1 displays a selection screen of a plurality of opponent characters B to be romanced, and allows the player to select a character to be romanced. On the selection screen, a simple profile such as the appearance and name of the opponent character B candidate is displayed. If not a new game,
The game device 1 reads data corresponding to the game data from the game data stored in the memory card 10. Hereinafter, based on the above selection result, the game progresses around the main character A and the selected opponent character B.

【００５３】次に、ゲーム装置１は、プレーヤにそのス
テージにおける状況と役どころを把握させるために、ス
テージごとに予め設定されているストーリ性のあるステ
ージ映像を見せ、ステージ映像に付随するステージ音声
を聞かせる。この際、ステージ映像は内部モニタ１２や
外部モニタ４に表示し、ステージ音声（例えば、相手キ
ャラクタＢの台詞や背景音など）を、ヘッドフォン１４
や外部スピーカ６から出力する。本実施形態では、ステ
ージ映像は仮想空間に配置されたポリゴンによる３ＤＣ
Ｇによって生成されることを前提とするが、２ＤＣＧ、
実写、またはそれらの合成映像であってもかまわない。Next, the game apparatus 1 shows a stage image having a story characteristic preset for each stage so that the player can grasp the situation and role in the stage, and plays a stage sound accompanying the stage image. to make listen. At this time, the stage image is displayed on the internal monitor 12 or the external monitor 4, and the stage sound (for example, the speech or background sound of the partner character B) is transmitted to the headphones 14
Or from the external speaker 6. In the present embodiment, the stage image is a 3DC by polygons arranged in a virtual space.
G is generated by G, but 2DCG,
It may be a live-action image or a composite image thereof.

【００５４】図５は、リハーサル・モードにおいて、ス
テージ映像が表示されているゲーム画面の一例を示す図
である。ゲーム画面には、主となる映像のほかに、モー
ド表示部３１、ステージ情報表示部３２、台詞表示部３
３、進行状況表示部３４、発音タイミング表示部３５が
表示されている。FIG. 5 is a diagram showing an example of a game screen displaying a stage image in the rehearsal mode. On the game screen, in addition to the main video, a mode display section 31, a stage information display section 32, a speech display section 3
3. A progress status display section 34 and a sounding timing display section 35 are displayed.

【００５５】モード表示部３１は、現在実行中のモード
状態をプレーヤに知らせる部分であって、図５では「リ
ハーサル」と表示されている。ステージ情報表示部３２
は、そのステージのゲーム内世界における日時と場所名
を表示し、プレーヤの状況理解を助けるものである。台
詞表示部３３は、相手キャラクタＢの台詞の他、ストー
リの展開上必要とされ、予め設定されている主人公キャ
ラクタＡの既定台詞を、文字として逐次表示する。主人
公キャラクタＡの台詞は、表示色を他と変えたり「主人
公」の表示を加えられて視認性が高められている。プレ
ーヤ自身がステージの状況に合わせて考える自由台詞の
部分は、台詞表示部３３に「フリー・ダイアログ」（自
由台詞の意味）の文字が表示される（図５（ｃ））。な
お、主人公キャラクタＡの台詞の音声は、次のテイク・
モードで入力されるので、リハーサル・モードでは出力
されない。また、主人公キャラクタＡの動作も、プレー
ヤの音声に基づいて決定されるので、固定画面あるいは
ダミー動作が表示される。The mode display section 31 is a section for notifying the player of the currently executing mode state, and is displayed as "rehearsal" in FIG. Stage information display section 32
Is to display the date and time and place name in the in-game world of the stage to help the player understand the situation. The dialogue display unit 33 sequentially displays, in addition to the dialogue of the opponent character B, the default dialogue of the hero character A, which is required for the development of the story and is set in advance, as characters. The visibility of the dialogue of the hero character A is improved by changing the display color to another or adding a display of “hero”. For the part of the free dialogue that the player himself considers according to the situation of the stage, characters of "free dialog" (meaning free speech) are displayed on the dialogue display unit 33 (FIG. 5C). The voice of the character of the main character A is the following take
Since it is input in mode, it is not output in rehearsal mode. In addition, since the motion of the main character A is also determined based on the voice of the player, a fixed screen or a dummy motion is displayed.

【００５６】進行状況表示部３４は、ステージ映像の進
行時間に対応して、指針が移動し、ステージ映像全体の
時間における現在の進行状態を表示する。発音タイミン
グ表示部３５は、次のテイク・モードにおいてプレーヤ
が主人公キャラの台詞を発音する手本となるタイミング
に表示される。表示中が発音している時間に相当する。In the progress display section 34, the hands move in accordance with the progress time of the stage image, and the current progress state of the entire stage image is displayed. The sounding timing display section 35 is displayed at a timing when the player becomes a model for sounding the main character's line in the next take mode. The time on display corresponds to the time of sounding.

【００５７】したがって、プレーヤは、リハーサル・モ
ードによって、ステージの状況を理解するとともに、既
定台詞を発音するタイミングを記憶し、プレーヤ自身で
考える自由台詞を用意する。リハーサル・モードは、適
宜繰り返し実行が可能である。Therefore, the player understands the situation of the stage in the rehearsal mode, memorizes the timing at which the predetermined speech is produced, and prepares a free speech to be considered by the player himself. The rehearsal mode can be repeatedly executed as needed.

【００５８】図６は、テイク・モードにおけるゲーム画
面の一例を示す図である。ゲーム画面は、リハーサル・
モードと同様の構成を備える。ただし、モード表示部３
１は「本番」の表示になる。テイク・モードにおいて、
ゲーム装置１は、再び先ほどのステージ映像を内部モニ
タ１２や外部モニタ４に、音声を外部スピーカ６とヘッ
ドフォン２０にて出力する。プレーヤは、その映像を見
ながら所定のタイミングにあわせて既定台詞や自由台詞
を発声して主人公キャラクタＡの声を演ずる。ゲーム装
置１は、マイクロフォン１８を介してプレーヤ音声の入
力し、入力された音声は、リアルタイムに外部スピーカ
６とヘッドフォン２０にも出力される。自由台詞の入力
時は主人公キャラクタＡの映像は、リハーサル・モード
と同様に固定状態となり、プレーヤは自由なタイミング
で台詞を発声する。プレーヤの音声が入力されたなら
ば、ゲーム装置１は、プレーヤの音声を音声解析し、単
語認識と感情認識の少なくとも何れか一方を行う。ゲー
ム装置１は、単語認識および感情認識の結果を所定の判
定基準と比較して、ステージ分岐の判定と、後述する相
手キャラクタＢの好感度の更新を行う。FIG. 6 is a diagram showing an example of the game screen in the take mode. The game screen is
It has the same configuration as the mode. However, mode display section 3
1 is displayed as “real”. In take mode,
The game device 1 outputs the stage image again to the internal monitor 12 and the external monitor 4 and outputs the sound from the external speaker 6 and the headphones 20 again. The player plays the voice of the protagonist character A by uttering predetermined speech or free speech at a predetermined timing while watching the video. The game device 1 inputs player audio via the microphone 18, and the input audio is output to the external speaker 6 and the headphones 20 in real time. When a free line is input, the image of the main character A is fixed as in the rehearsal mode, and the player utters the line at free timing. When the voice of the player is input, the game device 1 analyzes the voice of the player and performs at least one of word recognition and emotion recognition. The game device 1 compares the results of the word recognition and the emotion recognition with a predetermined determination criterion to determine a stage branch and to update the liking of the opponent character B described later.

【００５９】図７は、プレイ・モードにおけるゲーム画
面の一例を示す図である。プレイ・モードにおいて、ゲ
ーム装置１は、三度、先ほどのステージ映像を内部モニ
タ１２と外部モニタ４から出力し、ステージ音声をヘッ
ドフォン２０と外部スピーカ６から出力する（図７
ａ）。ここでは、主人公キャラクタＡの映像部分には、
テイクモードで入力された規定台詞を発声したプレーヤ
音声が同時に出力される。続いて、ゲーム装置１は、自
由台詞部分の映像とプレーヤ音声を出力し（図７ｂ、
ｄ）、最後に、テイク・モードにおけるステージ分岐の
判定に従って、結果映像と結果音声が出力される（図７
ｃ、ｅ）。すなわち、ゲーム装置１は、そのステージの
発端から結果までの完成映像を、頭から通してプレーヤ
に再生して見せる。FIG. 7 is a diagram showing an example of the game screen in the play mode. In the play mode, the game device 1 outputs the stage image three times earlier from the internal monitor 12 and the external monitor 4 and outputs the stage sound from the headphones 20 and the external speakers 6 (FIG. 7).
a). Here, in the video part of the main character A,
The player's voice that utters the prescribed speech input in the take mode is output at the same time. Subsequently, the game device 1 outputs the video of the free speech portion and the player's voice (FIG. 7B,
d) Finally, the result video and the result audio are output according to the determination of the stage branch in the take mode (FIG. 7).
c, e). That is, the game device 1 reproduces and displays the completed video from the start of the stage to the result to the player through the head.

【００６０】ここで、結果映像と結果音声とは、現在の
ステージと分岐先のステージとの展開をつなぐ映像とそ
の音声であって、ステージ分岐判定に対応した種々のパ
ターンが用意されている。図７の例では、（ｂ）→
（ｃ）と（ｄ）→（ｅ）では異なる分岐の結果であっ
て、それぞれ別の次ステージにつながる。なお、図７に
おいて、（ｂ）に図示の「うれしいな！行く行く！
！」、および（ｄ）に図示の「なんで。映画嫌いなん
だ。」はプレーヤの音声であり、（ｃ）に図示の「じゃ
あ、お弁当つくっていくね！」および（ｅ）に図示の
「じゃあ、好きにすれば。」は、結果音声に含まれる。
このように、分岐に基づいて異なった結果映像と結果音
声が出力されることで、マルチエンディングゲームとし
てのゲーム性を備える。Here, the resulting video and the resulting audio are the video and the audio that connect the development of the current stage and the branch destination stage, and various patterns corresponding to the stage branch determination are prepared. In the example of FIG. 7, (b) →
(C) and (d) → (e) are different branch results, each leading to a different next stage. In FIG. 7, “I am glad!
! And "Why do you hate movies?" Shown in (d) are the voices of the players, and "(Let's make a bento!)" Shown in (c) and "" shown in (e). Then, if you like, "is included in the result audio.
In this way, by outputting different result video and result sound based on the branch, game characteristics as a multi-ending game are provided.

【００６１】また、図７に示すように、プレイ・モード
のゲーム画面は、例えばビスタサイズ風の表示様式をと
ることによって、あたかも試写を行っているかのような
雰囲気をかもしだす。また、プレイ・モードのゲーム画
面には、相手キャラクタＢの主人公キャラクタＡに対す
る好感度を示すレベルゲージ３６が表示される。好感度
は、ゲーム進行を通じて、プレーヤが考えた自由台詞部
分についての単語認識や感情認識の判定結果、或いはス
テージ分岐結果を反映して増減し、所定の基準値以下に
なるとゲームオーバとなる。例えば、自由台詞を発声す
るプレーヤの音声に、相手キャラクタＢに対して好意有
る単語や感情が含まれていると判断される場合にはレベ
ルが上がり、相手キャラクタＢを無視したり、突き放す
といった意味の単語や感情が含まれていると判断される
場合にはレベルが下がる。また、恋愛シミュレーション
の観点から、恋愛成就に適切な分岐が選択された場合は
好感度を上げ、不適切な分岐が選択された場合は下げる
処理が行われる。Further, as shown in FIG. 7, the game screen in the play mode creates an atmosphere as if a preview is being performed, for example, by adopting a display style of a Vista size style. Further, on the game screen in the play mode, a level gauge 36 indicating a favorable sensibility of the opponent character B with respect to the main character A is displayed. The favorable sensibility increases or decreases during the course of the game, reflecting the determination result of word recognition or emotion recognition for the free speech portion considered by the player, or the result of the stage branching. When the favorable sensibility falls below a predetermined reference value, the game is over. For example, if it is determined that the voice of the player who utters the free speech includes words or emotions that are favorable to the opponent character B, the level is raised, meaning that the opponent character B is ignored or pushed away. If it is determined that the word or emotion is included, the level is lowered. In addition, from the viewpoint of a love simulation, a process is performed to increase the likability when a branch appropriate for fulfilling a love is selected, and to lower the similarity when an inappropriate branch is selected.

【００６２】また、プレイ・モードでは、主人公キャラ
クタＡの規定台詞および自由台詞部分の映像を出力する
際には、ゲーム装置１がプレーヤ音声の周波数成分毎の
音圧分布を解析し、その結果にもとづいて、単なる口の
開閉ではなく、より具体的な「あ」「い」「う」「え」
「お」等の発音に応じた口周辺の形状を決定する。すな
わち、リハーサル・モードにおいて、固定画面あるいは
ダミー動作であった部分がプレイ・モードで変更されて
出力される。よって、主人公キャラクタＡの発話動作
は、プレーヤの音声に同期し、まるでキャラクタの口か
ら音声が発せられているかのようリアルな動作として表
示される。さらに自由台詞部分では、ゲーム装置１が、
プレーヤの音声に含まれる感情（心理状態）を検出し、
その感情レベルに基づいて身体動作（例えば、うれしい
ときは、うれしそうな仕草など）を選択することによっ
て、感情にマッチした主人公キャラクタＡの動作が、プ
レーヤの音声に同期して表示される。こうした、プレー
ヤの音声と主人公キャラクタＡの動作が同期して出力さ
れる点が、本発明の特徴の一つであり、プレーヤがキャ
ラクタを演じている気分にさせるポイントである。In the play mode, when outputting the video of the prescribed speech and the free speech of the hero character A, the game apparatus 1 analyzes the sound pressure distribution of each frequency component of the player's voice and outputs the result. On the basis of more than just opening and closing the mouth, more specific "a""i""u""e"
The shape around the mouth according to the pronunciation of "O" is determined. That is, in the rehearsal mode, the fixed screen or the portion that was the dummy operation is changed in the play mode and output. Accordingly, the utterance operation of the main character A is synchronized with the sound of the player, and is displayed as a realistic operation as if the sound is being uttered from the mouth of the character. Furthermore, in the free speech portion, the game device 1
Detect emotions (psychological states) contained in the player's voice,
By selecting a physical action (for example, a happy gesture when happy) based on the emotion level, the action of the main character A that matches the emotion is displayed in synchronization with the voice of the player. One of the features of the present invention is that the voice of the player and the operation of the main character A are output in synchronization with each other, which is a point that makes the player feel like playing the character.

【００６３】そして、全ての映像が終了したならば、ゲ
ームオーバの判定が行われる。ゲームオーバの条件は、
テイク・モードによって好感度が所定値より低くなって
いる、あるいはそれ以上の分岐が存在しない場合であ
る。好感度が低い場合は、ステージの分岐は行われずゲ
ームは終了する。ゲームオーバでない場合は、テイク・
モードにおいて出された分岐判断にしたがって、次のス
テージにゲームが進行する。このとき好感度は次のステ
ージにそのまま引き継がれる。When all the images have been completed, it is determined that the game is over. The condition of game over is
This is a case where the favorable mode is lower than the predetermined value or the branch does not exist any more depending on the take mode. If the favorable impression is low, the game ends without branching the stage. If the game is not over, take
The game proceeds to the next stage according to the branch decision issued in the mode. At this time, the favorable impression is passed on to the next stage.

【００６４】このように、本実施形態では、プレーヤ
は、アフレコに望む声優と同じように、リハーサル・モ
ード、テイク・モードを通して、主人公キャラクタＡの
台詞を発声し、プレイ・モードにおいて、自らの声に同
期した映像を鑑賞することが出来る。しかし、通常のア
フレコとは異なり、プレーヤが映像に合わせて声を合わ
せるのではなく、プレーヤの声にあわせて映像が生成さ
れる。従って、プレーヤは、従来のアフレコのように映
像の発話動作（いわゆる口パク）に台詞をあわせること
を意識せず、自らの望むリズムで台詞を発音すれば良
く、アフレコ以上に主人公キャラクタＡを演じている気
分を味わうことができる。また、プレーヤが主人公キャ
ラクタＡと相手キャラクタＢを自由に選択し、さらに、
ゲームがプレイ・モードの分岐点においては自らが考え
た自由台詞によって様々な分岐をしてゆくことで、マル
チエンディング形式シミュレーションゲームとしての高
いゲーム性を楽しむことができる。As described above, in the present embodiment, the player utters the speech of the main character A through the rehearsal mode and the take mode in the same manner as the voice actor who desires after-recording. You can watch the video synchronized with. However, unlike ordinary post-recording, the video is generated in accordance with the player's voice, instead of the player's voice following the video. Therefore, the player does not have to be conscious of adjusting the speech to the speech movement (so-called lip-talk) of the video as in the case of the conventional post-recording, but only has to pronounce the speech in a rhythm desired by the player, and plays the main character A more than the post-recording. You can feel the mood. In addition, the player freely selects the main character A and the opponent character B,
At the branch point of the play mode, the game branches in various ways according to the free dialogue that the user has considered, so that the user can enjoy the high game characteristics as a multi-ending simulation game.

【００６５】したがって、ゲーム装置１は、従来ではあ
りえなかった、プレーヤがゲーム内のキャラクタになり
きりたい、演じてみたいという要望に答え、且つ、プレ
ーヤにあたかも自分がゲーム内に存在し恋愛を体験して
いるような、はらはらした仮想現実感を楽しませること
が出来る。Therefore, the game device 1 answers a request that the player cannot be a character in the game and wants to play, which is impossible in the past, and the player experiences the romance as if he were in the game. You can enjoy the excitement of virtual reality.

【００６６】〔機能ブロックの説明〕次に、ゲーム装置
１の制御系について説明する。図８は、本実施形態のゲ
ーム装置１の機能ブロック図である。機能ブロックとし
ては、操作部４２と、映像表示部４４と、音声入力部４
６と、音声出力部４８と、記憶部５０と、制御部６０
と、がある。[Explanation of Functional Blocks] Next, a control system of the game apparatus 1 will be described. FIG. 8 is a functional block diagram of the game device 1 of the present embodiment. The functional blocks include an operation unit 42, a video display unit 44, and an audio input unit 4
6, an audio output unit 48, a storage unit 50, and a control unit 60
There is.

【００６７】操作部４２は、図２に示す操作装置２６に
対応し、各種操作が行えるように構成され、レバーやボ
タンなどのハードウェアによって実現できる。操作部４
２は、プレーヤの操作部４２に対する操作に応じた操作
信号を制御部６０に出力する。The operation unit 42 corresponds to the operation device 26 shown in FIG. 2 and is configured to perform various operations, and can be realized by hardware such as levers and buttons. Operation unit 4
2 outputs to the control unit 60 an operation signal corresponding to an operation of the player on the operation unit 42.

【００６８】映像表示部４４は、図２に示す内部モニタ
１２や外部モニタ４に対応し、制御部６０からの表示信
号に応じた画像を表示するものであって、ＣＲＴ、ＬＣ
Ｄ、ＨＭＤ等のハードウェアによって実現できる。図５
〜図７に示したゲーム画像は、映像表示部４４にて表示
される。The video display section 44 corresponds to the internal monitor 12 and the external monitor 4 shown in FIG. 2, and displays an image corresponding to a display signal from the control section 60.
It can be realized by hardware such as D and HMD. FIG.
7 are displayed on the video display unit 44.

【００６９】音声入力部４６は、図２に示すマイクロフ
ォン１８に対応し、プレーヤが発した音を集音するとと
もに、集音した音に応じた音声信号を制御部６０に出力
する。マイクロフォン１８は、天井設置型、ヘッドフォ
ン一体型、マイクスタンド型など型式を問わず実現する
ことができる。なお、音声入力部４６が集音しなかった
場合（音声入力部４６に向かってプレーヤが音を発しな
かった場合）、音声入力部４６は無音状態の信号を制御
部６０に出力する。The sound input unit 46 corresponds to the microphone 18 shown in FIG. 2, and collects sounds emitted by the player, and outputs a sound signal corresponding to the collected sounds to the control unit 60. The microphone 18 can be realized regardless of the type, such as a ceiling-mounted type, a headphone integrated type, a microphone stand type, and the like. When the sound input unit 46 does not collect sound (when the player does not emit a sound toward the sound input unit 46), the sound input unit 46 outputs a signal of a silent state to the control unit 60.

【００７０】音声出力部４８は、外部スピーカ６やヘッ
ドフォン２０に対応するものであり、制御部６０からの
音声信号に応じた音（音声を含む。）を出力するもので
ある。The sound output section 48 corresponds to the external speaker 6 and the headphones 20 and outputs sound (including sound) corresponding to the sound signal from the control section 60.

【００７１】外部記憶部７０は、図２に示すメモリカー
ド１０に対応し、制御部６０によって各種データが記録
されるものである。外部記憶部７０は、メモリカードの
他、制御部６０に対して着脱自在なＩＣカード、ＭＯ、
フロッピー(R)などのハードウェアによって実現でき
る。The external storage unit 70 corresponds to the memory card 10 shown in FIG. 2, and stores various data by the control unit 60. The external storage unit 70 includes a memory card, an IC card, an MO,
This can be realized by hardware such as a floppy (R).

【００７２】記憶部５０は、ゲーム装置１の根幹となる
プログラムやデータを含むゲーム情報５２を記憶する。
記憶部５０は、ＣＤ−ＲＯＭ、ゲームカセット、ＤＶ
Ｄ、ＭＯ、フロッピー(R)、ハードディスク、ＩＣカー
ド、メモリカード、ＩＣメモリ等によって実現できる。The storage unit 50 stores game information 52 including programs and data that are the basis of the game device 1.
The storage unit 50 includes a CD-ROM, a game cassette, and a DV.
D, MO, floppy (R), hard disk, IC card, memory card, IC memory, etc.

【００７３】ゲーム情報５２は、制御部６０に種々の機
能を実行させるプログラムと、ゲーム進行に必要な各種
データとを含む。プログラムとしては、プレーヤにキャ
ラクタを選択させる処理を行うキャラクタ決定プログラ
ム５２１と、プレーヤが発する音声情報を入力する音声
入力プログラム５２２と、入力された音声情報を解析す
る音声解析プログラム５２３と、音声解析結果に基づい
て主人公キャラクタＡの動作を音声情報に同期させる音
声同期処理を行う音声同期プログラム５２４と、音声解
析結果に基づいて所定の基準と比較してゲームオーバや
分岐の判定を行う評価プログラム５２５と、音声を出力
する際に種々の音声加工処理を行う音声エフェクトプロ
グラム５２６と、を含む。The game information 52 includes a program for causing the control unit 60 to execute various functions, and various data necessary for the progress of the game. The program includes a character determination program 521 for performing a process of causing the player to select a character, a voice input program 522 for inputting voice information emitted by the player, a voice analysis program 523 for analyzing the input voice information, and a voice analysis result. A voice synchronization program 524 for performing a voice synchronization process for synchronizing the movement of the protagonist character A with the voice information based on a voice analysis program, and an evaluation program 525 for determining a game over or a branch by comparing with a predetermined reference based on the voice analysis result. And an audio effect program 526 that performs various audio processing when outputting audio.

【００７４】データとしては、ステージごとの状況を説
明するステージ映像とそのステージ音声および分岐別の
結果映像と結果音声を含むコンテンツデータ５３１と、
音声解析のための単語認識辞書５３２および感情認識辞
書５３３と、キャラクタを構成するポリゴンの諸設定値
を含むキャラクタモデル５３４と、ステージ分岐判定や
好感度の増減、およびゲームオーバの所与の基準を含む
判定基準５３５と、キャラクタの口周辺形状等を音声と
同期した形状とするための諸係数等を含む変位量テーブ
ル５３６と、を備える。As the data, a stage image explaining the situation of each stage, the stage sound thereof, and the content data 531 including the result image and the result sound for each branch;
A word recognition dictionary 532 and an emotion recognition dictionary 533 for voice analysis, a character model 534 including various setting values of polygons constituting a character, and a given criterion of stage branch determination, increase / decrease of liking, and game over. And a displacement amount table 536 including various coefficients for making the shape around the mouth of the character and the like synchronized with the voice.

【００７５】制御部６０は、記憶部５０に記憶されたプ
ログラムやデータに基づいて、各種演算処理や制御処理
を行うことによってゲーム装置１全体の制御を司る。そ
の機能は、ＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＤＳ
Ｐ、ＡＳＩＣ（ゲートアレイ等）などのハードウェア
と、所与のプログラムにより実現できる。制御部６０
は、種々のゲーム処理を実行するゲーム演算部６２と、
ゲーム演算部６２から入力される信号や各種座標情報等
に応じて表示信号を生成する画像生成部６４と、音声信
号を生成する音声生成部６６と、を備える。The control unit 60 controls the entire game apparatus 1 by performing various arithmetic processes and control processes based on the programs and data stored in the storage unit 50. Its functions are CPU (CISC type, RISC type), DS
It can be realized by hardware such as P, ASIC (gate array, etc.) and a given program. Control unit 60
Comprises: a game calculation unit 62 for executing various game processes;
An image generation unit 64 that generates a display signal according to a signal input from the game calculation unit 62, various kinds of coordinate information, and the like, and a sound generation unit 66 that generates a sound signal are provided.

【００７６】ゲーム演算部６２は、操作部４２からの操
作信号や音声入力部４６からの音声信号をもとに、記憶
部５０からゲーム情報５２を読み込んで、種々のゲーム
処理を行う。ゲーム演算部６２は、プレーヤにキャラク
タを選択させる処理を行うキャラクタ決定部６２２と、
音声入力部４６によって入力された音声信号を解析する
音声解析部６２４と、音声解析結果に基づいて主人公キ
ャラクタＡの動作をプレーヤの音声に同期させる処理を
行う音声同期部６２６と、音声解析結果に基づいて所与
の判定基準５３５と比較してステージ分岐の判定やゲー
ムオーバの判定等を行う評価部６２８と、を含む。The game calculation section 62 reads the game information 52 from the storage section 50 based on the operation signal from the operation section 42 and the voice signal from the voice input section 46 and performs various game processes. The game calculation unit 62 includes a character determination unit 622 that performs a process of causing the player to select a character,
A voice analysis unit 624 that analyzes a voice signal input by the voice input unit 46; a voice synchronization unit 626 that performs a process of synchronizing the movement of the main character A with the player's voice based on the voice analysis result; And an evaluator 628 that performs a determination of a stage branch, a determination of a game over, and the like based on a given determination criterion 535 based on the determination.

【００７７】キャラクタ決定部６２２は、プレビュー・
モードにおいて、新規ゲームの場合は、図３および図４
に例示した選択画面を画像生成部６４に表示処理させ、
プレーヤに主人公キャラクタＡと相手キャラクタＢを決
定させる。選択結果は、操作部４２から入力される。新
規ゲームでない場合は、メモリカード１０から、該当す
るデータとゲームを再開するステージ番号を読み込む。
キャラクタ決定部６２２は、キャラクタ決定プログラム
５２１に従って機能する。The character determining unit 622 performs a preview
3 and 4 in the case of a new game in the mode.
Causes the image generation unit 64 to display the selection screen illustrated in
The player determines the main character A and the opponent character B. The selection result is input from the operation unit 42. If the game is not a new game, the corresponding data and the stage number at which the game is restarted are read from the memory card 10.
The character determination unit 622 functions according to the character determination program 521.

【００７８】音声解析部６２４は、音声解析プログラム
５２３に従って、プレーヤの音声信号に対して周波数分
析、単語認識、感情認識の各処理を行い、音声の周波数
分析結果と感情認識の結果を音声同期部６２６に、単語
認識と感情認識の結果を評価部６２８にそれぞれ渡す。The voice analysis unit 624 performs frequency analysis, word recognition, and emotion recognition processing on the player's voice signal according to the voice analysis program 523, and compares the frequency analysis result of the voice and the emotion recognition result with the voice synchronization unit. The result of the word recognition and the result of the emotion recognition are passed to the evaluation unit 628.

【００７９】音声解析部６２４による周波数分析は、例
えば、ＦＦＴ（高速フーリエ変換）演算によって行わ
れ、音声同期のほか、単語認識、感情認識の前処理とし
ても適宜行われる。音声同期の前処理では、具体的に
は、ＦＦＴ（高速フーリエ変換）演算等によって可聴周
波数帯域を６４分割し、それぞれの周波数領域ごとの音
圧分布を求める。図９は、人の声における可聴周波数帯
域の音圧分布の例であって（ａ）は「あ」、（ｂ）は
「い」、（ｃ）は「う」の各音（おん）についての例で
ある。図９に示すように、音圧分布は分布領域α〜γで
各音（おん）ごとに特徴が見られる。したがって、音声
解析部６２４は、分布領域α〜γそれぞれにおける音圧
レベルの累積、または平均値などの適当な代表値をＬ
α、Ｌβ、Ｌγとして求め、予め求められている音（お
ん）ごとの代表値の特徴と比較することによって、どの
音（おん）に相当するかを判別することができる。な
お、ここで判別される音（おん）は、五十音全てでなく
とも良く、キャラクタの発話動作が不自然に見えない程
度に、例えば、母音と無声音のみといった具合に適宜選
択される。The frequency analysis by the voice analysis unit 624 is performed by, for example, an FFT (Fast Fourier Transform) operation, and is appropriately performed as preprocessing for word recognition and emotion recognition in addition to voice synchronization. In the preprocessing for voice synchronization, specifically, the audible frequency band is divided into 64 by FFT (Fast Fourier Transform) operation or the like, and a sound pressure distribution for each frequency domain is obtained. FIGS. 9A and 9B are examples of sound pressure distribution in the audible frequency band of a human voice, wherein (a) shows each sound (On), (b) shows "Yes", and (c) shows each sound (On). This is an example. As shown in FIG. 9, the sound pressure distribution has a characteristic for each sound (on) in the distribution regions α to γ. Therefore, the voice analysis unit 624 calculates an appropriate representative value such as the cumulative or average value of the sound pressure levels in each of the distribution regions α to γ as L.
By determining α, Lβ, and Lγ and comparing them with the characteristic of the representative value for each sound (on) previously determined, it is possible to determine which sound (on) corresponds to. Note that the sound (on) determined here may not be all the Japanese syllabary and may be appropriately selected such that the utterance of the character does not look unnatural, for example, only vowels and unvoiced sounds.

【００８０】つぎに、音声解析部６２４による単語認識
は、例えば、半音節音声認識によるパタンマッチング手
法によって認識対象語彙を記憶した単語認識辞書５３２
と比較する方法や、所定の判定基準に設定された語彙を
対象としたキーワード・スポッティング手法等によって
行われる。また、感情認識は、例えば、ＰＣＴ公報“Ｗ
Ｏ９９／３１６５３：ＡＰＰＡＲＡＴＵＳ ＡＮＤ Ｍ
ＥＴＨＯＤＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＥＭＯＴ
ＩＯＮＳ”に記載されている技術のように、平常状態の
音声の抑揚と、その後の音声の抑揚との、変化の激しい
部分と、変化の穏やかな部分との変動を分析すること
で、プレーヤ音声に含まれる感情を認識する方法によっ
て行われる。こうした機能は、例えば、周知の周波数分
析プログラム、音声認識プログラム、或いはそれらを内
蔵した音声認識ＬＳＩ等を含むことによって実現でき
る。Next, the word recognition by the voice analysis unit 624 is performed by, for example, a word recognition dictionary 532 in which recognition target vocabulary is stored by a pattern matching method based on half-syllable voice recognition.
And a keyword spotting method for a vocabulary set as a predetermined criterion. In addition, emotion recognition is described in, for example, PCT Publication “W
O99 / 31653: APPARATUS AND M
ETHODS FOR DETECTING EMOT
As described in the technology described in “IONS”, the player voice is analyzed by analyzing the fluctuation between a rapidly changing portion and a gradually changing portion between the inflection of a normal voice and the subsequent inflection of the voice. Such a function can be realized by including, for example, a well-known frequency analysis program, a voice recognition program, or a voice recognition LSI incorporating them.

【００８１】音声同期部６２６は、音声同期プログラム
５２４に従って機能し、音声解析部６２４によるプレー
ヤの音声信号を周波数分析の結果から、主人公キャラク
タＡの発話動作やアクションを決定し、キャラクタを構
成するポリゴンの頂点座標を変更する。The voice synchronizing section 626 functions according to the voice synchronizing program 524, determines the uttering action and action of the main character A from the result of frequency analysis of the voice signal of the player by the voice analyzing section 624, and determines the polygon constituting the character. Change the vertex coordinates of.

【００８２】具体的には、先ず、前述の様にして音声解
析部６２４がプレーヤの音声信号の周波数領域毎に音圧
分布を求め、音圧分布の特性からどの音（おん）に相当
するかを判別する。次に、音声解析部６２４による音
（おん）の種類の判別結果を受け、音声同期部６２６
は、記憶部５０に格納されたキャラクタモデル５３４か
らポリゴンの座標を読み込み、口周辺の形状を決定する
代表点である変位点における、音（おん）の種類と声の
大きさに応じた動作変位量を求める。本実施形態では、
動作変位量として閉口時の座標値との差として扱う。More specifically, first, as described above, the sound analysis unit 624 obtains a sound pressure distribution for each frequency domain of the player's sound signal, and determines which sound (on) corresponds to the sound pressure distribution characteristics. Is determined. Next, upon receiving the determination result of the type of the sound (on) by the voice analysis unit 624, the voice synchronization unit 626
Reads the coordinates of a polygon from the character model 534 stored in the storage unit 50, and performs a motion displacement at a displacement point, which is a representative point for determining the shape around the mouth, according to the type of sound (on) and the volume of the voice. Find the quantity. In this embodiment,
It is treated as a difference from the coordinate value at the time of closing as the movement displacement amount.

【００８３】変位点としては、例えば図１０に示すよう
に、上唇の位置、下唇の位置、口角部の位置に変位点Ｐ
１〜Ｐ４が定められており、座標の変位量算出には、以
下のパラメータが用いられる。 （１）上唇（変位点Ｐ１）の上下方向の動作変位量を示
すパラメータＰａ （２）上唇（変位点Ｐ１）の前後方向の動作変位量を示
すパラメータＰｂ （３）下唇（変位点Ｐ２）の上下方向の動作変位量を示
すパラメータＰｃ （４）下唇（変位点Ｐ３）の前後方向の動作変位量を示
すパラメータＰｄ （５）口角（変位点Ｐ４）の横方向の動作変位量を示す
パラメータＰｅAs shown in FIG. 10, for example, as shown in FIG. 10, the position of the upper lip, the position of the lower lip,
1 to P4 are defined, and the following parameters are used to calculate the displacement of the coordinates. (1) Parameter Pa indicating the vertical displacement of the upper lip (displacement point P1). (2) Parameter Pb indicating the longitudinal displacement of the upper lip (displacement point P1). (3) Lower lip (displacement point P2). (4) Parameter Pd indicating the longitudinal displacement of the lower lip (displacement point P3). (5) Transverse displacement of the mouth angle (displacement point P4). Parameter Pe

【００８４】具体的な各パラメータの算出方法として
は、例えば、以下のような数式が挙げられる。なお、ａ
〜ｊは適当な係数であって、音（おん）ごとにそれぞれ
適宜設定されている。 （１）Ｐａ＝ａ・Ｌβ （２）Ｐｂ＝ｂ・Ｌα−ｃ・Ｌβ−ｄ・Ｌγ （３）Ｐｃ＝ｅ・Ｌβ （４）Ｐｄ＝ｆ・Ｌα−ｇ・Ｌβ−ｈ・Ｌγ （５）Ｐｅ＝ｉ・Ｌγ−ｊ・ＬαAs a specific method of calculating each parameter, for example, the following mathematical expressions can be cited. Note that a
To j are appropriate coefficients, which are appropriately set for each sound (on). (1) Pa = a · Lβ (2) Pb = b · Lα-c · Lβ-d · Lγ (3) Pc = e · Lβ (4) Pd = f · Lα-g · Lβ-h · Lγ (5) ) Pe = i · Lγ−j · Lα

【００８５】また、上記ａ〜ｊの係数は、感情のレベル
によっても適宜設定されており、図１１に例示するよう
に記憶部５０に変位量テーブル５３６として記憶されて
いる。音声同期部６２６は、前述の音声解析部６２４の
感情認識結果に基づいて、変位量テーブル５３６からａ
〜ｊの係数を参照して、各パラメータを求める。感情の
レベルに応じて、ａ〜ｊの係数を設定することによっ
て、感情によって同じ「あ」でも口周辺形状や開度を変
えることで、単に口の開閉タイミングを合わせるだけで
なく、感情を加味したよりリアルで自然な発話動作を実
現する。The coefficients a to j are set as appropriate depending on the level of emotion, and are stored in the storage unit 50 as the displacement amount table 536 as illustrated in FIG. The voice synchronizing unit 626 converts the displacement amount table 536 into a based on the emotion recognition result of the voice analyzing unit 624 described above.
Each parameter is determined with reference to the coefficients of .about.j. By setting the coefficients of a to j according to the level of emotion, even if the same "a" is changed depending on the emotion, the shape around the mouth and the opening degree are changed, so that not only the opening / closing timing of the mouth is adjusted but also the emotion is added. A more realistic and natural utterance operation is realized.

【００８６】変位点における変化量が求められたなら
ば、次に音声同期部６２６は、各パラメータを元に、キ
ャラクタモデルにおける頭部を構成する各ポリゴンの頂
点座標を修正する。When the amount of change at the displacement point is obtained, the voice synchronization unit 626 then corrects the vertex coordinates of each polygon constituting the head in the character model based on each parameter.

【００８７】例えば、上唇位置の変位点Ｐ１に着目する
と、頭部の構造を考慮し縦方向については上唇から鼻の
付け根までの範囲、横方向については唇の幅と同程度の
所定の範囲に含まれるポリゴンが、変位点Ｐ１と同様に
パラメータＰａに基づいて頂点座標が修正される。修正
の程度については、この所定範囲に含まれる各ポリゴン
を一律に変化させるのではなく、上唇の変位点Ｐ１から
離れるにしたがって修正量が少なくなるように設定され
る。また、例えば下唇位置の変位点Ｐ２に着目すると、
下顎全体が回転することを考慮して、変位点Ｐ５（図１
０に図示）を回転中心として変位点Ｐ２までのポリゴン
が変位対象とされ、変位点Ｐ５からＰ２に近づくにした
がって徐々に修正量が大きくなるようにポリゴンの頂点
座標が修正される。For example, paying attention to the displacement point P1 of the upper lip position, taking into account the structure of the head, the vertical range is from the upper lip to the base of the nose, and the horizontal direction is within a predetermined range substantially equal to the width of the lips. The coordinates of the vertices of the included polygons are corrected based on the parameter Pa, similarly to the displacement point P1. The degree of correction is set so that each polygon included in the predetermined range is not changed uniformly, but the correction amount decreases as the distance from the displacement point P1 of the upper lip increases. Also, for example, focusing on the displacement point P2 of the lower lip position,
Considering that the entire lower jaw rotates, the displacement point P5 (FIG. 1)
(Shown at 0) as the rotation center, and the polygon up to the displacement point P2 is set as a displacement target, and the vertex coordinates of the polygon are corrected so that the correction amount gradually increases from the displacement point P5 toward P2.

【００８８】このように、プレーヤの音声信号に対して
周波数分析を行い、口周辺形状と口の開度を決定するこ
とで、少ない処理でプレーヤ音声に同期した主人公キャ
ラクタＡの発話動作を実現することができる。As described above, by performing frequency analysis on the voice signal of the player and determining the shape around the mouth and the opening degree of the mouth, the utterance operation of the main character A synchronized with the player voice can be realized with a small amount of processing. be able to.

【００８９】また、音声同期部６２６は、口周辺形状だ
けでなく、瞼の形状や、眉の形状、あるいは手足など身
体の構成要素を、口周辺形状と同様にして適宜変位点と
その動作変位量を設定することで、制御の対象とする。
例えば、図１２は、口周り形状とともに、瞼の形状、眉
の形状をひとまとまりにして、感情の分類と感情のレベ
ル（感情の強弱）とを対応付けた変位量テーブル５３６
の一例である。図１２（ａ）では、模式的に表情を漫画
で記載しているが、実際には(ｂ)に示すように漫画に対
応した動作変位量を算出する係数として記述される。ま
た、図１３は、身体動作を同様にして感情と対応付けた
変位量テーブルの一例である。図１３（ａ）は感情のレ
ベル別に身体動作を模式的に漫画で記載しているが、
（ｂ）に示すように変位点を手足等の関節部分に適宜設
定し、（ｃ）に示すように変位点ごとの動作変位量を算
出する係数として記述する。よって、少ない情報量でよ
りリアルで、かつ、感情に適切な動作を付加することが
できる。The voice synchronizing unit 626 can be used to change not only the shape of the mouth, but also the shape of the eyelids, the shape of the eyebrows, and the body components such as the limbs, in the same manner as the shape of the mouth, and appropriately adjust the displacement points and their motion displacements. By setting the amount, the object is controlled.
For example, FIG. 12 shows a displacement amount table 536 in which the shape of the eyelids and the shape of the eyebrows are grouped together with the shape of the mouth, and the classification of emotions and the level of emotions (emotion intensity) are associated with each other.
This is an example. In FIG. 12 (a), the expression is schematically described as a cartoon, but actually, as shown in FIG. 12 (b), the expression is described as a coefficient for calculating the amount of motion displacement corresponding to the cartoon. FIG. 13 is an example of the displacement amount table in which the body motion is similarly associated with the emotion. FIG. 13 (a) schematically shows the body movements in cartoons for each emotional level,
As shown in (b), displacement points are appropriately set at joints such as limbs and the like, and are described as coefficients for calculating the amount of motion displacement for each displacement point as shown in (c). Therefore, it is possible to add a more realistic and appropriate action to the emotion with a small amount of information.

【００９０】さらに、音声同期部６２６は、感情表現効
果表示物を制御する。図２４は、感情表現効果表示物の
形状と動作等を感情と対応付けた変位量テーブルの一例
である。感情表現効果表示物の表示は、乱数によってラ
ンダムに表示されても良いし、または相手キャラクタＢ
の好感度の度合いと関連付けても良く、ゲーム演出やゲ
ームバランスを鑑み適宜選択される。Further, the voice synchronizing unit 626 controls the emotion expression effect display object. FIG. 24 is an example of a displacement amount table in which the shape, motion, and the like of the emotion expression effect display object are associated with emotions. The display of the emotion expression effect display object may be randomly displayed by a random number, or the opponent character B
May be associated with the degree of liking, and may be appropriately selected in consideration of game effects and game balance.

【００９１】評価部６２８は、評価プログラム５２５に
従って機能し、音声解析部６２４による単語と感情の認
識結果をもとに、判定基準５３５に基づいて、ゲームオ
ーバやステージ分岐の判定をする。The evaluation unit 628 functions in accordance with the evaluation program 525, and determines a game over or a stage branch based on the determination criterion 535 based on the recognition result of the words and emotions by the voice analysis unit 624.

【００９２】具体的には、ゲームオーバの判定について
は、相手キャラクタＢに主人公キャラクタＡへの好感度
を設定し、例えば、好感度が所与の基準値以下の場合に
ゲームオーバと判定し、それ以外ならばステージ分岐を
つづけると判定される。好感度は、ゲーム進行を通して
評価部６２８によって更新される。評価部６２８は、音
声解析部６２４からプレーヤの自由台詞に含まれる単語
の認識結果や感情認識結果を受取り、例えば、キーワー
ドと比較し、言ってはいけない（嫌われる）と設定され
た単語に合致するものがあれば適宜好感度を下げ、喜ば
れる単語と設定された単語に合致するものがあれば好感
度を上げる。また、感情認識の結果も参照し、喜ばれる
単語であっても怒って話していると判断されるならば、
好感度を下げる。さらには、ステージ分岐結果によって
上下させてもよく、ゲームのストーリ構成や演出的観点
から、適宜好感度を上下させて、理屈では分からない、
相手の心の動きを表現しても良い。More specifically, the game over is determined by setting the favorability of the main character A to the opponent character B. For example, when the favorability is equal to or less than a given reference value, it is determined that the game is over. Otherwise, it is determined that the stage branch is continued. The favorable impression is updated by the evaluation unit 628 throughout the game progress. The evaluation unit 628 receives the recognition result or the emotion recognition result of the word included in the player's free speech from the voice analysis unit 624, and compares it with a keyword, for example, and matches the word set as not to be said (disliked). If there is something that does, the favorability is lowered as appropriate, and if there is something that matches the pleased word and the set word, the favorability is raised. Also, referring to the result of emotion recognition, if it is judged that even a happy word is talking angry,
Decrease favorability. Furthermore, it may be raised or lowered according to the stage branching result, and from the viewpoint of the story composition or staging of the game, the favorable sensitivity is raised or lowered as appropriate, and it is not understood in theory.
The movement of the opponent's mind may be expressed.

【００９３】ステージ分岐判断は、自由台詞の中に含ま
れる単語と感情認識の結果の両面を適宜組み合わせて判
断する。キーワードとの比較では、例えば、相手キャラ
クタＢから映画に行かないかと誘われたシチュエーショ
ンにおいて、同意する意味の「いいよ」「よろこんで」
「行ける」等のキーワードの有無によってデートを楽し
む次のステージに進むか、何事もなく次のステージに進
むかが分岐される。また、キーワードとの比較ではな
く、音声に含まれる感情が好意的か否かで分岐判断して
も良い（キーエモーションによる判断）。ステージ分岐
判定は、どちらか一方あるいは両方を適宜組み合わせ
て、ステージの状況に合わせて行われるのが望ましい。The stage branch judgment is made by appropriately combining both words included in the free speech and the result of emotion recognition. In comparison with the keyword, for example, in a situation where the opponent character B is invited to go to a movie, the terms "agree" and "pleasure" have the same meaning.
Depending on the presence or absence of a keyword such as “can go”, the process branches to whether to proceed to the next stage for enjoying a date or to proceed to the next stage without any incident. Instead of comparing with a keyword, a branch may be determined based on whether or not the emotion included in the voice is favorable (determination based on key emotion). It is desirable that the stage branch determination is performed in accordance with the situation of the stage by appropriately combining one or both.

【００９４】図１４は、評価部６２８が参照する、判定
基準５３５の一例を示す図である。図１４では、そのス
テージの状況において、言ってはいけないとされるキー
ワードにそれぞれマイナスのレベル変化量が与えられて
いる。逆に、喜ばれるキーワードには、プラスのレベル
変化量が与えられている。また、それぞれに分岐先のス
テージ番号が設定されている。同様に、キーエモーショ
ンが設定され、分岐先のステージ番号が設定されてい
る。FIG. 14 is a diagram showing an example of the criterion 535 to which the evaluation unit 628 refers. In FIG. 14, in the situation of the stage, the keywords which should not be said are given a negative level change amount. Conversely, the keywords that are pleased are given a positive level change. Also, a branch destination stage number is set for each. Similarly, a key emotion is set, and a branch destination stage number is set.

【００９５】音声生成部６６は、音声エフェクト部６６
２を含む。音声エフェクト部６６２は、音声エフェクト
プログラム５２６にしたがって、プレイ・モードにおい
て音声を出力するときに、音声加工や効果音の追加など
の処理を行う。ここで、音声加工としては、音の所定周
波数のカット、音の振幅の延縮、音の音質変化、サラウ
ンド処理等、またはこれらの複合をいう。The sound generation unit 66 includes a sound effect unit 66
2 inclusive. The sound effect unit 662 performs processing such as sound processing and addition of sound effects when outputting sound in the play mode according to the sound effect program 526. Here, the sound processing refers to cut of a predetermined frequency of a sound, expansion and contraction of a sound amplitude, change of sound quality of a sound, surround processing, and the like, or a combination thereof.

【００９６】音声信号を加工する具体的な処理として
は、例えば、ディレイ処理（エコー）、ピッチコントロ
ール、ステップピッチコントロール、フェードイン、フ
ェードアウト、レベルコントロール、ミュート、フェー
ズシフト、ボイスチェンジャ、ハーモニー、タイムエキ
スパンダ等がある。これによって、例えば、主人公キャ
ラクタＡ選択時にプレーヤが男性で意図的に女性キャラ
クタを選択した場合に女性声に加工したり、主人公キャ
ラクタＡがロボットやサイボーグの場合にはラジオノイ
ズを付加して出力することで、プレーヤが役になりきる
ことを助けることが出来る。また、叫び部分にエコーを
かけるなどの娯楽的演出効果を付加することや、電話越
しの会話などのステージ状況によりリアリティを増加さ
せる効果もある。Specific processing for processing an audio signal includes, for example, delay processing (echo), pitch control, step pitch control, fade-in, fade-out, level control, mute, phase shift, voice changer, harmony, and time extractor. There are pandas. Thereby, for example, when the main character A is selected, when the player intentionally selects a female character as a male, the voice is processed into a female voice, or when the main character A is a robot or a cyborg, radio noise is added and output. This can help the player be more useful. There is also an effect of adding an entertainment effect such as applying an echo to the shouting part, and an effect of increasing reality depending on a stage situation such as a conversation over a telephone.

【００９７】効果音としては、例えば「ガ〜ン（ショッ
ク、落胆などの心理表現の一例）」「キラキラ（喜び、
期待、感激などの心理表現の一例）」などのように漫画
等で心理表現擬音や、「ピンポーン（クイズの正解時に
流れる効果音）」などのＴＶ等で扱われる効果音を、適
宜追加することによって、コミカルな娯楽的効果やドラ
マチックな演出効果を付加することができ、よりプレー
ヤがゲーム世界に入り込める効果を生む。なお、効果音
の範疇にＢＧＭを加えても良く、同様の効果を期待でき
る。The sound effects include, for example, “Ga (an example of psychological expressions such as shock and discouragement)” and “Glitter (joy,
Examples of psychological expressions such as expectations and emotions)) and psychological expressions in cartoons, such as "), and sound effects handled by TV, such as" ping-pong (sounds played when the quiz is answered correctly), "should be added as appropriate. Thereby, a comical entertainment effect and a dramatic effect can be added, and an effect that allows the player to enter the game world can be produced. Note that BGM may be added to the category of sound effects, and similar effects can be expected.

【００９８】〔フローの説明〕次に、図１５〜１８を参
照して、ゲームの進行にしたがって、本実施形態におけ
る処理の流れを説明する。図１５は、恋愛シミュレーシ
ョンゲームにおける基本的なフローを示す図であり、制
御部６０が記憶部５０からゲーム情報５２を読み込むこ
とで、実行可能となる。本実施形態は、ステージ分岐を
経るマルチエンディング形式のゲームであり、ステージ
毎に、リハーサルモード（ステップＳ１）、テイク・モ
ード（ステップＳ２）、プレイ・モード（ステップＳ
３）の順に実行され、プレイ・モード終了後に、ゲーム
オーバの判定がなされ（ステップＳ４）、ゲームオーバ
の場合は、メモリカード１０にゲームデータをセーブし
て（ステップＳ６）終了する。ゲームオーバでない場合
は、ステージ分岐判断結果に基づいて、次のステージに
進む(ステップＳ５)。所定のステージを全てクリアする
と、クリア時の相手キャラクタＢの好感度に応じて、結
果映像（エンディング）が一つ表示されて終了する。[Explanation of Flow] Next, with reference to FIGS. 15 to 18, the flow of processing in this embodiment as the game progresses will be described. FIG. 15 is a diagram showing a basic flow in the love simulation game, and the control unit 60 can execute the game by reading the game information 52 from the storage unit 50. The present embodiment is a multi-ending type game that passes through a stage branch, and for each stage, a rehearsal mode (step S1), a take mode (step S2), and a play mode (step S2).
The processing is executed in the order of 3). After the end of the play mode, it is determined that the game is over (step S4). If the game is over, the game data is saved in the memory card 10 (step S6) and the processing ends. If the game is not over, the process proceeds to the next stage based on the stage branch determination result (step S5). When all the predetermined stages are cleared, one result video (ending) is displayed according to the favorable sensibility of the opponent character B at the time of the clearing, and the process ends.

【００９９】次に、各処理について詳細に説明する。ゲ
ームをスタートすると、先ずリハーサル・モードに入る
(ステップＳ１)。図１６は、リハーサル・モードにおけ
るゲーム処理の流れの一例を示した図である。リハーサ
ル・モードでは、先ず新規ゲームかどうかを、プレーヤ
が操作装置２６から入力する（ステップＳ１０１）。新
規ゲームの場合は、図３に示すようなゲーム画面が、内
部モニタ１２と外部モニタ４に表示され、プレーヤは、
主人公キャラクタＡを選択して操作装置２６から入力す
る（ステップＳ１０２）。次に、図４に示すようなゲー
ム画面が表示され、プレーヤは同様にして恋愛の相手キ
ャラクタＢを選択する(ステップＳ１０３)。また、新規
ゲームなので、ステージ番号を１に設定する（ステップ
Ｓ１０４）。新規ゲームでない場合は、プレーヤがメモ
リカード１０をスロットリンク２２に差込むと、記憶さ
れているゲームデータから、主人公キャラクタＡと相手
キャラクタＢの情報、およびステージ番号が読み出され
る（ステップＳ１０７）。Next, each processing will be described in detail. When you start the game, first enter rehearsal mode
(Step S1). FIG. 16 is a diagram showing an example of the flow of the game processing in the rehearsal mode. In the rehearsal mode, the player first inputs from the operation device 26 whether or not the game is a new game (step S101). In the case of a new game, a game screen as shown in FIG. 3 is displayed on the internal monitor 12 and the external monitor 4, and the player
The main character A is selected and input from the operation device 26 (step S102). Next, a game screen as shown in FIG. 4 is displayed, and the player similarly selects a partner character B of love (step S103). Since the game is a new game, the stage number is set to 1 (step S104). If the game is not a new game, when the player inserts the memory card 10 into the slot link 22, information on the main character A and the opponent character B and the stage number are read from the stored game data (step S107).

【０１００】主人公キャラクタＡと相手キャラクタＢの
情報、およびステージ番号の情報がそろったならば、プ
レーヤにステージの状況を理解させ、演ずる役どころを
つかんでもらうために、図５に示すようなステージ映像
を内部モニタ１２と外部モニタ４に、ステージ音声をヘ
ッドフォン２０と外部スピーカ６から出力される（ステ
ップＳ１０５）。図５（ａ）では、主人公キャラクタＡ
と相手キャラクタＢが一緒に帰宅途中にある。明日が天
気の良い休みになりそうなことが、両者の会話として提
示されている。図５（ｂ）では、女性キャラクタが明日
の予定を尋ねている。ここで、ゲーム設定上は恋愛成就
のためには、デートに誘うべき格好のチャンスとされ、
次に主人公キャラクタＡの選択を求めることになる。図
５（ｃ）では、主人公キャラクタＡが、相手キャラクタ
Ｂのアクションに対して答えるステージの分岐点にあた
る。ゲーム画面には発音タイミング表示部３５が表示さ
れ、また台詞表示部には「フリー・ダイアログ」の文字
が表示され、プレーヤは、自身で台詞を考えて発音する
場所であることを理解する。ステージ映像では、主人公
キャラクタＡは動作せずに（静止画状態で）表示され、
リハーサル・モードが終了する。When the information of the hero character A and the opponent character B and the information of the stage number are completed, a stage image as shown in FIG. 5 is provided so that the player can understand the situation of the stage and have a role to play. Is output from the headphone 20 and the external speaker 6 to the internal monitor 12 and the external monitor 4 (step S105). In FIG. 5A, the main character A
And partner character B are on their way home together. The conversation between the two states that tomorrow is likely to be a good day off. In FIG. 5B, the female character is asking for a schedule for tomorrow. Here, in terms of game settings, it is considered a good chance to invite to a date for fulfillment of love,
Next, selection of the main character A is requested. In FIG. 5C, the hero character A corresponds to a branch point of a stage in which an action of the opponent character B is answered. A pronunciation timing display section 35 is displayed on the game screen, and a character string "free dialog" is displayed on the dialog display section, so that the player understands that it is a place where he / she thinks and speaks himself. In the stage video, the main character A is displayed without moving (in a still image state),
Rehearsal mode ends.

【０１０１】プレーヤは、ステージ映像をもう一度見た
ければ繰り返し見ることができる（ステップＳ１０
６）。必要が無ければ、次のテイク・モード（図１５；
ステップＳ２）にゲーム処理が移行する。If the player wants to watch the stage image again, he / she can repeatedly watch it (step S10).
6). If not, the next take mode (FIG. 15;
The game process shifts to step S2).

【０１０２】図１７は、テイク・モードにおけるゲーム
処理の流れの一例を示した図である。テイク・モードで
は、先ずステージ映像とステージ音声が再度出力される
（ステップＳ２０１）。プレーヤは、既定台詞部分の台
詞を、先のリハーサル・モードで得た発音タイミングで
マイクロフォン１８に向かって発音する。マイクロフォ
ン１８を介して、プレーヤの音声が入力される（ステッ
プＳ２０２）。ステージ映像の最後には、自由台詞を入
れるタイミングが到来し、ステップＳ２０２と同様にプ
レーヤの音声が入力される（ステップＳ２０３）。FIG. 17 is a diagram showing an example of the flow of the game processing in the take mode. In the take mode, first, the stage video and the stage audio are output again (step S201). The player pronounces the speech of the predetermined speech part toward the microphone 18 at the sounding timing obtained in the previous rehearsal mode. The voice of the player is input via the microphone 18 (step S202). At the end of the stage video, it is time to enter a free line, and the voice of the player is input as in step S202 (step S203).

【０１０３】次に、音声解析部６２４によって、先ず周
波数分析等の前処理がなされ音声特徴量の抽出が行われ
る（ステップＳ２０４）。音声特徴量に基づいて、単語
認識が行われて自由台詞内にキーワードが含まれている
かどうかが調べられる(ステップ２０５)。つづいて、自
由台詞に含まれるプレーヤの感情認識が行われ、例えば
喜怒哀楽のそれぞれのレベルが求められる（ステップＳ
２０６）。単語認識と感情認識の結果に基づいて、評価
部６２８によって好感度の変更やステージの分岐判断が
なされる（ステップＳ２０７）。これで、テイク・モー
ドは終了し、ゲーム処理は次のプレイ・モード（図１
５；ステップＳ３）に移行する。Next, preprocessing such as frequency analysis is performed by the voice analysis unit 624 to extract voice features (step S204). Based on the speech feature, word recognition is performed to check whether a keyword is included in the free speech (step 205). Subsequently, the player's emotion included in the free speech is recognized, and for example, the respective levels of emotion, emotion, and pleasure are obtained (step S).
206). Based on the results of the word recognition and the emotion recognition, the evaluation unit 628 makes a change in liking and determines whether to branch the stage (step S207). This completes the take mode, and the game processing is performed in the next play mode (FIG. 1).
5: Go to step S3).

【０１０４】図１８（ａ）は、プレイ・モードにおける
ゲーム処理の流れの一例を示す図である。プレイ・モー
ドでは、ステージ映像とステージ音声が再度出力され
（ステップ３０１）、次いで、評価部６２８のステージ
分岐判定にもとづいて、分岐に応じた結果映像と音声が
出力される（ステップＳ３０２）。この際同時に、映像
は、音声同期部６２６によって、音声同期処理が行わ
れ、プレーヤ音声に同期した主人公キャラクタＡの映像
が出力される（ステップＳ７） そして、音声には音声エフェクト部６６２によって、先
のテイク・モードで入力されたプレーヤ音声に、所定の
エフェクトが加えられた上でステージ音声と結果音声と
ともに出力される（ステップＳ８）。FIG. 18A shows an example of the flow of the game processing in the play mode. In the play mode, the stage video and the stage audio are output again (step 301), and then, based on the stage branch determination of the evaluation unit 628, the result video and audio corresponding to the branch are output (step S302). At this time, at the same time, the video is subjected to audio synchronization processing by the audio synchronization unit 626, and the video of the protagonist character A synchronized with the player audio is output (step S7). After a predetermined effect is added to the player sound input in the take mode, the stage sound and the result sound are output (step S8).

【０１０５】図１８（ｂ）は、音声同期処理の流れの一
例を示す図である。音声同期処理では、先ず、音声解析
部６２４によって、プレーヤの音声信号から周波数成分
毎の音圧分布が求められ（ステップＳ７０１）、音圧分
布の特徴から音声に含まれる音（おん）の種類が判定さ
れる（ステップＳ７０２）。次に、音声同期部６２６に
よって、音声解析部６２４の解析結果にもとづいて、変
位量テーブル５３６から感情レベルに応じた動作変位量
算出のための係数が読み込まれる（ステップＳ７０
３）。つづいて、変位点の動作変位量が算出される（ス
テップＳ７０４）。そして、キャラクタモデル５３４が
読み出され、変位点とその所定の周辺ポリゴンの頂点座
標が修正される（ステップＳ７０５）。修正された座標
が、画像生成部６４に渡され、仮想空間内に、プレーヤ
音声に同期した動作をする主人公キャラクタＡが形成さ
れ、映像表示部４４に出力される。FIG. 18B is a diagram showing an example of the flow of the audio synchronization process. In the audio synchronization processing, first, a sound pressure distribution for each frequency component is obtained from the audio signal of the player by the audio analysis unit 624 (step S701), and the type of sound (on) included in the audio is determined from the characteristics of the sound pressure distribution. A determination is made (step S702). Next, based on the analysis result of the voice analysis unit 624, the voice synchronization unit 626 reads a coefficient for calculating a motion displacement amount according to the emotion level from the displacement amount table 536 (step S70).
3). Subsequently, the amount of motion displacement at the displacement point is calculated (step S704). Then, the character model 534 is read, and the vertex coordinates of the displacement point and the predetermined surrounding polygon are corrected (step S705). The corrected coordinates are passed to the image generation unit 64, and a hero character A that operates in synchronization with the player's voice is formed in the virtual space, and is output to the video display unit 44.

【０１０６】図７（ｂ）の例では、主人公キャラクタＡ
は「うれしいな！行く行く！！」と答えている。主人公
キャラクタＡは、喜んでいるので、図１３に示す「喜
び」の「レベル１」にあたる動作をしている。その結果
として（ｃ）で、相手キャラクタＢは、よろこんで「じ
ゃあ、お弁当作っていくね！」と返し、デートのチャン
スを得るステージらしい幸せな結果となり、好感度も高
いのでプレーヤは次のステージに進むことができる。な
お、（ｂ）では、自由台詞に「うれしい」という好感度
アップのキーワードが入っているので、好感度のレベル
ゲージ３６が上昇している。反対に、図７（ｄ）では主
人公は「なんで。映画嫌いなんだ。」と答えている。主
人公キャラクタＡは、興味が無いために特徴的な感情が
無いと判断されて、図１３に示したような感情を表現す
る動作はしていない。その結果として図７（ｅ）で、相
手キャラクタＢは怒って「じゃあ、好きにすれば！」と
返し、主人公に張り手をする結果となる。この場面で
は、デートのチャンスを逃すべきではないという恋愛シ
ミュレーションとしての判定から、デート拒否の結果に
もとづいて、好感度が低下し、（ｅ）では既定値を割り
込んでいる。したがって、ゲームオーバの判定が下さ
れ、プレーヤは次のステージに進むことが出来なくな
る。In the example of FIG. 7B, the main character A
Answered, "I'm glad! Since the main character A is pleased, the hero character A performs a motion corresponding to “level 1” of “joy” shown in FIG. As a result, in (c), the opponent character B is pleased and returns, "Let's make a bento!", Which is a happy result like a stage to get a date chance. You can proceed to the stage. In (b), since the free speech includes a keyword for increasing the liking of “happy”, the liking level gauge 36 is rising. On the other hand, in FIG. 7D, the protagonist answers, "Why. I hate movies." Since the main character A is not interested, it is determined that there is no characteristic emotion, and the main character A does not perform an operation to express the emotion as shown in FIG. As a result, in FIG. 7 (e), the opponent character B gets angry and returns "Well, if you like it!" In this scene, from the determination as a love simulation that the chance of a date should not be missed, based on the result of the rejection of the date, the favorable sensation decreases, and in (e), the default value is interrupted. Therefore, a game over is determined, and the player cannot proceed to the next stage.

【０１０７】〔ハードウェア構成〕次に、本実施の形態
を実現できるハードウェアの構成の一例について図１９
を用いて説明する。同図に示す装置では、ＣＰＵ１００
０、ＲＯＭ１００２、ＲＡＭ１００４、情報記憶媒体１
００６、音声生成ＩＣ１００８、画像生成ＩＣ１０１
０、Ｉ／Ｏポート１０１２、１０１４、１０２６、ドラ
イバ１０３０、音声認識ＩＣ１０３４、ＤＳＰ１０３６
が、システムバス１０１６により相互にデータ入出力可
能に接続されている。画像生成ＩＣ１０１０には表示装
置１０１８が接続され、音声生成ＩＣ１００８にはスピ
ーカ１０２０が接続され、Ｉ／Ｏポート１０１２にはコ
ントロール装置１０２２が接続され、Ｉ／Ｏポート１０
１４には通信装置１０２４が接続され、Ｉ／Ｏポート１
０２６には集音装置１０２８が接続されている。また、
ドライバ１０３０に対してメモリカード１０３２が着脱
自在である。[Hardware Configuration] Next, an example of a hardware configuration capable of realizing the present embodiment is shown in FIG.
This will be described with reference to FIG. In the device shown in FIG.
0, ROM 1002, RAM 1004, information storage medium 1
006, voice generation IC 1008, image generation IC 101
0, I / O ports 1012, 1014, 1026, driver 1030, voice recognition IC 1034, DSP 1036
Are connected to each other via a system bus 1016 so that data can be input and output. A display device 1018 is connected to the image generation IC 1010, a speaker 1020 is connected to the audio generation IC 1008, a control device 1022 is connected to the I / O port 1012, and the I / O port 10
A communication device 1024 is connected to the I / O port 1
The sound collecting device 1028 is connected to 026. Also,
The memory card 1032 is detachable from the driver 1030.

【０１０８】ＣＰＵ１０００、ＲＯＭ１００２、ＲＡＭ
１００４、音声生成ＩＣ１００８、画像生成ＩＣ１０１
０、Ｉ／Ｏポート１０１２、１０１４、１０２６、シス
テムバス１０１６、通信装置１０２４、ドライバ１０３
０、音声認識ＩＣ１０３４及びＤＳＰ１０３６を備える
装置が、図８の制御部６０に相当する。CPU 1000, ROM 1002, RAM
1004, sound generation IC 1008, image generation IC 101
0, I / O ports 1012, 1014, 1026, system bus 1016, communication device 1024, driver 103
The device including the voice recognition IC 1034 and the DSP 1036 corresponds to the control unit 60 in FIG.

【０１０９】本実施の形態のゲーム装置１を業務用ゲー
ム装置として実現する場合には、情報記憶媒体１００６
は、ＲＯＭなどのメモリやハードディスクが用いられ、
またプログラムやデータは、ＲＯＭ１００２に格納され
ていても良い。本実施の形態のゲーム装置１を実現する
ものがコンピュータシステムである場合には、情報記憶
媒体１００６は、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ或いはハ
ードディスク等が用いられる。本実施の形態のゲーム装
置を家庭用ゲーム装置で実現する場合には、情報記憶媒
体１００６は、ＣＤ−ＲＯＭ、ＤＶＤ、ゲームカセット
或いはハードディスク等が用いられる。図８に示す記憶
部５０の機能は、情報記憶媒体１００６によって実現さ
れる。In the case where the game device 1 of the present embodiment is realized as an arcade game device, the information storage medium 1006
Uses a memory such as a ROM or a hard disk,
Further, programs and data may be stored in the ROM 1002. When the game device 1 of the present embodiment is realized by a computer system, the information storage medium 1006 is a CD-ROM, DVD, MO, hard disk, or the like. When the game device of the present embodiment is realized by a home game device, the information storage medium 1006 is a CD-ROM, a DVD, a game cassette, a hard disk, or the like. The function of the storage unit 50 illustrated in FIG. 8 is realized by the information storage medium 1006.

【０１１０】コントロール装置１０２２はゲームコント
ローラ、操作パネルなどに相当するものであり、プレー
ヤがゲーム進行に応じて行う判断の結果を装置本体に入
力するための装置である。図８に示す操作部４２の機能
は、コントロール装置１０２２によって実現される。The control device 1022 corresponds to a game controller, an operation panel, and the like, and is a device for inputting a result of a determination made by a player in accordance with the progress of a game to the main body of the device. The function of the operation unit 42 illustrated in FIG. 8 is realized by the control device 1022.

【０１１１】集音装置１０２８は、音を集音し、集音し
た音に応じた信号をＩ／Ｏポート１０２６へと出力する
ものであり、例えば、マイクロフォンである。図８に示
す音声入力部４６の機能は、集音装置１０２８によって
実現される。The sound collecting device 1028 collects sound and outputs a signal corresponding to the collected sound to the I / O port 1026, and is, for example, a microphone. The function of the voice input unit 46 illustrated in FIG. 8 is realized by the sound collection device 1028.

【０１１２】情報記憶媒体１００６に格納されるプログ
ラム、ＲＯＭ１００２に格納されるシステムプログラム
（装置本体の初期化情報など）、コントロール装置１０
２２によって入力される信号、集音装置１０２８から入
力される信号などに従って、ＣＰＵ１０００は装置全体
の制御や各種データ処理を行う。ＲＡＭ１００４はこの
ＣＰＵ１０００の作業領域などとして用いられる記憶手
段であり、情報記憶媒体１００６やＲＯＭ１００２の所
与の内容、ＣＰＵ１０００やＤＳＰ１０３６の演算結果
などが格納される。The program stored in the information storage medium 1006, the system program (such as initialization information of the apparatus main body) stored in the ROM 1002, the control apparatus 10
The CPU 1000 controls the entire apparatus and performs various types of data processing in accordance with the signal input from the input unit 22 and the signal input from the sound collection device 1028. The RAM 1004 is storage means used as a work area of the CPU 1000, and stores given contents of the information storage medium 1006 and the ROM 1002, calculation results of the CPU 1000 and the DSP 1036, and the like.

【０１１３】音声認識ＩＣ１０３４は、ＣＰＵ１０００
の命令に従って音声認識を行うものである。即ち、音声
認識ＩＣ１０３４は、集音装置１０２８から入力された
音声信号を情報記憶媒体１００６等に格納された単語認
識辞書５３２と照らし合わせて、当該音声信号の音声認
識を行うものである。図８に示す音声解析部６２４の機
能は、音声認識ＩＣ１０３４によって実現される。な
お、入力された音声信号の音声認識は、ＣＰＵ１０００
やＤＳＰ１０３６が行うものとしても良い。The speech recognition IC 1034 is
The voice recognition is performed according to the instruction. That is, the voice recognition IC 1034 compares the voice signal input from the sound collection device 1028 with the word recognition dictionary 532 stored in the information storage medium 1006 or the like, and performs voice recognition of the voice signal. The function of the voice analysis unit 624 shown in FIG. 8 is realized by the voice recognition IC 1034. The voice recognition of the input voice signal is performed by the CPU 1000.
Or by the DSP 1036.

【０１１４】ＤＳＰ１０３６は、ＣＰＵ１０００の命令
に従って音声信号の加工を主に行うものである。即ち、
集音装置１０２８から入力された音声信号を加工して、
音声信号にエフェクトを掛けるものである。図８に示す
音声エフェクト部６６２の機能は、ＤＳＰ１０３６によ
って実現される。なお、入力された音声信号の加工は、
ＣＰＵ１０００が行うものとしても良い。[0114] The DSP 1036 mainly processes audio signals in accordance with instructions from the CPU 1000. That is,
Processing the audio signal input from the sound collector 1028,
An effect is applied to the audio signal. The function of the sound effect unit 662 shown in FIG. 8 is realized by the DSP 1036. The processing of the input audio signal is
The processing may be performed by the CPU 1000.

【０１１５】更に、この種の装置には音声生成ＩＣ１０
０８と画像生成ＩＣ１０１０とが設けられていて音や画
像の好適な出力が行えるようになっている。音声生成Ｉ
Ｃ１００８は、ＣＰＵ１０００の命令によって、情報記
憶媒体１００６やＲＯＭ１００２に記憶される情報、Ｒ
ＡＭ１００４に格納された音データに応じた音声信号を
生成する集積回路であり、生成された音声信号でスピー
カ１０２０から音が出力される。図８に示す音声生成部
６６は、音声生成ＩＣ１００８によって実現される。Further, this type of device includes a sound generation IC 10
08 and an image generation IC 1010 are provided so that suitable output of sounds and images can be performed. Voice Generation I
C1008 stores information stored in the information storage medium 1006 or the ROM 1002,
This is an integrated circuit that generates an audio signal according to the audio data stored in the AM 1004, and a sound is output from the speaker 1020 using the generated audio signal. The sound generation unit 66 shown in FIG. 8 is realized by the sound generation IC 1008.

【０１１６】また、画像生成ＩＣ１０１０は、ＣＰＵ１
０００の命令によって、ＲＡＭ１００４、ＲＯＭ１００
２、情報記憶媒体１００６などから送られる情報に基づ
いて表示信号を生成する集積回路である。画像生成ＩＣ
１０１０にて生成された表示信号は、表示装置１０１８
に出力され、表示装置１０１８にて表示信号に応じた画
像が表示される。図８に示す画像生成部６４の機能は、
主にこの画像生成ＩＣ１０１０により実現される。The image generation IC 1010 includes a CPU 1
000 instructions, RAM 1004, ROM 100
2. An integrated circuit that generates a display signal based on information sent from the information storage medium 1006 or the like. Image generation IC
The display signal generated at 1010 is
And an image corresponding to the display signal is displayed on the display device 1018. The functions of the image generation unit 64 shown in FIG.
This is mainly realized by the image generation IC 1010.

【０１１７】また、表示装置１０１８は、例えば、ＣＲ
ＴやＬＣＤ、ＴＶ、ＨＭＤ、プラズマディスプレイ或い
はプロジェクター等である。図８に示す映像表示部４４
の機能は、表示装置１０１８によって実現される。The display device 1018 is, for example, a CR
T, LCD, TV, HMD, plasma display or projector. Video display unit 44 shown in FIG.
Is realized by the display device 1018.

【０１１８】メモリカード１０３２は、データの追記、
消去或いは蓄積が可能なものであり、図８に示す外部記
憶部７０の機能を主に実現するものである。ドライバ１
０３０は、ＣＰＵ１０００の命令によりメモリカード１
０３２に記憶されたデータを読み出したり、或いは、メ
モリカード１０３２にデータを記録するものである。な
お、メモリカード１０３２に換えて、フロッピー(R)、
ＭＯ或いはＤＶＤ−ＲＡＭ等の記憶媒体であっても良い
が、この場合ドライバ１０３０は記憶媒体に対応したも
のとする必要がある。The memory card 1032 stores additional data,
It can be deleted or stored, and mainly implements the function of the external storage unit 70 shown in FIG. Driver 1
030 is a memory card 1 according to an instruction from the CPU 1000.
The data stored in the memory card 032 is read out or the data is recorded in the memory card 1032. In addition, instead of the memory card 1032, a floppy (R),
A storage medium such as an MO or a DVD-RAM may be used, but in this case, the driver 1030 needs to be compatible with the storage medium.

【０１１９】また、通信装置１０２４は本装置内部で利
用される各種の情報を外部とやりとりするものであり、
他の装置と接続されてプログラムに応じた所与の情報を
送受したり、通信回線を介してプログラムなどの情報を
送受することなどに利用される。The communication device 1024 exchanges various types of information used inside the device with the outside.
It is connected to another device to send and receive given information according to a program, and is used to send and receive information such as a program via a communication line.

【０１２０】図２０に、家庭用ゲーム装置に、本発明に
係るゲーム装置を適用した場合の例を示す。家庭用ゲー
ム装置１２００は、図２０に示すように、ゲーム装置本
体１２０１に、コントローラ１２０２、ディスプレイ１
２１０、そしてＡ／Ｄ変換装置１２０６を介してマイク
ロフォン１２０４、が接続されている。更に、メモリカ
ード１２０８やＩＣカード１２１２がゲーム装置本体１
２０１に対して着脱自在となっている。また、ディスプ
レイ１２１０には、音を出力するスピーカ１２１２と、
画像を表示する表示部１２１４とが設けられている。ま
た、ゲーム装置本体１２０１に対してＣＤ−ＲＯＭ１２
２０が着脱自在となっている。そして、このＣＤ−ＲＯ
Ｍ１２２０に、図８に示す記憶部５０に格納されている
ゲーム情報５２等の情報が格納されている。ゲーム装置
本体１２０１は、ＣＤ−ＲＯＭ１２２０に格納された情
報に従って、図１５〜図１８に示す処理を行う。なお、
図８に示す制御部６０及び記憶部５０に相当するもの
は、ゲーム装置本体１２０１であり、外部記憶部７０に
相当するものは、メモリカード１２０８或いはＩＣカー
ド１２１２であり、操作部４２に相当するものは、コン
トローラ１２０２であり、表示部４４に相当するもの
は、ディスプレイ１２１０の表示部１２１４であり、音
声入力部４６に相当するものは、マイクロフォン１２０
４とＡ／Ｄ変換装置１２０６であり、音声出力部４８に
相当するものは、スピーカ１２１２である。なお、マイ
クロフォン１２０４は、コントローラ１２０２を介して
ゲーム装置本体１２０１に接続するように構成されてい
ても良い。また、コントローラ１２０２にマイクロフォ
ンが内蔵されていても良い。FIG. 20 shows an example in which the game device according to the present invention is applied to a home game device. As shown in FIG. 20, the home game device 1200 includes a controller 1202, a display 1
210 and a microphone 1204 via an A / D converter 1206. Furthermore, the memory card 1208 and the IC card 1212 are
It is detachable with respect to 201. The display 1210 includes a speaker 1212 that outputs sound,
A display unit 1214 for displaying an image is provided. Also, the CD-ROM 12
20 is detachable. And this CD-RO
Information such as the game information 52 stored in the storage unit 50 illustrated in FIG. 8 is stored in M1220. The game device main body 1201 performs the processing shown in FIGS. 15 to 18 according to the information stored in the CD-ROM 1220. In addition,
The one corresponding to the control unit 60 and the storage unit 50 shown in FIG. One is the controller 1202, the one corresponding to the display unit 44 is the display unit 1214 of the display 1210, and the one corresponding to the voice input unit 46 is the microphone 120
4 and the A / D converter 1206, and the speaker 1212 corresponds to the audio output unit 48. Note that the microphone 1204 may be configured to be connected to the game device main body 1201 via the controller 1202. Further, a microphone may be built in the controller 1202.

【０１２１】なお、本発明は、上記実施の形態に限定さ
れることなく、本発明の趣旨を逸脱しない範囲におい
て、種々の改良並びに設計の変更を行っても良い。The present invention is not limited to the above embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.

【０１２２】〔第２の実施形態〕次に、図２１〜図２３
を参照して、本発明を適用した第２の実施形態について
説明する。第２の実施形態では、本発明をカラオケ・ゲ
ームに適用した場合を例として説明する。カラオケ・ゲ
ームとは、プレーヤがカラオケを歌い、ゲーム装置がそ
の歌唱力に点数をつけることで競い合うゲームである。[Second Embodiment] Next, FIGS.
A second embodiment to which the present invention is applied will be described with reference to FIG. In the second embodiment, a case where the present invention is applied to a karaoke game will be described as an example. A karaoke game is a game in which a player sings karaoke and the game device competes by giving a score to the singing ability.

【０１２３】第２の実施形態では、プレーヤは、例えば
図２０に示したような家庭用ゲーム装置１２００によっ
てカラオケゲームを楽しむ。具体的には、プレーヤはデ
ィスプレイ１２１０に映し出されたゲーム画面を見なが
ら、ゲームコントローラ１２０２を操作して歌いたい曲
や、プレーヤが演ずる歌手キャラクタを選択するなどの
操作をする。そして、家庭用ゲーム装置１２００に接続
されたマイクロフォン１２０４に向かって歌を歌う。歌
は、マイクロフォン１２０４から入力され、逐次ディス
プレイ１２１０に内臓のスピーカ１２１２から出力され
る。また、歌の音声はカラオケ終了時に、評価プログラ
ム５２６に含まれる周知のカラオケ採点方法によって採
点され、採点数と採点結果に応じた結果映像がディスプ
レイ１２１０に表示される。なお、家庭用ゲーム装置１
２００は、第１の実施形態と同様の機能ブロックとハー
ド構成によって実現可能であり、以下の説明では第１の
実施形態と同じ符号をつけるものとし、詳細な説明は省
略する。In the second embodiment, the player enjoys a karaoke game by using, for example, a home-use game device 1200 as shown in FIG. Specifically, the player operates the game controller 1202 to select a song to be sung or a singer character played by the player while looking at the game screen displayed on the display 1210. Then, the user sings a song toward microphone 1204 connected to home game device 1200. The song is input from the microphone 1204 and sequentially output from the built-in speaker 1212 on the display 1210. Further, at the end of the karaoke, the voice of the song is scored by a well-known karaoke scoring method included in the evaluation program 526, and a result video corresponding to the number of scores and the scoring result is displayed on the display 1210. Note that the home game device 1
200 can be realized by the same functional blocks and hardware configuration as in the first embodiment. In the following description, the same reference numerals as those in the first embodiment will be used, and detailed descriptions thereof will be omitted.

【０１２４】図２１は、本実施形態におけるゲーム画面
の一例を示した図である。図２１に示すように、本実施
形態のゲーム画面には、歌詞表示部３７と映像表示部３
８が含まれる。映像表示部３８でカラオケ中に表示され
る画像は、３ＤＣＧによって構成され、映像内ではプレ
ーヤの歌声に同期した動作をする歌手キャラクタＣが、
ステージでプレーヤの歌声で歌っている。なお、歌手キ
ャラクタＣは、空想・実在の人物に限らず、また、映像
は３ＤＣＧに限らず２ＤＣＧや実写およびそれらの合成
映像であってもよい。FIG. 21 is a diagram showing an example of the game screen in the present embodiment. As shown in FIG. 21, the game screen of the present embodiment includes a lyrics display section 37 and a video display section 3.
8 is included. The image displayed during the karaoke on the video display unit 38 is composed of 3DCG, and the singer character C operating in synchronization with the singing voice of the player in the video includes
Singing on the stage with the voice of the player. The singer character C is not limited to a fantasy / real person, and the video is not limited to 3DCG, but may be 2DCG, live-action video, or a composite video thereof.

【０１２５】第２の実施形態は、第１の実施形態でプレ
ーヤの音声として台詞を主に扱ったのに対して歌声を扱
う点を特徴とする。そして、第１の実施形態と同様にし
て、音声同期部６２６によって歌声を解析して歌声に含
まれる音（おん）をもとめ、音（おん）の種類に応じた
口周辺形状で歌手キャラクタＣの画像を出力する。歌手
キャラクタＣはプレーヤの音声（歌）に同期するように
画像が生成され、第１の実施形態と同様に、「あ」を発
音しているときは、画面内の歌手キャラクタＣも「あ」
の口形状をし、ディスプレイ１２１０のスピーカ１２１
２から歌声が出力される。The second embodiment is characterized in that a singing voice is handled while the dialogue is mainly handled as the player's voice in the first embodiment. Then, in the same manner as in the first embodiment, the singing voice is analyzed by the voice synchronizing unit 626, the sound (on) included in the singing voice is obtained, and the singer character C of the mouth shape corresponding to the type of the sound (on) is obtained. Output an image. The image of the singer character C is generated so as to synchronize with the voice (song) of the player. As in the first embodiment, when “a” is pronounced, the singer character C in the screen is also “a”.
And the speaker 121 of the display 1210
2 outputs a singing voice.

【０１２６】したがって、ディスプレイ１２１０には、
従来のカラオケ装置のようにプレーヤに何ら関係の無い
バックグランド映像が表示されるのではなく、自らが演
ずるキャラクタが画面内で歌を歌う映像が表示されるこ
とによって、プレーヤは、あたかも仮想空間のステージ
に自分が立って歌っているかのような、歌手になりきる
楽しさを味わうことができる。本第２の実施形態では、
プレーヤの歌声を解析した結果に基づいて、口周辺形状
等を音声に同期させるので、プレーヤのアドリブや替え
歌であっても、同様な効果を得られる高い娯楽性を得る
ことができる。Therefore, the display 1210 includes:
Instead of displaying a background video that has nothing to do with the player as in a conventional karaoke device, a video in which a character that the player plays sings on the screen is displayed, allowing the player to feel as if in a virtual space. You can enjoy the fun of becoming a singer as if you were standing and singing on the stage. In the second embodiment,
Since the mouth shape and the like are synchronized with the voice based on the analysis result of the singing voice of the player, it is possible to obtain a high recreational effect that can obtain the same effect even with the ad lib or the replacement song of the player.

【０１２７】さらに、第２の実施形態では、ゲームスタ
ート時にプレーヤに歌手キャラクタＣを選択させるほ
か、歌声の声質に応じて適当と思われるキャラクタが家
庭用ゲーム装置１２００によって選ばれる。具体的に
は、家庭用ゲーム装置１２００は、歌声を音声解析部６
２４によって、周波数分析によって歌声のピッチ等の特
徴を検出する。次いで音声解析部６２４は、図２２に例
示するような変位量テーブル５３６を参照する。ここで
は、第１の実施形態において変位量テーブル５３６が、
表情や身体動作を規定したのと同様にして、プレーヤの
声質に応じて歌手キャラクタＣの種類とその身体動作を
規定する。Further, in the second embodiment, at the start of the game, the player selects the singer character C, and a character deemed appropriate according to the voice quality of the singing voice is selected by the home-use game apparatus 1200. Specifically, the home game device 1200 converts the singing voice into the voice analysis unit 6.
At 24, features such as the pitch of the singing voice are detected by frequency analysis. Next, the voice analysis unit 624 refers to the displacement amount table 536 as illustrated in FIG. Here, in the first embodiment, the displacement amount table 536 is
In the same way as the expression and the body movement are defined, the type of the singer character C and the body movement are defined according to the voice quality of the player.

【０１２８】図２１（ａ）の例では、プレーヤの歌声
に、周波数変動が激しい雑音成分が多く、音圧が高いた
めに、音声解析部６２４によって「叫び」の成分が多い
「ロッカー声」と解析され、ロックミュージシャン風の
出立ちの歌手キャラクタＣが選択・表示され、マイクス
タンドを抱えて躍動的な動作をしている。一方、図２１
（ｂ）では、プレーヤの歌声にビブラート成分が多く、
音圧の激しい抑揚がないために「こぶし」の成分が多い
「渋声」と解析され、演歌歌手風の出立ちで、しとやか
に歌う歌手キャラクタＣが選択・表示されている。これ
によって、プレーヤは自分の歌い具合をビジュアルで楽
しむことができる。また、プレーヤが、意図的に歌い方
を変化させて歌手キャラクタＣの種類と動作を変えるこ
とで、単なる歌唱力の採点を競うだけでなく、独創性や
意外性を競う娯楽的要素を楽しむことができる。In the example of FIG. 21 (a), since the singing voice of the player has a lot of noise components with large frequency fluctuations and a high sound pressure, the voice analysis unit 624 calls the “rocker voice” a lot of “screaming” components. The analysis is performed, and a singer character C who appears in the style of a rock musician is selected and displayed, and performs a lively operation while holding the microphone stand. On the other hand, FIG.
In (b), the singing voice of the player has many vibrato components,
Since there is no intense inflection of the sound pressure, it is analyzed as "bubble" having a large amount of "fist", and the singer character C who sings gently with the appearance of an enka singer is selected and displayed. This allows the player to visually enjoy his / her singing condition. In addition, the player intentionally changes the way of singing to change the type and behavior of the singer character C, so that the player can not only compete in singing ability scoring, but also enjoy an entertaining element that competes for originality and unexpectedness. Can be.

【０１２９】図２３は、結果映像の一例を示したゲーム
画面である。図２３（ａ）では、採点数が高く観客から
声援をうけるとともに紙ふぶきが舞っている。一方、図
２３（ｂ）では、採点数が低く観客からブーイングを受
けている。ゲーム形態としては、プレーヤが複数なら
ば、ここでプレーヤ同士が採点数をもとに勝敗を決める
としても良いし、また一人でプレイする場合は、採点結
果によってもう一曲歌うことができるか否かが選択され
るとしてもよい。また、第１の実施形態におけるステー
ジ分岐のように、採点数に従って次に歌うことができる
ステージの規模や観客数あるいはステージ演出等が変化
するボーナス性を取り入れ、より娯楽性に富んだゲーム
にすることとしても良い。FIG. 23 is a game screen showing an example of the result video. In FIG. 23 (a), the score is high and the audience cheers and confetti is dancing. On the other hand, in FIG. 23B, the score is low and the audience is booing. As a game form, if there are multiple players, the players may decide whether to win or lose based on the score here, or if playing alone, whether another song can be sung depending on the score result May be selected. Further, as in the case of the stage branch in the first embodiment, a bonus feature in which the size of the stage that can be sung next, the number of spectators, the stage performance, and the like that can be sung according to the number of scores changes is adopted, thereby making the game more entertaining. It is good.

【０１３０】[0130]

【発明の効果】以上のように、プレーヤの音声の音声解
析結果に基づいて、口周辺形状を変更し、音声と同期し
たキャラクタの画像を出力することで、あたかもキャラ
クタの口からプレーヤの声が発せられているかのように
見せることができる。同様に、プレーヤの音声に応じて
表情動作、身体動作などを制御することによって、さら
にキャラクタの画像をプレーヤの音声にマッチさせるこ
とができる。したがって、プレーヤは、ゲーム内世界に
おいて自分の声をしたキャラクタが会話をし、様々なア
クションをしてゲームを進行していく様子を見ること
で、ゲーム世界で所与のキャラクタを演じている気持ち
を味わうことができる。これは所謂アフレコとは異な
り、プレーヤは、既存の映像に対してタイミングを計り
つつ声を合わせる（当てる）必要は無く、思うままに台
詞の言い回しや間合いを取って発声することができるの
で、従来に無い役を演じる演劇的楽しさを得ることがで
きる。As described above, based on the voice analysis result of the player's voice, the shape around the mouth is changed, and the image of the character synchronized with the voice is output, so that the voice of the player can be heard from the mouth of the character. You can make it appear as if it is being emitted. Similarly, by controlling the facial expression motion, the body motion, and the like according to the voice of the player, the image of the character can be further matched with the voice of the player. Therefore, the player feels that a given character plays a given character in the game world by watching the characters speaking in the in-game world talking and performing various actions in the game. You can taste. Unlike so-called post-recording, the player does not have to adjust the voice to the existing video while measuring the timing, and can utter the words and pauses at will as desired. You can get theatrical pleasure that plays a role that is not available.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明を適用した第１の実施形態におけるゲー
ム装置の外観図である。FIG. 1 is an external view of a game device according to a first embodiment of the present invention.

【図２】第１の実施形態のゲーム装置の内部を示す透視
図である。FIG. 2 is a perspective view showing the inside of the game device of the first embodiment.

【図３】第１の実施形態の恋愛シミュレーションゲーム
における、主人公キャラクタの選択を行うゲーム画面の
一例を示す図である。FIG. 3 is a diagram illustrating an example of a game screen for selecting a main character in the love simulation game according to the first embodiment.

【図４】第１の実施形態の恋愛シミュレーションゲーム
における、相手キャラクタの選択を行うゲーム画面の一
例を示す図である。FIG. 4 is a diagram illustrating an example of a game screen for selecting an opponent character in the love simulation game according to the first embodiment.

【図５】第１の実施形態の恋愛シミュレーションゲーム
における、リハーサル・モードのゲーム画面の一例を示
す図である。FIG. 5 is a diagram showing an example of a game screen in a rehearsal mode in the love simulation game according to the first embodiment.

【図６】第１の実施形態の恋愛シミュレーションゲーム
における、テイク・モードのゲーム画面の一例を示す図
である。FIG. 6 is a diagram illustrating an example of a game screen in a take mode in the love simulation game according to the first embodiment.

【図７】第１の実施形態の恋愛シミュレーションゲーム
における、プレイ・モードのゲーム画面の一例を示す図
である。FIG. 7 is a diagram illustrating an example of a game screen in a play mode in the love simulation game according to the first embodiment.

【図８】第１の実施形態におけるゲーム装置の機能ブロ
ックを示す図である。FIG. 8 is a diagram showing functional blocks of the game device according to the first embodiment.

【図９】人間の声の周波数分析結果の一例を示す図であ
って、（ａ）母音「あ」（ｂ）母音「い」（ｃ）母音
「う」をそれぞれ発音した場合の分析結果である。FIG. 9 is a diagram showing an example of a frequency analysis result of a human voice, in which (a) a vowel “A”, (b) a vowel “I”, and (c) a vowel “U” are pronounced, respectively. is there.

【図１０】人の口周辺における変位点を示す図であっ
て、（ａ）正面図、（ｂ）側面図である。FIGS. 10A and 10B are diagrams showing displacement points around the mouth of a person, wherein FIG. 10A is a front view and FIG.

【図１１】第１の実施形態における変位量テーブルの一
例を示すデータ構成図である。FIG. 11 is a data configuration diagram illustrating an example of a displacement amount table according to the first embodiment.

【図１２】第１の実施形態における変位量テーブルであ
って、表情全体を設定した一例を示すデータ構成図であ
る。FIG. 12 is a data configuration diagram illustrating an example of a displacement amount table according to the first embodiment in which an entire expression is set.

【図１３】第1の実施形態における変位量テーブルであ
って、身体動作を設定した一例を示すデータ構成図であ
る。FIG. 13 is a data configuration diagram illustrating an example of a displacement amount table according to the first embodiment in which a body motion is set.

【図１４】第1の実施形態における判定基準の一例を示
すデータ構成図である。FIG. 14 is a data configuration diagram illustrating an example of a determination criterion according to the first embodiment.

【図１５】第1の実施形態における恋愛シミュレーショ
ンゲームの基本的な処理の流れをしめすフロー図であ
る。FIG. 15 is a flowchart showing a basic processing flow of a love simulation game according to the first embodiment.

【図１６】図１５における、リハーサル・モードの処理
の流れを示すフロー図である。FIG. 16 is a flowchart showing a flow of processing in a rehearsal mode in FIG. 15;

【図１７】図１５における、テイク・モードの処理の流
れを示すフロー図である。FIG. 17 is a flowchart showing a flow of processing in a take mode in FIG. 15;

【図１８】（ａ）図１５における、プレイ・モードの処
理の流れを示すフロー図である。（ｂ）音声同期処理の
流れを示すフロー図である。FIG. 18 (a) is a flowchart showing a flow of processing in a play mode in FIG. (B) It is a flowchart which shows the flow of a voice synchronization process.

【図１９】第1の実施形態を実現できるハードウェア構
成の一例を示す図である。FIG. 19 is a diagram illustrating an example of a hardware configuration that can implement the first embodiment.

【図２０】本発明に係るゲーム装置を、家庭用ゲーム装
置に適用した場合の外観を示す図である。FIG. 20 is a diagram showing an appearance when the game device according to the present invention is applied to a home game device.

【図２１】第２の実施形態におけるカラオケゲームのゲ
ーム画面の一例を示す図である。FIG. 21 is a diagram illustrating an example of a game screen of a karaoke game according to the second embodiment.

【図２２】第２の実施形態における変位量テーブルの一
例を示す図である。FIG. 22 is a diagram illustrating an example of a displacement amount table according to the second embodiment.

【図２３】第２の実施形態における、結果映像のゲーム
画面の一例を示す図である。FIG. 23 is a diagram showing an example of a game screen of a result video in the second embodiment.

【図２４】第1の実施形態における変位量テーブルであ
って、感情表現効果表示物を設定した一例を示すデータ
構成図である。FIG. 24 is a data configuration diagram illustrating an example of a displacement amount table according to the first embodiment, in which an emotion expression effect display object is set.

【符号の説明】[Explanation of symbols]

４２ 操作部 ４４ 映像表示部 ４６ 音声入力部 ４８ 音声出力部 ５０ 記憶部 ５２ ゲーム情報 ５２１ キャラクタ決定プログラム ５２２ 音声入力プログラム ５２３ 音声解析プログラム ５２４ 音声同期プログラム ５２５ 評価プログラム ５２６ 音声エフェクトプログラム ５３１ コンテンツデータ ５３２ 単語認識辞書 ５３３ 感情認識辞書 ５３４ キャラクタモデル ５３５ 判定基準 ５３６ 変位量テーブル ６０ 制御部 ６２ ゲーム演算部 ６２２ 音声認識部 ６２２ キャラクタ決定部 ６２４ 音声解析部 ６２６ 音声同期部 ６２８ 評価部 ６４ 画像生成部 ６６ 音声生成部 ６６２ 音声エフェクト部 ７０ 外部記憶部 42 operation unit 44 video display unit 46 audio input unit 48 audio output unit 50 storage unit 52 game information 521 character determination program 522 audio input program 523 audio analysis program 524 audio synchronization program 525 evaluation program 526 audio effect program 531 content data 532 word recognition Dictionary 533 Emotion recognition dictionary 534 Character model 535 Judgment standard 536 Displacement amount table 60 Control unit 62 Game operation unit 622 Speech recognition unit 622 Character determination unit 624 Speech analysis unit 626 Speech synchronization unit 628 Evaluation unit 64 Image generation unit 66 Speech generation unit 662 Audio effect unit 70 External storage unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/10 Ｇ１０Ｌ 3/00 Ｓ 21/06 Ｆターム(参考） 2C001 BA02 BB10 CA00 CA07 CB01 CB06 CC02 CC08 5D015 FF06 KK01 LL10 LL12 5D045 AB11 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) G10L 15/10 G10L 3/00 S 21/06 F term (Reference) 2C001 BA02 BB10 CA00 CA07 CB01 CB06 CC02 CC08 5D015 FF06 KK01 LL10 LL12 5D045 AB11

Claims (17)

【特許請求の範囲】[Claims] 【請求項１】プロセッサによる演算・制御により、装置
に対して、 プレーヤが発する音声を入力する音声入力手段と、 前記音声入力手段により入力された音声を解析する音声
解析手段と、 前記音声入力手段により入力された音声を出力する音声
出力手段と、 前記音声解析手段による解析結果に基づいて、所与のキ
ャラクタの動作の内、少なくとも発話動作を制御するこ
とにより、前記音声出力手段により出力される音声に同
期した動作を前記所与のキャラクタに行わせる音声同期
手段と、 を機能させるためのゲーム情報。1. A speech input means for inputting a sound uttered by a player to a device by operation and control by a processor; a sound analysis means for analyzing a sound inputted by the sound input means; A voice output unit that outputs a voice input by the voice output unit, based on an analysis result by the voice analysis unit, by controlling at least a utterance motion of a motion of a given character, and is output by the voice output unit. And sound synchronizing means for causing the given character to perform an operation synchronized with sound. 【請求項２】請求項１に記載のゲーム情報であって、 前記音声解析手段が、周波数分析によって、前記音声入
力手段により入力された音声の、周波数成分毎の音圧レ
ベルを解析するための情報、を含むゲーム情報。2. The game information according to claim 1, wherein the sound analysis means analyzes a sound pressure level for each frequency component of the sound input by the sound input means by frequency analysis. Information, including game information. 【請求項３】請求項１または２に記載のゲーム情報であ
って、 前記音声解析手段が、前記音声入力手段から入力された
音声に基づいて、プレーヤの心理状態を解析するための
情報、を含むゲーム情報。3. The game information according to claim 1, wherein the voice analysis unit analyzes information for analyzing a player's mental state based on a voice input from the voice input unit. Game information including. 【請求項４】請求項３に記載のゲーム情報であって、 前記音声解析手段によるプレーヤの心理状態の解析結果
に基づいて、感情表現効果表示物を表示する手段、を前
記装置に機能させるための情報を含むゲーム情報。4. The game information according to claim 3, wherein the device is configured to function to display an emotion expression effect display based on a result of the analysis of the player's psychological state by the voice analysis unit. Game information including the information of the game. 【請求項５】請求項１から４の何れか一つに記載のゲー
ム情報であって、 前記音声同期手段が、更に、前記所与のキャラクタの表
情動作、身体動作、及び変形動作の内、少なくとも１つ
の動作を制御するための情報、を含むゲーム情報。5. The game information according to claim 1, wherein the voice synchronizing means further comprises: a facial expression motion, a body motion, and a deformation motion of the given character; Game information including information for controlling at least one operation. 【請求項６】請求項１から５の何れか一つに記載のゲー
ム情報であって、 前記音声同期手段が、前記音声解析手段による解析結果
に基づいて、変位点と、当該変位点における動作変位量
とを決定し、決定した変位点及び動作変位量に基づいて
前記所与のキャラクタの動作を制御するための情報と、 を含むゲーム情報。6. The game information according to claim 1, wherein the voice synchronizing means is configured to determine a displacement point and an operation at the displacement point based on an analysis result by the voice analysis means. Information for determining a displacement amount and controlling the motion of the given character based on the determined displacement point and the determined motion displacement amount. 【請求項７】請求項６に記載のゲーム情報であって、 前記音声同期手段による制御対象となるキャラクタを決
定するキャラクタ決定手段、を前記装置に機能させるた
めの情報と、 前記音声同期手段が、前記キャラクタ決定手段により決
定されたキャラクタの動作を制御するための情報と、 を含むゲーム情報。7. The game information according to claim 6, wherein: information for causing the device to function as a character determining unit that determines a character to be controlled by the voice synchronizing unit; And information for controlling the motion of the character determined by the character determining means. 【請求項８】請求項７に記載のゲーム情報であって、 前記キャラクタ決定手段が、複数の候補キャラクタを表
示し、プレーヤの操作入力に基づいて前記音声同期手段
による制御対象となるキャラクタを決定するための情
報、を含むゲーム情報。8. The game information according to claim 7, wherein the character determination means displays a plurality of candidate characters, and determines a character to be controlled by the voice synchronization means based on a player's operation input. Information, including game information. 【請求項９】請求項７に記載のゲーム情報であって、 前記キャラクタ決定手段が、前記音声解析手段による解
析結果に基づいて、前記音声同期手段による制御対象と
なるキャラクタを決定するための情報、を含むゲーム情
報。9. The game information according to claim 7, wherein the character determination means determines a character to be controlled by the voice synchronization means based on an analysis result by the voice analysis means. , Including game information. 【請求項１０】請求項７から９の何れか一つに記載のゲ
ーム情報であって、 前記音声出力手段が、前記キャラクタ決定手段により決
定されたキャラクタに応じて、前記音声入力手段により
入力された音声を加工して出力するための情報、を含む
ゲーム情報。10. The game information according to claim 7, wherein said voice output means is input by said voice input means in accordance with a character determined by said character determination means. Game information including information for processing and outputting the processed sound. 【請求項１１】請求項１から１０の何れか一つに記載の
ゲーム情報であって、 前記音声解析手段による解析結果に基づいて、前記音声
入力手段から入力された音声を評価する評価手段、を前
記装置に機能させるための情報を含むゲーム情報。11. The game information according to any one of claims 1 to 10, wherein the evaluation means evaluates a voice input from the voice input means based on a result of the analysis by the voice analysis means. Game information including information for causing the device to function. 【請求項１２】請求項１１に記載のゲーム情報であっ
て、 前記音声入力手段による音声の入力と、前記音声解析手
段による音声の解析と、前記音声出力手段による音声の
出力および前記音声同期手段によるキャラクタの動作制
御と、前記評価手段による音声の評価との一連の処理を
繰り返し実行させることによりゲームを進行する進行手
段、を前記装置に機能させるための情報を含むゲーム情
報。12. The game information according to claim 11, wherein: a voice input by said voice input means; a voice analysis by said voice analysis means; a voice output by said voice output means; and said voice synchronization means. Game information including information for causing the apparatus to function as a progression unit that progresses the game by repeatedly executing a series of processes of character motion control by the evaluation unit and voice evaluation by the evaluation unit. 【請求項１３】請求項１から１２の何れか一つに記載の
ゲーム情報を記憶する情報記憶媒体。13. An information storage medium for storing the game information according to any one of claims 1 to 12. 【請求項１４】プレーヤが発する音声を入力する音声入
力手段と、 前記音声入力手段により入力された音声を解析する音声
解析手段と、 前記音声入力手段により入力された音声を出力する音声
出力手段と、 前記音声解析手段による解析結果に基づいて、所与のキ
ャラクタの動作の内、少なくとも発話動作を制御するこ
とにより、前記音声出力手段により出力される音声に同
期した動作を前記所与のキャラクタに行わせる音声同期
手段と、 を備えることを特徴とするゲーム装置。14. Voice input means for inputting a voice uttered by a player; voice analysis means for analyzing a voice input by the voice input means; and voice output means for outputting a voice input by the voice input means. By controlling at least the utterance operation among the operations of the given character based on the analysis result by the audio analysis unit, the operation synchronized with the audio output by the audio output unit is applied to the given character. A game device comprising: voice synchronizing means for performing a game. 【請求項１５】請求項１４に記載のゲーム装置であっ
て、 前記音声解析手段が、周波数分析によって、前記音声入
力手段により入力された音声の、周波数成分毎の音圧レ
ベルを解析すること、を特徴とするゲーム装置。15. The game device according to claim 14, wherein the sound analysis means analyzes a sound pressure level for each frequency component of the sound input by the sound input means by frequency analysis. A game device characterized by the above-mentioned. 【請求項１６】請求項１４または１５に記載のゲーム情
報であって、 前記音声同期手段が、前記音声解析手段による解析結果
に基づいて、変位点と、当該変位点における動作変位量
とを決定し、決定した変位点及び動作変位量に基づいて
前記所与のキャラクタの動作を制御すること、を特徴と
するゲーム装置。16. The game information according to claim 14, wherein the voice synchronization means determines a displacement point and an amount of motion displacement at the displacement point based on an analysis result by the voice analysis means. And controlling the movement of the given character based on the determined displacement point and the determined amount of movement displacement. 【請求項１７】請求項１６に記載のゲーム装置であっ
て、 前記音声同期手段による制御対象となるキャラクタを決
定するキャラクタ決定手段を備え、 前記音声同期手段が、前記キャラクタ決定手段により決
定されたキャラクタの動作を制御すること、を特徴とす
るゲーム装置。17. The game device according to claim 16, further comprising character determination means for determining a character to be controlled by said voice synchronization means, wherein said voice synchronization means is determined by said character determination means. A game device for controlling the movement of a character.