JP3573288B2 - キャラクタの表示制御装置、表示制御方法及び記録媒体 - Google Patents

キャラクタの表示制御装置、表示制御方法及び記録媒体 Download PDF

Info

Publication number
JP3573288B2
JP3573288B2 JP53916399A JP53916399A JP3573288B2 JP 3573288 B2 JP3573288 B2 JP 3573288B2 JP 53916399 A JP53916399 A JP 53916399A JP 53916399 A JP53916399 A JP 53916399A JP 3573288 B2 JP3573288 B2 JP 3573288B2
Authority
JP
Japan
Prior art keywords
data
character
sound
sound source
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP53916399A
Other languages
English (en)
Inventor
信人 大関
清彦 山根
顕一郎 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Corp
Original Assignee
Konami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Corp filed Critical Konami Corp
Application granted granted Critical
Publication of JP3573288B2 publication Critical patent/JP3573288B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047Music games
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021Background music, e.g. for video sequences, elevator music
    • G10H2210/026Background music, e.g. for video sequences, elevator music for games, e.g. videogames
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/571Waveform compression, adapted for music synthesisers, sound banks or wavetables
    • G10H2250/591DPCM [delta pulse code modulation]
    • G10H2250/595ADPCM [adaptive differential pulse code modulation]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

技術分野
本発明は、例えば、ゲーム装置のディスプレイやパーソナルコンピュータのディスプレイ装置に画像表示されるキャラクタの姿態表現能力を、遊技者が選んだ音楽等に基づいて成長させるための表示制御技術に関する。
背景技術
近年、キャラクタを三次元CG(コンピュータグラフィック)画像で表現してより現実的な形態でゲームを行う種々のキャラクタ育成ゲームが開発されている。
現在、キャラクタ育成ゲームでは、遊技者が指定したキャラクタを飼育して増殖させるものや、初期時のキャラクタが、飼育される環境によって異なるキャラクタに変貌していくようなゲームが主流となっている。キャラクタが飼育される環境、すなわちキャラクタの成長要素としては、例えば、餌や水分の量等を電子化したパラメータが用いられる。遊技者は、あたかも人間がペットを飼育するが如く、キャラクタに対して餌や水分等を所定時間間隔で与えることにより、当該キャラクタの成長過程、すなわちキャラクタ画像が変化する形態を視認しながら楽しむようになっている。
ところで、上述のキャラクタ育成ゲームにおいて、キャラクタを成長するための成長要素は、予めゲーム設計者側で明示的にあるいは秘匿された状態で設定され、遊技者がその内容を任意に変更させることができない。そのため、遊技者によるキャラクタ育成形態やディスプレイ装置におけるそのキャラクタ画像の表現形態は、設定された成長要素の範囲のみに限定されており、より多面的な表現形態を作り出したり、遊技者の嗜好を表現形態に適宜反映させることはできなかった。
本発明は、キャラクタ画像の表示形態により多面的にし、且つその表現形態に遊技者の嗜好を反映させて興趣性を高めることができる、キャラクタの表示制御装置及び表示制御方法を提供することにある。
本発明の他の課題は、上記表示制御装置をコンピュータ上で実現するための記録媒体を提供することにある。
発明の開示
上記課題を解決するため、本発明の第1の表示制御装置は、音種、音強、音律、音調等の音特性に起因して成長するキャラクタの成長過程を所定のディスプレイ装置に画像表示させる表示制御装置であって、キャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データを保持するデータ保持手段と、音源データを入力するデータ入力手段と、前記音源データが入力されるたびに当該音源データの音特性を検出する検出手段と、検出された音特性に即して前記ディスプレイ装置に表示されているキャラクタの成長要素データを累積的に更新するデータ更新手段と、更新された前記成長要素データに基づいて、表示中の前記キャラクタの表現姿態を継続的に変化させる制御手段とを有することを特徴とする。
表示対象となる前記キャラクタは、例えば、それぞれ固有の識別情報によって選定可能な複数のキャラクタのいずれかである。前記データ保持手段は、一つのキャラクタが選定された場合に当該キャラクタに固有の前記成長要素データを特定できるように構成される。成長要素データを複数の遊技者の各々において管理したい場合は、前記データ保持手段を、キャラクタ画像毎の成長要素データを記録した交換自在のメモリを含んで構成し、このメモリから該当する成長要素データを特定できるようにする。
前記データ入力手段は、外部から音源データを入力するようにしても良いし、予め装置内に記録されている複数種類の音源データの一つを選択して入力するようにしても良い。
前記検出手段は、前記音源データの信号波形のピーク部分を特定してサンプリングし、サンプリングした波形に所定の演算処理を施すことで前記音特性を検出するように構成される。あるいは、前記演算処理により得られた周波数特徴に基づいて当該音特性を検出するようにする。
前記データ更新手段は、例えば、検出された音特性が既に保持されているものと同一であるときに、前記当該音特性の継続時間を累積し、この継続時間又は累積時間に応じて前記成長要素データを逐次変化させる。
前記音特性及び成長要素データは、それぞれ予め他のものと峻別可能な複数種類のデータで構成することができる。この場合、前記データ更新手段は、検出された音特性の種類に応じて該当する種類の成長要素データを逐次変化させるように構成する。
キャラクタのほかに、その背景環境の画像をも変化させたい場合は、背景環境を変化させるための背景データを前記成長要素データと関連付けておき、前記成長要素データに基づくキャラクタの姿態を表現する際に当該成長要素データに対応した前記背景データに基づく背景環境を前記ディスプレイ装置に表示させる背景環境画像管理手段をさらに備えて第1の表示制御装置を構成する。
本発明の第2の表示制御装置は、所定のディスプレイ装置に選択的に表示される複数のキャラクタの各々の動き及び表情の少なくとも一方を画像表現するためのアニメーションデータを、それぞれ複数のランクに分類して記憶したアニメーションデータ記憶手段と、前記複数のキャラクタの各々にそれぞれ音特性に関わる当該キャラクタ固有のパラメータを割り当てる割当手段と、音源データを入力するデータ入力手段と、前記音源データが入力されるたびに当該音源データの音特性を検出する検出手段と、所定の指示に基づいて前記複数のキャラクタの一つを選定するキャラクタ選定手段と、選定されたキャラクタに割り当てられたパラメータと前記検出された音特性との適合度に応じたランクを決定し、このランクに応じたアニメーションデータを前記アニメーションデータ記憶手段から呼び出すデータ読出手段と、読み出されたアニメーションデータをもとに前記ディスプレイ装置に表示される前記キャラクタ画像の表示形態を制御する制御手段とを有し、表示中のキャラクタの動き又は表情を音特性に応じて変化させることを特徴とする。
前記アニメーションデータ記憶手段には、同一ランク毎に複数のアニメーションデータが記憶されており、前記データ読出手段は、例えば、各ランクのアニメーションデータをランダムに読み出すように構成される。
前記割当手段では、音源データに基づく音再生時間、当該音源データのリズム帯、前記音再生時間の経過に従って変化する音調のいずれか、又はこれらの組み合わせを前記パラメータとして前記ランクを決定するためのランキング要素を包含させておく。この場合、前記データ読出手段は、前記ランキング要素をもとに前記ランクを決定するように構成する。
本発明の第3の表示制御装置は、所定のディスプレイ装置に表示されるキャラクタの表示形態に対して所定の効果表現を加える効果表現モジュールと、この効果表現モジュールの起動を可能にするための条件適合時に当該効果表現モジュールのアイテムを前記ディスプレイ装置に表示させるとともに、該表示に際して指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付け、該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させる制御手段とを有することを特徴とする。
本発明は、また、第1ないし第3の表示制御方法、及びこれらの表示制御方法をコンピュータに実行させるうえで好適となる第1ないし第3の記録媒体をも提供する。
本発明の第1の表示制御方法は、音種、音強、音律、音調等の音特性に起因して成長するキャラクタの成長過程を所定のディスプレイ装置に画像表示させる装置において実行される方法であり、表示対象となるキャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データをキャラクタ毎に保持しておき、前記装置に音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性に即して前記ディスプレイ装置に表示されているキャラクタの成長要素データを累積的に更新するとともに、更新された成長要素データに基づいて、当該キャラクタの表現姿態を継続的に変化させることを特徴とする。
キャラクタ画像の背景環境をも変化させる場合は、例えば背景環境を変化させるための背景データを前記成長要素データと関連付けておき、前記成長要素データに基づくキャラクタの姿態を表現する際に当該成長要素データに応じた内容の背景環境を前記背景データに基づいて前記ディスプレイ装置に表示させるようにする。
本発明の第2の表示制御方法は、所定のディスプレイ装置に選択的に表示される複数のキャラクタの表示制御方法であって、各キャラクタの動き及び表情の少なくとも一方を画像表現するためのアニメーションデータ群をそれぞれ異なる複数のランクに分類して保持するとともに、前記複数のキャラクタの各々にそれぞれ音特性に関わる当該キャラクタに固有のパラメータを割り当てておき、音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性と前記割り当てられたパラメータとの適合度に応じたランクの前記アニメーションデータを呼び出して前記ディスプレイ装置における前記キャラクタの表示形態を当該アニメーションデータに応じて変化させることを特徴とする。
本発明の第3の表示制御方法は、所定のディスプレイ装置にキャラクタを表示させる装置において実行される方法であって、所定の条件適合時に前記キャラクタの表示形態に所定の効果表現を加える効果表現モジュールのアイテムを前記ディスプレイ装置に表示させ、該表示に伴って指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付けるとともに、該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させて前記効果表現が反映された表示形態を形成することを特徴とする。
本発明の第1の記録媒体は、音特性に起因して成長するキャラクタ及びその背景環境の画像を所定のディスプレイ装置に表示させる手段と、音源データを入力する手段とを備えたコンピュータに下記の処理を実行させるためのプログラムコードが記録された記録媒体である。
(1−1)キャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データを保持する処理、
(1−2)音源データが入力されるたびに、この音源データの音特性に即して前記保持されている成長要素データを累積的に更新する処理、
(1−3)更新された成長要素データに基づいて、前記ディスプレイ装置に表示されているキャラクタの表示姿態を継続的に変化させる処理。
本発明の第2の記録媒体は、所定のディスプレイ装置にキャラクタを表示させる手段と音源データを入力する手段とを備えたコンピュータに下記の処理を実行させるためのプログラムコードが記録された記録媒体である。
(2−1)前記キャラクタの動き及び表情の少なくとも一方を表現するためのアニメーションデータ群をそれぞれ異なる複数のランクに分類して保持する処理、
(2−2)前記キャラクタに、音特性に関わる当該キャラクタ固有のパラメータを割り当てる処理、
(2−3)音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性と前記割り当てられたパラメータとの適合度に応じたランクの前記アニメーションデータを呼び出す処理、
(2−4)前記ディスプレイ装置における前記キャラクタの動き又は表情を当該呼び出したアニメーションデータに対応した形態に変化させる処理。
本発明の第3の記録媒体は、所定のディスプレイ装置にキャラクタを表示させる手段と、音源データを入力する手段とを備えたコンピュータに下記の処理を実行させるためのプログラムコードが記録された記録媒体である。
(3−1)所定の条件適合時に前記キャラクタの表示形態に所定の効果表現を加えるための効果表現モジュールのアイテムを前記ディスプレイ装置に表示させる処理、
(3−2)該アイテムの表示に伴って指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付ける処理、
(3−3)該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させる処理。
【図面の簡単な説明】
第1図は本発明が適用されるゲーム装置本体の例を示すハードウエア構成図であり、第2図は本発明の第1実施形態に係るビデオゲーム装置の構成例を示す機能ブロック図であり、第3図は第1実施形態のビデオゲーム装置における処理手順図であり、第4図は第1実施形態のビデオゲーム装置における処理手順図であり、第5図は第1実施形態による表示画像の一例を示す図であり、第6図は第1実施形態による表示画像の一例を示す図であり、第7図は第1実施形態による表示画像の一例を示す図である。
発明を実施するための最良の形態
以下、本発明をビデオゲーム装置に適用した場合の実施の形態を説明する。
(第1実施形態)
この実施形態では、音特性に起因して成長するキャラクタの成長過程をディスプレイ装置に表示させるビデオゲーム装置の例を挙げる。ここにいう「音特性」とは、例えば音種、音強、音律、音調、音の周波数、周波数ゆらぎ等であり、楽曲データの場合には、ジャンル、楽曲に対応する音声のノリ、音声者の性別等も含まれる。
前提として、ディスプレイ装置に表示されるキャラクタ及びその背景環境はポリゴンで構成されるCG画像であり、キャラクタの動き、表情、成長過程の姿態の変化、及びキャラクタの背景環境等の変化は、各ポリゴンを変形させるためのプログラムコードと、成長要素データ、背景データその他の変化パラメータとによって実現されるものとする。これらのプログラムコード等は、ビデオゲーム装置をコンピュータ上で実現するためのプログラムコード(以下、これらを総称したものを「ゲームプログラム」と称する)と共に、本発明の記録媒体の一例となるCD−ROMに予め記録されているものとする。
ここで「成長要素データ」とは、リズム感、ダンス技術、ノリ、体力、知性、歌唱力の少なくとも一つから成るキャラクタ固有の姿態表現能力の成長度合いを定量的に表すパラメータをいい、遊技者の上記知性等を当該キャラクタを通じて間接的に表現できるようにしたものである。この成長要素データは、キャラクタ毎に管理されており、その内容(定量データ)が、入力された音源データ、例えば、当該キャラクタを選定した遊技者が聴く楽曲等の音特性に応じて累積的に増減するようになっている。
「背景データ」は、キャラクタの背景環境を変化させるためのパラメータであり、成長要素データと関連付けられている。つまり、成長要素データの内容に応じて異なる背景情報が選定されるようになっている。
なお、本発明は、上記音特性を呈する音のソース(源)が問題となるので、音を表すデータとして「音源データ」なる表現を用いている。この音源データは、具体的には、楽器等に基づく楽曲の音特徴を表す楽曲データ、人間の発声音特徴を表す音声データ、効果音を表す効果音データ等である。音(ソース)の有無のみが問題となる場合、単に「音源」と称する場合がある。
[ゲーム装置本体]
まず、本実施形態のビデオゲーム装置を構成するためのゲーム装置本体について説明する。このゲーム装置本体については、例えば特開平8−212377号公報に記載されたものを用いることができる。
すなわち、ゲーム装置本体は、交換自在の上記CD−ROMからゲームプログラムを読み出して実行することにより、CG画像の生成、表示並びにその制御を行うものである。そのための具体的な構成例は、第1図に示すとおりであり、主制御部10、画像処理部20、音響処理部30、ディスク制御部40、通信制御部50、及び上記各機能ブロック10〜50を双方向通信可能に接続するためのメインバスBを具備してゲーム装置本体1を構成している。
主制御部10は、CPU11と、割込制御やDMA(ダイレクトメモリアクセス)転送制御等を行う周辺デバイスコントローラ12と、ゲームプログラム等を一時的に記録するためのメインメモリ13と、装置各部の統括的な管理乃至制御を行うオペレーティングシステム(OS)等が格納されたROM14とを備えている。
CPU11は、RISC(reduced instruction setcomputor)CPUであり、ROM14に記録されているOSとメインメモリ13内のゲームプログラムとをもとに、後述する複数の機能を実現するものである。
画像処理部20は、表示対象となるデータ類の座標変換等を高速に行うジオメトリトランスファエンジン(GTE)21と、CPU11からの描画指示に基づいてポリゴンやスプライト(三角形、四角形等の多角形)等の組み合わせから成るCG画像(キャラクタやその背景環境等)の描画処理を行うグラフィックスプロセッシングユニット(GPU)22と、GPU22により描画処理されたCG画像を一時的に記録するフレームバッファ23と、必要に応じて画像データのデコード処理を行う画像デコーダ(MDEC)24とを備えている。ディスプレイ装置25は、フレームバッファ23に記録されているCG画像を読み出して表示するものである。
GPU22による上記描画処理及びフレームバッファ23への記録を連続的に行うことにより、動画要素を含むCG画像をディスプレイ装置25に表示できるようになっている。
音響処理部30は、音源データに基づいて音声,楽音、効果音等を発生させるサウンド再生処理プロセッサ(SPU)31と、音声,楽音,効果音等のデータを一時的に記録するためのサウンドバッファ32と、スピーカ33とを備えている。SPU31は、例えば適応差分符号化(ADPCM)された音源データを再生するADPCM復号機能、サウンドバッファ32に記録されているデータをそのまま再生する機能、サウンドバッファ32に記録されているデータを変調させて再生する機能を有し、再生するデータの形態に応じて、これらの機能が自動的に使い分けられるようになっている。
ディスク制御部40は、CD−ROM44に記録されたゲームプログラムをCPU11が認識できるように再生する(以下、再生されたデータを「再生データ」と称する)ためのディスクドライブ装置41と、再生データにエラー訂正(ECC)符号が付加されている場合に、それを復号するCD−ROMデコーダ42と、ディスクドライブ装置41からの再生データをメインメモリ13に記録させる前に一時的に記録するバッファ43とを備えている。なお、デコーダ42は、音響処理部30の一部も構成しており、このデコーダ42の出力のうち、音源データに関するものは、SPU31に入力されるようになっている。
通信制御部50は、メインバスBを介してCPU11との通信の制御を行う通信制御デバイス51と、遊技者からの指示を受け付けるコントローラ52と、交換自在のメモリの一例であるメモリカード53とを備えている。
コントローラ52は、遊技者の意図、例えばゲーム開始、ゲーム中断、キャラクタの選定、音源データの入力指示、音再生等を指示するとともに、表示される種々のメニューやアイテムの選択等を行うためのインタフェース部品である。指示ないし選択されたデータは、同期式通信によって通信制御デバイス51に送信されるようになっている。
通信制御デバイス51は、コントローラ52から送られた指示内容を表すデータ(指示データ)をCPU11に送信する。これにより、遊技者の意図がCPU11に伝えられ、CPU11は、実行しているゲームプログラムに基づいて遊技者の意図に応じた処理を行うことができるようになる。通信制御デバイス51は、また、メモリカード53へのデータ記録と記録されたデータの読み出しを行う機能も有している。
音源入力部60は、外部からの入力音、例えばマイク63を通じて入力される音声を取り込んで音響処理部31等に渡すもので、音声処理プロセッサ(VPU)61と、音源データバッファ62とを備えている。
VPU61は、上述のSPU31と同様のADPCM復号機能、音源データバッファ62に記録されているデータをそのまま再生する機能、音源データバッファ62に記録されているデータを変調させて再生する機能等を有している。このような機能を備えることによって、音源入力部60をサンプリング音源として使用することができるようになる。
音源入力部60は、また、外部の音響処理装置等と協働してサンプリング音源として機能させることも可能である。例えば、メインバスBに接続されたパラレル入出力(I/O)71またはシリアル入出力(I/O)72の各ポートを介して楽曲や楽器音を再生するオーディオ装置や歌唱遊戯装置システム等の音響処理装置を接続するとともに、接続されたこれらの音響処理装置からの楽曲等をマイク63あるいは図示しない外部入力端子を通じて取り込むようにすることが可能である。
CPU11は、進行しているゲームの設定やゲームの終了時或いは途中の結果等を記録する必要があるときに、そのときの各種データを通信制御デバイス51に送信する。通信制御デバイス51は、当該CPU11からの送信データをメモリカード53に記録する。メモリカード53は、メインバスBから分離されているため、電源を入れた状態で、着脱することができる。これにより、ゲームの設定等を複数のメモリカード53に記録することができるようになっている。
なお、このゲーム装置本体1は、シリアルI/O72を介して他のビデオゲーム装置等との通信を行うことができるようになっている。
[ビデオゲーム装置]
上記構成のゲーム装置本体1において、CD−ROM44をディスクドライブ装置41に装着した状態で電源投入またはリセット処理を行うと、CPU11がROM14に記録されているOSを実行する。OSが実行されると、CPU11は、動作確認等の装置全体の初期化を行うとともに、ディスク制御部40を制御して、CD−ROM44に記録されているゲームプログラムをメインメモリ13に読み出して実行する。その際、画像表現データも随時読み出される。このゲームプログラムの実行により、CPU11は、第2図に示すような機能ブロックを形成してビデオゲーム装置2を実現する。
第2図に示されるように、本実施形態のビデオゲーム装置2は、入力データ解析処理部211、入力データ管理部212、背景情報処理部213、背景情報管理部214、キャラクタ処理部215、キャラクタ管理部216、キャラクタデータファイル217、指示解析部218、画面インタフェース部219、及び画像管理部220の機能ブロックを少なくとも具備して構成される。以下、これらの機能ブロックにより実行される処理内容につて説明する。
<音特性等の検出処理>
入力データ解析処理部211は、主として、VPU61を通じて入力された音源データ、CD−ROMデコーダ42からの音源データ(CD−ROM44に記録された音源データ)、あるいは後述する入力データ管理部212から入力された特定の音源データの音特性を解析(検出)し、解析結果を背景情報処理部213またはキャラクタ処理部215へ入力するものである。なお、音特性の解析が済んだ音源データのうち、遊技者が再生を指示したものは、音響処理部30に随時出力される。
音特性の解析には、種々の手法を採用することができる。
例えば対象となる音源データにおける特定の1〜2小節をサンプリングしてリズムの周期を解析し、当該音源データの属する種別、すなわちジャンルを特定し、これを音特性の一つとする。この処理は、音源データにおける信号波形ピーク部分に関連する楽器にはリズムセクション系の楽器が多く使用されることに着目し、該解析によって特定されたリズムセクション系の楽器構成から当該音源データのジャンルを特定する処理である。但し、上記解析のみでは十分なジャンル特定が出来ない場合がある。この場合は、当該音源データに所定のフィルタリングを施すことにより、音源データの特徴部分を局所的に捉えて解析をアシストするように構成する。
上記の解析手法によって、例えば、ロック/ポップス系、ボサノバ系、フュージョン系、ジャズ系、マーチ系、ワルツ系、テクノ系、レゲエ系等のジャンルを容易に特定することが可能となる。
リズム自体が特定しにくいジャンルである、クラッシック系、アンビエント系、ニューエイジサウンド系等に関しては、入力データ解析処理部211で解析された音源データの信号波形に基づいてその周波数特徴を検出し、この検出結果に基づいてジャンルを決定する。例えば、1/f(fは周波数)ゆらぎや、既知のα波及びβ波等の周波数特徴との類似性または相関を判定することで、ジャンルを特定するようにする。
また、音源データにおける特定の信号波形を解析することによって、楽曲構成、音韻、音調、音強、あるいは音強の変化等に基づく所謂楽曲に対応した音声の”ノリ”の良否、発声者の性別等を特定し、これらの情報を音特性とすることもできる。これは、例えば、参照元となる信号波形を、予めメインメモリ13等に展開しておき、あるいはCD−ROM44から直接読み込み、音源データ及び参照元の2信号波形間の類似度をフーリエ変換(FFT)を施すことによって定量的に判定することで実現することができる。
なお、音特性の解析結果は、例えば、グラフ形式等のように可視化して、画像管理部220を介して遊技者に実時間で提示したり、スペクトラムアナライザやオシロスコープのような計測装置に表示させるようにしても良い。
入力データ解析処理部211は、さらに、上記のようにして解析したリズムの周期とコントローラ52における遊技者のボタン入力タイミングとの同期性の検出をも音特性の解析の一部として行う。例えば、遊技者が現在聴いている音のリズムにあわせてコントローラ52のボタン入力を行う場合に、どれだけ正確にボタン入力できたかどうかを定量的に検出する。この検出結果は、キャラクタ処理部215に入力される。入力データ解析処理部211は、さらに、遊技者がマイク63を通じて入力したキャラクタや背景環境等の指定内容を認識する機能をも有する。認識された指定内容は、背景情報処理部213またはキャラクタ処理部215に入力される。
<既登録の音源データの管理処理>
音源データ、例えば楽曲データは、予めゲーム装置内に登録しておき、これを遊技者の指示によって随時読み出されるようにすることもできる。すなわち、入力データ管理部212に、例えば音楽CDから取り込んだ楽曲データを登録しておき、これを公知のTOC(Table of Contents)を用いて随時呼び出し可能な形態で管理する。具体的には、TOCに、曲数、曲名、個々の曲のアーティスト名、再生時間等の情報を登録済みの楽曲データとリンクさせておき、遊技者から例えば曲名やアーティスト名等が指示されたときに、対応する楽曲データを索出して入力データ解析処理部211に入力する。
<背景環境画像に関する処理>
背景情報処理部213は、キャラクタの背景環境画像の表示を変化させるための処理を背景情報管理部214と協働して実行するものであり、背景情報管理処理部214は、上記処理の実行時に必要な背景情報の管理を行うものである。この背景情報は、例えば、ゲームプログラムが実行される際に読み出される変化パラメータ(この場合は、背景データ)から抽出されて、図示しないメモリ領域に保持される。
背景情報処理部213,背景情報管理部214の動作は、具体的には次のようになる。
背景情報処理部213は、入力データ解析処理部211から音特性が入力されたときに、その音特性に応じた背景情報の読出指示を背景情報管理部214へ送る。背景情報管理部214は、該当する背景情報を読み出して背景情報処理部213へ送出する。この背景情報は、背景情報処理部213から画像管理部220へ送出される。
背景情報管理部214は、また、遊技者から画面インタフェース部219を通じて、あるいはマイク63を通じて指示された背景情報を背景情報処理部213へ送出する。後述するように、キャラクタ管理部216からの指示によっても特定の背景情報を背景情報処理部213へ送出するようになっている。
<キャラクタ画像に関する処理>
キャラクタ処理部215は、キャラクタ画像の表示形態、特にキャラクタ画像の成長過程での表示姿態を変化させるための処理をキャラクタ管理部216と協働して実行するものであり、キャラクタ管理部216は、キャラクタ画像の表示姿態を決定するためのデータの管理を行うものである。キャラクタデータファイル217には、複数のキャラクタ画像の姿態形成要素と、個々のキャラクタについての成長要素データと、音特性に応じた定量データ、例えば数値又は係数を導出するための判定テーブルとが格納されている。
判定テーブルは、音特性が入力されたときに、その音特性を定量化し、これを従前の成長要素データに累積的に反映させるために使用されるものである。より単純には、成長要素データを定量データの一例である数値で表し、音特性を音(ソース)の有無とする場合に、音特性が入力されるたびに成長要素データの数値を大きくさせるために使用される。実際には、ジャンルは、ロック/ポップス系、ボサノバ系、フュージョン系、ジャズ系、マーチ系、ワルツ系、テクノ系、レゲエ系のように複数定め、さらに、楽曲構成、音韻、音調、音強、あるいは音強の変化等に基づく所謂楽曲に対応した音声の”ノリ”の良否、発声者の性別等をも音特性とするので、これらが詳細に識別できるような形態の定量データを定める。例えばジャンル毎に数値の単位を変えたり、特定のジャンルについては数値を減少させたり、あるいはジャンル毎に異なる係数を定めたりする。その他の音特性の要素についても同様な重み付けを行う。重み付けの程度は、使用する用途等に応じて予め設定しておく。
また、本実施形態では、個々のキャラクタのリズム感、ダンス技術、ノリ、体力、知性、歌唱力等の姿態表現能力を総合的に成長要素データとして扱うので、これらが個別的に識別できるような形態の定量データを定める。例えば、「リズム感」であれば、前述のリズムの周期とコントローラ52における遊技者のボタン入力タイミングとの同期性の検出結果を定量データとし、同期性が良いほどリズム感が高くなるようにする。「知性」であれば、音源データの入力頻度を定量データとする。つまり、曲の種別を問わず、遊技者が、ある音、例えば楽曲を聴く回数が多くなるにつれて、知性が高くなるようにする。「ダンス技術」であれば、音源データの楽曲種別を定量データとする。つまり、レゲエ系であれば、ダンス技術もレゲエ系についてのダンス技術が高くなるようにする。「ノリ」であれば、参照元の信号波形と音源データから抽出した信号波形間の類似度を定量データとし、類似度が高くなるほど、ノリが良いと判定されるようにする。
なお、判定テーブルは、キャラクタ管理部216が備えていても良い。また、キャラクタ毎の成長要素要素データは、メモリカード53に記録しておき、ゲーム時にこのメモリカード53をゲーム本体1に装着して読み取るようにしても良い。
キャラクタ処理部215,キャラクタ管理部216の動作は、具体的には次のようになる。
キャラクタ処理部215は、入力データ解析処理部211から音特性が入力されるたびに、その時点の成長要素データに対応する姿態表現を行うためのキャラクタの姿態形成要素(CG画像のポリゴンデータ等)の読み出しを、キャラクタ管理部216に指示する。
キャラクタ管理部216は、キャラクタ処理部215からの指示に基づき、キャラクタデータファイル217から該当する姿態形成要素を読み出し、これをキャラクタ処理部215に送出する。読み出された姿態形成要素は、キャラクタ処理部215から画像管理部220へ逐次送出される。
キャラクタ管理部216は、また、音特性が入力されるたびに、上記判定テーブルにおける当該キャラクタ画像についての成長要素データを累積的に反映させるための処理を行う。あるいは、同一音特性の入力が複数区間に亘って継続される場合に、当該音特性の次区間の成長要素データを、前区間の成長要素データに累積的に反映させるための処理を行う。具体的には、音特性に応じた定量データ、例えば判定テーブルに規定された数値に応じて従前の成長要素データの該当要素(知性、ダンス技術等のような個別的な姿態表現能力を表すデータ)を随時更新する。更新に際しては、値が増加する場合もあれば減少する場合もある。同一音特性が繰り返し入力される場合は、通常、成長要素データのうち該当する部分の値は増加する。キャラクタ管理部216は、このようにして累積的に成長要素データの内容に対応した姿態形成要素をキャラクタデータファイル217から抽出してキャラクタ処理部215へ送出することになる。
このようにすることで、キャラクタは、例えば遊技者の音楽の趣向性を反映した形態でディスプレイ装置25に表示されるようになる。また、特定の音特性が繰り返し、あるいは継続して入力されるたびに、当該音特性に起因する成長要素データも累積的に変化し、キャラクタの表現姿態が順次成長していく。これにより、遊技者は、自己の選択した音源データに応じてキャラクタが成長していく過程をCG画像によって客観的に把握できるようになる。
キャラクタ管理部216は、また、成長要素データが所定値に達するたびに、背景情報管理部214へ所定の指示データを送出する。これは、成長要素データの内容に応じた背景環境画像をデイスプレイに表示させるためである。
なお、複数のキャラクタのうち特定のものの識別情報が、画面インタフェース部219を通じて遊技者から指示された場合、キャラクタ管理部216は、該当するキャラクタについてのその時点の成長要素データに対応する姿態形成要素をキャラクタ処理部215へ送出する。
<遊技者からの指示解析処理>
遊技者からの指示内容は、指示解析部218で解析される。
すなわち、上述の通信制御デバイス51を介してコントローラ52から指示データが入力された場合、指示解析部218は、その指示データの内容を解読して所要のデータ処理を行う。指示データとしては、遊技者による表示対象となるキャラクタの指定等がある。例えば、特定のキャラクタが指定された場合、それがゲーム開始時等であれば、デフォルト値として設定されたキャラクタの成長要素データを、キャラクタデータファイル217からキャラクタ管理部216に読み出させ、これをキャラクタ処理部215を介して画像管理部220に送出させる。これによってディスプレイ装置25に予め定めたキャラクタの画像が表示される。
指示解析部218は、また、ゲーム開始ないし再開を認識した場合に、CD−ROM44内のゲームプログラムやメモリカード53内のセーブデータをメインメモリ13に展開してゲーム遂行に必要な環境を整える。また、ゲーム中断を認識した場合に、ゲーム進行状況、現在表示されているキャラクタの姿態形成要素及び背景情報をメモリカード53にセーブする機能をも有する。
<画像表示処理>
ディスプレイ装置25への画像表示処理については、画面インタフェース部219及び画像管理部220が関わる。画面インタフェース部219は、遊技者がコントローラ52を通じて自己の意図を入力しやすくするための各種メニュー画面やアイテムを作成して画像管理部220へ送出するものである。この画面インタフェース部219は、遊技者によるキャラクタの操作に関わる部分のほか、例えば、遊技者が希望するキャラクタを選択するためのキャラクタ選択メニュー画面やアイテム、後述のキャラクタ設定メニュー画面をも作成する。
画像管理部220は、背景情報やキャラクタの姿態形成要素と前述のGTE21,GPU22とを用いて表示用のCG画像を生成し、これをディスプレイ装置25に表示させる。また、例えば、キャラクタ選択メニュー等のメニュー画面やアイテム、あるいはキャラクタ紹介データ表示用のウインドウ等を適宜ディスプレイ装置25に表示させる。
[キャラクタ等の表示制御1]
次に、本実施形態のビデオゲーム装置2による表示制御方法を、第3図及び第4図を参照して説明する。
<キャラクタ等の選定>
第3図において、遊技者からコントローラ52を通じてゲーム開始(または再開)が指示されると、指示解析部218は、遊技者からの明示のキャラクタ指定かどうかを判定する(ステップS101)。遊技者からの指定形態としては、2形態ある。一つはマイク入力による形態であり、他の一つは画面インタフェース部219を通じて行う形態である。遊技者からの指定であり、且つそれがマイク入力であった場合は、マイク63を通じて入力された音声の認識処理を行い(ステップS101:Yes、S102:Yes、S103)、その内容に対応したキャラクタ及びその背景環境を設定する(ステップS106)。
遊技者からの指定であるがマイク入力ではなかった場合は(ステップS101:Yes、S102:No)、所定の初期設定画面をディスプレイ装置25に表示させる(ステップS101:Yes、S102:No、S104)。画面インタフェース部219を通じて設定データが入力された場合は、その設定データに対応するキャラクタ及びその背景環境を設定する(ステップS106)。
遊技者からの指定でなかった場合は、音源データが入力されたことを意味するので、その音源データの音特性を解析し、解析結果に基づいて自動的に対応するキャラクタ及びその背景環境を設定する(ステップS101:No、S105、S106)。
<成長要素となる音源データの入力・解析>
キャラクタ及び背景環境が設定され、画像がディスプレイ装置2に表示されると、入力データ解析処理部211で、キャラクタの成長要素となる音源がゲーム装置内に有るかどうかを判定する。音源が無かった場合は(ステップS107:No)、例えばCD−ROMデコーダ42からの音源データの入力処理を実行する(ステップS111)。一方、音源が有る場合は(ステップS107:Yes)、それがTOCに登録されているかどうかを調べ、登録されていた場合は(ステップS108:Yes)、TOCを参照して登録済みの音源データを索出する(ステップS109、S110)。TOCに登録されていなかった場合は、TOCを経由せず、直接その音源データを取り込む(ステップS108:No、S110)。このようにして取得された音源データの音特性は、入力データ解析処理部211で解析される(ステップS112)。
第4図に移り、入力された音源データに対応して、コントローラ52からのボタン入力が検出された場合(ステップS113:Yes)、入力データ解析処理部211は、当該ボタン入力タイミングと音源データのリズムとの同期状況を検出し(ステップS114)、この同期状況の解析結果をキャラクタ処理部215を通じてキャラクタ管理部216へ送る。遊技者からのボタン入力が無かった場合は、上記ステップS112における音源データの解析結果のみがキャラクタ処理部215を通じてキャラクタ管理部216へ送られる(ステップS113:No)。キャラクタ管理部216は、対応するキャラクタについての成長要素データを更新し、更新後の成長要素データに基づくキャラクタの姿態形成要素及び背景情報を索出し、これをキャラクタ処理部215を通じて画像管理部220へ送る。これにより、キャラクタ等に関わる画像処理が行われる(ステップS116)。
次の音源データが有る場合はステップS112の処理を行う(ステップS117:Yes)。
以上の処理を、ゲーム終了がコントローラ52を通じて指示されるまで繰り返す(ステップS118:NO)。ゲームの終了が指示された場合は、必要に応じてデータセーブを行って処理を終える(ステップS118:Yes)。
なお、ゲーム中の中断がコントローラ52を介して指示される場合、必要に応じてメモリカード53にデータセーブを行う。ゲームを再開するときは、当該遊技者についてのセーブデータをメモリカード53から読み出し、中断時のキャラクタに対応する画像を表示させる。これにより、遊技者は、中断した時点からのゲーム再開が可能になる。
また、上記ステップS101〜106におけるキャラクタ及び背景の選択は、随時可能なものである。
<画像表示例>
次に、画像管理部220を通じてディスプレイ装置25に表示されるキャラクタ及び背景の表示画像の具体例を、第5図〜第7図により説明する。
第5図の符号5Aは、上記ステップS104におけるキャラクタの設定画面である。この設定画面5Aでは、キャラクタ(図右下)と当該キャラクタに対応する現在の成長要素データ(図左上)が表示される。初期設定時には、この成長要素データの表示は、初期値となる。
第5図の符号5Bは、符号5Aにおけるキャラクタに対して遊技者が音源データを繰り返し、又は継続的に入力した場合の、表現姿態の変化例を示した表示画面である。この表示画面5Bでは、入力データ解析処理部211により解析された音特性(ジャンル)が「レゲエ系」であるときに、キャラクタ画像が「レゲエ系」に変身(成長)してレゲエ系ダンスをしている状態を示している。また、この例では、設定画面5Aのキャラクタと比較して、キャラクタの頭部に「ト音記号」で示されるシンボルの濃度が濃くなっており、音源データに基づいて成長していることを表している。
なお、同一のレゲエ系の音源データが複数区間に亘って継続して入力される場合は、当該音源データの音特性に対応する成長要素データが区間毎に累積的に反映される結果、当初の表示画面5Aのキャラクタの表現姿態が、徐々に表示画面5Bのキャラクタ画像のように成長していく。
第6図の符号6Aは、キャラクタが歌っている姿態を示した表示画面である。このキャラクタの姿態は、例えば上記のステップS102における遊技者からの指示や、ステップS111の処理時に取得した音源データに連動して形成される。このとき、例えばボーカルの多い音源データが多く入力されるほど、成長要素データの「表現力」も豊かになるようになっている。また、音特性を解析する際に、参照元となる信号波形と入力された音源データの信号波形がどの程度類似するかを判定することで、キャラクタ画像の表情や挙動を変化させるようにすることもできる。図示の例では、信号波形間の類似度が閾値以下であったため、つまり、音程やリズムがずれていたため、キャラクタ画像がやや呆れた表情を呈している。
第6図の符号6Bは、表示画像における背景環境が変化した状態を示した表示画面である。この背景環境は、例えば、予め設定されたデフォルト値に対して、上記ステップ103及び104における遊技者からの指定や、入力データ解析処理部211により解析された音特性に基づいて変化するものである。この表示画面6Bでは、例えば、遊技者からのレゲエ系の音楽を表す音源データが入力されたことに伴い、当該音楽をイメージするような背景データが選定され、「南の島」に背景環境が変化したことを示している。
第7図の符号7A及び7Bは、キャラクタが「飽きた」状態を示す表示画面である。この表示形態は、例えば、遊技者から予め遊技者が設定した特定の音楽(初期設定時に設定した音楽)を表す音源データが繰り返して何回も用いられるような場合や、上述の信号波形が基準信号波形よりも著しく異なる場合等に形成される。
この表示形態を形成するためには、入力データ解析処理部211を、特定の音源データが予め設定された回数繰り返されるような状態を検出し、その結果をキャラクタ管理部216に出力するようにすれば良い。表示画面7A,7Bの例では、キャラクタが繰り返される同一の音源データに飽きて、家に帰って閉じこもってしまう例を示している。
第7図の表示画面7Cは、キャラクタ及び背景環境を重畳させて表示させた表示画面を示している。この例では、入力された「レゲエ系」の音源データの信号波形が予め設定された信号波形と合致していたり、遊技者からの音声データが予め設定された信号波形と一定以上類似していた場合に形成される。この例では、キャラクタが、符号6Bの背景環境上でその音楽をイメージするような挙動でダンスしている。遊技者は、この表示形態によって、音楽に対する自己の嗜好傾向を客観視することができるようになる。
なお、上記第5図〜第7図における表示画面5A〜7Cに示したキャラクタ画像及びその背景環境画像は、この例に限定されるものではなく、遊技者に対するキャラクタの成長過程における興趣性を高めるような演出を考慮して任意に変形が可能である。つまり、遊技者からの明示的な指定、及び音源データの種別等にキャラクタ及び背景技術を予め系統化して対応付けることにより、対応する表示画像が対応する形態で表示されるように適宜構成すれば良い。これにより、遊技者からは、入力した音源データに基づいてリアルタイムに千変万化するキャラクタ成長過程におけるキャラクタ及び背景環境のビジュアルな変化を楽しむことが可能となる。
また、本実施形態のビデオゲーム装置2では、複数のキャラクタ同士の成長度合いを競合させるゲーム形態が可能である。例えば、キャラクタの成長要素データの一つであるダンス能力を競うダンス大会を企画し、成長過程で培われたそれぞれのキャラクタの過去のダンス能力を客観的に評価できるようにビジュアル化する。
このように、本実施形態のビデオゲーム装置2では、音源データに応じてキャラクタの表現姿態等を逐次変化させることにより、遊技者の嗜好を反映させた、興趣性の高いキャラクタ育成ゲームが実現可能となる。
(第2実施形態)
次に、ディスプレイ装置25に表示するキャラクタの動きや表情、つまりアニメーション内容を、遊技者が聴く音に応じて随時変化させるビデオゲーム装置の例を挙げる。
これを実現するためのビデオゲーム装置の構成は、基本的には第2図に示した第1実施形態のゲーム装置2と同様であるが、以下のようなデータ、テーブル、機能を追加する。
・キャラクタデータファイル217にアニメーションデータ、つまりキャラクタの動き又は表情の少なくとも一方を表現するためのデータを複数種類用意するとともに、キャラクタ毎の音特性を割り当てるためのアニメーションテーブルを格納する。
・入力データ解析処理部211に、入力された音源データの音特性、特にリズムやトラック長を検出するための音特性解析機能を追加する。
・キャラクタ管理部216に、解析された音特性や遊技者によって、複数のキャラクタから選定された各々のキャラクタに応じてアニメーションテーブルに基づくアニメーションデータを呼び出すデータ呼び出し機能を追加する。
・画像管理部220に、アニメーションデータの内容をキャラクタの表示形態に反映させる画像制御機能を追加する。
<アニメーションデータ>
アニメーションデータは、キャラクタの動きあるいは表情等の種類毎に複数のグループで分類されており、個々のグループ毎あるいは分類毎にそれぞれランク付けがされている。そして、ランクが高いほど大きい動きや豊かな表情を形成するためのアニメーションデータが呼び出されるようにする。アニメーションデータの呼び出しは、アニメーションテーブルに記録されているキャラクタ固有のパラメータに応じて、各グループあるいは分類からランダムに行われるようにする。
<アニメーションテーブル>
アニメーションテーブルに記録される、キャラクタ固有のパラメータとしては、例えば、予めキャラクタ別に定めた得意な曲時間、得意なリズム帯、曲の盛り上がり、ダンスレベル等がある。これらのパラメータは、必要に応じて更新することができる。
「得意な曲時間」とは、例えば30秒の曲用、60秒の曲用、90秒の曲用・・・のように、遊技者により選択されるキャラクタに一意に割り振られている楽曲用音源データの再生予定時間である。60秒が割り振られたキャラクタの得意な曲時間は、60秒ということになる。アニメーションデータは、この得意な曲時間に対応したランクのグループ又は分類から呼び出される。つまり、遊技者が選択したキャラクタの得意な曲時間と実際に再生される楽曲のトラック長が同じ場合は予め定めたランキング要素(係数1)に基づくランク、そうでない場合は、予め定めたランクよりも低いランクのアニメーションデータが呼び出されるようになっている。後者の場合は、本来のキャラクタの動きや表情が再生されない。
「得意なリズム帯」も同様に、遊技者に選択されるキャラクタ毎に一意に割り振られているリズム帯である。この実施形態では、1拍が10/30秒〜13/30秒の第1リズム帯、1拍が14/30秒〜17/30秒の第2リズム帯、1拍が18/30秒〜24/30秒の第3リズム帯のいずれかを各キャラクタに割り振っている。音源データに基づいて再生される楽曲が、表示中のキャラクタにとって得意なリズムである場合は、ランキング要素(係数)を高めるか、あるいは「ダンスレベル」に点数を加算することで、大きな動きや豊かな表情が得られるようにする。得意なリズム帯でなかった場合は、得意な曲時間の場合と同様、本来のキャラクタの動きや表情が得られないようにする。なお、再生中の楽曲が上記第1乃至第3リズム帯以外のものであった場合は、最も近似するリズム帯に丸め込む処理を行う。
「曲の盛り上がり」は、再生中の楽曲の実際のトラック長と表示中のキャラクタに割り振られている得意な曲時間に応じて曲全体に振り分けられる、画像表示効果を増減させるためのパラメータである。このパラメータは、具体的には所定時間が経過するたびに、予め予定された順序で段階的に変化する点数「0」〜「2」等であり、これがランキング要素となる。例えば、再生する曲のトラック長が60秒であり、且つ表示中のキャラクタの得意な曲時間も60秒であれば、例えば、5秒経過後に「1」、10秒経過後に「0」、20秒経過後に「1」、35秒経過後に「2」、45秒経過後に「1」、59秒経過後に「0」の点数が得られるようにする。これらの点数の配分は、得意な曲時間に最適なものになっている。従って、再生された楽曲のトラック長が得意な曲時間と合致しない場合は、1曲毎の点数の増加が少なくなるようになっている。点数は「ダンスレベル」に随時反映される。
「ダンスレベル」は、キャラクタの動きの変化の度合い、表情の豊かさを表すパラメータであり、曲が再生される際に、上述の各点数の加算合計によって上昇するようになっている。点数が増加した場合は、それに対応したランクのアニメーションデータが呼び出され、動きや表情の豊かさが大きいキャラクタ画像が表示される。なお、ダンスレベルによるキャラクタの動き等は、段階的に変化する。本例では、最大で8段階まで上昇するようにするが、段階数は任意であっても良い。
なお、アニメーションデータのランク、得意な曲時間、得意なリズム帯、曲の盛り上がり、リズムレベル等のランキング要素については遊技者に設定させても良いが、ゲームの興趣性を考慮すると、秘匿された形態で設定しておくことが好ましい。
[キャラクタ等の表示制御2]
第2実施形態のゲーム装置による表示制御方法は以下のようになる。
複数のキャラクタのいずれかを選定してディスプレイ装置25に表示させる。キャラクタの選定の仕方は第1実施形態のゲーム装置と同じである。
遊技者が楽曲を聴く度に、この楽曲に対応する音源データ(楽曲データ)の音特性を検出し、検出された音特性とパラメータとの適合度に応じたランクのアニメーションデータを呼び出してディスプレイ装置25におけるキャラクタ画像の表示形態を当該アニメーションデータに応じて変化させる。
これにより、例えば、市販音楽CDのビートやリズムに応じて、そのときのダンスレベルや盛り上がりの程度に応じた動きや表情のキャラクタの画像が表示されるようになり、興趣に富んだ表示形態を実現することが可能になる。
(第3実施形態)
次に、第2実施形態のビデオゲーム装置において、点数の取得状況に応じて、あるいは楽曲再生の累積時間に応じて、任意の時点でキャラクタまたは背景環境の表示形態に種々の効果表現を加える場合の例を挙げる。
この場合のビデオゲーム装置は、第2実施形態のビデオゲーム装置に、所定の効果画面を形成させるビジュアル・エフェクト(VE)モジュール、所定の効果音を発出するサウンド・エフェクト(SE)モジュール、VEモジュール等の起動条件を判定する条件判定モジュール、条件適合時にVEモジュール等に対応するアイテムを遊技者に提示するとともにこの提示に伴って遊技者が選択した入力装置、例えばコントローラ52の空いているキーに、VEモジュール等を起動させるための起動データを割り付ける割付モジュール、入力装置を通じて指示が入力された任意の時点でVEモジュール等を起動させて該当する効果表現が反映された表示形態を形成する制御モジュールを追加する。
条件判定モジュールにおける条件適合の判定要素は任意に設定可能であるが、本実施形態では、アニメーションテーブルの「ダンスレベル」の点数の累積値、又は楽曲の再生累積時間の一方とする。これらの累積値等がある設定値に達したかどうかで条件適合の有無を判定する。設定値は段階的になっており、各段階で条件に適合したときに、その旨を表すデータが出力される。
VEモジュール等は、それぞれ複数段階の効果表現のものが用意されている。例えばSEモジュールでは、上記累積値等が大きくなるにつれてその再生時間が段階的に長くなる祝音や楽曲を発出する。VEモジュールも、上記累積値等が大きくなるにつれて、背景環境画像を通常のもの乃至その前の段階のものから変化させる。変化の態様例としては、背景環境画像の光量を増したり、点滅させたり、色を変化させたり、模様をより華やかにしたり、特別なキャラクタ画像を登場させたりすることが考えられる。
[キャラクタ等の表示制御3]
この実施形態のビデオゲーム装置による表示制御方法は、次のようになる。
まず、複数のキャラクタのいずれかを選定してディスプレイ装置25に画像表示させる。キャラクタの選定の仕方は第1実施形態のゲーム装置と同じである。
動作時には、遊技者が楽曲を聴く度に、楽曲の再生時間を累積し、累積時間が予め設定した複数段階の設定時間に達したかどうかを判定する。各段階においてVEモジュール等が起動可能な場面になると、その旨を表すアイテムをディスプレイ装置25に表示させる。遊技者が該当するアイテムを選択したことを検知すると、そのアイテムに対応するVEモジュールを起動させるためのボタン設定指示画面を提示する。遊技者は、コントローラ52のボタンのうち、プレイ中に使用する曲送り、ポーズ、表示切替等を除く任意のボタンを設定指示画面上で指示する。これを検知したときは、遊技者が指示したボタンに、VEモジュール等を起動させるための起動データを割り付ける。
これにより、遊技者は、音楽CDの再生中、再生後の任意の時点でそのボタンを押すことで、効果表現が反映された表示形態や効果音を楽しむことができる。
このように、本発明によれば、例えば、汎用性の高い一般的なエンタテイメントである音楽等に基づいてキャラクタの表示形態を随時変化させることができ、老若男女の区別なく、広範囲なユーザを対象とするビデオゲーム装置を提供することが可能になる。
本発明の説明は以上のとおりであるが、本発明の記録媒体をローディングすることにより、ビデオゲーム装置のみならず、例えば、CG画像を用いた音響処理装置やパーソナルコンピュータ上でも同様に実施が可能である。音響処理装置の場合は、例えば、遊技者毎にそれぞれキャラクタ画像を選択し、遊技者の歌唱時における画面の一部に当該選択したキャラクタ画像及び背景環境画像を表示するように構成する。この場合、キャラクタの画像は、遊技者が選択した楽曲データ、及び遊技者の歌唱による音声データの音特性を要素として変化する。また、公知の歌唱力採点機能と併用して遊技者の歌唱力に基づいたキャラクタ画像を表示するようにすると、より娯楽性に富んだ歌唱遊技装置を実現することが可能となる。
産業上の利用の可能性
以上の説明から明らかなように、本発明によれば、音源データの音特性によって画像の表現形態が変化するため、ビデオゲーム装置や歌唱遊戯装置等の興趣性が格段に高まる。また、多面的なCG画像を音源データに即して適宜切り替えながら表示させることができる。

Claims (25)

  1. 音種、音強、音律、音調等の音特性に起因して成長するキャラクタの成長過程を所定のディスプレイ装置に画像表示させる表示制御装置であって、
    キャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データを保持するデータ保持手段と、
    音源データを入力するデータ入力手段と、
    前記音源データが入力されるたびに当該音源データの音特性を検出する検出手段と、
    検出された音特性に即して前記ディスプレイ装置に表示されているキャラクタの成長要素データを累積的に更新するデータ更新手段と、
    更新された前記成長要素データに基づいて、表示中の前記キャラクタの表現姿態を継続的に変化させる制御手段とを有することを特徴とする、キャラクタの表示制御装置。
  2. 表示対象となる前記キャラクタが、それぞれ固有の識別情報によって選定可能な複数のキャラクタのいずれかであり、
    前記データ保持手段は、一つのキャラクタが選定された場合に当該キャラクタに固有の前記成長要素データを特定できるように構成されていることを特徴とする、請求項1記載の表示制御装置。
  3. 前記データ保持手段は、キャラクタ毎の成長要素データを記録した交換自在のメモリを含み、このメモリから該当する成長要素データを特定できるように構成されていることを特徴とする、請求項2記載の表示制御装置。
  4. 前記データ入力手段は、予め装置内に登録されている複数種類の音源データの一つを選択的に入力できるように構成されていることを特徴とする、請求項1記載の表示制御装置。
  5. 前記検出手段は、前記音源データの信号波形のピーク部分を特定してサンプリングし、サンプリングした波形に所定の演算処理を施すことで前記音特性を検出するように構成されていることを特徴とする、請求項1記載の表示制御装置。
  6. 前記検出手段は、前記演算処理により周波数特徴を特定し、この周波数特徴に基づいて当該音特性を検出することを特徴とする、請求項5記載の表示制御装置。
  7. 前記データ更新手段は、検出された音特性が既に保持されているものと同一であるときに、当該音特性の継続時間を累積し、前記継続時間又はその累積時間に応じて前記成長要素データを逐次変化させるように構成されていることを特徴とする、請求項1記載の表示制御装置。
  8. 前記音特性及び成長要素データがそれぞれ予め他のものと峻別可能な複数種類のデータであり、前記データ更新手段は、検出された音特性の種類に応じて該当する種類の成長要素データを逐次変化させるように構成されていることを特徴とする、請求項1記載の表示制御装置。
  9. 前記ディスプレイ装置に表示されるキャラクタの背景環境を変化させるための背景データを当該キャラクタの成長要素データと関連付けておき、前記成長要素データに基づくキャラクタの姿態を表現する際に当該成長要素データに対応した背景データに基づく背景環境の画像を前記ディスプレイ装置に表示させる背景環境画像管理手段をさらに備えて成る、請求項1記載の表示制御装置。
  10. 所定のディスプレイ装置に選択的に表示される複数のキャラクタの各々の動き及び表情の少なくとも一方を画像表現するためのアニメーションデータを、それぞれ複数のランクに分類して記憶したアニメーションデータ記憶手段と、
    各キャラクタに音特性に関わる当該キャラクタ固有のパラメータを割り当てる割当手段と、
    音源データを入力するデータ入力手段と、
    前記音源データが入力されるたびに当該音源データの音特性を検出する検出手段と、
    所定の指示に基づいて前記複数のキャラクタの一つを選定するキャラクタ選定手段と、
    選定されたキャラクタに割り当てられたパラメータと前記検出された音特性との適合度に応じたランクを決定し、このランクに応じたアニメーションデータを前記アニメーション記憶手段から呼び出すデータ読出手段と、
    読み出されたアニメーションデータをもとに前記ディスプレイ装置に表示される前記キャラクタ画像の表示形態を制御する制御手段とを有し、
    表示中のキャラクタの動き又は表情を音特性に応じて変化させることを特徴とする、キャラクタの表示制御装置。
  11. 前記アニメーションデータ記憶手段には、同一ランク毎に複数のアニメーションデータが記憶されており、
    前記データ読出手段は、各ランクのアニメーションデータをランダムに読み出すように構成されていることを特徴とする、請求項10記載の表示制御装置。
  12. 前記割当手段は、入力される前記音源データに基づく音再生時間、当該音源データのリズム帯、前記音再生時間の経過に従って変化する音調のいずれか、又はこれらの組み合わせを前記パラメータとして、 各パラメータに対して前記ランクを決定するためのランキング要素を予め定めておくものであり、
    前記データ読出手段は、前記ランキング要素をもとに前記ランクを決定するように構成されていることを特徴とする、請求項10記載の表示制御装置。
  13. 前記ディスプレイ装置に表示されるキャラクタの表示形態に対して所定の効果表現を加える効果表現モジュールと、
    この効果表現モジュールの起動を可能にするための条件適合時に当該効果表現モジュールのアイテムを前記ディスプレイ装置に表示させるとともに、該アイテムの表示に際して指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付け、該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させる制御手段と
    を有することを特徴とする、請求項10記載の表示制御装置。
  14. 音種、音強、音律、音調等の音特性に起因して成長するキャラクタの成長過程を所定のディスプレイ装置に画像表示させる装置において実行される方法であって、
    表示対象となるキャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データをキャラクタ毎に保持しておき、前記装置に音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性に即して前記ディスプレイ装置に表示されているキャラクタの成長要素データを累積的に更新するとともに、更新された成長要素データに基づいて、当該キャラクタの表現姿態を継続的に変化させることを特徴とする、キャラクタの表示制御方法。
  15. 個々のキャラクタの前記成長要素データが、同一音特性の継続時間、同一特性の累積時間、同一音特性をもつ音源データの入力頻度の少なくとも一つに基づいてその内容が逐次変化するものであることを特徴とする、請求項14記載の表示制御方法。
  16. 前記音源データが、楽音の特徴を表す楽曲データ、及び/又は、人間の発生音を表す音声データであり、これらの音源データの種別に応じて前記音特性を決定することを特徴とする、請求項14記載の表示制御方法。
  17. 前記表示されているキャラクタの背景環境を変化させるための背景データを当該キャラクタの成長要素データと関連付けておき、キャラクタ画像の姿態を画像表現する際に当該キャラクタの成長要素データに応じた背景環境を前記背景データに基づいて前記ディスプレイ装置に表示させることを特徴とする、請求項14記載の表示制御方法。
  18. 所定のディスプレイ装置に選択的に表示される複数のキャラクタの表示制御方法であって、
    各キャラクタの動き及び表情の少なくとも一方を画像表現するためのアニメーションデータ群をそれぞれ異なる複数のランクに分類して保持するとともに、各キャラクタに音特性に関わる当該キャラクタに固有のパラメータを割り当てておき、
    音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性と前記割り当てられたパラメータとの適合度に応じたランクの前記アニメーションデータを呼び出して前記ディスプレイ装置における前記キャラクタの表示形態を当該アニメーションデータに応じて変化させることを特徴とする、キャラクタの表示制御方法。
  19. 同一ランク毎に複数のアニメーションデータを用意しておき、これらのアニメーションデータをランダムに呼び出すことを特徴とする、請求項18記載の表示制御方法。
  20. 前記キャラクタに固有のパラメータが、音源データに基づく音再生時間、当該音源データのリズム帯、前記音再生時間の経過に従って変化する音調のいずれか、又はこれらの組み合わせであり、各パラメータ には予め前記ランクを決定するためのランキング要素が定められており、
    前記ランキング要素をもとに前記ランクを決定すること を特徴とする、請求項18記載の表示制御方法。
  21. 前記ランク及びランキング要素を秘匿した状態で設定しておくことを特徴とする、請求項20記載の表示制御方法。
  22. 前記ディスプレイ装置にキャラクタを表示させる装置において実行される方法であって、
    所定の条件適合時に、前記キャラクタの表示形態に所定の効果表現を加える効果表現モジュールのアイテムを前記ディスプレイ装置に表示させ、該アイテムの表示に伴って指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付けるとともに、該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させて前記効果表現が反映された表示形態を形成することを特徴とする、請求項18記載の表示制御方法。
  23. 音種、音強、音律、音調等の音特性に起因して成長するキャラクタ及びその背景環境の画像を所定のディスプレイ装置に表示させる手段と、音源データを入力する手段とを備えたコンピュータに読み取られて実行されるプログラムコードが記録された記録媒体であって、
    前記プログラムコードが、
    キャラクタ固有の姿態表現能力の成長度合いを定量的に表す成長要素データを保持する処理、
    音源データが入力されるたびに、この音源データの音特性に即して前記保持されている成長要素データを累積的に更新する処理、
    更新された成長要素データに基づいて、前記ディスプレイ装置に表示されているキャラクタの表現姿態を継続的に変化させる処理を前記コンピュータに実行させるものであることを特徴とする、記録媒体。
  24. 所定のディスプレイ装置に複数のキャラクタを選択的に表示させる手段と音源データを入力する手段とを備えたコンピュータに読み取られて実行されるプログラムコードが記録された記録媒体であって、
    前記プログラムコードが、
    前記複数のキャラクタの各々の動き及び表現の少なくとも一方を画像表現するためのアニメーションデータ群をそれぞれ異なる複数のランクに分類して保持する処理、
    各キャラクタに音特性に関わる固有のパラメータを割り当てる処理、
    音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性と前記割り当てられたパラメータとの適合度に応じたランクの前記アニメーションデータを呼び出す処理、
    前記ディスプレイ装置に表示されている前記キャラクタの動き又は表情を当該呼び出したアニメーションデータに対応した形態に変化させる処理を前記コンピュータに実行させるものであることを特徴とする、記録媒体。
  25. 所定のディスプレイ装置に複数のキャラクタを選択的に表示させる手段と音源データを入力する手段とを備えたコンピュータに読み取られて実行されるプログラムコードが記録された記録媒体であって、
    前記プログラムコードが、
    前記複数のキャラクタの各々の動き及び表情の少なくとも一方を画像表現するためのアニメーションデータ群をそれぞれ異なる複数のランクに分類して保持する処理、
    各キャラクタに音特性に関わる固有のパラメータを割り当てる処理、
    音源データが入力されるたびにこの音源データの音特性を検出し、検出された音特性と前記割り当てられたパラメータとの適合度に応じたランクの前記アニメーションデータを呼び出す処理、
    前記ディスプレイ装置に表示されている前記キャラクタの動き又は表情を当該呼び出したアニメーションデータに対応した形態に変化させる処理、
    所定の条件適合時に前記キャラクタの表示形態に所定の効果表現を加えるための効果表現モジュールに対応するアイテムを前記ディスプレイ装置に表示させる処理、
    該表示に伴って指定された入力装置に前記効果表現モジュールを起動させるための起動データを割り付ける処理、
    該入力装置を通じて指示が入力された任意の時点で前記効果表現モジュールを起動させる処理を前記コンピュータに実行させるものであることを特徴とする、記録媒体。
JP53916399A 1998-01-30 1999-01-27 キャラクタの表示制御装置、表示制御方法及び記録媒体 Expired - Fee Related JP3573288B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10019643A JPH11219443A (ja) 1998-01-30 1998-01-30 キャラクタ画像の表示制御方法及び装置、記録媒体
PCT/JP1999/000336 WO1999038588A1 (fr) 1998-01-30 1999-01-27 Dispositif de commande d'affichage de personnages, procede de commande d'affichage et support d'enregistrement

Publications (1)

Publication Number Publication Date
JP3573288B2 true JP3573288B2 (ja) 2004-10-06

Family

ID=12004924

Family Applications (2)

Application Number Title Priority Date Filing Date
JP10019643A Pending JPH11219443A (ja) 1998-01-30 1998-01-30 キャラクタ画像の表示制御方法及び装置、記録媒体
JP53916399A Expired - Fee Related JP3573288B2 (ja) 1998-01-30 1999-01-27 キャラクタの表示制御装置、表示制御方法及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP10019643A Pending JPH11219443A (ja) 1998-01-30 1998-01-30 キャラクタ画像の表示制御方法及び装置、記録媒体

Country Status (10)

Country Link
US (1) US6319130B1 (ja)
EP (1) EP0978301B1 (ja)
JP (2) JPH11219443A (ja)
KR (2) KR19990066862A (ja)
CN (1) CN1255874A (ja)
AU (1) AU755594B2 (ja)
DE (1) DE69938887D1 (ja)
HK (1) HK1024647A1 (ja)
TW (1) TW383231B (ja)
WO (1) WO1999038588A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010016283A1 (ja) * 2008-08-08 2010-02-11 株式会社スクウェア・エニックス メディア再生装置
US8439733B2 (en) 2007-06-14 2013-05-14 Harmonix Music Systems, Inc. Systems and methods for reinstating a player within a rhythm-action game
US8444464B2 (en) 2010-06-11 2013-05-21 Harmonix Music Systems, Inc. Prompting a player of a dance game
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8686269B2 (en) 2006-03-29 2014-04-01 Harmonix Music Systems, Inc. Providing realistic interaction to a player of a music-based video game
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001190844A (ja) * 2000-01-06 2001-07-17 Konami Co Ltd ゲームシステムおよびゲーム用プログラムが記憶されたコンピュータ読み取り可能な記録媒体
JP4710912B2 (ja) * 2000-02-04 2011-06-29 株式会社セガ 情報表示システム及び情報表示システム
JP2002045567A (ja) * 2000-08-02 2002-02-12 Konami Co Ltd 携帯端末装置、ゲーム実行支援装置および記録媒体
JP2002258842A (ja) * 2000-12-27 2002-09-11 Sony Computer Entertainment Inc 音声制御装置、音声制御方法、音声制御プログラム、音声制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置
US6572108B1 (en) 2002-01-30 2003-06-03 Radica China Ltd Game pad controller
JP2005204754A (ja) * 2004-01-20 2005-08-04 Nintendo Co Ltd タッチパネル入力を用いたゲームシステム
WO2005109846A1 (en) 2004-05-03 2005-11-17 Somatic Technologies, Inc. System and method for providing particularized audible alerts
DE102004040281A1 (de) * 2004-08-19 2006-04-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Benutzereingabevorrichtung mit Benutzereingabebewertung und Verfahren
KR100675437B1 (ko) * 2004-09-16 2007-01-29 주삼영 Mp3 및 노래방기기용 중앙처리장치
KR100677156B1 (ko) * 2004-12-08 2007-02-02 삼성전자주식회사 음원 관리 방법 및 그 장치
JP4385951B2 (ja) * 2005-01-17 2009-12-16 ソニー株式会社 携帯型情報処理装置および携帯型情報処理装置の情報処理方法、並びにプログラム
BRPI0607229A2 (pt) 2005-01-28 2009-12-22 Breakthrough Performance Techn métodos de treinamento de usuário via marcação de erros e via sistema de treinamento eletrÈnico interativo, usando sistema de treinamento eletrÈnico interativo, e respectivo sistema
AU2006201599A1 (en) * 2005-04-22 2006-11-09 Aruze Corp. Server and gaming machine
JP4445898B2 (ja) * 2005-05-24 2010-04-07 任天堂株式会社 ポインティングデバイスに対する入力を用いたゲームプログラムおよびゲーム装置
JP4519712B2 (ja) * 2005-05-24 2010-08-04 三菱電機株式会社 画像表示付き音楽装置
US20090024183A1 (en) 2005-08-03 2009-01-22 Fitchmun Mark I Somatic, auditory and cochlear communication system and method
US8616973B2 (en) 2005-09-15 2013-12-31 Sony Computer Entertainment Inc. System and method for control by audible device
US8645985B2 (en) 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
JP4012921B2 (ja) * 2005-12-09 2007-11-28 株式会社コナミデジタルエンタテインメント ゲーム機、ゲームシステム及びプログラム
JP2007236824A (ja) * 2006-03-10 2007-09-20 Konami Digital Entertainment:Kk ゲーム機
WO2007120750A1 (en) * 2006-04-12 2007-10-25 Sony Computer Entertainment America Inc. Audio/visual environment detection
JP4108719B2 (ja) * 2006-08-30 2008-06-25 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
JP4962067B2 (ja) * 2006-09-20 2012-06-27 株式会社Jvcケンウッド 楽曲再生装置、楽曲再生方法、および楽曲再生プログラム
US8062089B2 (en) 2006-10-02 2011-11-22 Mattel, Inc. Electronic playset
US8292689B2 (en) * 2006-10-02 2012-10-23 Mattel, Inc. Electronic playset
CN101178751B (zh) * 2006-11-10 2012-07-04 泰州乐金电子冷机有限公司 具有成长型游戏功能的卡通冰箱
US8571463B2 (en) * 2007-01-30 2013-10-29 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US8702433B2 (en) * 2007-03-28 2014-04-22 Breakthrough Performancetech, Llc Systems and methods for computerized interactive training
US8017857B2 (en) 2008-01-24 2011-09-13 745 Llc Methods and apparatus for stringed controllers and/or instruments
BRPI0916749A2 (pt) 2008-07-28 2015-11-03 Breakthrough Perfomancetech Llc sistema e métodos de treinamento configurados para treinar usuários com base em computador e meio tangível legível em computador
US20110077080A1 (en) * 2009-09-30 2011-03-31 Syed Ashraf Meer 3D Gaming client for interactive musical video games inventor(s)
US9694282B2 (en) 2011-04-08 2017-07-04 Disney Enterprises, Inc. Importing audio to affect gameplay experience
US8887047B2 (en) 2011-06-24 2014-11-11 Breakthrough Performancetech, Llc Methods and systems for dynamically generating a training program
CN102567631A (zh) * 2011-12-20 2012-07-11 上海交通大学 一种虚拟宠物交互仿真电子宠物***
JP5929301B2 (ja) * 2012-02-23 2016-06-01 オンキヨー株式会社 時間差補正方法、音声信号処理装置、再生装置およびプログラム
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
JP6396536B2 (ja) * 2017-06-02 2018-09-26 株式会社バンダイナムコエンターテインメント サーバシステム
JP7124870B2 (ja) * 2018-06-15 2022-08-24 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6443398U (ja) * 1987-09-10 1989-03-15
JPH0869282A (ja) * 1994-08-31 1996-03-12 Yamaha Corp 自動演奏装置
JPH08293039A (ja) * 1995-04-24 1996-11-05 Matsushita Electric Ind Co Ltd 音楽画像変換装置
JPH09297594A (ja) * 1996-03-05 1997-11-18 Sega Enterp Ltd 伴奏演奏装置および記憶媒体
JP3043561U (ja) * 1997-02-19 1997-11-28 株式会社バンダイ 仮想生命体の育成シミュレーション装置
JPH1033830A (ja) * 1996-04-26 1998-02-10 Namco Ltd ゲーム装置及び情報記憶媒体
JP3048489U (ja) * 1997-10-29 1998-05-15 株式会社タカラ ヴァーチャルダイエットゲーム装置
JP3053906U (ja) * 1997-07-28 1998-11-17 敬一 箸蔵 情報処理玩具

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6218843A (ja) * 1985-07-17 1987-01-27 Nec Corp ビ−ト検出機能と電界検出機能を有する中間周波増幅回路
US4827519A (en) * 1985-09-19 1989-05-02 Ricoh Company, Ltd. Voice recognition system using voice power patterns
US4994987A (en) * 1987-11-20 1991-02-19 Minnesota Mining And Manufacturing Company Image access system providing easier access to images
US5198203A (en) * 1990-01-25 1993-03-30 Mobil Oil Corp. Synthetic mesoporous crystalline material
JPH0493872A (ja) 1990-08-03 1992-03-26 Canon Inc 定着装置
JPH0493872U (ja) * 1991-01-08 1992-08-14
JP3245890B2 (ja) * 1991-06-27 2002-01-15 カシオ計算機株式会社 拍検出装置及びそれを用いた同期制御装置
JPH05181464A (ja) * 1991-12-27 1993-07-23 Sony Corp 楽音認識装置
JP2528446B2 (ja) * 1992-09-30 1996-08-28 株式会社ハドソン 音声画像処理装置
JP3331344B2 (ja) * 1993-02-27 2002-10-07 株式会社セガ カラオケ演奏装置
KR100200820B1 (ko) * 1994-01-31 1999-06-15 윤종용 영상반주기 및 시디롬 복합 텔레비젼
JP3542821B2 (ja) * 1994-03-31 2004-07-14 ヤマハ株式会社 映像合成システムに特徴を有するカラオケ装置
JP3671433B2 (ja) * 1994-04-18 2005-07-13 ヤマハ株式会社 カラオケ演奏装置
SE517836C2 (sv) * 1995-02-14 2002-07-23 Telia Ab Metod och anordning för fastställande av talkvalitet
TW355774B (en) * 1995-10-12 1999-04-11 Konami Co Ltd TV game device, its loading support method and control method
JP3784094B2 (ja) * 1995-12-08 2006-06-07 株式会社エクシング 歌唱力採点機能付きカラオケ装置
JP2919389B2 (ja) * 1996-08-05 1999-07-12 パイオニア株式会社 ビデオダンスゲーム装置及び情報記録媒体
US5977968A (en) * 1997-03-14 1999-11-02 Mindmeld Multimedia Inc. Graphical user interface to communicate attitude or emotion to a computer program
JP3591227B2 (ja) * 1997-06-24 2004-11-17 ヤマハ株式会社 カラオケ装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6443398U (ja) * 1987-09-10 1989-03-15
JPH0869282A (ja) * 1994-08-31 1996-03-12 Yamaha Corp 自動演奏装置
JPH08293039A (ja) * 1995-04-24 1996-11-05 Matsushita Electric Ind Co Ltd 音楽画像変換装置
JPH09297594A (ja) * 1996-03-05 1997-11-18 Sega Enterp Ltd 伴奏演奏装置および記憶媒体
JPH1033830A (ja) * 1996-04-26 1998-02-10 Namco Ltd ゲーム装置及び情報記憶媒体
JP3043561U (ja) * 1997-02-19 1997-11-28 株式会社バンダイ 仮想生命体の育成シミュレーション装置
JP3053906U (ja) * 1997-07-28 1998-11-17 敬一 箸蔵 情報処理玩具
JP3048489U (ja) * 1997-10-29 1998-05-15 株式会社タカラ ヴァーチャルダイエットゲーム装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8686269B2 (en) 2006-03-29 2014-04-01 Harmonix Music Systems, Inc. Providing realistic interaction to a player of a music-based video game
US8439733B2 (en) 2007-06-14 2013-05-14 Harmonix Music Systems, Inc. Systems and methods for reinstating a player within a rhythm-action game
US8444486B2 (en) 2007-06-14 2013-05-21 Harmonix Music Systems, Inc. Systems and methods for indicating input actions in a rhythm-action game
US8690670B2 (en) 2007-06-14 2014-04-08 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8678895B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for online band matching in a rhythm action game
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
JP2010057888A (ja) * 2008-08-08 2010-03-18 Square Enix Co Ltd メディア再生装置
US8690672B2 (en) 2008-08-08 2014-04-08 Square Enix Co., Ltd. Media reproduction device
WO2010016283A1 (ja) * 2008-08-08 2010-02-11 株式会社スクウェア・エニックス メディア再生装置
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US10421013B2 (en) 2009-10-27 2019-09-24 Harmonix Music Systems, Inc. Gesture-based user interface
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US9278286B2 (en) 2010-03-16 2016-03-08 Harmonix Music Systems, Inc. Simulating musical instruments
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US8568234B2 (en) 2010-03-16 2013-10-29 Harmonix Music Systems, Inc. Simulating musical instruments
US8444464B2 (en) 2010-06-11 2013-05-21 Harmonix Music Systems, Inc. Prompting a player of a dance game
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation

Also Published As

Publication number Publication date
KR20000075829A (ko) 2000-12-26
KR100591995B1 (ko) 2006-06-22
EP0978301B1 (en) 2008-06-11
KR19990066862A (ko) 1999-08-16
TW383231B (en) 2000-03-01
AU755594B2 (en) 2002-12-19
JPH11219443A (ja) 1999-08-10
CN1255874A (zh) 2000-06-07
DE69938887D1 (de) 2008-07-24
HK1024647A1 (en) 2000-10-20
AU2075799A (en) 1999-08-16
EP0978301A4 (en) 2005-09-14
EP0978301A1 (en) 2000-02-09
WO1999038588A1 (fr) 1999-08-05
US6319130B1 (en) 2001-11-20

Similar Documents

Publication Publication Date Title
JP3573288B2 (ja) キャラクタの表示制御装置、表示制御方法及び記録媒体
JP3066528B1 (ja) 楽曲再生システム、リズム解析方法及び記録媒体
KR20070059102A (ko) 콘텐츠 생성 장치 및 콘텐츠 생성 방법
TWI497484B (zh) Performance evaluation device, karaoke device, server device, performance evaluation system, performance evaluation method and program
US20100022287A1 (en) Dance game machine, method for scoring dance game and computer-readable recording medium
US6452082B1 (en) Musical tone-generating method
JP4000335B1 (ja) 音楽ゲーム用データ演算装置、音楽ゲーム用データ演算プログラム及び音楽ゲーム用データ演算方法
Mice et al. Super size me: Interface size, identity and embodiment in digital musical instrument design
JPH09297594A (ja) 伴奏演奏装置および記憶媒体
CN106796777A (zh) 演奏信息处理装置和方法
JP3839417B2 (ja) ゲームbgm生成プログラム、ゲームbgm生成方法およびゲーム装置
Enns Game scoring: Towards a broader theory
JP2007071903A (ja) 楽曲創作支援装置
JP4366240B2 (ja) ゲーム装置および音高付効果音生成プログラムならびに方法
Hopkins Chiptune music: An exploration of compositional techniques as found in Sunsoft games for the Nintendo Entertainment System and Famicom from 1988-1992
WO2024029572A1 (ja) ゲームシステム、ゲームシステムのゲームプログラム及び制御方法
CN111276163B (zh) 音乐筛选方法及装置
JP2012194381A (ja) 歌唱音声評価装置
Hansen The acoustics and performance of DJ scratching
JP2000330576A (ja) カラオケの歌唱評価方法と装置
JP3404594B2 (ja) 記録媒体及び音楽ゲーム装置
Swann Essential Guide to Songwriting, Producing & Recording
CN118013071A (zh) 个性化音乐推荐方法、装置、设备、介质及可穿戴设备
JP2003108161A (ja) カラオケ演奏の合間にゲームコンテンツを出力するカラオケ装置
Hopper The Girls' Guide to Rocking: How to Start a Band, Book Gigs, and Get Rolling to Rock Stardom

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040624

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140709

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees