JP3353661B2 - Music control device and storage medium - Google Patents
Music control device and storage mediumInfo
- Publication number
- JP3353661B2 JP3353661B2 JP21006797A JP21006797A JP3353661B2 JP 3353661 B2 JP3353661 B2 JP 3353661B2 JP 21006797 A JP21006797 A JP 21006797A JP 21006797 A JP21006797 A JP 21006797A JP 3353661 B2 JP3353661 B2 JP 3353661B2
- Authority
- JP
- Japan
- Prior art keywords
- beat
- preliminary
- music
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、自動演奏されてい
る音楽の所定の音楽要素を制御する音楽制御装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a music control device for controlling predetermined music elements of music that is being played automatically.
【0002】[0002]
【従来の技術】指揮動作等の人の動作を判定して、自動
演奏されている音楽のテンポやダイナミクスを制御する
音楽制御装置は、従来より知られている。2. Description of the Related Art There has been known a music control device which determines a human motion such as a commanding motion and controls the tempo and dynamics of music being automatically played.
【0003】かかる従来の音楽制御装置は、たとえば所
定のセンサ等を備えた指揮棒をユーザが振ることによっ
て得られた信号出力から、ユーザが指示した拍打タイミ
ングやダイナミクス等を判定し、その判定結果に基づい
て音楽制御を行っている。Such a conventional music control apparatus determines, for example, beat timing and dynamics specified by a user from a signal output obtained by the user swinging a baton provided with a predetermined sensor and the like, and the determination result is obtained. Music is controlled based on the
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来の音楽制御装置では、予備拍まで認識してはいなかっ
た。However, the above-mentioned conventional music control device does not recognize the preliminary beat.
【0005】予備拍とは、指揮者が、曲の冒頭のテンポ
やダイナミクスを指示するために、演奏開始前に1拍余
分に指揮棒を振る(この動作を予備運動という)とき
の、この拍をいい、指揮法で規定されている。[0005] The preliminary beat is defined as a beat when the conductor shakes a conductor bar one extra beat before starting the performance to indicate the tempo or dynamics at the beginning of the music (this operation is called a preliminary movement). It is defined by the Conduct Law.
【0006】一方、曲の冒頭のテンポを変更する音楽制
御装置として、本出願人は、特開平8−272362号
公報で、曲のテンポを制御する度にそのテンポを記憶
し、その曲を次に演奏するときに、その冒頭のテンポを
前回記憶したテンポに設定するものを開示した。On the other hand, as a music control device for changing the tempo at the beginning of a song, the present applicant disclosed in Japanese Patent Application Laid-Open No. Hei 8-272362, every time the tempo of a song is controlled, the tempo is stored, and When the performance is performed, the tempo at the beginning is set to the previously stored tempo.
【0007】しかし、ユーザが変わったり、また、同じ
ユーザであっても気分によっては、前回演奏したときの
テンポと異なったテンポで曲のテンポを指示したいこと
があった。このような場合には、上記前回のテンポを曲
の冒頭のテンポに設定する手法では、ユーザの要求に十
分に応えることができなかった。[0007] However, depending on the user, or depending on the mood, even if the user is the same, there is a case where the user wants to specify the tempo of the music at a tempo different from the tempo of the previous performance. In such a case, the technique of setting the previous tempo to the tempo at the beginning of the music could not sufficiently respond to the request of the user.
【0008】本発明は、この点に着目してなされたもの
であり、予備拍まで認識することが可能な音楽制御装置
を提供することを目的とする。The present invention has been made in view of this point, and has as its object to provide a music control device capable of recognizing up to a preliminary beat.
【0009】[0009]
【課題を解決するための手段】上記目的を達成するた
め、本発明の音楽制御装置は、人の動作を検出する動作
検出手段と、音楽を自動演奏する自動演奏手段と、前記
検出された人の動作から予備拍を検出する予備拍検出手
段と、該検出された予備拍に基づいて前記自動演奏手段
を制御する制御手段とを有することを特徴とする。In order to achieve the above object, a music control device according to the present invention comprises: a motion detecting means for detecting a motion of a person; an automatic playing means for automatically playing music; And a control means for controlling the automatic performance means on the basis of the detected preliminary beat.
【0010】これにより、動作検出手段により検出され
た人の動作から、自動演奏される音楽に対する予備拍が
検出され、この予備拍に基づいて前記自動演奏される音
楽が制御されるので、実際の指揮と同様にして音楽演奏
を開始することができる。[0010] Thus, the preliminary beat for the music to be automatically played is detected from the human motion detected by the motion detecting means, and the music to be automatically played is controlled based on the preliminary beat, so that the actual beat is controlled. Musical performance can be started in the same manner as conducting.
【0011】ここで、動作検出手段は、人の動作を検出
できるものであれば、どのようなものであってもよい。
たとえば、本発明の実施の形態で後述するように、隠れ
マルコフモデルを用いた手法で検出してもよいし、これ
に限らず、DPマッチング(dynamic programing match
ing)を用いた手法で検出してもよい。Here, the motion detecting means may be any device as long as it can detect human motion.
For example, as described later in the embodiment of the present invention, detection may be performed by a method using a hidden Markov model, or the present invention is not limited to this.
ing).
【0012】さらに、このようにして検出された人の動
作を、自動演奏される音楽の何らかの情報に基づいて、
本発明の実施の形態で後述するように、たとえばファジ
ィ推論を用いてより正確に判定するようにしてもよい。Further, the movement of the person detected in this way is determined based on some information of the music to be automatically played.
As described later in the embodiment of the present invention, a more accurate determination may be made using, for example, fuzzy inference.
【0013】また、好ましくは、前記予備拍検出手段
は、前記動作検出手段より検出された動作が所定時間以
上停止した後の最初の拍打を予備拍として検出すること
を特徴とする。Preferably, the preliminary beat detecting means detects a first beat after the operation detected by the operation detecting means has stopped for a predetermined time or more as a preliminary beat.
【0014】これにより、人の動作が所定時間以上停止
した後に予備拍は検出されるので、予備拍の誤検出を防
止することができる。Thus, the preliminary beat is detected after the motion of the person has stopped for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.
【0015】さらに、好ましくは、前記制御手段は、前
記検出された予備拍に基づいて、前記自動演奏される音
楽の初期の音楽要素を決定する初期音楽要素決定手段を
有することを特徴とする。Further, preferably, the control means has initial music element determination means for determining an initial music element of the music to be automatically played, based on the detected preliminary beat.
【0016】これにより、前記検出された予備拍に基づ
いて、前記自動演奏される音楽の初期の音楽要素が決定
されるので、ユーザは、その曲を最初に演奏するきに
も、自分の思い通りにその曲の音楽要素を決定して曲を
開始することができる。Thus, the initial music element of the music to be automatically played is determined on the basis of the detected preliminary beat, so that the user can perform his or her own performance even when playing the music for the first time. Then, the music element of the song can be determined and the song can be started.
【0017】ここで、音楽要素とは、たとえば、曲のテ
ンポやダイナミクスである。そして、音楽要素は、たと
えば、予備拍と次の拍(音楽再生が始まる拍)との時間
間隔や強さに基づいて決定される。Here, the music element is, for example, a tempo or dynamics of a music piece. The music element is determined based on, for example, the time interval and strength between the preliminary beat and the next beat (the beat at which music playback starts).
【0018】また、さらに、好ましくは、前記予備拍検
出手段によって予備拍が検出されたときに、その検出時
点をユーザに確認させる予備拍確認手段を有することを
特徴とする。[0018] Still further, preferably, when a spare beat is detected by the spare beat detecting means, a spare beat confirming means for confirming a detection time point by a user is provided.
【0019】これにより、ユーザは予備拍の検出時点を
確認できるので、安心して曲演奏を開始することができ
る。Thus, the user can confirm the detection time point of the preliminary beat, so that the music performance can be started with confidence.
【0020】ここで、確認するための媒体は、たとえば
音であるが、これに限る必要はなく、ユーザが予備拍を
確認できるものであればどのようなものであってもよ
い。Here, the medium for confirmation is, for example, a sound, but is not limited to this, and may be any medium as long as the user can confirm the preliminary beat.
【0021】また、本発明の記憶媒体は、人の動作を検
出する動作検出モジュールと、音楽を自動演奏する自動
演奏モジュールと、前記検出された人の動作から予備拍
を検出する予備拍検出モジュールと、該検出された予備
拍に基づいて前記自動演奏手段を制御する制御モジュー
ルとを含む、コンピュータが実行するプログラムであっ
て、前記予備拍検出モジュールでは、前記動作検出モジ
ュールより検出された動作が所定時間以上停止した後の
最初の拍打を予備拍として検出するプログラムを格納し
たことを特徴とする。Further, the storage medium of the present invention includes a motion detecting module for detecting a human motion, an automatic performance module for automatically playing music, and a preliminary beat detecting module for detecting a preliminary beat from the detected human motion. When, a and a control module for controlling the automatic playing means based on the pre-beat issued該検including a program executed by a computer
Te, in the preliminary beat detection module, wherein said detected from the operation detection module operation has stored the Help program to detect a first beat Blow after stopping for a predetermined time or more as a pre-beat.
【0022】これにより、上述の効果と同様の効果を得
ることができる。Thus, the same effect as the above-described effect can be obtained.
【0023】[0023]
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【0024】図1は、本発明の一実施の形態に係る音楽
制御装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a music control device according to one embodiment of the present invention.
【0025】同図に示すように、本実施の形態の音楽制
御装置は、主として文字情報を入力するためのキーボー
ド1と、位置情報を入力するための、たとえばマウス等
のポインチングデバイス2と、ユーザの動作、すなわち
指揮棒30を振って行う指揮動作のうちx軸(水平)方
向の加速度を検出する加速度センサ31と、この指揮動
作のうちy軸(垂直)方向の加速度を検出する加速度セ
ンサ32と、キーボード1の各キーの押下状態を検出す
るキー検出回路3と、ポインチングデバイス2の操作状
態を検出する操作状態検出回路4と、加速度センサ31
からの電気的なアナログ加速度信号Axをデジタル加速
度信号Dxに変換するA/D変換回路(Analog-to-Digi
tal Converter)5と、加速度センサ32からの電気的
なアナログ加速度信号Ayをデジタル加速度信号Dyに
変換するA/D変換回路6と、装置全体の制御を司るC
PU7と、該CPU7が実行する制御プログラムやテー
ブルデータ等を記憶するROM8と、演奏データ、上記
加速度信号Dx,Dyを含む各種入力情報および演算結
果等を一時的に記憶するRAM9と、タイマ割込み処理
における割込み時間や各種時間を計時するタイマ10
と、各種情報等を表示する、たとえば大型液晶ディスプ
レイ(LCD)若しくはCRT(Cathode RayTube)デ
ィスプレイおよび発光ダイオード(LED)等を備えた
表示装置11と、記憶媒体であるフロッピディスク(F
D)40をドライブするフロッピディスクドライブ(F
DD)12と、前記制御プログラムを含む各種アプリケ
ーションプログラムや各種データ等を記憶するハードデ
ィスク(図示せず)をドライブするハードディスクドラ
イブ(HDD)13と、前記制御プログラムを含む各種
アプリケーションプログラムや各種データ等を記憶する
コンパクトディスク−リード・オンリ・メモリ(CD−
ROM)41をドライブするCD−ROMドライブ(C
D−ROMD)14と、外部からのMIDI(Musical
Instrument DigitalInterface)信号を入力したり、M
IDI信号として外部に出力したりするMIDIインタ
ーフェース(I/F)15と、通信ネットワーク101
を介して、たとえばサーバコンピュータ102とデータ
の送受信を行う通信インターフェース(I/F)16
と、たとえばCPU7により生成されたされた演奏デー
タ等を楽音信号に変換する音源回路17と、該音源回路
17からの楽音信号に各種効果を付与するための効果回
路18と、該効果回路18からの楽音信号を音響に変換
する、たとえば、DAC(Digital-to-Analog Converte
r)やアンプ、スピーカ等のサウンドシステム19とに
より構成されている。As shown in FIG. 1, the music control apparatus according to the present embodiment includes a keyboard 1 for mainly inputting character information, a pointing device 2 such as a mouse for inputting position information, and a like. An acceleration sensor 31 that detects an acceleration in the x-axis (horizontal) direction of a user's motion, that is, a commanding motion performed by swinging the baton 30, and an acceleration sensor that detects an acceleration in the y-axis (vertical) direction of the commanding motion 32, a key detection circuit 3 for detecting a pressed state of each key of the keyboard 1, an operation state detection circuit 4 for detecting an operation state of the pointing device 2, and an acceleration sensor 31
A / D conversion circuit (Analog-to-Digi) that converts an electrical analog acceleration signal Ax from
tal Converter) 5, an A / D conversion circuit 6 for converting an electrical analog acceleration signal Ay from the acceleration sensor 32 into a digital acceleration signal Dy, and a C for controlling the entire apparatus.
PU7, ROM8 for storing a control program executed by the CPU7, table data, etc., RAM9 for temporarily storing performance data, various input information including the acceleration signals Dx and Dy, calculation results, and the like, timer interrupt processing Timer 10 that measures the interrupt time and various times in the
And a display device 11 for displaying various information such as a large liquid crystal display (LCD) or a CRT (Cathode Ray Tube) display and a light emitting diode (LED), and a floppy disk (F) as a storage medium.
D) Floppy disk drive (F) for driving 40
DD) 12, a hard disk drive (HDD) 13 for driving a hard disk (not shown) for storing various application programs including the control program and various data, and various application programs and various data including the control program. Compact Disc for Storage-Read Only Memory (CD-
ROM-ROM drive (C)
D-ROMD) 14 and external MIDI (Musical
Instrument DigitalInterface) signal or M
A MIDI interface (I / F) 15 for outputting to the outside as an IDI signal;
Communication interface (I / F) 16 for transmitting / receiving data to / from server computer 102 via
A sound source circuit 17 for converting performance data or the like generated by the CPU 7 into a tone signal, an effect circuit 18 for giving various effects to the tone signal from the tone source circuit 17, To convert a musical tone signal into sound, for example, DAC (Digital-to-Analog Converte)
r) and a sound system 19 such as an amplifier and a speaker.
【0026】上記構成要素3〜18は、バス20を介し
て相互に接続され、CPU7にはタイマ10が接続さ
れ、MIDII/F15には他のMIDI機器100が
接続され、通信I/F16には通信ネットワーク101
が接続され、音源回路17には効果回路18が接続さ
れ、効果回路18にはサウンドシステム19が接続され
ている。The components 3 to 18 are interconnected via a bus 20, a timer 10 is connected to the CPU 7, another MIDI device 100 is connected to the MID II / F 15, and a communication I / F 16 is connected to the communication I / F 16. Communication network 101
, A sound source circuit 17, an effect circuit 18, and a sound system 19 to the effect circuit 18.
【0027】また、加速度センサ31,32は、指揮棒
30の所定の位置に取り付けられ、その各出力側は、た
とえばケーブルを介して,それぞれA/D変換回路5,
6の入力側に接続されている。なお、加速度センサ3
1,32によって検出される加速度信号Ax,Ayを、
有線でA/D変換回路5,6に送信する代わりに、無線
で送信するようにしてもよい。The acceleration sensors 31 and 32 are mounted at predetermined positions on the conductor bar 30, and their output sides are connected to the A / D conversion circuits 5 and 5, for example, via cables.
6 is connected to the input side. The acceleration sensor 3
The acceleration signals Ax and Ay detected by
Instead of transmitting the data to the A / D conversion circuits 5 and 6 by wire, the data may be transmitted wirelessly.
【0028】HDD13のハードディスクには、前述の
ように、CPU7が実行する制御プログラムも記憶で
き、ROM8に制御プログラムが記憶されていない場合
には、このハードディスクに制御プログラムを記憶させ
ておき、それをRAM9に読み込むことにより、ROM
8に制御プログラムを記憶している場合と同様の動作を
CPU7にさせることができる。このようにすると、制
御プログラムの追加やバージョンアップ等が容易に行え
る。As described above, the control program executed by the CPU 7 can also be stored in the hard disk of the HDD 13, and when the control program is not stored in the ROM 8, the control program is stored in this hard disk. By reading into RAM9, ROM
8 can cause the CPU 7 to perform the same operation as when the control program is stored. This makes it easy to add a control program, upgrade a version, and the like.
【0029】CD−ROMドライブ14のCD−ROM
41から読み出された制御プログラムや各種データは、
HDD13内のハードディスクにストアされる。これに
より、制御プログラムの新規インストールやバージョン
アップ等が容易に行える。なお、このCD−ROMドラ
イブ14以外にも、外部記憶装置として、光磁気ディス
ク(MO)装置等、様々な形態のメディアを利用するた
めの装置を設けるようにしてもよい。CD-ROM of CD-ROM drive 14
The control program and various data read from 41 are
The data is stored on the hard disk in the HDD 13. This makes it possible to easily perform new installation, version upgrade, and the like of the control program. In addition to the CD-ROM drive 14, a device for using various forms of media, such as a magneto-optical disk (MO) device, may be provided as an external storage device.
【0030】通信I/F16は、上述のように、たとえ
ばLAN(Local Area Network)やインターネット、電
話回線等の通信ネットワーク101に接続されており、
該通信ネットワーク101を介して、サーバコンピュー
タ102に接続される。HDD13内のハードディスク
に上記各プログラムや各種パラメータが記憶されていな
い場合には、通信I/F16は、サーバコンピュータ1
02からプログラムやパラメータをダウンロードするた
めに用いられる。クライアントとなるコンピュータ(本
実施の形態では、音楽制御装置)は、通信I/F16お
よび通信ネットワーク101を介してサーバコンピュー
タ102へとプログラムやパラメータのダウンロードを
要求するコマンドを送信する。サーバコンピュータ10
2は、このコマンドを受け、要求されたプログラムやパ
ラメータを、通信ネットワーク101を介してコンピュ
ータへと配信し、コンピュータが通信I/F16を介し
て、これらプログラムやパラメータを受信してHDD1
3内のハードディスクに蓄積することにより、ダウンロ
ードが完了する。As described above, the communication I / F 16 is connected to a communication network 101 such as a LAN (Local Area Network), the Internet, or a telephone line.
It is connected to the server computer 102 via the communication network 101. When the above-mentioned programs and various parameters are not stored in the hard disk in the HDD 13, the communication I / F 16 is connected to the server computer 1.
02 to download programs and parameters. A computer serving as a client (a music control device in the present embodiment) transmits a command for requesting download of a program or parameter to the server computer 102 via the communication I / F 16 and the communication network 101. Server computer 10
2 receives the command, distributes the requested program or parameter to the computer via the communication network 101, and the computer receives the program or parameter via the communication I / F 16 and
The download is completed by accumulating the data on the hard disk in the server 3.
【0031】この他、外部コンピュータ等との間で直接
データのやりとりを行うためのインターフェースを備え
てもよい。In addition, an interface for directly exchanging data with an external computer or the like may be provided.
【0032】図1から分かるように、本実施の形態の音
楽制御装置は、主として汎用のコンピュータを用いて構
成され、このコンピュータに、指揮棒30の加速度セン
サ31,32や音源部(音源回路7、効果回路8および
サウンドシステム19によって構成される)等のハード
ウェアが外付けされて構成されている。なお、本実施の
形態の音楽制御装置を構成する構成要素のうち、汎用コ
ンピュータに含まれるものはどれであるかは、使用する
コンピュータによって異なり、音源部まで含むコンピュ
ータもあるが、本実施の形態では、音源部は外付けハー
ドウェアとしている。As can be seen from FIG. 1, the music control apparatus according to the present embodiment is mainly configured by using a general-purpose computer, and the computer controls the acceleration sensors 31 and 32 of the baton 30 and the sound source section (sound source circuit 7). , An effect circuit 8 and a sound system 19). It should be noted that, among the components constituting the music control device of the present embodiment, those included in the general-purpose computer differ depending on the computer used, and some computers include a sound source unit. In this example, the sound source section is external hardware.
【0033】以上のように構成された音楽制御装置が実
行する制御処理を、以下、図2〜9を参照して説明す
る。The control processing executed by the music control device configured as described above will be described below with reference to FIGS.
【0034】図2は、本実施の形態の音楽制御装置のう
ち、主として前記コンピュータが実行する制御処理を説
明するためのブロック図である。FIG. 2 is a block diagram for explaining control processing mainly executed by the computer in the music control apparatus according to the present embodiment.
【0035】図中、各ブロックは、制御処理全体を複数
個の機能に分割したときの各機能に相当するが、一部ハ
ードウェア(A/D変換回路5,6、音源部61および
サウンドシステム19)も混在している。In the figure, each block corresponds to each function when the whole control processing is divided into a plurality of functions, but some hardware (A / D conversion circuits 5, 6, sound source section 61 and sound system) are used. 19) are also mixed.
【0036】同図において、前記加速度センサ31から
出力されたアナログ加速度信号Axは、A/D変換回路
5に入力されてデジタル加速度信号Dxに変換され、バ
ンドパスフィルタ(BPF:Band Pass Filter)51に
より、デジタル加速度信号Dxに含まれるノイズ成分が
除去された後に、ベクトル量子化部53に入力される。
同様にして、前記加速度センサ32から出力されたアナ
ログ加速度信号Ayも、A/D変換回路6によりデジタ
ル加速度信号Dyに変換され、バンドパスフィルタ52
により、デジタル加速度信号Dyに含まれるノイズ成分
が除去された後に、ベクトル量子化部53に入力され
る。In FIG. 3, an analog acceleration signal Ax output from the acceleration sensor 31 is input to an A / D conversion circuit 5 and converted into a digital acceleration signal Dx, and a band pass filter (BPF) 51 is provided. Thus, after the noise component included in the digital acceleration signal Dx is removed, the digital acceleration signal Dx is input to the vector quantization unit 53.
Similarly, the analog acceleration signal Ay output from the acceleration sensor 32 is also converted into a digital acceleration signal Dy by the A / D conversion circuit 6, and the band-pass filter 52
After the noise component included in the digital acceleration signal Dy is removed, the digital acceleration signal Dy is input to the vector quantization unit 53.
【0037】ベクトル量子化部53は、まず、ノイズ成
分が除去された両デジタル加速度信号Dx′,Dy′か
ら、次式(1)により、加速度の絶対値(以下、「絶対
加速度」という)|D′|を算出し、前記RAM9の所
定領域(以下、「絶対加速度記憶領域」という)に記憶
する。この絶対加速度記憶領域には、絶対加速度|D′
|の時系列データが格納される。以下、この時系列デー
タで表される時間波形、すなわち、縦軸を絶対加速度値
に採り、横軸を時間軸に採ったときに生成される波形を
「絶対加速度時間波形」という。The vector quantization unit 53 first calculates the absolute value of the acceleration (hereinafter, referred to as "absolute acceleration") | from the digital acceleration signals Dx 'and Dy' from which noise components have been removed, by the following equation (1). D ′ | is calculated and stored in a predetermined area of the RAM 9 (hereinafter referred to as “absolute acceleration storage area”). In this absolute acceleration storage area, the absolute acceleration | D '
| Time-series data is stored. Hereinafter, a time waveform represented by this time-series data, that is, a waveform generated when the vertical axis is taken as the absolute acceleration value and the horizontal axis is taken as the time axis, is referred to as an “absolute acceleration time waveform”.
【0038】[0038]
【数1】 ベクトル量子化部53は、この絶対加速度|D′|を、
予備拍検出部50に出力するとともに、後述するよう
に、ベクトル量子化してラベルlabelを生成し、H
MM認識部54に出力する。(Equation 1) The vector quantization unit 53 calculates the absolute acceleration | D '|
The signal is output to the preliminary beat detection unit 50 and, as described later, is vector-quantized to generate a label “label”.
Output to the MM recognition unit 54.
【0039】予備拍検出部50は、入力された絶対加速
度|D′|に基づいて予備拍を検出し、MIDI再生部
59に出力する。以下、予備拍検出部50が実行する予
備拍検出処理を、図3〜5を参照して説明する。The preliminary beat detecting section 50 detects a preliminary beat based on the input absolute acceleration | D '| and outputs it to the MIDI reproducing section 59. Hereinafter, the preliminary beat detection process executed by the preliminary beat detection unit 50 will be described with reference to FIGS.
【0040】図3は、予備拍検出部50、すなわち前記
CPU7が実行する予備拍検出処理サブルーチンの手順
を示すフローチャートである。本処理は、たとえば、本
実施の形態の音楽制御装置の電源を入れたときや、音楽
制御する曲の演奏をスタートさせたときなどに、呼び出
されて、実行される。FIG. 3 is a flow chart showing the procedure of the preliminary beat detection subroutine, that is, the preliminary beat detection subroutine executed by the CPU 7. This processing is called up and executed, for example, when the power of the music control device according to the present embodiment is turned on or when the performance of the music to be controlled is started.
【0041】同図において、まず、ユーザが指揮棒30
を所定時間以上停止(実質的に停止したものを含む)さ
せたか否かを判別する(ステップS1)。本実施の形態
では、予備拍は、ユーザが指揮棒30を所定時間以上停
止させてから、第1拍目の指揮動作に入るまでの間に検
出するようにしているので、指揮動作に入る前の不要な
動作を誤って予備拍と認識しないようになっている。こ
のため、ステップS1で、予備拍を検出する準備が整っ
ているか否かを判別している。Referring to FIG.
It is determined whether or not has been stopped (including substantially stopped) for a predetermined time or more (step S1). In the present embodiment, the preliminary beat is detected during a period after the user stops the baton 30 for a predetermined time or more and before the commanding operation of the first beat is started. Unnecessary movements are not mistakenly recognized as spare beats. Therefore, in step S1, it is determined whether or not the preparation for detecting the preliminary beat is ready.
【0042】ステップS1で、指揮棒30が所定時間停
止していないときには、停止するまで待機し、停止した
ときにはステップS2に進む。In step S1, if the baton 30 has not been stopped for a predetermined period of time, the process waits until it is stopped.
【0043】なお、上述したように、本予備拍検出処理
は、必ず曲の演奏を開始する直前に実行されるため、ス
テップS1の処理を省略してもよい。As described above, since the present preliminary beat detection processing is always executed immediately before the performance of the music, the processing of step S1 may be omitted.
【0044】ステップS2では、第1拍打(予備拍)が
検出されたか否か、すなわち、入力された絶対加速度|
D′|が第1拍打位置(タイミング)を示す加速度であ
るか否かを判別する。In step S2, it is determined whether or not the first beat (preliminary beat) is detected, that is, the input absolute acceleration |
It is determined whether or not D '| is an acceleration indicating the first beat position (timing).
【0045】図5は、指揮棒30の軌跡の一例を示す図
であり、(a)は、2拍子、エスプレッシボ(espressi
vo)で振ったときの軌跡の一例であり、(b)は、2拍
子、スタッカート(staccato)で振ったときの軌跡の一
例であり、(c)は、3拍子エスプレッシボで振ったと
きの軌跡の一例であり、(d)は、3拍子、スタッカー
トで振ったときの軌跡の一例である。図中、“×”は前
記停止位置(予備位置)を示し、“△”は予備拍の拍打
位置(検出位置)を示し、“○”は実際の指揮動作にお
ける拍打位置を示し、“(n)(nは1から3までの整
数)”は拍数を示している。FIG. 5 is a diagram showing an example of the trajectory of the baton 30. FIG. 5 (a) shows a two-beat, espressi
(b) is an example of a locus when shaken with staccato, and (b) is an example of a locus when shaken with staccato. It is an example of a trajectory, and (d) is an example of a trajectory when the player shakes in a staccato with three beats. In the drawing, “x” indicates the stop position (preliminary position), “Δ” indicates the beat position (detection position) of the preliminary beat, “○” indicates the beat position in the actual commanding operation, and “(n ) (N is an integer from 1 to 3) "indicates the number of beats.
【0046】図5から分かるように、予備拍の検出時点
は、予備位置から最初にy(垂直)軸方向の速度成分が
最小になった位置(またはその近傍)である。As can be seen from FIG. 5, the point of detection of the preliminary beat is a position (or a vicinity thereof) where the velocity component in the y (vertical) axis direction becomes the minimum from the preliminary position for the first time.
【0047】したがって、ステップS2では、加速度信
号Dy′の変化の仕方を解析することにより、y軸方向
の速度の最小値(またはその近傍の値)を検出する。Therefore, in step S2, the minimum value of the velocity in the y-axis direction (or a value in the vicinity thereof) is detected by analyzing how the acceleration signal Dy 'changes.
【0048】なお、単純に加速度信号Dy′のみを解析
して予備拍を検出すると、誤検出の可能性もあるので、
加速度信号Dx′も考慮するようにしてもよく、後述す
るHMMを利用して検出してもよい。If a preliminary beat is detected simply by analyzing only the acceleration signal Dy ', there is a possibility of erroneous detection.
The acceleration signal Dx ′ may be taken into consideration, or may be detected using an HMM described later.
【0049】なお、図5は、音楽制御する曲として、1
拍目から始まる曲が選択された場合の予備拍の検出時点
を示す図であり、曲によっては、2拍目や3拍目から始
まる曲もある。そのような曲が選択された場合には、予
備拍の検出時点は、それぞれ1拍目および2拍目の拍打
位置となる。FIG. 5 shows the music to be controlled as 1
It is a figure which shows the detection time point of a preliminary beat when the music which starts from a beat is selected, and a music starts from a 2nd beat or a 3rd beat depending on a music. When such a tune is selected, the detection points of the preliminary beat are the beat positions of the first beat and the second beat, respectively.
【0050】ステップS2で、第1拍打、すなわち予備
拍が検出されたときには、ステップS3に進む一方、予
備拍が検出されないときには、検出されるまで待機す
る。In step S2, when the first beat, that is, the preliminary beat is detected, the process proceeds to step S3. When the preliminary beat is not detected, the process waits until the preliminary beat is detected.
【0051】ステップS3では、初期テンポを検出する
ために、前記RAM9の所定位置に確保されたソフトタ
イマtimerをリセット(“0”)し、次いでステッ
プS4では、予備拍が検出されたことをユーザに知らせ
るための確認音を、たとえば前記サウンドシステム19
から発音させる。ここで、確認音は、予め設定された所
定の音(たとえば、「チッ」という音)である。In step S3, the soft timer timer secured at a predetermined position in the RAM 9 is reset ("0") to detect the initial tempo. Then, in step S4, the user is notified that a preliminary beat has been detected. A confirmation sound for notifying the sound system 19
From the beginning. Here, the confirmation sound is a predetermined sound set in advance (for example, a “click” sound).
【0052】このように、予備拍を音で確認できるの
で、指揮に慣れていないユーザであっても、安心して曲
の演奏を開始することができる。As described above, since the preliminary beat can be confirmed by the sound, even a user who is not accustomed to conducting can start playing the music with ease.
【0053】なお、予備拍が検出されたときに常に確認
音を発音するのではなく、発音するかしないかをユーザ
が設定できるようにしてもよい。これにより、確認音が
常に発音されることをうっとうしく感じるユーザ、特に
上級者は、消音することができ、ユーザの自由度を向上
させることができる。It should be noted that the confirmation sound may not always be emitted when the preliminary beat is detected, but the user may be able to set whether or not to emit the confirmation sound. Thus, a user who feels annoying that the confirmation sound is always pronounced, particularly an advanced user, can mute the sound and improve the flexibility of the user.
【0054】次に、第2拍打が検出されたか否かを判別
する(ステップS5)。この第2拍打の検出は、後述す
るように、総合判定部58によってなされた判定結果を
適用すればよい。もちろん、本予備拍検出処理において
独立に検出するようにしてもよい。Next, it is determined whether or not the second beat has been detected (step S5). The detection of the second beat may be performed by using the determination result made by the comprehensive determination unit 58, as described later. Of course, independent detection may be performed in the preliminary beat detection processing.
【0055】ステップS5で、第2拍打が検出されない
ときには、絶対加速度|D′|が前回値より大きい場合
に、その値で前回値を更新して常に最大の加速度値を保
存する処理である、加速度値ピークホールド処理を行っ
た(ステップS6)後に、ステップS5に戻る一方、第
2拍打が検出されたときにはステップS7に進む。In step S5, when the second beat is not detected, if the absolute acceleration | D '| is larger than the previous value, the previous value is updated with that value and the maximum acceleration value is always stored. After performing the acceleration value peak hold process (Step S6), the process returns to Step S5, and proceeds to Step S7 when the second beat is detected.
【0056】ステップS7では、タイマtimerの値
に応じて初期テンポを決定する。すなわち、曲の冒頭の
テンポは、予備拍の拍打位置が検出されてから、第2拍
打位置までの経過時間の長さに応じて、決定される。In step S7, an initial tempo is determined according to the value of the timer timer. That is, the tempo at the beginning of the song is determined according to the length of time elapsed from the detection of the beat position of the preliminary beat to the second beat position.
【0057】続くステップS8では、前記ピークホール
ドされた加速度値、すなわち加速度最大値に応じて初期
ダイナミクスを決定する。すなわち、曲の冒頭のダイナ
ミクスは、予備拍の拍打位置が検出されてから、第2拍
打位置までの指揮棒30の絶対加速度|D′|の最大値
応じて、決定される。In the following step S8, the initial dynamics is determined according to the acceleration value at which the peak is held, that is, the maximum acceleration value. That is, the dynamics at the beginning of the music is determined according to the maximum value of the absolute acceleration | D '| of the baton 30 from the time the beat position of the preliminary beat is detected to the second beat position.
【0058】そして、このようにして決定された初期テ
ンポおよび初期ダイナミクスで曲がスタートされるよう
に、MIDI再生部59に指示した(ステップS9)後
に、本予備拍検出処理を終了する。Then, after instructing the MIDI reproducing unit 59 to start the music at the initial tempo and initial dynamics determined in this way (step S9), the present preliminary beat detection processing is ended.
【0059】図4は、所定時間(たとえば1msec)
毎に発生するタイマ割込み処理の手順を示す図であり、
同図には、上記予備拍検出処理に関係する処理のみ示さ
れている。FIG. 4 shows a predetermined time (for example, 1 msec).
FIG. 9 is a diagram showing a procedure of a timer interrupt process which occurs every time,
FIG. 7 shows only the processing related to the above-mentioned preliminary beat detection processing.
【0060】すなわち、タイマtimerの値を“1”
だけインクリメントした(ステップS11)後に、本タ
イマ割込み処理を終了する。That is, the value of the timer timer is set to “1”.
After this, the timer interrupt process ends (step S11).
【0061】なお、本実施の形態では、初期ダイナミク
スは、予備拍の拍打位置から第2拍打位置(曲の再生が
開始された後の第1拍目の拍打タイミング)までの最大
加速度に応じて決定するようにしたが、これに限らず、
予備位置から予備拍の拍打位置までの最大加速度に応じ
て決定するようにしてもよいし、また、予備位置から第
2拍打位置までの最大加速度に応じて決定するようにし
てもよい。さらに、指揮棒30が移動した移動量(たと
えば、予備拍の拍打位置から最高到達点までの距離)に
応じて、またはこれを加速度に加味して、初期ダイナミ
クスを決定するようにしてもよい。In this embodiment, the initial dynamics is based on the maximum acceleration from the beat position of the preliminary beat to the second beat position (beat timing of the first beat after the reproduction of the music is started). I decided to decide, but not limited to this,
The determination may be made according to the maximum acceleration from the preliminary position to the beat position of the preliminary beat, or may be determined according to the maximum acceleration from the preliminary position to the second beat position. Further, the initial dynamics may be determined according to the amount of movement of the baton 30 (for example, the distance from the beat position of the preliminary beat to the highest point) or in consideration of the acceleration.
【0062】そして、初期ダイナミクスを、予備拍の拍
打位置より前に決定するときには、その決定されたダイ
ナミクスに応じて、前記予備拍の確認音の音量や音色、
音高等を変更するようにしてもよい。これにより、ユー
ザは、決定されたダイナミクスに応じた音色(たとえ
ば、ピアノの音色や打楽器の音色)や強さで確認するこ
とができるので、その後のダイナミクスの制御を思い通
りに調整することができる。When the initial dynamics is determined before the beat position of the preliminary beat, the volume and tone of the confirmation sound of the preliminary beat are determined in accordance with the determined dynamics.
The pitch and the like may be changed. This allows the user to confirm the tone (for example, the tone of a piano or the tone of a percussion instrument) or the intensity according to the determined dynamics, and can adjust the control of the dynamics thereafter as desired.
【0063】また、本実施の形態では、予備位置から第
2拍打位置までに必ず予備拍が決定されるようにした
が、これに限らず、曲データ(MIDIデータ)の拍
子、曲の始まりの拍、検出した拍打の種類に応じて、そ
の拍が予備拍か否かを判別するようにしてもよい。この
とき、予備拍と判別された場合には、上記予備拍検出処
理を行う一方、予備拍でないと判別された場合には、エ
ラー処理や、予備拍検出処理でない通常の曲の始めの処
理に移行するようにすればよい。In the present embodiment, the spare beat is always determined from the spare position to the second beat position. However, the present invention is not limited to this, and the time signature of the music data (MIDI data) and the start of the music can be determined. In accordance with the beat and the type of the detected beat, it may be determined whether or not the beat is a preliminary beat. At this time, if it is determined that the beat is a spare beat, the above-described spare beat detection process is performed. If it is determined that the beat is not a spare beat, an error process or a process of starting a normal song that is not a spare beat detection process is performed. The transition may be made.
【0064】図2に戻り、次に、ベクトル量子化部53
は、前記加速度信号Dx,Dyおよび絶対加速度|D′
|の特徴量を抽出し、ベクトル量子化の手法を用いて、
予め複数種類(本実施の形態では32種類)のラベルに
分類されたものの中から、いずれかのラベルlabel
を選択し、HMM認識部54に出力する。ここで、特徴
量とは、具体的には次に示すものである。Returning to FIG. 2, next, the vector quantization unit 53
Are the acceleration signals Dx and Dy and the absolute acceleration | D '
| Features, and using vector quantization,
Any of labels previously classified into a plurality of types (32 types in the present embodiment) of labels
Is selected and output to the HMM recognizing unit 54. Here, the feature amount is specifically as follows.
【0065】すなわち、 1)指揮動作の局所的な強さやそのタイミング(絶対加
速度時間波形のローカルピーク) 2)指揮動作の方向(xy平面内、すなわちx軸を水平
方向の加速度値に採り、y軸方向を垂直方向の加速度値
に採ったときのxy平面内での絶対加速度|D′|が位
置する象限や、絶対加速度|D′|と原点Oとを結ぶ線
分の、x軸正方向からの角度) 3)指揮動作の滑らかさ(絶対加速度時間波形の高周波
成分強度や、xy平面内において、加速度軌跡が所定の
短時間に作る領域の面積) 4)指揮動作の一時停止の程度(絶対加速度時間波形の
谷の深さとその谷の底部の時間) 等である。That is, 1) the local strength and timing of the commanding operation (local peak of the absolute acceleration time waveform) 2) The direction of the commanding operation (in the xy plane, that is, the x-axis is taken as the acceleration value in the horizontal direction, and y The quadrant where the absolute acceleration | D '| is located in the xy plane when the axial direction is taken as the acceleration value in the vertical direction, and the line connecting the absolute acceleration | D' | 3) Smoothness of commanding operation (high-frequency component intensity of the absolute acceleration time waveform or the area of the region where the acceleration trajectory is formed in a predetermined short time in the xy plane) 4) Degree of temporary stop of the commanding operation ( The depth of the valley of the absolute acceleration time waveform and the time at the bottom of the valley).
【0066】たとえば、「現在の状態が、『ローカルピ
ーク&指揮動作方向が角度α〜βの間』にある場合に
は、ラベルは“1”」というように、複数の特徴量の所
定の組合わせからなる条件を満たした場合に、あるラベ
ルに決定される。For example, if the current state is “local peak & commanding operation direction is between angles α to β”, the label is “1” and a predetermined set of a plurality of feature values is set. When the condition of matching is satisfied, a certain label is determined.
【0067】このようにして、ベクトル量子化部53
は、所定時間(たとえば10msec)毎に1つのラベ
ルlabel(前記32種類のラベルをそれぞれラベル
l1〜l32で表現すると、そのうちいずれかのラベルl
k)を生成してHMM認識部54に出力する。Thus, the vector quantization unit 53
Is represented by one label every predetermined time (for example, 10 msec) (when the 32 types of labels are represented by labels l1 to l32, respectively,
k) is generated and output to the HMM recognition unit 54.
【0068】HMM認識部54は、前記ベクトル量子化
部53と同様に、このラベルlabelをRAM9の所
定領域(以下、「ラベル記憶領域」という)に記憶す
る。すなわち、ラベル記憶領域には、ラベルlabel
の時系列データが格納される。このうち、最新の複数個
(R個)のラベルを集めて、ラベルの時系列{lr}を
生成する。The HMM recognizing unit 54 stores the label “label” in a predetermined area of the RAM 9 (hereinafter, referred to as “label storage area”), similarly to the vector quantization unit 53. That is, the label label is stored in the label storage area.
Is stored. Of these, the latest (R) labels are collected to generate a label time series {lr}.
【0069】そして、HMM認識部54は、このラベル
の時系列{lr}の発生パターン、すなわち当該ラベル
の時系列に含まれる各ラベルlrの発生パターンの確率
的な性質が隠れマルコフモデル(HMM:Hidden Marko
v Models)と呼ばれる確率モデルによって表現されると
みなし、このHMMを構成する複数個のモデルの各モデ
ルMkに対して、それぞれ時系列{lr}が発生する確
率(以下、「尤度」という)Pr(L|Mk)を求め、
そのうち、尤度Pr(L|Mk)が最大となるモデルM
kを求め、このモデルMkが基準にする指揮動作を、目
的の指揮動作、すなわちユーザが現在行っている指揮動
作と認識する。ここで、Lは時系列{lr}を示してい
る。Then, the HMM recognizing unit 54 generates a hidden Markov model (HMM: HMM: Hidden Marko
v Models), and a probability (hereinafter referred to as “likelihood”) that a time series {lr} is generated for each model Mk of a plurality of models constituting the HMM. Find Pr (L | Mk),
Model M in which likelihood Pr (L | Mk) is maximum
k is obtained, and the commanding operation based on the model Mk is recognized as the target commanding operation, that is, the commanding operation currently performed by the user. Here, L indicates a time series {lr}.
【0070】以下、HMM認識部54が行うHMM認識
処理を、図6を参照して、さらに詳細に説明する。Hereinafter, the HMM recognition processing performed by the HMM recognition unit 54 will be described in more detail with reference to FIG.
【0071】図6に示すように、本実施の形態では、H
MMとして、たとえば離散的な5種類の状態(State)
Sj(1≦j≦5)のいずれかを採り、各状態Sjは右
に隣接する状態Sまたは自己の状態にのみ遷移する、い
わゆるLR(Left-to-Right)型5状態HMMを採用し
ている。As shown in FIG. 6, in the present embodiment, H
As MM, for example, five discrete states (State)
Sj (1 ≦ j ≦ 5), and each state Sj adopts a so-called LR (Left-to-Right) type five-state HMM that transitions only to the right adjacent state S or its own state. I have.
【0072】図中、pijは、状態Siから状態Sjに遷
移する確率を示し、qij(lk)は、状態Siから状態S
jに遷移するときに、ラベルlkを出力する確率を示し
ている。ここで、ラベルlkの“k”は、モデルMkの
“k”と同一文字を用いているが、同じものを意味して
はいない。In the figure, pij indicates the probability of transition from state Si to state Sj, and qij (lk) indicates the probability of transition from state Si to state Sj.
This indicates the probability of outputting the label lk when transitioning to j. Here, “k” of the label lk uses the same character as “k” of the model Mk, but does not mean the same.
【0073】そして、指揮動作を複数種類(本実施の形
態では16種類)の動作状態(指揮棒30を三角形の各
辺に沿って振る(3つ振り)ときの各拍に対応する動作
や、上下に振る(2つ振り)ときの各拍に対応する動作
等)に分割して、該分割された各動作状態を前記各モデ
ルMkに対応付け、各モデルMk毎に、すなわち各動作
状態毎に、確率pijや確率qij(lk)等を予め学習して
おく。この学習値は、HMMデータベース(たとえば、
このデータベースは前記HDD13内のハードディスク
に構築される)55に格納される。なお、HMMデータ
ベース55には、この他に、前記モデルMkに関係する
情報等も格納される。A plurality of types (16 types in the present embodiment) of the commanding motions (movements corresponding to each beat when the commanding bar 30 is swung along each side of the triangle (three swings), (E.g., an operation corresponding to each beat when swinging up and down (two swings)), and associate each of the divided operation states with each of the models Mk, and for each of the models Mk, that is, for each of the operation states. First, the probability pij and the probability qij (lk) are learned in advance. This learning value is stored in the HMM database (for example,
This database is stored in a hard disk in the HDD 13) 55. The HMM database 55 also stores other information related to the model Mk.
【0074】このようにして予め学習され設定された各
設定値を用いて、次式(2)により、各モデルMk毎
に、尤度Pr(L|Mk)を算出する。The likelihood Pr (L | Mk) is calculated for each model Mk according to the following equation (2) using each set value learned and set in advance in this manner.
【0075】[0075]
【数2】 ただし、i0〜irは状態Siの添字“i”を示し、本実
施の形態では、i0〜ir-1はそれぞれ1〜5までの範囲
を採る。Irは、{r:Srが最終状態}の集合を示
し、本実施の形態では最終状態はS5であるため、Ir
={5}である。したがって、ir=5である。さら
に、ri0は、初期状態がSi0である確率、具体的には、
r1=1,ri=0(i=2,…,5)を示している。(Equation 2) However, i 0 through i r denotes the subscript "i" of the state Si, in this embodiment, i 0 ~i r-1 takes a range of up to 1-5, respectively. Ir is, {r: Sr is the final state} indicates a set of, for the final state in the present embodiment is S 5, Ir
= {5}. Therefore, i r = 5. Further, r i0 is the probability that the initial state is S i0 , specifically,
r 1 = 1, r i = 0 (i = 2,..., 5).
【0076】各モデルMk毎に、尤度Pr(L|Mk)
が算出されると、HMM認識部54は、このようにして
算出した各モデルMkの尤度を総合判定部58に出力す
る。For each model Mk, likelihood Pr (L | Mk)
Is calculated, the HMM recognizing unit 54 outputs the likelihood of each model Mk calculated in this way to the comprehensive determining unit 58.
【0077】すなわち、各モデルMkの尤度のうち、最
大尤度を与えるモデルMkを、その時点の指揮動作と認
識してもよいが、HMMによる認識のみでは誤認識する
可能性がある。このため、ここでは各モデルMkの尤度
を求めるのみにとどめ、最終的な動作の判定は総合判定
部58にまかせるようにしている。That is, among the likelihoods of the respective models Mk, the model Mk giving the maximum likelihood may be recognized as the commanding operation at that time, but there is a possibility that the model Mk may be erroneously recognized only by the HMM. Therefore, in this case, only the likelihood of each model Mk is obtained, and the final determination of the operation is left to the overall determination unit 58.
【0078】なお、このHMM認識部54では、指揮動
作の特徴量に基づいて、ダイナミクスやアーティキュレ
ーションも認識するようになっている。The HMM recognizing unit 54 recognizes dynamics and articulation based on the characteristic amount of the commanding operation.
【0079】総合判定部58には、拍打生起可能性予測
部56からの出力および拍打生起可能性分布計算部57
からの出力も供給され、総合判定部58は、これらの出
力状態に基づいて、文字通り総合的な判定を行い、拍打
タイミングやダイナミクス等の音楽要素データ、すなわ
ちMIDI再生部59が再生している音楽を制御する音
楽要素データaを、MIDI再生部59に出力する。The output from the beat probability predicting unit 56 and the beat probability distribution calculation unit 57
Is also supplied, and the comprehensive determination section 58 literally makes comprehensive determination based on these output states, and music element data such as beat timing and dynamics, that is, music played by the MIDI playback section 59. Is output to the MIDI playback unit 59.
【0080】この音楽要素データaのうち、演奏テンポ
データa1は、拍打生起可能性予測部56に供給され、
拍打生起可能性予測部56は、この演奏テンポデータa
1に基づいて、ファジィ推論(具体的には、直接法と呼
ばれるファジィ推論)により拍打生起可能性を予測す
る。Of the music element data a, the performance tempo data a1 is supplied to the beat occurrence probability predicting section 56,
The beat occurrence probability prediction unit 56 calculates the performance tempo data a
Based on No. 1, the probability of beat occurrence is predicted by fuzzy inference (specifically, fuzzy inference called a direct method).
【0081】ここで、直接法とは、一般的に、次に示す
手順によりファジィ推論を行う手法である。Here, the direct method is generally a method of performing fuzzy inference according to the following procedure.
【0082】1)ファジィルールを記述する 2)1)のファジィルール中、変数となる言語をメンバ
シップ関数で表す 3)入力に対する各ファジィルールの推論結果を求める 4)各ルールの推論結果から最終的な推論結果を求める 拍打生起可能性予測部56は、この直接法を次のように
具体的に適用して、拍打生起可能性を求めている。1) Describe the fuzzy rules 2) In the fuzzy rules of 1), express the language to be a variable by a membership function 3) Obtain the inference result of each fuzzy rule for input 4) Finalize from the inference result of each rule The beat occurrence probability prediction unit 56 specifically calculates the beat occurrence probability by applying the direct method as follows.
【0083】すなわち、1)については、if(前拍打タ
イミングからの演奏テンポに基づく経過時間が短い)th
en(拍打生起の可能性が低い)というファジィルールを
採用する。That is, for 1), if (the elapsed time based on the performance tempo from the previous beat timing is short) th
The fuzzy rule en (the probability of beat occurrence is low) is adopted.
【0084】2)については、前件部、すなわち上記フ
ァジィルール中、「前拍打タイミングからの演奏テンポ
に基づく経過時間が短い」の部分に対して、図7(a)
に示すメンバシップ関数を定義し、後件部、すなわち上
記ファジィルール中、「拍打生起の可能性が低い」の部
分に対して、図7(b)に示すメンバシップ関数を定義
する。Regarding 2), FIG. 7 (a) shows the antecedent part, that is, the part of “the elapsed time based on the playing tempo from the previous beat timing is short” in the fuzzy rule.
The membership function shown in FIG. 7 (b) is defined for the consequent part, that is, the part of the fuzzy rule where "the possibility of beat occurrence is low".
【0085】3)については、前記入力された演奏テン
ポデータa1に基づいて、前拍打からの演奏テンポに基
づく経過時間を算出し(たとえば、現在のテンポを所定
の基準テンポに換算したときの時間を算出する)、上記
図7(a)のメンバシップ関数を用いて、その算出され
た経過時間に対するグレードを求める。For 3), an elapsed time based on the performance tempo from the previous beat is calculated based on the input performance tempo data a1 (for example, the time when the current tempo is converted into a predetermined reference tempo). Is calculated), and the grade with respect to the calculated elapsed time is obtained using the membership function of FIG.
【0086】ファジィルールの前件部が、“and”で
結ばれた複数個の要素から成り立っているときには、各
メンバシップ関数からそれぞれ得られたグレードの最小
値(これを、「適合度」という)を求める(この演算
を、「“min”演算」という)。When the antecedent part of the fuzzy rule is composed of a plurality of elements connected by “and”, the minimum value of the grade obtained from each membership function (this is called “fitness”) ) (This operation is referred to as “min operation”).
【0087】しかし、拍打生起可能性予測部56では、
ファジィルールの前件部は、1つの要素によって構成さ
れているため、上記経過時間に対して求められたグレー
ドが適合度に相当する。However, the beat occurrence probability predicting unit 56
Since the antecedent part of the fuzzy rule is composed of one element, the grade obtained for the elapsed time corresponds to the degree of conformity.
【0088】たとえば経過時間がt1のときには、図7
(a)に示すように、グレードはg1と求められるの
で、適合度はg1となる。For example, when the elapsed time is t1, FIG.
As shown in (a), the grade is determined to be g1, and the degree of conformity is g1.
【0089】そして、後件部のメンバシップ関数、すな
わち図7(b)のメンバシップ関数の、上記求められた
適合度より上の部分をカットしたものが、1)のファジ
ィルールの推論結果となる。たとえば、適合度がg1で
あるとすると、図7(b)の領域R1で示される部分が
求める推論結果となる。Then, the membership function of the consequent part, that is, the part of the membership function shown in FIG. 7 (b) above the above-obtained degree of conformity is cut, and the inference result of the fuzzy rule of 1) is obtained. Become. For example, assuming that the degree of conformity is g1, a portion indicated by a region R1 in FIG. 7B is an inference result to be obtained.
【0090】4)については、1)のファジィルールが
複数種類定義されているときには、各ルールの個数だけ
3)の推論結果が得られるので、その推論結果、すなわ
ち上記領域R1のような複数個の領域を重ね合わせる
(この演算を、“max”演算という)。このように重
ね合わせて生成された領域の重心を求め、その重心から
垂線を延ばし、その足の値が最終的な推論結果となる。
これを、重心法という。Regarding 4), when a plurality of types of fuzzy rules of 1) are defined, the inference result of 3) can be obtained by the number of each rule. Are superimposed (this operation is referred to as “max” operation). The center of gravity of the region generated by overlapping in this way is obtained, a perpendicular line is extended from the center of gravity, and the value of the foot is the final inference result.
This is called the center of gravity method.
【0091】たとえば、図7(b)で、領域R1の重心
はG1と求められ、この重心G1に対応する生起確率は
p1と求められる。このとき、生起確率p1は、制御に
用いられる数値であるため、同時に非ファジィ化(Defu
zzify)もなされている。For example, in FIG. 7B, the center of gravity of the region R1 is determined as G1, and the occurrence probability corresponding to the center of gravity G1 is determined as p1. At this time, since the occurrence probability p1 is a numerical value used for control, it is simultaneously defuzzified (Defu
zzify).
【0092】拍打生起可能性予測部56は、このように
して求められた生起確率を、拍打生起可能性として、前
記総合判定部58に出力する。The beat occurrence probability predicting section 56 outputs the occurrence probability obtained in this way to the overall judgment section 58 as beat occurrence probability.
【0093】拍打生起可能性分布計算部57には、MI
DIデータベース(たとえば、このデータベースは前記
HDD13内のハードディスクに構築される)60から
MIDI再生部59に供給されるMIDIデータが供給
され、拍打生起可能性分布計算部57は、図8に示すよ
うなメンバシップ関数を定義し、供給されたMIDIデ
ータとこのメンバシップ関数を用いてファジィ推論によ
り、MIDIデータ上の拍打生起可能性分布を計算して
出力する。The beat occurrence probability distribution calculation unit 57 includes the MI
A DI database (for example, this database is constructed on a hard disk in the HDD 13) 60 is supplied with MIDI data supplied to a MIDI reproducing unit 59, and a beat occurrence probability distribution calculating unit 57 is configured to execute the processing shown in FIG. A membership function is defined, a beat occurrence probability distribution on the MIDI data is calculated and output by fuzzy inference using the supplied MIDI data and the membership function.
【0094】具体的には、ファジィルールとして、if
(演奏中の箇所がMIDIデータの拍や音符に近い)th
en(拍打入力がそれに相当する可能性が高い)というル
ールを採用し、メンバシップ関数として、図8(a)の
メンバシップ関数を定義した。図8(a)に示すよう
に、各メンバシップ関数は、MIDIデータの拍タイミ
ングでグレードが最大値を採るように定義される。一
方、MIDIデータには、拍打位置を示す情報は含まれ
ていないため、拍タイミングで拍打が発生する可能性が
高いとみなして、MIDIデータに基づき、拍タイミン
グでグレードが最大値を採るように、各メンバシップ関
数を定義する。なお、拍タイミング以外の位置に、拍打
位置を設定したいときには、図8(b)に示すように、
ユーザがマニュアルでメンバシップ関数を設定するよう
にすればよい。Specifically, as a fuzzy rule, if
(The part being played is close to the MIDI data beat or note)
The rule en (beat input is highly likely to correspond to this) is adopted, and the membership function of FIG. 8A is defined as the membership function. As shown in FIG. 8A, each membership function is defined such that the grade takes the maximum value at the beat timing of the MIDI data. On the other hand, since the MIDI data does not include information indicating the beat position, it is considered that a beat is likely to occur at the beat timing, and the grade takes the maximum value at the beat timing based on the MIDI data. , Define each membership function. When a beat position is to be set at a position other than the beat timing, as shown in FIG.
The user may manually set the membership function.
【0095】このようにして、ファジィルールおよび各
メンバシップ関数が定義されると、その後のファジィ推
論は、上述した拍打生起可能性予測部56でのファジィ
推論と同様であるので、その説明は省略する。When the fuzzy rules and the respective membership functions are defined in this way, the subsequent fuzzy inference is the same as the above-described fuzzy inference in the beat occurrence probability predicting section 56, and therefore description thereof is omitted. I do.
【0096】拍打生起可能性分布計算部57は、算出さ
れた拍打生起可能性を、総合判定部58に出力する。The beat occurrence probability distribution calculator 57 outputs the calculated beat occurrence probability to the overall determination unit 58.
【0097】総合判定部58は、前記HMM認識部54
からの各モデルMkの尤度、拍打生起可能性予測部56
からの拍打生起可能性、および拍打生起可能性分布計算
部57からの拍打生起可能性分布に基づいて、ファジィ
推論により、指揮動作を総合的に判定する。The overall judging section 58 includes the HMM recognizing section 54
Of likelihood of each model Mk and beat occurrence probability prediction unit 56
Based on the beat probability and the beat probability distribution calculator 57, the commanding operation is comprehensively determined by fuzzy inference.
【0098】具体的には、ファジィルールとして、if
(HMM認識部54において、Nつ振りのn個目に相当
するHMMの尤度が高い)and(拍打生起可能性予測部
56において、拍打生起可能性が高い)and(拍打生起
可能性分布計算部57において、演奏中の箇所がN拍子
のn拍目に近い)then(拍打入力が、Nつ振りのn個目
の可能性が高い)というルールを採用し、そのメンバシ
ップ関数として、それぞれ図9(a)〜(d)に示すメ
ンバシップ関数(図示例は、N=3,n=2の場合を示
している)を採用している。Specifically, as a fuzzy rule, if
(In the HMM recognizing unit 54, the likelihood of the HMM corresponding to the nth N-th swing is high) and (the beat probability is high in the beat probability predicting unit 56) and (beat probability distribution calculation The unit 57 adopts a rule that the part being played is close to the nth beat of N beats) then (the beat input is likely to be the nth beat of the Nth beat), and its membership function is The membership functions shown in FIGS. 9A to 9D (the illustrated example shows a case where N = 3 and n = 2) are employed.
【0099】その後のファジィ推論方法は、上述した拍
打生起可能性予測部56の方法と同様であるため、その
説明を省略する。The subsequent fuzzy inference method is the same as that of the above-described beat occurrence probability prediction unit 56, and therefore, the description thereof is omitted.
【0100】このようにして、総合判定部58は、入力
された情報に基づいてファジィ推論を行って、HMM認
識部54により認識された指揮動作の認識率をさらに向
上させ、その判定結果、すなわち前記音楽要素データa
(演奏テンポ、拍打タイミング、拍打種類、ダイナミク
ス、アーティキュレーションなど)をMIDI再生部5
9に出力する。As described above, the comprehensive judgment unit 58 performs fuzzy inference based on the input information to further improve the recognition rate of the commanding operation recognized by the HMM recognition unit 54, and the judgment result, that is, The music element data a
(Playing tempo, beat timing, beat type, dynamics, articulation, etc.)
9 is output.
【0101】MIDI再生部59は、前記MIDIデー
タベース60から供給されたMIDIデータに基づい
て、ノートオン/オフイベントが発生するタイミングを
決定し、この決定されたタイミングで、当該ノートオン
/オフが発生するような情報を音源部61に送出する、
すなわちMIDIデータを再生する。このとき、曲の冒
頭のテンポおよびダイナミクスは、それぞれ前記予備拍
検出部50が出力した初期テンポおよび初期ダイナミク
スに設定される。そして、MIDI再生部59は、総合
判定部58からの音楽要素データaに応じて、再生中の
MIDIデータの、対応する音楽要素を変更する。具体
的には、音楽要素データが拍打タイミングのときには、
そのタイミングおよびその拍打種類に一致するように再
生中のMIDIデータの拍タイミングまたは音符位置を
変更し、また、音楽要素データがダイナミクスのときに
は、そのダイナミクスに一致するように再生中のMID
Iデータのダイナミクス(ベロシティやボリューム)を
変更する。The MIDI playback section 59 determines the timing at which a note-on / off event occurs based on the MIDI data supplied from the MIDI database 60, and the note-on / off occurs at the determined timing. Is transmitted to the sound source 61.
That is, the MIDI data is reproduced. At this time, the tempo and the dynamics at the beginning of the music are set to the initial tempo and the initial dynamics output by the preliminary beat detection unit 50, respectively. Then, the MIDI reproducing unit 59 changes the corresponding music element of the MIDI data being reproduced according to the music element data a from the overall determining unit 58. Specifically, when the music element data is beat timing,
The beat timing or note position of the MIDI data being reproduced is changed so as to match the timing and the beat type, and when the music element data is dynamic, the MID being reproduced so as to match the dynamics is changed.
Change the dynamics (velocity and volume) of I data.
【0102】MIDI再生部59は、この変更後のMI
DIデータを音源部61に出力し、これを受けて、音源
部61は、MIDIデータから楽音信号を生成して、前
記サウンドシステム19に出力する。The MIDI playback section 59 outputs the changed MIDI
The DI data is output to the tone generator 61, and in response, the tone generator 61 generates a tone signal from the MIDI data and outputs the tone signal to the sound system 19.
【0103】サウンドシステム19は、前述のように、
生成された楽音信号を音響に変換する。As described above, the sound system 19
The generated tone signal is converted into sound.
【0104】このように、本実施の形態では、予備拍を
検出し、その検出結果に基づいて初期テンポおよび初期
ダイナミクスを決定して、自動演奏する曲の冒頭のテン
ポおよびダイナミクスとしたので、ユーザは思い通りの
テンポおよびダイナミクスで最初から曲を制御すること
ができる。As described above, in the present embodiment, the preliminary beat is detected, the initial tempo and the initial dynamics are determined based on the detection result, and the initial tempo and the dynamics are determined as the beginning tempo and the dynamics of the music to be automatically played. Can control songs from the start with the tempo and dynamics you want.
【0105】なお、本実施の形態では、指揮動作をHM
Mによって認識するようにしたが、これに限る必要はな
く、たとえば前記DPマッチングを用いた方法によって
認識するようにしてもよい。In this embodiment, the command operation is performed by the HM
Although the recognition is performed by M, the present invention is not limited to this. For example, the recognition may be performed by the method using the DP matching.
【0106】また、本実施の形態では、指揮棒30に加
速度センサ31,32を設け、これから得られる加速度
に応じて指揮動作を検出するようにしたが、これに限ら
ず、たとえば、角速度センサ(ジャイロセンサ)、磁気
や光を利用したセンサを用いて検出された信号に応じて
指揮動作を検出するようにしてもよく、また手や指に直
接センサを装着するようにしてもよい。In the present embodiment, the acceleration sensor 31, 32 is provided on the command rod 30 to detect the command operation in accordance with the acceleration obtained from the acceleration sensor. However, the present invention is not limited to this. For example, an angular velocity sensor ( A gyro sensor), a commanding operation may be detected according to a signal detected using a sensor using magnetism or light, or the sensor may be directly attached to a hand or finger.
【0107】さらに、本実施の形態では、主として汎用
コンピュータを用いて音楽制御装置を構成したが、これ
に限らず、専用の機器により構成してもよい。Further, in the present embodiment, the music control device is mainly configured by using a general-purpose computer, but is not limited thereto, and may be configured by a dedicated device.
【0108】なお、上述した各実施の形態の機能を実現
するソフトウェアのプログラムを記録した記憶媒体を、
システムまたは装置に供給し、そのシステムまたは装置
のコンピュータ(またはCPU7やMPU)が記憶媒体
に格納されたプログラムを読出し実行することによって
も、本発明の目的が達成されることは云うまでもない。A storage medium storing a software program for realizing the functions of the above-described embodiments is stored in a storage medium.
It is needless to say that the object of the present invention can be achieved by supplying the program to a system or an apparatus and causing a computer (or CPU 7 or MPU) of the system or the apparatus to read and execute a program stored in a storage medium.
【0109】この場合、記憶媒体から読出されたプログ
ラム自体が本発明の新規な機能を実現することになり、
そのプログラムを記憶した記憶媒体は本発明を構成する
ことになる。In this case, the program itself read from the storage medium realizes the novel function of the present invention,
The storage medium storing the program constitutes the present invention.
【0110】プログラムを供給するための記憶媒体とし
ては、たとえば、前記HDD13のハードディスク、C
D−ROM41,MO,MD,フロッピーディスク4
0、CD−R(CD- Recordable)、磁気テープ、不揮発
性のメモリカード、ROM8などを用いることができ
る。また、他のMIDI機器100や通信ネットワーク
101を介してサーバコンピュータ102からプログラ
ムが供給されるようにしてもよい。The storage medium for supplying the program is, for example, a hard disk of the HDD 13 or C
D-ROM 41, MO, MD, floppy disk 4
0, a CD-R (CD-Recordable), a magnetic tape, a nonvolatile memory card, a ROM 8, and the like. Further, the program may be supplied from the server computer 102 via another MIDI device 100 or the communication network 101.
【0111】また、コンピュータが読出したプログラム
を実行することにより、上述した各実施の形態の機能が
実現されるだけでなく、そのプログラムの指示に基づ
き、コンピュータ上で稼働しているOSなどが実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれることは云
うまでもない。When the computer executes the readout program, not only the functions of the above-described embodiments are realized, but also the OS running on the computer is actually executed based on the instructions of the program. It goes without saying that a part or all of the above-described processing is performed, and the functions of the above-described embodiments are realized by the processing.
【0112】さらに、記憶媒体から読出されたプログラ
ムが、コンピュータに挿入された機能拡張ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書込まれた後、そのプログラムの指示に基づき、その
機能拡張ボードや機能拡張ユニットに備わるCPU7な
どが実際の処理の一部または全部を行い、その処理によ
って上述した各実施の形態の機能が実現される場合も含
まれることは云うまでもない。Further, after the program read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the program is executed based on the instructions of the program. It goes without saying that the CPU 7 or the like provided in the expansion board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
【0113】[0113]
【発明の効果】以上説明したように、本発明に依れば、
動作検出手段により検出された人の動作から、自動演奏
される音楽に対する予備拍が検出され、この予備拍に基
づいて前記自動演奏される音楽が制御されるので、実際
の指揮と同様にして音楽演奏を開始することが可能とな
る効果を奏する。As described above, according to the present invention,
A preliminary beat for the automatically played music is detected from the human motion detected by the motion detecting means, and the automatically played music is controlled based on the preliminary beat. This has the effect that the performance can be started.
【0114】また、好ましくは、人の動作が所定時間以
上停止した後に予備拍は検出されるので、予備拍の誤検
出を防止することができる。Preferably, the preliminary beat is detected after the motion of the person stops for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.
【0115】さらに、好ましくは、前記検出された予備
拍に基づいて、前記自動演奏される音楽の初期の音楽要
素が決定されるので、ユーザは、その曲を最初に演奏す
るきにも、自分の思い通りにその曲の音楽要素を決定し
て曲を開始することができる。[0115] Further, preferably, the initial music element of the music to be automatically played is determined based on the detected preliminary beat, so that the user can perform his or her own music even when playing the music for the first time. The music element of the song can be determined and the song can be started as desired.
【0116】また、さらに、好ましくは、ユーザは予備
拍の検出時点を確認できるので、安心して曲演奏を開始
することができる。[0116] Further, more preferably, the user can confirm the detection time point of the preliminary beat, so that the music performance can be started with confidence.
【0117】さらに、好ましくは、人の動作が所定時間
以上停止した後に予備拍を検出するので、予備拍の誤検
出を防止することができる。Further, preferably, the preliminary beat is detected after the human motion has stopped for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.
【図1】本発明の一実施の形態に係る音楽制御装置の概
略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of a music control device according to an embodiment of the present invention.
【図2】図1の音楽制御装置のうち、主としてコンピュ
ータが実行する制御処理を説明するためのブロック図で
ある。FIG. 2 is a block diagram for explaining a control process mainly executed by a computer in the music control device of FIG. 1;
【図3】図2の予備拍検出部が実行する予備拍検出処理
サブルーチンの手順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure of a preliminary beat detection processing subroutine executed by a preliminary beat detection unit in FIG. 2;
【図4】所定時間毎に発生するタイマ割込み処理の手順
を示す図である。FIG. 4 is a diagram showing a procedure of a timer interrupt process that occurs every predetermined time.
【図5】ユーザが図1の指揮棒を振ったときの軌跡の一
例を示す図である。FIG. 5 is a diagram illustrating an example of a trajectory when a user swings the baton in FIG. 1;
【図6】図2のベクトル量子化部が行うHMM認識処理
を詳細に説明するための図である。FIG. 6 is a diagram for explaining in detail an HMM recognition process performed by a vector quantization unit in FIG. 2;
【図7】図2の拍打生起可能性予測部がファジィ推論を
行うときに用いられるメンバシップ関数の一例を示す図
である。FIG. 7 is a diagram illustrating an example of a membership function used when the beat occurrence probability prediction unit in FIG. 2 performs fuzzy inference.
【図8】図2の拍打生起可能性分布計算部がファジィ推
論を行うときに用いられるメンバシップ関数の一例を示
す図である。8 is a diagram illustrating an example of a membership function used when the beat occurrence probability distribution calculation unit in FIG. 2 performs fuzzy inference.
【図9】図2の総合判定部がファジィ推論を行うときに
用いられるメンバシップ関数の一例を示す図である。FIG. 9 is a diagram illustrating an example of a membership function used when the comprehensive determination unit in FIG. 2 performs fuzzy inference.
7 CPU(動作検出手段、自動演奏手段、予備拍検出
手段、制御手段、初期音楽要素決定手段、予備拍確認手
段) 19 サウンドシステム(予備拍確認手段) 31 加速度センサ(動作検出手段) 32 加速度センサ(動作検出手段)7 CPU (motion detection means, automatic performance means, preliminary beat detection means, control means, initial music element determination means, preliminary beat confirmation means) 19 sound system (preliminary beat confirmation means) 31 acceleration sensor (motion detection means) 32 acceleration sensor (Operation detection means)
Claims (4)
出手段と、 該検出された予備拍に基づいて前記自動演奏手段を制御
する制御手段とを有し、 前記予備拍検出手段は、前記動作検出手段より検出され
た動作が所定時間以上停止した後の最初の拍打を予備拍
として検出することを特徴とする音楽制御装置。1. A motion detecting means for detecting a human motion; an automatic performance means for automatically playing music; a preliminary beat detecting means for detecting a preliminary beat from the detected human motion; Control means for controlling the automatic performance means based on a beat, wherein the preliminary beat detection means detects a first beat after the operation detected by the operation detection means has stopped for a predetermined time or more as a preliminary beat. A music control device.
に基づいて、前記自動演奏される音楽の初期の音楽要素
を決定する初期音楽要素決定手段を有することを特徴と
する請求項1に記載の音楽制御装置。2. The apparatus according to claim 1, wherein said control means includes an initial music element determination means for determining an initial music element of the music to be automatically played, based on the detected preliminary beat. A music control device as described.
出されたときに、その検出時点をユーザに確認させる予
備拍確認手段を有することを特徴とする請求項1または
2のいずれかに記載の音楽制御装置。3. The apparatus according to claim 1, further comprising: a preliminary beat confirmation unit that, when a preliminary beat is detected by the preliminary beat detection unit, allows a user to confirm a detection time point. Music control device.
と、 音楽を自動演奏する自動演奏モジュールと、 前記検出された人の動作から予備拍を検出する予備拍検
出モジュールと、 該検出された予備拍に基づいて前記自動演奏手段を制御
する制御モジュールとを含む、コンピュータが実行する
プログラムであって、 前記予備拍検出モジュールでは、前記動作検出モジュー
ルより検出された動作が所定時間以上停止した後の最初
の拍打を予備拍として検出するプログラムを格納したコ
ンピュータ読み取り可能な記憶媒体。4. A motion detection module for detecting a human motion, an automatic performance module for automatically playing music, a preliminary beat detection module for detecting a preliminary beat from the detected human motion, and a detected preliminary beat. including a control module for controlling the automatic playing unit, the computer executes, based on the beat
A program, in the preliminary beat detection module, said detected from motion detection module operation has stored the Help program be detected as pre beat the first beat Blow after stopping for a predetermined time or more co
Computer-readable storage medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21006797A JP3353661B2 (en) | 1997-07-18 | 1997-07-18 | Music control device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21006797A JP3353661B2 (en) | 1997-07-18 | 1997-07-18 | Music control device and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1138971A JPH1138971A (en) | 1999-02-12 |
JP3353661B2 true JP3353661B2 (en) | 2002-12-03 |
Family
ID=16583280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21006797A Expired - Lifetime JP3353661B2 (en) | 1997-07-18 | 1997-07-18 | Music control device and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3353661B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4712205B2 (en) * | 2001-03-08 | 2011-06-29 | 株式会社コナミデジタルエンタテインメント | Performance command game device, game machine control method, information storage medium, and program |
JP2006214925A (en) * | 2005-02-04 | 2006-08-17 | Yamada Ongaku Jimusho:Kk | Electronic metronome |
JP7383943B2 (en) * | 2019-09-06 | 2023-11-21 | ヤマハ株式会社 | Control system, control method, and program |
-
1997
- 1997-07-18 JP JP21006797A patent/JP3353661B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH1138971A (en) | 1999-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4533845B2 (en) | Audio device control apparatus, audio device control method, and program | |
JP2022063777A (en) | Performance information prediction device, effective string vibration determination model training device, performance information generation system, performance information prediction method, and effective string vibration determination model training method | |
US20050257667A1 (en) | Apparatus and computer program for practicing musical instrument | |
JP3266149B2 (en) | Performance guide device | |
US5902948A (en) | Performance instructing apparatus | |
JP3353661B2 (en) | Music control device and storage medium | |
JP3376866B2 (en) | Music control device and storage medium | |
JP4525591B2 (en) | Performance evaluation apparatus and program | |
WO2023058173A1 (en) | Sound control device, control method for same, electronic instrument, program | |
JP2004078095A (en) | Playing style determining device and program | |
JP3436089B2 (en) | Music control device and storage medium | |
JP2894233B2 (en) | An electronic musical instrument with the function of assigning the time position of waveform data to note codes | |
JP3627321B2 (en) | Performance control device | |
JPH09185716A (en) | Operation judging method and its device | |
JP3047879B2 (en) | Performance guide device, performance data creation device for performance guide, and storage medium | |
JP4802947B2 (en) | Performance method determining device and program | |
JPH1049148A (en) | Frequency detecting device | |
JP3651243B2 (en) | Display change device, display change method, and storage medium | |
JP3963141B2 (en) | SINGLE SYNTHESIS DEVICE, SINGE SYNTHESIS PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING SINGE SYNTHESIS PROGRAM | |
JP3627319B2 (en) | Performance control device | |
JP3003559B2 (en) | Music generation method | |
JP3173310B2 (en) | Harmony generator | |
JP2570214B2 (en) | Performance information input device | |
JP4214845B2 (en) | Automatic arpeggio device and computer program applied to the device | |
JP2002175072A (en) | Playing decision apparatus and playing decision method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060424 |
|
A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20060822 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070927 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080927 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090927 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100927 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100927 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110927 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120927 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130927 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |