JP3353661B2 - Music control device and storage medium - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、自動演奏されてい
る音楽の所定の音楽要素を制御する音楽制御装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a music control device for controlling predetermined music elements of music that is being played automatically.

【０００２】[0002]

【従来の技術】指揮動作等の人の動作を判定して、自動
演奏されている音楽のテンポやダイナミクスを制御する
音楽制御装置は、従来より知られている。2. Description of the Related Art There has been known a music control device which determines a human motion such as a commanding motion and controls the tempo and dynamics of music being automatically played.

【０００３】かかる従来の音楽制御装置は、たとえば所
定のセンサ等を備えた指揮棒をユーザが振ることによっ
て得られた信号出力から、ユーザが指示した拍打タイミ
ングやダイナミクス等を判定し、その判定結果に基づい
て音楽制御を行っている。Such a conventional music control apparatus determines, for example, beat timing and dynamics specified by a user from a signal output obtained by the user swinging a baton provided with a predetermined sensor and the like, and the determination result is obtained. Music is controlled based on the

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、上記従
来の音楽制御装置では、予備拍まで認識してはいなかっ
た。However, the above-mentioned conventional music control device does not recognize the preliminary beat.

【０００５】予備拍とは、指揮者が、曲の冒頭のテンポ
やダイナミクスを指示するために、演奏開始前に１拍余
分に指揮棒を振る（この動作を予備運動という）とき
の、この拍をいい、指揮法で規定されている。[0005] The preliminary beat is defined as a beat when the conductor shakes a conductor bar one extra beat before starting the performance to indicate the tempo or dynamics at the beginning of the music (this operation is called a preliminary movement). It is defined by the Conduct Law.

【０００６】一方、曲の冒頭のテンポを変更する音楽制
御装置として、本出願人は、特開平８−２７２３６２号
公報で、曲のテンポを制御する度にそのテンポを記憶
し、その曲を次に演奏するときに、その冒頭のテンポを
前回記憶したテンポに設定するものを開示した。On the other hand, as a music control device for changing the tempo at the beginning of a song, the present applicant disclosed in Japanese Patent Application Laid-Open No. Hei 8-272362, every time the tempo of a song is controlled, the tempo is stored, and When the performance is performed, the tempo at the beginning is set to the previously stored tempo.

【０００７】しかし、ユーザが変わったり、また、同じ
ユーザであっても気分によっては、前回演奏したときの
テンポと異なったテンポで曲のテンポを指示したいこと
があった。このような場合には、上記前回のテンポを曲
の冒頭のテンポに設定する手法では、ユーザの要求に十
分に応えることができなかった。[0007] However, depending on the user, or depending on the mood, even if the user is the same, there is a case where the user wants to specify the tempo of the music at a tempo different from the tempo of the previous performance. In such a case, the technique of setting the previous tempo to the tempo at the beginning of the music could not sufficiently respond to the request of the user.

【０００８】本発明は、この点に着目してなされたもの
であり、予備拍まで認識することが可能な音楽制御装置
を提供することを目的とする。The present invention has been made in view of this point, and has as its object to provide a music control device capable of recognizing up to a preliminary beat.

【０００９】[0009]

【課題を解決するための手段】上記目的を達成するた
め、本発明の音楽制御装置は、人の動作を検出する動作
検出手段と、音楽を自動演奏する自動演奏手段と、前記
検出された人の動作から予備拍を検出する予備拍検出手
段と、該検出された予備拍に基づいて前記自動演奏手段
を制御する制御手段とを有することを特徴とする。In order to achieve the above object, a music control device according to the present invention comprises: a motion detecting means for detecting a motion of a person; an automatic playing means for automatically playing music; And a control means for controlling the automatic performance means on the basis of the detected preliminary beat.

【００１０】これにより、動作検出手段により検出され
た人の動作から、自動演奏される音楽に対する予備拍が
検出され、この予備拍に基づいて前記自動演奏される音
楽が制御されるので、実際の指揮と同様にして音楽演奏
を開始することができる。[0010] Thus, the preliminary beat for the music to be automatically played is detected from the human motion detected by the motion detecting means, and the music to be automatically played is controlled based on the preliminary beat, so that the actual beat is controlled. Musical performance can be started in the same manner as conducting.

【００１１】ここで、動作検出手段は、人の動作を検出
できるものであれば、どのようなものであってもよい。
たとえば、本発明の実施の形態で後述するように、隠れ
マルコフモデルを用いた手法で検出してもよいし、これ
に限らず、ＤＰマッチング（dynamic programing match
ing）を用いた手法で検出してもよい。Here, the motion detecting means may be any device as long as it can detect human motion.
For example, as described later in the embodiment of the present invention, detection may be performed by a method using a hidden Markov model, or the present invention is not limited to this.
ing).

【００１２】さらに、このようにして検出された人の動
作を、自動演奏される音楽の何らかの情報に基づいて、
本発明の実施の形態で後述するように、たとえばファジ
ィ推論を用いてより正確に判定するようにしてもよい。Further, the movement of the person detected in this way is determined based on some information of the music to be automatically played.
As described later in the embodiment of the present invention, a more accurate determination may be made using, for example, fuzzy inference.

【００１３】また、好ましくは、前記予備拍検出手段
は、前記動作検出手段より検出された動作が所定時間以
上停止した後の最初の拍打を予備拍として検出すること
を特徴とする。Preferably, the preliminary beat detecting means detects a first beat after the operation detected by the operation detecting means has stopped for a predetermined time or more as a preliminary beat.

【００１４】これにより、人の動作が所定時間以上停止
した後に予備拍は検出されるので、予備拍の誤検出を防
止することができる。Thus, the preliminary beat is detected after the motion of the person has stopped for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.

【００１５】さらに、好ましくは、前記制御手段は、前
記検出された予備拍に基づいて、前記自動演奏される音
楽の初期の音楽要素を決定する初期音楽要素決定手段を
有することを特徴とする。Further, preferably, the control means has initial music element determination means for determining an initial music element of the music to be automatically played, based on the detected preliminary beat.

【００１６】これにより、前記検出された予備拍に基づ
いて、前記自動演奏される音楽の初期の音楽要素が決定
されるので、ユーザは、その曲を最初に演奏するきに
も、自分の思い通りにその曲の音楽要素を決定して曲を
開始することができる。Thus, the initial music element of the music to be automatically played is determined on the basis of the detected preliminary beat, so that the user can perform his or her own performance even when playing the music for the first time. Then, the music element of the song can be determined and the song can be started.

【００１７】ここで、音楽要素とは、たとえば、曲のテ
ンポやダイナミクスである。そして、音楽要素は、たと
えば、予備拍と次の拍（音楽再生が始まる拍）との時間
間隔や強さに基づいて決定される。Here, the music element is, for example, a tempo or dynamics of a music piece. The music element is determined based on, for example, the time interval and strength between the preliminary beat and the next beat (the beat at which music playback starts).

【００１８】また、さらに、好ましくは、前記予備拍検
出手段によって予備拍が検出されたときに、その検出時
点をユーザに確認させる予備拍確認手段を有することを
特徴とする。[0018] Still further, preferably, when a spare beat is detected by the spare beat detecting means, a spare beat confirming means for confirming a detection time point by a user is provided.

【００１９】これにより、ユーザは予備拍の検出時点を
確認できるので、安心して曲演奏を開始することができ
る。Thus, the user can confirm the detection time point of the preliminary beat, so that the music performance can be started with confidence.

【００２０】ここで、確認するための媒体は、たとえば
音であるが、これに限る必要はなく、ユーザが予備拍を
確認できるものであればどのようなものであってもよ
い。Here, the medium for confirmation is, for example, a sound, but is not limited to this, and may be any medium as long as the user can confirm the preliminary beat.

【００２１】また、本発明の記憶媒体は、人の動作を検
出する動作検出モジュールと、音楽を自動演奏する自動
演奏モジュールと、前記検出された人の動作から予備拍
を検出する予備拍検出モジュールと、該検出された予備
拍に基づいて前記自動演奏手段を制御する制御モジュー
ルとを含む、コンピュータが実行するプログラムであっ
て、前記予備拍検出モジュールでは、前記動作検出モジ
ュールより検出された動作が所定時間以上停止した後の
最初の拍打を予備拍として検出するプログラムを格納し
たことを特徴とする。Further, the storage medium of the present invention includes a motion detecting module for detecting a human motion, an automatic performance module for automatically playing music, and a preliminary beat detecting module for detecting a preliminary beat from the detected human motion. When, a and a control module for controlling the automatic playing means based on the pre-beat issued該検including a program executed by a computer
Te, in the preliminary beat detection module, wherein said detected from the operation detection module operation has stored the Help program to detect a first beat Blow after stopping for a predetermined time or more as a pre-beat.

【００２２】これにより、上述の効果と同様の効果を得
ることができる。Thus, the same effect as the above-described effect can be obtained.

【００２３】[0023]

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.

【００２４】図１は、本発明の一実施の形態に係る音楽
制御装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a music control device according to one embodiment of the present invention.

【００２５】同図に示すように、本実施の形態の音楽制
御装置は、主として文字情報を入力するためのキーボー
ド１と、位置情報を入力するための、たとえばマウス等
のポインチングデバイス２と、ユーザの動作、すなわち
指揮棒３０を振って行う指揮動作のうちｘ軸（水平）方
向の加速度を検出する加速度センサ３１と、この指揮動
作のうちｙ軸（垂直）方向の加速度を検出する加速度セ
ンサ３２と、キーボード１の各キーの押下状態を検出す
るキー検出回路３と、ポインチングデバイス２の操作状
態を検出する操作状態検出回路４と、加速度センサ３１
からの電気的なアナログ加速度信号Ａｘをデジタル加速
度信号Ｄｘに変換するＡ／Ｄ変換回路（Analog-to-Digi
tal Converter）５と、加速度センサ３２からの電気的
なアナログ加速度信号Ａｙをデジタル加速度信号Ｄｙに
変換するＡ／Ｄ変換回路６と、装置全体の制御を司るＣ
ＰＵ７と、該ＣＰＵ７が実行する制御プログラムやテー
ブルデータ等を記憶するＲＯＭ８と、演奏データ、上記
加速度信号Ｄｘ，Ｄｙを含む各種入力情報および演算結
果等を一時的に記憶するＲＡＭ９と、タイマ割込み処理
における割込み時間や各種時間を計時するタイマ１０
と、各種情報等を表示する、たとえば大型液晶ディスプ
レイ（ＬＣＤ）若しくはＣＲＴ（Cathode RayTube）デ
ィスプレイおよび発光ダイオード（ＬＥＤ）等を備えた
表示装置１１と、記憶媒体であるフロッピディスク（Ｆ
Ｄ）４０をドライブするフロッピディスクドライブ（Ｆ
ＤＤ）１２と、前記制御プログラムを含む各種アプリケ
ーションプログラムや各種データ等を記憶するハードデ
ィスク（図示せず）をドライブするハードディスクドラ
イブ（ＨＤＤ）１３と、前記制御プログラムを含む各種
アプリケーションプログラムや各種データ等を記憶する
コンパクトディスク−リード・オンリ・メモリ（ＣＤ−
ＲＯＭ）４１をドライブするＣＤ−ＲＯＭドライブ（Ｃ
Ｄ−ＲＯＭＤ）１４と、外部からのＭＩＤＩ（Musical
Instrument DigitalInterface）信号を入力したり、Ｍ
ＩＤＩ信号として外部に出力したりするＭＩＤＩインタ
ーフェース（Ｉ／Ｆ）１５と、通信ネットワーク１０１
を介して、たとえばサーバコンピュータ１０２とデータ
の送受信を行う通信インターフェース（Ｉ／Ｆ）１６
と、たとえばＣＰＵ７により生成されたされた演奏デー
タ等を楽音信号に変換する音源回路１７と、該音源回路
１７からの楽音信号に各種効果を付与するための効果回
路１８と、該効果回路１８からの楽音信号を音響に変換
する、たとえば、ＤＡＣ（Digital-to-Analog Converte
r）やアンプ、スピーカ等のサウンドシステム１９とに
より構成されている。As shown in FIG. 1, the music control apparatus according to the present embodiment includes a keyboard 1 for mainly inputting character information, a pointing device 2 such as a mouse for inputting position information, and a like. An acceleration sensor 31 that detects an acceleration in the x-axis (horizontal) direction of a user's motion, that is, a commanding motion performed by swinging the baton 30, and an acceleration sensor that detects an acceleration in the y-axis (vertical) direction of the commanding motion 32, a key detection circuit 3 for detecting a pressed state of each key of the keyboard 1, an operation state detection circuit 4 for detecting an operation state of the pointing device 2, and an acceleration sensor 31
A / D conversion circuit (Analog-to-Digi) that converts an electrical analog acceleration signal Ax from
tal Converter) 5, an A / D conversion circuit 6 for converting an electrical analog acceleration signal Ay from the acceleration sensor 32 into a digital acceleration signal Dy, and a C for controlling the entire apparatus.
PU7, ROM8 for storing a control program executed by the CPU7, table data, etc., RAM9 for temporarily storing performance data, various input information including the acceleration signals Dx and Dy, calculation results, and the like, timer interrupt processing Timer 10 that measures the interrupt time and various times in the
And a display device 11 for displaying various information such as a large liquid crystal display (LCD) or a CRT (Cathode Ray Tube) display and a light emitting diode (LED), and a floppy disk (F) as a storage medium.
D) Floppy disk drive (F) for driving 40
DD) 12, a hard disk drive (HDD) 13 for driving a hard disk (not shown) for storing various application programs including the control program and various data, and various application programs and various data including the control program. Compact Disc for Storage-Read Only Memory (CD-
ROM-ROM drive (C)
D-ROMD) 14 and external MIDI (Musical
Instrument DigitalInterface) signal or M
A MIDI interface (I / F) 15 for outputting to the outside as an IDI signal;
Communication interface (I / F) 16 for transmitting / receiving data to / from server computer 102 via
A sound source circuit 17 for converting performance data or the like generated by the CPU 7 into a tone signal, an effect circuit 18 for giving various effects to the tone signal from the tone source circuit 17, To convert a musical tone signal into sound, for example, DAC (Digital-to-Analog Converte)
r) and a sound system 19 such as an amplifier and a speaker.

【００２６】上記構成要素３〜１８は、バス２０を介し
て相互に接続され、ＣＰＵ７にはタイマ１０が接続さ
れ、ＭＩＤＩＩ／Ｆ１５には他のＭＩＤＩ機器１００が
接続され、通信Ｉ／Ｆ１６には通信ネットワーク１０１
が接続され、音源回路１７には効果回路１８が接続さ
れ、効果回路１８にはサウンドシステム１９が接続され
ている。The components 3 to 18 are interconnected via a bus 20, a timer 10 is connected to the CPU 7, another MIDI device 100 is connected to the MID II / F 15, and a communication I / F 16 is connected to the communication I / F 16. Communication network 101
, A sound source circuit 17, an effect circuit 18, and a sound system 19 to the effect circuit 18.

【００２７】また、加速度センサ３１，３２は、指揮棒
３０の所定の位置に取り付けられ、その各出力側は、た
とえばケーブルを介して，それぞれＡ／Ｄ変換回路５，
６の入力側に接続されている。なお、加速度センサ３
１，３２によって検出される加速度信号Ａｘ，Ａｙを、
有線でＡ／Ｄ変換回路５，６に送信する代わりに、無線
で送信するようにしてもよい。The acceleration sensors 31 and 32 are mounted at predetermined positions on the conductor bar 30, and their output sides are connected to the A / D conversion circuits 5 and 5, for example, via cables.
6 is connected to the input side. The acceleration sensor 3
The acceleration signals Ax and Ay detected by
Instead of transmitting the data to the A / D conversion circuits 5 and 6 by wire, the data may be transmitted wirelessly.

【００２８】ＨＤＤ１３のハードディスクには、前述の
ように、ＣＰＵ７が実行する制御プログラムも記憶で
き、ＲＯＭ８に制御プログラムが記憶されていない場合
には、このハードディスクに制御プログラムを記憶させ
ておき、それをＲＡＭ９に読み込むことにより、ＲＯＭ
８に制御プログラムを記憶している場合と同様の動作を
ＣＰＵ７にさせることができる。このようにすると、制
御プログラムの追加やバージョンアップ等が容易に行え
る。As described above, the control program executed by the CPU 7 can also be stored in the hard disk of the HDD 13, and when the control program is not stored in the ROM 8, the control program is stored in this hard disk. By reading into RAM9, ROM
8 can cause the CPU 7 to perform the same operation as when the control program is stored. This makes it easy to add a control program, upgrade a version, and the like.

【００２９】ＣＤ−ＲＯＭドライブ１４のＣＤ−ＲＯＭ
４１から読み出された制御プログラムや各種データは、
ＨＤＤ１３内のハードディスクにストアされる。これに
より、制御プログラムの新規インストールやバージョン
アップ等が容易に行える。なお、このＣＤ−ＲＯＭドラ
イブ１４以外にも、外部記憶装置として、光磁気ディス
ク（ＭＯ）装置等、様々な形態のメディアを利用するた
めの装置を設けるようにしてもよい。CD-ROM of CD-ROM drive 14
The control program and various data read from 41 are
The data is stored on the hard disk in the HDD 13. This makes it possible to easily perform new installation, version upgrade, and the like of the control program. In addition to the CD-ROM drive 14, a device for using various forms of media, such as a magneto-optical disk (MO) device, may be provided as an external storage device.

【００３０】通信Ｉ／Ｆ１６は、上述のように、たとえ
ばＬＡＮ（Local Area Network）やインターネット、電
話回線等の通信ネットワーク１０１に接続されており、
該通信ネットワーク１０１を介して、サーバコンピュー
タ１０２に接続される。ＨＤＤ１３内のハードディスク
に上記各プログラムや各種パラメータが記憶されていな
い場合には、通信Ｉ／Ｆ１６は、サーバコンピュータ１
０２からプログラムやパラメータをダウンロードするた
めに用いられる。クライアントとなるコンピュータ（本
実施の形態では、音楽制御装置）は、通信Ｉ／Ｆ１６お
よび通信ネットワーク１０１を介してサーバコンピュー
タ１０２へとプログラムやパラメータのダウンロードを
要求するコマンドを送信する。サーバコンピュータ１０
２は、このコマンドを受け、要求されたプログラムやパ
ラメータを、通信ネットワーク１０１を介してコンピュ
ータへと配信し、コンピュータが通信Ｉ／Ｆ１６を介し
て、これらプログラムやパラメータを受信してＨＤＤ１
３内のハードディスクに蓄積することにより、ダウンロ
ードが完了する。As described above, the communication I / F 16 is connected to a communication network 101 such as a LAN (Local Area Network), the Internet, or a telephone line.
It is connected to the server computer 102 via the communication network 101. When the above-mentioned programs and various parameters are not stored in the hard disk in the HDD 13, the communication I / F 16 is connected to the server computer 1.
02 to download programs and parameters. A computer serving as a client (a music control device in the present embodiment) transmits a command for requesting download of a program or parameter to the server computer 102 via the communication I / F 16 and the communication network 101. Server computer 10
2 receives the command, distributes the requested program or parameter to the computer via the communication network 101, and the computer receives the program or parameter via the communication I / F 16 and
The download is completed by accumulating the data on the hard disk in the server 3.

【００３１】この他、外部コンピュータ等との間で直接
データのやりとりを行うためのインターフェースを備え
てもよい。In addition, an interface for directly exchanging data with an external computer or the like may be provided.

【００３２】図１から分かるように、本実施の形態の音
楽制御装置は、主として汎用のコンピュータを用いて構
成され、このコンピュータに、指揮棒３０の加速度セン
サ３１，３２や音源部（音源回路７、効果回路８および
サウンドシステム１９によって構成される）等のハード
ウェアが外付けされて構成されている。なお、本実施の
形態の音楽制御装置を構成する構成要素のうち、汎用コ
ンピュータに含まれるものはどれであるかは、使用する
コンピュータによって異なり、音源部まで含むコンピュ
ータもあるが、本実施の形態では、音源部は外付けハー
ドウェアとしている。As can be seen from FIG. 1, the music control apparatus according to the present embodiment is mainly configured by using a general-purpose computer, and the computer controls the acceleration sensors 31 and 32 of the baton 30 and the sound source section (sound source circuit 7). , An effect circuit 8 and a sound system 19). It should be noted that, among the components constituting the music control device of the present embodiment, those included in the general-purpose computer differ depending on the computer used, and some computers include a sound source unit. In this example, the sound source section is external hardware.

【００３３】以上のように構成された音楽制御装置が実
行する制御処理を、以下、図２〜９を参照して説明す
る。The control processing executed by the music control device configured as described above will be described below with reference to FIGS.

【００３４】図２は、本実施の形態の音楽制御装置のう
ち、主として前記コンピュータが実行する制御処理を説
明するためのブロック図である。FIG. 2 is a block diagram for explaining control processing mainly executed by the computer in the music control apparatus according to the present embodiment.

【００３５】図中、各ブロックは、制御処理全体を複数
個の機能に分割したときの各機能に相当するが、一部ハ
ードウェア（Ａ／Ｄ変換回路５，６、音源部６１および
サウンドシステム１９）も混在している。In the figure, each block corresponds to each function when the whole control processing is divided into a plurality of functions, but some hardware (A / D conversion circuits 5, 6, sound source section 61 and sound system) are used. 19) are also mixed.

【００３６】同図において、前記加速度センサ３１から
出力されたアナログ加速度信号Ａｘは、Ａ／Ｄ変換回路
５に入力されてデジタル加速度信号Ｄｘに変換され、バ
ンドパスフィルタ（ＢＰＦ：Band Pass Filter）５１に
より、デジタル加速度信号Ｄｘに含まれるノイズ成分が
除去された後に、ベクトル量子化部５３に入力される。
同様にして、前記加速度センサ３２から出力されたアナ
ログ加速度信号Ａｙも、Ａ／Ｄ変換回路６によりデジタ
ル加速度信号Ｄｙに変換され、バンドパスフィルタ５２
により、デジタル加速度信号Ｄｙに含まれるノイズ成分
が除去された後に、ベクトル量子化部５３に入力され
る。In FIG. 3, an analog acceleration signal Ax output from the acceleration sensor 31 is input to an A / D conversion circuit 5 and converted into a digital acceleration signal Dx, and a band pass filter (BPF) 51 is provided. Thus, after the noise component included in the digital acceleration signal Dx is removed, the digital acceleration signal Dx is input to the vector quantization unit 53.
Similarly, the analog acceleration signal Ay output from the acceleration sensor 32 is also converted into a digital acceleration signal Dy by the A / D conversion circuit 6, and the band-pass filter 52
After the noise component included in the digital acceleration signal Dy is removed, the digital acceleration signal Dy is input to the vector quantization unit 53.

【００３７】ベクトル量子化部５３は、まず、ノイズ成
分が除去された両デジタル加速度信号Ｄｘ′，Ｄｙ′か
ら、次式（１）により、加速度の絶対値（以下、「絶対
加速度」という）｜Ｄ′｜を算出し、前記ＲＡＭ９の所
定領域（以下、「絶対加速度記憶領域」という）に記憶
する。この絶対加速度記憶領域には、絶対加速度｜Ｄ′
｜の時系列データが格納される。以下、この時系列デー
タで表される時間波形、すなわち、縦軸を絶対加速度値
に採り、横軸を時間軸に採ったときに生成される波形を
「絶対加速度時間波形」という。The vector quantization unit 53 first calculates the absolute value of the acceleration (hereinafter, referred to as "absolute acceleration") | from the digital acceleration signals Dx 'and Dy' from which noise components have been removed, by the following equation (1). D ′ | is calculated and stored in a predetermined area of the RAM 9 (hereinafter referred to as “absolute acceleration storage area”). In this absolute acceleration storage area, the absolute acceleration | D '
| Time-series data is stored. Hereinafter, a time waveform represented by this time-series data, that is, a waveform generated when the vertical axis is taken as the absolute acceleration value and the horizontal axis is taken as the time axis, is referred to as an “absolute acceleration time waveform”.

【００３８】[0038]

【数１】 ベクトル量子化部５３は、この絶対加速度｜Ｄ′｜を、
予備拍検出部５０に出力するとともに、後述するよう
に、ベクトル量子化してラベルｌａｂｅｌを生成し、Ｈ
ＭＭ認識部５４に出力する。(Equation 1) The vector quantization unit 53 calculates the absolute acceleration | D '|
The signal is output to the preliminary beat detection unit 50 and, as described later, is vector-quantized to generate a label “label”.
Output to the MM recognition unit 54.

【００３９】予備拍検出部５０は、入力された絶対加速
度｜Ｄ′｜に基づいて予備拍を検出し、ＭＩＤＩ再生部
５９に出力する。以下、予備拍検出部５０が実行する予
備拍検出処理を、図３〜５を参照して説明する。The preliminary beat detecting section 50 detects a preliminary beat based on the input absolute acceleration | D '| and outputs it to the MIDI reproducing section 59. Hereinafter, the preliminary beat detection process executed by the preliminary beat detection unit 50 will be described with reference to FIGS.

【００４０】図３は、予備拍検出部５０、すなわち前記
ＣＰＵ７が実行する予備拍検出処理サブルーチンの手順
を示すフローチャートである。本処理は、たとえば、本
実施の形態の音楽制御装置の電源を入れたときや、音楽
制御する曲の演奏をスタートさせたときなどに、呼び出
されて、実行される。FIG. 3 is a flow chart showing the procedure of the preliminary beat detection subroutine, that is, the preliminary beat detection subroutine executed by the CPU 7. This processing is called up and executed, for example, when the power of the music control device according to the present embodiment is turned on or when the performance of the music to be controlled is started.

【００４１】同図において、まず、ユーザが指揮棒３０
を所定時間以上停止（実質的に停止したものを含む）さ
せたか否かを判別する（ステップＳ１）。本実施の形態
では、予備拍は、ユーザが指揮棒３０を所定時間以上停
止させてから、第１拍目の指揮動作に入るまでの間に検
出するようにしているので、指揮動作に入る前の不要な
動作を誤って予備拍と認識しないようになっている。こ
のため、ステップＳ１で、予備拍を検出する準備が整っ
ているか否かを判別している。Referring to FIG.
It is determined whether or not has been stopped (including substantially stopped) for a predetermined time or more (step S1). In the present embodiment, the preliminary beat is detected during a period after the user stops the baton 30 for a predetermined time or more and before the commanding operation of the first beat is started. Unnecessary movements are not mistakenly recognized as spare beats. Therefore, in step S1, it is determined whether or not the preparation for detecting the preliminary beat is ready.

【００４２】ステップＳ１で、指揮棒３０が所定時間停
止していないときには、停止するまで待機し、停止した
ときにはステップＳ２に進む。In step S1, if the baton 30 has not been stopped for a predetermined period of time, the process waits until it is stopped.

【００４３】なお、上述したように、本予備拍検出処理
は、必ず曲の演奏を開始する直前に実行されるため、ス
テップＳ１の処理を省略してもよい。As described above, since the present preliminary beat detection processing is always executed immediately before the performance of the music, the processing of step S1 may be omitted.

【００４４】ステップＳ２では、第１拍打（予備拍）が
検出されたか否か、すなわち、入力された絶対加速度｜
Ｄ′｜が第１拍打位置（タイミング）を示す加速度であ
るか否かを判別する。In step S2, it is determined whether or not the first beat (preliminary beat) is detected, that is, the input absolute acceleration |
It is determined whether or not D '| is an acceleration indicating the first beat position (timing).

【００４５】図５は、指揮棒３０の軌跡の一例を示す図
であり、（ａ）は、２拍子、エスプレッシボ（espressi
vo）で振ったときの軌跡の一例であり、（ｂ）は、２拍
子、スタッカート（staccato）で振ったときの軌跡の一
例であり、（ｃ）は、３拍子エスプレッシボで振ったと
きの軌跡の一例であり、（ｄ）は、３拍子、スタッカー
トで振ったときの軌跡の一例である。図中、“×”は前
記停止位置（予備位置）を示し、“△”は予備拍の拍打
位置（検出位置）を示し、“○”は実際の指揮動作にお
ける拍打位置を示し、“（ｎ）（ｎは１から３までの整
数）”は拍数を示している。FIG. 5 is a diagram showing an example of the trajectory of the baton 30. FIG. 5 (a) shows a two-beat, espressi
(b) is an example of a locus when shaken with staccato, and (b) is an example of a locus when shaken with staccato. It is an example of a trajectory, and (d) is an example of a trajectory when the player shakes in a staccato with three beats. In the drawing, “x” indicates the stop position (preliminary position), “Δ” indicates the beat position (detection position) of the preliminary beat, “○” indicates the beat position in the actual commanding operation, and “(n ) (N is an integer from 1 to 3) "indicates the number of beats.

【００４６】図５から分かるように、予備拍の検出時点
は、予備位置から最初にｙ（垂直）軸方向の速度成分が
最小になった位置（またはその近傍）である。As can be seen from FIG. 5, the point of detection of the preliminary beat is a position (or a vicinity thereof) where the velocity component in the y (vertical) axis direction becomes the minimum from the preliminary position for the first time.

【００４７】したがって、ステップＳ２では、加速度信
号Ｄｙ′の変化の仕方を解析することにより、ｙ軸方向
の速度の最小値（またはその近傍の値）を検出する。Therefore, in step S2, the minimum value of the velocity in the y-axis direction (or a value in the vicinity thereof) is detected by analyzing how the acceleration signal Dy 'changes.

【００４８】なお、単純に加速度信号Ｄｙ′のみを解析
して予備拍を検出すると、誤検出の可能性もあるので、
加速度信号Ｄｘ′も考慮するようにしてもよく、後述す
るＨＭＭを利用して検出してもよい。If a preliminary beat is detected simply by analyzing only the acceleration signal Dy ', there is a possibility of erroneous detection.
The acceleration signal Dx ′ may be taken into consideration, or may be detected using an HMM described later.

【００４９】なお、図５は、音楽制御する曲として、１
拍目から始まる曲が選択された場合の予備拍の検出時点
を示す図であり、曲によっては、２拍目や３拍目から始
まる曲もある。そのような曲が選択された場合には、予
備拍の検出時点は、それぞれ１拍目および２拍目の拍打
位置となる。FIG. 5 shows the music to be controlled as 1
It is a figure which shows the detection time point of a preliminary beat when the music which starts from a beat is selected, and a music starts from a 2nd beat or a 3rd beat depending on a music. When such a tune is selected, the detection points of the preliminary beat are the beat positions of the first beat and the second beat, respectively.

【００５０】ステップＳ２で、第１拍打、すなわち予備
拍が検出されたときには、ステップＳ３に進む一方、予
備拍が検出されないときには、検出されるまで待機す
る。In step S2, when the first beat, that is, the preliminary beat is detected, the process proceeds to step S3. When the preliminary beat is not detected, the process waits until the preliminary beat is detected.

【００５１】ステップＳ３では、初期テンポを検出する
ために、前記ＲＡＭ９の所定位置に確保されたソフトタ
イマｔｉｍｅｒをリセット（“０”）し、次いでステッ
プＳ４では、予備拍が検出されたことをユーザに知らせ
るための確認音を、たとえば前記サウンドシステム１９
から発音させる。ここで、確認音は、予め設定された所
定の音（たとえば、「チッ」という音）である。In step S3, the soft timer timer secured at a predetermined position in the RAM 9 is reset ("0") to detect the initial tempo. Then, in step S4, the user is notified that a preliminary beat has been detected. A confirmation sound for notifying the sound system 19
From the beginning. Here, the confirmation sound is a predetermined sound set in advance (for example, a “click” sound).

【００５２】このように、予備拍を音で確認できるの
で、指揮に慣れていないユーザであっても、安心して曲
の演奏を開始することができる。As described above, since the preliminary beat can be confirmed by the sound, even a user who is not accustomed to conducting can start playing the music with ease.

【００５３】なお、予備拍が検出されたときに常に確認
音を発音するのではなく、発音するかしないかをユーザ
が設定できるようにしてもよい。これにより、確認音が
常に発音されることをうっとうしく感じるユーザ、特に
上級者は、消音することができ、ユーザの自由度を向上
させることができる。It should be noted that the confirmation sound may not always be emitted when the preliminary beat is detected, but the user may be able to set whether or not to emit the confirmation sound. Thus, a user who feels annoying that the confirmation sound is always pronounced, particularly an advanced user, can mute the sound and improve the flexibility of the user.

【００５４】次に、第２拍打が検出されたか否かを判別
する（ステップＳ５）。この第２拍打の検出は、後述す
るように、総合判定部５８によってなされた判定結果を
適用すればよい。もちろん、本予備拍検出処理において
独立に検出するようにしてもよい。Next, it is determined whether or not the second beat has been detected (step S5). The detection of the second beat may be performed by using the determination result made by the comprehensive determination unit 58, as described later. Of course, independent detection may be performed in the preliminary beat detection processing.

【００５５】ステップＳ５で、第２拍打が検出されない
ときには、絶対加速度｜Ｄ′｜が前回値より大きい場合
に、その値で前回値を更新して常に最大の加速度値を保
存する処理である、加速度値ピークホールド処理を行っ
た（ステップＳ６）後に、ステップＳ５に戻る一方、第
２拍打が検出されたときにはステップＳ７に進む。In step S5, when the second beat is not detected, if the absolute acceleration | D '| is larger than the previous value, the previous value is updated with that value and the maximum acceleration value is always stored. After performing the acceleration value peak hold process (Step S6), the process returns to Step S5, and proceeds to Step S7 when the second beat is detected.

【００５６】ステップＳ７では、タイマｔｉｍｅｒの値
に応じて初期テンポを決定する。すなわち、曲の冒頭の
テンポは、予備拍の拍打位置が検出されてから、第２拍
打位置までの経過時間の長さに応じて、決定される。In step S7, an initial tempo is determined according to the value of the timer timer. That is, the tempo at the beginning of the song is determined according to the length of time elapsed from the detection of the beat position of the preliminary beat to the second beat position.

【００５７】続くステップＳ８では、前記ピークホール
ドされた加速度値、すなわち加速度最大値に応じて初期
ダイナミクスを決定する。すなわち、曲の冒頭のダイナ
ミクスは、予備拍の拍打位置が検出されてから、第２拍
打位置までの指揮棒３０の絶対加速度｜Ｄ′｜の最大値
応じて、決定される。In the following step S8, the initial dynamics is determined according to the acceleration value at which the peak is held, that is, the maximum acceleration value. That is, the dynamics at the beginning of the music is determined according to the maximum value of the absolute acceleration | D '| of the baton 30 from the time the beat position of the preliminary beat is detected to the second beat position.

【００５８】そして、このようにして決定された初期テ
ンポおよび初期ダイナミクスで曲がスタートされるよう
に、ＭＩＤＩ再生部５９に指示した（ステップＳ９）後
に、本予備拍検出処理を終了する。Then, after instructing the MIDI reproducing unit 59 to start the music at the initial tempo and initial dynamics determined in this way (step S9), the present preliminary beat detection processing is ended.

【００５９】図４は、所定時間（たとえば１ｍｓｅｃ）
毎に発生するタイマ割込み処理の手順を示す図であり、
同図には、上記予備拍検出処理に関係する処理のみ示さ
れている。FIG. 4 shows a predetermined time (for example, 1 msec).
FIG. 9 is a diagram showing a procedure of a timer interrupt process which occurs every time,
FIG. 7 shows only the processing related to the above-mentioned preliminary beat detection processing.

【００６０】すなわち、タイマｔｉｍｅｒの値を“１”
だけインクリメントした（ステップＳ１１）後に、本タ
イマ割込み処理を終了する。That is, the value of the timer timer is set to “1”.
After this, the timer interrupt process ends (step S11).

【００６１】なお、本実施の形態では、初期ダイナミク
スは、予備拍の拍打位置から第２拍打位置（曲の再生が
開始された後の第１拍目の拍打タイミング）までの最大
加速度に応じて決定するようにしたが、これに限らず、
予備位置から予備拍の拍打位置までの最大加速度に応じ
て決定するようにしてもよいし、また、予備位置から第
２拍打位置までの最大加速度に応じて決定するようにし
てもよい。さらに、指揮棒３０が移動した移動量（たと
えば、予備拍の拍打位置から最高到達点までの距離）に
応じて、またはこれを加速度に加味して、初期ダイナミ
クスを決定するようにしてもよい。In this embodiment, the initial dynamics is based on the maximum acceleration from the beat position of the preliminary beat to the second beat position (beat timing of the first beat after the reproduction of the music is started). I decided to decide, but not limited to this,
The determination may be made according to the maximum acceleration from the preliminary position to the beat position of the preliminary beat, or may be determined according to the maximum acceleration from the preliminary position to the second beat position. Further, the initial dynamics may be determined according to the amount of movement of the baton 30 (for example, the distance from the beat position of the preliminary beat to the highest point) or in consideration of the acceleration.

【００６２】そして、初期ダイナミクスを、予備拍の拍
打位置より前に決定するときには、その決定されたダイ
ナミクスに応じて、前記予備拍の確認音の音量や音色、
音高等を変更するようにしてもよい。これにより、ユー
ザは、決定されたダイナミクスに応じた音色（たとえ
ば、ピアノの音色や打楽器の音色）や強さで確認するこ
とができるので、その後のダイナミクスの制御を思い通
りに調整することができる。When the initial dynamics is determined before the beat position of the preliminary beat, the volume and tone of the confirmation sound of the preliminary beat are determined in accordance with the determined dynamics.
The pitch and the like may be changed. This allows the user to confirm the tone (for example, the tone of a piano or the tone of a percussion instrument) or the intensity according to the determined dynamics, and can adjust the control of the dynamics thereafter as desired.

【００６３】また、本実施の形態では、予備位置から第
２拍打位置までに必ず予備拍が決定されるようにした
が、これに限らず、曲データ（ＭＩＤＩデータ）の拍
子、曲の始まりの拍、検出した拍打の種類に応じて、そ
の拍が予備拍か否かを判別するようにしてもよい。この
とき、予備拍と判別された場合には、上記予備拍検出処
理を行う一方、予備拍でないと判別された場合には、エ
ラー処理や、予備拍検出処理でない通常の曲の始めの処
理に移行するようにすればよい。In the present embodiment, the spare beat is always determined from the spare position to the second beat position. However, the present invention is not limited to this, and the time signature of the music data (MIDI data) and the start of the music can be determined. In accordance with the beat and the type of the detected beat, it may be determined whether or not the beat is a preliminary beat. At this time, if it is determined that the beat is a spare beat, the above-described spare beat detection process is performed. If it is determined that the beat is not a spare beat, an error process or a process of starting a normal song that is not a spare beat detection process is performed. The transition may be made.

【００６４】図２に戻り、次に、ベクトル量子化部５３
は、前記加速度信号Ｄｘ，Ｄｙおよび絶対加速度｜Ｄ′
｜の特徴量を抽出し、ベクトル量子化の手法を用いて、
予め複数種類（本実施の形態では３２種類）のラベルに
分類されたものの中から、いずれかのラベルｌａｂｅｌ
を選択し、ＨＭＭ認識部５４に出力する。ここで、特徴
量とは、具体的には次に示すものである。Returning to FIG. 2, next, the vector quantization unit 53
Are the acceleration signals Dx and Dy and the absolute acceleration | D '
| Features, and using vector quantization,
Any of labels previously classified into a plurality of types (32 types in the present embodiment) of labels
Is selected and output to the HMM recognizing unit 54. Here, the feature amount is specifically as follows.

【００６５】すなわち、 １）指揮動作の局所的な強さやそのタイミング（絶対加
速度時間波形のローカルピーク） ２）指揮動作の方向（ｘｙ平面内、すなわちｘ軸を水平
方向の加速度値に採り、ｙ軸方向を垂直方向の加速度値
に採ったときのｘｙ平面内での絶対加速度｜Ｄ′｜が位
置する象限や、絶対加速度｜Ｄ′｜と原点Ｏとを結ぶ線
分の、ｘ軸正方向からの角度） ３）指揮動作の滑らかさ（絶対加速度時間波形の高周波
成分強度や、ｘｙ平面内において、加速度軌跡が所定の
短時間に作る領域の面積） ４）指揮動作の一時停止の程度（絶対加速度時間波形の
谷の深さとその谷の底部の時間） 等である。That is, 1) the local strength and timing of the commanding operation (local peak of the absolute acceleration time waveform) 2) The direction of the commanding operation (in the xy plane, that is, the x-axis is taken as the acceleration value in the horizontal direction, and y The quadrant where the absolute acceleration | D '| is located in the xy plane when the axial direction is taken as the acceleration value in the vertical direction, and the line connecting the absolute acceleration | D' | 3) Smoothness of commanding operation (high-frequency component intensity of the absolute acceleration time waveform or the area of the region where the acceleration trajectory is formed in a predetermined short time in the xy plane) 4) Degree of temporary stop of the commanding operation ( The depth of the valley of the absolute acceleration time waveform and the time at the bottom of the valley).

【００６６】たとえば、「現在の状態が、『ローカルピ
ーク＆指揮動作方向が角度α〜βの間』にある場合に
は、ラベルは“１”」というように、複数の特徴量の所
定の組合わせからなる条件を満たした場合に、あるラベ
ルに決定される。For example, if the current state is “local peak & commanding operation direction is between angles α to β”, the label is “1” and a predetermined set of a plurality of feature values is set. When the condition of matching is satisfied, a certain label is determined.

【００６７】このようにして、ベクトル量子化部５３
は、所定時間（たとえば１０ｍｓｅｃ）毎に１つのラベ
ルｌａｂｅｌ（前記３２種類のラベルをそれぞれラベル
ｌ1〜ｌ32で表現すると、そのうちいずれかのラベルｌ
ｋ）を生成してＨＭＭ認識部５４に出力する。Thus, the vector quantization unit 53
Is represented by one label every predetermined time (for example, 10 msec) (when the 32 types of labels are represented by labels l1 to l32, respectively,
k) is generated and output to the HMM recognition unit 54.

【００６８】ＨＭＭ認識部５４は、前記ベクトル量子化
部５３と同様に、このラベルｌａｂｅｌをＲＡＭ９の所
定領域（以下、「ラベル記憶領域」という）に記憶す
る。すなわち、ラベル記憶領域には、ラベルｌａｂｅｌ
の時系列データが格納される。このうち、最新の複数個
（Ｒ個）のラベルを集めて、ラベルの時系列｛ｌｒ｝を
生成する。The HMM recognizing unit 54 stores the label “label” in a predetermined area of the RAM 9 (hereinafter, referred to as “label storage area”), similarly to the vector quantization unit 53. That is, the label label is stored in the label storage area.
Is stored. Of these, the latest (R) labels are collected to generate a label time series {lr}.

【００６９】そして、ＨＭＭ認識部５４は、このラベル
の時系列｛ｌｒ｝の発生パターン、すなわち当該ラベル
の時系列に含まれる各ラベルｌｒの発生パターンの確率
的な性質が隠れマルコフモデル（ＨＭＭ：Hidden Marko
v Models）と呼ばれる確率モデルによって表現されると
みなし、このＨＭＭを構成する複数個のモデルの各モデ
ルＭｋに対して、それぞれ時系列｛ｌｒ｝が発生する確
率（以下、「尤度」という）Ｐｒ（Ｌ｜Ｍｋ）を求め、
そのうち、尤度Ｐｒ（Ｌ｜Ｍｋ）が最大となるモデルＭ
ｋを求め、このモデルＭｋが基準にする指揮動作を、目
的の指揮動作、すなわちユーザが現在行っている指揮動
作と認識する。ここで、Ｌは時系列｛ｌｒ｝を示してい
る。Then, the HMM recognizing unit 54 generates a hidden Markov model (HMM: HMM: Hidden Marko
v Models), and a probability (hereinafter referred to as “likelihood”) that a time series {lr} is generated for each model Mk of a plurality of models constituting the HMM. Find Pr (L | Mk),
Model M in which likelihood Pr (L | Mk) is maximum
k is obtained, and the commanding operation based on the model Mk is recognized as the target commanding operation, that is, the commanding operation currently performed by the user. Here, L indicates a time series {lr}.

【００７０】以下、ＨＭＭ認識部５４が行うＨＭＭ認識
処理を、図６を参照して、さらに詳細に説明する。Hereinafter, the HMM recognition processing performed by the HMM recognition unit 54 will be described in more detail with reference to FIG.

【００７１】図６に示すように、本実施の形態では、Ｈ
ＭＭとして、たとえば離散的な５種類の状態（State）
Ｓｊ（１≦ｊ≦５）のいずれかを採り、各状態Ｓｊは右
に隣接する状態Ｓまたは自己の状態にのみ遷移する、い
わゆるＬＲ（Left-to-Right）型５状態ＨＭＭを採用し
ている。As shown in FIG. 6, in the present embodiment, H
As MM, for example, five discrete states (State)
Sj (1 ≦ j ≦ 5), and each state Sj adopts a so-called LR (Left-to-Right) type five-state HMM that transitions only to the right adjacent state S or its own state. I have.

【００７２】図中、ｐijは、状態Ｓｉから状態Ｓｊに遷
移する確率を示し、ｑij(ｌｋ)は、状態Ｓｉから状態Ｓ
ｊに遷移するときに、ラベルｌｋを出力する確率を示し
ている。ここで、ラベルｌｋの“ｋ”は、モデルＭｋの
“ｋ”と同一文字を用いているが、同じものを意味して
はいない。In the figure, pij indicates the probability of transition from state Si to state Sj, and qij (lk) indicates the probability of transition from state Si to state Sj.
This indicates the probability of outputting the label lk when transitioning to j. Here, “k” of the label lk uses the same character as “k” of the model Mk, but does not mean the same.

【００７３】そして、指揮動作を複数種類（本実施の形
態では１６種類）の動作状態（指揮棒３０を三角形の各
辺に沿って振る（３つ振り）ときの各拍に対応する動作
や、上下に振る（２つ振り）ときの各拍に対応する動作
等）に分割して、該分割された各動作状態を前記各モデ
ルＭｋに対応付け、各モデルＭｋ毎に、すなわち各動作
状態毎に、確率ｐijや確率ｑij(ｌｋ)等を予め学習して
おく。この学習値は、ＨＭＭデータベース（たとえば、
このデータベースは前記ＨＤＤ１３内のハードディスク
に構築される）５５に格納される。なお、ＨＭＭデータ
ベース５５には、この他に、前記モデルＭｋに関係する
情報等も格納される。A plurality of types (16 types in the present embodiment) of the commanding motions (movements corresponding to each beat when the commanding bar 30 is swung along each side of the triangle (three swings), (E.g., an operation corresponding to each beat when swinging up and down (two swings)), and associate each of the divided operation states with each of the models Mk, and for each of the models Mk, that is, for each of the operation states. First, the probability pij and the probability qij (lk) are learned in advance. This learning value is stored in the HMM database (for example,
This database is stored in a hard disk in the HDD 13) 55. The HMM database 55 also stores other information related to the model Mk.

【００７４】このようにして予め学習され設定された各
設定値を用いて、次式（２）により、各モデルＭｋ毎
に、尤度Ｐｒ（Ｌ｜Ｍｋ）を算出する。The likelihood Pr (L | Mk) is calculated for each model Mk according to the following equation (2) using each set value learned and set in advance in this manner.

【００７５】[0075]

【数２】 ただし、ｉ₀〜ｉ_rは状態Ｓｉの添字“ｉ”を示し、本実
施の形態では、ｉ₀〜ｉ_r-1はそれぞれ１〜５までの範囲
を採る。Ｉｒは、｛ｒ：Ｓｒが最終状態｝の集合を示
し、本実施の形態では最終状態はＳ₅であるため、Ｉｒ
＝｛５｝である。したがって、ｉ_r＝５である。さら
に、ｒ_i0は、初期状態がＳ_i0である確率、具体的には、
ｒ₁＝１，ｒ_i＝０（ｉ＝２，…，５）を示している。(Equation 2) However, i ₀ through i _r denotes the subscript "i" of the state Si, in this embodiment, i ₀ ~i _r-1 takes a range of up to 1-5, respectively. Ir is, {r: Sr is the final state} indicates a set of, for the final state in the present embodiment is S _5, Ir
= {5}. Therefore, i _r = 5. Further, r _i0 is the probability that the initial state is S _i0 , specifically,
r ₁ = 1, r _i = 0 (i = 2,..., 5).

【００７６】各モデルＭｋ毎に、尤度Ｐｒ（Ｌ｜Ｍｋ）
が算出されると、ＨＭＭ認識部５４は、このようにして
算出した各モデルＭｋの尤度を総合判定部５８に出力す
る。For each model Mk, likelihood Pr (L | Mk)
Is calculated, the HMM recognizing unit 54 outputs the likelihood of each model Mk calculated in this way to the comprehensive determining unit 58.

【００７７】すなわち、各モデルＭｋの尤度のうち、最
大尤度を与えるモデルＭｋを、その時点の指揮動作と認
識してもよいが、ＨＭＭによる認識のみでは誤認識する
可能性がある。このため、ここでは各モデルＭｋの尤度
を求めるのみにとどめ、最終的な動作の判定は総合判定
部５８にまかせるようにしている。That is, among the likelihoods of the respective models Mk, the model Mk giving the maximum likelihood may be recognized as the commanding operation at that time, but there is a possibility that the model Mk may be erroneously recognized only by the HMM. Therefore, in this case, only the likelihood of each model Mk is obtained, and the final determination of the operation is left to the overall determination unit 58.

【００７８】なお、このＨＭＭ認識部５４では、指揮動
作の特徴量に基づいて、ダイナミクスやアーティキュレ
ーションも認識するようになっている。The HMM recognizing unit 54 recognizes dynamics and articulation based on the characteristic amount of the commanding operation.

【００７９】総合判定部５８には、拍打生起可能性予測
部５６からの出力および拍打生起可能性分布計算部５７
からの出力も供給され、総合判定部５８は、これらの出
力状態に基づいて、文字通り総合的な判定を行い、拍打
タイミングやダイナミクス等の音楽要素データ、すなわ
ちＭＩＤＩ再生部５９が再生している音楽を制御する音
楽要素データａを、ＭＩＤＩ再生部５９に出力する。The output from the beat probability predicting unit 56 and the beat probability distribution calculation unit 57
Is also supplied, and the comprehensive determination section 58 literally makes comprehensive determination based on these output states, and music element data such as beat timing and dynamics, that is, music played by the MIDI playback section 59. Is output to the MIDI playback unit 59.

【００８０】この音楽要素データａのうち、演奏テンポ
データａ１は、拍打生起可能性予測部５６に供給され、
拍打生起可能性予測部５６は、この演奏テンポデータａ
１に基づいて、ファジィ推論（具体的には、直接法と呼
ばれるファジィ推論）により拍打生起可能性を予測す
る。Of the music element data a, the performance tempo data a1 is supplied to the beat occurrence probability predicting section 56,
The beat occurrence probability prediction unit 56 calculates the performance tempo data a
Based on No. 1, the probability of beat occurrence is predicted by fuzzy inference (specifically, fuzzy inference called a direct method).

【００８１】ここで、直接法とは、一般的に、次に示す
手順によりファジィ推論を行う手法である。Here, the direct method is generally a method of performing fuzzy inference according to the following procedure.

【００８２】１）ファジィルールを記述する ２）１）のファジィルール中、変数となる言語をメンバ
シップ関数で表す ３）入力に対する各ファジィルールの推論結果を求める ４）各ルールの推論結果から最終的な推論結果を求める 拍打生起可能性予測部５６は、この直接法を次のように
具体的に適用して、拍打生起可能性を求めている。1) Describe the fuzzy rules 2) In the fuzzy rules of 1), express the language to be a variable by a membership function 3) Obtain the inference result of each fuzzy rule for input 4) Finalize from the inference result of each rule The beat occurrence probability prediction unit 56 specifically calculates the beat occurrence probability by applying the direct method as follows.

【００８３】すなわち、１）については、if（前拍打タ
イミングからの演奏テンポに基づく経過時間が短い）th
en（拍打生起の可能性が低い）というファジィルールを
採用する。That is, for 1), if (the elapsed time based on the performance tempo from the previous beat timing is short) th
The fuzzy rule en (the probability of beat occurrence is low) is adopted.

【００８４】２）については、前件部、すなわち上記フ
ァジィルール中、「前拍打タイミングからの演奏テンポ
に基づく経過時間が短い」の部分に対して、図７（ａ）
に示すメンバシップ関数を定義し、後件部、すなわち上
記ファジィルール中、「拍打生起の可能性が低い」の部
分に対して、図７（ｂ）に示すメンバシップ関数を定義
する。Regarding 2), FIG. 7 (a) shows the antecedent part, that is, the part of “the elapsed time based on the playing tempo from the previous beat timing is short” in the fuzzy rule.
The membership function shown in FIG. 7 (b) is defined for the consequent part, that is, the part of the fuzzy rule where "the possibility of beat occurrence is low".

【００８５】３）については、前記入力された演奏テン
ポデータａ１に基づいて、前拍打からの演奏テンポに基
づく経過時間を算出し（たとえば、現在のテンポを所定
の基準テンポに換算したときの時間を算出する）、上記
図７（ａ）のメンバシップ関数を用いて、その算出され
た経過時間に対するグレードを求める。For 3), an elapsed time based on the performance tempo from the previous beat is calculated based on the input performance tempo data a1 (for example, the time when the current tempo is converted into a predetermined reference tempo). Is calculated), and the grade with respect to the calculated elapsed time is obtained using the membership function of FIG.

【００８６】ファジィルールの前件部が、“ａｎｄ”で
結ばれた複数個の要素から成り立っているときには、各
メンバシップ関数からそれぞれ得られたグレードの最小
値（これを、「適合度」という）を求める（この演算
を、「“ｍｉｎ”演算」という）。When the antecedent part of the fuzzy rule is composed of a plurality of elements connected by “and”, the minimum value of the grade obtained from each membership function (this is called “fitness”) ) (This operation is referred to as “min operation”).

【００８７】しかし、拍打生起可能性予測部５６では、
ファジィルールの前件部は、１つの要素によって構成さ
れているため、上記経過時間に対して求められたグレー
ドが適合度に相当する。However, the beat occurrence probability predicting unit 56
Since the antecedent part of the fuzzy rule is composed of one element, the grade obtained for the elapsed time corresponds to the degree of conformity.

【００８８】たとえば経過時間がｔ１のときには、図７
（ａ）に示すように、グレードはｇ１と求められるの
で、適合度はｇ１となる。For example, when the elapsed time is t1, FIG.
As shown in (a), the grade is determined to be g1, and the degree of conformity is g1.

【００８９】そして、後件部のメンバシップ関数、すな
わち図７（ｂ）のメンバシップ関数の、上記求められた
適合度より上の部分をカットしたものが、１）のファジ
ィルールの推論結果となる。たとえば、適合度がｇ１で
あるとすると、図７（ｂ）の領域Ｒ１で示される部分が
求める推論結果となる。Then, the membership function of the consequent part, that is, the part of the membership function shown in FIG. 7 (b) above the above-obtained degree of conformity is cut, and the inference result of the fuzzy rule of 1) is obtained. Become. For example, assuming that the degree of conformity is g1, a portion indicated by a region R1 in FIG. 7B is an inference result to be obtained.

【００９０】４）については、１）のファジィルールが
複数種類定義されているときには、各ルールの個数だけ
３）の推論結果が得られるので、その推論結果、すなわ
ち上記領域Ｒ１のような複数個の領域を重ね合わせる
（この演算を、“ｍａｘ”演算という）。このように重
ね合わせて生成された領域の重心を求め、その重心から
垂線を延ばし、その足の値が最終的な推論結果となる。
これを、重心法という。Regarding 4), when a plurality of types of fuzzy rules of 1) are defined, the inference result of 3) can be obtained by the number of each rule. Are superimposed (this operation is referred to as “max” operation). The center of gravity of the region generated by overlapping in this way is obtained, a perpendicular line is extended from the center of gravity, and the value of the foot is the final inference result.
This is called the center of gravity method.

【００９１】たとえば、図７（ｂ）で、領域Ｒ１の重心
はＧ１と求められ、この重心Ｇ１に対応する生起確率は
ｐ１と求められる。このとき、生起確率ｐ１は、制御に
用いられる数値であるため、同時に非ファジィ化（Defu
zzify）もなされている。For example, in FIG. 7B, the center of gravity of the region R1 is determined as G1, and the occurrence probability corresponding to the center of gravity G1 is determined as p1. At this time, since the occurrence probability p1 is a numerical value used for control, it is simultaneously defuzzified (Defu
zzify).

【００９２】拍打生起可能性予測部５６は、このように
して求められた生起確率を、拍打生起可能性として、前
記総合判定部５８に出力する。The beat occurrence probability predicting section 56 outputs the occurrence probability obtained in this way to the overall judgment section 58 as beat occurrence probability.

【００９３】拍打生起可能性分布計算部５７には、ＭＩ
ＤＩデータベース（たとえば、このデータベースは前記
ＨＤＤ１３内のハードディスクに構築される）６０から
ＭＩＤＩ再生部５９に供給されるＭＩＤＩデータが供給
され、拍打生起可能性分布計算部５７は、図８に示すよ
うなメンバシップ関数を定義し、供給されたＭＩＤＩデ
ータとこのメンバシップ関数を用いてファジィ推論によ
り、ＭＩＤＩデータ上の拍打生起可能性分布を計算して
出力する。The beat occurrence probability distribution calculation unit 57 includes the MI
A DI database (for example, this database is constructed on a hard disk in the HDD 13) 60 is supplied with MIDI data supplied to a MIDI reproducing unit 59, and a beat occurrence probability distribution calculating unit 57 is configured to execute the processing shown in FIG. A membership function is defined, a beat occurrence probability distribution on the MIDI data is calculated and output by fuzzy inference using the supplied MIDI data and the membership function.

【００９４】具体的には、ファジィルールとして、if
（演奏中の箇所がＭＩＤＩデータの拍や音符に近い）th
en（拍打入力がそれに相当する可能性が高い）というル
ールを採用し、メンバシップ関数として、図８（ａ）の
メンバシップ関数を定義した。図８（ａ）に示すよう
に、各メンバシップ関数は、ＭＩＤＩデータの拍タイミ
ングでグレードが最大値を採るように定義される。一
方、ＭＩＤＩデータには、拍打位置を示す情報は含まれ
ていないため、拍タイミングで拍打が発生する可能性が
高いとみなして、ＭＩＤＩデータに基づき、拍タイミン
グでグレードが最大値を採るように、各メンバシップ関
数を定義する。なお、拍タイミング以外の位置に、拍打
位置を設定したいときには、図８（ｂ）に示すように、
ユーザがマニュアルでメンバシップ関数を設定するよう
にすればよい。Specifically, as a fuzzy rule, if
(The part being played is close to the MIDI data beat or note)
The rule en (beat input is highly likely to correspond to this) is adopted, and the membership function of FIG. 8A is defined as the membership function. As shown in FIG. 8A, each membership function is defined such that the grade takes the maximum value at the beat timing of the MIDI data. On the other hand, since the MIDI data does not include information indicating the beat position, it is considered that a beat is likely to occur at the beat timing, and the grade takes the maximum value at the beat timing based on the MIDI data. , Define each membership function. When a beat position is to be set at a position other than the beat timing, as shown in FIG.
The user may manually set the membership function.

【００９５】このようにして、ファジィルールおよび各
メンバシップ関数が定義されると、その後のファジィ推
論は、上述した拍打生起可能性予測部５６でのファジィ
推論と同様であるので、その説明は省略する。When the fuzzy rules and the respective membership functions are defined in this way, the subsequent fuzzy inference is the same as the above-described fuzzy inference in the beat occurrence probability predicting section 56, and therefore description thereof is omitted. I do.

【００９６】拍打生起可能性分布計算部５７は、算出さ
れた拍打生起可能性を、総合判定部５８に出力する。The beat occurrence probability distribution calculator 57 outputs the calculated beat occurrence probability to the overall determination unit 58.

【００９７】総合判定部５８は、前記ＨＭＭ認識部５４
からの各モデルＭｋの尤度、拍打生起可能性予測部５６
からの拍打生起可能性、および拍打生起可能性分布計算
部５７からの拍打生起可能性分布に基づいて、ファジィ
推論により、指揮動作を総合的に判定する。The overall judging section 58 includes the HMM recognizing section 54
Of likelihood of each model Mk and beat occurrence probability prediction unit 56
Based on the beat probability and the beat probability distribution calculator 57, the commanding operation is comprehensively determined by fuzzy inference.

【００９８】具体的には、ファジィルールとして、if
（ＨＭＭ認識部５４において、Ｎつ振りのｎ個目に相当
するＨＭＭの尤度が高い）and（拍打生起可能性予測部
５６において、拍打生起可能性が高い）and（拍打生起
可能性分布計算部５７において、演奏中の箇所がＮ拍子
のｎ拍目に近い）then（拍打入力が、Ｎつ振りのｎ個目
の可能性が高い）というルールを採用し、そのメンバシ
ップ関数として、それぞれ図９（ａ）〜（ｄ）に示すメ
ンバシップ関数（図示例は、Ｎ＝３，ｎ＝２の場合を示
している）を採用している。Specifically, as a fuzzy rule, if
(In the HMM recognizing unit 54, the likelihood of the HMM corresponding to the nth N-th swing is high) and (the beat probability is high in the beat probability predicting unit 56) and (beat probability distribution calculation The unit 57 adopts a rule that the part being played is close to the nth beat of N beats) then (the beat input is likely to be the nth beat of the Nth beat), and its membership function is The membership functions shown in FIGS. 9A to 9D (the illustrated example shows a case where N = 3 and n = 2) are employed.

【００９９】その後のファジィ推論方法は、上述した拍
打生起可能性予測部５６の方法と同様であるため、その
説明を省略する。The subsequent fuzzy inference method is the same as that of the above-described beat occurrence probability prediction unit 56, and therefore, the description thereof is omitted.

【０１００】このようにして、総合判定部５８は、入力
された情報に基づいてファジィ推論を行って、ＨＭＭ認
識部５４により認識された指揮動作の認識率をさらに向
上させ、その判定結果、すなわち前記音楽要素データａ
（演奏テンポ、拍打タイミング、拍打種類、ダイナミク
ス、アーティキュレーションなど）をＭＩＤＩ再生部５
９に出力する。As described above, the comprehensive judgment unit 58 performs fuzzy inference based on the input information to further improve the recognition rate of the commanding operation recognized by the HMM recognition unit 54, and the judgment result, that is, The music element data a
(Playing tempo, beat timing, beat type, dynamics, articulation, etc.)
9 is output.

【０１０１】ＭＩＤＩ再生部５９は、前記ＭＩＤＩデー
タベース６０から供給されたＭＩＤＩデータに基づい
て、ノートオン／オフイベントが発生するタイミングを
決定し、この決定されたタイミングで、当該ノートオン
／オフが発生するような情報を音源部６１に送出する、
すなわちＭＩＤＩデータを再生する。このとき、曲の冒
頭のテンポおよびダイナミクスは、それぞれ前記予備拍
検出部５０が出力した初期テンポおよび初期ダイナミク
スに設定される。そして、ＭＩＤＩ再生部５９は、総合
判定部５８からの音楽要素データａに応じて、再生中の
ＭＩＤＩデータの、対応する音楽要素を変更する。具体
的には、音楽要素データが拍打タイミングのときには、
そのタイミングおよびその拍打種類に一致するように再
生中のＭＩＤＩデータの拍タイミングまたは音符位置を
変更し、また、音楽要素データがダイナミクスのときに
は、そのダイナミクスに一致するように再生中のＭＩＤ
Ｉデータのダイナミクス（ベロシティやボリューム）を
変更する。The MIDI playback section 59 determines the timing at which a note-on / off event occurs based on the MIDI data supplied from the MIDI database 60, and the note-on / off occurs at the determined timing. Is transmitted to the sound source 61.
That is, the MIDI data is reproduced. At this time, the tempo and the dynamics at the beginning of the music are set to the initial tempo and the initial dynamics output by the preliminary beat detection unit 50, respectively. Then, the MIDI reproducing unit 59 changes the corresponding music element of the MIDI data being reproduced according to the music element data a from the overall determining unit 58. Specifically, when the music element data is beat timing,
The beat timing or note position of the MIDI data being reproduced is changed so as to match the timing and the beat type, and when the music element data is dynamic, the MID being reproduced so as to match the dynamics is changed.
Change the dynamics (velocity and volume) of I data.

【０１０２】ＭＩＤＩ再生部５９は、この変更後のＭＩ
ＤＩデータを音源部６１に出力し、これを受けて、音源
部６１は、ＭＩＤＩデータから楽音信号を生成して、前
記サウンドシステム１９に出力する。The MIDI playback section 59 outputs the changed MIDI
The DI data is output to the tone generator 61, and in response, the tone generator 61 generates a tone signal from the MIDI data and outputs the tone signal to the sound system 19.

【０１０３】サウンドシステム１９は、前述のように、
生成された楽音信号を音響に変換する。As described above, the sound system 19
The generated tone signal is converted into sound.

【０１０４】このように、本実施の形態では、予備拍を
検出し、その検出結果に基づいて初期テンポおよび初期
ダイナミクスを決定して、自動演奏する曲の冒頭のテン
ポおよびダイナミクスとしたので、ユーザは思い通りの
テンポおよびダイナミクスで最初から曲を制御すること
ができる。As described above, in the present embodiment, the preliminary beat is detected, the initial tempo and the initial dynamics are determined based on the detection result, and the initial tempo and the dynamics are determined as the beginning tempo and the dynamics of the music to be automatically played. Can control songs from the start with the tempo and dynamics you want.

【０１０５】なお、本実施の形態では、指揮動作をＨＭ
Ｍによって認識するようにしたが、これに限る必要はな
く、たとえば前記ＤＰマッチングを用いた方法によって
認識するようにしてもよい。In this embodiment, the command operation is performed by the HM
Although the recognition is performed by M, the present invention is not limited to this. For example, the recognition may be performed by the method using the DP matching.

【０１０６】また、本実施の形態では、指揮棒３０に加
速度センサ３１，３２を設け、これから得られる加速度
に応じて指揮動作を検出するようにしたが、これに限ら
ず、たとえば、角速度センサ（ジャイロセンサ）、磁気
や光を利用したセンサを用いて検出された信号に応じて
指揮動作を検出するようにしてもよく、また手や指に直
接センサを装着するようにしてもよい。In the present embodiment, the acceleration sensor 31, 32 is provided on the command rod 30 to detect the command operation in accordance with the acceleration obtained from the acceleration sensor. However, the present invention is not limited to this. For example, an angular velocity sensor ( A gyro sensor), a commanding operation may be detected according to a signal detected using a sensor using magnetism or light, or the sensor may be directly attached to a hand or finger.

【０１０７】さらに、本実施の形態では、主として汎用
コンピュータを用いて音楽制御装置を構成したが、これ
に限らず、専用の機器により構成してもよい。Further, in the present embodiment, the music control device is mainly configured by using a general-purpose computer, but is not limited thereto, and may be configured by a dedicated device.

【０１０８】なお、上述した各実施の形態の機能を実現
するソフトウェアのプログラムを記録した記憶媒体を、
システムまたは装置に供給し、そのシステムまたは装置
のコンピュータ（またはＣＰＵ７やＭＰＵ）が記憶媒体
に格納されたプログラムを読出し実行することによって
も、本発明の目的が達成されることは云うまでもない。A storage medium storing a software program for realizing the functions of the above-described embodiments is stored in a storage medium.
It is needless to say that the object of the present invention can be achieved by supplying the program to a system or an apparatus and causing a computer (or CPU 7 or MPU) of the system or the apparatus to read and execute a program stored in a storage medium.

【０１０９】この場合、記憶媒体から読出されたプログ
ラム自体が本発明の新規な機能を実現することになり、
そのプログラムを記憶した記憶媒体は本発明を構成する
ことになる。In this case, the program itself read from the storage medium realizes the novel function of the present invention,
The storage medium storing the program constitutes the present invention.

【０１１０】プログラムを供給するための記憶媒体とし
ては、たとえば、前記ＨＤＤ１３のハードディスク、Ｃ
Ｄ−ＲＯＭ４１，ＭＯ，ＭＤ，フロッピーディスク４
０、ＣＤ−Ｒ（CD- Recordable）、磁気テープ、不揮発
性のメモリカード、ＲＯＭ８などを用いることができ
る。また、他のＭＩＤＩ機器１００や通信ネットワーク
１０１を介してサーバコンピュータ１０２からプログラ
ムが供給されるようにしてもよい。The storage medium for supplying the program is, for example, a hard disk of the HDD 13 or C
D-ROM 41, MO, MD, floppy disk 4
0, a CD-R (CD-Recordable), a magnetic tape, a nonvolatile memory card, a ROM 8, and the like. Further, the program may be supplied from the server computer 102 via another MIDI device 100 or the communication network 101.

【０１１１】また、コンピュータが読出したプログラム
を実行することにより、上述した各実施の形態の機能が
実現されるだけでなく、そのプログラムの指示に基づ
き、コンピュータ上で稼働しているＯＳなどが実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれることは云
うまでもない。When the computer executes the readout program, not only the functions of the above-described embodiments are realized, but also the OS running on the computer is actually executed based on the instructions of the program. It goes without saying that a part or all of the above-described processing is performed, and the functions of the above-described embodiments are realized by the processing.

【０１１２】さらに、記憶媒体から読出されたプログラ
ムが、コンピュータに挿入された機能拡張ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書込まれた後、そのプログラムの指示に基づき、その
機能拡張ボードや機能拡張ユニットに備わるＣＰＵ７な
どが実際の処理の一部または全部を行い、その処理によ
って上述した各実施の形態の機能が実現される場合も含
まれることは云うまでもない。Further, after the program read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the program is executed based on the instructions of the program. It goes without saying that the CPU 7 or the like provided in the expansion board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.

【０１１３】[0113]

【発明の効果】以上説明したように、本発明に依れば、
動作検出手段により検出された人の動作から、自動演奏
される音楽に対する予備拍が検出され、この予備拍に基
づいて前記自動演奏される音楽が制御されるので、実際
の指揮と同様にして音楽演奏を開始することが可能とな
る効果を奏する。As described above, according to the present invention,
A preliminary beat for the automatically played music is detected from the human motion detected by the motion detecting means, and the automatically played music is controlled based on the preliminary beat. This has the effect that the performance can be started.

【０１１４】また、好ましくは、人の動作が所定時間以
上停止した後に予備拍は検出されるので、予備拍の誤検
出を防止することができる。Preferably, the preliminary beat is detected after the motion of the person stops for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.

【０１１５】さらに、好ましくは、前記検出された予備
拍に基づいて、前記自動演奏される音楽の初期の音楽要
素が決定されるので、ユーザは、その曲を最初に演奏す
るきにも、自分の思い通りにその曲の音楽要素を決定し
て曲を開始することができる。[0115] Further, preferably, the initial music element of the music to be automatically played is determined based on the detected preliminary beat, so that the user can perform his or her own music even when playing the music for the first time. The music element of the song can be determined and the song can be started as desired.

【０１１６】また、さらに、好ましくは、ユーザは予備
拍の検出時点を確認できるので、安心して曲演奏を開始
することができる。[0116] Further, more preferably, the user can confirm the detection time point of the preliminary beat, so that the music performance can be started with confidence.

【０１１７】さらに、好ましくは、人の動作が所定時間
以上停止した後に予備拍を検出するので、予備拍の誤検
出を防止することができる。Further, preferably, the preliminary beat is detected after the human motion has stopped for a predetermined time or more, so that erroneous detection of the preliminary beat can be prevented.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施の形態に係る音楽制御装置の概
略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of a music control device according to an embodiment of the present invention.

【図２】図１の音楽制御装置のうち、主としてコンピュ
ータが実行する制御処理を説明するためのブロック図で
ある。FIG. 2 is a block diagram for explaining a control process mainly executed by a computer in the music control device of FIG. 1;

【図３】図２の予備拍検出部が実行する予備拍検出処理
サブルーチンの手順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure of a preliminary beat detection processing subroutine executed by a preliminary beat detection unit in FIG. 2;

【図４】所定時間毎に発生するタイマ割込み処理の手順
を示す図である。FIG. 4 is a diagram showing a procedure of a timer interrupt process that occurs every predetermined time.

【図５】ユーザが図１の指揮棒を振ったときの軌跡の一
例を示す図である。FIG. 5 is a diagram illustrating an example of a trajectory when a user swings the baton in FIG. 1;

【図６】図２のベクトル量子化部が行うＨＭＭ認識処理
を詳細に説明するための図である。FIG. 6 is a diagram for explaining in detail an HMM recognition process performed by a vector quantization unit in FIG. 2;

【図７】図２の拍打生起可能性予測部がファジィ推論を
行うときに用いられるメンバシップ関数の一例を示す図
である。FIG. 7 is a diagram illustrating an example of a membership function used when the beat occurrence probability prediction unit in FIG. 2 performs fuzzy inference.

【図８】図２の拍打生起可能性分布計算部がファジィ推
論を行うときに用いられるメンバシップ関数の一例を示
す図である。8 is a diagram illustrating an example of a membership function used when the beat occurrence probability distribution calculation unit in FIG. 2 performs fuzzy inference.

【図９】図２の総合判定部がファジィ推論を行うときに
用いられるメンバシップ関数の一例を示す図である。FIG. 9 is a diagram illustrating an example of a membership function used when the comprehensive determination unit in FIG. 2 performs fuzzy inference.

【符号の説明】[Explanation of symbols]

７ ＣＰＵ（動作検出手段、自動演奏手段、予備拍検出
手段、制御手段、初期音楽要素決定手段、予備拍確認手
段） １９ サウンドシステム（予備拍確認手段） ３１ 加速度センサ（動作検出手段） ３２ 加速度センサ（動作検出手段）7 CPU (motion detection means, automatic performance means, preliminary beat detection means, control means, initial music element determination means, preliminary beat confirmation means) 19 sound system (preliminary beat confirmation means) 31 acceleration sensor (motion detection means) 32 acceleration sensor (Operation detection means)

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 人の動作を検出する動作検出手段と、 音楽を自動演奏する自動演奏手段と、 前記検出された人の動作から予備拍を検出する予備拍検
出手段と、 該検出された予備拍に基づいて前記自動演奏手段を制御
する制御手段とを有し、 前記予備拍検出手段は、前記動作検出手段より検出され
た動作が所定時間以上停止した後の最初の拍打を予備拍
として検出することを特徴とする音楽制御装置。1. A motion detecting means for detecting a human motion; an automatic performance means for automatically playing music; a preliminary beat detecting means for detecting a preliminary beat from the detected human motion; Control means for controlling the automatic performance means based on a beat, wherein the preliminary beat detection means detects a first beat after the operation detected by the operation detection means has stopped for a predetermined time or more as a preliminary beat. A music control device. 【請求項２】 前記制御手段は、前記検出された予備拍
に基づいて、前記自動演奏される音楽の初期の音楽要素
を決定する初期音楽要素決定手段を有することを特徴と
する請求項１に記載の音楽制御装置。2. The apparatus according to claim 1, wherein said control means includes an initial music element determination means for determining an initial music element of the music to be automatically played, based on the detected preliminary beat. A music control device as described. 【請求項３】 前記予備拍検出手段によって予備拍が検
出されたときに、その検出時点をユーザに確認させる予
備拍確認手段を有することを特徴とする請求項１または
２のいずれかに記載の音楽制御装置。3. The apparatus according to claim 1, further comprising: a preliminary beat confirmation unit that, when a preliminary beat is detected by the preliminary beat detection unit, allows a user to confirm a detection time point. Music control device. 【請求項４】 人の動作を検出する動作検出モジュール
と、 音楽を自動演奏する自動演奏モジュールと、 前記検出された人の動作から予備拍を検出する予備拍検
出モジュールと、 該検出された予備拍に基づいて前記自動演奏手段を制御
する制御モジュールとを含む、コンピュータが実行する
プログラムであって、 前記予備拍検出モジュールでは、前記動作検出モジュー
ルより検出された動作が所定時間以上停止した後の最初
の拍打を予備拍として検出するプログラムを格納したコ
ンピュータ読み取り可能な記憶媒体。4. A motion detection module for detecting a human motion, an automatic performance module for automatically playing music, a preliminary beat detection module for detecting a preliminary beat from the detected human motion, and a detected preliminary beat. including a control module for controlling the automatic playing unit, the computer executes, based on the beat
A program, in the preliminary beat detection module, said detected from motion detection module operation has stored the Help program be detected as pre beat the first beat Blow after stopping for a predetermined time or more co
Computer-readable storage medium.